CN112033971A - 一种视觉瑕疵检测系统及方法 - Google Patents

Abstract

本发明涉及一种视觉瑕疵检测系统及方法，该系统包括：多平面镜反射系统，用于改变待检测物体表面反射光线的光路，包括呈中心对称布置的两个平面镜，待检测物体固定于两个平面镜的中间；视觉系统，用于采集待检测物体的图像，包括相机系统和光源系统，所述相机系统包括多个位姿可调的相机，所述光源系统包括光源。与现有技术相比，本发明提出采用平面镜的视觉瑕疵检测方法，结合视觉系统与基于平面镜的光学系统进行物体瑕疵检测，可以同时对待检测物体多个表面进行全面检测，检测可靠性好，检测效率高。

Description

一种视觉瑕疵检测系统及方法

技术领域

本发明涉及瑕疵检测技术领域，尤其是涉及一种视觉瑕疵检测系统及方法。

背景技术

随着计算机技术的不断发展，计算机视觉逐步融入到人们日常的生活和工业生产当中。计算机视觉是使用计算机模拟人类视觉的过程，该技术融合了图像处理、人工智能与模式识别等技术，可以代替传统的人工检测，实现生产线上零部件的自动化检测。

现有技术中“瑕疵检测方法及其装置”(申请号：CN201410756951.1)使用光源对待测工件的待测区域进行照射，得到待测区域的反射图像，以反射图像的亮度为主要判断标准，对工件是否有瑕疵进行判定。该方法一次只能检测一个特定的表面，并且容易受到光源不稳定带来的干扰。

目前已有的视觉瑕疵检测技术往往只需要针对待检测物体的某一个特定的表面进行检测，如PCB板、芯片、纺织物的检测等。这类视觉检测只需要将相机固定，获取待检测物体的单一视角，实现自动的视觉瑕疵检测。但是工业生产中形状复杂的零部件产品，其瑕疵可能出现在不同的表面。使用单一相机结合机械结构对物体进行翻转可以获得物体不同侧面的图像，但是这种方法的机械结构设计较为复杂，并且翻转物体的同时会造成物体的抖动，导致采集图像的失真，同时机械机构的执行需要耗费一定的时间，不利于自动生产线上实时在线的零部件瑕疵检测。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种视觉瑕疵检测系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种视觉瑕疵检测系统，包括：

多平面镜反射系统，用于改变待检测物体表面反射光线的光路，包括呈中心对称布置的两个平面镜，待检测物体固定于两个平面镜的中间；

视觉系统，用于采集待检测物体的图像，包括相机系统和光源系统，所述相机系统包括多个位姿可调的相机，所述光源系统包括光源。

优选的，所述相机系统包括相机支架和设置在相机支架上的三个相机，其中一个相机位于待检测物体的正上方，另外两个相机对称设置在待检测物体上方的两侧，通过调节两侧的两个相机的高度和角度，使两者能分别获得待检测物体左右两个侧面的清晰完整的图像。

优选的，所述光源平行设置于待检测物体正上方的相机的下方，并与该相机同轴。

优选的，所述相机的成像传感器为全局快门，相机使用配套的显微镜头。

优选的，所述相机的镜头前设有偏振片，所述光源的发光面前设有偏振片，通过调整相机的偏振片和光源的偏光片的角度，消除平面镜中由光源造成的平面镜成像的反光。

一种视觉瑕疵检测方法，采用上述的视觉瑕疵检测系统，该方法包括离线学习过程和在线检测过程；所述离线学习过程包括：采集大量待检测物体的图像，然后离线训练分类器；所述在线检测过程包括：使用离线学习过程训练好的分类器，对在线实时获取的待检测物体的图像进行有无瑕疵的判断，然后整合不同相机获取的图像的判定结果，判定当前待检测物体是否存在瑕疵。

优选的，所述离线学习过程包括：

步骤S101：采集不同相机位置处的批量的待检测物体的图像，进行图像预处理，人为标注当前图像是否存在瑕疵；

步骤S102：构建与图像标注相互对应的图像的特征向量，并随机划分为训练集和测试集；

步骤S103：使用步骤S102中的数据集对分类器进行训练；

步骤S104：使用测试集对步骤S103中训练好的分类器进行测试，得到实际在线检测过程使用的分类器。

优选的，所述离线学习过程中，使用不同的特征向量得到不同的分类器，根据不同分类器在测试集上的测试结果选择性能最好的分类器，作为实际在线检测过程使用的分类器。

优选的，所述视觉系统中不同位置的相机建立各自的分类器。

优选的，所述在线检测过程包括：

步骤S201：使用与离线学习过程采集图像数据时相同的相机参数和镜头参数，调整相机、光源以及平面镜的相对位置，使相机得到清晰、完整的图像；

步骤S202：通过相机同时采集包含不同视角的待检测物体图像，使用与离线学习过程相同的特征向量描述对应的图像数据；

步骤S203：将步骤S202中提取的特征向量带入训练好的分类器，由分类器进行判别，得到当前图片是否存在瑕疵的判定结果；

步骤S204：综合每个相机所获图像的判定结果，得到最终的瑕疵判定结果。

与现有技术相比，本发明具有以下有益效果：

1.本发明结合视觉系统与基于平面镜的光学系统进行物体瑕疵检测，可以同时对待检测物体多个表面进行全面检测，检测可靠性好，检测效率高。

2.本发明检测过程中不需要变换待检测物体的姿态，只需要固定一个位置就可以完成所需的检测，简化了检测的步骤，便于检测系统的集成和拓展。

3.本系统采用非接触式检测，使用机器学习方法，检测过程不需要额外的机械部件执行其他动作，系统自动化程度高，允许工作人员同时对多台设备进行监控，能够有效提高产品检测的成功率和效率。

附图说明

图1为本发明系统总体结构示意图；

图2为待检测铜管的结构示意图；

图3为本系统针对弯铜管的瑕疵检测示意图；

图4为本系统中相机一和相机三对铜管管口和内表面的成像光路示意图；

图5为本系统中相机二对铜管外表面的成像光路图；

图6为本系统的离线学习和在线检测的流程图。

附图标记：1、待检测物体，2、光源，3、光源支架，4、相机支架，501、相机一，502、相机二，503、相机三，6、检测平台支架，7、平面镜，8、平面镜支架，101、铜管，102、铜管夹具。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本申请提出一种视觉瑕疵检测系统，包括多平面镜反射系统和视觉系统。

多平面镜反射系统用于改变待检测物体1表面反射光线的光路，包括呈中心对称布置的两个平面镜7，待检测物体1采用夹具固定于两个平面镜7的中间。平面镜7倾斜放置，可以改变待检测物体1侧面反射光线的光路，使得平面镜7可以对待检测物体1的侧面进行反射成像，两个平面镜7同时工作可以得到待检测物体1前后两个主要侧面的反射图像，达到一个相机采集待检测物体1的多个视角图像的要求。

为保证平面镜7成像足够清晰，平面镜的反射率不应低于90％。

视觉系统用于采集待检测物体1的图像，包括相机系统和光源系统。

相机系统包括多个位姿可调的相机。本实施例中，相机系统包括相机支架4和设置在相机支架4上的三个相机，分别记为相机一501、相机二502和相机三503，相机通过相机夹具设置在相机支架4上。相机二502位于待检测物体1的正上方。相机一501和相机三503对称设置在待检测物体1上方的两侧，通过可调节的相机支架4调节相机一501和相机三503的高度和角度，使两个相机能分别获得待检测物体1左右两个侧面的清晰完整的图像。相机的成像传感器为全局快门，相机使用配套的显微镜头，且相机的镜头前设有偏振片。

光源系统包括一个光源2和光源支架3。本实施例中，光源2为环形光源，平行设置于相机二502的正下方，并与相机二502同轴。光源2的发光面前设有偏振片，通过调整相机的偏振片和光源2的偏振片的角度，可以消除平面镜7中由光源2造成的平面镜7成像的反光。

平面镜7安装在平面镜支架8上，平面镜支架8对平面镜7进行固定，并且可以调整平面镜7的位置和平面镜7的倾斜角度，使得相机二502获得的平面镜7中反射的待检测物体1侧面的图像完整、无变形。

相机支架4和光源支架3都安装在可调整的检测平台支架6上，检测平台支架6可以大范围地调整相机和光源2的位置和角度。相机支架4和光源支架3可以在小范围内对相机或光源2的位置和角度进行微调。

本实施例以铜管101的瑕疵检测为例，说明本视觉瑕疵检测系统的检测方法。

图2展示了待检测铜管101的结构，待检测铜管101为90度弯铜管101。铜管101放置在铜管夹具102上，由铜管夹具102对铜管101进行固定，如图3所示。

图4展示了相机一501和相机三503对铜管101管口以及内表面成像的光路。通过调整相机一501和相机三503的位置和角度，使得相机一501和相机三503能够获得铜管101的管口和内表面的完整图像。

图5展示了相机二502对铜管101外表面的成像光路。通过调整平面镜7的位置和角度，相机二502可以捕获铜管101正上方以及平面镜7中铜管101两个侧面的图像。三个相机同时拍照，可以一次获得铜管101内表面和外表面的主要图像。

如图6所示，系统的瑕疵检测的流程分为离线学习过程和在线检测过程两部分。其中离线学习过程通过预先采集的图像数据训练分类器，在线检测过程使用离线学习训练好的分类器对三个相机实时采集的铜管101图像进行判别，最终整合三个图像的判别结果，判定当前铜管101是否存在瑕疵。

离线学习过程的步骤如下：

步骤S101：使用相机预先采集不同相机位置处的较大批量的铜管101图像，包括两个管口方向的图像以及铜管101上方包含平面镜7成像的图像，然后进行图像去噪、图像增强等图像预处理操作，并人为标注当前图像是否存在瑕疵；

步骤S102：使用梯度直方图、颜色分布、连通区域特性等构建图像的特征向量，该特征向量与图像标注相互对应，可以随机划分为训练集和测试集；

步骤S103：使用步骤S102中的数据集对分类器进行训练；

步骤S104：使用测试集对步骤S103中训练好的分类器进行测试，得到实际在线检测过程使用的分类器。

使用不同的特征向量可以得到不同的分类器，最后根据分类器在测试集上的测试结果选择性能最好的分类器，作为实际在线检测环节使用的分类器。

除此之外，三个不同位置的相机图像需要建立至少两个分类器，一个分类器用于判别相机二502的图像，另外一个分类器用来判别相机一501和相机三503的图像。其中相机一501和相机三503可以分别建立各自的分类器，分类器的建立均采用上述步骤。

在线检测过程的步骤如下：

步骤S201：使用与离线学习采集图像数据时相同的相机参数和镜头参数，调整相机、光源2以及平面镜7的相对位置，使相机得到清晰、完整的图像；

步骤S202：三台相机同时采集三幅包含不同视角的铜管101图像，使用与离线学习相同的特征向量描述所有的图像数据；

步骤S203：将步骤S202中提取的特征向量带入训练好的分类器，由分类器进行判别，得到当前图片是否存在瑕疵的结果；

步骤S204：综合三个相机所获图像的判定结果，向上层系统输出得到的最终的判定结果。

Claims (10)

1.一种视觉瑕疵检测系统，其特征在于，包括：

多平面镜反射系统，用于改变待检测物体(1)表面反射光线的光路，包括呈中心对称布置的两个平面镜(7)，待检测物体(1)固定于两个平面镜(7)的中间；

视觉系统，用于采集待检测物体(1)的图像，包括相机系统和光源系统，所述相机系统包括多个位姿可调的相机，所述光源系统包括光源(2)。

2.根据权利要求1所述的一种视觉瑕疵检测系统，其特征在于，所述相机系统包括相机支架(4)和设置在相机支架(4)上的三个相机，其中一个相机位于待检测物体(1)的正上方，另外两个相机对称设置在待检测物体(1)上方的两侧，通过调节两侧的两个相机的高度和角度，使两者能分别获得待检测物体(1)左右两个侧面的清晰完整的图像。

3.根据权利要求2所述的一种视觉瑕疵检测系统，其特征在于，所述光源(2)平行设置于待检测物体(1)正上方的相机的下方，并与该相机同轴。

4.根据权利要求1所述的一种视觉瑕疵检测系统，其特征在于，所述相机的成像传感器为全局快门，相机使用配套的显微镜头。

5.根据权利要求4所述的一种视觉瑕疵检测系统，其特征在于，所述相机的镜头前设有偏振片，所述光源(2)的发光面前设有偏振片，通过调整相机的偏振片和光源(2)的偏光片的角度，消除平面镜(7)中由光源(2)造成的平面镜(7)成像的反光。

6.一种视觉瑕疵检测方法，其特征在于，采用权利要求1～5任一所述的视觉瑕疵检测系统，该方法包括离线学习过程和在线检测过程；所述离线学习过程包括：采集大量待检测物体(1)的图像，然后离线训练分类器；所述在线检测过程包括：使用离线学习过程训练好的分类器，对在线实时获取的待检测物体(1)的图像进行有无瑕疵的判断，然后整合不同相机获取的图像的判定结果，判定当前待检测物体(1)是否存在瑕疵。

7.根据权利要求6所述的一种视觉瑕疵检测方法，其特征在于，所述离线学习过程包括：

步骤S101：采集不同相机位置处的批量的待检测物体(1)的图像，进行图像预处理，人为标注当前图像是否存在瑕疵；

步骤S102：构建与图像标注相互对应的图像的特征向量，并随机划分为训练集和测试集；

步骤S103：使用步骤S102中的数据集对分类器进行训练；

步骤S104：使用测试集对步骤S103中训练好的分类器进行测试，得到实际在线检测过程使用的分类器。

8.根据权利要求7所述的一种视觉瑕疵检测方法，其特征在于，所述离线学习过程中，使用不同的特征向量得到不同的分类器，根据不同分类器在测试集上的测试结果选择性能最好的分类器，作为实际在线检测过程使用的分类器。

9.根据权利要求7所述的一种视觉瑕疵检测方法，其特征在于，所述视觉系统中不同位置的相机建立各自的分类器。

10.根据权利要求7所述的一种视觉瑕疵检测方法，其特征在于，所述在线检测过程包括：

步骤S201：使用与离线学习过程采集图像数据时相同的相机参数和镜头参数，调整相机、光源(2)以及平面镜(7)的相对位置，使相机得到清晰、完整的图像；

步骤S202：通过相机同时采集包含不同视角的待检测物体(1)图像，使用与离线学习过程相同的特征向量描述对应的图像数据；

步骤S203：将步骤S202中提取的特征向量带入训练好的分类器，由分类器进行判别，得到当前图片是否存在瑕疵的判定结果；

步骤S204：综合每个相机所获图像的判定结果，得到最终的瑕疵判定结果。

Images