CN115290662B - 一种多目视觉表面缺陷检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种多目视觉表面缺陷检测系统及其检测方法，所述检测系统包括：采集端，用于采集零件图像，并上传图像数据至工控终端；工控终端，对采集端采集到的图像进检测；采集端由多组摄像机组成，在空间上形成面阵成像阵列，形成多目，且多组摄像机同步采集零件图像；所述面阵成像阵列的排列方式包括直线或弧线。可根据具体情况进行空间位置的任意排布。工控终端采用视频流分析法，对多组摄像机同步采集零件基于时间的序列图像进行实时分析，与多组摄像机位置形成二维关系图，并精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据。

Description

一种多目视觉表面缺陷检测系统及其检测方法

技术领域

本发明属于复杂零件表面机器视觉缺陷检测领域，涉及锻造零件、锻压产品以及经过热处理的切削加工零件表面缺陷检测内容，具体是一种多目视觉表面缺陷检测系统及其检测方法。

背景技术

经过锻造、铸造或表面热处理后切削加工的金属零件表面往往会因应力释放或材料因素而产生裂纹或缺肉缺陷。

这类零件的表面都要进行在检测光源下的表面缺陷缺陷检测，由于许多工业零件的表面结构都比较复杂，因此，无法采用单个摄像机在单一视角和位置上将所有的零件表面图像都采集、识别和定位缺陷，现有检测方式一般分为人工视觉检测和机器视觉系统检测；

工业零件的人工视觉检测存在如下缺点：

① 人工视觉检测虽然检测比较灵活，但对复杂零件表面缺陷的检测，往往会应为存在视觉盲区而产生漏检现象。

② 由于人工检测只能产生双目视觉，而通常复杂零件的在不同的方向上有很多的面，在规定的生产节拍下单靠人眼对复杂零件表面检测，是无法确保其能看到所有的零件表面，因此，产生视觉漏检现象是必然的情况。

③ 人工视觉检测存在视觉疲劳和经验不足的而造成缺陷漏检的情况，且这些漏检很难留下可追溯的图像数据。

④ 随着劳动力成本的不断提升，人工视觉检测的费用不断上涨，且因技术含量低而很难雇佣到高素质的工人从事此类工作。

传统的机器视觉系统对复杂零件表面缺陷检测存在的不足；

通常机器视觉系统分为两类摄像机系统分别是：面阵摄像机系统，另一种是线阵摄像机系统，针对复杂零件表面缺陷的检测它们各自都有其局限性。

面阵摄像机成像其镜头具有一定的景深，根据透视原理采集到三维物体的多个表面信息；但是单目面阵摄像机为了实现对零件表面上细微缺陷的识别往往采用工业镜头，因此其视角范围较小很难对体积较大且结构复杂的零件全部表面进行有效的图像采集。

线阵摄像机由于其景深很小因此只能在特定的距离上成像，虽然扫描较大面积的物体但一般仅用于平面、圆柱面或起伏不大的物体表面的成像。对于存在较大端面的物体其端面存在视觉盲区，无法成像。因此，仅通过对物体单方向的旋转无法对复杂零件表面进行全表面的图像采集的。

综上所述,现有的单目面阵摄像机和线阵摄像机都无法实现对复杂零件表面的全方位无死角的图像数据采集。

发明内容

发明目的：提供一种多目视觉表面缺陷检测系统及其检测方法，以解决现有技术存在的上述问题。

技术方案：一种多目视觉表面缺陷检测系统及其检测方法，包括：

采集端，用于采集零件图像，并上传图像数据至工控终端；

工控终端，对采集端采集到的图像进检测；

其特征在于，采集端由多组摄像机组成，在空间上形成面阵成像阵列，形成多目，且多组摄像机同步采集零件图像；所述面阵成像阵列的排列方式包括直线或弧线；可根据具体情况进行空间位置的任意排布。

采集端侧部设有转动部，转动部与采集端具有预定间距，使零件在平行于成像阵列平面上沿转动部的回转轴线旋转至少一周；

旋转过程中，零件自身运动姿态的多角度，搭配由采集端的多组摄像机形成的多角度视角，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像。

工控终端采用视频流分析法，对多组摄像机同步采集零件基于时间的序列图像进行实时分析，与多组摄像机位置形成二维关系图，并精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据。

序列图像数量可随摄像机数量及摄像机采集时间周期进行变化。

基于时间的序列图像原则无上限，可根据多组摄像机采集图像时间周期和摄像机数量进行调整序列图像数量，序列图像越多，缺陷检测准确率越高；

因为零件在旋转过程中，由于光照因素，且其它观测位置，采集到的图像效果可能不够明显或者采集到的图像无法看到缺陷，但其缺陷具有一最佳的观测位置，该观测位置无法预知，因此生成的序列图像越多，遇到该最佳观测位置概率越大，同时采集到的缺陷图也越多（不管是最佳观测位置或其它观测位置），在采集到的众多图像中，只需有一图像出现缺陷，即证明了该工件具有缺陷，因此大大增加了检测的准确率。

在进一步实施例中，所述摄像机的镜头具有预定景深，以使得零件在旋转时期表面距离摄像机距离发生变化时摄像机仍然能够采集到清晰的图像。

在进一步实施例中，所述采集端内置成像控制系统；

所述成像控制系统由图像成像芯片、图像控制芯片、FPGA芯片及ARM处理器组成。

一种多目视觉表面缺陷检测方法，包括：

S1、将零件放置转动部上，由转动部驱使零件转动至少一周；

S2、成像控制系统同步采集端，使形成面阵成像阵列的多组摄像机同步并行采集零件转动至少一周的图像，并将采集到的图像发送至工控终端；

多组摄像机同步并行采集零件转动至少一周的图像时，由采集端的多组摄像机形成的多角度视角，结合零件转动时运动姿态的多角度，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像，降低漏检率；

S3、工控终端对图像数据编排，以图像采集时间序列及摄像机位置作为二维关系轴，将图像编排，形成二维关系图，并通过机器学习或深度学习算法，对采集来的图像进行表面缺陷检测；

S4、当零件在检测时间周期内，视觉表面缺陷检测系统发现了缺陷，则将缺陷标记在图像上存档，并判定该零件不合格。

在进一步实施例中，所述S2还包括：

S21、FPGA芯片同步图像控制芯片发出同步启动信号；

S22、图像控制芯片触发图像成像芯片开启；

S23、图像成像芯片同步并行的将采集到的图像数据发送给成像控制芯片；

S24、成像控制芯片将多路图像数据进行编码压缩，以单帧图像的方式通过网络发送给工控终端，以实现对不同位置零件表面缺陷图像数据的传输。

在进一步实施例中，所述步骤S4中在视觉表面缺陷检测系统发现了缺陷的判断标准为：

二维关系图中任意一张或多张图片出现缺陷，即判定视觉表面缺陷检测系统发现了缺陷。

有益效果：本发明公开了一种多目视觉表面缺陷检测系统及其检测方法，通过设计在空间上形成面阵成像阵列的多组摄像机，组成多目视角，视场角的组合包含零件上所有面，同时配合转动部使零件围绕回转轴线旋转一周，则采集端采集到零件所有方向上的表面图像，同时对多组摄像机同步采集零件基于时间的序列图像进行实时分析，并与多组摄像机位置形成二维关系图，进而精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据。

附图说明

图1是本发明系统结构示意图。

图2是发明成像控制系统原理示意图。

图3是发明的摄像机位置阵列与图像采集时间序列二维关系图。

图4是发明的缺陷标注图像阵列示意图。

图5是现有技术中单目摄像机对立体物体表面检测示意图。

图6是现有技术中单目摄像机对复杂物体表面检测示意图。

图7是现有技术中线阵摄像机对平面及圆柱面的扫描示意图。

具体实施方式

本申请涉及一种多目视觉表面缺陷检测系统及其检测方法，在空间布局上异位（多组摄像机在空间上形成面阵成像阵列，形成多目，所述面阵成像阵列的排列方式包括直线或弧线），时间上同步（多组摄像机同步采集零件基于时间的序列图像）采集图像的新型多目视觉系统，该系统实现对复杂零件表面的在视野范围内的全方位无死角的图像数据采集。

该发明可广泛应用与汽车零部件的表面缺陷检测以及其他具有三维立体特征的物体表面缺陷的检测。下面通过具体实施方式进行详细解释。

工业零件的人工视觉检测存在如下缺点：

1、人工视觉检测虽然检测比较灵活，但对复杂零件表面缺陷的检测，往往会应为存在视觉盲区而产生漏检现象。

本申请通过将序列图像数量可随摄像机数量及摄像机采集时间周期进行变化。

基于时间的序列图像原则无上限，可根据多组摄像机采集图像时间周期和摄像机数量进行调整序列图像数量，序列图像越多，缺陷检测准确率越高；

因为零件在旋转过程中，由于光照因素，且其它观测位置，采集到的图像效果可能不够明显或者采集到的图像无法看到缺陷，但其缺陷具有一最佳的观测位置，该观测位置无法预知，因此生成的序列图像越多，遇到该最佳观测位置概率越大，同时采集到的缺陷图也越多（不管是最佳观测位置或其它观测位置），在采集到的众多图像中，只需有一图像出现缺陷，即证明了该工件具有缺陷，因此大大增加了检测的准确率。

进而解决该问题。

2、由于人工检测只能产生双目视觉，而通常复杂零件的在不同的方向上有很多的面，在规定的生产节拍下单靠人眼对复杂零件表面检测，是无法确保其能看到所有的零件表面，因此，产生视觉漏检现象是必然的情况。

本申请通过设计在空间上形成面阵成像阵列的多组摄像机，组成多目视角，视场角的组合包含零件上所有面，同时配合转动部使零件围绕回转轴线旋转一周，则采集端采集到零件所有方向上的表面图像。

进而解决该问题。

3、人工视觉检测存在视觉疲劳和经验不足的而造成缺陷漏检的情况，且这些漏检很难留下可追溯的图像数据。

本申请对多组摄像机同步采集零件基于时间的序列图像进行实时分析，并与多组摄像机位置形成二维关系图，进而精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据。

进而解决该问题。

4、随着劳动力成本的不断提升，人工视觉检测的费用不断上涨，且因技术含量低而很难雇佣到高素质的工人从事此类工作。

本申请设计缺陷检测系统，取代人工检测，避免该情况的发生。

传统的机器视觉系统对复杂零件表面缺陷检测存在的不足；

通常机器视觉系统分为两类摄像机系统分别是：面阵摄像机系统，另一种是线阵摄像机系统，针对复杂零件表面缺陷的检测它们各自都有其局限性。

1、面阵摄像机成像其镜头具有一定的景深，根据透视原理采集到三维物体的多个表面信息（如附图5、6所示）；

但是单目面阵摄像机为了实现对零件表面上细微缺陷的识别往往采用工业镜头，因此其视角范围较小很难对体积较大且结构复杂的零件全部表面进行有效的图像采集。

2、线阵摄像机由于其景深很小因此只能在特定的距离上成像，虽然扫描较大面积的物体但一般仅用于平面、圆柱面或起伏不大的物体表面的成像（如附图7所示）。对于存在较大端面的物体其端面存在视觉盲区，无法成像。因此，仅通过对物体单方向的旋转无法对复杂零件表面进行全表面的图像采集的。

本申请通过设计在空间上形成面阵成像阵列的多组摄像机，组成多目视角，视场角的组合包含零件上所有面，同时配合转动部使零件围绕回转轴线旋转一周，则采集端采集到零件所有方向上的表面图像。

进而解决上述两问题。

一种多目视觉表面缺陷检测系统及其检测方法，包括：

采集端，用于采集零件图像，并上传图像数据至工控终端；

工控终端，对采集端采集到的图像进检测；

采集端由多组摄像机组成，在空间上形成面阵成像阵列，形成多目，且多组摄像机同步采集零件图像；所述面阵成像阵列的排列方式包括直线或弧线；

可根据具体情况进行空间位置的任意排布。

采集端侧部设有转动部，转动部与采集端具有预定间距，使零件在平行于成像阵列平面上沿转动部的回转轴线旋转至少一周；

旋转过程中，零件自身运动姿态的多角度，搭配由采集端的多组摄像机形成的多角度视角，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像；

而不同角度成像使得零件缺陷清晰度增加，进而更加精确判断该零件的缺陷，避免了缺陷因拍摄视角限制，使得缺陷无法呈现在呈现图片上，造成漏检。

工控终端采用视频流分析法，对多组摄像机同步采集零件基于时间的序列图像进行实时分析，与多组摄像机位置形成二维关系图，并精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据。

序列图像数量可随摄像机数量及摄像机采集时间周期进行变化。

基于时间的序列图像原则无上限，可根据多组摄像机采集图像时间周期和摄像机数量进行调整序列图像数量，序列图像越多，缺陷检测准确率越高；

因为零件在旋转过程中，由于光照因素，且其它观测位置，采集到的图像效果可能不够明显或者采集到的图像无法看到缺陷，但其缺陷具有一最佳的观测位置，该观测位置无法预知，因此生成的序列图像越多，遇到该最佳观测位置概率越大，同时采集到的缺陷图也越多（不管是最佳观测位置或其它观测位置），在采集到的众多图像中，只需有一图像出现缺陷，即证明了该工件具有缺陷，因此大大增加了检测的准确率。

所述摄像机的镜头具有预定景深，以使得零件在旋转时期表面距离摄像机距离发生变化时摄像机仍然能够采集到清晰的图像。

所述采集端内置成像控制系统；

所述成像控制系统由图像成像芯片、图像控制芯片、FPGA芯片及ARM处理器组成。

所述转动部主要用于带动零件转动，可在现有手段中选取；

可选取一直线运动机构，以及一转动电机；

所述直线运动机构包括移动架，与所述移动架固定连接的移动电机，设置在所述移动电机输出端的移动轴，与所述移动轴固定连接的移动丝杆，套接于所述移动丝杆的移动滑块，所述移动滑块上设有随动轴；所述移动滑块与移动架适配，沿着移动架滑动；

所述转动电机设置在移动架上方，所述转动电机输出端设有一转动轴，所述转动轴端部设有垫块；

将零件放置在垫块及随动轴之间，由移动电机带动移动轴转动，进而带动移动丝杆转动，使得移动滑块沿着移动架滑动，进而带动随动轴靠近垫块，使得零件固定在随动轴及垫块之间，再由转动电机带动转动轴，使得垫块带动零件转动。

以采集端由八组摄像机组成为例，如附图1、2、3、4所示，图2展示出八组摄像机的成像控制系统原理，同时附图3、4分别展示出通过八组摄像机组成采集端为例的摄像机位置阵列与图像采集时间序列二维关系图，及缺陷图。

工作原理说明：将零件放置转动部上，由转动部驱使零件转动至少一周；成像控制系统同步采集端，使多组摄像机同步并行采集零件转动至少一周图像，并将采集到的图像发送至工控终端；

转动部驱使零件转动时多组摄像机同步并行采集零件图像，由采集端的多组摄像机形成的多角度视角，结合零件转动时运动姿态的多角度，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像，进而降低漏检率；

由FPGA芯片同步图像控制芯片发出同步启动信号；

同步启动是为了实现不同摄像机采集图片位置的对应关系，以便于对零件表面上出现的缺陷的定位。

图像控制芯片触发图像成像芯片开启；

图像成像芯片同步并行的将采集到的图像数据发送给成像控制芯片；

成像控制芯片将多路图像数据进行编码压缩，以单帧图像的方式通过网络发送给工控终端，以实现对不同位置零件表面缺陷图像数据的传输。

工控终端对图像数据编排，以图像采集时间序列及摄像机位置作为二维关系轴，将图像编排，形成二维关系图，并通过机器学习或深度学习算法，对采集来的图像进行表面缺陷检测；

当零件在检测时间周期内，视觉表面缺陷检测系统发现了缺陷，二维关系图中任意一张或多张图片出现缺陷，即判定视觉表面缺陷检测系统发现了缺陷，并将缺陷标记在图像上存档，并判定该零件不合格。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，对本发明的技术方案进行多种同变换，这些同变换均属于本发明的保护范围。

Claims (4)

1.一种多目视觉表面缺陷检测方法，基于以下系统：

采集端，用于采集零件图像，并上传图像数据至工控终端；

工控终端，对采集端采集到的图像进检测；

其特征在于，采集端由多组摄像机组成，在空间上形成面阵成像阵列，形成多目，且多组摄像机同步采集零件图像；所述面阵成像阵列的排列方式包括直线或弧线；

采集端侧部设有转动部，转动部与采集端具有预定间距，使零件在平行于成像阵列平面上沿转动部的回转轴线旋转至少一周；

旋转过程中，零件自身运动姿态的多角度，搭配由采集端的多组摄像机形成的多角度视角，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像；

所述工控终端采用视频流分析法，即对多组摄像机同步采集零件基于时间的序列图像进行实时分析，与多组摄像机位置形成二维关系图，并精确判断出缺陷的位置，以便对缺陷进行定位和保存相关检测缺陷图像数据；

所述采集端内置成像控制系统；

所述成像控制系统由图像成像芯片、图像控制芯片、FPGA芯片及ARM处理器组成；

包括以下方法：

S1、将零件放置转动部上，由转动部驱使零件转动至少一周；

S2、成像控制系统同步采集端，使形成面阵成像阵列的多组摄像机同步并行采集零件转动至少一周的图像，并将采集到的图像发送至工控终端；

S3、工控终端对图像数据编排，以图像采集时间序列及摄像机位置作为二维关系轴，将图像编排，形成二维关系图，并通过机器学习或深度学习算法，对采集来的图像进行表面缺陷检测；

S4、当零件在检测时间周期内，视觉表面缺陷检测系统发现了缺陷，则将缺陷标记在图像上存档，并判定该零件不合格；

所述S2中，多组摄像机同步并行采集零件转动至少一周的图像时，由采集端的多组摄像机形成的多角度视角，结合零件转动时运动姿态的多角度，完成对零件图像的高密度采集，使零件中缺陷在不同角度上成像，降低漏检率；

所述S2还包括：

S21、FPGA芯片同步图像控制芯片发出同步启动信号；

S22、图像控制芯片触发图像成像芯片开启；

S23、图像成像芯片同步并行的将采集到的图像数据发送给成像控制芯片；

S24、成像控制芯片将多路图像数据进行编码压缩，以单帧图像的方式通过网络发送给工控终端，以实现对不同位置零件表面缺陷图像数据的传输。

2.根据权利要求1所述的一种多目视觉表面缺陷检测方法，其特征是：所述摄像机的镜头具有预定景深。

3.根据权利要求1所述的一种多目视觉表面缺陷检测方法，其特征是：所述序列图像数量随摄像机数量及摄像机采集时间周期进行变化。

4.根据权利要求1所述的一种多目视觉表面缺陷检测方法，其特征是：所述步骤S4中在视觉表面缺陷检测系统发现了缺陷的判断标准为：

二维关系图中任意一张或多张图片出现缺陷，即判定视觉表面缺陷检测系统发现了缺陷。

Images