CN114280075A - 一种管类零件表面缺陷在线视觉检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种管类零件表面缺陷在线视觉检测系统及检测方法，是由缺陷视觉检测传感器阵列和计算机构成；缺陷视觉检测传感器是由投影器、条纹图案片、远心镜头、单色光源、成像镜头、相机、滤光片、分光镜、二色镜、条纹接收相机组成；其中投影器、条纹图案片、远心镜头、成像镜头、分光镜、条纹接收相机组成三维成像光路装置；单色光源、成像镜头、分光镜、滤光片、二色镜、相机组成二维成像光路装置；六个所述缺陷视觉检测传感器垂直于管类零件传动方向，并均匀布置于管类零件周围。本发明能够在线检测管类零件表面上存在的各种类型缺陷，可以有效提高管类零件的检测效率和准确率，减少管类零件生产厂家的人力成本。

Description

一种管类零件表面缺陷在线视觉检测系统及检测方法

技术领域

本发明涉及表面缺陷的自动光学检测领域，具体的说是一种管类零件表面缺陷在线视觉检测系统及检测方法。

背景技术

管类零件广泛运用于工业领域和日常生活中，其质量的优劣直接决定了产品使用效果和寿命周期，因此，对其进行出厂前的缺陷检测具有重要的意义。传统的检测通常为离线状态下，利用人工检测、超声检测、涡流检测等手段，基于视觉检测方法也广泛运用于管类零件的缺陷检测。目前人工检查耗时耗力，用于金属管类零件的超声、涡流检测存在漏检现象，普通视觉检测方法不能同时检测二维和三维检测，且效率较低，这些装置和检测方法难以满足管类零件多种缺陷的快速、精确的在线检测需求。

发明内容

本发明旨在解决克服现有技术的不足，提供一种管类零件表面缺陷在线视觉检测系统及检测方法，具有速度快、精度高、非接触、在线检测等性能特点，从而满足管类零件在线缺陷的实际检测需求。

为达到上述目的，本发明采取的技术方案是：

本发明一种管类零件表面缺陷的在线视觉检测系统的特点是包括：n个缺陷视觉检测传感器和工控机；n个所述缺陷视觉检测传感器均匀设置在管类零件的周围；

所述缺陷视觉检测传感器包括：三维成像光路装置和二维成像光路装置，分别用于检测管类零件表面的三维缺陷和二维缺陷；

所述缺陷视觉检测传感器包括：投影器、条纹图案片、远心镜头、单色光源、成像镜头、相机、滤光片、分光镜、条纹接收相机；其中，所述条纹接收相机的光轴方向垂直于管类零件的传动方向；

由所述投影器、条纹图案片、远心镜头、成像镜头、分光镜、条纹接收相机组成所述三维成像光路装置；

所述投影器的光线经过所述条纹图案片，其透过光再经过所述远心镜头投射到管类零件表面，管类零件表面的反射光依次经过所述成像镜头和所述分光镜，最后在所述条纹接收相机上成像，从而形成三维成像光路；

由所述单色光源、成像镜头、分光镜、滤光片、相机组成所述二维成像光路装置；

所述单色光源照射所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头和所述分光镜后，再由所述滤光片过滤干扰光，最后在所述相机上成像，从而形成二维成像光路。

本发明所述的一种管类零件表面缺陷的在线视觉检测系统的特点也在于：

将所述缺陷视觉检测传感器中的滤光片和分光镜替换为二色镜；从而由所述投影器、条纹图案片、远心镜头、成像镜头、条纹接收相机、二色镜组成另一种三维成像光路装置；

所述投影器的光线经过所述条纹图案片，其透过光再经过远心镜头投射到所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头和二色镜，最后在所述条纹接收相机上成像，从而形成另一条三维成像光路；

由所述单色光源、成像镜头、二色镜、相机组成另一种二维成像光路装置；

所述单色光源照射所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头和所述二色镜，最后在所述相机上成像，从而形成另一条二维成像光路。

本发明一种基于所述的在线视觉检测系统的三维缺陷检测方法的特点是按如下步骤进行：

步骤1、三维成像光路装置的标定：

首先标定条纹接收相机的内参，利用投影仪在所述投影器处投射与所述条纹图案片同向的多组条纹结构光到棋盘格上用于标定；

通过多项式拟合，得到以相机为原点的世界坐标系、相机的像素坐标系以及编码值之间的关系式如式(1)所示；

式(1)中，X、Y、Z分别表示世界坐标系中的三维坐标，u、v表示相机坐标系中的横、纵坐标，φ表示绝对编码值，k表示多项式的拟合级次，a_j,b_j,c_j分别表示三个所需拟合的第j个系数；

步骤2、使用u-net网络构建两阶段的条纹处理网络：

使用所述投影仪向管类零件投射一组同频互补的条纹结构光，再使用所述条纹接收相机采集同频条纹调制后的管类零件图片并进行解码处理，得到投影到管类零件表面的0-1编码值，以同频条纹调制后的管类零件图片作为网络输入，以0-1编码值作为网络输出的真值，对第一阶段的条纹编码网络进行训练，得到训练后的条纹编码网络；

使用所述投影仪向管类零件投射一组不同频率的条纹结构光，再使用所述条纹接收相机采集条纹调制后的管类零件图片并进行解码处理，获得投影到管类零件表面的绝对编码值，以条纹调制后的管类零件图片作为网络输入，以绝对编码值作为网络输出的真值，对第二阶段的条纹解码网络进行训练，得到训练后的条纹解码网络；

步骤3、使用所述投影器与条纹图案片投射条纹结构光到待测的钢管物体上，并使用所述条纹接收相机采集调制后的条纹图后输入到训练后的两阶段的条纹处理网络中，获得由调制后的条纹的绝对编码图；

步骤4、根据绝对编码图，利用式得到管类零件表面的三维点云信息并进行分析，从而完成管类零件表面的三维缺陷检测。

本发明一种基于所述的在线视觉检测系统的二维缺陷检测方法的特点是按如下步骤进行：

步骤1、使用所述单色光源以一定倾角对管类零件进行照明，并利用所述相机采集管类零件表面的图像；

步骤2、对所述管类零件表面的图像进行裁剪和分割，获得有效视场图像再进行滤波去噪或图像增强处理，得到处理后的图像；

步骤3、使用深度学习检测方法对处理后的图像进行检测，并标记出缺陷ROI区域和缺陷类别；

步骤4、对标记出的缺陷ROI区域进行形貌特征分析，获得各类缺陷特征参数；

步骤5、对所有类别的缺陷进行自定义筛选，从而筛选出关键缺陷，用于后续处理。

与已有技术相比，本发明的有益效果体现在：

1、本发明属于非接触式视觉检测系统，可以同时检测管类零件的二维、三维缺陷，如结疤、裂纹、擦伤、压痕、毛刺、点坑等缺陷，克服现有检测装置缺陷检测功能单一，只能检测二位缺陷或者三维缺陷的不足；

2、本发明二维、三维一次成像，且只需采集一幅管类零件条纹图像即可获取表面三维点云信息，检测方法具有更高的效率；

3、本发明是在线自动缺陷检测，无需更改管类零件生产线，无需额外空间安装检测系统，相比人工检测，降低用工成本、误漏检率的同时，可以大大提高产线检测效率，

4、本发明中缺陷视觉检测传感器的位置可调，整个检测系统不受管径、长度的限制，具有极强的泛检能力，为厂家减少大量的设备成本。

附图说明

图1是本发明检测系统的结构示意图；

图2是本发明检测系统传感器方案一内部结构及成像光路图；

图3是本发明检测系统传感器方案二内部结构及成像光路图；

图4是本发明传感器采集的管类零件条纹图像；

图5是本发明传感器采集的管类零件单色光照明图像；

图中标号：1缺陷视觉检测传感器；2投影器；3条纹图案片；4远心镜头；5待检测管类零件；6单色光源；7成像镜头；8相机；9滤光片；10分光镜；11条纹接收相机；12二色镜；LP1三维成像光路；LP2二维成像光路；LP3三维成像光路；LP4二维成像光路。

具体实施方式

在本实施例中，如图1所示，一种管类零件表面缺陷在线视觉检测系统是由n个缺陷视觉检测传感器1和工控机构；本实施例中，n＝6个缺陷视觉检测传感器1均匀设置在管类零件的周围；且互成六十度夹角均匀布置，6个缺陷视觉检测传感器的视场能够覆盖管类零件一周，随着管类零件传动，条纹接收相机11和相机8采集到管类零件表面图像。

管类零件在制作过程中因加工工艺、生产环境等因素影响，会出现裂纹、擦伤、压痕、毛刺、结疤、点坑等缺陷，部分缺陷通过二维缺陷检测手段即能检测，结疤、点坑等缺陷则需要得到其三维信息，进行分析后才能做出判断。单一三维成像光路装置和二维成像装置不能同时检测出二维和三维缺陷。缺陷视觉检测传感器1包括三维成像光路装置和二维成像光路装置，能够同时检测管类零件表面三维缺陷和二维缺陷；

缺陷视觉检测传感器1包括两种方案；如图2所示，第一种方案是由投影器3、条纹图案片4、远心镜头5、单色光源6、成像镜头7、相机8、滤光片9、分光镜10、条纹接收相机11组成，其中，投影,3和单色光源6的波长不同，保证管类零件二维和三维一次成像；

由投影器3、条纹图案片4、远心镜头5、成像镜头7、分光镜10、条纹接收相机11组成三维成像光路装置；

三维成像过程如下：投影器3的光线经过条纹图案片4，其透过光为二值条纹光栅，其条纹数量受条纹图案片控制，经过远心镜头5投射到管类零件表面，管类零件表面反射光依次经过成像镜头7和分光镜10透射，最后在条纹接收相机11上成像，从而形成三维成像光路LP1；

由单色光源6、成像镜头7、分光镜10、滤光片9、相机8组成二维成像光路装置；

二维成像过程如下：为了同时实现三维和二维两种方式缺陷检测，选用与投影器3不同波长的单色光源照射管类零件表面，管类零件表面放射光依次经过成像镜头7和分光镜10反射，滤光片9发工作波长与所选单色光源6相同，由滤光片9过滤条纹和环境光等干扰光，最后在相机8上成像，从而形成二维成像光路LP2；

如图3所示，缺陷视觉检测传感器1的第二种方案是由投影器3、条纹图案片4、远心镜头5、单色光源6、成像镜头7、相机8、条纹接收相机11、二色镜12组成，其中投影器3和单色光源6的波长不同，保证管类零件二维和三维一次成像，且二色镜应满足透射投影器3发射光线和反射所选单色光源光线的要求；

由投影器3、条纹图案片4、远心镜头5、成像镜头7、条纹接收相机11、二色镜12组成三维成像光路装置；

三维成像过程如下：投影器3的光线经过条纹图案片4，其透过光为二值条纹光栅，其条纹数量受条纹图案片控制，经过远心镜头5投射到管类零件表面，管类零件表面反射光依次经过成像镜头7和二色镜12透射，最后在条纹接收相机11上成像，从而形成三维成像光路LP3；

由单色光源6、成像镜头7、二色镜12、相机8组成二维成像光路装置；

二维成像过程如下：单色光源6照射管类零件表面，管类零件表面放射光依次经过成像镜头7和二色镜12，最后在相机8上成像，从而形成二维成像光路LP4；

如图2和图3所示，本实施例中，一种基于在线视觉检测系统的三维缺陷检测方法如下步骤进行：

步骤1、三维成像光路装置的标定：

首先标定条纹接收相机11的内参，利用投影仪在所述投影器(3)处投射与所述条纹图案片(4)同向的多组条纹结构光到棋盘格上用于标定；

通过多项式拟合，得到以相机为原点的世界坐标系、相机的像素坐标系以及编码值之间的关系式如式(1)所示；

式(1)中，X、Y、Z分别表示世界坐标系中的三维坐标，u、v表示相机坐标系中的横、纵坐标，φ表示绝对编码值，k表示多项式的拟合级次，a_j,b_j,c_j分别表示三个所需拟合的第j个系数；

步骤2、使用u-net网络构建两阶段的条纹处理网络：

使用所述投影仪向管类零件投射一组同频互补的条纹结构光，再使用所述条纹接收相机(11)采集同频条纹调制后的管类零件图片并进行解码处理，从而利用式(2)得到投影到管类零件表面的0-1编码值，以同频条纹调制后的管类零件图片作为网络输入，以0-1编码值作为网络输出的真值，对第一阶段的条纹编码网络进行训练，得到训练后的条纹编码网络；

式(2)中，若采集到原码图像对应像素点大于采集到的补码图像对应点灰度值，则这点的编码值为1，否则为0，其中(x,y)为像素在相位图中的坐标，L_s(x,y)和L_d(x,y)分别为该点在原码和补码图像中的灰度值，Binary(x,y)为该点的0-1编码值。

使用所述投影仪向管类零件投射一组不同频率的条纹结构光，再使用所述条纹接收相机11采集条纹调制后的管类零件图片并进行解码处理，从而利用式(3)获得投影到管类零件表面的绝对编码值k值，以条纹调制后的管类零件图片作为网络输入，以绝对编码值作为网络输出的真值，对第二阶段的条纹解码网络进行训练，得到训练后的条纹解码网络；

Φ(x,y)＝φ(x,y)+k(x,y) (3)

式(3)中,k表示每个像素位置0-1编码到真实编码值的距离，Φ(x,y)表示绝对编码值，

表示0-1编码；

步骤3、使用投影器3与条纹图案片4投射条纹结构光到待测的钢管物体上，并使用所述条纹接收相机11采集调制后的条纹图后输入到训练后的两阶段的条纹处理网络中，获得由调制后的条纹的0-1编码图和绝对编码图，如图4所示；

步骤4、根据绝对编码图，利用式(1)得到管类零件表面的三维点云信息并进行分析，从而完成管类零件表面的三维缺陷检测。

如图2和图3所示，一种基于在线视觉检测系统的二维缺陷检测方法的步骤如下：

步骤1、图像采集：

使用单色光源6以一定倾角对管类零件进行照明，通过相机8采集管类零件表面图像，如图5所示；

步骤2、图像预处理：

先对步骤1采集管类零件表面图像进行裁剪和分割，获得有效视场图像，并进行滤波去噪或图像增强处理，得到处理后的图像；

步骤3、深度学习检测：

使用深度学习检测方法从处理后的图像中检测并标记出缺陷ROI区域和缺陷类别；

步骤4、缺陷特征提取：

对检测出的缺陷ROI区域进行形貌特征分析，获得各类缺陷特征参数，如缺陷面积、长、宽、填充度、圆度、灰度分布等；

步骤5、缺陷筛选，根据用户检测需求和获得的缺陷特征参数，对全部缺陷进行自定义筛选，检出用户所关注的缺陷，剔除小微缺陷或不检的缺陷；

步骤6、缺陷数据存储、缺陷打标和分拣等后续处理；

如图2所示，三维缺陷检测光路中选用绿光照明，实际检测中投影器3可以任意更换单色光，如红光或蓝光，二维缺陷检测用白光，相机8更换为彩色相机，成像光路中只需在相机前添加合适滤光片，分别采集到互不干扰的管类零件图像即可。

Claims (4)

1.一种管类零件表面缺陷的在线视觉检测系统，其特征是包括：n个缺陷视觉检测传感器(1)和工控机；n个所述缺陷视觉检测传感器(1)均匀设置在管类零件的周围；

所述缺陷视觉检测传感器(1)包括：三维成像光路装置和二维成像光路装置，分别用于检测管类零件表面的三维缺陷和二维缺陷；

所述缺陷视觉检测传感器(1)包括：投影器(3)、条纹图案片(4)、远心镜头(5)、单色光源(6)、成像镜头(7)、相机(8)、滤光片(9)、分光镜(10)、条纹接收相机(11)；其中，所述条纹接收相机(11)的光轴方向垂直于管类零件的传动方向；

由所述投影器(3)、条纹图案片(4)、远心镜头(5)、成像镜头(7)、分光镜(10)、条纹接收相机(11)组成所述三维成像光路装置；

所述投影器(3)的光线经过所述条纹图案片(4)，其透过光再经过所述远心镜头(5)投射到管类零件表面，管类零件表面的反射光依次经过所述成像镜头(7)和所述分光镜(10)，最后在所述条纹接收相机(11)上成像，从而形成三维成像光路(LP1)；

由所述单色光源(6)、成像镜头(7)、分光镜(10)、滤光片(9)、相机(8)组成所述二维成像光路装置；

所述单色光源(6)照射所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头(7)和所述分光镜(10)后，再由所述滤光片(9)过滤干扰光，最后在所述相机(8)上成像，从而形成二维成像光路(LP2)。

2.根据权利要求1所述的一种管类零件表面缺陷的在线视觉检测系统，其特征是：

将所述缺陷视觉检测传感器(1)中的滤光片(9)和分光镜(10)替换为二色镜(12)；从而由所述投影器(3)、条纹图案片(4)、远心镜头(5)、成像镜头(7)、条纹接收相机(11)、二色镜(12)组成另一种三维成像光路装置；

所述投影器(3)的光线经过所述条纹图案片(4)，其透过光再经过远心镜头(5)投射到所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头(7)和二色镜(12)，最后在所述条纹接收相机(11)上成像，从而形成另一条三维成像光路(LP3)；

由所述单色光源(6)、成像镜头(7)、二色镜(12)、相机(8)组成另一种二维成像光路装置；

所述单色光源(6)照射所述管类零件表面，管类零件表面的反射光依次经过所述成像镜头(7)和所述二色镜(12)，最后在所述相机(8)上成像，从而形成另一条二维成像光路(LP4)。

3.一种基于权利要求1所述的在线视觉检测系统的三维缺陷检测方法，其特征是按如下步骤进行：

步骤1、三维成像光路装置的标定：

首先标定条纹接收相机(11)的内参，利用投影仪在所述投影器(3)处投射与所述条纹图案片(4)同向的多组条纹结构光到棋盘格上用于标定；

通过多项式拟合，得到以相机为原点的世界坐标系、相机的像素坐标系以及编码值之间的关系式如式(1)所示；

式(1)中，X、Y、Z分别表示世界坐标系中的三维坐标，u、v表示相机坐标系中的横、纵坐标，φ表示绝对编码值，k表示多项式的拟合级次，a_j,b_j,c_j分别表示三个所需拟合的第j个系数；

步骤2、使用u-net网络构建两阶段的条纹处理网络：

使用所述投影仪向管类零件投射一组同频互补的条纹结构光，再使用所述条纹接收相机(11)采集同频条纹调制后的管类零件图片并进行解码处理，得到投影到管类零件表面的0-1编码值，以同频条纹调制后的管类零件图片作为网络输入，以0-1编码值作为网络输出的真值，对第一阶段的条纹编码网络进行训练，得到训练后的条纹编码网络；

使用所述投影仪向管类零件投射一组不同频率的条纹结构光，再使用所述条纹接收相机(11)采集条纹调制后的管类零件图片并进行解码处理，获得投影到管类零件表面的绝对编码值，以条纹调制后的管类零件图片作为网络输入，以绝对编码值作为网络输出的真值，对第二阶段的条纹解码网络进行训练，得到训练后的条纹解码网络；

步骤3、使用所述投影器(3)与条纹图案片(4)投射条纹结构光到待测的钢管物体上，并使用所述条纹接收相机(11)采集调制后的条纹图后输入到训练后的两阶段的条纹处理网络中，获得由调制后的条纹的绝对编码图；

步骤4、根据绝对编码图，利用式(1)得到管类零件表面的三维点云信息并进行分析，从而完成管类零件表面的三维缺陷检测。

4.一种基于权利要求1所述的在线视觉检测系统的二维缺陷检测方法，其特征是按如下步骤进行：

步骤1、使用所述单色光源(6)以一定倾角对管类零件进行照明，并利用所述相机(8)采集管类零件表面的图像；

步骤2、对所述管类零件表面的图像进行裁剪和分割，获得有效视场图像再进行滤波去噪或图像增强处理，得到处理后的图像；

步骤3、使用深度学习检测方法对处理后的图像进行检测，并标记出缺陷ROI区域和缺陷类别；

步骤4、对标记出的缺陷ROI区域进行形貌特征分析，获得各类缺陷特征参数；

步骤5、对所有类别的缺陷进行自定义筛选，从而筛选出关键缺陷，用于后续处理。

Images