CN111080623B - 一种用于圆形零件缺失的视觉检测装置及方法 - Google Patents

Abstract

本发明公开一种用于圆形零件缺失的视觉检测装置及方法，该装置包括：图像采集模块、图像识别模块、激光数据采集模块、相机内外参数标定模块；图像采集模块与图像识别模块相连接，用于获取圆形零件表面的二维图像数据；激光数据采集模块与图像识别模块相连接，用于获取圆形零件距离相机的一维距离；相机内外参数标定模块与图像识别模块相连接，用于获取图像坐标系到相机坐标系的转换参数。本发明运用图像处理算法准确定位并分析出圆形零件的图像特征信息，并根据特征信息的纹理判断有无零件缺失，以适应各种不同高度不同尺寸的零件缺失检测，从而提高生产效率和产品质量，使得系统具有准确性和稳定性等特点。

Description

一种用于圆形零件缺失的视觉检测装置及方法

技术领域

本发明涉及圆形零件生产过程的自动化检测技术领域，主要涉及一种用于圆形零件生产加工过程的零件缺失检测装置及方法。

背景技术

圆形零件的生产过程由于工序比较繁琐小零件比较多，容易出现零件缺失情况，传统的检测方法都是通过人工进行检测，人容易由于受环境的影响而出现漏检测现象，造成产品质量不够稳定。

发明内容

本发明的目的是针对现有圆形零件生产技术存在的问题，提供一种用于圆形零件缺失的视觉检测装置及方法，能对加工后的圆形零件进行机器自动检测，保证生产的每一个产品都不缺失零件，从而使得生产具有稳定性和可靠性，并降低人工劳动力，提高产品生产的质量。

为了实现上述目的，本发明采用的技术方案为：

本发明一种用于圆形零件缺失的视觉检测装置的特点包括：图像采集模块、图像识别模块、激光数据采集模块、相机内外参数标定模块；

所述图像采集模块利用工业相机获取圆形零件的工件表面的二维图像数据并传递给所述图像识别模块；

所述激光数据采集模块利用激光测距传感器获取圆形零件的工件表面的一维距离数据并传递给所述图像识别模块；

所述相机内外参数标定模块对所述工业相机进行参数标定，得到相机内外的标定参数并传递给所述图像识别模块；

所述图像识别模块利用圆形检测算法对所述二维图像数据进行计算，得到二维图像的圆心坐标点；再根据所述相机内外的标定参数、一维距离数据和圆心坐标点，利用三角转换法得到工件表面的三维圆心定位点，从而根据所述三维圆心定位点，利用平移矩阵得到待检测区域的三维坐标区域；再对所述相机内外的标定参数所组成的标定矩阵进行逆运算，反解出所述待检测区域的二维图像坐标系下的区域数据，并利用梯度算子对所述区域数据进行边缘检测，得到边缘信息，从而根据所述检测到的边缘信息进行阈值判断，以识别出是否有零件缺失。

本发明所述的用于圆形零件缺失的视觉检测装置的特点也在于：所述图像采集模块包括：工业相机、工业镜头和组合光源；

所述组合光源包含：环形光源和条形光源，两个光源组合在一起实现圆形和线型的零件检测；所述工业相机与所述工业镜头连接通过标准C接口相连。

本发明一种用于圆形零件缺失的视觉检测方法的特点是按如下步骤进行：

步骤1：采用方形棋盘格标定方法对所述工业相机的内外参数进行标定，得到所述工业相机的内部参数矩阵M1和外部参数矩阵M2；

步骤2：根据所述工业相机的内部参数矩阵M1和外部参数矩阵M2，计算出所述方形棋盘格到工业相机的真实距离Z；

步骤3：利用激光传感器获取方形棋盘格表面的一维距离数据D，从而对相机到方形棋盘格表面的真实距离Z与一维距离数据D进行作差，标定出所述工业相机和激光传感器的平移矩阵参数；

步骤4：利用工业相机获取圆形零件的工件表面的二维图像数据f，并对所述二维图像数据f进行边缘检测，得到二维图像的边缘信息Δf；利用激光传感器获得圆形零件到激光的距离d，结合工业相机和激光传感器的平移矩阵参数得到圆形零件到工业相机的距离z；

步骤5：对所述二维图像的边缘信息Δf进行弧度检测，得到二维平行弧线链表；再对所述二维平行弧线链表中所有弧线按照弧度进行分类，并根据断裂阈值和距离阈值判断相同弧度的弧线之间是否为断裂或多线关系，若满足阈值，则表示弧度相同的弧线之间为断裂或多线关系，并合并为一条弧线，否则，表示为弧度相同的不同弧线；

步骤6：利用圆形检测算法检测出不同弧线所对应的圆形的中心坐标和圆形半径，并选取满足半径阈值的圆形作为定位圆形，从而以所述定位圆形的中心坐标作为二维图像的圆心坐标点；

步骤7：根据步骤6得到的定位圆形的中心坐标和半径值，并结合所述工业相机的内部参数矩阵M1和外部参数矩阵M2以及圆形零件到工业相机的一维距离数据z，将定位圆形的中心坐标从像素坐标系转换到相机坐标系中，从而得到基于相机坐标系的三维圆心定位点；

步骤8：根据圆形零件的工件表面的几何关系，计算出三维圆心定位点与待检测区域的的平移矩阵；从而利用平移矩阵得到待检测区域的三维坐标区域；

对所述内部参数矩阵M1和外部参数矩阵M2所组成的标定矩阵以及圆形零件到工业相机的一维距离数据z进行逆运算，将待检测区域的三维坐标区域和半径值转换到二维图像坐标系下，得到待检测区域的二维坐标系下的区域数据，包括圆形中心点和半径；

步骤9：选取在待检测区域的半径阈值范围内的二维环形区域，并将二维图像数据f与所述二维环形区域数据进行“与”操作，得到待检测区域的二维待识别图像；

步骤10：将所述待检测区域的二维待识别图像转换到直角坐标系下，再进行边缘检测，得到边缘信息；

步骤11：判断所述边缘信息是否超过线性阈值，若超过，则表示有零件；否则，表示零件缺失；

步骤12：重复步骤4到步骤12，以实现圆形零件表面有无零件缺失的实时检测功能。

与已有技术相比，本发明的有益效果体现在：

1、待检测的零件由于加工过程中会出现油污和胶水的干扰，导致直接定位待检测区域容易出现定位不准的问题，本发明采用不受油污和胶水干扰的圆心定位方式，根据圆形零件的工件表面的几何关系，计算出三维圆心定位点与待检测区域的的平移矩阵；从而利用平移矩阵得到待检测区域的三维坐标区域；对内部参数矩阵M1和外部参数矩阵M2所组成的标定矩阵进行逆运算，将待检测区域的三维坐标区域和半径值转换到二维图像坐标系下，得到待检测区域的二维坐标系下的区域数据，包括圆形中心点和半径，从而克服了待检测区域表面由于油污或者胶水给图像识别带来的干扰问题。

2、本发明对二维平行弧线链表中所有弧线按照弧度进行分类，并根据断裂阈值和距离阈值判断相同弧度的弧线之间是否为断裂或多线关系，若满足阈值，则表示弧度相同的弧线之间为断裂或多线关系，并合并为一条弧线，否则，表示为弧度相同的不同弧线，从而克服了边缘弧线断裂和重影带来圆心误检测的问题，提高了圆心检测的准确率和稳定性。

3、本发明采用基于三维坐标定位方式克服了不同检测高度带来的图像缩放问题，根据定位圆形的中心坐标和半径值，并结合工业相机的内部参数矩阵M1和外部参数矩阵M2以及平移矩阵参数，将定位圆形的中心坐标从像素坐标系转换到相机坐标系中，从而得到基于相机坐标系的三维圆心定位点，避免了不同拍照高度导致图像像素值差异带来的平移矩阵不同，可以直观的看到检测过程，避免了零件缺失带来的危害，提高了零件生产力。

附图说明

图1是本发明装置原理图；

图2是本发明弧形线段的合并示意图。

具体实施方式

本实施例中，如图1所示，一种用于圆形零件缺失的视觉检测装置包括：图像采集模块、图像识别模块、激光数据采集模块、相机内外参数标定模块；

图像采集模块利用工业相机获取圆形零件的工件表面的二维图像数据并传递给图像识别模块；具体实施中，图像采集模块包括：工业相机、工业镜头和组合光源；

组合光源包含环形光源和条形光源，两个光源组合在一起实现圆形和线型的零件的照明，工业相机与工业镜头的连接通过标准C接口相连。工件的视野范围为20cm*10cm，相机到工件的高度设置为26cm，相机垂直照射被检测工件，环形光源垂直照射工件，条型光源成30度角度照射工件，选用200万像素的工业相机，8mm的工业镜头，可以保证图像的分辨率为10个像素/mm。

激光数据采集模块利用激光测距传感器获取圆形零件的工件表面的一维距离数据并传递给图像识别模块；

相机内外参数标定模块对工业相机进行参数标定，得到相机内外的标定参数并传递给图像识别模块；

图像识别模块利用圆形检测算法对二维图像数据进行计算，得到二维图像的圆心坐标点；再根据相机内外的标定参数、一维距离数据和圆心坐标点，利用三角转换法得到工件表面的三维圆心定位点，从而根据三维圆心定位点，利用平移矩阵得到待检测区域的三维坐标区域；再对相机内外的标定参数所组成的标定矩阵进行逆运算，反解出待检测区域的二维图像坐标系下的区域数据，并利用梯度算子对区域数据进行边缘检测，得到边缘信息，从而根据检测到的边缘信息进行阈值判断，以识别出是否有零件缺失。

本实施例中，一种用于圆形零件缺失的视觉检测装置的检测步骤如下：

步骤1：采用方形棋盘格进行相机参数的标定，棋盘格每个方格的真实坐标值为2cm，标定方法为将相机和镜头调节到最佳状态，采集20幅不同角度和方形的棋盘格图片，标定方法如下

得出相机的参数矩阵为M，其中，u，v为图像坐标系坐标点，X为世界坐标系坐标点，z为工作距离，αx＝f/dx，αy＝f/dy，为u、v轴的尺度因子，M1称为相机的内部参数矩阵，M2称为相机的外部参数矩阵。求得内外参即可将X转换至u、v。

步骤2：根据工业相机的内部参数矩阵M1和外部参数矩阵M2，计算出方形棋盘格到工业相机的真实距离Z；

步骤3：利用激光传感器获取方形棋盘格表面的一维距离数据D，从而对相机到方形棋盘格表面的真实距离Z与一维距离数据D进行作差，标定出工业相机和激光传感器的平移矩阵参数；

步骤4：检测触发信号由软件触发和硬件触发两种模式组成，软件触发按钮设置于检测系统的人机交互界面上，操作人员点击检测按钮进行检测，软件程序实时等待消息信息，一旦检测到消息信息便调用包含视觉检测算法的消息响应函数进行零件缺失检测；硬件触发按钮设置于检测机械平台上，操作人员按下检测按键进行检测，软件程序定时采集硬件接口的数字信号，一旦检测到硬件触发信号程序就调用包含视觉检测算法的定时器消息响应函数进行零件缺失检测。

零件缺失检测中首先利用工业相机获取圆形零件的工件表面的二维图像数据f，并对二维图像数据f进行Canny边缘检测，得到二维图像的边缘信息Δf；利用激光传感器获得圆形零件到激光的距离d，结合工业相机和激光传感器的平移矩阵参数得到圆形零件到工业相机的距离z。

步骤5：对二维图像的边缘信息Δf进行弧度检测，得到二维平行弧线链表，再对二维平行弧线链表中所有弧线按照弧度进行分类，并根据断裂阈值和距离阈值判断相同弧度的弧线之间是否为断裂或多线关系，若满足阈值，则表示弧度相同的弧线之间为断裂或多线关系，并合并为一条弧线，否则，表示为弧度相同的不同弧线；

具体实施中的合并方法如下：定义d(s)为弧线的长度，d(s_i,s_j)为弧线s_i和弧线s_j的距离，定义d_L为合并的距离阈值，在d(s_i,s_j)＜d_L时，分析相互平行弧线间的断裂和多线，完成相互平行间的弧线的合并算法。

结合图2中的a、b、c三种弧线所代表的情形的合并算法如下：

d(s)为弧线的长度，d(s_i,s_j)为弧线s_i和弧线s_j的距离，其中i,j∈1,...n，d(P,Q)为两段弧线上P和Q的直线距离。如果d(s_i,s_j)＜d_L，判断弧线s1和s2是否属于图1中的情况a，属于的话，执行完全弧线重叠合并算法，否则，判断弧线s1和s2是否属于图1中的情况b，属于的话，执行部分弧线重叠合并算法，否则，判断弧线s1和弧线s2是否属于图1中的情况c，属于的话，执行弧线连接合并算法，若都不属于的话不执行任何操作。

步骤6：利用圆形检测算法检测出不同弧线所对应的圆形的中心坐标和圆形半径，并选取满足半径阈值的圆形作为定位圆形，从而以定位圆形的中心坐标作为二维图像的圆心坐标点；

步骤7：根据步骤6得到的定位圆形的中心坐标和半径值，并结合工业相机的内部参数矩阵M1和外部参数矩阵M2以及圆形零件到工业相机的一维距离数据z，将定位圆形的中心坐标从像素坐标系转换到相机坐标系中，从而得到基于相机坐标系的三维圆心定位点；

步骤8：根据圆形零件的工件表面的几何关系，计算出三维圆心定位点与待检测区域的的平移矩阵；从而利用平移矩阵得到待检测区域的三维坐标区域；

对内部参数矩阵M1和外部参数矩阵M2所组成的标定矩阵以及圆形零件到工业相机的一维距离数据z进行逆运算，将待检测区域的三维坐标区域和半径值转换到二维图像坐标系下，得到待检测区域的二维坐标系下的区域数据，包括圆形中心点和半径；

步骤9：选取在待检测区域的半径阈值范围内的二维环形区域，并将二维图像数据f与二维环形区域数据进行“与”操作，得到待检测区域的二维待识别图像；

步骤10：将待检测区域的二维待识别图像转换到直角坐标系下，转化公式为x＝rcos(θ)，y＝rsin(θ)，然后进行Sobel边缘检测。

步骤11：判断边缘信息是否超过线性阈值，若超过，则表示有零件；否则，表示零件缺失。

步骤12：重复步骤4到步骤12，可以实现圆形零件表面有无零件缺失的实时检测功能。

综上所述，本发明实施例，一种用于圆形零件缺失检测装置及方法，对待检测的圆形零件进行图像采集，通过采集的图像进行图像预处理、特征提取和对比分析，根据阈值判断有无零件缺失，提高了圆形零件的生产工艺，极大的降低了产品的不合格率，保证出厂的每个产品都具有完整性要求。本发明在圆形零件的生产环节操作的范围非常大，安全性能好，方便于工作人员进行检修和维护，具有较高的社会效益和经济效益。

Claims (3)

1.一种用于圆形零件缺失的视觉检测装置，其特征包括：图像采集模块、图像识别模块、激光数据采集模块、相机内外参数标定模块；

所述图像采集模块利用工业相机获取圆形零件的工件表面的二维图像数据并传递给所述图像识别模块；

所述激光数据采集模块利用激光测距传感器获取圆形零件的工件表面的一维距离数据并传递给所述图像识别模块；

所述相机内外参数标定模块对所述工业相机进行参数标定，得到相机内外的标定参数并传递给所述图像识别模块；

所述图像识别模块利用圆形检测算法对所述二维图像数据进行计算，得到二维图像的圆心坐标点；再根据所述相机内外的标定参数、一维距离数据和圆心坐标点，利用三角转换法得到工件表面的三维圆心定位点，从而根据所述三维圆心定位点，利用平移矩阵得到待检测区域的三维坐标区域；再对所述相机内外的标定参数所组成的标定矩阵进行逆运算，反解出所述待检测区域的二维图像坐标系下的区域数据，并利用梯度算子对所述区域数据进行边缘检测，得到边缘信息，从而根据所述检测到的边缘信息进行阈值判断，以识别出是否有零件缺失。

2.如权利要求1所述的用于圆形零件缺失的视觉检测装置，其特征在于：所述图像采集模块包括：工业相机、工业镜头和组合光源；

所述组合光源包含：环形光源和条形光源，两个光源组合在一起实现圆形和线型的零件检测；所述工业相机与所述工业镜头连接通过标准C接口相连。

3.一种用于圆形零件缺失的视觉检测方法，其特征是按如下步骤进行：

步骤1：采用方形棋盘格标定方法对所述工业相机的内外参数进行标定，得到所述工业相机的内部参数矩阵M1和外部参数矩阵M2；

步骤2：根据所述工业相机的内部参数矩阵M1和外部参数矩阵M2，计算出所述方形棋盘格到工业相机的真实距离Z；

步骤3：利用激光传感器获取方形棋盘格表面的一维距离数据D，从而对相机到方形棋盘格表面的真实距离Z与一维距离数据D进行作差，标定出所述工业相机和激光传感器的平移矩阵参数；

步骤4：利用工业相机获取圆形零件的工件表面的二维图像数据f，并对所述二维图像数据f进行边缘检测，得到二维图像的边缘信息Δf；利用激光传感器获得圆形零件到激光的距离d，结合工业相机和激光传感器的平移矩阵参数得到圆形零件到工业相机的距离z；

步骤5：对所述二维图像的边缘信息Δf进行弧度检测，得到二维平行弧线链表；再对所述二维平行弧线链表中所有弧线按照弧度进行分类，并根据断裂阈值和距离阈值判断相同弧度的弧线之间是否为断裂或多线关系，若满足阈值，则表示弧度相同的弧线之间为断裂或多线关系，并合并为一条弧线，否则，表示为弧度相同的不同弧线；

步骤6：利用圆形检测算法检测出不同弧线所对应的圆形的中心坐标和圆形半径，并选取满足半径阈值的圆形作为定位圆形，从而以所述定位圆形的中心坐标作为二维图像的圆心坐标点；

步骤7：根据步骤6得到的定位圆形的中心坐标和半径值，并结合所述工业相机的内部参数矩阵M1和外部参数矩阵M2以及圆形零件到工业相机的一维距离数据z，将定位圆形的中心坐标从像素坐标系转换到相机坐标系中，从而得到基于相机坐标系的三维圆心定位点；

步骤8：根据圆形零件的工件表面的几何关系，计算出三维圆心定位点与待检测区域的的平移矩阵；从而利用平移矩阵得到待检测区域的三维坐标区域；

对所述内部参数矩阵M1和外部参数矩阵M2所组成的标定矩阵以及圆形零件到工业相机的一维距离数据z进行逆运算，将待检测区域的三维坐标区域和半径值转换到二维图像坐标系下，得到待检测区域的二维坐标系下的区域数据，包括圆形中心点和半径；

步骤9：选取在待检测区域的半径阈值范围内的二维环形区域，并将二维图像数据f与所述二维环形区域数据进行“与”操作，得到待检测区域的二维待识别图像；

步骤10：将所述待检测区域的二维待识别图像转换到直角坐标系下，再进行边缘检测，得到边缘信息；

步骤11：判断所述边缘信息是否超过线性阈值，若超过，则表示有零件；否则，表示零件缺失；

步骤12：重复步骤4到步骤12，以实现圆形零件表面有无零件缺失的实时检测功能。

Images