CN114425776A - 基于计算机视觉的自动贴标定位与纠偏方法 - Google Patents

Abstract

本发明公开了基于计算机视觉的自动贴标定位与纠偏方法，包括以下步骤：S1、由图像采集模块采集贴标样本产品的图像；S2、根据需要贴标位置确定感兴趣区域；S3、在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；S4、对摄像机进行标定；S5、机械手的自动纠偏；S6、机械手按照自动纠偏补偿后输入的位置信息重新确定移动路径，找到需要贴标的位置点，实现自动贴标操作。本发明可以实时获取到机械手与所跟踪定位目标的运动状态图片并进行分析处理，得出两者之间的相对位置偏差，通过机械手伺服控制系统，完成机械手轨迹的自动纠偏，能够保持高速度、高精度、高分辨率以及可以长时间持续不间断运作。

Description

基于计算机视觉的自动贴标定位与纠偏方法

技术领域

本发明涉及自动化技术领域，具体提供基于计算机视觉的自动贴标定位与纠偏方法。

技术背景

在传统工业生产过程中，给产品贴标签的工序一般由人工完成，成本高、效率低且易出错，如何提高产品质量程度当今中国制造业的热点问题。

近年来，人工智能快速发展，计算机视觉作为其中一个分支，它集合了图像处理与模式识别等众多应用领域的技术，使计算机能够像人脑一样，获取外界的事物信息，并在进行了一系列分析与处理以后，可以对外界事物做出相应的反应，利用计算机代替人眼做出测量和判断，通过图像摄取设备将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转化成数字化信号，图像系统对得到的信号进行各种运算来抽取目标的特征，进而根据判别的结果控制现场的设备动作，完成自动贴标，在智能生产线和智能设备的应用中，计算机视觉可以使产品在自动化生产过程中质量更加稳定、产出更加高效。在现有情况中，贴标技术经常出现速度慢、精度低、不稳定的情况，因此，需要设计一种值得推广、结果准确、能够自动纠偏的自动贴标方法来保障工业生产的效率。

发明内容

针对现有技术中的问题，本发明提供基于计算机视觉的自动贴标定位与纠偏方法，包括以下步骤：

S1、由图像采集模块采集贴标样本产品的图像；

S2、由图像识别模块对产品图像进行预处理，再根据需要贴标位置确定感兴趣区域；

S3、在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；

S4、对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成待贴标物体图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位置作为已知信息返回给机械手；

S5、采集机械手实际坐标位置图片，对采集到的图片进行分析处理，得出机械手与标签中心点的空间位置的相对位置偏差，机械手伺服控制系统实时获取到该偏差值，并根据该偏差值对机械手既定轨迹进行补偿，从而完成机械手的自动纠偏；

S6、机械手按照自动纠偏补偿后输入的位置信息重新确定移动路径，找到需要贴标的位置点，实现自动贴标操作。

进一步的，步骤S1中，所述图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对产品进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中；光源作为辅助光照设备用以改善图像采集效果。

进一步的，步骤S2中，图像识别模块对产品图像进行预处理包括图像灰度化、图像二值化以及图像滤波。

进一步的，步骤S3中，所述识别标签的角点位置，依据shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化；若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由各个角点可知中心点像素坐标。

进一步的，步骤S4中，所述数据处理模块根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换，实现像素坐标系到摄像机坐标系二维到三维的转换；像素坐标系根据三角相似原理转换为摄像机坐标系，实现摄像机坐标系到世界坐标系三维到三维的转换，摄像机坐标系通过旋转及平移转换为世界坐标系，实现待测物体图像中心点像素坐标到世界坐标的转换，提供贴标所需的位置信息。

进一步的，步骤S5中，机械手伺服控制系统获取过去抓取到的10—20次图片所处理得到的偏差值，并对偏差值进行滤波后取平均处理以消除机械手在运行过程中因抖动而引起的随机误差。

进一步的，步骤S5中，对采集到的图片进行分析处理的方法包括以下步骤：

从已分配好的缓冲内存中取出当前所保存的黑白图片信息，对黑白图片进行去噪处理，并设定合理的阈值，所述阈值范围为[0,255]，对黑白图片进行边缘检测，最终得到一个轮廓清晰的边缘检测图；

在边缘检测图的基础上，进行图像分割，将图片分割成两个子图片，其中一个图片为取物夹边缘检测图，另外一个图片为运动目标边缘检测图；

对取物夹边缘检测图进行特征提取，取出取物夹中心手柄的图像感兴趣区域，建立图片的二维像素坐标系(X，Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置；对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据所述阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据所述阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置。

有益效果：

1、本发明通过计算机视觉系统中的图像采集模块，代替人眼，可以实时获取到机械手与所跟踪定位目标的运动状态图片并进行分析处理，得出两者之间的相对位置偏差，通过机械手伺服控制系统，完成机械手轨迹的自动纠偏，能够保持高速度、高精度、高分辨率以及可以长时间持续不间断运作。

2.本发明采用简单结构即可实现，操作容易，实现成本低，可大规模推广。

具体实施方式

下面结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明提供基于计算机视觉的自动贴标定位与纠偏方法，包括以下步骤：

S1、由图像采集模块采集贴标样本产品的图像；

S2、由图像识别模块对产品图像进行预处理，再根据需要贴标位置确定感兴趣区域，其中图像识别模块由计算机硬件系统和基于编程语言开发的应用软件组成；

S3、在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；

S4、对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成待贴标物体图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位置作为已知信息返回给机械手，机械手作为硬件执行机构，安装在被贴标产品旁，可自动移动寻找位置点，按照输入的位置信息确定移动路径，找到需要贴标的位置点；

S5、采集机械手实际坐标位置图片，对采集到的图片进行分析处理，得出机械手与标签中心点的空间位置的相对位置偏差，机械手伺服控制系统实时获取到该偏差值，并根据该偏差值对机械手既定轨迹进行补偿，从而完成机械手的自动纠偏；

S6、机械手按照自动纠偏补偿后输入的位置信息重新确定移动路径，找到需要贴标的位置点，实现自动贴标操作。

在本实施例中，优选的，步骤S1中，所述图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对产品进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中；光源作为辅助光照设备用以改善图像采集效果。

在本实施例中，优选的，步骤S2中，图像识别模块对产品图像进行预处理包括图像灰度化、图像二值化以及图像滤波。

在本实施例中，优选的，步骤S3中，所述识别标签的角点位置，依据shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化；若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由各个角点可知中心点像素坐标。

在本实施例中，优选的，步骤S4中，所述数据处理模块根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换，实现像素坐标系到摄像机坐标系二维到三维的转换；像素坐标系根据三角相似原理转换为摄像机坐标系，实现摄像机坐标系到世界坐标系三维到三维的转换，摄像机坐标系通过旋转及平移转换为世界坐标系，实现待测物体图像中心点像素坐标到世界坐标的转换，提供贴标所需的位置信息。

在本实施例中，优选的，步骤S5中，机械手伺服控制系统获取过去抓取到的10—20次图片所处理得到的偏差值，并对偏差值进行滤波后取平均处理以消除机械手在运行过程中因抖动而引起的随机误差。

在本实施例中，优选的，步骤S5中，对采集到的图片进行分析处理的方法包括以下步骤：

从已分配好的缓冲内存中取出当前所保存的黑白图片信息，对黑白图片进行去噪处理，并设定合理的阈值，所述阈值范围为[0,255]，对黑白图片进行边缘检测，最终得到一个轮廓清晰的边缘检测图；

在边缘检测图的基础上，进行图像分割，将图片分割成两个子图片，其中一个图片为取物夹边缘检测图，另外一个图片为运动目标边缘检测图；

对取物夹边缘检测图进行特征提取，取出取物夹中心手柄的图像感兴趣区域，建立图片的二维像素坐标系(X，Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置；对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据所述阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据所述阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，包括以下步骤：

S1、由图像采集模块采集贴标样本产品的图像；

S2、由图像识别模块对产品图像进行预处理，再根据需要贴标位置确定感兴趣区域；

S3、在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；

S4、对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成待贴标物体图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位置作为已知信息返回给机械手；

S5、采集机械手实际坐标位置图片，对采集到的图片进行分析处理，得出机械手与标签中心点的空间位置的相对位置偏差，机械手伺服控制系统实时获取到该偏差值，并根据该偏差值对机械手既定轨迹进行补偿，从而完成机械手的自动纠偏；

S6、机械手按照自动纠偏补偿后输入的位置信息重新确定移动路径，找到需要贴标的位置点，实现自动贴标操作。

2.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S1中，所述图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对产品进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中；光源作为辅助光照设备用以改善图像采集效果。

3.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S2中，图像识别模块对产品图像进行预处理包括图像灰度化、图像二值化以及图像滤波。

4.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S3中，所述识别标签的角点位置，依据shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化；若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由各个角点可知中心点像素坐标。

5.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S4中，所述数据处理模块根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换，实现像素坐标系到摄像机坐标系二维到三维的转换；像素坐标系根据三角相似原理转换为摄像机坐标系，实现摄像机坐标系到世界坐标系三维到三维的转换，摄像机坐标系通过旋转及平移转换为世界坐标系，实现待测物体图像中心点像素坐标到世界坐标的转换，提供贴标所需的位置信息。

6.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S5中，机械手伺服控制系统获取过去抓取到的10—20次图片所处理得到的偏差值，并对偏差值进行滤波后取平均处理以消除机械手在运行过程中因抖动而引起的随机误差。

7.根据权利要求1所述的基于计算机视觉的自动贴标定位与纠偏方法，其特征在于，步骤S5中，对采集到的图片进行分析处理的方法包括以下步骤：

从已分配好的缓冲内存中取出当前所保存的黑白图片信息，对黑白图片进行去噪处理，并设定合理的阈值，所述阈值范围为[0,255]，对黑白图片进行边缘检测，最终得到一个轮廓清晰的边缘检测图；

在边缘检测图的基础上，进行图像分割，将图片分割成两个子图片，其中一个图片为取物夹边缘检测图，另外一个图片为运动目标边缘检测图；

对取物夹边缘检测图进行特征提取，取出取物夹中心手柄的图像感兴趣区域，建立图片的二维像素坐标系(X，Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置；对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据所述阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据所述阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置。