CN109018591A - 一种基于计算机视觉的自动贴标定位方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的自动贴标定位方法，步骤为：由图像采集模块采集贴标样本产品的图像；图像识别模块产品图像进行预处理，再根据需要贴标位置确定感兴趣区域；在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成纸盒图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位姿作为已知信息返回给机械手；机械手按照输入的位姿信息确定移动路径，找到需要贴标的位置点，实现自动贴标操作。本发明能够保持高速度、高精度、高分辨率以及可以长时间持续不间断运作，识别率高，测量结果精确。

Description

一种基于计算机视觉的自动贴标定位方法

技术领域

本发明涉及一种定位检测技术，具体为一种基于计算机视觉的自动贴标定位方法。

背景技术

在传统工业生产过程中，给产品贴标签的工序一般由人工完成，成本高、效率低且易出错，如何提高产品质量程度当今中国制造业的热点问题。

近年来，人工智能快速发展，计算机视觉作为其中一个分支，利用计算机代替人眼做出测量和判断，通过图像摄取设备将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转化成数字化信号，图像系统对得到的信号进行各种运算来抽取目标的特征，进而根据判别的结果控制现场的设备动作，完成自动贴标，在智能生产线和智能设备的应用中，计算机视觉可以使产品在自动化生产过程中质量更加稳定、产出更加高效。在现有情况中，贴标技术经常出现速度慢、精度低、不稳定的情况，因此，需要设计一种值得推广、结果准确、容易实现的自动贴标定位方法来保障工业生产的效率。

目前，将计算机视觉技术应用于自动贴标定位的方法尚未见报道。

发明内容

针对现有技术中产品贴标签由人工完成，成本高且速度慢等不足，本发明要解决的问题是提供一种高速度、高精度、高分辨率的基于计算机视觉的自动贴标定位方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于计算机视觉的自动贴标定位方法，包括以下步骤：

由图像采集模块采集贴标样本产品的图像；

图像识别模块产品图像进行预处理，再根据需要贴标位置确定感兴趣区域；

在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；

对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成纸盒图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位姿作为已知信息返回给机械手；

机械手按照输入的位姿信息确定移动路径，找到需要贴标的位置点，实现自动贴标操作。

所述图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对产品进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中；光源作为辅助光照设备用以改善图像采集效果。

图像识别模块对产品图像进行预处理包括图像灰度化、图像二值化以及图像滤波。

所述识别标签的角点位置，是利用shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化；若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由各个角点可知中心点像素坐标。

所述识别标签的角点位置具体为：

将图像窗口平移产生灰度变化E(u,v)：

得到：

对于局部微小的移动量[u,v]，表达为：

其中M是2*2矩阵，可由图像的导数求得：

其中，u为窗口横向滑动量，v为窗口纵向滑动量，w_(x,y)为权重系数，I_x为图像窗口初始横向位置，I_y为图像窗口初始纵向位置，I_(x+u,y+v)表示窗口滑动后的位置；角点位置通过灰度变化E(u,v)表达，E(u,v)大于阈值表示该点为角点。

所述数据处理模块，根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换，实现像素坐标系到摄像机坐标系二维到三维的转换；像素坐标系根据三角相似的原理转换为摄像机坐标系，实现摄像机坐标系到世界坐标系三维到三维的转换，摄像机坐标系通过旋转及平移转换为世界坐标系，实现纸盒图像中心点像素坐标到世界坐标的转换，提供贴标所需的位姿信息。

本发明具有以下有益效果及优点：

1.本发明定位方法基于计算机视觉，能够保持高速度、高精度、高分辨率以及可以长时间持续不间断运作，因此识别率高，测量结果精确。

2.本发明采用简单结构即可实现，操作容易，实现成本低，可大规模推广。

3.本发明具有较高的自由度，机械手末端移动的范围大，将该定位方法引入到自动贴标生产线上解决传统贴标不便的问题。

附图说明

图1为本发明自动贴标定位的流程图；

图2为本发明坐标系统转换关系示意图；

图3为本发明采集的样本纸盒原始图像；

图4为本发明纸盒图像ROI区域提取；

图5为本发明纸盒标签四个角点位置检测图；

图6为本发明纸盒中心点像素坐标定位结果图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明一种基于计算机视觉的自动贴标定位方法，包括以下步骤：

由图像采集模块采集贴标样本产品的图像(以纸盒贴标为例，如图3所示，是样本纸盒原始图像)；

图像识别模块，为一在软件平台下编写的程序，对产品图像进行预处理，再根据需要贴标位置确定感兴趣区域(如图4所示)；图像识别模块由计算机硬件系统和基于编程语言开发的应用软件组成；

在感兴趣区域内进行角点检测识别标签的四个角点(假设标签为长方形)的像素坐标(如图5所示)，由此准确定位标签中心点的像素坐标；

对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成纸盒图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位姿作为已知信息返回给机械手；

计算机处理控制器是计算机运算器的一部分，负责图像采集、图像处理以及数据处理；

机械手作为硬件执行机构，安装在被贴标产品旁，可自动移动寻找位置点，按照输入的位姿信息确定移动路径，找到需要贴标的位置点即如图6所示的中心点位置坐标，实现自动贴标操作。

本实施例中，贴标样本产品以纸盒为例。图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对纸盒进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中。上位机对接收得到的图像信息进行识别分析与判断将并向执行机构发出指令，指挥机械手协调动作。

光源作为辅助光照设备用以改善图像采集效果。

图像识别模块的主要功能是实现图像的预处理、图像识别，最终得出纸盒图像中心的像素坐标。图像预处理主要包括图像灰度化、图像二值化、图像滤波，因受到外部因素和内部因素的干扰，通常会造成图像失真，因此，在图像识别之前需对其进行预处理以确保预处理后的图像与原始图像差别最小。

图像识别模块根据纸盒标签的位置确定感兴趣区域，识别标签的四个角点位置，由此得到标签中心点像素坐标。

识别标签的四个角点位置，是利用shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化，若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由四个角点可知中心点像素坐标。

数据处理模块，根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换。如图2所示，像素坐标系到摄像机坐标系是二维到三维的转换，像素坐标系根据三角相似的原理转换为摄像机坐标系，摄像机坐标系到世界坐标系是三维到三维的转换，摄像机坐标系可通过旋转及平移转换为世界坐标系，实现纸盒图像中心点像素坐标到世界坐标的转换，提供贴标所需的位姿信息。

本发明采用两台计算机实现，一台负责图像采集，图像处理，数据处理，另一台上位机接受得到的信息并向下发出指令，指挥机械手实现协调动作。

本发明的工作流程为：首先进行纸盒图像采集过程，用CCD摄像机拍摄纸盒图像，其次对采集到的图像进行处理，去除图像中的噪声，提取纸盒图像中的有用信号，然后选择合理的阈值，进行二值化处理，得到识别率高的图像，提取标签位置作为感兴趣区域，识别标签四个角点p₁、p₂、p₃、p₄的位置，得到中心点o的像素坐标，然后进行相机标定，制作棋盘格标定板，将标定板旋转，拍摄出十种不同角度的位置用于标定，得到相机内参和外参，利用得到的参数以及三种坐标系的转换关系得到纸盒标签中心点的空间坐标。

对标签进行角点检测时，将图像窗口平移产生灰度变化E(u,v)：

得到：

对于局部微小的移动量[u,v]，近似表达为：

其中M是2*2矩阵，可由图像的导数求得：

摄像机标定时，图像坐标系O₀-uv仅表示像素位于矩阵中的行数和列数，而实际测量中往往需要量化的坐标，因此建立以物理单位表示的坐标系O₁-xy，O₁为坐标原点，X轴、Y轴分别平行于坐标系O₀-uv的u轴与v轴，O₀-uv坐标系和O₁-xy坐标系可以相互转换，假设dx为每个像素在X轴方向的物理尺寸，dy为每个像素在Y轴方向的物理尺寸，(u₀,v₀)为O₁点在坐标系O₀-uv下的坐标，很显然有下式成立：

将上述坐标用齐次坐标表示，则有：

坐标系O_C-x_cy_cz_c表示相机坐标系，摄像机光心为O_C，光轴为O_CZ_C，x_c轴、y_c轴分别平行于坐标系O₁-XY的X轴、Y轴，O_CZ_C与O₁XY的交点即为O₁点，O_CO₁为摄像机焦距，相机坐标系O_C-x_cy_cz_c经过一定的旋转和平移与世界坐标系重合，因此通过旋转矩阵和平移向量实现相机坐标系到世界坐标系的转换，图中P为结构光平面与被测三维表面的交线上的某一点，设其在世界坐标系O_w-x_wy_wz_w的坐标为P(x_w,y_w,z_w)，在相机坐标系O_C-x_cy_cz_c下的坐标为(x_c,y_c,z_c)，根据上述理论，有下式成立：

式中，平移向量T＝(T_x,T_y,T_z)，旋转矩阵R＝R(α,β,γ)，分别是绕摄像机坐标系x轴旋转角度为α，绕y轴旋转角度为β，绕z轴旋转角度为γ。

空间点P在图像平面的投影点p在图像坐标系O₁-XY下的坐标用(X,Y)表示，根据成像原理，上述投影关系如下：

将上述坐标转换为齐次坐标，则有：

其中，s为比例因子，将上述式子结合，得到世界坐标系O_W-x_wy_wz_w与图像坐标系O₁-XY之间的转换关系，即为视觉传感器测量的数学模型：

建立摄像机成像的几何模型，即摄像机参数，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，选择棋盘格标定板进行标定，求解摄像机的内外参数。

内参标定确定摄像机从三维空间到二维图像的投影关系，即确定f_x,f_y,x₀,y₀，其中，f_x,f_y为焦距，x₀,y₀为图像的主点。外参标定确定摄像机坐标与世界坐标系之间相对位置关系，即确定R,T，则空间点P在世界坐标系与摄像机坐标系之间的关系为：

通过角点检测得到的标签中心点O的像素坐标根据上述转换关系公式可转换为空间坐标，实现自动贴标的定位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于计算机视觉的自动贴标定位方法，其特征在于：包括以下步骤：

由图像采集模块采集贴标样本产品的图像；

图像识别模块产品图像进行预处理，再根据需要贴标位置确定感兴趣区域；

在感兴趣区域内进行角点检测识别标签的角点的像素坐标，最终准确定位标签中心点的像素坐标；

对摄像机进行标定，由计算机处理控制器中的数据处理模块根据得到的相机参数完成待贴标物体图像中心点像素坐标到世界坐标的转换，并将得到的标签中心点的空间位姿作为已知信息返回给机械手；

机械手按照输入的位姿信息确定移动路径，找到需要贴标的位置点，实现自动贴标操作。

2.根据权利要求1所述的基于计算机视觉的自动贴标定位方法，其特征在于：所述图像采集模块包括CCD工业摄像机、图像采集卡以及光源，通过CCD工业摄像机对产品进行图像采集，并将采集到的图像数据通过图像采集卡上传至上位机中；光源作为辅助光照设备用以改善图像采集效果。

3.根据权利要求1所述的基于计算机视觉的自动贴标定位方法，其特征在于图像识别模块对产品图像进行预处理包括图像灰度化、图像二值化以及图像滤波。

4.根据权利要求1所述的基于计算机视觉的自动贴标定位方法，其特征在于：所述识别标签的角点位置，依据shi-Tomasi角点检测原理，当一个窗口在图像上滑动，若处于平滑区域，窗口在各个方向没有变化；若处于角点处，窗口在各个方向均有变化，通过窗口在各个方向上的变化程度，判断是否为角点，由各个角点可知中心点像素坐标。

5.根据权利要求1或4所述的基于计算机视觉的自动贴标定位方法，其特征在于所述识别标签的角点位置，具体表述为：

将图像窗口平移产生灰度变化E(u,v)：

得到：

对于局部微小的移动量[u,v]，表达为：

其中M是2*2矩阵，可由图像的导数求得：

其中，u为窗口横向滑动量，v为窗口纵向滑动量，w_(x,y)为权重系数，I_x为图像窗口初始横向位置，I_y为图像窗口初始纵向位置，I_(x+u,y+v)表示窗口滑动后的位置；角点位置通过灰度变化E(u,v)表达，E(u,v)大于阈值表示该点为角点。

6.根据权利要求1所述的基于计算机视觉的自动贴标定位方法，其特征在于：所述数据处理模块，根据摄相机标定得到相机的内参和外参，进行像素坐标系、摄像机坐标系以及世界坐标系三个坐标系统的转换，实现像素坐标系到摄像机坐标系二维到三维的转换；像素坐标系根据三角相似原理转换为摄像机坐标系，实现摄像机坐标系到世界坐标系三维到三维的转换，摄像机坐标系通过旋转及平移转换为世界坐标系，实现待测物体图像中心点像素坐标到世界坐标的转换，提供贴标所需的位姿信息。