CN108182704A - 基于形状上下文特征的定位方法 - Google Patents

Abstract

本发明公开了一种基于形状上下文特征的定位方法，该方法包括：S1，对工件进行图像采集并进行预处理；S2，对工件图像进行阀值分割以提取轮廓图像；S3，从已检测出的轮廓中识别工件轮廓；S4，对左右图进行立体匹配；S5，获取抓取点的三维坐标信息。本发明方案利用形状上下文特征检测算法在已检测出的轮廓中识别工件轮廓，采用直方图结合Harris角点进行特征生成与匹配，加快了匹配速度，具有较高的精度，且对环境变化有一定的适应能力，能较精准地对工件进行定位。

Description

基于形状上下文特征的定位方法

技术领域

本发明属于机器人视觉定位领域，涉及一种基于形状上下文特征的定位方法。

背景技术

工件识别与抓取是生产线上工业机器人的一项重要应用，而目前生产线上多数的工业机器人是通过预先示教或者离线编程的方式来控制机器人执行预定的指令动作，一旦工作环境或目标对象发生变化，机器人不能及时适应这些变化，从而导致抓取失败，因此，这种工作方式在很大程度上限制了工业机器人的灵活性和工作效率。

机器视觉技术由于其简单、易用等特点在工业中得到了广泛的应用，对提高生产效率和智能化水平起着至关重要的作用。如今，机器视觉技术已被广泛应用于检测、生产自动化等各个领域。通过视觉引导机器人进行抓取、搬运等任务作业，对于提高生产线的自动化水平，拓宽机器人的应用范围都有十分重要的意义。

申请公布号为CN104369188B的发明专利申请公开了一种“基于机器视觉和超声波传感器的工件抓取装置及方法”，该发明专利使用单目相机采集工件轮廓图像，使用超声波传感器测距，实现了机器人对工件的抓取。但其装置由相机、传感器、液晶显示屏、PLC等硬件构成，设备所需硬件多且成本较高。

论文“A case study of object identification using a Kinect sensor，2013IEEE International Conference on Systems,Man,and Cybernetics(SMC).2013:1743-1747，Huang Z Y,Huang J T,Hsu C M”，利用Kinect采集的RGB与深度信息，生成点云，并利用点云分割来实现目标物体识别，但该方法的实时性较差，且对算法优化要求较高。

发明内容

本发明目的在于提供一种基于形状上下文特征的定位方法，利用形状上下文特征检测算法在已检测出的轮廓中识别工件轮廓，采用直方图结合Harris角点进行特征生成与匹配，加快了匹配速度，具有较高的精度，且对环境变化有一定的适应能力，能较精准地对工件进行定位，有效地解决了现有机器人无法及时适应工作环境或目标对象发生变化，导致操作失败，从而无法满足柔性生产系统的要求。

为解决上述技术问题，本发明采用如下的技术方案：一种基于形状上下文特征的定位方法，所述方法包括：S1，对工件进行图像采集并进行预处理；S2，对工件图像进行阀值分割以提取轮廓图像；S3，从已检测出的轮廓中识别工件轮廓；S4，对左右图进行立体匹配；S5，获取抓取点的三维坐标信息。

进一步地，所述步骤S1中，对工件图像的预处理包括：图像采集、灰度处理、图像滤波以及二值化。

进一步地，所述步骤S3中，采用形状上下文特征检测算法从已检测出的轮廓中识别工件轮廓。

进一步地，所述步骤S4中，采用基于仿射模型的立体匹配方法。

本发明与现有技术相比具有以下的有益效果：

本发明方案利用形状上下文特征检测算法在已检测出的轮廓中识别工件轮廓，采用直方图结合Harris角点进行特征生成与匹配，加快了匹配速度，具有较高的精度，且对环境变化有一定的适应能力，能较精准地对工件进行定位。

附图说明

图1是基于形状上下文特征的定位方法的流程框图。

图2是工件图像预处理的流程图。

图3是双目摄像机模型图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于形状上下文特征的定位方法，所述方法包括：

S1，对工件进行图像采集并进行预处理；

首先采用双目摄像机对工件进行图像采集，但采集环境的光照强度、空气中的漂浮物、镜头周围可能出现的灰尘等因素，都会影响工件图像采集的效果。工件图像的预处理过程，是为了增强感兴趣的区域，模糊噪声区域，得到便于后续分析计算的高质量图像。在图像预处理中用到的一般方法有：灰度处理，图像滤波，图像二值化等。

参见图2，其中，

S11，图像采集实际上就是将数字图像数据采集到计算机中的过程，本发明使用双目摄像机进行图像采集，并将采集后的数字图像数据交给计算机进行处理。

S12，由于采集的数字图像是彩色图像，而彩色图像色彩丰富，包含信息量大，图像处理速度较慢，考虑到工业机器人对工件的定位没有使用彩色图像的必要性，另外对定位识别速度要有一定的要求，所以对彩色图像灰度化是必不可少的。

加权平均值法(出自论文Research and efficiency analysis of grayalgorithm based on image recognition system.作者：Peng Wei-xi，Zhao Guan-xian，Wang Zhi-qian.Electronic World，2014，7:105.)使彩色数字图像实现灰度化的同时，避免了最大值法和平均值法灰度处理后图像失真的问题，不仅保留了图像原有的信息，而且处理后的灰度图像边缘亮度噪声少，平滑效果好。这样既达到了预期结果，又给图像的后续处理提供了有利条件。加权平均值法根据重要性或其他指标给RGB赋予不同的权值并把RGB的值加权，如公式(1)

Gray＝W_R×R+W_G×G+W_B×B (1)

其中，W_R、W_G、W_B分别为R、G、B的不同权值。

S13，图像滤波是图像处理和计算机视觉中最基本的操作，本发明对工件矢量数据获取的方法中要求边缘轮廓尽可能的清晰，双边滤波(出自论文Bilateral filtering forgray and color images.作者：Tomasi C，Manduchi R.IEEE International Conferenceon Computer Vision，BombayIndia，1998.)很好的解决了边缘模糊的问题。

双边滤波之所以可以达到保留边缘信息去掉噪声的效果，是因为构成该滤波方法的两个函数：一个是由几何空间距离决定滤波系数，另外一个由像素之间的差决定滤波系数。双边滤波不但考虑邻域范围内点的灰度值，而且考虑了这些点距离中心点的几何距离。图像在经过双边滤波后像素点灰度值的表达公式如公式(2)所示：

h_x(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ (2)

其中k为归一化系数，其表达式如公式(3)：

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ (3)

其中h和x分别为滤波后和滤波前对应点的灰度值；c表示中心点与其邻域内点的空间相似度，定义如公式(4)所示：

s表示中心点与其邻域内点的灰度相似度，定义如公式(5)所示：

S14，图像二值化就是将图像上的像素点的灰度值设置为0或255，将整个图像呈现出明显的黑白效果。图像的二值化有利于图像的进一步处理，使图像变得更加简单，不但能凸显出感兴趣目标的轮廓，还能减小数据处理量。

针对全局阈值法(出自论文2D barcode image binarization based on waveletand otsu method.作者：Wu Jia-peng，Yang Zhao-xuan，Han Dong.Computer Engi-neering，2010，10:190-192.)，对整幅图像进行二值化，但由于光照不均匀或者背景十分复杂会导致二值化后图像效果并不理想。在相同环境下多经过次对比试验，确定合理阈值后，固定化二值法有较好的二值化效果，能够满足实际的需要，不仅有较高的识别精度，而且识别速度也较高。

S2，对工件图像进行阀值分割以提取轮廓图像；

Canny算子轮廓检测的原理：首先运用高斯卷积对图像进行高斯平滑，平滑后对图像进行微分操作，得到图像的梯度图，然后采用“非最大抑制”算法(出自论文Branch andbound strategies for non-maximal suppression in object detection.作者：Blaschko M B.Lecture Notes in Computer Science，2011.)寻找图像中可能是边缘的点，最后通过双门限值以递归的方式寻找图像边缘点，获取单像素宽度图像轮廓。在递归跟踪的过程中有两个门限控制，记为h₁与h₂，且h₁<h₂。当前像素点的值大于h₂时开始跟踪过程，跟踪在像素点邻域的两个方向进行，直到相应像素位置值低于门限h₁停止。

Canny算法主要通过以下步骤实现：

1)高斯滤波器平滑图像；

2)对图像进行微分操作计算梯度的幅度和方向；

3)“非最大抑制”法寻找可能边缘点；

4)双门限检测以及目标边缘连接。

运用Canny算子可检测出工件图像的所有轮廓。

S3，从已检测出的轮廓中识别工件轮廓；

本文在典型形状上下文特征(出自论文《Efficient shape matching usingshape contexts》，作者：Mori G,Belongie S,Malik J.IEEE Transactions on PatternAnalysis and Machine Intelligence,2005,27(11)：1832-1837.)的基础上，采用Harrisi角点作为采样点，利用模糊规则生成直方图，然后进行匹配。

假设有λ个轮廓采样点组成的集合P＝{p₁,…,p_λ}，以第i个采样点p_i为坐标原点，将lgr和θ分别划分成M和N个栅格(此处的r和θ为点的极坐标)，然后生成直方图来表示其余采样点的分布情况。设h_i(k)为形状正下文特征(SC)，则：

h_i(k)＝{q≠p_i:(q-p_i)∈b_k} 6)

其中：q为剩余的采样点；b_k为第k个栅格，1≤k≤M×N。为了更好地描述采样点的分布情况，采用模糊规则生成直方图。定义两个固定点集合S_r和S_θ分别为：

S_r＝{lgR_m,1≤m≤M} (7)

其中：R_m为直方图第m个栅格的范围。假设直方图的每个栅格中点坐标为(lgr_m,θ_n)，则有：

lgr_m＝(lgR_m+lgR_m-1)/2 (9)

θ_n＝π(2n-1)/N (10)

由于传统的SC不具备旋转不变性，因此本发明中将目标进行T次旋转，取最小的匹配损失函数作为最优匹配结果。则旋转后的角度隶属度函数为：

其中：t＝1,2,…,T，T为旋转次数。则旋转后的直方图可表示为：

利用χ²检验来表征匹配损失函数：

其中：p_i和q_j为不同目标上的两个采样点。为了实现快速形状识别，在采样点中随机选取v个点作为代表点集合P^v＝{p_i:i∈V}，V为代表点的索引集合。假设P为模板形状，{Q_s:1≤s≤S}为未知形状集合，S为未知形状数目，则形状P与Q_s的匹配损失函数可表示为：

其中：为Q_s中第s个形状的第j个采样点。本发明进行形状识别的步骤如下：首先将分割后的图像利用Canny算子检测边缘，求得轮廓图像，剔除过大或过小的轮廓；然后利用式(14)计算匹配损失函数作为最终结果。

S4，对左右图进行立体匹配；

立体匹配技术根据匹配基元的不同可分为区域匹配、相位匹配和特征匹配。区域匹配通常以特征匹配点为中心在左右图像上创建一个固定大小的邻域窗口，然后建立匹配代价函数，选取代价最小的窗口对应的点为匹配点，但是该方法难以选择合适的窗口大小，同时计算量较大，对噪声敏感；相位匹配在频域图像中进行计算，通过提取不同频段的相位信息进行匹配，该方法鲁棒性高，适用于并行处理，但是容易产生相位奇点及相位缠绕等问题；特征匹配通过选取特征点或轮廓等特征信息，然后在左右图像中进行匹配，该方法具有描述简单、定位准确以及计算量小等优点。

尺度不变特征变换(SIFT)算法是目前应用最广泛的特征提取与立体匹配算法之一，但是其存在计算复杂、实时性不好等缺点。由于本发明中工件形状相同，纹理特征不明显，如果采用常用的特征点提取与匹配算法则会出现较多误匹配，无法对工件进行定位。因此本发明中采用基于仿射模型的立体匹配方法，其变换矩阵如下：

其中：l为尺度变换因子；φ为旋转角度；(t_x,t_y)为平移矢量。则从点p(x_p,y_p)到点q(x_q,y_q)的映射关系为：

只需两对匹配点便可求出式(18)中4个未知数l、φ、t_x和t_y。本发明中采用最小二乘法拟合出仿射变换模型的最佳参数解。在左图像已识别出的形状轮廓中找到中心点，根据仿射变换模型映射到右图像中，然后求得与其距离最小的中心点即为匹配点。

S5，获取抓取点的三维坐标信息；

求得左、右图像中匹配点的坐标后，可进行三维重建求得三维坐标。

摄像机模型采用小孔成像的线性模型，双目摄像头主轴平行设置，双目模型如图3所示。

其中f为摄像机的焦距，b为两摄像机的基线长。P₁(x₁,y₁)和P₂(x₂,y₂)为目标点P在两成像平面内的成像点坐标。通过三角测距原理可得目标果实的三维空间坐标点P(x,y,z)坐标如式(19)：

通过双目摄像机实时获取目标信息，提取目标果实的像素坐标；通过摄像机标定获的摄像机内部参数外部参数。根据成像原理计算果实在摄像机坐标系的三维空间坐标。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于形状上下文特征的定位方法，其特征在于，所述方法包括：S1，对工件进行图像采集并进行预处理；S2，对工件图像进行阀值分割以提取轮廓图像；S3，从已检测出的轮廓中识别工件轮廓；S4，对左右图进行立体匹配；S5，获取抓取点的三维坐标信息。

2.根据权利要求1所述的基于形状上下文特征的定位方法，其特征在于，所述步骤S1中，对工件图像的预处理包括：图像采集、灰度处理、图像滤波以及二值化。

3.根据权利要求1所述的基于形状上下文特征的定位方法，其特征在于，所述步骤S3中，采用形状上下文特征检测算法从已检测出的轮廓中识别工件轮廓。

4.根据权利要求1所述的基于形状上下文特征的定位方法，其特征在于，所述步骤S4中，采用基于仿射模型的立体匹配方法。