CN112560666B - 一种机器人视觉伺服抓取目标定位方法 - Google Patents

Abstract

本发明属于机器人视觉图像处理技术领域。一种机器人视觉伺服抓取目标定位方法，基于Shi‑Tomasi算法寻找特征点，并以特征点为中心截取子图像，利用二维高斯函数偏导数确定特征方向，根据特征方向对局部图像做方向标准化处理，提取标准局部图像LBP特征作为特征点描述子。最后，通过计算两幅图像中各特征描述子间的汉明距离实现特征匹配，提高了匹配精度，根据匹配结果，估计单应性矩阵，定位目标在场景图像中的位置和方向。本发明算法匹配速度快、定位精度高、稳定性好。

Description

一种机器人视觉伺服抓取目标定位方法

技术领域

本发明属于机器人视觉图像处理技术领域，具体涉及一种机器人视觉伺服抓取目标定位方法。

背景技术

目前机器人在工业应用中大部分是通过示教编程的方式运行，机器人工作前期需要进行大量的示教和调试，在机器人操作的过程中，机器人的初始和终止位姿是事先设定并严格规定的，虽然速度较快，但如果目标物体的位置不固定就会造成机器人抓取失败，工作效率低。近些年来，将机器视觉和机器人技术结合应用在生产中已经成为一种趋势，机器视觉采集外界环境信息并对其进行处理整合，然后反馈给机器人控制系统，由控制系统实时引导机器人完成作业。使用机器视觉技术对生产线上的目标进行检测与识别,可极大的提高生产线的智能化水平与产品的质量。目前机器人视觉已经广泛的应用在物件分拣、缺陷检测、装配、包装等各个领域。其中目标识别实时定位是机器人利用视觉实现抓取的关键技术和主要研究点。

现有的机器人视觉伺服抓取目标定位系统可实时采集机器人观察到的图像和感受到力量反馈。根据不同的工件、维度选择合适的力度，从抓取、装配到检测，一般最快仅需0.1秒。但是满足该速度的话需要增设双目立体影像成像系统或基于深度图像绘制的立体成像系统，但是现有成像系统传输效率低，图像匹配精度不高，目标定位误差大，计算效率低，因此影响机器人目标识别与定位。机器人视觉伺服抓取，对定位精度和实时性要求较高，但经典的SIFT、SURF算法虽然定位精度高，但实时性差，ORB算法以速度快著称，但定位精度不能满足要求。

有鉴于此，本发明提供一种机器人视觉伺服抓取目标定位方法。

发明内容

为了克服现有技术所存在的问题，本发明提供一种算法时间复杂度低，精度高且速度快的新型的机器人视觉伺服抓取目标定位方法。

为了实现上述目的，本发明采用以下技术方案：

一种机器人视觉伺服抓取目标定位方法，该方法包括如下步骤：

S1、使用机器人携带的视觉传感器采集数据集中的两幅图像作为待比较图像，其中一幅为标准图像，另一幅为场景图像；

S2、采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点；

S3、构造特征描述子；

S3.1、以特征点为中心截取子图像；

S3.2、利用二维高斯函数偏导数确定特征方向；

S3.3、根据特征方向对局部图像做方向标准化处理获取标准化局部图像；

S3.4、提取标准化局部图像的LBP特征作为特征描述子；

S4、通过计算两幅图像中各特征点描述子间的汉明距离判断相似度，实现特征匹配，根据匹配结果，估计单应性矩阵，定位目标在场景图像中的位置和方向；

进一步的，所述S2中，采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点的具体方法为：

首先，以待检测点为中心加窗，获取窗内像素强度，然后，移动窗口，重新获取窗内像素强度，计算窗口移动前后的强度差，若沿任意方向移动窗口，强度差值大于预设值，则认为待检测点为特征点；

其中，强度差抽象为(1)式：

W(x,y)为采样窗口；u,v为以待测点为中心的偏移量；

由泰勒公式：I(x+u,y+v)＝I(x,y)+I_xu+I_yv+O(u²,v²)，其中，I_x,I_y为偏导数，于是：

则(1)式近似为：

令

求矩阵M的特征值λ₁，λ₂以确定特征点；

进一步的，所述S3具体是按照如下方法实现的：

①以特征点为中心截取局部图像I_21×21；

取样窗口的窗口尺寸为21×21；

②获取7×7大尺度局部图像I_7×7；

将I_21×21划分为7×7个区域，区域尺寸为3×3，对每个区域像素值求和，作为大尺度图像的像素值，得到大尺度局部图像I_7×7，

③由大尺度局部图像I_7×7，利用高斯函数两个偏导数(4.1)式和(4.1)式设计方向滤波器，确定特征点方向角θ；

取σ＝1，得到两个方向滤波器f_x,f_y如下：

注意到方向滤波器f_x,f_y，边角位置取0，目的是确定方向时，削弱旋转造成的影响。将大尺度局部图像I_7×7分别与f_x,f_y卷积(滤波)，得到G_x,G_y，则特征点方向角θ＝arctan(G_y/G_x)；

④由大尺度局部图像I_7×7和方向角θ，获取5×5标准化局部图像I_5×5；

将原坐标系xoy旋转θ角，构建新坐标系x'oy'，在x'oy'坐标系下取样5×5个整数位置点得到标准化局部图像I_5×5，则各点(x',y')在xoy坐标系下位置(x,y)由(5)式确定：

⑤提取标准化局部图像I_5×5的LBP特征作为特征描述子；LBP特征在一个3×3的图像块中对区域进行描述，将中心像素的灰度作为阈值，与其8个邻域像素的灰度值对比并二值化，大于该阈值置1，否则置0，然后与加权矩阵对应的值相乘，得到8位二进制串作为LBP特征。

进一步的，所述S4中，特征匹配的具体步骤如下：

①选择标准图像中的任意描述子G^[m]；

②在场景图描述子中寻找G'^[n]，使得d(G^[m],G'^[n])最小；

③若d(G^[m],G'^[n])<τ，则认为标准图像特征点m与场景图像特征点n匹配，其中τ为阈值。

进一步的，所述S4中，定位目标在场景图像中的位置和方向是按照如下方式实现的：

①寻找两组匹配特征点间的变换关系，即估计归一化单应性矩阵(6)式，

满足：

其中，t₁₁,t₁₂,t₂₁,t₂₂是缩放、旋转因子；t₁₃,t₂₃分别为水平、竖直方向的平移因子，t₃₁,t₃₂为仿射变换因子。(x_i,y_i)为标准图像中特征点坐标，(x'_i,y'_i)为场景图像中特征点坐标；

②根据标准图像四个顶点坐标，利用公式(6)，计算对应场景图像四个顶点坐标，从而定位目标。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明利用Shi-Tomasi算法来寻找特征点，使得提取的特征点具有很高的精度，并且提出一种新的特征描述子定义方法：以特征点为中心截取子图像，利用二维高斯函数偏导数确定特征方向，根据特征方向对局部图像做方向标准化处理，提取标准局部图像LBP特征作为特征点描述子。最后，通过计算两幅图像中各特征描述子间的汉明距离实现特征匹配，提高了匹配精度，根据匹配结果，估计单应性矩阵，定位目标在场景图像中的位置和方向。本发明算法匹配速度快、定位精度高、稳定性好。使用本发明方法技术对生产线上的目标进行检测与识别定位,可极大的提高生产线的智能化水平与产品的质量。

本发明在获取特征描述子过程中，由21×21子图像获取7×7大尺度子图像，且由7×7大尺度子图像确定特征方向、提取标准子图像及描述子，主要基于两点考虑：一是由于第1小节中提取的特征点位置难免会有误差，并且特征点坐标位置由浮点型取整过程中也必然带来误差，这严重影响后期特征匹配，而采用大尺度方式，会大大削弱这种影响，使得算法更加稳定；二是在大尺度方式下确定特征方向、提取标准子图像及描述子时，参与运算点大大减少，可以减少运算时间，减少匹配所消耗的时间。在确定特征方向时采用的两个方向滤波器中，各点对方向贡献大小由其到中心点的距离来决定，更加合理，确定的方向更准确。在定义描述子定义环节采用的LBP特征，简单易行、且汉明距离计算速度极快。

附图说明

图1是本发明一种机器人视觉伺服抓取目标定位方法的算法流程图；

图2A是取样窗口示意图；

图2B是新坐标系x'oy'示意图；

图2C是特征描述子生产过程中标准图像示意图；

图2D是特征描述子生产过程中场景图像示意图；

图3A是场景图像相对标准图像旋转10°后的特征匹配及目标定位结果；

图3B是场景图像相对标准图像旋转170°后的特征匹配及目标定位结果。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。需要说明的是，本发明的具体实施例只是为了能更清楚的描述技术方案，而不能作为本发明保护范围的一种限制。

请参阅图1，一种机器人视觉伺服抓取目标定位方法，该方法包括如下步骤：

S1、使用机器人携带的视觉传感器采集数据集中的两幅图像作为待比较图像，其中一幅为标准图像，另一幅为场景图像；

S2、采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点；

S3、构造特征描述子；

S3.1、以特征点为中心截取子图像；

S3.2、利用二维高斯函数偏导数确定特征方向；

S3.3、根据特征方向对局部图像做方向标准化处理获取标准化局部图像；

S3.4、提取标准化局部图像的LBP特征作为特征描述子；

S4、通过计算两幅图像中各特征点描述子间的汉明距离判断相似度，实现特征匹配，根据匹配结果，估计单应性矩阵，定位目标在场景图像中的位置和方向；

进一步的，所述S2中，采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点的具体方法为：

首先，以待检测点为中心加窗，获取窗内像素强度，然后，移动窗口，重新获取窗内像素强度，计算窗口移动前后的强度差，若沿任意方向移动窗口，强度差值都很大，大于预设值，则认为待检测点为特征点；

其中，强度差抽象为(1)式：

W(x,y)为采样窗口；u,v为以待测点为中心的偏移量；

由泰勒公式：I(x+u,y+v)＝I(x,y)+I_xu+I_yv+O(u²,v²)，其中，I_x,I_y为偏导数，于是：

则(1)式近似为：

令

求矩阵M的特征值λ₁，λ₂；

①当λ₁，λ₂值都很小时，待检测点落入图像平坦区域，非特征点；

②当λ₁>>λ₂或λ₁<<λ₂时，待检测点落在图像边缘上，非特征点；

③当λ₁，λ₂值都很大时并且较小值大于某阈值，待检测点为特征点。本实施例取最大特征响应强度的0.1倍作为阈值，使得到的Shi-Tomasi特征点具有旋转不变性。

本发明实施例中，描述子的定义方法充分利用了图像像素间位置、大小关系，以及数字图像离散性特点，以便于简化描述子，减小匹配代价，从而满足伺服定位、抓取中的定位精度和实时性要求，基于此，所述S3具体是按照如下方法实现的：

①以特征点为中心截取局部图像I_21×21；

取样窗口如图2A所示，窗口尺寸为21×21，局部图像如图2C、图2D中小图所示，为便于观察，做了放大处理；

②获取7×7大尺度局部图像I_7×7；

将I_21×21划分为7×7个区域，区域尺寸为3×3，如图2A粗线所示，对每个区域像素值求和，作为大尺度图像的像素值，得到大尺度局部图像I_7×7，

③由大尺度局部图像I_7×7，利用高斯函数两个偏导数(4.1)式和(4.1)式设计方向滤波器，确定特征点方向角θ；

取σ＝1，得到两个方向滤波器f_x,f_y如下：

注意到方向滤波器f_x,f_y，边角位置取0，目的是确定方向时，削弱旋转造成的影响。将大尺度局部图像I_7×7分别与f_x,f_y卷积(滤波)，得到G_x,G_y，则特征点方向角θ＝arctan(G_y/G_x)；特征方向确定结果如图2C和图2D中由各特征点引出的白色线条所示。

④由大尺度局部图像I_7×7和方向角θ，获取5×5标准化局部图像I_5×5；

将原坐标系xoy旋转θ角，构建新坐标系x'oy'，如图2B所示，在x'oy'坐标系下取样5×5个整数位置点得到标准化局部图像I_5×5，则各点(x',y')在xoy坐标系下位置(x,y)由(5)式确定：

显然，点(x,y)通常落在xoy坐标系下非整数点位置，例如，x'oy'坐标系下点(2,2)落在xoy坐标系下A,B,C,D四个整数位置点之间，如图2B所示。本实施例采用双线性插值法，确定I_5×5中各点像素值。例如，可根据xoy坐标系下A,B,C,D四点像素值求x'oy'坐标系下点(2,2)像素值。

⑤提取标准化局部图像I_5×5的LBP特征作为特征描述子；LBP特征在一个3×3的图像块中对区域进行描述，将中心像素的灰度作为阈值，与其8个邻域像素的灰度值对比并二值化，大于该阈值置1，否则置0，然后与加权矩阵对应的值相乘，得到8位二进制串作为LBP特征。LBP特征较好地刻画了数字图像像素间位置及像素值大小的关系，具有速度快、不受光照变化影响的优点。标准化局部图像I_5×5可以提取到3×3个8位二进制串作为特征点的描述子，描述子提取结果如图2C和图2D中矩阵所示。

进一步的，所述S4中，特征匹配的具体步骤如下：

①选择标准图像中的任意描述子G^[m]；

②在场景图描述子中寻找G'^[n]，使得d(G^[m],G'^[n])最小；

③若d(G^[m],G'^[n])<τ，则认为标准图像特征点m与场景图像特征点n匹配，其中τ为阈值。特征匹配结果如图3A和图3B所示，每条连线对应的两点为匹配的特征点。本发明能够解决Shi-Tomasi算法中场景发生大尺度变化或者视角变化时会产生误差的技术问题：从而提高了匹配精度。

进一步的，所述S4中，定位目标在场景图像中的位置和方向是按照如下方式实现的：

①寻找两组匹配特征点间的变换关系，即估计归一化单应性矩阵(6)式，

满足：

其中，t₁₁,t₁₂,t₂₁,t₂₂是缩放、旋转因子；t₁₃,t₂₃分别为水平、竖直方向的平移因子，t₃₁,t₃₂为仿射变换因子。(xi,yi)为标准图像中特征点坐标，(x'_i,y'_i)为场景图像中特征点坐标；

②根据标准图像四个顶点坐标，利用公式(6)，计算对应场景图像四个顶点坐标，从而定位目标。

目标定位结果如图3A和图3B所示，右侧方框定位了标准图像在场景图像中位置，利用公式(6)可以计算标准图像每个像素点在目标图像中的位置。机器人伺服抓取时，根据上述旋转量和平移量定位目标。实际操作中，平移量要进一步由像素距离和实际距离的比例关系确定。

由于本发明采用了采用Shi-Tomasi提取图像中的特征点，避免了对于整幅图像进行特征提取，由此缩短了处理和运算时间；此外，由于本发明采用了步骤S3构造特征描述子，采用二维高斯函数运算和LBP处理，进一步缩短了处理时间。使用本发明方法技术对生产线上的目标进行检测与识别定位,可极大的提高生产线的智能化水平与产品的质量。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (4)

1.一种机器人视觉伺服抓取目标定位方法，其特征在于，该方法包括如下步骤：

S1、使用机器人携带的视觉传感器采集数据集中的两幅图像作为待比较图像，其中一幅为标准图像，另一幅为场景图像；

S2、采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点；

S3、构造特征描述子；

S3.1、以特征点为中心截取子图像；

S3.2、利用二维高斯函数偏导数确定特征方向；

S3.3、根据特征方向对局部图像做方向标准化处理获取标准化局部图像；

S3.4、提取标准化局部图像的LBP特征作为特征描述子；

S4、通过计算两幅图像中各特征点描述子间的汉明距离判断相似度，实现特征匹配，根据匹配结果，估计单应性矩阵，定位目标在场景图像中的位置和方向；

其中，所述S3具体是按照如下方法实现的：

①以特征点为中心截取局部图像I_21×21；

取样窗口的窗口尺寸为21×21；

②获取7×7大尺度局部图像I_7×7；

将I_21×21划分为7×7个区域，区域尺寸为3×3，对每个区域像素值求和，作为大尺度图像的像素值，得到大尺度局部图像I_7×7，

③由大尺度局部图像I_7×7，利用高斯函数两个偏导数(4.1)式和(4.2)式设计方向滤波器，确定特征点方向角θ；

取σ·＝1，得到两个方向滤波器f_x,f_y如下：

注意到方向滤波器f_x,f_y，边角位置取0，目的是确定方向时，削弱旋转造成的影响，将大尺度局部图像I_7×7分别与f_x,f_y卷积，得到G_x,G_y，则特征点方向角θ＝arc tan(G_y/G_x)；

④由大尺度局部图像I_7×7和方向角θ，获取5×5标准化局部图像I_5×5；

将原坐标系xoy旋转θ角，构建新坐标系x'oy'，在x'oy'坐标系下取样5×5个整数位置点得到标准化局部图像I_5×5，则各点(x',y')在xoy坐标系下位置(x,y)由(5)式确定：

⑤提取标准化局部图像I_5×5的LBP特征作为特征描述子；LBP特征在一个3×3的图像块中对区域进行描述，将中心像素的灰度作为阈值，与其8个邻域像素的灰度值对比并二值化，大于该阈值置1，否则置0，然后与加权矩阵对应的值相乘，得到8位二进制串作为LBP特征。

2.根据权利要求1所述的一种机器人视觉伺服抓取目标定位方法，其特征在于，所述S2中，采用Shi-Tomasi算法提取所述两幅待比较图像中的特征点的具体方法为：

首先，以待检测点为中心加窗，获取窗内像素强度，然后，移动窗口，重新获取窗内像素强度，计算窗口移动前后的强度差，若沿任意方向移动窗口，强度差值大于预设值，则认为待检测点为特征点；

其中，强度差抽象为(1)式：

W(x,y)为采样窗口；u,v为以待测点为中心的偏移量；

由泰勒公式：I(x+u,y+v)＝I(x,y)+I_xu+I_yv+O(u²,v²)，其中，I_x,I_y为偏导数，于是：

则(1)式近似为：

令

求矩阵M的特征值λ₁，λ₂以确定特征点。

3.根据权利要求1所述的一种机器人视觉伺服抓取目标定位方法，其特征在于，所述S4中，特征匹配的具体步骤如下：

①选择标准图像中的任意描述子G^[m]；

②在场景图描述子中寻找G'^[n]，使得d(G^[m],G'^[n])最小；

③若d(G^[m],G'^[n])＜τ，则认为标准图像特征点m与场景图像特征点n匹配，其中d(G^[m],G'^[n])为待匹配的两个描述子间的汉明距离，τ为阈值。

4.根据权利要求1所述的一种机器人视觉伺服抓取目标定位方法，其特征在于，所述S4中，定位目标在场景图像中的位置和方向是按照如下方式实现的：

①寻找两组匹配特征点间的变换关系，即估计归一化单应性矩阵(6)式，

满足：

其中，t₁₁,t₁₂,t₂₁,t₂₂是缩放、旋转因子；t₁₃,t₂₃分别为水平、竖直方向的平移因子，t₃₁,t₃₂为仿射变换因子，(x_i,y_i)为标准图像中特征点坐标，(x'_i,y'_i)为场景图像中特征点坐标；

②根据标准图像四个顶点坐标，利用公式(6)，计算对应场景图像四个顶点坐标，从而定位目标。

Images