CN108090418A

CN108090418A - 一种工业环境下工业机器人分层式定位方法

Info

Publication number: CN108090418A
Application number: CN201711227931.5A
Authority: CN
Inventors: 张毅; 张瀚; 杨利达; 汪宇翔; 戴健春
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2018-05-29

Abstract

本发明涉及一种工业环境下工业机器人分层式定位方法，属于物体定位领域。包含如下步骤：S1：根据双目视觉系统采集需定位物体的图像信息；S2：物体的图像信息，采用MeanShift算法进行初步处理，切割出目标图片信息；S3：针对目标图片信息，使用改进后SURF算法对目标区域进行兴趣点对的匹配以及筛选；S4：根据匹配和筛选出的兴趣点对，利用三角形测量算法计算出点位的三维坐标，精确定位物体三维坐标。本发明针对工业机器人进行抓取物品操作时定位耗时长，精度低问题提出了一种新的分层式目标物体定位方法，避免了无关点对整体结果的影响，提高了整体匹配精度，加快了整体匹配速度。

Description

一种工业环境下工业机器人分层式定位方法

技术领域

本发明属于物体定位领域，涉及一种工业环境下工业机器人分层式定位方法。

背景技术

随着工业化的普及，人们对工业机器人性能要求越来越高。在过去二十年，工业机器人已经广泛应用于烟包码垛，物流分类，工业生产等多个工业环境自主操作任务，而拾取和放置操作是工业机器人的主要任务之一。工业机器人抓取方法通常采用的是预先描点再重复操作，这种方式鲁棒性差，不能应对工业上的一些突发情况且工作形势单一，对所抓取物品摆放位置精度要求很高，限制了工业机器人在工业中的柔性运用。视觉传感器的引入有效的提高了工业机器人抓取鲁棒性，能及时反馈物体信息及其三维坐标。借助视觉系统的工业机器人不需要对工业机器人进行离线编程，可节约大量的编程时间，提高生产效率和系统柔性程度，进一步提升工业机器人的加工效率。

发明内容

有鉴于此，本发明的目的在于提供一种工业环境下工业机器人分层式定位方法，针对工业机器人进行抓取物品操作时定位耗时长，精度低问题提出了一种新的分层式目标物体定位方法。

为达到上述目的，本发明提供如下技术方案：

一种工业环境下工业机器人分层式定位方法，包含如下步骤：

S1：根据双目视觉系统采集需定位物体的图像信息；

S2：物体的图像信息，采用MeanShift算法进行初步处理，切割出目标图片信息；

S3：针对目标图片信息，使用改进后SURF算法对目标区域进行兴趣点对的匹配以及筛选；

S4：根据匹配和筛选出的兴趣点对，利用三角形测量算法计算出点位的三维坐标，精确定位物体三维坐标。

进一步，步骤S2具体为：

S21：通过MeanShift向量与渐变协调将x朝向x＝x+Δx的方向移动点，经过多次迭代之后满足平均向量指向数据最密集点m_h(x)，

其中，f_h,G(x)为标准密度梯度估计为梯度密度的估计概率，m_h,G(x)为标准密度的数据最密集点，h为MeanShift算法所选高斯球半径，c为MeanShift算法所选单位球体的体积；

S22：给定一个初始点x，核函数G(x)，容许误差ε，MeanShift算法循环执行如下步骤：

S221：计算m_h(x)；

S222：把m_h(x)值赋予x；

S223：若‖m_h(x)-x‖<ε则结束，若‖m_h(x)-x‖≥ε则执行S21。

进一步，步骤S3包含如下步骤：

S31：根据特征描述符的最邻近距离将兴趣点对进行升序排列得到两个点集，左图像P＝{P₁,P₂,P₃,…,P_n}和右图像P′＝{P′₁,P′₂,P′₃,…,P′_n}，其中P_n、P′_n表示匹配的兴趣点对，n为兴趣点数；

S32：对兴趣点进行距离、角度参数检验。

进一步，步骤S32具体为：

S321：在左图像和右图像中，设P_i、P′_i点为基准点，其中i∈{1,2,3,…,n}，其余兴趣点到基准点的所有欧式距离记为d_im＝{d_i1,d_i2,d_i3,…,d_in}和d′_im＝{d′_i1,d′_i2,d′_i3,…,d′_in}，其中m为第m个兴趣点到基准点的欧式距离，若|d_im-d′_im|<λ，λ为预设距离阈值，则判定兴趣点对P_m与P′_m为距离不变；

S322：计算左图像点P_m到基准点P_i连线向量与右图像P′_m到点P′_i连线向量之间的夹角α，满足，α<θ，其中θ为预设角度阈值，则判定兴趣点对P_m与P′_m为角度不变；

S323：对兴趣点对进行距离和角度特征匹配参数的一致性检验，若同时满足两个匹配条件，则判定该兴趣点对为正确的兴趣点对，否则作为错误的兴趣点对。

进一步，所述基准点P_i随机选取，对于任一兴趣点对的筛选做重复率设置，若兴趣点对与任意随机的基准点P_i累积参考不少于3次且均满足判定条件，则判断该兴趣点对是正确的。

进一步，步骤S4包含如下步骤：

S41：建立以双目视觉系统中的左相机为原点O₁的坐标系，根据公式：

计算出正确的兴趣点对的三维坐标，其中，X,Y,Z兴趣点三维坐标，f为双目视觉系统的左右摄像头的焦距，b为基线距离，(u₀,v₀)为主光轴与左图像平面的交点，(u₁,v₁)为左成像平面的图像坐标，(u₂,v₂)为右成像平面的图像坐标；

S42：对各个正确的兴趣点对进行三维坐标的计算，并汇总各个兴趣点的三维坐标，还原物体的三维坐标。

本发明的有益效果在于：针对工业机器人进行抓取物品操作时定位耗时长，精度低问题提出了一种新的分层式目标物体定位方法。采用MeanShift算法将目标物体图像分割，对图像进行一些无关物体的剔除，避免了无关点对整体结果的影响。针对分割后的图像运用改进SURF算法对目标区域进行特征点匹配，较SURF算法而言再次减少了无关点的错误匹配。提高了整体匹配精度，加快了整体匹配速度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的系统流程图；

图2为改进SURF算法原理图；

图3为三角形测量原理图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

在工业环境中，针对工业机器人进行抓取物品操作时定位耗时长，精度低问题，提出一种融合MeanShift算法和改进SURF算法的分层式定位方法，快速精确地定位物体。首先根据双目视觉系统采集的目标物体图片信息，采用MeanShift算法进行初步处理，切割出目标图片信息；然后利用改进后SURF算法对目标区域进行特征点对的匹配以及筛选；最后将匹配好的特征点对进行三角形测量原理处理，获得物体三维坐标。

如图1所示，为本发明的系统框图，该方法根据双目视觉系统采集的目标物体图片信息，采用MeanShift算法进行初步处理，切割出目标图片信息；然后利用改进后SURF算法对目标区域进行特征点对的匹配以及筛选；最后将匹配好的特征点对进行三角形测量原理处理，精确定位物体三维坐标。

具体包含如下步骤：

S1：根据双目视觉系统采集的需定位物体图像信息；

S2：步骤S11得到的需定位物体图像信息，采用MeanShift算法进行初步处理，切割出目标图片信息；

S3：步骤S12得到的切割后的目标图片信息，使用改进后SURF算法对目标区域进行特征点对的匹配以及筛选；

S4：步骤S13得到的多组特征匹配点对，利用三角形测量算法计算出点位的三维坐标，精确定位物体三维坐标。

步骤S2包含如下步骤：

S21：MeanShift向量与渐变协调将x朝向x＝x+Δx的方向移动点，经过多次迭代之后到达。平均向量将指向数据最密集点m_h(x)，

其中，f_h,G(x)为标准密度梯度估计，为梯度密度的估计概率，m_h,G(x)为标准密度的数据最密集点，h为MeanShift算法所选高斯球半径，c为MeanShift算法所选单位球体的体积；梯度的方向是根据变化的方向随着概率密度的变化。

S22：给定一个初始点x，核函数G(x)，容许误差ε，MeanShift算法循环的执行下面三步，直至结束条件满足。

(1).计算m_h(x)；

(2).把m_h(x)赋给x；

(3).如果‖m_h(x)-x‖<ε，结束循环，否则，继续执行步骤S21所示式子。

上面循环的目的就是向概率密度的梯度方向不停地移动，其中步长与该点的概率密度以及梯度的大小有关。在密度大的地方，由于接近概率密度的峰值，移动的步长小一些，相反，在密度小的地方，移动的步长就大一些。在满足一定条件下，会收敛到该点附近的峰值。

使用改进后SURF算法对目标区域进行特征点对的匹配以及筛选，使用SURF算法对左右两张图片进行特征匹配，再对匹配结果分别进行本专利提出的距离判别和角度判别筛选，得到正确率高的特征点对。

SURF算法原理：

SURF算法是一种检测局部特征的方法，其包括检测器和描述符。检测器是用于搜索图像并找到兴趣点，描述符是用来确定点的特征并构建特征数组。SURF算法是在SIFT算法的基础上进行改进的，基于积分图像的特征描述子，具有较好的可靠性、可区分性和鲁棒性。

运用积分图像特征检测器的高斯导数提取兴趣点，将该方法所提取的兴趣点作为中心正方形区域。这个区域分为4×4方格网格，每网格内有5×5个规则间隔的采样点。对于每个网格，Haar小波响应dx和dy由这些间隔的5×5个采样点计算，然后将小波响应dx和dy相加以形成4-D向量V，

V＝(∑dx,∑dy,∑d|x|,∑d|y|)

连接这个为所有4×4网格形成64-D描述符向量。

如图2所示，为本发明中改进SURF算法原理图：

距离判别法：

将SURF算法得到的匹配点对作为初匹配点对，根据特征描述符的最邻近距离将这些初匹配点对进行一个升序排列得到两个点集，左图像P＝{P₁,P₂,P₃,…,P_n}和右图像P′＝{P′₁,P′₂,P′₃,…,P′_n}。其中P_i和P′_i被上述SURF算法认为是匹配的兴趣点对，n为兴趣点对数，i∈{1,2,3,…,n}。在判断每个兴趣点匹配精准与否时，最邻近的兴趣点参考价值最大，所以下面对兴趣点进行距离参数的检验。

在左图像和右图像中，设P_i和P′_i点为基准点，其余兴趣点到基准点的所有欧式距离，分别记为d_im＝{d_i1,d_i2,d_i3,…,d_in}和d′_im＝{d′_i1,d′_i2,d′_i3,…,d′_in}，若d_im和d′_im差值小于预设值λ，则认为特征点对P_m和P′_m具有距离不变性。

角度判别法：

角度匹配参数的一致性检验需计算左图像中匹配点P_m与基准点P_i连线向量与右图像中匹配点P′_m与基准点P′_i连线向量之间的夹角α是否小于预设阈值θ。若α小于预设阈值θ，则认为特征点对P_m与P′_m具有角度不变特性。

使用该方法对SURF算法得到的初匹配点对进行距离和角度特征匹配参数的一致性检验。若同时满足两个匹配参数，则判定该兴趣点是正确的特征点，否则作为错误的匹配点对，除去不做参考。

由于基准点P_i是随机取的，对于任一点的筛选需做一个重复率设置。若点与任意随机的基准点P_i累积参考过3次且均匹配成功，则将其筛选出不进行下一步的筛选。三次均满足上述|d_im-d′_im|<λ和α<θ，则判断该匹配点对是正确的，否则作为错误的匹配点对处理不进入下一步计算。

如图3所示，为本发明中的三角形定位算法。上述的改进SURF算法先对特征点对进行匹配，然后将特征点对进行三角形算法的计算，获得每个特征点的三维坐标。再针对各特征点的三维坐标进行处理，计算汇总坐标，得到目标物体的三维信息。

步骤S4包含：

S41：在各设左相机O1为原点坐标系，可知点P(X,Y,Z)，如附图3所示，两摄像头的焦距均为f，基线距离为b，空间场景点为P，在左右成像平面的图像坐标分别为P1(u₁，v₁)和P2(u₂，v₂)，投影中心为O1和O2；主光轴与左图像平面相交于主点(u₀，v₀)，

根据上述算法所得到的特征点对，运用上式可算出各个特征点的三维坐标。

S42：运用上述步骤S41所述方法，对各个正确的兴趣点对进行三维坐标的计算，并汇总各个兴趣点的三维坐标，还原物体的三维坐标。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种工业环境下工业机器人分层式定位方法，其特征在于：包含如下步骤：

S1：根据双目视觉系统采集需定位物体的图像信息；

2.根据权利要求1所述的一种工业环境下工业机器人分层式定位方法，其特征在于：步骤S2具体为：

其中，f_h,G(x)为标准密度梯度估计，为梯度密度的估计概率，m_h,G(x)为标准密度的数据最密集点，h为MeanShift算法所选高斯球半径，c为MeanShift算法所选单位球体的体积；

S221：计算m_h(x)；

S222：把m_h(x)值赋予x；

S223：若‖m_h(x)-x‖<ε则结束，若‖m_h(x)-x‖≥ε则执行S21。

3.根据权利要求2所述的一种工业环境下工业机器人分层式定位方法，其特征在于：步骤S3包含如下步骤：

S31：根据特征描述符的最邻近距离将兴趣点对进行升序排列得到两个点集，左图像P＝{P₁,P₂,P₃,…,P_n}和右图像P′＝{P′₁,P′₂,P′₃,…,P′_n}，其中P_n、P′_n表示匹配的第n对兴趣点对，n为兴趣点对数；

S32：对兴趣点对进行距离、角度参数检验。

4.根据权利要求3所述的一种工业环境下工业机器人分层式定位方法，其特征在于：步骤S32具体为：

S321：在左图像和右图像中，设P_i、P′_i点为基准点，其中i∈{1,2,3,…,n}，其余兴趣点对到基准点的所有欧式距离分别记为d_im＝{d_i1,d_i2,d_i3,…,d_in}和d′_im＝{d′_i1,d′_i2,d′_i3,…,d′_in}，其中m为第m个兴趣点对分别到对应基准点的欧式距离，若|d_im-d′_im|<λ，λ为预设距离阈值，则判定兴趣点对P_m与P′_m为距离不变；

5.根据权利要求4所述的一种工业环境下工业机器人分层式定位方法，其特征在于：所述基准点P_i随机选取，对于任一兴趣点对的筛选做重复率设置，若兴趣点对与任意随机的基准点P_i累积参考不少于3次且均满足判定条件，则判断该兴趣点对是正确的。

6.根据权利要求4所述的一种工业环境下工业机器人分层式定位方法，其特征在于：步骤S4包含如下步骤：

计算出正确的兴趣点对的三维坐标，其中，X,Y,Z是兴趣点对所对应实际点的三维坐标，f为双目视觉系统的左右摄像头的焦距，b为基线距离，(u₀,v₀)为主光轴与左图像平面的交点，(u₁,v₁)为左成像平面的图像坐标，(u₂,v₂)为右成像平面的图像坐标；

S42：对各个正确的兴趣点对进行三维坐标的计算，并汇总各个兴趣点对所对应实际点的三维坐标，还原物体的三维坐标。