CN109015632A - 一种机器人手爪末端定位方法 - Google Patents

Abstract

本申请公开了一种机器人手爪末端定位方法，包括：利用激光器向被测工件表面发射激光光束，产生光切轮廓线；利用工业相机采集所述光切轮廓线，形成激光条纹图像；提取所述激光条纹图像中的激光条纹中心；根据所述激光条纹中心，定位出所述被测工件的位置。本申请实施例提供的方法为了保证抓取工件的精确性，需要在机器人操作臂的末端安装工业相机，根据相机拍摄的图像信息，采用多线性结构光测量法，可以实现被测工件的快速辨别与准确定位，辅助机器人操作臂快速完成验电及装设接地线工作，提高机器人自动化程度。

Description

一种机器人手爪末端定位方法

技术领域

本申请涉及分析及测量控制技术领域，尤其涉及一种机器人手爪末端定位方法。

背景技术

停电、验电、装设接地线是电力施工、检修和维护中保证电力作业人员的安全技术措施。目前高压配电线路电力施工过程中验电、装设接地线均由作业人员完成，不仅耗时、耗力，而且易出现误操作现象，从而造成重大安全隐患；另外，现场作业中多存在配网T接(主线路带电，T接出线停电)、交叉跨越等情况，有些作业现场需要登高作业车来完成验电及装设接地线作业，作业效率低，作业人员人身安全和设备稳定运行无法保障。针对停电、验电、装设接地线等电力施工过程中的实际问题，开展高压配电线路验电及装设接地线机器人作业技术及工具包研制尤为重要，而在高压配电线路验电及装设接地线机器人作业技术及工具包研制中重点突破机器人机械臂末端手爪准确定位是一大关键。

发明内容

本申请提供了一种机器人手爪末端定位方法，以解决目前机器人机械臂末端手爪定位不准确的问题。

本申请提供了一种机器人手爪末端定位方法，包括：

利用激光器向被测工件表面发射激光光束，产生光切轮廓线；

利用工业相机采集所述光切轮廓线，形成激光条纹图像；

提取所述激光条纹图像中的激光条纹中心；

根据所述激光条纹中心，定位出所述被测工件的位置。

可选的，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：标定所述激光器。

可选的，在所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之前，还包括：标定所述工业相机。

可选的，所述标定工业相机的步骤包括：

确定所述工业相机的相机模型；

根据所述相机模型，获得所述工业相机的内参数；

根据所述相机模型与所述内参数，获得所述工业相机的外参数；

优化所述内参数与所述外参数，标定所述工业相机。

可选的，所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之后，还包括：判别所述激光条纹图像中的激光条纹，获得准确的被测工件表面的激光条纹。

可选的，所述提取所述激光条纹图像中的激光条纹中心的步骤包括：

对所述激光条纹图像进行滤波；

分割所述滤波后的激光条纹图像，得到准确的激光条纹图像；

采用灰度重心法对所述准确的激光条纹图像进行激光条纹中心提取。

可选的，所述根据激光条纹中心，定位出所述被测工件的位置之后，还包括：回收作业器具。

可选的，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：在作业器具上粘贴回收标识。

可选的，所述回收作业器具的步骤包括：

获取带有回收标识的作业器具的待匹配图像和预设匹配模板；

根据匹配算法，将所述待匹配图像与匹配模板进行精确匹配；

根据精确匹配的结果，对回收标识进行特征识别，获取所述作业器具的方位信息。

由以上技术方案可知，本申请提供一种机器人手爪末端定位方法，包括：利用激光器向被测工件表面发射激光光束，产生光切轮廓线；利用工业相机采集所述光切轮廓线，形成激光条纹图像；提取所述激光条纹图像中的激光条纹中心；根据所述激光条纹中心，定位出所述被测工件的位置。本申请实施例提供的方法为了保证抓取工件的精确性，需要在机器人操作臂的末端安装工业相机，根据相机拍摄的图像信息，采用多线性结构光测量法，可以实现被测工件的快速辨别与准确定位，辅助机器人操作臂快速完成验电及装设接地线工作，提高机器人自动化程度。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施案例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种机器人手爪末端定位方法的流程图；

图2为本申请实施例提供的方法对应的具体结构图；

图3为本申请实施例提供的工业相机采集的激光条纹图像；

图示说明：

其中，1-激光器；2-工业相机；3-被测工件；11-激光光束；12-光切轮廓线。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

参见图1，本申请实施例提供一种机器人手爪末端定位方法，包括：

步骤101，利用激光器1向被测工件3表面发射激光光束11，产生光切轮廓线12；如图2所示，激光器1发射的激光光束11在空间中形成一个光平面，光平面与被测工件3的表面相切，且会在被测工件的表面形成一条光切轮廓线12。

步骤102，利用工业相机2采集所述光切轮廓线12，形成激光条纹图像，如图3所示；通常光切轮廓线12在工业相机2下会形成一条明亮的激光条纹，所以利用工业相机2采集被测工件3表面的带有激光条纹的图像，即激光条纹图像。

步骤103，提取所述激光条纹图像中的激光条纹中心；本申请实施例采用的是多线性结构光测量法，在结构光的测量中，提取图像中的激光条纹中心是结构光测量的基础，其提取精度和速度直接影响测量性能。同样，为了准确获取目标物体的位置信息，也需要对工业相机2采集到的被测工件3表面的激光、光条纹进行提取，实现目标工件的准确定位，确保机器人机械臂末端夹爪可以准确抓取目标工件，完成作业任务。

步骤104，根据所述激光条纹中心，定位出所述被测工件3的位置。

由以上技术方案可知，本申请提供一种机器人手爪末端定位方法，包括：利用激光器向被测工件表面发射激光光束，产生光切轮廓线；利用工业相机采集所述光切轮廓线，形成激光条纹图像；提取所述激光条纹图像中的激光条纹中心；根据所述激光条纹中心，定位出所述被测工件的位置。本申请实施例提供的方法为了保证抓取工件的精确性，需要在机器人操作臂的末端安装工业相机，根据相机拍摄的图像信息，采用多线性结构光测量法，可以实现被测工件的快速辨别与准确定位，辅助机器人操作臂快速完成验电及装设接地线工作，提高机器人自动化程度。

可选的，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：标定所述激光器。对于激光器的标定，有利于确定激光器的位置及坐标，以便后续对被测工件位置的确定。

可选的，在所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之前，还包括：标定所述工业相机。为了通过激光条纹图像能够还原目标被测工件的三维信息，需要对工业相机进行标定，从而建立图像坐标系与世界坐标系之间的对应关系。

可选的，所述标定工业相机的步骤包括：

步骤201，确定所述工业相机的相机模型；

根据摄像机针孔成像模型，可以得到下面的等式：

其中，X_W、Y_W、Z_W分别代表世界坐标系中的X轴、Y轴和Z轴的坐标。

现在世界坐标系平面置于标定模板所在的平面，即Z_W＝0。则上式可变为如下形式：

其中，r_i表示旋转矩阵R的第i列向量。令则上式可简写为：

其中：

H即为单应性矩阵。有式子可以推出：

从而推得：

令：h'＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]，

则：

上式可以看作Sh'＝0，那么矩阵S^TS最小特征值所对应的特征向量就是该方程的最小二乘解。再将解归一化得到所需的h'，从而可以求得H。由于线性解法所得的解一般不是最优的解，所以可以选取上面两个等式中的一个，构建评价函数，利用Levenberg-Marquarat算法计算出更高精度的解。

步骤202，根据所述相机模型，获得所述工业相机的内参数；

由于求得的H可能和真实的H相差一个比例因子，因此将式子(4)写成如下形式：

[h₁ h₂ h₃]＝λA[r₁ r₂ t] (8)，

r₁与r₂为单位正交向量，有r₁ ^Tr₁＝r₂ ^Tr₂＝1，且r₁ ^Tr₂＝0，所以得到摄像机内部参数求解的两个约束条件：

令：

B是对称矩阵，可以用6维向量定义：b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T。

设H第i列向量表示为h_i＝[h_i1 h_i2 h_i3]，那么：

h_i ^TBh_i＝V_ij ^Tb (11)，

其中：

V_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h₃₁h_j1+h_i1h_j3 h₃₁h_j1+h_i3h_j3 h_i3h_j3]，

将(11)写成关于b的形式：

如有N幅模板的图像，就可以得到：Vb＝0，

其中，V是一个2N×6的矩阵，如果N≥3，b就可以被解出(带有一个比例因子)，从而可以得到5个内参数：

步骤203，根据所述相机模型与所述内参数，获得所述工业相机的外参数；

再根据单应性矩阵H和内参矩阵A，利用如下公式，计算每幅图像的外参数

由于图像中存在一些噪声，所以矩阵R＝(r₁,r₂,r₃)事实上并不满足正交性质，所以根据最小距离准则求取最佳的R解。

步骤204，优化所述内参数与所述外参数，标定所述工业相机。以上求解旋转矩阵R的方法是基于最小距离的，不具备物理意义。接下对上面得到结果用最大似然估计来进行优化。

转动标定模板，从不同的角度拍摄棋盘标定模板的n幅图像，设每幅图像都具有相同的标定点，标定点的个数为m，并假设每个标定点的坐标都有独立同分布的噪声，那么最大似然估计可以通过求式(14)的最小值得到：

其中m_ij是三维场景中第i个物点在第j幅图像上的像点坐标矢量，R_i是第i幅图像的旋转矩阵，t_i是第i幅图像的平移向量，M_j是三维场景中第j个物点的空间坐标，是通过已知初始值得到的像点估计坐标。

的求解是一个经典的非线性优化的问题，使评价函数最小的A，R_i，t_i就是这个问题的最优解。可以取第一次得到的线性求解结果作为A、{R_i,t_i|i＝1…n}的初始值，解决这类问题的方法很多，在这里使用Levenberg-Marquarat算法进行求解。

工业相机通常可以用内参数和外参数来描述，相机内参数是由相机内部几何特性和光学特性共同决定的，主要包括主点坐标(u₀,v₀)、焦比(f_u,f_v)以及偏轴系数s，考虑到非线性镜头畸变，还包括各类畸变系数等；相机外参数用来描述摄像机坐标系相对于世界坐标系之间的位姿关系，包括一个旋转矩阵和一个平移向量。

可选的，所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之后，还包括：判别所述激光条纹图像中的激光条纹，获得准确的被测工件表面的激光条纹。为准确定位物体的位置，需要对工业相机采集到的激光条纹图像进行辨别。由于工业相机采集到被测工件表面的结构光为圆弧段，而其他地方的激光条纹为直线段，因此辨别物体实际上就是区分圆弧段和直线段的激光条纹，本申请实施例采用高斯-牛顿迭代法来对圆弧段激光条纹和直线段激光条纹进行辨别，进而排除直线段的干扰，最终确定表面物体的激光条纹，准确获取物体的实际位置信息。

具体实现方案如下：

标准圆的表达式为：(u-u₀)²+(v-v₀)²＝r² (15)，

其中，u,v是圆上的坐标，u₀,v₀是圆心坐标。

令：f(u₀,v₀)＝(u-u₀)²+(v-v₀)² (16)，

其中，f(u₀,v₀)为像素点(u,v)距离圆心坐标(u₀,v₀)的距离，当该距离和r相等时，说明点(u,v)在圆上。

那么，高斯-牛顿迭代法通过使下述表达式取得最小值得到圆心坐标(u₀,v₀)，即

具体步骤如下：

首先：设置u₀,v₀的初始值，其中u₀为圆弧数据上u方向的平均值，v₀为圆弧数据上v方向的最大值减去圆弧半径，即

其次：对函数f(u₀,v₀)关于u₀，v₀求二阶偏导，即

同时令：

b₁₁Δ₁+b₁₂Δ₂＝B₁ (25)，

b₂₁Δ₁+b₂₂Δ₂＝B₂ (26)，

其中Δ₁，Δ₂分别为圆心坐标的增量，根据(25)、(26)两式，可得：

再次：更新u₀,v₀的值，即:

u₀ ⁱ＝u₀ ^i-1+Δ₁ (27)，

v₀ ⁱ＝v₀ ^i-1+Δ₂ (28)，

最后：计算均方误差：

如果MS<T,T为最大均方误差值，停止迭代，得到圆弧圆心坐标u₀,v₀,说明该段为物体表面的激光条纹；否则重复上述过程(N取固定值，取500较为符合)，N次后均方误差MS依旧大于T，说明该段为直线段。

本申请实施例中的激光测量方法属于线结构光测量，对于线结构光的出射光强在其截面上可以近似认为服从高斯分布，而实际情况下由于各种因素的影响，激光条纹截面上强度不再符合高斯分布，使得激光条纹中心提取变得困难。影响激光条纹的主要因素包括：1)外界光源，如太阳光的干扰；2)工业相机内部的热噪声和点噪声以及环境噪声；3)被测工件表面的颜色、粗糙度、纹理、材质等差异造成的漫反射性能不同。为了提高激光条纹提取的准确性，在激光条纹中心提取之前，应该加入图像滤波和图像分割的过程。

具体的，提取所述激光条纹图像中的激光条纹中心的步骤可以包括：

步骤301，对所述激光条纹图像进行滤波；本申请实施例中采用高斯滤波对工业相机获得的激光条纹图像进行滤波处理，消除图像中的噪声影响。首先，将获得的激光条纹图像分行，然后选用不同的滤波系数对每一行处理，根据高斯函数服从正态分布的特性对0行和最后一行不做处理；具体滤波系数如下表所示：

图像行标号	滤波系数
		0	不滤波
1	3-4-2-1
		2，3...	1-2-4-2-1
倒数第二行	1-2-4-3
		最后一行	不滤波

步骤302，分割所述滤波后的激光条纹图像，得到准确的激光条纹图像；本申请实施例采用阈值分割法，利用激光条区域灰度值与背景灰度值的差异将激光条区域提取出来，因为光条纹区域亮度较高，而背景区域亮度较低，在得到的二值图上会显示不同的灰度值，根据灰度值的大小不同，可以提取光条纹，原理简单且运算速度快。

步骤303，采用灰度重心法对所述准确的激光条纹图像进行激光条纹中心提取。该方法的基本原理是在激光条横截线上对像素位置进行灰度加权求均值来计算得到激光条的中心位置，具体实现如下：

C_u＝u (29)，

其中，C_u是光条纹中心u方向的坐标，C_v是光条纹中心v方向的坐标，I(u，v)为图像(u,v)位置的灰度值，其灰度值可以在获取图片上读取,不同的点灰度值不同，并满足以下约束条件，

I(u,v)>T_I (31)，

其中，T_I为光条分割阈值(阈值的选取和获取图片的灰度值分布有关)。

可选的，在所述根据激光条纹中心，定位出所述被测工件的位置之后，还包括：回收作业器具。机器人在验电及架设接地线作业完成，以及线路施工完成后，还需要完成对接地线工器具的回收，将其由线路上卸除并装回到作业工具包内。

可选的，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：在作业器具上粘贴回收标识。由于线路在外界风扰、线路振动情况下，作业器具位置相对安装位置存在变化，为了保证作业器具准确回收，通过在作业器具上粘贴回收标识，对回收标识进行特征识别获得作业器具的方位信息。值得说明的是，本申请实施例中的回收标识并不局限于一种形态的标识图案，凡是能起到标识作用的图案均可为本申请实施例中的回收标识。

进一步的，所述回收作业器具的步骤包括：

步骤401，获取带有回收标识的作业器具的待匹配图像和预设匹配模板；图像匹配是最具代表性、应用最为广泛的算法，它最大的优势在于当目标物体改变时，匹配算法可以很好的适应新目标，大大增加了视觉定位的适用范围。

步骤402，根据匹配算法，将所述待匹配图像与匹配模板进行精确匹配；本申请实施例中使用基于灰度信息的匹配算法，适用于两幅图像具有相同的外界条件的情况下进行精确匹配。

步骤403，根据精确匹配的结果，对回收标识进行特征识别，获取所述作业器具的方位信息。识别和定位就是指对回收标识的识别与定位，用图像匹配的方法进行对比计算，进行识别与定位，这样作业器具可以准确回收。具体步骤如下：

设定待匹配的图像f(x,y)，匹配模板为w(x,y),归一化相关系数γ(x,y)为：

其中，求和和上下限取w和f的共同范围，是模板的平均值，模板平均值只需要计算一次，是f和w重合区域的平均值，可以证明γ(x,y)的值域是[-1,1]，当归一化的w和f中对应的归一化区域相同时，γ(x,y)取得最大值，即获得了最可能的匹配。

由以上技术方案可知，本申请提供一种机器人手爪末端定位方法，包括：利用激光器向被测工件表面发射激光光束，产生光切轮廓线；利用工业相机采集所述光切轮廓线，形成激光条纹图像；提取所述激光条纹图像中的激光条纹中心；根据所述激光条纹中心，定位出所述被测工件的位置。本申请实施例提供的方法为了保证抓取工件的精确性，需要在机器人操作臂的末端安装工业相机，根据相机拍摄的图像信息，采用多线性结构光测量法，可以实现被测工件的快速辨别与准确定位，辅助机器人操作臂快速完成验电及装设接地线工作，提高机器人自动化程度。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (9)

1.一种机器人手爪末端定位方法，其特征在于，包括：

利用激光器向被测工件表面发射激光光束，产生光切轮廓线；

利用工业相机采集所述光切轮廓线，形成激光条纹图像；

提取所述激光条纹图像中的激光条纹中心；

根据所述激光条纹中心，定位出所述被测工件的位置。

2.根据权利要求1所述的方法，其特征在于，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：标定所述激光器。

3.根据权利要求1所述的方法，其特征在于，在所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之前，还包括：标定所述工业相机。

4.根据权利要求3所述的方法，其特征在于，所述标定工业相机的步骤包括：

确定所述工业相机的相机模型；

根据所述相机模型，获得所述工业相机的内参数；

根据所述相机模型与所述内参数，获得所述工业相机的外参数；

优化所述内参数与所述外参数，标定所述工业相机。

5.根据权利要求1所述的方法，其特征在于，所述利用工业相机采集所述光切轮廓线，形成激光条纹图像之后，还包括：判别所述激光条纹图像中的激光条纹，获得准确的被测工件表面的激光条纹。

6.根据权利要求1所述的方法，其特征在于，所述提取所述激光条纹图像中的激光条纹中心的步骤包括：

对所述激光条纹图像进行滤波；

分割所述滤波后的激光条纹图像，得到准确的激光条纹图像；

采用灰度重心法对所述准确的激光条纹图像进行激光条纹中心提取。

7.根据权利要求1所述的方法，其特征在于，在所述根据激光条纹中心，定位出所述被测工件的位置之后，还包括：回收作业器具。

8.根据权利要求7所述的方法，其特征在于，在所述利用激光器向被测工件表面发射激光光束，产生光切轮廓线之前，还包括：在作业器具上粘贴回收标识。

9.根据权利要求8所述的方法，其特征在于，所述回收作业器具的步骤包括：

获取带有回收标识的作业器具的待匹配图像和预设匹配模板；

根据匹配算法，将所述待匹配图像与匹配模板进行精确匹配；

根据精确匹配的结果，对回收标识进行特征识别，获取所述作业器具的方位信息。