CN114474056A

CN114474056A - 一种面向抓取操作的单目视觉高精度目标定位方法

Info

Publication number: CN114474056A
Application number: CN202210092523.8A
Authority: CN
Inventors: 周怀东; 冯蓬勃; 丑武胜; 李维娟; 余俊豪
Original assignee: Beihang Gol Weifang Intelligent Robot Co ltd; Beihang University
Current assignee: Beihang Gol Weifang Intelligent Robot Co ltd; Beihang University
Priority date: 2022-01-26
Filing date: 2022-01-26
Publication date: 2022-05-13
Anticipated expiration: 2042-01-26
Also published as: CN114474056B

Abstract

本发明公开了一种面向抓取操作的单目视觉高精度目标定位方法，属于机械臂抓取技术领域，包括步骤：S1：标注带作业目标数据集，并将Aruco码粘贴在目标物体上；S2：产生目标检测模型；S3：对目标物体进位姿粗估计；S4：求解机械臂的抓取位姿，控制机械臂快速接近目标物体；S5：判断机械臂手爪与目标物体之间的空间距离是否小于300mm：如果机械臂与目标物体的空间距离小于300mm时，则继续执行下面的步骤；如果机械臂与目标物体的空间距离大于300mm时，回到步骤S2后重复执行上述步骤，再次控制机械臂快速接近目标物体；S6：启动基于Aruco码的高精度定位，控制机械臂移动到正确的抓取姿态，准备抓取操作；S7：判断机械臂是否满足抓取条件。

Description

一种面向抓取操作的单目视觉高精度目标定位方法

技术领域

本发明涉及机械臂抓取技术领域，具体涉及一种面向抓取操作的单目视觉高精度目标定位方法。

背景技术

目前常用在工业生产过程中的机械臂操作方法，采用传统的图像识别技术和固定路径规划算法，对于固定基的机械臂，以及固定的目标物体和平面移动物体具有高精度，高可靠性，低故障率等显著特点。然而，正是由于这些优点同时又限制了机械臂在大场景、高复杂和多目标情况下的推广应用，但在生活生产实践中这些却是最普遍存在的问题。为了解决此类问题，因此首先需要在机械臂的基座上添加移动功能。此外，需要根据作业目标环境准确感知目标位姿并控制机械臂进行准确操作。目前，针对移动底盘的相关技术研究已经很完善，移动底盘可以根据指令准确完成移动任务，如何获取这准确的移动指令是此类具有移动功能机械臂的关键技术之一。准确的指令信息来源于对作业目标的准确定位和姿态估计以及抓取方向的准确预测。

目前被广泛应用于工业生产中的目标定位方法通常针对单一的、固定的以及规则运动的物体。而在工业生产实践中，智能机器人往往面临的目标物体是复杂多变、以及随意放置的，因此，传统的方法在此类情况下往往失效或估计误差偏大；目前常用的机器人操作方法仅适用于单类物体或者规则物体；目前常用的目标定位方法图像特征提取方法进行估计，虽然在平面内以及单背景的物体可取得非常好的定位效果，但是对于随意放置的物体往往误差较大。

因此，如何提供一种高精度定位方法，使智能移动机器人精准地完成操作任务，是本领域技术人员亟待解决的技术问题。

发明内容

为此，本发明提供一种面向抓取操作的单目视觉高精度目标定位方法，以解决现有技术中由于抓取空间复杂，传统算法环境受限而导致的抓取定位不准确的问题。

为了实现上述目的，本发明提供如下技术方案：

一种面向抓取操作的单目视觉高精度目标定位方法，包括以下步骤：

S1：根据作业目标要求，标注带作业目标数据集，并将Aruco码粘贴在目标物体上；

S2：使用标注的数据集进行模型训练，产生目标检测模型；

S3：使用训练后的目标检测模型，输入目标物体的单目图像进行特征提取，检测目标物体的类别数量，并融合Canny算法对目标物体进位姿粗估计；

S4：根据目标检测网络输出的目标物体类别和目标相对于相机的粗姿态估计信息，然后通过标定的固定变换矩阵求解机械臂的抓取位姿，控制机械臂快速接近目标物体；

S5：判断机械臂手爪与目标物体之间的空间距离是否小于300mm：如果机械臂与目标物体的空间距离小于300mm时，则继续执行下面的步骤；如果机械臂与目标物体的空间距离大于300mm时，回到步骤S2后重复执行上述步骤，再次控制机械臂快速接近目标物体；

S6：启动基于Aruco码的高精度定位，通过Arcuo码精确估计目标物体相对于机械臂末端的位姿信息，并控制机械臂移动到正确的抓取姿态，准备抓取操作；

S7：判断机械臂是否满足抓取条件：如果满足抓取条件，控制手爪进行抓取操作；如果不满足抓取条件，回到步骤S6后重复执行上述步骤，再次控制机械臂移动到正确的抓取姿态。

进一步地，所述步骤S6具体包括以下步骤：

S601：通过目标检测模型确定目标物体类别；

S602：通过Aruco码检测模块对目标物体的姿态和位姿进行修正，得到目标物体的精确坐标，并控制机械臂朝正确的抓取姿态移动；

S603：当机械臂末端手爪到达抓取姿态后，控制手爪准备进行抓取操作。

进一步地，所述步骤S602中对目标物体的姿态和位姿进行高精度求解时，首先对Aruco码进行检测后得到了四个角点，并进一步测得Aruco码的边长，则Aruco码的四个角点在物体坐标系的坐标可求得，然后通过PNP算法求得贴有Aruco码的目标物体相对于相机坐标系的位姿之后，通过标定的固定变换矩阵转换为相对于世界基坐标系的位姿。

进一步地，所述步骤S602中还包括对目标物体的位姿进行补偿，根据目标物体的补偿坐标转换矩阵求得待抓取目标姿态信息和待抓取目标位置信息，从而控制机械臂朝正确的抓取姿态移动。

进一步地，所述步骤S3具体包括以下步骤：

S301：输入单目图像，采用SSD网络进行目标类别及位置检测；

S302：采用顶点特征提取网络提取目标物体的关键点特征；

S303：通过Canny算法，提取图像中的边线特征，与步骤S302中的关键点特征进行像素级融合，得到目标物体的外部轮廓特征，并求解出目标物体的粗略位姿信息。

进一步地，所述标定的固定变换矩阵指的是，将物体坐标系相对于相机坐标系的坐标转换矩阵T₂，转换为物体坐标系相对于世界坐标系的坐标转换矩阵T₃，坐标转换矩阵T₃为：

T₃＝T₁ ^-1T₂ (1)

其中，T₁为世界坐标系相对于相机坐标系的坐标转换矩阵，T₂为物体坐标系相对于相机坐标系的坐标转换矩阵。

进一步地，所述目标物体的补偿坐标转换矩阵为：

T＝T₃T₄＝T₁ ^-1T₂T₄ (2)

其中，T₄为物体真实坐标系相对于Aruco码坐标系的坐标转换矩阵。

进一步地，所述步骤S7中的抓取条件为：目标物体的抓取中心点与机械臂末端手爪二指连线中心点的欧氏距离误差在0.5mm以内。

进一步地，所述步骤S1中的Aruco码贴设在目标物体的各个典型面上。

进一步地，所述步骤S2中的目标检测模型采用pytorch网络架搭建。

本发明具有如下优点：

(1)本发明为克服现有技术的缺点，同时增强机器人目标定位姿态估计的准确性，通过采用深度学习方法首先从远端的环境中识别出小目标物体，并控制机械臂快速接近目标，待机械臂与目标距离较近的情况下再通过Aruco码进行精确姿态估计，可有效降低复杂环境对姿态估计的干扰和提升定位姿态估计的准确性。

(2)本发明通过深度学习网络搭建，采用基于先验数据库的方法训练目标检测模型，可以根据数据库中需要检测目标的类别数量，对目标进行检测同时所有的目标检测和关键点估计均通过一个网络完成，然后与传统的Canny特征提取算法融合估计目标的姿态信息，可有效减轻计算机运算负担，提高算法运行的实时性。

(3)本发明通过采用深度学习模型，仅通过单目图像和常用的二维码Aruco码估计目标的位置信息，可有效减少传感器的使用，降低系统硬件成本以及机械臂末端的负载，并适用于大范围运动的移动机械臂，可实现远端小目标的快速检测和目标趋近，待目标在视场中范围变大后，再进行高精度估计，可增强机器人操作的灵活性和准确性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明的技术路线图；

图2为本发明提供的目标检测和姿态粗估计网络；

图3为本发明中的特征提取网络输出的关键点示意图；

图4为本发明中的Canny算法提取的特征示意图；

图5为本发明中的PNP姿态求解示意图；

图6为本发明中的坐标转换关系示意图；

图7为本发明的高精度姿态测量结果误差图；

图8为y＝0.0695m的高精度位置测量结果误差图；

图9为y＝0.0995m的高精度位置测量结果误差图；

图10为y＝0.1288m的高精度位置测量结果误差图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术中存在的相关技术问题，本申请实施例提供了一种面向抓取操作的单目视觉高精度目标定位方法，旨在解决现有算法受限、定位不准确等问题，实现提升定位姿态估计准确性的效果。如图1所示，具体包括以下步骤：

S2：使用标注的数据集进行模型训练，产生目标检测模型；

本发明首先采用pytorch搭建软件搭建以目标检测网络为backbone的目标检测与姿态粗估计网络，并在ImageNet数据集上进行预训练，然后采用自建的带抓取目标数据集对网络进行200epochs的训练。从而搭建如图2所示的目标检测模型网络。

图2为本发明目标检测和姿态粗估计网络。SSD网络主要通过特征提取确定目标的类别和目标框。而下侧的卷积神经网络通过多层卷积提取目标物体的顶点特征，由于顶点特征需要恢复到原图像中，所以需要在卷积网络后采用上采样，因此选用两条卷积支路设计。

如图2所示，以单目图像为数据输入，采用SSD网络对目标物体进行目标类别及位置检测。如图3所示，并通过顶点特征提取网络提取目标物体的K个顶点特征，其中K＝8。另外，如图4所示，通过Canny边缘检测算法检测输入图像的边缘轮廓信息，并与K个顶点特征进行对应像素点融合得到目标物体的八个包络框顶点，确定待抓取目标的初步估计位姿信息。

根据初步位姿估计结果，然后通过标定的固定变换矩阵求解机械臂的抓取位姿，控制机械臂快速接近目标物体。并实时判断机械臂手爪与待抓取目标之间的空间距离是否小于300mm，以确保Aruco码能被有效检测到。若距离大于300mm则继续控制机械臂快速接近目标。当距离小于300mm时，启动基于Aruco码的高精度定位，通过目标检测网络确定目标类别，然后通过Aruco码检测模块对目标的姿态和位姿进行修正，得到目标物体的精确坐标。并控制机械臂朝正确的抓取姿态进行移动，当机械臂末端手爪到达抓取姿态后，即目标物体的抓取中心点与机械臂末端手爪二指连线中心点的欧氏距离误差在0.5mm以内，控制手爪进行抓取操作。

图5为本发明中PNP姿态求解示意图。在如图5所示的高精度姿态求解过程中，首先对Aruco码进行检测后得到了四个角点，并进一步测得Aruco码边长，则四个角点在物体坐标系的坐标可求得，然后通过PNP算法求解姿态信息。

如图5所示，矩形框为相机成像平面。a、b、c为像平面内已知坐标的三个点，A、B、C为世界坐标系内已知坐标的三个点。它们两两对应，o是焦点。根据余弦定理，有

两边同除OC²，并且令

有

将式第一行的j代入剩余两行，有

由于世界坐标已知，所以AB²，AC²，BC²等值已知，进而k，l也是已知量。同时由于相机的内参和像素坐标是已知的，三个三角形顶角∠aoc，∠boc，∠aob大小可求，那么方程就变成了mn的三个二元二次方程。总共存在4个解，这时再利用一对已知点对可构建四个二元二次方程，然后通过最小二乘方法即可求得最优解。方程解得后，OA，OB，OC均已知，就可以利用几何关系求得贴设有Aruco码的目标物体的位姿信息。通过OA，OB，OC可知A，B，C三点在相机坐标系下的空间坐标，三点可构成一个空间平面，该平面即为贴设Aruco码的目标物体的平面，方向为A，B，C三点构成平面的垂直方向，该垂线即为平面的姿态方向。此为空间几何关系中通过平面求垂线。

此时Aruco码得到的4个角点对代入方程即可求解出Aruco码相对于相机坐标系的位姿。其求解过程如下，在获得Aruco码相对于相机坐标系的位姿之后，需要将这个位姿转换为相对世界基坐标的位姿。

为了获取Aruco码相对于世界基坐标系的位姿，需要通过固定变换矩阵将得到的Aruco码相对于相机坐标系的位姿进行转换。

标定的固定变换矩阵指的是，将物体坐标系相对于相机坐标系的坐标转换矩阵T₂，转换为物体坐标系相对于世界坐标系的坐标转换矩阵T₃，坐标转换矩阵T₃为：

T₃＝T₁ ^-1T₂ (1)

此时，因为目标物体表面上贴设有Aruco码，所以在转换时上述的物体坐标系相当于Aruco码坐标系。

如图6所示，由于Aruco码只能贴在物体的表面，只能代表表面的位置和姿态，因此需要对位姿进行补偿。根据对物体的定义，可以得到物体真实坐标系相对于Aruco码坐标系的坐标转换矩阵T₄，测得的物体补偿坐标转换矩阵为：

T＝T₃T₄＝T₁ ^-1T₂T₄ (2)

其中，坐标转换矩阵T_i由旋转矩阵R_i和平移向量t_i组成，分别代表姿态和位置信息。

坐标转换矩阵T_i为：

因此R_i为待抓取目标的姿态信息，t_i为待抓取目标的位置信息。

根据目标物体的补偿坐标转换矩阵求得待抓取目标姿态信息和待抓取目标位置信息，从而控制机械臂朝正确的抓取姿态移动，准备抓取操作。

本发明先将Aruco码贴在目标物体的表面，其表示的为目标物体表面的坐标，与目标物体中心点之间缺少一个沿垂直于Aruco码平面的平移位置。例如长方体表面中心点到长方体几何中心点的距离，即边长的一半。通过该补偿坐标转换后可得目标物体中心点在相机坐标系下的位姿表示，再通过相机到机械手之间的固定坐标变换，就可求得机械臂手爪最后抓取该目标物体的抓取位姿矩阵。

Aruco码相对于世界坐标系的位姿矩阵，为Aruco码在机械臂坐标系下的坐标，坐标原点为机械臂基座中心点。贴设有Aruco码的目标物体相对于机械手爪的位姿矩阵，为目标物体在机械手爪坐标系下的姿态表示。与世界基坐标系下的位姿相比，二者之间相差一个机械臂末端到机械臂基座之间的坐标转换，这个坐标转换可通过机械连杆之间的相对位置实时求解。

为了证明本发明使用Aruco码后对目标物体的位姿测量更准确，进行了姿态测量实验和位置测量实验。

在姿态测量实验中，首先使物块和基准坐标系姿态相同。然后使物块绕着自身的z轴旋转θ角，再绕物块自身的x轴旋转90度。根据欧拉角的定义，按照x、y、z的顺序，此时物块的姿态为(90，0，θ)，通过改变θ的大小，使用算法测量物体的欧拉角姿态，分别计算三个轴的姿态误差。实验中仅检测单个Aruco码，检测角度有限，取θ为0°，-15°，-30°，-45°和-60°几个典型角度进行50次测量取均值作为实验结果。应用过程中可以在物体的各个典型位置粘贴Aruco码保证全角度的识别。测试结果如表1所示。

表1姿态测量结果

将三个轴的误差分别绘制误差曲线，如图7所示，三个轴的欧拉角误差随着角θ的变化，变化平缓，整体姿态测量误差在1°以内。

在位置测量实验中，使物块的欧拉角姿态为(90°，0°，0°)，保持z＝0.032m，取x＝-0.031，0.0085，0.048m，取y＝0.0695，0.0995，0.1288m，将物块放置在9个不同位置进行实验，得到结果如表2所示。

表2位置测量结果

实验序号	真实位置/m	测量位置/m	位置误差/m
				1	(-0.031,0.0695,0.032)	(-0.0324,0.0687,0.0338)	(-0.0014,-0.0008,0.0018)
2	(0.0085,0.0695,0.032)	(0.0097,0.0707,0.0337)	(0.0012,0.0012,0.0017)
				3	(0.049,0.0695,0.032)	(0.0515,0.0729,0.0334)	(0.0025,0.0034,0.0014)
4	(-0.031,0.0995,0.032)	(-0.0316,0.1023,0.0328)	(-0.0006,0.0029,0.0008)
				5	(0.0085,0.0995,0.032)	(0.0103,0.1037,0.0330)	(0.0018,0.0042,0.0010)
6	(0.049,0.0995,0.032)	(0.0519,0.1029,0.0335)	(0.0029,0.0033,0.0015)
				7	(-0.031,0.1288,0.032)	(-0.0325,0.1362,0.0311)	(-0.0015,0.0074,-0.0009)
8	(0.0085,0.1288,0.032)	(0.0092,0.1334,0.0321)	(0.0007,0.0046,0.0001)
				9	(0.049,0.1288,0.032)	(0.0510,0.1352,0.0332)	(0.0020,0.0064,0.0012)

将位置误差分别绘制误差曲线，如图8-10所示，通过对比可知，y坐标的误差要略高，但总体误差保持在0.8cm以内。

与其他算法相比，本发明的算法具有更高的精确度。传统的算法根据规则物体易于识别的特征，利用基本的图像处理算法提取特征信息，进而进行位姿计算。现有算法中，根据目标零件的三维尺寸，在测量机环境中提取了目标的已知角点，并进行相关解算，得到的位置误差大于1cm，姿态角误差大于4°。并且为了获取更准确的特征，单目相机在测量时跟着测量机移动拍摄多张图片进行测量，整个测量过程耗时1.8s。相比于本算法，该算法的测量环境受限，测量精度更低，实时性差，结果的稳定性也较差，同时对于不同的物体需要重新编程序，泛用性较差。而本算法的主要通过在目标物体上附着靶标，利用Aruco码创造了先验条件，进而高精度识别目标并解算出位姿。将测量物体位姿的问题转换成测量靶标位姿的问题，算法的精度、泛用性、实时性和稳定性都有了提高。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.一种面向抓取操作的单目视觉高精度目标定位方法，其特征在于，包括以下步骤：

S2：使用标注的数据集进行模型训练，产生目标检测模型；

2.如权利要求1所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S6具体包括以下步骤：

S601：通过目标检测模型确定目标物体类别；

3.如权利要求2所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S602中对目标物体的姿态和位姿进行高精度求解时，首先对Aruco码进行检测后得到了四个角点，并进一步测得Aruco码的边长，则Aruco码的四个角点在物体坐标系的坐标可求得，然后通过PNP算法求得贴有Aruco码的目标物体相对于相机坐标系的位姿之后，通过标定的固定变换矩阵转换为相对于世界基坐标系的位姿。

4.如权利要求3所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S602中还包括对目标物体的位姿进行补偿，根据目标物体的补偿坐标转换矩阵求得待抓取目标姿态信息和待抓取目标位置信息，从而控制机械臂朝正确的抓取姿态移动。

5.如权利要求1所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S3具体包括以下步骤：

S301：输入单目图像，采用SSD网络进行目标类别及位置检测；

S302：采用顶点特征提取网络提取目标物体的关键点特征；

6.如权利要求1或3所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述标定的固定变换矩阵指的是，将物体坐标系相对于相机坐标系的坐标转换矩阵T₂，转换为物体坐标系相对于世界坐标系的坐标转换矩阵T₃，坐标转换矩阵T₃为：

T₃＝T₁ ^-1T₂ (1)

7.如权利要求4所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述目标物体的补偿坐标转换矩阵为：

T＝T₃T₄＝T₁ ^-1T₂T₄ (2)

8.如权利要求1所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S7中的抓取条件为：目标物体的抓取中心点与机械臂末端手爪二指连线中心点的欧氏距离误差在0.5mm以内。

9.如权利要求1所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S1中的Aruco码贴设在目标物体的各个典型面上。

10.如权利要求1所述的面向抓取操作的单目视觉高精度目标定位方法，其特征在于，所述步骤S2中的目标检测模型采用pytorch网络架搭建。