CN111062989B - 一种高精度二维摄像头与机器人手眼标定的方法及系统 - Google Patents

Abstract

本申请公开了一种高精度二维摄像头与机器人手眼标定的方法及系统，该方法包括：获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；获取所述对角点在机器基座坐标系中的位置；识别待抓取物体相对于相机坐标系的中心和法向量；以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；以所述对角点在基座坐标系的位置为第二基向量，确定所述待抓取物体基于所述第二基向量的中心点和法向量；根据所述待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取。可以重建出待抓取物体的具体位置，根据二维视觉构建了物体在三维空间中的坐标，可以提高抓取物体的精度。

Description

一种高精度二维摄像头与机器人手眼标定的方法及系统

技术领域

本申请涉及相机与机器人手眼标定领域，具体涉及一种高精度二维摄像头与机器人手眼标定的方法及系统。

背景技术

产品生产过程中，物体分拣的精度会影响后续的加工精度。为了保证高精度地抓取，目前工业中的物体分拣很多还是由分拣工人完成。然而，人工分拣存在人工成本问题，人体疲劳问题及心理问题，和长时间工作的效率问题。在这样的背景下，开发一种可以高精度地抓取物体的机器人系统便非常重要。相对于人工分拣，机器人分拣可以保证重复精度，可以连续长时间工作，并且对工厂环境的忍耐程度更高。

通过对已公开的文献、专利和工业产品调研发现，机器人视觉抓取主要分为基于3D视觉的直接抓取方式和基于2D视觉伺服抓取方式。3D摄像头可以直接计算出目标点的三维坐标，通过手眼标定后，便可以将目标点在相机坐标系的坐标转为机器人基座坐标系的坐标。但是3D摄像头相较于2D摄像头精度不高、分辨率不高，而且价格较昂贵。

2D摄像头的分辨率较高，千元级别的2D摄像头也可以达到1080P甚至是2160P。基于二维视觉的伺服抓取方式是将相机固定于机械臂上，通过对比识别采集到的图像与目标图像的差别，从而可以判断出机械臂应该改变的位置和角度，再指示该机械臂进行调整。通过多次迭代，最终使得采集图像和目标图像的差别趋近于0。然而视觉伺服控制机械臂进行混杂分拣的方法也存在一些不足，传统的2D视觉只能测量出物体的2D位置，无法测量出物体的距离远近，很难重建出待抓取物体的具体位置，这样给抓取造成了较大的困难。而且视觉伺服需要进行多轮迭代，每一轮都需要进行图像识别和运算，这样抓取物体的效率较低。

发明内容

本申请实施例提供了一种高精度二维摄像头与机器人手眼标定的方法及系统，可以利用高分辨率2D摄像头高精度地识别待抓取物的位置和法向量，从而解决3D摄像头精度不足以及2D视觉伺服速度低的问题，因此适用于高精度地物体分拣。

本申请第一方面提供了一种高精度二维摄像头与机器人手眼标定的方法，该方法包括：获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置；识别待抓取物体相对于相机坐标系的中心和法向量；以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量；根据所述待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取。本方案可以根据待抓取物体基于第二基向量的中心点和法向量重建出待抓取物体的具体位置，相当于根据二维视觉构建了物体在三维空间中的坐标。这样抓取可以提高对物体抓取精度。同时，无需多轮迭代，可以提高抓取效率。

可选的，结合第一方面，在第一方面的第一种可能的实现方式中，所述获取对角点在机器人基座坐标系中的位置之前，所述方法还包括：根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行。当棋盘格平面与相机平面平行时，可以提高抓取物体的准确率。

本申请第二方面提供了一种高精度二维摄像头与机器人手眼标定的系统，所述系统包括：(1)可解耦机械臂，(2)RGB摄像头，(3)上位机控制系统，所述可解耦机械臂(1)用于与所述RGB摄像头(2)相连，当所述RGB摄像头(2)采集到RGB图像时，所述RGB摄像头(2)用于将所述RGB图像传出至所述上位机控制系统(3)，所述RGB摄像头(2)，用于获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；所述上位机控制系统(3)，用于当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置并识别待抓取物体相对于相机坐标系的中心和法向量；所述上位机控制系统(3)，还用于以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；所述上位机控制系统(3)，还用于以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量。本方案可以根据待抓取物体基于第二基向量的中心点和法向量重建出待抓取物体的具体位置，相当于根据二维视觉构建了物体在三维空间中的坐标。这样抓取可以提高对物体抓取精度。同时，无需多轮迭代，可以提高抓取效率。

可选的，所述RGB摄像头，还用于根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行。

附图说明

图1为本申请实施例提供的一种高精度二维摄像头与机器人手眼标定的方法的流程图；

图2为本申请实施例提供的一种矫正图像平面的示意图；

图3为本申请实施例提供的一种利用平面参考点集计算目标点的示意图；

图4为本申请实施例提供的一种高精度二维摄像头与机器人手眼标定的装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

产品生产过程中，物体分拣的精度会影响后续的加工精度。为了保证高精度地抓取，目前工业中的物体分拣很多还是由分拣工人完成。然而，人工分拣存在人工成本问题，人体疲劳问题及心理问题，和长时间工作的效率问题。在这样的背景下，开发一种可以高精度地抓取物体的机器人便非常重要。相对于人工分拣，机器人分拣可以保证重复精度，可以连续长时间工作，并且对工厂环境的忍耐程度更高。

通过对已公开的文献、专利和工业产品调研发现，机器视觉抓取主要分为基于3D视觉的直接抓取方式和基于2D视觉伺服抓取方式。3D摄像头可以直接计算出目标点的3维坐标，通过手眼标定后，便可以将目标点在相机坐标系的坐标转为机器基座坐标系的坐标。然而3D摄像头还存在以下几个问题：

1.市面上现有的3D摄像头的精度并不高，千元级别的3D摄像头精度在3-10毫米级别，不能满足亚毫米级别的抓取精度要求。而亚毫米级别的3D相机，价格高达10万人民币，大大增加了产品的成本。

2.3D摄像头的分辨率也不高，大多在480p，因此3D摄像头很难识别贴合紧密的物体，很难达到高精度分割的要求。

相比之下，2D摄像头的分辨率较高，千元级别的2D摄像头也可以达到1080p甚至2160p。基于2D视觉的伺服抓取方式是将相机固定于机械臂上，通过对比识别采集到的图像与目标图像的差别，从而判断出机械臂应该改变的位姿，并发送给机械臂进行调整。通过多次迭代，最终使得采集图像与目标图像的差别减小到接近为0。然而视觉伺服控制机械臂进行混杂分拣的方法也存在一些不足：

1.传统的2D视觉只能测量出物体的2D位置，无法测量出物体的远近，因此很难重建出待抓取物体的具体位置，给抓取造成了较大困难。

2.视觉伺服需要进行多轮迭代，每一轮都需要进行图像识别及机器逆运动学计算，大大降低了抓取物体的速度。

考虑到以上问题，本申请尝试利用一种高精度的2D手眼标定方法来实现基于2D摄像头的直接抓取，这样便可以兼顾抓取精度与速度。

本申请需要解决基于2D摄像头高精度地直接抓取物体的问题，研制一种高精度的2D手眼标定方法，可以用于物体的高精度抓取问题。如图1所示，该方法包括：

S1.获取棋盘格标定板的RGB图像，获取棋盘格的对角点在RGB图像中的位置。

获取棋盘格标定板的RGB图像，识别棋盘格的角点在RGB图像中的位置。

S2.利用棋盘格对角点进行图像平面矫正，使得RGB图像中的棋盘格平面与相机

平面平行。

利用棋盘格角点进行图像平面矫正，使得RGB图像中的棋盘格平面与相机平面平行，平面矫正具体步骤如下：

1.根据S1中计算的棋盘格角点位置，计算棋盘格左右两边在图像中的长度l_lv及l_rv，和上下两边在图像中的长度l_ux及l_lx。

如图2所示，由于针孔相机成像时近大远小的特性，物体平面的旋转将使得两条相等的边长在图像平面上相等。

2.计算x轴边长差Δl_x＝l_ux-l_lx和y轴边长差Δl_y＝l_lv-l_rv。两个坐标轴的差可以用于控制图像补偿旋转的角度θ_x和θ_v：

θ_x←θ_x-kΔl_x，θy←θ_y-kΔl_y

其中θ_x和θ_v分别为绕图2所示的x和y轴旋转的角度。

3.旋转图像时需要先将图像映射至3维平面，然后再进行3维旋转，最后再投影到2维平面。以一个点[u_old，v_old]为例，其旋转过程如下：

其中u_c和v_c分别为2D图像中心像素点的行数和列数。

4.旋转图像直到Δl_x和Δl_v收敛到低于一个阈值(如0.001)，保存此时的旋转角θ_x和θ_v。

S3.再次识别棋盘格角点在RGB图像中的位置。

利用保存的旋转角θ_x和θv矫正平面后，再次识别棋盘格角点在RGB图像中的位置[u₁，v₁]^T，[u₂，v₂]^T，[u₃，v₃]^T，和[u₄，v₄]^T。

S4.获取对角点在机器基座坐标系中的位置。

利用机器探针触碰棋盘格角点，获取对应角点在机器基座坐标系中的位置[x₁，y₁，z₁]^T，[x₂，y₂，z₂]^T，[x₃，y₃，z₃]^T，和[x₄，y₄，z₄]^T。

S5.识别待抓取物体的相对于相机坐标系的中心点和法向量。

移除标定板，将待抓取物体放置在之前标定板范围内，上表面与之前标定板的上表面共面，识别待抓取物体的相对于相机坐标系的中心[u_o，v_o]^T和法向量[u_n，v_n]^T。

S6.以对角点在RGB图像中的位置为第一基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例。

如图3所示，以之前标定的角点在RGB图像中的位置为基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例：

同理，拟合法向量所需的各基向量比例为：

S7.以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量。

如图3所示，以标定的角点在机器基座坐标系的位置为基向量，用上一步计算得到的比例乘以各基向量，计算出待抓取物在机器基座坐标系的中心点[x_o y_o z_o]^T和法向量[x_ny_n z_n]^T，然后发送给机械臂进行抓取。

S8.根据所述待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取。

根据步骤S7中计算出的待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取。

本申请实施例提供了一种高精度二维摄像头与机器人手眼标定的系统，该系统用于实现上述高精度二维摄像头与机器人手眼标定的方法，请参见图4。

该装置包括：(1)可解耦机械臂，(2)RGB摄像头，(3)上位机控制系统，所述可解耦机械臂(1)用于与所述RGB摄像头(2)相连，当所述RGB摄像头(2)采集到RGB图像时，所述RGB摄像头(2)用于将所述RGB图像传出至所述上位机控制系统(3)，所述RGB摄像头(2)，用于获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；所述上位机控制系统(3)，用于当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置并识别待抓取物体相对于相机坐标系的中心和法向量；所述上位机控制系统(3)，还用于以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；所述上位机控制系统(3)，还用于以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量。所述可解耦机械臂(1)，用于根据所述待抓取物体基于所述第二基向量的中心点和法向量对待抓取物体进行抓取。

其中，所述RGB摄像头(2)放置于可解耦机械臂(1)上部或顶部，所述上位机控制系统(3)分别与可解耦机械臂(1)和RGB摄像头(2)相连。

以上对本申请实施例所提供的一种高精度二维摄像头与机器人手眼标定的方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (2)

1.一种高精度二维摄像头与机器人手眼标定的方法，其特征在于，所述方法包括：

获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；

当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置；

识别待抓取物体相对于相机坐标系的中心和法向量；

以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；

以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量；

根据所述待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取；

所述获取对角点在机器基座坐标系中的位置之前，所述方法还包括：

根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行；

其中，所述根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正具体包括：

根据棋盘格的对角点位置，计算棋盘格左右两边在图像中的长度lly及lry，和上下两边在图像中的长度l_ux及l_lx；

计算x轴边长差Δl_x＝l_ux-l_lx和y轴边长差Δl_y＝l_ly-l_ry，所述x轴边长差与所述y轴边长差用于控制图像补偿旋转的角度θ_x和θ_y；

旋转图像时先将图像映射至3维平面，然后再进行3维旋转，最后再投影到2维平面，当待旋转的图像为一个点[u_old，v_old]时，旋转过程为：

其中u_c和v_c分别为2D图像中心像素点的行数和列数；

旋转图像直到Δl_x和Δl_y收敛到低于阈值时，保存此时的旋转角θ_x和θ_y；

所述方法还包括：再次识别棋盘格角的对角点在RGB图像中的位置；

所述再次识别棋盘格角的对角点在RGB图像中的位置具体包括：

利用保存的旋转角θ_x和θ_y矫正平面后，再次识别棋盘格角的对角点在RGB图像中的位置[u₁，v₁]^T，[u₂，v₂]^T，[u₃，v₃]^T，和[u₄，v₄]^T；

所述获取所述对角点在机器基座坐标系中的位置具体包括：

利用机器探针触碰棋盘格角点，获取对应角点在机器基座坐标系中的位置[x₁，y₁，z₁]^T，[x₂，y₂，z₂]^T，[x₃，y₃，z₃]^T，和[x₄，y₄，z₄]^T；

所述识别待抓取物体相对于相机坐标系的中心和法向量具体包括：

移除标定板，将待抓取物体放置在之前标定板范围内，上表面与标定板的上表面共面，识别待抓取物体的相对于相机坐标系的中心[u_o，v_o]^T和法向量[u_n，v_n]^T；

所述以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例具体包括：

以标定的对角点在RGB图像中的位置为基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例:

拟合法向量所需的各基向量比例为：

所述以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量具体包括：

以标定的对角点在基座坐标系的位置为基向量，用各基向量的比例乘以各基向量，计算出待抓取物在机器基座坐标系的中心点[x_o y_o z_o]^T和法向量[x_n y_n z_n]^T,并发送给机械臂进行抓取；

2.一种高精度二维标定的系统，其特征在于，所述系统包括：(1)可解耦机械臂，(2)RGB摄像头，(3)上位机控制系统，所述可解耦机械臂(1)用于与所述RGB摄像头(2)相连，当所述RGB摄像头(2)采集到RGB图像时，所述RGB摄像头(2)用于将所述RGB图像传出至所述上位机控制系统(3)，

所述RGB摄像头(2)，用于获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；

所述上位机控制系统(3)，用于当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置并识别待抓取物体相对于相机坐标系的中心和法向量；

所述上位机控制系统(3)，还用于以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；

所述上位机控制系统(3)，还用于以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量。

所述可解耦机械臂(1)，用于根据所述待抓取物体基于所述第二基向量的中心点和法向量对待抓取物体进行抓取；

所述RGB摄像头(2)，还用于根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行；

其中，所述根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正具体包括：

根据棋盘格的对角点位置，计算棋盘格左右两边在图像中的长度l_lv及l_ry，和上下两边在图像中的长度l_ux及l_lx；

计算x轴边长差Δl_x＝l_ux-l_lx和y轴边长差Δl_y＝l_ly-l_ry，所述x轴边长差与所述y轴边长差用于控制图像补偿旋转的角度θ_x和θ_y；

旋转图像时先将图像映射至3维平面，然后再进行3维旋转，最后再投影到2维平面，当待旋转的图像为一个点[u_old，v_old]时，旋转过程为：

其中u_c和v_c分别为2D图像中心像素点的行数和列数；

旋转图像直到Δl_x和Δl_y收敛到低于阈值时，保存此时的旋转角θ_x和θ_y；

所述RGB摄像头(2)还用于：再次识别棋盘格角的对角点在RGB图像中的位置；

所述再次识别棋盘格角的对角点在RGB图像中的位置具体包括：

利用保存的旋转角θ_x和θ_y矫正平面后，再次识别棋盘格角的对角点在RGB图像中的位置[u₁，v₁]^T，[u₂，v₂]^T，[u₃，v₃]^T，和[u₄，v₄]^T；

所述获取所述对角点在机器基座坐标系中的位置具体包括：

利用机器探针触碰棋盘格角点，获取对应角点在机器基座坐标系中的位置[x₁，y₁，z₁]^T，[x₂，y₂，z₂]^T，[x₃，y₃，z₃]^T，和[x₄，y₄，z₄]^T；

所述识别待抓取物体相对于相机坐标系的中心和法向量具体包括：

移除标定板，将待抓取物体放置在之前标定板范围内，上表面与标定板的上表面共面，识别待抓取物体的相对于相机坐标系的中心[u_o，v_o]^T和法向量[u_n，v_n]^T；

所述以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例具体包括：

以标定的对角点在RGB图像中的位置为基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例:

拟合法向量所需的各基向量比例为：

所述以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量具体包括：

以标定的对角点在基座坐标系的位置为基向量，用各基向量的比例乘以各基向量，计算出待抓取物在机器基座坐标系的中心点[x_o y_o z_o]^T和法向量[x_n y_n z_n]^T,并发送给机械臂进行抓取；

/>

Images