CN110757462A

CN110757462A - 一种机器人手眼标定方法、系统及存储介质

Info

Publication number: CN110757462A
Application number: CN201911116334.4A
Authority: CN
Inventors: 蒋文骏; 熊鹰; 丛储俊; 殷军普
Original assignee: Shanghai Weishidun Information Technology Ltd By Share Ltd
Current assignee: Shanghai Weishidun Information Technology Ltd By Share Ltd
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2020-02-07
Anticipated expiration: 2039-11-15
Also published as: CN110757462B

Abstract

本发明实施例公开了一种机器人手眼标定方法及系统，其方法包括步骤：(1)：使用棋盘格作为标定对象；(2)：获取在机械臂坐标系中棋盘格每个交点以及扩展交点的坐标；(3)：获取棋盘格图片中所有交点在该图片中的像素点坐标；(4)：使用非线性模型在机器人坐标系的坐标与像素点坐标之间建立映射关系，获得标定信息。本发明在无需计算旋转矩阵和镜头畸变校准的情况下将机械臂标定的特征点的机械臂坐标系的坐标和相机标定出的像素坐标进行非线性的映射，使相机坐标系和机械臂坐标系融合成一个坐标系，快速地且简便地完成手眼协同标定，且对相机的假设角度和机械臂的安装角度没有苛刻地要求。

Description

一种机器人手眼标定方法、系统及存储介质

技术领域

本发明涉及自动化领域，尤其涉及一种机器人手眼标定方法、系统及存储介质。

背景技术

通常工业自动化领域的机器人指多关节多自由度机械臂，机械臂通过多个旋转电机驱动，实现机器人末端的可控制定位驱动。机器人自身是没有传感器的，通过在机器人上或旁安装相机，使用相机获得目标坐标，从而让机器人根据相机得到的图像对目标进行操作。

因此，相机标定是机器人视觉中非常重要的一步，为了使得相机(亦即机器人的眼)坐标系与机器人(亦即机器人的手)坐标系之间建立关系就必须要对机器人与相机坐标系进行标定，该标定过程也就叫做手眼标定。

随着产量的提升和人工成本的上升，流水线上对自动化的要求也越来越高。为了在保证产品品质的前提下，减少人工的参与度，应对多批次多品种的生产需要，流水线上需要机器人能够快速识别目标，而精准快速的手眼标定是首要解决的问题。

发明内容

本发明一种机器人手眼标定方法，包括步骤：

(1)：使用棋盘格作为标定对象；

(2)：获取在机械臂坐标系中棋盘格每个交点以及扩展交点的坐标；

(3)：获取棋盘格图片中所有交点在该图片中的像素点坐标；

(4)：使用非线性模型在机器人坐标系的坐标与像素点坐标之间建立映射关系，获得标定信息。

进一步地，步骤(4)中的非线性模型为深度神经网络模型。

进一步地，步骤(3)包括：

(32)：拍摄棋盘格，获取照片；

(32)：计算角的坐标；

(33)：预测棋盘左右扩展角的坐标，其公式为：

其中，x₀:棋盘格边框的某一个交点的横坐标；x₁:棋盘格边框的某一个交点的纵坐标，y₀:边框向外延伸点的横坐标，y₁：边框向外延伸点的纵坐标，a、b、c、d为需要拟合的参数。

进一步地，步骤(2)包括：

(21)、用机械臂获取棋盘格左角边的交点和右角边的交点在机器人坐标系中的坐标；

(22)、根据左角和右角的交点的坐标和两点之间的每行格子数计算格子的格子边长；

(23)、计算出左边和右边的边缘点坐标；

(24)、根据左边的边缘点、右边的边缘点和格子数计算出每对边缘点之间的插值点的坐标；

(25)获得左边边缘点向左的扩展点的坐标和右边边缘点向右的扩展点的坐标；

(26)获得上边边缘点向上的扩展点的坐标和下边边缘点向下的扩展点的坐标。

本发明还公开一种确定手眼标定的装置，包括图像获取模块和手眼标定获取模块，

所述图像获取模块用以获取标定对象的图片信息和位置信息；

所以手眼标定获取模块根据图像获取模块获得的图片，建立映射关系，获得标定信息。

本发明还公开一种确定手眼标定系统，包括标定板、机器人、相机以及处理装置，

所述标定板为棋盘格，用以作为标定对象；

所述相机安装在机器人上，用以对棋盘格进行拍摄；

所述处理装置用以根据相机拍摄得到的信息进行处理，和机器人坐标系的坐标建立映射关系，获得标定信息。

进一步地，所述棋盘格为20×14的纸质棋盘格。

进一步地，所述相机采用拥有GigE的彩色工业相机，以1/960秒的快门速度对标定对象进行每秒8帧的拍摄，并将图像用以太网的方式传给处理装置。

进一步地，所述处理装置在建立映射关系时，采用深度神经网络进行处理。

本发明还公开一种电子设备，包括存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机实现上述的手眼标定。

实施本发明实施例，具有如下有益效果：

本发明实施例中的机器人手眼标定方法以及系统，在无需计算旋转矩阵和镜头畸变校准的情况下将机械臂标定的特征点的机械臂坐标系的坐标和相机标定出的像素坐标进行非线性的映射，使相机坐标系和机械臂坐标系融合成一个坐标系，快速地且简便地完成手眼协同标定，且对相机的假设角度和机械臂的安装角度没有苛刻地要求。从而使得本系统能够大幅度提高视觉系统处理相机与拍摄面的空间夹角问题和相机镜头畸变问题的冗余度，从而大大增强本系统的泛化能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种机器人手眼标定方法流程示意图；

图2为本发明的系统结构示意图；

图3为本发明的机械臂坐标系中左右角点的示意图；

图4为本发明的机械臂坐标系中方格长度的示意图；

图5为本发明的机械臂坐标系中左边缘点的示意图；

图6为本发明的机械臂坐标系中右边缘点的示意图；

图7为本发明的机械臂坐标系中插值点的示意图；

图8为本发明的机械臂坐标系中左扩展点的示意图；

图9为本发明的机械臂坐标系中右扩展点的示意图；

图10为本发明的机械臂坐标系中上扩展点的示意图；

图11为本发明的机械臂坐标系中下扩展点的示意图；

图12为本发明的相机坐标系的示意图；

图13为本发明的相机坐标系的角坐标的示意图；

图14为本发明的相机坐标系的扩展角坐标的示意图；

图15为本发明的机械臂坐标系与相机坐标系的建模的示意图；

图16为本发明的神经网络模型的示意图。

1-图像处理装置，2-相机，3-棋盘格，4-机械臂

300-左角边，301-右角边，302-格子边长，303-左边缘点，304-右边缘点

305-插值，306-插值点，307-上扩展点，308-左扩展点，309-右扩展点，

310-下扩展点，311-角坐标，312-扩展角坐标，

5-深度神经网络50-特征输入层，51-隐藏层52-输出层

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1为本申请公开一种机器人手眼标定方法流程示意图，其步骤包括如下：

S1：使用棋盘格作为标定对象；

S2：获取在机械臂坐标系中棋盘格每个交点以及扩展交点的坐标；

S3：使用相机对棋盘格进行拍摄，获取所有交点在该图片中的像素点坐标；

S4：使用非线性模型在机器人坐标系的坐标与像素点坐标之间建立映射关系，获得标定信息。

本申请还提供一种确定手眼标定的装置实施例，包括图像获取模块和手眼标定获取模块，其中，所述图像获取模块用以获取标定对象的图片信息和位置信息；所以手眼标定获取模块根据图像获取模块获得的图片，建立映射关系，获得标定信息。

请参阅图2，基于上述确定手眼标定的装置实施例基础上，相应地，本申请还公开了一种确定手眼标定系统，包括标定板、机器人、相机以及处理装置，其中：

所述标定板为棋盘格，用以作为标定对象；

所述相机安装在机器人上，用以对棋盘格进行拍摄；

在本实施例中，所述棋盘格采取20×14的纸质棋盘格。

拍摄相机根据实际应用的场景需要而选取相应规格的相机即可，对于本申请实施例来说，可以应用在生产流水线上，对于有的生产流水线效率比较高的场合，需要机器人快速抓取产品，可以采用拥有GigE的彩色工业相机，以1/960秒的快门速度对标定对象进行每秒8帧的拍摄，并将图像用以太网的方式传给处理装置，可以满足高速生产的流水线作业使用。

请结合图1以及图2，具体详细说明本申请机器人手眼标定方法的详细实施方法和过程。

S1步骤：

S1：使用棋盘格作为标定对象，棋盘格可以为纸质棋盘格，也可以使用其他材料设计成的棋盘格，作为变化方式，也可以使用二种不同有差异颜色的方格子，间隔形成的格子阵列。

S2步骤：

S2：获取在机械臂坐标系中棋盘格每个交点以及扩展交点的坐标，具体包括：

步骤21：用机械臂获取棋盘格左角边的交点和右角边的交点在机器人坐标系中的坐标,如图3。

步骤22：根据左角和右角的交点的坐标和两点之间的每行格子数计算格子的格子边长,如图4；

步骤23：计算出左边和右边的边缘点坐标，分别包括步骤230和步骤231：

步骤2:30：根据左边交点的坐标和格子的边长计算出左边的边缘点的坐标,如图5；

步骤231：根据右边交点的坐标和格子的边长计算出右边的边缘点的坐标,如图6；

步骤24：根据左边的边缘点、右边的边缘点和格子数计算出每对边缘点之间的插值点的坐标，如图7。

步骤25，获得左边边缘点向左的扩展点的坐标和右边边缘点向右的扩展点的；该步骤具体包括为步骤250和步骤251。

步骤250：根据左边的边缘点和格子的边长计算左边边缘点向左的扩展点的坐标,如图8；

步骤251：根据右边的边缘点和格子的边长计算右边边缘点向右的扩展点的坐标,如图9；

步骤26：获得上边边缘点向上的扩展点的坐标和下边边缘点向下的扩展点的坐标，该步骤具体包括步骤260和步骤261：

步骤260：根据上边的边缘点和格子的边长计算左边边缘点向上的扩展点的坐标,如图10；

步骤261：根据下边的边缘点和格子的边长计算左边边缘点向下的扩展点的坐标,如图11。

S3步骤：

S3：获取棋盘格图片中所有交点在该图片中的像素点坐标，具体包括：

(31)：拍摄棋盘格，获取照片，如图12所示，图12所示的格子已经发生一定程度的变形，这种情况符合实际工业的场景，由于相机的实际安装角度与拍摄面存在一定的空间角度，并且相机使用的镜头对照片会产生畸变干扰，所以实际空间物理坐标点对应照片的像素点会发生非线性的偏移、扭曲、缩放等问题，最终会导致用于标定的棋盘格照片中的所有格子其形状和大小都不一样，即使采用相机垂直拍照，在部分区域也发生一定的变形，而传统的手眼标定算法是严格按照矩阵线性计算的，当格子发生变形时，对图片格子进行图像处理获得各个交点坐标难以修正非线性变化带来的误差，为此，需要针对各种应用场景设计个性化的复杂算法进行修正，才能进行一一映射，其系统的适应性比较差。

为此本申请针对这种情况，采用新的技术方案来实现，在无需计算旋转矩阵和镜头畸变校准的情况下将机械臂标定的特征点的机械臂坐标系的坐标和相机标定出的像素坐标进行非线性的映射，并且由于使用非线性函数使标定点之间也可以拥有更平滑的过度，使相机坐标系和机械臂坐标系融合成一个更接近真实的坐标系，且不会因为使用较大畸变率的镜头或相机安装角度与拍摄平面的空间夹角较大导致融合后的坐标系误差太大而无法使用。

另外，此方案快速地且简便地完成手眼协同标定，且对相机的假设角度和机械臂的安装角度没有苛刻地要求。从而使得本系统能够大幅度提高了视觉系统处理相机与拍摄面的空间夹角问题和相机镜头畸变问题的冗余度，从而大大增强本系统的泛化能力。

(32)：计算角的坐标，本实施例可以采用Vladimir Vezhnevets的棋盘角检测方法计算角的坐标，如图13。

(33)：预测棋盘左右扩展角的坐标，其公式为：

其中，x₀:棋盘格边框的某一个交点的横坐标；x₁:棋盘格边框的某一个交点的纵坐标，y₀:边框向外延伸点的横坐标，y₁：边框向外延伸点的纵坐标，如果x为左侧边框y则为向左延伸的交点的预测点，同理x为右侧边框y则为向右延伸，x为上侧边框y则为向上延伸，x为下侧边框y则为向下延伸的交点的预测点，a、b、c、d则为需要拟合的参数。

S4步骤：

S4：使用非线性模型在机器人坐标系的坐标与像素点坐标之间建立映射关系，获得标定信息，本实施使用深度神经网络算法建立特征点在机器人坐标系的坐标与像素点坐标的映射模型,如图13，由于本实施例使用深度神经网络的非线性模型作为相机坐标系和机器人坐标系的映射函数，不需要计算旋转矩阵，而且通过神经网络的训练，能够对变形的格子进行准确的识别，大大提高了图片理解能力，使用本实施例的技术方案，使得相机中轴不需要与标定物平面垂直，安装的相机从90度最小达到30度，对于在复杂的生产线现场，具有极大的优势，由于自动化流水线的设备多，可以根据实际情况，选择相机安装合适的位置，进而能够简化自动化生产线的设计复杂度。

此外，本申请还提供一种电子设备，包括存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机实现手眼标定功能。

.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例装置中的模块、单元可以根据实际需要进行合并、划分和删减。本领域的技术人员可以将本说明书中描述的不同实施例以及不同实施例的特征进行结合或组合。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(Digital Subscriber Line，DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定义中。如本发明所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种机器人手眼标定方法，其特征在于，包括步骤：

(1)：使用棋盘格作为标定对象；

(3)：获取棋盘格图片中所有交点在该图片中的像素点坐标；

2.如权利要求1所述的机器人手眼标定方法，其特征在于：步骤(4)中的非线性模型为深度神经网络模型。

3.如权利要求1所述的机器人手眼标定方法，其特征在于：步骤(3)包括：

(31)：拍摄棋盘格，获取照片；

(32)：计算角的坐标；

(33)：预测棋盘左右扩展角的坐标，其公式为：

其中，x₀:棋盘格边框的某一个交点的横坐标，x₁:棋盘格边框的某一个交点的纵坐标，y₀:边框向外延伸点的横坐标，y₁：边框向外延伸点的纵坐标，a、b、c、d为需要拟合的参数。

4.如权利要求1所述的机器人手眼标定方法，其特征在于：步骤(2)包括：

(23)、计算出左边和右边的边缘点坐标；

5.一种确定手眼标定的装置，包括图像获取模块和手眼标定获取模块，其特征在于：

6.一种确定手眼标定系统，包括标定板、机器人、相机以及处理装置，其特征在于：

所述标定板为棋盘格，用以作为标定对象；

所述相机安装在机器人上，用以对棋盘格进行拍摄；

7.如权利要求所述的机器人手眼标定系统，其特征在于：所述棋盘格为20×14的纸质棋盘格。

8.如权利要求所述6的机器人手眼标定系统，其特征在于：所述相机采用拥有GigE的彩色工业相机，以1/960秒的快门速度对标定对象进行每秒8帧的拍摄，并将图像用以太网的方式传给处理装置。

9.如权利要求所述6的机器人手眼标定系统，其特征在于：所述处理装置在建立映射关系时，采用深度神经网络进行处理。

10.一种电子设备，包括存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机实现权利要求1至9任一项所述的手眼标定。