CN112669383A - 流水线跟踪系统的跟踪方法及相机标定方法 - Google Patents

Abstract

本发明公开了流水线跟踪系统的跟踪方法及相机标定方法。流水线跟踪系统的跟踪方法包括：获取相机坐标系与机器人的工件坐标系之间的坐标变换关系；标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿；流水线跟踪动坐标系以工件特征点为原点，并参考机器人的工件坐标系；机器人控制器在实际工作时控制机器人TCP按照标定的操作位姿移动到操作点。本发明操作简单，能够使机器人准确地跟踪流水线上运动的工件。

Description

流水线跟踪系统的跟踪方法及相机标定方法

技术领域

本发明涉及智能化制造技术。

背景技术

3C数码产品(包括计算机产品、通信产品以及消费电子产品等)具有品类多、更新快等特点，目前，3C数码产品的生产线智能化、柔性化不足的缺点仍然制约着该行业的发展。

此外，3C数码产品的智能化生产线一般都需要配备传送带，固定工位上会配备工业机器人进行检测、加工、装配等工作，传送带上的工件一般借助传感器进行定位，在实际运行前需要提前将传感器与机器人进行坐标系校准。目前该校准工作比较繁琐，当生产线需要进行更换产品或相应零部件时都需要进行重新校准，严重影响了生产效率。

发明内容

本发明所要解决的技术问题在于提供一种流水线跟踪系统的跟踪方法，其操作简单，并能够使机器人准确地跟踪流水线上运动的工件。

本发明所要解决的另一技术问题在于提供一种流水线跟踪系统的相机标定方法，其无需使用专门的标靶就能确定相机坐标系与机器人的工件坐标系之间的坐标变换关系，操作简单。

根据本发明实施例的一种流水线跟踪系统的跟踪方法，流水线跟踪系统包括传送部件、检测传感器、编码器、相机和机器人控制器，检测传感器用于检测传送部件上的工件，在检测到传送部件上的工件时向机器人控制器发送检测信号；编码器用于实时检测传送部件的位移，并将测量结果发送给机器人控制器；机器人控制器与相机通信连接，用于控制相机对传送部件上的工件拍照，并接收相机传送的拍照结果；流水线跟踪系统的跟踪方法包括：

获取相机坐标系与机器人的工件坐标系之间的坐标变换关系；

标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿；流水线跟踪动坐标系以工件特征点为原点，并参考所述机器人的工件坐标系；

机器人控制器在实际工作时控制机器人TCP按照标定的操作位姿移动到所述操作点。

根据本发明实施例的流水线跟踪系统的相机标定方法，流水线跟踪系统包括传送部件、编码器、相机和机器人控制器，编码器用于实时检测传送部件的位移，并将测量结果发送给机器人控制器；机器人控制器与相机通信连接，用于控制相机对传送部件上的工件拍照，并接收相机传送的拍照结果；流水线跟踪系统的标定方法包括：

标定机器人的工件坐标系；

示教机器人夹持辅助特征物品运动到相机的视野范围内两个不同的标定点；

机器人控制器根据两个标定点在工件坐标系下的位姿按照预先设定的运算规则计算出其余至少七个标定点在工件坐标系下的位姿，并改变任意一个标定点的姿态两次，得到两个新的标定点；

机器人控制器控制机器人夹持辅助特征物品逐一运动到上述至少十一个标定点，在每个标定点触发所述相机拍照，获得机器人在至少十一个标定点的位姿信息、以及在至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿；

机器人控制器根据辅助特征物品的特征点在工件坐标系下的坐标、机器人在至少十一个标定点的位姿、以及在至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿计算出相机坐标系与工件坐标系之间的坐标变换关系。

本发明至少具有以下优点：

1、本实施例的流水线跟踪系统的跟踪方法基于视觉检测和机器人实现对流水线上的运动工件的准确跟踪，且操作简单，提高了3C数码产品制造产线的智能化程度，解决了产品更换带来产线调整时间长的问题；

2、3C数码产品的生产线中，产品可能经常切换，机器人、相机可能中间会有更替，有的作业需要吸盘，不太方便示教准确加工工具。本实施例的相机标定方法中在示教两个标定点后，机器人控制器能自动计算出其余至少九个标定点，并使机器人自动运行至少十一个标定点，利用至少十一个标定点的位姿信息以及对应的相机拍照信息计算出相机坐标系与工件坐标系之间的坐标变换关系，整个标定过程除了示教基准点外无需人工参与，操作十分简便；

3、传统的标定方式需要标定一准确工具，相机输出数据信息作为机器人目标位姿进行运动，这样对工具的准确性有较高要求，而3C作业工具在很多场景下为吸盘样式，示教一个准确工具费时费力，本实施例将相机输出信息作用到机器人的工件坐标系，用户不用示教工具，工件到达视野范围后，用户只需要点动机器人到合适工作位姿，示教记录点即可。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一实施例的流水线跟踪系统的原理图。

图2示出了根据本发明一实施例的流水线跟踪系统的跟踪方法的流程示意图。

图3示出了根据本发明一实施例的标定点的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

图1示出了根据本发明一实施例的流水线跟踪系统的原理图。请参考图1，根据本发明实施例的一种流水线跟踪系统包括传送部件1、检测传感器2、编码器3、相机4、机器人控制器51以及由机器人控制器51控制的机器人52(也即机器人本体)。

传送部件1用于运送工件。在本实施例中，传送部件1为传送带。

检测传感器2用于检测传送部件1上的工件(即工件流过检测)，在检测到传送部件1上的工件时向机器人控制器51发送检测信号，以使得机器人控制器51触发相机拍照、记录编码器数据信息。检测传感器2可以是接近传感器、光电传感器等。

编码器3用于实时检测传送部件1的位移，并将测量结果发送给机器人控制器51。机器人通过编码器数据记录传送带具体位置。在本实施例中，编码器3安装在传送带的驱动电机上。

相机4用于图像数据采集、计算识别，并将识别到的特征点位姿(像素坐标系，形式为XYC)发送给机器人控制器51。

机器人控制器51与相机4通信连接，用于控制相机51对传送部件1上的工件拍照，并接收相机4传送的拍照结果，其根据编码器3的数据信息可以完成自动运行时传送带的跟踪工作。

图2示出了根据本发明一实施例的流水线跟踪系统的跟踪方法的流程示意图。结合图2所示，流水线跟踪系统的跟踪方法包括以下步骤：

A、传送部件参数标定：通过移动传送部件1，并使机器人52两次示教传送部件1上的同一个特征点，获取编码器3的测量值与传送部件1的实际位移距离之间的换算(缩放)关系；

B、获取相机坐标系与机器人的工件坐标系之间的坐标变换关系，具体包括：

B-1、标定机器人的工件坐标系；可通过三点法完成标定，工件坐标系X轴、Y轴的平面与传送部件1的传送平面平行，机器人的工件坐标系的z轴垂直于传送部件的传送平面，机器人的工件坐标系的y轴为传送部件1的传送正方向(y轴平行于传送部件的传送方向)；

B-2、示教机器人52夹持辅助特征物品运动到相机4的视野范围内两个不同的标定点，该两个标定点为图3中所示的pos1、pos2；标定点的参考坐标系为机器人的工件坐标系，为了保证精度，两个标定点pos1、pos2尽量分散并且在相机视野的对角位置；

B-3、机器人控制器51根据两个标定点pos1、pos2在工件坐标系下的位姿在工件坐标系的XY方向等额插值自动计算出3*3矩阵，对应九个标定点(九个标定点的姿态一样)，如图3所示。基于3*3矩阵的中间标定点修改其姿态两次(在本实施例中围绕z轴正时针旋转θ1角和逆时针旋转θ2角，θ1角和θ2角大于5°)，又形成两个标定点，从而总共获得十一个标定点。在其它的实施方式中，也可以根据两个标定点pos1、pos2自动计算出4*4矩阵等，随后按照上述方式再形成两个标定点，从而总共获得十八个标定点；

B-4、机器人控制器51控制机器人52夹持辅助特征物品逐一运动到上述十一个标定点，在每个标定点触发相机4拍照，获得机器人在十一个标定点的位姿信息、以及在十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿；辅助特征物品的特征点可以是凸点、螺钉和凹槽等，相机4可事先设定特点模板，以实现特征点识别；

B-5、机器人控制器51根据辅助特征物品的特征点在工件坐标系下的坐标、机器人52在十一个标定点的位姿、以及在至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿计算出相机坐标系与工件坐标系之间的坐标变换关系，将计算出的变换关系保存于机器人控制器51。相机坐标系与机器人的工件坐标系之间的绝对位姿关系(包括姿态信息)为：

在上方的式子中，u、v表示特征点在相机坐标系中的位姿(相机坐标系下的像素值)，x、y表示特征点在机器人的工件坐标系下的位姿，包含了h11～h33的矩阵表示相机坐标系与工件坐标系之间的映射关系矩阵。下方的式子表示映射关系矩阵是如何获得的。在下方的式子中，N表示标定点的个数，此处N等于9。2N×9表示矩阵的行数为2N，列数为9。下方式子最左侧的矩阵中的最上方两行的数对应于一个标定点，对应其余标定点的数被省略了。

姿态映射关系：通过修改姿态所获得的两个标定点，假设这两个标定点的姿态C值分别为rc1、rc2，对应两个标定点相机输出的姿态C值为uc1、uc2，输出方向标记为direction，计算方式为如果(rc1-rc2)/(uc1-uc2)小于0，direction取值-1，如果大于0，direction取值1。

相机输出的位姿uvc转换为机器人工件坐标系下的位姿xyzabc的方法为：利用h11～h33映射矩阵和相机输出的u、v转换为机器人工件坐标系下的x、y信息，机器人工件坐标系下的z信息的取值为标定点的z值，机器人工件坐标系下的a、b取值为0，机器人工件坐标系下的c取值为相机输出的c值乘以direction。

C、标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿；流水线跟踪动坐标系以工件特征点为原点，并参考所述机器人的工件坐标系；标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿具体包括：

C-1、将一个工件放置到已经开动的传送部件1上；

C-2、检测传感器2检测到传送部件1上的工件时，向机器人控制器51发送检测信号，机器人控制器51接收到检测信号时触发相机4拍照并记录此时的编码器测量值，相机4将工件特征点在相机坐标系下的位姿发送给机器人控制器；工件特征点可以是工件上的凸点、螺钉、凹槽、孔等，相机4可事先设定工件特征点模板；

C-3、在工件移动到机器人52的可达范围内时，手动控制传送部件1停止传送，机器人控制器51记录传送部件1停止时的编码器测量值；

C-4、示教机器人TCP移动到操作点；操作点是机器人实际处理工件的点位，其可以是抓取点、吸取点、焊接点等；

C-5、机器人控制器51根据工件特征点在相机坐标系下的位姿、相机坐标系与机器人的工件坐标系之间的坐标变换关系计算出工件特征点在机器人的工件坐标系下的位姿，将工件特征点在机器人的工件坐标系下的位姿作为流水线跟踪动坐标系的初始位姿rev1，将两个编码器测量值之差乘以步骤A得到的缩放关系计算出传送部件的位移距离S1，基于位移距离S1对流水线跟踪动坐标系的初始位姿rev1进行平移后得到流水线动坐标系的当前位姿rev2，计算出机器人TCP位于操作点时在流水线跟踪动坐标系的当前位姿rev2下的位姿，作为机器人TCP的操作位姿；

C-6、机器人控制器51保存机器人TCP的操作位姿；

D、机器人控制器51在实际工作时控制机器人TCP按照标定的操作位姿移动到所述操作点，具体包括：

D-1、检测传感器2检测到传送部件1上的工件时，向机器人控制器51发送检测信号，机器人控制器51接收到检测信号时触发相机4拍照并记录此时的编码器测量值，相机4将工件特征点(该工件特征点与步骤B中所述的工件特征点是同一个特征点)在相机坐标系下的位姿发送给机器人控制器51；

D-2、机器人控制器51根据工件特征点在相机坐标系下的位姿、相机坐标系与机器人的工件坐标系之间的坐标变换关系计算出工件特征点在机器人的工件坐标系下的位姿，将工件特征点在机器人的工件坐标系下的位姿作为流水线跟踪动坐标系的初始位姿rev1’；

D-3、机器人控制器51根据编码器3的测量值实时修正流水线跟踪动坐标系的位姿，在工件移动到机器人的可达范围内时利用机器人的流水线跟踪功能控制机器人TCP按照标定的操作位姿移动到操作点，机器人的流水线跟踪功能为机器人自带的功能，属于现有技术。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种流水线跟踪系统的跟踪方法，其特征在于，所述流水线跟踪系统包括传送部件、检测传感器、编码器、相机和机器人控制器，所述检测传感器用于检测所述传送部件上的工件，在检测到传送部件上的工件时向所述机器人控制器发送检测信号；所述编码器用于实时检测传送部件的位移，并将测量结果发送给所述机器人控制器；所述机器人控制器与所述相机通信连接，用于控制所述相机对传送部件上的工件拍照，并接收相机传送的拍照结果；所述流水线跟踪系统的跟踪方法包括：

获取相机坐标系与机器人的工件坐标系之间的坐标变换关系；

标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿；所述流水线跟踪动坐标系以工件特征点为原点，并参考所述机器人的工件坐标系；

机器人控制器在实际工作时控制机器人TCP按照标定的操作位姿移动到所述操作点。

2.如权利要求1所述的流水线跟踪系统的跟踪方法，其特征在于，在标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿之前，获取编码器的测量值与传送部件的实际位移距离之间的换算关系。

3.根据权利要求1或2所述的流水线跟踪系统的跟踪方法，其特征在于，获取相机坐标系与机器人的工件坐标系之间的坐标变换关系包括以下步骤：

标定机器人的工件坐标系；

示教机器人夹持辅助特征物品运动到所述相机的视野范围内两个不同的标定点；

机器人控制器根据两个所述标定点在所述工件坐标系下的位姿按照预先设定的运算规则计算出其余至少七个标定点在所述工件坐标系下的位姿，并改变任意一个标定点的姿态两次，得到两个新的标定点；

机器人控制器控制所述机器人夹持辅助特征物品逐一运动到上述至少十一个标定点，在每个标定点触发所述相机拍照，获得机器人在所述至少十一个标定点的位姿信息、以及在所述至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿；

机器人控制器根据辅助特征物品的特征点在所述工件坐标系下的坐标、机器人在所述至少十一个标定点的位姿、以及在所述至少十一个标定点处所述特征点在相机坐标系下的位姿计算出相机坐标系与工件坐标系之间的坐标变换关系。

4.根据权利要求3所述的流水线跟踪系统的跟踪方法，其特征在于，机器人控制器根据两个所述标定点在所述工件坐标系下的位姿按照组成n*n矩阵的方式计算出其余至少七个标定点在所述工件坐标系下的位姿，n≥3。

5.根据权利要求3所述的流水线跟踪系统的跟踪方法，其特征在于，所述机器人的工件坐标系的y轴平行于所述传送部件的传送方向。

6.根据权利要求1所述的流水线跟踪系统的跟踪方法，其特征在于，标定机器人TCP位于操作点时在流水线跟踪动坐标系下的操作位姿包括以下步骤：

将一个工件放置到已经开动的传送部件上；

检测传感器检测到传送部件上的工件时，向机器人控制器发送检测信号，机器人控制器接收到所述检测信号时触发相机拍照并记录此时的编码器测量值，相机将工件特征点在相机坐标系下的位姿发送给机器人控制器；

在工件移动到机器人的可达范围内时，手动控制传送部件停止传送，机器人控制器记录传送部件停止时的编码器测量值；

示教机器人TCP移动到操作点；

机器人控制器根据工件特征点在相机坐标系下的位姿、相机坐标系与机器人的工件坐标系之间的坐标变换关系计算出工件特征点在机器人的工件坐标系下的位姿，将工件特征点在机器人的工件坐标系下的位姿作为流水线跟踪动坐标系的初始位姿rev1，根据两个编码器测量值之差计算出传送部件的位移距离S1，基于位移距离S1对流水线跟踪动坐标系的初始位姿rev1进行平移后得到流水线动坐标系的当前位姿rev2，计算出机器人TCP位于操作点时在流水线跟踪动坐标系的当前位姿rev2下的位姿，作为机器人TCP的操作位姿；

机器人控制器保存机器人TCP的操作位姿。

7.根据权利要求6所述的流水线跟踪系统的跟踪方法，其特征在于，机器人控制器在实际工作时控制机器人TCP按照标定的操作位姿移动到所述操作点包括：

检测传感器检测到传送部件上的工件时，向机器人控制器发送检测信号，机器人控制器接收到所述检测信号时触发相机拍照并记录此时的编码器测量值，相机将工件特征点在相机坐标系下的位姿发送给机器人控制器；

机器人控制器根据工件特征点在相机坐标系下的位姿、相机坐标系与机器人的工件坐标系之间的坐标变换关系计算出工件特征点在机器人的工件坐标系下的位姿，将工件特征点在机器人的工件坐标系下的位姿作为流水线跟踪动坐标系的初始位姿rev1’；

机器人控制器根据编码器的测量值实时修正流水线跟踪动坐标系的位姿，在工件移动到机器人的可达范围内时利用机器人的流水线跟踪功能控制机器人TCP按照标定的操作位姿移动到操作点。

8.一种流水线跟踪系统的相机标定方法，其特征在于，所述流水线跟踪系统包括传送部件、编码器、相机和机器人控制器，所述编码器用于实时检测传送部件的位移，并将测量结果发送给所述机器人控制器；所述机器人控制器与所述相机通信连接，用于控制所述相机对传送部件上的工件拍照，并接收相机传送的拍照结果；所述流水线跟踪系统的标定方法包括：

标定机器人的工件坐标系；

示教机器人夹持辅助特征物品运动到所述相机的视野范围内两个不同的标定点；

机器人控制器根据两个所述标定点在所述工件坐标系下的位姿按照预先设定的运算规则计算出其余至少七个标定点在所述工件坐标系下的位姿，并改变任意一个标定点的姿态两次，得到两个新的标定点；

机器人控制器控制所述机器人夹持辅助特征物品逐一运动到上述至少十一个标定点，在每个标定点触发所述相机拍照，获得机器人在所述至少十一个标定点的位姿信息、以及在所述至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿；

机器人控制器根据辅助特征物品的特征点在所述工件坐标系下的坐标、机器人在所述至少十一个标定点的位姿、以及在所述至少十一个标定点处辅助特征物品的特征点在相机坐标系下的位姿计算出相机坐标系与工件坐标系之间的坐标变换关系。

9.如权利要求8所述的相机标定方法，其特征在于，机器人控制器根据两个所述标定点在所述工件坐标系下的位姿按照组成n*n矩阵的方式计算出其余至少七个标定点在所述工件坐标系下的位姿，n≥3。

10.如权利要求8所述的相机标定方法，其特征在于，所述机器人的工件坐标系的y轴平行于所述传送部件的传送方向。

Images