CN105278454A - 基于机械臂视觉定位系统的机器人手眼定位算法 - Google Patents

Abstract

本发明公开了一种基于机械臂视觉定位系统的机器人手眼定位算法，用于机械臂视觉定位中的机械臂移动处理。本发明根据相机坐标系统的特征快速建立其与物理坐标系统之间的联系，并且可以根据现场场地的需要建立任意位置的物理坐标系统，获得精确的坐标转换参数。本发明获得的最终物理坐标精确，算法效率高，机械臂以最短路径移动，最终移动位置满足要求指标。

Description

基于机械臂视觉定位系统的机器人手眼定位算法

技术领域

本发明涉及机器人手臂移动领域，具体为一种基基于机械臂视觉定位系统的机器人手眼定位算法。

背景技术

随着现代工业的不断发展，工业生产的智能化、自动化、信息化已是大势所趋，智能机器人手臂的运用领域越来越广泛，市场需求量也逐步扩大。智能机器人手臂自主识别定位技术是一种经常需要被运用的技术。目前在较大尺度范围内视觉识别定位方面还缺乏识别精度和效率均较高的相关方法。其中如何建立相机系统和物理坐标之间的联系，快速准确移动机械臂到目标位置，成为该技术体系的关键之一。

发明内容

本发明的目的是提供一种基于机械臂视觉定位系统的机器人手眼定位算法，以解决采用传统手动移动机械造成的误差大，效率低，资源浪费等多种问题。

为了达到上述目的，本发明所采用的技术方案为：

基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：依次包括相机标定部分和坐标转换部分，所述的相机标定部分为建立相机坐标系统和物理坐标系统之间的联系；所述的坐标转换部分为利用建立好的坐标系统之间的关系，将视觉定位获得的目标点转换为物理坐标，进而转换为机械臂转动的角度信息；具体步骤如下：

(1)相机标定部分包括以下步骤：

1)一次相机标定：一次相机标定的主要目标为获得一次相机坐标系与物理坐标系之间的联系和一次相机所获图片像素单位和物理单位之间的关系，为一次相机粗定位坐标转换提供基础，主要操作为移动机械臂到目标位置且位于一次相机的视野范围内，利用一次相机拍照成像，对图像分析处理获得当前所需的两个参数；

2)二次相机标定：二次相机标定分两步进行，第一步标定二次相机图片中心与目标位置之间的关系；第二步标定为获得二次相机当前坐标系的偏转角和二次相机所获图片像素单位和物理单位之间的关系，为二次相机精确定位坐标转换提供基础，主要操作为利用已知物理坐标的点，多次移动机械臂位置，利用二次相机对该已知点的物理坐标转换构造等式，最终利用优化求解的方法求得当前所需的两个参数；

(2)坐标转换部分包括以下步骤：

1)像素点坐标与物理坐标的转换：由于该系统采用两次相机拍照定位的方式，两个相机拍照分析所得的目标像素点转换为物理坐标，主要利用相机标定部分中获得的参数，对给定像素点坐标按照一定的数学方法转换为实际物理坐标，对于二次相机最终物理坐标的获得，需要建立在一次相机移动位置的基础上；

2)物理坐标转换为机械臂可识别的角度：对转换后的物理坐标，分两种情况分析，即所得的物理坐标位于物理坐标系的第一象限和第二象限两种情况讨论，运用数学中的几何求解方法，按照机械臂最小位移的原则，将最终的物理坐标转换为机械臂可以识别的角度信息。

所述的基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：所述相机标定部分中一次相机标定中，可建立任意的物理坐标系，只要目标机械臂位置位于一次相机的视野范围之内。

所述的基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：所述相机标定部分中二次相机标定中，可利用已知的物理坐标构造多个等式，获得较为精确的像素比和相机偏转角。

机械臂视觉定位系统，其特征在于：包括有两个相机、两个光源、机械臂系统、计算机控制中心以及待检目标；机械臂系统包括有机械臂，机械臂由大臂和小臂两部分组成，分别由大臂和小臂的偏转角控制机械臂移动的位置，计算机控制中心与两个相机、机械臂系统控制连接；所述的两个光源分别与两个相机配对使用，一次相机与光源一固定，待检目标车位于一次相机的视野范围内，二次相机与光源二位于机械臂的末端，随机械臂移动，待检目标车的入料口位于机械臂的移动范围之内。

本发明的优点是：

本发明根据相机坐标系统的特征快速建立其与物理坐标系统之间的联系，并且可以根据现场场地的需要建立任意位置的物理坐标系统，获得精确的坐标转换参数；本发明获得的最终物理坐标精确，算法效率高，机械臂以最短路径移动，最终移动位置满足要求指标。

附图说明

图1为本发明一次相机标定示意图。

图2为本发明二次相机标定示例图。

图3为本发明一次相机坐标转换示例图。

图4为本发明二次相机坐标转换示例图。

图5-1为当机械臂的终点(x，y)位于物理坐标系的第一象限时本发明物理坐标转换为角度信息实例图。

图5-2为当机械臂的终点(x，y)位于物理坐标系的第二象限时本发明物理坐标转换为角度信息实例图。

图6为机械臂视觉定位系统的结构框图。

图7为本发明的原理流程图。

具体实施方式

如图6、7所示，机械臂视觉定位系统，包括有两个工业相机1和2、两个光源3和4、机械臂系统、计算机控制中心5以及待检目标车7；机械臂系统包括有机械臂6，机械臂6由大臂和小臂两部分组成，分别由大臂和小臂的偏转角控制机械臂移动的位置，计算机控制中心5位于控制室内，计算机控制中心5与两个相机1和2、机械臂系统控制连接；所述的两个光源3和4分别与两个相机1和2配对使用，一次相机1与光源3固定，待检目标车7位于一次相机1的视野范围内，二次相机2与光源4位于机械臂6的末端，随机械臂6移动，待检目标7的入料口位于机械臂6的移动范围之内。

基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：依次包括相机标定部分和坐标转换部分，所述的相机标定部分为建立相机坐标系统和物理坐标系统之间的联系；所述的坐标转换部分为利用建立好的坐标系统之间的关系，将视觉定位获得的目标点转换为物理坐标，进而转换为机械臂转动的角度信息；具体步骤如下：

(1)相机标定部分包括以下步骤：

1)一次相机标定：一次相机标定的主要目标为获得一次相机坐标系与物理坐标系之间的联系和一次相机所获图片像素单位和物理单位之间的关系，为一次相机粗定位坐标转换提供基础，主要操作为移动机械臂到目标位置且位于一次相机的视野范围内，利用一次相机拍照成像，对图像分析处理获得当前所需的两个参数；

如图1所示，为一次相机标定示意图。图中矩形方框表示相机的视野范围，1号实线为机械臂停靠的位置(当前机械臂大臂小臂在一条直线上)，设当前位置为物理坐标的90度位置，对应的大臂小臂角度分别为90度，0度。2号坐标系为物理坐标系方向，3号坐标系为相机坐标系，由于一次相机固定，当前物理坐标系下，机械臂当前位置某一点的物理坐标对应的一次相机像素坐标固定。本发明依照此关键点建立一次相机坐标系与物理坐标系之间的联系。标定过程中，本发明对机械臂上的两个指示灯进行拍照分析获得其像素坐标，由于两个指示灯间物理上的距离已知，本发明通过计算指示灯像素上的距离可以获得当前坐标系下每个像素和物理距离上的关系。同理机械臂上的两点已知，可获得物理坐标的y轴的方向，进而可计算出物理坐标方向与相机坐标方向的偏转角。

2)二次相机标定：二次相机标定分两步进行，第一步标定二次相机图片中心与入料口位置之间的关系；第二步标定为获得二次相机当前坐标系的偏转角和二次相机所获图片像素单位和物理单位之间的关系，为二次相机精确定位坐标转换提供基础，主要操作为利用已知物理坐标的点，多次移动机械臂位置，利用二次相机对该已知点的物理坐标转换构造等式，最终利用优化求解的方法求得当前所需的两个参数；

对于标定入料口位置与二次相机视野中心的关系的步骤简述如下，如图2所示：首先将一个辅助圆环置于二次相机的视野中心，该操作可利用图像处理中的找圆操作辅助进行，判断所得圆的圆心是否为图片中心即可；然后移动机械臂，辅助圆环不变，移动机械臂使出料口的投影中心置于圆环中心位置，再次利用图像处理中的找圆操作获得圆心的坐标，此时所得的圆心坐标与二次相机视野中心的关系即为入料口位置与视野中心在像素上的关系。由于二次相机和入料口的安装位置固定，所以二者在像素上的关系固定，一次标定即可。

对于标定二次相机坐标转换为物理坐标的相关参数，主要步骤为：针对某些特殊点，即已知像素坐标和物理坐标的点，利用像素点转换为物理坐标的点的转换公式，用求得物理坐标与已知的物理坐标构造等式，解方程组，即可获得未知转换过程中的相关参数，由于像素点与物理坐标点的对应上可能存在误差，本发明利用取多个关键点的方式，构造一组等式，利用数学上的优化求解的方式，获得最优解。

(2)坐标转换部分包括以下步骤：

1)像素点坐标与物理坐标的转换：由于该系统采用两次相机拍照定位的方式，两个相机拍照分析所得的目标像素点转换为物理坐标，主要利用相机标定部分中获得的参数，对给定像素点坐标按照一定的数学方法转换为实际物理坐标，对于二次相机最终物理坐标的获得，需要建立在一次相机移动位置的基础上；

2)物理坐标转换为机械臂可识别的角度：对转换后的物理坐标，分两种情况分析，即所得的物理坐标位于物理坐标系的第一象限和第二象限两种情况讨论，运用数学中的几何求解方法，按照机械臂最小位移的原则，将最终的物理坐标转换为机械臂可以识别的角度信息。

如图3所示，为一次相机像素点坐标转换为物理坐标的过程。图中矩形方框表示相机的视野范围，2号坐标为当前物理坐标的方向，3号坐标系统为一次相机的坐标方向。由第一幅图可知一次相机的坐标系统与物理坐标系统相反，将相机坐标系统的x轴反向后得到第二幅图所示；由于一次相机固定，一次相机中的像素坐标与物理坐标之间的对应关系固定，选取机械臂90度方向上的终点为参考点，移动相机坐标系统的原点到参考点方向后，如第三幅图所示；由于一次相机的坐标系统与物理坐标系之间存在一个偏转角，该偏转角在一次相机标定的过程中获得，旋转相机坐标系后，如第四幅图所示。最终利用相机坐标系中的像素与物理坐标距离之间的关系，可获得当前点的物理坐标。

转换过程中用的坐标转换方法如下：

1)单纯移轴：设Oxy,、O'x'y'是两个直角坐标系，坐标轴有相同的方向，O'在Oxy中的坐标为(x0,y0)，用(x,y)、(x',y')分别代表点M在坐标系Oxy、O'x'y'中的坐标，在移轴下坐标转换公式是x＝x'+x0，y＝y'+y0。

2)单纯转轴：设新旧坐标系有相同的坐标原点O，由Ox到Ox'的角度为t，坐标转换公式是x＝x'cost-y'sint，y＝x'sint+y'cost。

3)一般的坐标转换公式.

设Oxy、O'x'y'是两个坐标系，O'在Oxy中的坐标为(x0,y0)，由x轴到x'轴的角度为t，坐标转换公式是x＝x'cost-y'sint+x0，y＝x'sint+y'cost+y0。

如图4所示，为二次相机像素点坐标转换为物理坐标的过程。图中，矩形方框表示相机的视野范围，1号实线为机械臂停靠的位置，2号坐标为当前物理坐标的方向，3号坐标系统为一次相机的坐标方向。其转换过程与一次相机转换过程类似。与一次转换不同的地方有：1)由于二次相机为精确定位，需考虑二次相机自身坐标系的矫正工作，其偏转角度在二次相机标定的过程中获得；2)二次相机最终转换为物理坐标的偏转角需要结合机械臂的当前位置求得，即利用机械臂当前大小臂的角度：偏转角为angle_t，大臂角度为angle_A，小臂角度为angle_B，存在以下两种转换关系：

1)当angle_A<90度的时候：

偏转角angle_t＝-(angle_B+(90–angle_A))；

2)当angle_A>90度的时候：

偏转角angle_t＝angle_A–90–angle_B；

如图5所示，为物理坐标转换为角度信息的示意图。设当前大臂长度为arm_A，小臂长度为arm_B。对于物理坐标需要分两种情况讨论分析，

1)如图5-1所示，当前机械臂的终点(x，y)位于物理坐标系的第一象限，A,B分别为大臂小臂的偏转角，其大臂小臂的角度公式如下：

大臂转动角度 $A=\mathrm{ar}ccos\frac{x^2+y^2+(arm\_A^2-arm\_B^2)}{2*arm\_A\sqrt{x^2+y^2}}+\mathrm{ar}ctan\frac{y}{x}$

小臂转动角度 $\begin{array}{c}B=\\ \arccos \frac{x^2+y^2+\left(arm\_A^2-arm\_B^2\right)}{2*arm\_A\sqrt{x^2+y^2}}+\arccos \frac{x^2+y^2-\left(arm\_A^2-arm\_B^2\right)}{2*arm\_B\sqrt{x^2+y^2}}\end{array}$

2)如图5-2所示，当前机械臂的终点(x，y)位于物理坐标系的第二象限。A,B分别为大臂小臂的偏转角，其大臂小臂的角度公式如下：

大臂转动角度 $A=\mathrm{\&pi;}+arccos\frac{x^2+y^2+(arm\_A^2-arm\_B^2)}{2*arm\_A\sqrt{x^2+y^2}}-arctan\frac{y}{\left|x\right|}$

小臂转动角度 $\begin{array}{c}B=\\ \arccos \frac{x^2+y^2+\left(arm\_A^2-arm\_B^2\right)}{2*arm\_A\sqrt{x^2+y^2}}+\arccos \frac{x^2+y^2-\left(arm\_A^2-arm\_B^2\right)}{2*arm\_B\sqrt{x^2+y^2}}\end{array}.$

Claims (4)

1.基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：依次包括相机标定部分和坐标转换部分，所述的相机标定部分为建立相机坐标系统和物理坐标系统之间的联系；所述的坐标转换部分为利用建立好的坐标系统之间的关系，将视觉定位获得的目标点转换为物理坐标，进而转换为机械臂转动的角度信息；具体步骤如下：

（1）相机标定部分包括以下步骤：

1）一次相机标定：一次相机标定的主要目标为获得一次相机坐标系与物理坐标系之间的联系和一次相机所获图片像素单位和物理单位之间的关系，主要操作为移动机械臂到目标位置且位于一次相机的视野范围内，利用一次相机拍照成像，对图像分析处理获得当前所需的两个参数；

2）二次相机标定：二次相机标定分两步进行，第一步标定二次相机图片中心与出目标位置之间的关系；第二步标定为获得二次相机当前坐标系的偏转角和二次相机所获图片像素单位和物理单位之间的关系，主要操作为利用已知物理坐标的点，多次移动机械臂位置，利用二次相机对该已知点的物理坐标转换构造等式，最终利用优化求解的方法求得当前所需的两个参数；

（2）坐标转换部分包括以下步骤：

1）像素点坐标与物理坐标的转换：由于该系统采用两次相机拍照定位的方式，两个相机拍照分析所得的目标像素点转换为物理坐标，主要利用相机标定部分中获得的参数，对给定像素点坐标按照一定的数学方法转换为实际物理坐标，对于二次相机最终物理坐标的获得，需要建立在一次相机移动位置的基础上；

2）物理坐标转换为机械臂可识别的角度：对转换后的物理坐标，分两种情况分析，即所得的物理坐标位于物理坐标系的第一象限和第二象限两种情况讨论，运用数学中的几何求解方法，按照机械臂最小位移的原则，将最终的物理坐标转换为机械臂可以识别的角度信息。

2.根据权利要求1所述的基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：所述相机标定部分中一次相机标定中，可建立任意的物理坐标系，只要目标机械臂位置位于一次相机的视野范围之内。

3.根据权利要求1所述的基于机械臂视觉定位系统的机器人手眼定位算法，其特征在于：所述相机标定部分中二次相机标定中，可利用已知的物理坐标构造多个等式，获得较为精确的像素比和相机偏转角。

4.机械臂视觉定位系统，其特征在于：包括有两个相机、两个光源、机械臂系统、计算机控制中心以及待检目标车；机械臂系统包括有机械臂，机械臂由大臂和小臂两部分组成，分别由大臂和小臂的偏转角控制机械臂移动的位置，计算机控制中心位于控制室内，计算机控制中心与两个相机、机械臂系统控制连接；所述的两个光源分别与两个相机配对使用，一次相机与光源一固定，待检目标位于一次相机的视野范围内，二次相机与光源二位于机械臂的末端，随机械臂移动，待检目标位于机械臂的移动范围之内。