CN111823222A - 单目相机多视场视觉引导装置及引导方法 - Google Patents

Abstract

本发明涉及一种单目相机多视场视觉引导装置及引导方法，包括以下步骤：1、获取相机与机器人基坐标系之间的位姿关系；2、旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；3、求解平面镜中虚拟相机与机器人基坐标系之间的位姿关系。本发明在被测产品的平行面固定单个相机，在相机正前方固定一块平面镜，平面镜通过机构(如电机)旋转，该机构能够输出旋转角度；通过旋转平面镜，使平行于产品的相机在平面镜中的虚拟相机能够拍摄到机器人两侧的产品，标定出虚拟相机与机器人之间的位姿关系，即可对平行于相机的产品操作，适用于多个被测产品分布在机器人两侧的场景。

Description

单目相机多视场视觉引导装置及引导方法

技术领域

本发明涉及工业机器人领域，特别涉及一种单目相机多视场视觉引导装置及引导方法。

背景技术

随着劳动力成本的不断提高，工业自动化程度越来越高，工业机器人和工业相机的使用也越来越多，为此，基于视觉的机器人视觉引导技术得到越来越多的研究应用。其中，视觉引导中主要应用场景是用相机拍摄被测产品，然后根据相机与机器人之间的手眼关系，把被测产品的坐标转换到机器人坐标系中，最后控制机器人运动来操作被测产品。然而，对于某些场景，比如被测产品位于机器人两侧，被测面垂直于地面时，按照常规方法就需要在被测产品中间固定两个相机来操作位于机器人两侧的产品；若现实情况不允许相机在被测产品中间固定，则无法使用。目前市面上大多采用多台相机进行视觉引导或多个平面镜进行视觉引导。

发明内容

本发明的目的是克服现有技术存在的缺陷，提供一种通过在相机前放置一块平面镜，改变平面镜的姿态即可使相机拍摄到不同的视野范围的单目相机多视场视觉引导装置及引导方法。

实现本发明目的的技术方案是：一种单目相机多视场视觉引导装置，包括依次排布的一个相机、一个平面镜和一台六轴机器人；该平面镜安装在该相机正前方，且该平面镜依靠驱动机构驱动进行旋转，平面镜中的虚拟相机是在以电机轴为圆心，以电机轴到相机的距离为半径的圆上，根据被定位产品的位置来布置相机和平面镜；该相机通过平面镜能够监测多个场景，并能够定位多个场景中的产品；该六轴机器人的上端安装有机器人末端执行器；该机器人末端执行器上固定安装有标定板。

一种单目相机多视场视觉引导装置的引导方法，包括以下步骤：

S1、获取并标定出相机与机器人基基座标系之间的位姿关系

S2、由于被测产品不在或不全在相机视野范围内，为了改变相机的视野范围，在相机正前方放置一块平面镜，且该平面镜依靠驱动机构驱动进行旋转，利用平面镜的反射原理将在相机视野外的被测产品转换到相机视野内；旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；

S3、求解平面镜旋转任意角度时，平面镜中虚拟相机与机器人基坐标系之间的位姿关系。

上述技术方案中步骤S1具体为：

S101、采用传统eye-to-hand手眼标定算法，移动机器人至机器人末端执行器上的标定板在相机视野范围内，通过相机拍摄机器人末端执行器上的标定板图像，然后通过机器人控制器记录此时的机器人末端执行器的位姿，并转换成机器人基座标系与机器人末端执行器坐标系之间的位姿

S102、对拍摄到的标定板图像进行标定，得到标定板在相机坐标系的姿态

S103、改变机器人姿态，重复步骤S101和步骤S102，控制机器人改变三次姿态后，通过线性求解即可得到相机与机器人基坐标系之间的位姿关系

上述技术方案中所述步骤S103中，改变机器人姿态，重复步骤(1)和步骤(2)，则有以下公式：

对公式进行整理成A*X＝X*B形式，其中，X是未知量，代表机器人基座标与相机之间的位姿关系；

A是已知量，代表末端执行器到机器人基座标的位姿关系；

B是已知量，代表标定板到相机的位姿关系；

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器的位姿关系；

表示在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置时标定板在相机坐标系{C}的姿态；

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器的位姿关系；

*表O示T在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置1时标定板在相机坐标系{C}的姿态；通过三组非线性方程即可线性求解得到相机与机器人基坐标系之间的位姿关系

上述技术方案中步骤S2具体为：

S201、旋转平面镜a角度后，平面镜的法向量可以通过建立平面镜法向量的坐标系来求解，即平面镜旋转任意三个角度，即可求解出平面镜的三个法向量和基于相机坐标系的三个距离值；根据三个法向量建立坐标系，在该坐标系中求解出平面镜的任意方向量，并根据旋转角度a，求解出平面镜在相机坐标系中的平移向量；

S202、旋转平面镜a角度后，根据已求出的平面镜的法向量及平面镜在相机坐标系中的平移向量，即可求解出相机与平面镜中虚拟相机之间的位姿关系。

上述技术方案中所述步骤S201中，平面镜法向量的求解步骤如下：

(1)控制六轴机器人移动，使机器人末端执行器上的标定板移动至相机附近，并且相机可以通过平面镜拍摄到标定板图像；

(2)固定六轴机器人不动，相机拍摄平面镜中的标定板虚像；

(3)通过电机旋转平面镜，并能保证相机通过平面镜能拍摄到标定板图像，然后相机拍摄平面镜中的标定板虚像；

(4)重复步骤(3)，获取平面镜中的标定板虚像；

(5)标定三幅标定板图像，确定标定板图像在相机坐标系的位姿，即参数A_j,A_j',b_j,b_j',(j∈{1,2,3})；

(6)计算A_jA_j' ^T的单位特征值所对应的特征向量m_jj'，根据特征向量的叉积可以计算法向量n₁,n₂,n₃，其中

(7)由

计算标定板在相机坐标系的旋转矩阵

(8)由b＝(I-2nn^T)^CT_O+2Ln构建线性方程组，即可求解出标定板在相机坐标系的偏移矩阵^CT_O以及平面镜到相机的距离L₁,L₂,L₃；

上述技术方案中所述步骤S202中，平面镜法向量的求解步骤如下：

控制电机逆时针旋转a角度，使平面镜2的姿态改变至平面镜，则平面镜中的虚相机在相机1坐标系的姿态的求解步骤如下：

1)通过n₁,n₂,n₃建立坐标系o₁-n₁n₄n₅，其中n₄＝n₁×n₂，n₅＝n₃×n₄；

2)坐标系o₁-n₁n₄n₅在相机坐标系的姿态为

3)假设初始平面镜的姿态位于n₁，逆时针旋转a角度后位于n₆，则旋转a角度后，逆时针旋转a角度后的平面镜法向量n₆在相机坐标系中的法向量为

4)假设初始平面镜在相机坐标系的距离为L，则旋转a角度后的平面镜到相机坐标系的距离为L'＝Lcos(a)；

5)虚拟相机与相机之间的关系为

其中

即可求出。

上述技术方案中所述步骤S3具体为：控制电机逆时针旋转a角度后，虚拟相机与机器人之间的位姿关系为：

采用上述技术方案后，本发明具有以下积极的效果：

(1)本发明在被测产品的平行面固定单个相机，在相机正前方固定一块平面镜，平面镜通过机构(如电机)旋转，该机构能够输出旋转角度；通过旋转平面镜，使平行于产品的相机在平面镜中的虚拟相机能够拍摄到机器人两侧的产品，即可对平行于相机的产品进行检测等操作，适用于多个被检测产品分布在机器人两侧的场景。

(2)本发明还能够标定出虚拟相机与机器人之间的位姿关系，即可对平行于相机的产品进行定位等操作，适用于多个被定位产品分布在机器人两侧的场景。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明的原理图；

附图中标号为：1、相机，1_1、平面镜中的虚拟相机，2、平面镜，2_1、旋转后的平面镜，3、电机或其他可以改变平面镜姿态的结构，4_1、被测产品，4_2、被测产品，5、标定板，6、机器人末端执行器，7、六轴机器人；相机坐标系为{C}，虚拟相机坐标系为

机器人基坐标系为{B}，标定板坐标系为{O}，机器人末端执行器坐标系为{E}，平面镜法向量为n，平面镜距离相机L。

具体实施方式

(实施例1)

如图1所示，本发明通过在相机1前放置一块平面镜2，改变平面镜2的姿态即可使相机1拍摄到不同的视野范围。该标定方法主要分为三部分：1、获取相机1与机器人基坐标系{B}之间的位姿关系；2、旋转平面镜2至任意姿态时，获取相机1与平面镜中虚拟相机1_1坐标系

的位姿关系；3、求解平面镜中虚拟相机1_1与机器人基坐标系{B}之间的位姿关系。具体步骤如下：

获取相机1与机器人基坐标系{B}之间的位姿关系：采用eye-to-hand手眼标定方法，标定出相机坐标系{C}与机器人基座标系{B}之间的位姿关系

标定步骤如下：

(1)移动六轴机器人7至机器人末端执行器6上的标定板5在相机3视野范围内，拍摄标定板5图像，然后通过六轴机器人7的控制器记录此时的机器人末端执行器6的位姿，并转换成机器人基座标系{B}与机器人末端执行器坐标系{E}之间的位姿

(2)对拍摄到的标定板5图像进行标定，得到标定板5在相机1坐标系的姿态

(3)改变六轴机器人7姿态，重复步骤(1)和步骤(2)，则有以下公式：

对公式进行整理成A*X＝X*B形式，即通过三次改变机器人姿态，即最后求解的是三组公式中的A1*X＝X*B1、A2*X＝X*B2、A3*X＝X*B3中的X；

其中，X是未知量，代表机器人基座标与相机1之间的位姿关系；

A是已知量，代表末端执行器6到机器人基座标的位姿关系；

B是已知量，代表标定板5到相机1的位姿关系；通过三组非线性方程即可线性求解得到相机1与机器人基坐标系{B}之间的位姿关系

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器6的位姿关系；

表示在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置1时标定板5在相机坐标系{C}的姿态；

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器6的位姿关系；

表示在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置1时标定板5在相机坐标系{C}的姿态。

旋转平面镜2至任意姿态时，获取相机1与平面镜2中虚拟相机的位姿关系：该过程分为两步，(1)旋转平面镜2至任意姿态时，平面镜法向量n的求解；(2)旋转平面镜2至任意姿态时，如图1中2_1位置，相机1与平面镜2中虚拟相机1_1的位姿关系(如图1中1_1位置)的求解。

旋转平面镜2至任意姿态时，平面镜法向量n的求解步骤如下：

(1)控制六轴机器人7移动，使机器人7末端执行器上的标定板5移动至相机1附近，并且相机1可以通过平面镜2拍摄到标定板5图像；

(2)固定六轴机器人7不动，相机拍摄平面镜2中的标定板5虚像；

(3)通过电机旋转平面镜2，并能保证相机1通过平面镜2能拍摄到标定板5图像，即如果相机通过平面镜看不到标定板5图像，就通过电机驱动旋转驱动机构旋转平面镜，直到看到为止；然后相机拍摄平面镜2中的标定板5虚像；

(4)重复步骤3，获取平面镜2中的标定板5虚像；

(5)标定三幅标定板5图像，确定标定板5图像在相机坐标系{C}的位姿，即参数A_j,A_j',b_j,b_j',(j∈{1,2,3})；

(6)计算A_jA_j' ^T的单位特征值所对应的特征向量m_jj'，根据特征向量的叉积可以计算法向量n₁,n₂,n₃，其中

(7)由

计算标定板在相机坐标系{C}的旋转矩阵

(8)由b＝(I-2nn^T)^CT_O+2Ln构建线性方程组，即可求解出标定板5在相机坐标系{C}的偏移矩阵^CT_O以及平面镜2到相机1的距离L₁,L₂,L₃；

旋转平面镜至任意姿态时，平面镜法向量n的求解步骤如下：

控制电机逆时针旋转a角度，使平面镜2的姿态改变至平面镜，则平面镜中的虚相机在相机1坐标系的姿态的求解步骤如下：

1)记标定板坐标系为{O}，通过n₁,n₂,n₃建立坐标系o₁-n₁n₄n₅，其中n₄＝n₁×n₂，n₅＝n₃×n₄；

2)坐标系o₁-n₁n₄n₅在相机坐标系{C}的姿态为

3)假设初始平面镜2的姿态位于n₁，逆时针旋转a角度后位于n₆，则旋转a角度后，逆时针旋转a角度后的平面镜法向量n₆在相机坐标系{C}中的法向量为

4)假设初始平面2镜在相机坐标系{C}的距离为L，则旋转a角度后的平面镜到相机坐标系{C}的距离为L'＝Lcos(a)；

5)虚拟相机1_1与相机1之间的关系为

其中

即可求出；

控制电机逆时针旋转a角度后，虚拟相机1_1与机器人7之间的位姿关系为：

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种单目相机多视场视觉引导装置，其特征在于，包括依次排布的一个相机、一个平面镜和一台六轴机器人；该平面镜安装在该相机正前方，且该平面镜依靠驱动机构驱动进行旋转，平面镜中的虚拟相机是在以电机轴为圆心，以电机轴到相机的距离为半径的圆上，根据被定位产品的位置来布置相机和平面镜；该相机通过平面镜能够监测多个场景，并能够定位多个场景中的产品；该六轴机器人的上端安装有机器人末端执行器；该机器人末端执行器上固定安装有标定板。

2.一种如权利要求1所述的单目相机多视场视觉引导装置的引导方法，其特征在于，包括以下步骤：

S1、获取并标定出相机与机器人基基座标系之间的位姿关系

S2、由于被测产品不在或不全在相机视野范围内，为了改变相机的视野范围，在相机正前方放置一块平面镜，且该平面镜依靠驱动机构驱动进行旋转，利用平面镜的反射原理将在相机视野外的被测产品转换到相机视野内；旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；

S3、求解平面镜旋转任意角度时，平面镜中虚拟相机与机器人基坐标系之间的位姿关系。

3.如权利要求2所述的单目相机多视场视觉引导装置的引导方法，其特征在于，步骤S1具体为：

S101、采用传统eye-to-hand手眼标定算法，移动机器人至机器人末端执行器上的标定板在相机视野范围内，通过相机拍摄机器人末端执行器上的标定板图像，然后通过机器人控制器记录此时的机器人末端执行器的位姿，并转换成机器人基座标系与机器人末端执行器坐标系之间的位姿

S102、对拍摄到的标定板图像进行标定，得到标定板在相机坐标系的姿态

S103、改变机器人姿态，重复步骤S101和步骤S102，控制机器人改变三次姿态后，通过线性求解即可得到相机与机器人基坐标系之间的位姿关系

4.如权利要求3所述的单目相机多视场视觉引导装置的引导方法，其特征在于，所述步骤S103中，改变机器人姿态，重复步骤(1)和步骤(2)，则有以下公式：

对公式进行整理成A*X＝X*B形式，其中，X是未知量，代表机器人基座标与相机之间的位姿关系；A是已知量，代表末端执行器到机器人基座标的位姿关系；B是已知量，代表标定板到相机的位姿关系；

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器的位姿关系；

*表示在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置1时标定板在相机坐标系{C}的姿态；

表示在位置1时机器人基坐标系{B}相对于机器人末端执行器的位姿关系；

表示在位置1时相机坐标系{C}相对于机器人基坐标系{B}的位姿关系；

表示在位置1时标定板在相机坐标系{C}的姿态；通过三组非线性方程即可线性求解得到相机与机器人基坐标系之间的位姿关系

5.如权利要求2所述的单目相机多视场视觉引导装置的引导方法，其特征在于，步骤S2具体为：

S201、旋转平面镜a角度后，平面镜的法向量可以通过建立平面镜法向量的坐标系来求解，即平面镜旋转任意三个角度，即可求解出平面镜的三个法向量和基于相机坐标系的三个距离值；根据三个法向量建立坐标系，在该坐标系中求解出平面镜的任意方向量，并根据旋转角度a，求解出平面镜在相机坐标系中的平移向量；

S202、旋转平面镜a角度后，根据已求出的平面镜的法向量及平面镜在相机坐标系中的平移向量，即可求解出相机与平面镜中虚拟相机之间的位姿关系。

6.如权利要求5所述的单目相机多视场视觉引导方法，其特征在于，所述步骤S201中，平面镜法向量的求解步骤如下：

(1)控制六轴机器人移动，使机器人末端执行器上的标定板移动至相机附近，并且相机可以通过平面镜拍摄到标定板图像；

(2)固定六轴机器人不动，相机拍摄平面镜中的标定板虚像；

(3)通过电机旋转平面镜，并能保证相机通过平面镜能拍摄到标定板图像，然后相机拍摄平面镜中的标定板虚像；

(4)重复步骤(3)，获取平面镜中的标定板虚像；

(5)标定三幅标定板图像，确定标定板图像在相机坐标系的位姿，即参数A_j,A_j',b_j,b_j',(j∈{1,2,3})；

(6)计算A_jA_j' ^T的单位特征值所对应的特征向量m_jj'，根据特征向量的叉积可以计算法向量n₁,n₂,n₃，其中

(7)由

计算标定板在相机坐标系的旋转矩阵

(8)由b＝(I-2nn^T)^CT_O+2Ln构建线性方程组，即可求解出标定板在相机坐标系的偏移矩阵^CT_O以及平面镜到相机的距离L₁,L₂,L₃。

7.如权利要求5所述的单目相机多视场视觉引导方法，其特征在于，所述步骤S202中，平面镜法向量的求解步骤如下：

控制电机逆时针旋转a角度，使平面镜2的姿态改变至平面镜，则平面镜中的虚相机在相机1坐标系的姿态的求解步骤如下：

1)通过n₁,n₂,n₃建立坐标系o₁-n₁n₄n₅，其中n₄＝n₁×n₂，n₅＝n₃×n₄；

2)坐标系o₁-n₁n₄n₅在相机坐标系的姿态为

3)假设初始平面镜的姿态位于n₁，逆时针旋转a角度后位于n₆，则旋转a角度后，逆时针旋转a角度后的平面镜法向量n₆在相机坐标系中的法向量为

4)假设初始平面镜在相机坐标系的距离为L，则旋转a角度后的平面镜到相机坐标系的距离为L'＝Lcos(a)；

5)虚拟相机与相机之间的关系为

其中

即可求出。

8.如权利要求2所述的单目相机多视场视觉引导方法，其特征在于，所述步骤S3具体为：控制电机逆时针旋转a角度后，虚拟相机与机器人之间的位姿关系为：

Images