CN111823222B - 单目相机多视场视觉引导装置及引导方法 - Google Patents

单目相机多视场视觉引导装置及引导方法 Download PDF

Info

Publication number
CN111823222B
CN111823222B CN201910302965.9A CN201910302965A CN111823222B CN 111823222 B CN111823222 B CN 111823222B CN 201910302965 A CN201910302965 A CN 201910302965A CN 111823222 B CN111823222 B CN 111823222B
Authority
CN
China
Prior art keywords
camera
coordinate system
plane mirror
robot
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910302965.9A
Other languages
English (en)
Other versions
CN111823222A (zh
Inventor
贾君慧
张刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUST Wuxi Research Institute
Original Assignee
HUST Wuxi Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUST Wuxi Research Institute filed Critical HUST Wuxi Research Institute
Priority to CN201910302965.9A priority Critical patent/CN111823222B/zh
Publication of CN111823222A publication Critical patent/CN111823222A/zh
Application granted granted Critical
Publication of CN111823222B publication Critical patent/CN111823222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及一种单目相机多视场视觉引导装置及引导方法，包括以下步骤：1、获取相机与机器人基坐标系之间的位姿关系；2、旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；3、求解平面镜中虚拟相机与机器人基坐标系之间的位姿关系。本发明在被测产品的平行面固定单个相机，在相机正前方固定一块平面镜，平面镜通过机构(如电机)旋转，该机构能够输出旋转角度；通过旋转平面镜，使平行于产品的相机在平面镜中的虚拟相机能够拍摄到机器人两侧的产品，标定出虚拟相机与机器人之间的位姿关系，即可对平行于相机的产品操作，适用于多个被测产品分布在机器人两侧的场景。

Description

单目相机多视场视觉引导装置及引导方法
技术领域
本发明涉及工业机器人领域，特别涉及一种单目相机多视场视觉引导装置及引导方法。
背景技术
随着劳动力成本的不断提高，工业自动化程度越来越高，工业机器人和工业相机的使用也越来越多，为此，基于视觉的机器人视觉引导技术得到越来越多的研究应用。其中，视觉引导中主要应用场景是用相机拍摄被测产品，然后根据相机与机器人之间的手眼关系，把被测产品的坐标转换到机器人坐标系中，最后控制机器人运动来操作被测产品。然而，对于某些场景，比如被测产品位于机器人两侧，被测面垂直于地面时，按照常规方法就需要在被测产品中间固定两个相机来操作位于机器人两侧的产品；若现实情况不允许相机在被测产品中间固定，则无法使用。目前市面上大多采用多台相机进行视觉引导或多个平面镜进行视觉引导。
发明内容
本发明的目的是克服现有技术存在的缺陷，提供一种通过在相机前放置一块平面镜，改变平面镜的姿态即可使相机拍摄到不同的视野范围的单目相机多视场视觉引导装置及引导方法。
实现本发明目的的技术方案是：一种单目相机多视场视觉引导装置，包括依次排布的一个相机、一个平面镜和一台六轴机器人；该平面镜安装在该相机正前方，且该平面镜依靠驱动机构驱动进行旋转，平面镜中的虚拟相机是在以电机轴为圆心，以电机轴到相机的距离为半径的圆上，根据被定位产品的位置来布置相机和平面镜；该相机通过平面镜能够监测多个场景，并能够定位多个场景中的产品；该六轴机器人的上端安装有机器人末端执行器；该机器人末端执行器上固定安装有标定板。
一种单目相机多视场视觉引导装置的引导方法，包括以下步骤：
S1、获取并标定出相机与机器人基坐标系之间的位姿关系
Figure 508211DEST_PATH_IMAGE001
；
S2、由于被测产品不在或不全在相机视野范围内，为了改变相机的视野范围，在相机正前方放置一块平面镜，且该平面镜依靠驱动机构驱动进行旋转，利用平面镜的反射原理将在相机视野外的被测产品转换到相机视野内；旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；
S3、求解平面镜旋转任意角度时，平面镜中虚拟相机与机器人基坐标系之间的位姿关系。
上述技术方案中步骤S1具体为：
S101、采用传统eye-to-hand手眼标定算法，移动机器人至机器人末端执行器上的标定板在相机视野范围内，通过相机拍摄机器人末端执行器上的标定板图像，然后通过机器人控制器记录此时的机器人末端执行器的位姿，并转换成机器人基坐标系与机器人末端执行器坐标系之间的位姿
Figure 903509DEST_PATH_IMAGE002
；
S102、对拍摄到的标定板图像进行标定，得到标定板在相机坐标系的姿态
Figure 93181DEST_PATH_IMAGE003
；
S103、改变机器人姿态，重复步骤S101和步骤S102，控制机器人改变三次姿态后，通过线性求解即可得到相机与机器人基坐标系之间的位姿关系
Figure 461846DEST_PATH_IMAGE004
。
上述技术方案中所述步骤S103中，改变机器人姿态，重复步骤（1）和步骤（2），则有以下公式：
Figure 949328DEST_PATH_IMAGE005
，对公式进行整理成
Figure 719838DEST_PATH_IMAGE006
形式，其中，X是未知量，代表机器人基坐标系与相机之间的位姿关系；
Figure 18095DEST_PATH_IMAGE007
是已知量，代表末端执行器到机器人基坐标系的位姿关系；
Figure 624788DEST_PATH_IMAGE008
是已知量，代表标定板到相机的位姿关系；
Figure DEST_PATH_IMAGE009
表示在位置1时机器人基坐标系
Figure 135535DEST_PATH_IMAGE010
相对于机器人末端执行器的位姿关系
Figure DEST_PATH_IMAGE011
表示在位置1时相机坐标系
Figure 947502DEST_PATH_IMAGE012
相对于机器人基坐标系
Figure 213398DEST_PATH_IMAGE010
的位姿关系；
Figure DEST_PATH_IMAGE013
表示在位置1时标定板在相机坐标系
Figure 245071DEST_PATH_IMAGE012
的姿态
Figure 887404DEST_PATH_IMAGE014
表示在位置2时机器人基坐标系
Figure 819457DEST_PATH_IMAGE010
相对于机器人末端执行器的位姿关系；
Figure DEST_PATH_IMAGE015
表示在位置2时相机坐标系
Figure 944670DEST_PATH_IMAGE012
相对于机器人基坐标系
Figure 775223DEST_PATH_IMAGE010
的位姿关系；
Figure 893352DEST_PATH_IMAGE016
表示在位置2时标定板在相机坐标系
Figure 7807DEST_PATH_IMAGE012
的姿态；通过三组非线性方程即可线性求解得到相机与机器人基坐标系之间的位姿关系
Figure 615506DEST_PATH_IMAGE004
。
上述技术方案中步骤S2具体为：
S201、旋转平面镜a角度后，平面镜的法向量可以通过建立平面镜法向量的坐标系来求解，即平面镜旋转任意三个角度，即可求解出平面镜的三个法向量和基于相机坐标系的三个距离值；根据三个法向量建立坐标系，在该坐标系中求解出平面镜的任意法向量，并根据旋转角度a，求解出平面镜在相机坐标系中的平移向量；
S202、旋转平面镜a角度后，根据已求出的平面镜的法向量及平面镜在相机坐标系中的平移向量，即可求解出相机与平面镜中虚拟相机之间的位姿关系。
上述技术方案中所述步骤S201中，平面镜法向量的求解步骤如下：
（1）控制六轴机器人移动，使机器人末端执行器上的标定板移动至相机附近，并且相机能够通过平面镜拍摄到标定板图像；
（2）固定六轴机器人不动，相机拍摄平面镜中的标定板虚像；
（3）通过电机旋转平面镜，并能保证相机通过平面镜能拍摄到标定板图像，然后相机拍摄平面镜中的标定板虚像；
（4） 重复步骤（3）三次，获取平面镜中的标定板虚像；
（5） 标定三幅标定板图像，确定标定板虚像在相机坐标系的位姿，即参数
Figure DEST_PATH_IMAGE017
；其中
Figure 373769DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
为标定板坐标系相对于虚拟相机坐标系的旋转矩阵；
Figure 764431DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
都是偏移矩阵；
Figure 405496DEST_PATH_IMAGE020
和
Figure 449676DEST_PATH_IMAGE022
为标定板坐标系的原点相对于虚拟相机坐标系原点的偏移；
（6）计算
Figure DEST_PATH_IMAGE023
的单位特征值所对应的特征向量
Figure 412078DEST_PATH_IMAGE024
，根据特征向量的叉积可以计算平面镜法向量
Figure DEST_PATH_IMAGE025
，其中
Figure 121277DEST_PATH_IMAGE026
；
（7）由
Figure DEST_PATH_IMAGE027
，
Figure 118314DEST_PATH_IMAGE028
，其中
Figure 67815DEST_PATH_IMAGE018
为虚拟相机坐标系与标定板坐标系之间的旋转矩阵，
Figure DEST_PATH_IMAGE029
为平面镜法向量，
Figure 16048DEST_PATH_IMAGE030
为单位阵，计算真实标定板在相机坐标系的旋转矩阵
Figure DEST_PATH_IMAGE031
,求
Figure 279671DEST_PATH_IMAGE031
平均值得到
Figure 459110DEST_PATH_IMAGE032
；
（8）由
Figure DEST_PATH_IMAGE033
构建线性方程组
Figure 251617DEST_PATH_IMAGE034
，
Figure 280622DEST_PATH_IMAGE028
，
其中
Figure DEST_PATH_IMAGE035
为标定板坐标系与旋转平面镜三次得到的三个虚拟相机坐标系之间的偏移矩阵，是已知项，
Figure 82356DEST_PATH_IMAGE036
为旋转平面镜三次对应的三个法向量，也是已知项，未知项为标定板与相机坐标系之间的位姿关系
Figure DEST_PATH_IMAGE037
和相机坐标系的原点分别沿着平面镜法向量
Figure 516967DEST_PATH_IMAGE036
至平面镜的距离
Figure 339430DEST_PATH_IMAGE038
，即可求解出标定板在相机坐标系的位姿关系
Figure 324572DEST_PATH_IMAGE037
以及相机坐标系的原点沿着平面镜法向量至平面镜的距离
Figure 195576DEST_PATH_IMAGE038
。
上述技术方案中所述步骤S202中，相机与平面镜中虚拟相机之间旋转矩阵和偏移矩阵求解步骤如下：
控制电机逆时针旋转a角度，使平面镜2的姿态改变至旋转后的平面镜，则平面镜中的虚相机在相机1坐标系的姿态的求解步骤如下：
1） 通过
Figure 333296DEST_PATH_IMAGE025
建立坐标系
Figure DEST_PATH_IMAGE039
，其中
Figure 749497DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
；
2） 坐标系
Figure 628460DEST_PATH_IMAGE039
在相机坐标系的姿态为
Figure 365472DEST_PATH_IMAGE042
；
3） 假设初始平面镜的姿态位于
Figure DEST_PATH_IMAGE043
，逆时针旋转a角度后位于
Figure 46114DEST_PATH_IMAGE044
，则旋转a角度后， 逆时针旋转a角度后的平面镜法向量
Figure 882483DEST_PATH_IMAGE044
在相机坐标系中的法向量为
Figure DEST_PATH_IMAGE045
；
4） 假设初始平面镜在相机坐标系的距离为
Figure 779901DEST_PATH_IMAGE046
，则旋转a角度后的平面镜到相机坐标系的距离为
Figure DEST_PATH_IMAGE047
；
5） 虚拟相机与相机之间的关系为
Figure 477860DEST_PATH_IMAGE048
，其中
Figure DEST_PATH_IMAGE049
，即可求出。
上述技术方案中所述步骤S3具体为：控制电机逆时针旋转a角度后，虚拟相机与机器人坐标系之间的位姿关系为：
Figure 59014DEST_PATH_IMAGE050
。
采用上述技术方案后，本发明具有以下积极的效果：
（1）本发明在被测产品的平行面固定单个相机，在相机正前方固定一块平面镜，平面镜通过机构（如电机）旋转，该机构能够输出旋转角度；通过旋转平面镜，使平行于产品的相机在平面镜中的虚拟相机能够拍摄到机器人两侧的产品，即可对平行于相机的产品进行检测等操作，适用于多个被检测产品分布在机器人两侧的场景。
（2）本发明还能够标定出虚拟相机与机器人之间的位姿关系，即可对平行于相机的产品进行定位等操作，适用于多个被定位产品分布在机器人两侧的场景。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1为本发明的原理图；
附图中标号为：1、相机，1_1、平面镜中的虚拟相机，2、平面镜，2_1、旋转后的平面镜，3、电机或其他可以改变平面镜姿态的结构，4_1、被测产品，4_2、被测产品，5、标定板，6、机器人末端执行器，7、六轴机器人；相机坐标系为
Figure 581132DEST_PATH_IMAGE012
，虚拟相机坐标系为
Figure DEST_PATH_IMAGE051
，机器人基坐标系为
Figure 195872DEST_PATH_IMAGE010
，标定板坐标系为
Figure 274686DEST_PATH_IMAGE052
，机器人末端执行器坐标系为
Figure DEST_PATH_IMAGE053
，平面镜法向量为
Figure 162877DEST_PATH_IMAGE054
，平面镜距离相机
Figure 403365DEST_PATH_IMAGE046
。
具体实施方式
（实施例1）
如图1所示，本发明通过在相机1前放置一块平面镜2，改变平面镜2的姿态即可使相机1拍摄到不同的视野范围。该标定方法主要分为三部分：1、获取相机1与机器人基坐标系
Figure 291687DEST_PATH_IMAGE010
之间的位姿关系；2、旋转平面镜2至任意姿态时，获取相机1与平面镜中虚拟相机1_1坐标系
Figure 393766DEST_PATH_IMAGE051
的位姿关系；3、求解平面镜中虚拟相机1_1与机器人基坐标系
Figure 480671DEST_PATH_IMAGE010
之间的位姿关系。具体步骤如下：
获取相机1与机器人基坐标系
Figure 829744DEST_PATH_IMAGE010
之间的位姿关系：采用eye-to-hand 手眼标定方法，标定出相机坐标系
Figure 985787DEST_PATH_IMAGE012
与机器人基坐标系
Figure 406404DEST_PATH_IMAGE010
之间的位姿关系
Figure 285499DEST_PATH_IMAGE004
，标定步骤如下：
（1）移动六轴机器人7至机器人末端执行器6上的标定板5在相机3视野范围内，拍摄标定板5图像，然后通过六轴机器人7的控制器记录此时的机器人末端执行器6的位姿，并转换成机器人基坐标系
Figure 618522DEST_PATH_IMAGE010
与机器人末端执行器坐标系
Figure 278174DEST_PATH_IMAGE053
之间的位姿
Figure 174585DEST_PATH_IMAGE002
；
（2）对拍摄到的标定板5图像进行标定，得到标定板5在相机1坐标系的姿态
Figure 219771DEST_PATH_IMAGE003
；
（3）改变六轴机器人7姿态，重复步骤（1）和步骤（2），则有以下公式：
Figure 238542DEST_PATH_IMAGE005
，
对公式进行整理成
Figure 57594DEST_PATH_IMAGE006
形式，即通过三次改变机器人姿态，即最后求解的是三组公式中的
Figure DEST_PATH_IMAGE055
、
Figure 39587DEST_PATH_IMAGE056
、
Figure DEST_PATH_IMAGE057
中的
Figure 876962DEST_PATH_IMAGE058
；
其中，
Figure 4318DEST_PATH_IMAGE058
是未知量，代表机器人基坐标系与相机1之间的位姿关系；
Figure 372983DEST_PATH_IMAGE007
是已知量，代表末端执行器6到机器人基坐标系的位姿关系；
Figure 418387DEST_PATH_IMAGE008
是已知量，代表标定板5到相机1的位姿关系；通过三组非线性方程即可线性求解得到相机1与机器人基坐标系
Figure 126580DEST_PATH_IMAGE010
之间的位姿关系
Figure 221575DEST_PATH_IMAGE004
，
Figure 326803DEST_PATH_IMAGE009
表示在位置1时机器人基坐标系
Figure 368708DEST_PATH_IMAGE010
相对于机器人末端执行器的位姿关系
Figure 993725DEST_PATH_IMAGE011
表示在位置1时相机坐标系
Figure 275933DEST_PATH_IMAGE012
相对于机器人基坐标系
Figure 556872DEST_PATH_IMAGE010
的位姿关系；
Figure 933627DEST_PATH_IMAGE013
表示在位置1时标定板在相机坐标系
Figure 927997DEST_PATH_IMAGE012
的姿态
Figure 364794DEST_PATH_IMAGE014
表示在位置2时机器人基坐标系
Figure 133030DEST_PATH_IMAGE010
相对于机器人末端执行器的位姿关系；
Figure 329787DEST_PATH_IMAGE015
表示在位置2时相机坐标系
Figure 132658DEST_PATH_IMAGE012
相对于机器人基坐标系
Figure 740357DEST_PATH_IMAGE010
的位姿关系；
Figure 41894DEST_PATH_IMAGE016
表示在位置2时标定板在相机坐标系
Figure 229293DEST_PATH_IMAGE012
的姿态；通过三组非线性方程即可线性求解得到相机与机器人基坐标系之间的位姿关系
Figure 683408DEST_PATH_IMAGE004
。
旋转平面镜2至任意姿态时，获取相机1与平面镜2中虚拟相机的位姿关系：该过程分为两步，（1） 旋转平面镜2至任意姿态时，平面镜法向量
Figure DEST_PATH_IMAGE059
的求解；（2）旋转平面镜2至任意姿态时，如图1中旋转后的平面镜2_1位置，相机1与平面镜2中虚拟相机1_1的位姿关系（如图1中平面镜中的虚拟相机1_1位置）的求解。
旋转平面镜2至任意姿态时，平面镜法向量n的求解步骤如下：
（1）控制六轴机器人7移动，使六轴机器人7末端执行器上的标定板5移动至相机1附近，并且相机1可以通过平面镜2拍摄到标定板5图像；
（2）固定六轴机器人7不动，相机拍摄平面镜2中的标定板5虚像；
（3）通过电机旋转平面镜2，并能保证相机1通过平面镜2能拍摄到标定板5图像，即如果相机通过平面镜看不到标定板5图像，就通过电机驱动旋转驱动机构旋转平面镜，直到看到为止；然后相机拍摄平面镜2中的标定板5虚像；
（4） 重复步骤3，获取平面镜2中的标定板5虚像；
（5） 标定三幅标定板5图像，确定标定板5虚像在相机坐标系
Figure 150424DEST_PATH_IMAGE060
的位姿，即参数
Figure 689990DEST_PATH_IMAGE017
；
Figure DEST_PATH_IMAGE061
和
Figure 133610DEST_PATH_IMAGE062
都是旋转矩阵，只是在参与运算的时候需要用的两个不同的旋转矩阵，即
Figure DEST_PATH_IMAGE063
,其中
Figure 944962DEST_PATH_IMAGE018
和
Figure 97726DEST_PATH_IMAGE019
为标定板坐标系相对于虚拟相机（即平面镜中的相机）坐标系的旋转矩阵；
Figure 124588DEST_PATH_IMAGE035
和
Figure 699795DEST_PATH_IMAGE064
都是偏移矩阵；
Figure 331764DEST_PATH_IMAGE035
和
Figure 452167DEST_PATH_IMAGE064
为标定板坐标系的原点相对于虚拟相机坐标系原点的偏移；
（6）计算
Figure 717058DEST_PATH_IMAGE023
的单位特征值所对应的特征向量
Figure 784371DEST_PATH_IMAGE024
，根据特征向量的叉积可以计算平面镜法向量
Figure 333164DEST_PATH_IMAGE025
，其中
Figure 873735DEST_PATH_IMAGE026
；
（7）由
Figure 812872DEST_PATH_IMAGE027
，
Figure 480614DEST_PATH_IMAGE028
，其中
Figure 634646DEST_PATH_IMAGE018
为虚拟相机坐标系与标定板坐标系之间的旋转矩阵，
Figure 300114DEST_PATH_IMAGE029
为平面镜法向量，
Figure 788864DEST_PATH_IMAGE030
为单位阵，计算真实标定板在相机坐标系的旋转矩阵
Figure 712826DEST_PATH_IMAGE031
,求
Figure 970632DEST_PATH_IMAGE031
平均值得到
Figure 557734DEST_PATH_IMAGE032
；
（8）由
Figure 268201DEST_PATH_IMAGE033
构建线性方程组
Figure 543324DEST_PATH_IMAGE034
，
Figure 842588DEST_PATH_IMAGE028
，
其中
Figure 177754DEST_PATH_IMAGE035
为标定板坐标系与旋转平面镜三次得到的三个虚拟相机坐标系之间的偏移矩阵，是已知项，
Figure 109938DEST_PATH_IMAGE036
为旋转平面镜三次对应的三个法向量，也是已知项，未知项为标定板与相机坐标系之间的位姿关系
Figure 871309DEST_PATH_IMAGE037
和相机坐标系的原点分别沿着平面镜法向量
Figure 838128DEST_PATH_IMAGE036
至平面镜的距离
Figure 281878DEST_PATH_IMAGE038
，即可求解出标定板在相机坐标系的位姿关系
Figure 950626DEST_PATH_IMAGE037
以及相机坐标系的原点沿着平面镜法向量至平面镜的距离
Figure 567552DEST_PATH_IMAGE038
。
旋转平面镜至任意姿态时，相机与平面镜中虚拟相机之间旋转矩阵和偏移矩阵求解步骤如下：
控制电机逆时针旋转a角度，使平面镜2的姿态改变至平面镜，则平面镜中的虚相机在相机1坐标系的姿态的求解步骤如下：
1） 记标定板坐标系为
Figure 592140DEST_PATH_IMAGE052
，通过
Figure 754262DEST_PATH_IMAGE025
建立坐标系
Figure 926617DEST_PATH_IMAGE039
，其中
Figure 284918DEST_PATH_IMAGE040
，
Figure 210017DEST_PATH_IMAGE041
；
2） 坐标系
Figure 57887DEST_PATH_IMAGE039
在相机坐标系
Figure 655222DEST_PATH_IMAGE012
的姿态为
Figure 364683DEST_PATH_IMAGE042
；
3） 假设初始平面镜2的姿态位于
Figure 160601DEST_PATH_IMAGE043
，逆时针旋转a角度后位于
Figure 851476DEST_PATH_IMAGE044
，则旋转a角度后， 逆时针旋转a角度后的平面镜法向量
Figure 247691DEST_PATH_IMAGE044
在相机坐标系
Figure 947794DEST_PATH_IMAGE012
中的法向量为
Figure DEST_PATH_IMAGE065
；
4） 假设初始平面2镜在相机坐标系
Figure 83372DEST_PATH_IMAGE012
的距离为
Figure 7465DEST_PATH_IMAGE046
，则旋转a角度后的平面镜到相机坐标系
Figure 579392DEST_PATH_IMAGE012
的距离为
Figure 863612DEST_PATH_IMAGE066
；
5） 平面镜中的虚拟相机1_1与相机1之间的关系为
Figure 837384DEST_PATH_IMAGE048
，其中
Figure 197958DEST_PATH_IMAGE049
，即可求出；
控制电机逆时针旋转a角度后，平面镜中的虚拟相机1_1与六轴机器人7之间的位姿关系为：
Figure 736475DEST_PATH_IMAGE050
。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种单目相机多视场视觉引导装置的引导方法，包括依次排布的一个相机、一个平面镜和一台六轴机器人；该平面镜安装在该相机正前方，且该平面镜依靠驱动机构驱动进行旋转，平面镜中的虚拟相机是在以电机轴为圆心，以电机轴到相机的距离为半径的圆上，根据被定位产品的位置来布置相机和平面镜；该相机通过平面镜能够监测多个场景，并能够定位多个场景中的产品；该六轴机器人的上端安装有机器人末端执行器；该机器人末端执行器上固定安装有标定板；其步骤如下：
S1、获取并标定出相机与机器人基座标系之间的位姿关系
Figure DEST_PATH_IMAGE002
；
S2、由于被测产品不在或不全在相机视野范围内，为了改变相机的视野范围，在相机正前方放置一块平面镜，且该平面镜依靠驱动机构驱动进行旋转，利用平面镜的反射原理将在相机视野外的被测产品转换到相机视野内；旋转平面镜至任意姿态时，获取相机与平面镜中虚拟相机的位姿关系；
S3、求解平面镜旋转任意角度时，平面镜中虚拟相机与机器人基坐标系之间的位姿关系；
其特征在于，
步骤S2具体为：
S201、旋转平面镜a角度后，平面镜的法向量通过建立平面镜法向量的坐标系来求解，即平面镜旋转任意三个角度，即可求解出平面镜的三个法向量和基于相机坐标系的三个距离值；根据三个法向量建立坐标系，在该坐标系中求解出平面镜的任意法向量，并根据旋转角度a，求解出平面镜在相机坐标系中的平移向量；
S202、旋转平面镜a角度后，根据已求出的平面镜的法向量及平面镜在相机坐标系中的平移向量，即可求解出相机与平面镜中虚拟相机之间的位姿关系。
2.如权利要求1所述的单目相机多视场视觉引导装置的引导方法，其特征在于，步骤S1具体为：
S101、采用传统eye-to-hand手眼标定算法，移动机器人至机器人末端执行器上的标定板在相机视野范围内，通过相机拍摄机器人末端执行器上的标定板图像，然后通过机器人控制器记录此时的机器人末端执行器的位姿，并转换成机器人基座标系与机器人末端执行器坐标系之间的位姿
Figure DEST_PATH_IMAGE004
；
S102、对拍摄到的标定板图像进行标定，得到标定板在相机坐标系的姿态
Figure DEST_PATH_IMAGE006
；
S103、改变机器人姿态，重复步骤S101和步骤S102，控制机器人改变三次姿态后，通过线性求解即可得到相机与机器人基坐标系之间的位姿关系
Figure 647366DEST_PATH_IMAGE002
。
3.如权利要求2所述的单目相机多视场视觉引导装置的引导方法，其特征在于，所述步骤S103中，改变机器人姿态，重复步骤S101和步骤S102，则有以下公式：
Figure DEST_PATH_IMAGE008
，对公式进行整理成
Figure DEST_PATH_IMAGE010
形式，其中，X是未知量，代表机器人基坐标系与相机之间的位姿关系；A是已知量，代表末端执行器到机器人基坐标系的位姿关系；B是已知量，代表标定板到相机的位姿关系；
Figure DEST_PATH_IMAGE012
表示在位置1时机器人基坐标系
Figure DEST_PATH_IMAGE014
相对于机器人末端执行器的位姿关系；
Figure DEST_PATH_IMAGE016
表示在位置1时相机坐标系
Figure DEST_PATH_IMAGE018
相对于机器人基坐标系
Figure 456184DEST_PATH_IMAGE014
的位姿关系；
Figure DEST_PATH_IMAGE020
表示在位置1时标定板在相机坐标系
Figure 688451DEST_PATH_IMAGE018
的姿态；
Figure DEST_PATH_IMAGE022
表示在位置2时机器人基坐标系
Figure 240917DEST_PATH_IMAGE014
相对于机器人末端执行器的位姿关系；
Figure DEST_PATH_IMAGE024
表示在位置2时相机坐标系
Figure 196235DEST_PATH_IMAGE018
相对于机器人基坐标系
Figure 2386DEST_PATH_IMAGE014
的位姿关系；
Figure DEST_PATH_IMAGE026
表示在位置2时标定板在相机坐标系
Figure 410365DEST_PATH_IMAGE018
的姿态；通过三组非线性方程即可线性求解得到相机与机器人基坐标系之间的位姿关系
Figure 94418DEST_PATH_IMAGE002
。
4.如权利要求1所述的单目相机多视场视觉引导装置的引导方法，其特征在于，所述步骤S201中，平面镜法向量的求解步骤如下：
（1）控制六轴机器人移动，使机器人末端执行器上的标定板移动至相机附近，并且相机能够通过平面镜拍摄到标定板图像；
（2）固定六轴机器人不动，相机拍摄平面镜中的标定板虚像；
（3）通过电机旋转平面镜，并能保证相机通过平面镜能拍摄到标定板图像，然后相机拍摄平面镜中的标定板虚像；
（4） 重复步骤（3）三次，获取平面镜中的标定板虚像；
（5） 标定三幅标定板图像，确定标定板虚像在相机坐标系的位姿，即参数
Figure DEST_PATH_IMAGE028
；其中
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE032
为标定板坐标系相对于虚拟相机坐标系的旋转矩阵；
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE036
都是偏移矩阵；
Figure 531607DEST_PATH_IMAGE034
和
Figure 197075DEST_PATH_IMAGE036
为标定板坐标系的原点相对于虚拟相机坐标系原点的偏移；
（6）计算
Figure DEST_PATH_IMAGE038
的单位特征值所对应的特征向量
Figure DEST_PATH_IMAGE040
，根据特征向量的叉积可以计算平面镜法向量
Figure DEST_PATH_IMAGE042
，其中
Figure DEST_PATH_IMAGE044
；
（7）由
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE048
，其中
Figure 889087DEST_PATH_IMAGE030
为虚拟相机坐标系与标定板坐标系之间的旋转矩阵，
Figure DEST_PATH_IMAGE050
为平面镜法向量，
Figure DEST_PATH_IMAGE052
为单位阵，计算真实标定板在相机坐标系的旋转矩阵
Figure DEST_PATH_IMAGE054
,求
Figure 986619DEST_PATH_IMAGE054
平均值得到
Figure DEST_PATH_IMAGE056
；
（8）由
Figure DEST_PATH_IMAGE058
构建线性方程组
Figure DEST_PATH_IMAGE060
，
Figure 306742DEST_PATH_IMAGE048
，
其中
Figure 221739DEST_PATH_IMAGE034
为标定板坐标系与旋转平面镜三次得到的三个虚拟相机坐标系之间的偏移矩阵，是已知项，
Figure 932206DEST_PATH_IMAGE050
为旋转平面镜三次对应的三个法向量，也是已知项，未知项为标定板与相机坐标系之间的位姿关系
Figure DEST_PATH_IMAGE062
和相机坐标系的原点分别沿着平面镜法向量
Figure 863122DEST_PATH_IMAGE050
至平面镜的距离
Figure DEST_PATH_IMAGE064
，即可求解出标定板在相机坐标系的位姿关系
Figure 647538DEST_PATH_IMAGE062
以及相机坐标系的原点沿着平面镜法向量至平面镜的距离
Figure 461999DEST_PATH_IMAGE064
。
5.如权利要求1所述的单目相机多视场视觉引导装置的引导方法，其特征在于，所述步骤S202中，相机与平面镜中虚拟相机之间旋转矩阵和偏移矩阵求解步骤如下：
控制电机逆时针旋转a角度，使平面镜的姿态改变至旋转后的姿态，则平面镜中的虚拟相机在机器人基坐标系的姿态的求解步骤如下：
1） 通过
Figure 863024DEST_PATH_IMAGE042
建立坐标系
Figure DEST_PATH_IMAGE066
，其中
Figure DEST_PATH_IMAGE068
，
Figure DEST_PATH_IMAGE070
；
2）坐标系
Figure 535314DEST_PATH_IMAGE066
在相机坐标系的姿态为
Figure DEST_PATH_IMAGE072
；
3） 假设初始平面镜的姿态位于
Figure DEST_PATH_IMAGE074
，逆时针旋转a角度后位于
Figure DEST_PATH_IMAGE076
，则旋转a角度后， 逆时针旋转a角度后的平面镜法向量
Figure 643078DEST_PATH_IMAGE076
在相机坐标系中的法向量为
Figure DEST_PATH_IMAGE078
；
4） 假设初始平面镜在相机坐标系的距离为
Figure DEST_PATH_IMAGE080
，即相机坐标系原点沿着平面镜法向至平面镜的距离为
Figure 40824DEST_PATH_IMAGE080
，则旋转a角度后的平面镜到相机坐标系的距离为
Figure DEST_PATH_IMAGE082
；
5） 虚拟相机与相机之间的关系为
Figure DEST_PATH_IMAGE084
，其中
Figure DEST_PATH_IMAGE086
，即可求出。
6.如权利要求1所述的单目相机多视场视觉引导装置的引导方法，其特征在于，所述步骤S3具体为：控制电机逆时针旋转a角度后，虚拟相机与机器人坐标系之间的位姿关系为：
Figure DEST_PATH_IMAGE088
。
CN201910302965.9A 2019-04-16 2019-04-16 单目相机多视场视觉引导装置及引导方法 Active CN111823222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910302965.9A CN111823222B (zh) 2019-04-16 2019-04-16 单目相机多视场视觉引导装置及引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910302965.9A CN111823222B (zh) 2019-04-16 2019-04-16 单目相机多视场视觉引导装置及引导方法

Publications (2)

Publication Number Publication Date
CN111823222A CN111823222A (zh) 2020-10-27
CN111823222B true CN111823222B (zh) 2021-04-27

Family

ID=72915738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910302965.9A Active CN111823222B (zh) 2019-04-16 2019-04-16 单目相机多视场视觉引导装置及引导方法

Country Status (1)

Country Link
CN (1) CN111823222B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK181486B1 (en) * 2022-07-28 2024-03-01 4Tech Ip Aps Robot calibration system and method for calibrating the position of a robot relative to a workplace

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374433A (ja) * 2001-06-15 2002-12-26 Nippon Denpa Kk 監視カメラ装置
DE202012103130U1 (de) * 2012-08-20 2012-09-18 Günther Ende Industrie-Kamerasystem
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN107443377A (zh) * 2017-08-10 2017-12-08 埃夫特智能装备股份有限公司 传感器‑机器人坐标系转换方法及机器人手眼标定方法
WO2018097784A1 (en) * 2016-11-22 2018-05-31 Unibap Ab Measurement system and method of an industrial robot
US9992480B1 (en) * 2016-05-18 2018-06-05 X Development Llc Apparatus and methods related to using mirrors to capture, by a camera of a robot, images that capture portions of an environment from multiple vantages

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374433A (ja) * 2001-06-15 2002-12-26 Nippon Denpa Kk 監視カメラ装置
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
DE202012103130U1 (de) * 2012-08-20 2012-09-18 Günther Ende Industrie-Kamerasystem
US9992480B1 (en) * 2016-05-18 2018-06-05 X Development Llc Apparatus and methods related to using mirrors to capture, by a camera of a robot, images that capture portions of an environment from multiple vantages
WO2018097784A1 (en) * 2016-11-22 2018-05-31 Unibap Ab Measurement system and method of an industrial robot
CN107443377A (zh) * 2017-08-10 2017-12-08 埃夫特智能装备股份有限公司 传感器‑机器人坐标系转换方法及机器人手眼标定方法

Also Published As

Publication number Publication date
CN111823222A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110421562B (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN109483516B (zh) 一种基于空间距离和极线约束的机械臂手眼标定方法
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
JP6426725B2 (ja) 移動可能な対象物体の場所を追跡するためのシステム及び方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
CN103302666B (zh) 信息处理设备和信息处理方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
Boby et al. Single image based camera calibration and pose estimation of the end-effector of a robot
CN111615443A (zh) 信息处理装置、信息处理方法和信息处理系统
US10052767B2 (en) Robot, control device, and control method
CN109489558A (zh) 距离测量系统和距离测量方法
Samson et al. The agile stereo pair for active vision
Lee et al. High precision hand-eye self-calibration for industrial robots
CN113658266A (zh) 一种基于固定相机和单靶标的动轴旋转角视觉测量方法
US20220395981A1 (en) System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN111823222B (zh) 单目相机多视场视觉引导装置及引导方法
CN115519536A (zh) 用于3d眼手协调的误差校正和补偿的系统和方法
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
CN115008477B (zh) 机械手移动补偿方法、装置、计算机可读存储介质
CN113084827B (zh) 一种摄像装置光心位置标定方法及装置
JP7116108B2 (ja) ロボットアームの位置決め精度の測定システム
CN111062989B (zh) 一种高精度二维摄像头与机器人手眼标定的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant