CN114227700B - 机器人的手眼标定方法和系统 - Google Patents

机器人的手眼标定方法和系统 Download PDF

Info

Publication number
CN114227700B
CN114227700B CN202210165145.1A CN202210165145A CN114227700B CN 114227700 B CN114227700 B CN 114227700B CN 202210165145 A CN202210165145 A CN 202210165145A CN 114227700 B CN114227700 B CN 114227700B
Authority
CN
China
Prior art keywords
robot
coordinate system
calibration plate
rotation
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210165145.1A
Other languages
English (en)
Other versions
CN114227700A (zh
Inventor
王灿
郭骏杰
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202210165145.1A priority Critical patent/CN114227700B/zh
Publication of CN114227700A publication Critical patent/CN114227700A/zh
Application granted granted Critical
Publication of CN114227700B publication Critical patent/CN114227700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Abstract

本申请涉及一种机器人的手眼标定方法和系统，通过控制机器人沿机器人基座坐标系拍摄第一标定板图像组，获得机器人末端到相机的旋转矩阵
Figure DEST_PATH_IMAGE002
，控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时针和逆时针旋转预设角度，分别在对应的机器人位姿上采集第二标定板图像组，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure DEST_PATH_IMAGE004
，根据
Figure 665607DEST_PATH_IMAGE004
和机器人当前位置
Figure DEST_PATH_IMAGE006
，获得机器人末端在标定板坐标系下的坐标
Figure DEST_PATH_IMAGE008
，根据标定板到相机的旋转平移矩阵和
Figure 10394DEST_PATH_IMAGE008
，获得相机到机器人末端的平移关系
Figure DEST_PATH_IMAGE010
，根据机器人末端到相机的旋转矩阵
Figure 168843DEST_PATH_IMAGE002
和相机到机器人末端的平移关系
Figure 427917DEST_PATH_IMAGE010
，获得眼在手上的标定结果，解决了常规的手眼标定方法求解不收敛及准确率低的问题。

Description

机器人的手眼标定方法和系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及机器人的手眼标定方法和系统。
背景技术
在机器视觉领域，机器人需要根据视觉系统给出的信号进行相应的路径规划等操作，而机器人坐标系统与视觉坐标系统又为两个独立的模块，所以需要通过对机器人进行手眼标定获取机器人坐标系和相机坐标系的旋转平移关系。
在相关技术中，常规的手眼标定方法通常采用AX=XB或AX=YB两种模型，基于特定的代价函数并使用线性或非线性求解器进行最优化求解，得到相机与机器人末端的旋转平移关系，即可完成标定，但基于这两种模型的求解方法要求标定人员随机选择机器人位姿进行取图，其最终获得的手眼标定结果精度可能受人为因素的影响，存在一定的不确定性，准确率低，且在某些情况下甚至可能求解不收敛，得到完全错误的结果。
目前针对相关技术中使用常规的手眼标定方法时，存在求解不收敛以及准确率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种机器人的手眼标定方法和系统，以至少解决相关技术中使用常规的手眼标定方法时，存在求解不收敛以及准确率低的问题。
第一方面，本申请实施例提供了一种机器人的手眼标定方法，应用于眼在手上的工况下，所述方法包括：
S11，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据所述第一标定 板图像组，获得标定板到相机的旋转矩阵
Figure DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 928984DEST_PATH_IMAGE002
；
S12，根据机器人姿态
Figure DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 677628DEST_PATH_IMAGE002
和标定板 到相机的旋转矩阵
Figure 261056DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 887603DEST_PATH_IMAGE004
；
S13，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S14，控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；
S15，根据所述第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根 据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第 一旋转平移关系
Figure DEST_PATH_IMAGE005
；
S16，根据所述标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 544981DEST_PATH_IMAGE005
和机器人当前位置
Figure 58002DEST_PATH_IMAGE006
，获得机器人末端在标定板坐标系下的坐标
Figure DEST_PATH_IMAGE007
；
S17，根据标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 800830DEST_PATH_IMAGE007
，获得相机到机器人末端的平移关系
Figure 119816DEST_PATH_IMAGE008
；
S18，根据所述机器人末端到相机的旋转矩阵
Figure 661393DEST_PATH_IMAGE004
和相机到机器人末端的平移关系
Figure DEST_PATH_IMAGE009
，获得机器人眼在手上的标定结果
Figure 486261DEST_PATH_IMAGE010
。
在其中一些实施例中，所述控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组之后，所述方法还包括：
判断所述第二标定板图像组中的标定板图像是否均包括完整的标定板特征，若判断结果为否，则缩小所述预设角度，重新采集所述第二标定板图像组，直到控制机器人绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转缩小后的预设角度的情况下，采集到的第二标定板图像组中的标定板图像均包括完整的标定板特征。
在其中一些实施例中，在缩小所述预设角度的情况下，所述获得标定板坐标系与 机器人基座坐标系之间的第一旋转平移关系
Figure 575440DEST_PATH_IMAGE005
之后，所述方法还包括：
S31，根据所述标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 573483DEST_PATH_IMAGE005
， 获得过标定板原点并分别平行于机器人基座坐标系X轴、Y轴和Z轴的第四旋转轴、第五旋转 轴和第六旋转轴；
S32，对所述第四旋转轴、所述第五旋转轴和所述第六旋转轴重复执行步骤S14至 步骤S15，获得标定板坐标系与机器人基座坐标系之间的第二旋转平移关系
Figure DEST_PATH_IMAGE011
；
S33，在缩小所述预设角度的情况下，根据标定板坐标系与机器人基座坐标系之间 的第二旋转平移关系
Figure 706917DEST_PATH_IMAGE011
，重复执行步骤S31至步骤S32，直到机器人所使用的拍摄角度为 所述预设角度的情况下，结束迭代。
在其中一些实施例中，所述根据若干个标定板到相机的旋转平移矩阵，获得标定 板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 561741DEST_PATH_IMAGE005
包括：
根据若干个标定板到相机的旋转平移矩阵，分别获得所述第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径，根据第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径，分别获得第一旋转轴方程、第二旋转轴方程和第三旋转轴方程；
根据所述第一旋转轴方程、第二旋转轴方程和第三旋转轴方程，获得机器人末端 到标定板坐标系下的坐标，根据所述机器人末端到标定板坐标系下的坐标和机器人基座到 标定板坐标系的旋转矩阵
Figure 872636DEST_PATH_IMAGE012
，获得标定板坐标系与机器人基座坐标系之间的第一旋转平 移关系
Figure 408791DEST_PATH_IMAGE005
。
在其中一些实施例中，所述根据若干个标定板到相机的旋转平移矩阵，分别获得所述第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径包括：
S51，获取所述第一旋转轴对应的标定板到相机的旋转平移矩阵的相对旋转和相对平移，根据所述相对旋转和所述相对平移，获得所述第一旋转轴的旋转轴方向、中垂面方程和旋转半径；
对所述第二旋转轴和所述第三旋转轴分别执行步骤S51，获得所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径。
在其中一些实施例中，根据所述第一标定板图像组，获得标定板到相机的旋转矩 阵
Figure 754322DEST_PATH_IMAGE001
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标 系下相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的 旋转矩阵
Figure 983309DEST_PATH_IMAGE001
。
在其中一些实施例中，根据所述第一标定板图像组，获得机器人基座到标定板坐 标系的旋转矩阵
Figure 952139DEST_PATH_IMAGE012
包括：
根据所述第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线方程，并分别获取所述直线方程的方向向量；
根据所述直线方程的方向向量，获得机器人基座到标定板坐标系的旋转矩阵
Figure 682198DEST_PATH_IMAGE002
。
在其中一些实施例中，所述根据机器人姿态
Figure 492022DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的 旋转矩阵
Figure 16544DEST_PATH_IMAGE012
、标定板到相机的旋转矩阵
Figure 177399DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 383252DEST_PATH_IMAGE004
包括：
根据机器人姿态
Figure 437796DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转矩阵
Figure 68690DEST_PATH_IMAGE002
，获得机器人 末端到标定板的旋转矩阵
Figure DEST_PATH_IMAGE013
；
根据标定板到相机的旋转矩阵
Figure 247998DEST_PATH_IMAGE014
和机器人末端到标定板的旋转矩阵
Figure 319860DEST_PATH_IMAGE013
，获得机 器人末端到相机的旋转矩阵
Figure 104276DEST_PATH_IMAGE004
。
第二方面，本申请实施例提供了一种机器人的手眼标定系统，所述系统包括控制模块、获取模块、标定模块，
所述控制模块，用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组；
所述获取模块，用于根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 908284DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure DEST_PATH_IMAGE015
，并根据机器人姿态
Figure 542265DEST_PATH_IMAGE003
、机器人基座 到标定板坐标系的旋转矩阵
Figure 417817DEST_PATH_IMAGE015
和标定板到相机的旋转矩阵
Figure 853478DEST_PATH_IMAGE001
，获得机器人末端到相机的 旋转矩阵
Figure 31649DEST_PATH_IMAGE004
；
所述控制模块，还用于控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组，其中，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
所述获取模块，还用于根据所述第二标定板图像组，获得若干个标定板到相机的 旋转平移矩阵，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基 座坐标系之间的第一旋转平移关系
Figure 513446DEST_PATH_IMAGE005
；根据所述标定板坐标系与机器人基座坐标系之间 的第一旋转平移关系
Figure 802476DEST_PATH_IMAGE005
和机器人当前位置
Figure 420540DEST_PATH_IMAGE016
，获得机器人末端在标定板坐标系下的坐 标
Figure 271077DEST_PATH_IMAGE007
；根据标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 912274DEST_PATH_IMAGE007
，获 得相机到机器人末端的平移关系
Figure 129629DEST_PATH_IMAGE017
；
所述标定模块，用于根据所述机器人末端到相机的旋转矩阵
Figure 743144DEST_PATH_IMAGE004
和相机到机器人 末端的平移关系
Figure DEST_PATH_IMAGE018
，获得机器人眼在手上的标定结果
Figure 528697DEST_PATH_IMAGE010
。
第三方面，本申请实施例还提供了一种机器人的手眼标定方法，应用于眼在手外的工况下，所述方法包括：
S101，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据所述第一标 定板图像组，获得相机到机器人基座的旋转矩阵
Figure 985087DEST_PATH_IMAGE019
；
S102，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S103，控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；
S104，根据所述第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根 据若干个标定板到相机的旋转平移矩阵，获得机器人末端与相机坐标系之间的第一平移关 系
Figure DEST_PATH_IMAGE020
；
S105，根据所述机器人末端与相机坐标系之间的第一平移关系
Figure 645613DEST_PATH_IMAGE020
和机器人当前 位置
Figure 175951DEST_PATH_IMAGE021
，获得相机到机器人基座的平移关系
Figure 601247DEST_PATH_IMAGE022
；
S106，根据所述相机到机器人基座的旋转矩阵
Figure 544933DEST_PATH_IMAGE019
和所述相机到机器人基座的平 移关系
Figure 713877DEST_PATH_IMAGE022
，获得机器人眼在手外的标定结果
Figure DEST_PATH_IMAGE023
。
相比于相关技术，本申请实施例提供的机器人的手眼标定方法，通过控制机器人 沿机器人基座坐标系拍摄第一标定板图像组，根据第一标定板图像组，求出标定板到相机 的旋转矩阵
Figure 334608DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 993122DEST_PATH_IMAGE012
，再根据机器人姿态
Figure 158524DEST_PATH_IMAGE003
、 机器人基座到标定板坐标系的旋转矩阵
Figure 131159DEST_PATH_IMAGE012
和标定板到相机的旋转矩阵
Figure 698407DEST_PATH_IMAGE001
，获得机器人末 端到相机的旋转矩阵
Figure 731085DEST_PATH_IMAGE004
，再控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时 针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组，根据第 二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若干个标定板到相机的 旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 383783DEST_PATH_IMAGE005
，根 据标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 455382DEST_PATH_IMAGE005
和机器人当前位置
Figure 18082DEST_PATH_IMAGE006
，获得机器人末端在标定板坐标系下的坐标
Figure 346295DEST_PATH_IMAGE007
，根据标定板到相机的旋转平移矩阵和机器 人末端在标定板坐标系下的坐标
Figure 96076DEST_PATH_IMAGE007
，获得相机到机器人末端的平移关系
Figure 535148DEST_PATH_IMAGE009
，根据机器人 末端到相机的旋转矩阵
Figure 952354DEST_PATH_IMAGE004
和相机到机器人末端的平移关系
Figure 625037DEST_PATH_IMAGE008
，获得机器人眼在手上的标 定结果
Figure 252327DEST_PATH_IMAGE010
，解决了常规的手眼标定方法求解不收敛以及准确率低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的机器人的手眼标定方法的流程图；
图2是根据本申请实施例的N为3时长方体阵列的示意图；
图3是根据本申请第二实施例的机器人的手眼标定方法的流程图；
图4是根据本申请实施例的第一绕旋转轴旋转的示意图；
图5是根据本申请实施例的机器人的手眼标定系统的结构框图；
图6是根据本申请实施例的另一种机器人的手眼标定方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种机器人的手眼标定方法，应用于眼在手上的工况下，图1是根据本申请实施例的机器人的手眼标定方法的流程图，如图1所示，该方法包括如下步骤：
S11，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据第一标定板图 像组，获得标定板到相机的旋转矩阵
Figure 370456DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 501223DEST_PATH_IMAGE002
。 其中，第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各 拍摄的一张标定板图像。
本实施例中，将标定板放置在工作区域中部，控制机器人携带相机走到合适位置，使得标定板处于相机视野中央，且四周留有一定余量，控制机器人在当前位置，即机器人基座坐标系的原点拍摄标定板图像，再控制机器人分别平移到X轴、Y轴和Z轴的方向上至少各拍摄一张标定板图像，得到第一标定板图像组。
可选的，控制机器人携带相机走到合适位置后，以当前机器人位姿为中心，设计一 个
Figure 249867DEST_PATH_IMAGE024
的长方体阵列，其中，
Figure 364454DEST_PATH_IMAGE025
，图2是根据本申请实施例的N为3时长方体阵列的 示意图，如图2所示，使得长方体的三条边分别与机器人基座坐标系的三个轴平行，长方体 的每条边都设置有3个位姿点，位姿点之间的间距可以不相等，共有27个位姿点，机器人位 于这27个位姿上时，相机均能完整拍摄到标定板，机器人系统上保存有长方体阵列的层数 N，以及在每个方向上相邻两个位姿间的距离
Figure 519229DEST_PATH_IMAGE026
，使得机器人可以以一定顺序在这 27个位姿上分别拍摄标定板图像并保存，得到第一标定板图像组。
S12，根据机器人姿态
Figure 442186DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 283103DEST_PATH_IMAGE027
和标定板 到相机的旋转矩阵
Figure 494773DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 79338DEST_PATH_IMAGE004
；
S13，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S14，控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时针和逆时针旋 转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；本实施例中，预设角度 为
Figure 325643DEST_PATH_IMAGE028
，控制机器人绕第一旋转轴分别顺时针和逆时针旋转
Figure 337461DEST_PATH_IMAGE028
，并分别在两个位姿上采集标定 板图像，对第二旋转轴和第三旋转轴重复上述步骤，最终得到6个机器人位姿和对应的标定 板图像，即第二标定板图像组。
S15，根据第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若 干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第一旋 转平移关系
Figure 588490DEST_PATH_IMAGE005
；本实施例中，将若干个标定板到相机的旋转平移矩阵分别记为
Figure 320953DEST_PATH_IMAGE029
、
Figure DEST_PATH_IMAGE030
、
Figure 952923DEST_PATH_IMAGE031
，
Figure DEST_PATH_IMAGE032
，
Figure 604484DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE034
。
S16，根据标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 554860DEST_PATH_IMAGE005
和机 器人当前位置
Figure 356594DEST_PATH_IMAGE016
，获得机器人末端在标定板坐标系下的坐标
Figure 374229DEST_PATH_IMAGE007
；本实施例中，机器人当前 位置
Figure 727850DEST_PATH_IMAGE016
可以通过步骤S14获得的6个机器人位姿取平均得到，其中，
Figure 401408DEST_PATH_IMAGE035
。
S17，根据标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 131466DEST_PATH_IMAGE007
，获得相机到机器人末端的平移关系
Figure DEST_PATH_IMAGE036
；本实施例中，标定板到相机的旋转平移矩阵
Figure 973914DEST_PATH_IMAGE037
可以为若干个标定板到相机的旋转平移矩阵中的任意一个，也可以通过最小二乘法 得到若干个标定板到相机的旋转平移矩阵的最优解，作为标定板到相机的旋转平移矩阵
Figure 170540DEST_PATH_IMAGE037
，则相机到机器人末端的平移关系
Figure DEST_PATH_IMAGE038
。
S18，根据机器人末端到相机的旋转矩阵
Figure 862552DEST_PATH_IMAGE004
和相机到机器人末端的平移关系
Figure 740510DEST_PATH_IMAGE039
， 获得机器人眼在手上的标定结果
Figure 795053DEST_PATH_IMAGE010
。本实施例中，相机到机器人末端的旋转平移矩阵，即 眼在手上的标定结果，其中，眼在手上的标定结果
Figure 129958DEST_PATH_IMAGE010
通过下述公式1得到：
Figure DEST_PATH_IMAGE040
公式1
通过步骤S11至步骤S18，相对于相关技术中，常规的手眼标定方法采用AX=XB或AX =YB两种模型求解相机与机器人末端的旋转平移关系时，存在求解不收敛以及准确率低的 问题，本实施例通过控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据第一标 定板图像组，求出标定板到相机的旋转矩阵
Figure 106004DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩 阵
Figure 787652DEST_PATH_IMAGE012
，再根据机器人姿态
Figure 696702DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 438393DEST_PATH_IMAGE002
和标定板到相 机的旋转矩阵
Figure 698473DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 482015DEST_PATH_IMAGE004
，再控制机器人分别绕第一旋转 轴、第二旋转轴和第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿 上采集第二标定板图像组，根据第二标定板图像组，获得若干个标定板到相机的旋转平移 矩阵，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系 之间的第一旋转平移关系
Figure 386517DEST_PATH_IMAGE005
，根据标定板坐标系与机器人基座坐标系之间的第一旋转平 移关系
Figure 689322DEST_PATH_IMAGE005
和机器人当前位置
Figure 46485DEST_PATH_IMAGE006
，获得机器人末端在标定板坐标系下的坐标
Figure 194570DEST_PATH_IMAGE007
，根据标 定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 953579DEST_PATH_IMAGE007
，获得相机到机器 人末端的平移关系
Figure 597924DEST_PATH_IMAGE017
，根据机器人末端到相机的旋转矩阵
Figure 567017DEST_PATH_IMAGE004
和相机到机器人末端的平移 关系
Figure 394159DEST_PATH_IMAGE041
，获得机器人眼在手上的标定结果
Figure 132308DEST_PATH_IMAGE010
，解决了常规的手眼标定方法求解不收敛以 及准确率低的问题。
在其中一些实施例中，控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴 顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组之 后，判断第二标定板图像组中的标定板图像是否均包括完整的标定板特征，若判断结果为 否，则缩小预设角度，重新采集第二标定板图像组，直到控制机器人绕第一旋转轴、第二旋 转轴和第三旋转轴顺时针和逆时针旋转缩小后的预设角度的情况下，采集到的第二标定板 图像组中的标定板图像均包括完整的标定板特征。本实施例中，可以在绕第一旋转轴旋转 并拍摄第一张标定板图像时，即可判断该标定板图像是否可以完整提取标定板特征，若判 断结果为否，则缩小预设角度
Figure 449020DEST_PATH_IMAGE028
，例如，将
Figure 780775DEST_PATH_IMAGE028
缩放为
Figure DEST_PATH_IMAGE042
，其中n为循环次数，即n=[2,3,4,…]， 直到能完整提取标定板特征，在基于最终得到的角度控制机器人旋转，拍摄剩下的标定板 图像。
示例性的，若预设角度为20度，控制机器人绕第一旋转轴顺时针旋转20度后，采集 标定板图像，判断该标定板图像的标定板特征不完整，则再次控制机器人绕第一旋转轴顺 时针旋转10度后，重新采集标定板图像，判断该标定板图像的标定板特征完整，则保存对应 的机器人位姿和标定板图像；再次控制机器人绕第一旋转轴逆时针旋转10度，保存对应的 机器人位姿和标定板图像；接着对第二旋转轴和第三旋转轴重复上述步骤，从预设角度开 始旋转，直到得到完整的标定板特征后，保存对应的机器人位姿和标定板图像。在上述步骤 中，由于需要保证能完整提取到标定板特征，导致预设角度会比较小，使得到的结果
Figure 975389DEST_PATH_IMAGE005
不 够精确，因此，在其中一些实施例中，图3是根据本申请第二实施例的机器人的手眼标定方 法的流程图，如图3所示，在缩小预设角度的情况下，获得标定板坐标系与机器人基座坐标 系之间的第一旋转平移关系
Figure 443411DEST_PATH_IMAGE005
之后，该方法包括如下步骤：
S31，根据标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 258920DEST_PATH_IMAGE005
，获得 过标定板原点并分别平行于机器人基座坐标系X轴、Y轴和Z轴的第四旋转轴、第五旋转轴和 第六旋转轴；本实施例中，绕基于
Figure 77972DEST_PATH_IMAGE005
求解的过标定板原点并分别平行于机器人基座坐标 系X轴、Y轴和Z轴的第四旋转轴、第五旋转轴和第六旋转轴旋转时，标定板将基本处于图像 中心位置，因此可以提取到完整的标定板特征，故可以选取更大的预设角度，即选取角度更 大的拍摄位姿，减小偶然误差。
S32，对第四旋转轴、第五旋转轴和第六旋转轴重复执行步骤S14至步骤S15，获得 标定板坐标系与机器人基座坐标系之间的第二旋转平移关系
Figure 43654DEST_PATH_IMAGE011
；
S33，在缩小预设角度的情况下，根据标定板坐标系与机器人基座坐标系之间的第 二旋转平移关系
Figure 756395DEST_PATH_IMAGE011
，重复执行步骤S31至步骤S32，直到机器人所使用的拍摄角度为预设 角度的情况下，结束迭代。可选的，还可以设置最大迭代次数，在达到最大迭代次数后，若机 器人所使用的拍摄角度还不是预设角度，也停止迭代，防止无法收敛到预设角度的情形。
示例性的，预设角度为20度，在将预设角度缩小到5度时，获得
Figure 382286DEST_PATH_IMAGE005
，则说明要执行 步骤S31至步骤S33，根据
Figure 219792DEST_PATH_IMAGE005
求解出分别过标定板原点并平行于机器人基座坐标系三个轴 的第四旋转轴、第五旋转轴和第六旋转轴后，对求解出的这三个旋转轴重复执行步骤S14至 步骤S15，即控制机器人分别绕第四旋转轴、第五旋转轴和第六旋转轴顺时针和逆时针旋转 20度，在将预设角度缩小到10度时，获得标定板坐标系与机器人基座坐标系之间的第二旋 转平移关系
Figure 192427DEST_PATH_IMAGE011
，则重复执行步骤S31至步骤S32，根据
Figure 759675DEST_PATH_IMAGE011
求解出分别过标定板原点并平 行于机器人基座坐标系三个轴的旋转轴后，控制机器人分别绕该三个旋转轴顺时针和逆时 针旋转20度，获得标定板坐标系与机器人基座坐标系之间的第三旋转平移关系
Figure 526774DEST_PATH_IMAGE043
，即机 器人所使用的拍摄角度为预设角度，结束迭代，则机器人末端在标定板坐标系下的坐标
Figure DEST_PATH_IMAGE044
，随着迭代的进行，获得的
Figure 161497DEST_PATH_IMAGE045
将不断接近真值，使最终获得的眼在手上的标 定结果精度更高。
其中，眼在手上为相机安装在机器人末端，标定板固定在地上的情形，而眼在手外为相机固定在与地面固连的设备或支架上，标定板安装在机器人末端的情形，也可以通过上述方法获得眼在手外的标定结果，且由于在眼在手外的情形下，旋转预设角度后基本可以保证标定板不超出图像范围，因此无需进行迭代也可以获得很高的精度。
在其中一些实施例中，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐 标系与机器人基座坐标系之间的第一旋转平移关系
Figure 937823DEST_PATH_IMAGE005
包括：
根据若干个标定板到相机的旋转平移矩阵，分别获得第一旋转轴、第二旋转轴和第三旋转轴的旋转轴方向，中垂面方程和旋转半径，根据第一旋转轴、第二旋转轴和第三旋转轴的旋转轴方向，中垂面方程和旋转半径，分别获得第一旋转轴方程、第二旋转轴方程和第三旋转轴方程；
根据第一旋转轴方程、第二旋转轴方程和第三旋转轴方程，获得机器人末端到标 定板坐标系下的坐标，根据机器人末端到标定板坐标系下的坐标和机器人基座到标定板坐 标系的旋转矩阵
Figure 359577DEST_PATH_IMAGE046
，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 297577DEST_PATH_IMAGE005
。其中，得到三个旋转轴的直线方程后，可以求出到这三条直线距离之和最小的点，即 为旋转中心位置，亦即机器人末端到标定板坐标系下的坐标。
可选的，根据若干个标定板到相机的旋转平移矩阵，分别获得第一旋转轴、第二旋转轴和第三旋转轴的旋转轴方向，中垂面方程和旋转半径包括：
获取第一旋转轴对应的标定板到相机的旋转平移矩阵的相对旋转和相对平移，根据相对旋转和相对平移，获得第一旋转轴的旋转轴方向、中垂面方程和旋转半径；对第二旋转轴和第三旋转轴分别执行上述步骤，获得第二旋转轴和第三旋转轴的旋转轴方向，中垂面方程和旋转半径。
图4是根据本申请实施例的第一绕旋转轴旋转的示意图，如图4所示，点a表示旋转 中心，第一旋转轴为过a点垂直于该平面的直线，虚线ab为初始位姿，点A和点B表示两个取 图位姿，即从旋转中心分别向两个方向旋转了
Figure 437572DEST_PATH_IMAGE047
后的位姿，将绕第一旋转轴获取到的标定 板到相机的旋转平移矩阵分别记为
Figure 814326DEST_PATH_IMAGE029
和
Figure 730067DEST_PATH_IMAGE030
，根据
Figure 229182DEST_PATH_IMAGE029
和
Figure 731839DEST_PATH_IMAGE030
获取中垂面方 程，对
Figure 709022DEST_PATH_IMAGE029
和
Figure 980734DEST_PATH_IMAGE030
求相对旋转
Figure DEST_PATH_IMAGE048
，第一旋转轴的方向可由
Figure 854012DEST_PATH_IMAGE048
直接得出；对
Figure 345430DEST_PATH_IMAGE029
和
Figure 860725DEST_PATH_IMAGE030
求相对平移，根据相对平移的模长L及相对旋转角度
Figure 252523DEST_PATH_IMAGE049
，求出旋转半径R，再根据第一 旋转轴的旋转轴方向，中垂面方程和旋转半径即可获得第一旋转轴方程；本实施例中，在求 第一旋转轴方程时，仅在两个机器人位姿上采集标定板图像，但也可以选取更多的位姿，即 绕同一个轴旋转不同角度拍摄多张标定板图像，获取多个标定板到相机的旋转平移矩阵， 再进行拟合得到更精确的结果。
同理，对绕第二旋转轴获取到的标定板到相机的旋转平移矩阵
Figure 93440DEST_PATH_IMAGE031
和
Figure 570689DEST_PATH_IMAGE032
， 及绕第三旋转轴获取到的标定板到相机的旋转平移矩阵
Figure 827358DEST_PATH_IMAGE033
和
Figure 198296DEST_PATH_IMAGE034
做同样的处理，即 可得到第二旋转轴和第三旋转轴的旋转轴方向，中垂面方程和旋转半径。
在其中一些实施例中，根据第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 584016DEST_PATH_IMAGE001
包括；
根据标定板图像、相机内参和镜头畸变参数计算相机外参，得到标定板坐标系下 相机的位姿，进而获得若干个标定板坐标系下相机的位姿，对若干个标定板坐标系下相机 的位姿取平均，获得标定板到相机的旋转矩阵
Figure 142036DEST_PATH_IMAGE001
。
在其中一些实施例中，根据第一标定板图像组，获得机器人基座到标定板坐标系 的旋转矩阵
Figure 405659DEST_PATH_IMAGE012
包括：
根据第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线 方程，并分别获取直线方程的方向向量；根据直线方程的方向向量，获得机器人基座到标定 板坐标系的旋转矩阵
Figure 303208DEST_PATH_IMAGE012
。
可选的，沿用图2中的实施例，当机器人采集27个位姿上的标定板图像时，分别计 算每条由这27个坐标中的三个点拟合的平行于机器人基座坐标系每个轴的直线方程，对于 每个轴，分别有9条这样的直线，使用这些直线方程求方向向量的平均值，进而得到机器人 基座坐标系在标定板坐标系下的姿态，即机器人基座到标定板坐标系的旋转矩阵
Figure 485927DEST_PATH_IMAGE002
。
在其中一些实施例中，根据机器人姿态
Figure 672189DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转 矩阵
Figure 598557DEST_PATH_IMAGE012
、标定板到相机的旋转矩阵
Figure 55339DEST_PATH_IMAGE014
，获得机器人末端到相机的旋转矩阵
Figure 346643DEST_PATH_IMAGE004
包括：
由于在平移过程中机器人姿态
Figure 144835DEST_PATH_IMAGE003
不变，则机器人末端到标定板的旋转矩阵
Figure 750260DEST_PATH_IMAGE013
等于机器人基座到标定板坐标系的旋转矩阵
Figure 684718DEST_PATH_IMAGE015
和机器人姿态
Figure 84606DEST_PATH_IMAGE003
相乘，即
Figure DEST_PATH_IMAGE050
， 其中，机器人姿态
Figure 275154DEST_PATH_IMAGE003
为机器人末端到机器人的旋转矩阵，可由机器人系统直接得到。
同时平移过程中相机的姿态不变，则机器人末端到相机的旋转矩阵
Figure 215428DEST_PATH_IMAGE004
等于标定 板到相机的旋转矩阵
Figure 269972DEST_PATH_IMAGE001
和机器人末端到标定板的旋转矩阵
Figure 106341DEST_PATH_IMAGE013
相乘，即
Figure 347966DEST_PATH_IMAGE051
，其 中，相机的姿态为标定板到相机的旋转矩阵。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种机器人的手眼标定系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的机器人的手眼标定系统的结构框图，如图5所示，该系统包括控制模块51、获取模块52、标定模块53；
控制模块51，用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组；
获取模块52，用于根据第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 295194DEST_PATH_IMAGE001
以及 机器人基座到标定板坐标系的旋转矩阵
Figure 469823DEST_PATH_IMAGE012
，并根据机器人姿态
Figure 509717DEST_PATH_IMAGE003
、机器人基座到标定板 坐标系的旋转矩阵
Figure 645163DEST_PATH_IMAGE012
和标定板到相机的旋转矩阵
Figure 255136DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 894059DEST_PATH_IMAGE004
；
控制模块51，还用于控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组，其中，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
获取模块52，还用于根据第二标定板图像组，获得若干个标定板到相机的旋转平 移矩阵，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标 系之间的第一旋转平移关系
Figure 931285DEST_PATH_IMAGE005
；根据标定板坐标系与机器人基座坐标系之间的第一旋转 平移关系
Figure 554027DEST_PATH_IMAGE005
和机器人当前位置
Figure 138330DEST_PATH_IMAGE016
，获得机器人末端在标定板坐标系下的坐标
Figure 21972DEST_PATH_IMAGE007
；根据 标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 105466DEST_PATH_IMAGE007
，获得相机到机 器人末端的平移关系
Figure DEST_PATH_IMAGE052
；
标定模块53，用于根据机器人末端到相机的旋转矩阵
Figure 277821DEST_PATH_IMAGE004
和相机到机器人末端的 平移关系
Figure 104963DEST_PATH_IMAGE053
，获得机器人眼在手上的标定结果
Figure 843112DEST_PATH_IMAGE010
。
通过本实施例可以精确获得相机到机器人末端的旋转平移矩阵，仅需设定若干简单的几何参数即可自动生成机器人姿态队列，自动采集标定板图像并计算，且无需拆卸设备，使得现场标定过程更为简便，解决了相关技术中常规的手眼标定方法采用AX=XB或AX=YB两种模型求解相机与机器人末端的旋转平移关系时，存在求解不收敛以及准确率低的问题。
本申请实施例提供了一种机器人的手眼标定方法，应用于眼在手外的工况下，图6是根据本申请实施例的另一种机器人的手眼标定方法的流程图，如图6所示，该方法包括如下步骤：
S101，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据第一标定板 图像组，获得相机到机器人基座的旋转矩阵
Figure 587253DEST_PATH_IMAGE019
；
S102，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S103，控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；
S104，根据第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若 干个标定板到相机的旋转平移矩阵，获得机器人末端与相机坐标系之间的第一平移关系
Figure 715746DEST_PATH_IMAGE020
；
S105，根据机器人末端与相机坐标系之间的第一平移关系
Figure 471212DEST_PATH_IMAGE020
和机器人当前位置
Figure 204813DEST_PATH_IMAGE021
，获得相机到机器人基座的平移关系
Figure 426847DEST_PATH_IMAGE022
；
S106，根据相机到机器人基座的旋转矩阵
Figure 104953DEST_PATH_IMAGE019
和相机到机器人基座的平移关系
Figure 772433DEST_PATH_IMAGE022
，获得机器人眼在手外的标定结果
Figure 157278DEST_PATH_IMAGE023
。
通过步骤S101至步骤S106，相对于相关技术中，常规的手眼标定方法采用AX=XB或AX=YB两种模型求解相机与机器人末端的旋转平移关系时，存在求解不收敛以及准确率低的问题，解决了常规的手眼标定方法求解不收敛以及准确率低的问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的机器人的手眼标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种机器人的手眼标定方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人的手眼标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的手眼标定方法，其特征在于，应用于眼在手上的工况下，所述方法包括：
S11，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 433499DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 757164DEST_PATH_IMAGE002
；
S12，根据机器人姿态
Figure 68059DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 119061DEST_PATH_IMAGE004
和标定板到相机的旋转矩阵
Figure 199012DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 427999DEST_PATH_IMAGE005
；
S13，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S14，控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；
S15，根据所述第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 226191DEST_PATH_IMAGE006
；
S16，根据所述标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 80884DEST_PATH_IMAGE006
和机器人当前位置
Figure 15341DEST_PATH_IMAGE007
，获得机器人末端在标定板坐标系下的坐标
Figure 539864DEST_PATH_IMAGE008
；
S17，根据标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 700718DEST_PATH_IMAGE008
，获得相机到机器人末端的平移关系
Figure 968888DEST_PATH_IMAGE009
；
S18，根据所述机器人末端到相机的旋转矩阵
Figure 882486DEST_PATH_IMAGE005
和相机到机器人末端的平移关系
Figure 843489DEST_PATH_IMAGE010
，获得机器人眼在手上的标定结果
Figure 491639DEST_PATH_IMAGE011
。
2.根据权利要求1所述的方法，其特征在于，所述控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组之后，所述方法还包括：
判断所述第二标定板图像组中的标定板图像是否均包括完整的标定板特征，若判断结果为否，则缩小所述预设角度，重新采集所述第二标定板图像组，直到控制机器人绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转缩小后的预设角度的情况下，采集到的第二标定板图像组中的标定板图像均包括完整的标定板特征。
3.根据权利要求2所述的方法，其特征在于，在缩小所述预设角度的情况下，所述获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 297921DEST_PATH_IMAGE006
之后，所述方法还包括：
S31，根据所述标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 206971DEST_PATH_IMAGE006
，获得过标定板原点并分别平行于机器人基座坐标系X轴、Y轴和Z轴的第四旋转轴、第五旋转轴和第六旋转轴；
S32，对所述第四旋转轴、所述第五旋转轴和所述第六旋转轴重复执行步骤S14至步骤S15，获得标定板坐标系与机器人基座坐标系之间的第二旋转平移关系
Figure 197930DEST_PATH_IMAGE012
；
S33，在缩小所述预设角度的情况下，根据标定板坐标系与机器人基座坐标系之间的第二旋转平移关系
Figure 458010DEST_PATH_IMAGE012
，重复执行步骤S31至步骤S32，直到机器人所使用的拍摄角度为所述预设角度的情况下，结束迭代。
4.根据权利要求1所述的方法，其特征在于，所述根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 677770DEST_PATH_IMAGE006
包括：
根据若干个标定板到相机的旋转平移矩阵，分别获得所述第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径，根据第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径，分别获得第一旋转轴方程、第二旋转轴方程和第三旋转轴方程；
根据所述第一旋转轴方程、第二旋转轴方程和第三旋转轴方程，获得机器人末端到标定板坐标系下的坐标，根据所述机器人末端到标定板坐标系下的坐标和机器人基座到标定板坐标系的旋转矩阵
Figure 706906DEST_PATH_IMAGE013
，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 134345DEST_PATH_IMAGE006
。
5.根据权利要求4所述的方法，其特征在于，所述根据若干个标定板到相机的旋转平移矩阵，分别获得所述第一旋转轴、所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径包括：
S51，获取所述第一旋转轴对应的标定板到相机的旋转平移矩阵的相对旋转和相对平移，根据所述相对旋转和所述相对平移，获得所述第一旋转轴的旋转轴方向、中垂面方程和旋转半径；
对所述第二旋转轴和所述第三旋转轴分别执行步骤S51，获得所述第二旋转轴和所述第三旋转轴的旋转轴方向，中垂面方程和旋转半径。
6.根据权利要求1所述的方法，其特征在于，根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 350563DEST_PATH_IMAGE014
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标系下相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的旋转矩阵
Figure 764226DEST_PATH_IMAGE001
。
7.根据权利要求1所述的方法，其特征在于，根据所述第一标定板图像组，获得机器人基座到标定板坐标系的旋转矩阵
Figure 523235DEST_PATH_IMAGE015
包括：
根据所述第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线方程，并分别获取所述直线方程的方向向量；
根据所述直线方程的方向向量，获得机器人基座到标定板坐标系的旋转矩阵
Figure 731362DEST_PATH_IMAGE016
。
8.根据权利要求1所述的方法，其特征在于，所述根据机器人姿态
Figure 825089DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转矩阵
Figure 776865DEST_PATH_IMAGE016
、标定板到相机的旋转矩阵
Figure 655959DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 34988DEST_PATH_IMAGE005
包括：
根据机器人姿态
Figure 491377DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转矩阵
Figure 371477DEST_PATH_IMAGE016
，获得机器人末端到标定板的旋转矩阵
Figure 698553DEST_PATH_IMAGE017
；
根据标定板到相机的旋转矩阵
Figure 389429DEST_PATH_IMAGE001
和机器人末端到标定板的旋转矩阵
Figure 333114DEST_PATH_IMAGE017
，获得机器人末端到相机的旋转矩阵
Figure 626692DEST_PATH_IMAGE005
。
9.一种机器人的手眼标定系统，其特征在于，所述系统包括控制模块、获取模块、标定模块，
所述控制模块，用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组；
所述获取模块，用于根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 464067DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 184898DEST_PATH_IMAGE018
，并根据机器人姿态
Figure 491246DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 322936DEST_PATH_IMAGE013
和标定板到相机的旋转矩阵
Figure 280396DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 172129DEST_PATH_IMAGE005
；
所述控制模块，还用于控制机器人分别绕第一旋转轴、第二旋转轴和第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组，其中，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
所述获取模块，还用于根据所述第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若干个标定板到相机的旋转平移矩阵，获得标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 824827DEST_PATH_IMAGE006
；根据所述标定板坐标系与机器人基座坐标系之间的第一旋转平移关系
Figure 601153DEST_PATH_IMAGE006
和机器人当前位置
Figure 22907DEST_PATH_IMAGE007
，获得机器人末端在标定板坐标系下的坐标
Figure 475754DEST_PATH_IMAGE008
；根据标定板到相机的旋转平移矩阵和机器人末端在标定板坐标系下的坐标
Figure 615748DEST_PATH_IMAGE008
，获得相机到机器人末端的平移关系
Figure 195765DEST_PATH_IMAGE019
；
所述标定模块，用于根据所述机器人末端到相机的旋转矩阵
Figure 737605DEST_PATH_IMAGE005
和相机到机器人末端的平移关系
Figure 361354DEST_PATH_IMAGE020
，获得机器人眼在手上的标定结果
Figure 988644DEST_PATH_IMAGE011
。
10.一种机器人的手眼标定方法，其特征在于，应用于眼在手外的工况下，所述方法包括：
S101，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据所述第一标定板图像组，获得相机到机器人基座的旋转矩阵
Figure 106773DEST_PATH_IMAGE021
；
S102，将过机器人末端且平行于机器人基座坐标系X轴的轴记为第一旋转轴，将过机器人末端且平行于机器人基座坐标系Y轴的轴记为第二旋转轴，将过机器人末端且平行于机器人基座坐标系Z轴的轴记为第三旋转轴；
S103，控制机器人分别绕所述第一旋转轴、所述第二旋转轴和所述第三旋转轴顺时针和逆时针旋转预设角度，并分别在对应的机器人位姿上采集第二标定板图像组；
S104，根据所述第二标定板图像组，获得若干个标定板到相机的旋转平移矩阵，根据若干个标定板到相机的旋转平移矩阵，获得机器人末端与相机坐标系之间的第一平移关系
Figure 503119DEST_PATH_IMAGE022
；
S105，根据所述机器人末端与相机坐标系之间的第一平移关系
Figure 32189DEST_PATH_IMAGE022
和机器人当前位置
Figure 146776DEST_PATH_IMAGE023
，获得相机到机器人基座的平移关系
Figure 803016DEST_PATH_IMAGE024
；
S106，根据所述相机到机器人基座的旋转矩阵
Figure 319448DEST_PATH_IMAGE021
和所述相机到机器人基座的平移关系
Figure 284999DEST_PATH_IMAGE024
，获得机器人眼在手外的标定结果
Figure 886882DEST_PATH_IMAGE025
。
CN202210165145.1A 2022-02-23 2022-02-23 机器人的手眼标定方法和系统 Active CN114227700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210165145.1A CN114227700B (zh) 2022-02-23 2022-02-23 机器人的手眼标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210165145.1A CN114227700B (zh) 2022-02-23 2022-02-23 机器人的手眼标定方法和系统

Publications (2)

Publication Number Publication Date
CN114227700A CN114227700A (zh) 2022-03-25
CN114227700B true CN114227700B (zh) 2022-05-20

Family

ID=80747907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210165145.1A Active CN114227700B (zh) 2022-02-23 2022-02-23 机器人的手眼标定方法和系统

Country Status (1)

Country Link
CN (1) CN114227700B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833822B (zh) * 2022-03-31 2023-09-19 西安航天时代精密机电有限公司 一种机器人的快速手眼标定方法
CN115781698B (zh) * 2023-02-06 2023-04-04 广东省科学院智能制造研究所 分层式手眼标定机器人运动位姿自动生成方法、系统、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964332B1 (ko) * 2017-10-13 2019-07-31 재단법인대구경북과학기술원 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템
CN110640747A (zh) * 2019-11-07 2020-01-03 上海电气集团股份有限公司 机器人的手眼标定方法、系统、电子设备和存储介质
CN110717943A (zh) * 2019-09-05 2020-01-21 中北大学 用于二维平面的眼在手上机械手手眼标定方法及系统
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN113635311A (zh) * 2021-10-18 2021-11-12 杭州灵西机器人智能科技有限公司 固定标定板的眼在手外标定方法和系统
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN114029982A (zh) * 2021-12-21 2022-02-11 苏州全视智能光电有限公司 一种相机在机器臂外的手眼标定装置及其标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964332B1 (ko) * 2017-10-13 2019-07-31 재단법인대구경북과학기술원 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템
CN110717943A (zh) * 2019-09-05 2020-01-21 中北大学 用于二维平面的眼在手上机械手手眼标定方法及系统
CN110640747A (zh) * 2019-11-07 2020-01-03 上海电气集团股份有限公司 机器人的手眼标定方法、系统、电子设备和存储介质
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN113635311A (zh) * 2021-10-18 2021-11-12 杭州灵西机器人智能科技有限公司 固定标定板的眼在手外标定方法和系统
CN114029982A (zh) * 2021-12-21 2022-02-11 苏州全视智能光电有限公司 一种相机在机器臂外的手眼标定装置及其标定方法

Also Published As

Publication number Publication date
CN114227700A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114227700B (zh) 机器人的手眼标定方法和系统
CN108346165B (zh) 机器人与三维传感组件联合标定方法与装置
CN114147728B (zh) 通用的机器人眼在手上标定方法和系统
CN108171759A (zh) 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN111390901B (zh) 机械臂自动标定方法以及标定装置
TW202023767A (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN109325980B (zh) 一种用于机械手定位目标的方法、装置及机械手
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN113920206B (zh) 透视移轴相机的标定方法
CN114012731A (zh) 手眼标定方法、装置、计算机设备和存储介质
WO2020181506A1 (zh) 一种图像处理方法、装置及系统
CN115457147A (zh) 相机标定方法、电子设备及存储介质
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
CN112330749A (zh) 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN113256735B (zh) 一种基于双目标定的相机标定方法和系统
JP5235842B2 (ja) 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体
CN110163922B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN111591474B (zh) 一种航天器在轨操作系统对准式手眼标定方法
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN109389645A (zh) 相机自校准方法、系统、相机、机器人及云端服务器
CN113822949A (zh) 一种双目相机的标定方法、装置及可读存储介质
CN113645456A (zh) 投影图像校正方法、投影系统及可读存储介质
CN113255662A (zh) 一种基于视觉成像的定位矫正方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant