CN114147728A - 通用的机器人眼在手上标定方法和系统 - Google Patents

通用的机器人眼在手上标定方法和系统 Download PDF

Info

Publication number
CN114147728A
CN114147728A CN202210116083.5A CN202210116083A CN114147728A CN 114147728 A CN114147728 A CN 114147728A CN 202210116083 A CN202210116083 A CN 202210116083A CN 114147728 A CN114147728 A CN 114147728A
Authority
CN
China
Prior art keywords
robot
calibration plate
coordinate system
calibration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210116083.5A
Other languages
English (en)
Other versions
CN114147728B (zh
Inventor
王灿
郭骏杰
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202210116083.5A priority Critical patent/CN114147728B/zh
Publication of CN114147728A publication Critical patent/CN114147728A/zh
Application granted granted Critical
Publication of CN114147728B publication Critical patent/CN114147728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本申请涉及一种通用的机器人眼在手上标定方法和系统，通过控制机器人沿机器人基座坐标系拍摄第一标定板图像组，获得机器人末端到相机的旋转矩阵
Figure 120240DEST_PATH_IMAGE001
，控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组，获取若干个标定板坐标系下相机的位姿，并进行三维圆拟合获得圆心
Figure 846888DEST_PATH_IMAGE002
，将旋转轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 683257DEST_PATH_IMAGE003
，相机、机器人末端在机器人基座坐标系下的位置分别记为
Figure 456040DEST_PATH_IMAGE004
和
Figure 872109DEST_PATH_IMAGE005
，根据
Figure 46739DEST_PATH_IMAGE006
、
Figure 599816DEST_PATH_IMAGE007
、
Figure 735262DEST_PATH_IMAGE008
和
Figure 345235DEST_PATH_IMAGE009
，获得相机到机器人末端的平移矩阵
Figure 249737DEST_PATH_IMAGE010
，通过
Figure 286963DEST_PATH_IMAGE001
和
Figure 644126DEST_PATH_IMAGE010
即可得到机器人眼在手上的标定结果，解决了常规方法对SCARA机器人求解不收敛的问题，且步骤更为简便。

Description

通用的机器人眼在手上标定方法和系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及通用的机器人眼在手上标定方法和系统。
背景技术
在机器视觉领域，机器人需要根据视觉系统给出的信号进行相应的路径规划等操作，而机器人坐标系统与视觉坐标系统又为两个独立的模块，所以需要通过对机器人进行标定获取机器人坐标系和相机坐标系的旋转平移关系。
在相关技术中，眼在手上的标定过程为相机固定在机器人末端，标定板固定在地上，控制机器人到达不同位姿后，相机拍摄不同位姿下的标定板图像，再通过AX=XB或AX=YB两种模型求解相机与机器人末端的旋转平移关系，即可完成标定，但这两种模型的线性求解方法仅适用于六轴机器人，而对于SCARA机器人，这两种模型的线性求解方法存在无穷多解；而使用更传统的标定针尖的戳点法在操作时需要多次拆装和标定针尖和作业工具，步骤较为繁琐。
目前针对相关技术中使用常规的眼在手上标定方法时，对SCARA机器人求解不收敛，使用标定针尖的戳点法时，步骤繁琐的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种通用的机器人眼在手上标定方法和系统，以至少解决相关技术中使用常规的眼在手上标定方法时，对SCARA机器人求解不收敛，使用标定针尖的戳点法时，步骤繁琐的问题。
第一方面，本申请实施例提供了一种通用的机器人眼在手上标定方法，所述方法包括：
控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，所述第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像；
根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 133051DEST_PATH_IMAGE001
以及机器人基座 到标定板坐标系的旋转矩阵
Figure 278380DEST_PATH_IMAGE002
；
根据机器人姿态
Figure 618226DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 224787DEST_PATH_IMAGE004
和标定板到相 机的旋转矩阵
Figure 749310DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 706901DEST_PATH_IMAGE005
；
控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
根据所述第二标定板图像组，获得若干个标定板坐标系下相机的位姿，根据所述 若干个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 381596DEST_PATH_IMAGE006
；
将旋转轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 45927DEST_PATH_IMAGE007
，相机在 机器人基座坐标系下的位置记为
Figure 679034DEST_PATH_IMAGE008
，机器人末端在机器人基座坐标系下的位置记为
Figure 186238DEST_PATH_IMAGE009
；
获取
Figure 864957DEST_PATH_IMAGE010
和
Figure 39586DEST_PATH_IMAGE011
，根据标定板到相机的旋转矩阵
Figure 578015DEST_PATH_IMAGE001
、机器人基座 到标定板坐标系的旋转矩阵
Figure 713461DEST_PATH_IMAGE002
、
Figure 323434DEST_PATH_IMAGE010
和
Figure 227936DEST_PATH_IMAGE011
，获得相机到机器人末端的平 移矩阵
Figure 265162DEST_PATH_IMAGE012
；
根据所述机器人末端到相机的旋转矩阵
Figure 887905DEST_PATH_IMAGE005
和相机到机器人末端的平移矩阵
Figure 301569DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果。
在其中一些实施例中，根据所述第一标定板图像组，获得标定板到相机的旋转矩 阵
Figure 60577DEST_PATH_IMAGE001
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标 系下相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的 旋转矩阵
Figure 534284DEST_PATH_IMAGE013
。
在其中一些实施例中，根据所述第一标定板图像组，获得机器人基座到标定板坐 标系的旋转矩阵
Figure 378743DEST_PATH_IMAGE014
包括：
根据所述第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线方程，并分别获取所述直线方程的方向向量；
根据所述直线方程的方向向量，获得机器人基座到标定板坐标系的旋转矩阵
Figure 330518DEST_PATH_IMAGE015
。
在其中一些实施例中，所述根据机器人姿态
Figure 209613DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的 旋转矩阵
Figure 323062DEST_PATH_IMAGE016
、标定板到相机的旋转矩阵
Figure 646029DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 401495DEST_PATH_IMAGE005
包 括：
根据机器人姿态
Figure 931833DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转矩阵
Figure 357130DEST_PATH_IMAGE017
，获得机器人 末端到标定板的旋转矩阵
Figure 972919DEST_PATH_IMAGE018
；
根据标定板到相机的旋转矩阵
Figure 918DEST_PATH_IMAGE001
和机器人末端到标定板的旋转矩阵
Figure 589025DEST_PATH_IMAGE018
，获得 机器人末端到相机的旋转矩阵
Figure 575436DEST_PATH_IMAGE005
。
在其中一些实施例中，所述获取
Figure 881783DEST_PATH_IMAGE010
包括：
控制机器人平移，使得工具接触标定板平面预设范围内的
Figure 979052DEST_PATH_IMAGE019
点，获取当前机器人 姿态
Figure 421666DEST_PATH_IMAGE020
；
控制机器人末端沿机器人基座坐标系Z轴向上平移，拍摄标定板图像并获得当前 机器人姿态
Figure 578978DEST_PATH_IMAGE021
；
根据所述标定板图像进行外参标定，获得标定板坐标系下的向量
Figure 372621DEST_PATH_IMAGE022
，所述标定 板坐标系下的向量
Figure 8002DEST_PATH_IMAGE022
左乘
Figure 364510DEST_PATH_IMAGE023
，获得机器人基座坐标系下的向量
Figure 895985DEST_PATH_IMAGE024
，其中，
Figure 911346DEST_PATH_IMAGE025
为标定板坐标系原点；
根据机器人姿态
Figure 615996DEST_PATH_IMAGE020
、机器人姿态
Figure 829940DEST_PATH_IMAGE021
和工具标定结果，获得机器人基座坐标系下的 向量
Figure 204421DEST_PATH_IMAGE026
，根据
Figure 831711DEST_PATH_IMAGE026
和
Figure 418681DEST_PATH_IMAGE024
获得
Figure 346186DEST_PATH_IMAGE010
。
在其中一些实施例中，所述控制机器人沿机器人基座坐标系拍摄第一标定板图像组之前，所述方法还包括：
获取相机内参、镜头畸变参数以及工具标定结果，其中，所述工具标定结果为工具与机器人末端的平移关系。
第二方面，本申请实施例提供了一种通用的机器人眼在手上标定系统，所述系统包括控制模块、获取模块、拟合模块和标定模块，
所述控制模块，用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，所述第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像，并控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
所述获取模块，用于根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 625989DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 740575DEST_PATH_IMAGE002
，并根据机器人姿态
Figure 396816DEST_PATH_IMAGE003
、机器人基 座到标定板坐标系的旋转矩阵
Figure 913248DEST_PATH_IMAGE002
和标定板到相机的旋转矩阵
Figure 629531DEST_PATH_IMAGE001
，获得机器人末端到相 机的旋转矩阵
Figure 231414DEST_PATH_IMAGE005
；
所述拟合模块，用于根据所述第二标定板图像组，获得若干个标定板坐标系下相 机的位姿，根据所述若干个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 694275DEST_PATH_IMAGE027
，将 旋转轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 737317DEST_PATH_IMAGE007
，相机在机器人基座 坐标系下的位置记为
Figure 749135DEST_PATH_IMAGE008
，机器人末端在机器人基座坐标系下的位置记为
Figure 448101DEST_PATH_IMAGE009
，获取
Figure 836357DEST_PATH_IMAGE010
和
Figure 671589DEST_PATH_IMAGE011
，根据标定板到相机的旋转矩阵
Figure 854309DEST_PATH_IMAGE013
、机器人基座到标定板坐标系的旋转 矩阵
Figure 306150DEST_PATH_IMAGE002
、
Figure 232517DEST_PATH_IMAGE010
和
Figure 984573DEST_PATH_IMAGE011
，获得相机到机器人末端的平移矩阵
Figure 479139DEST_PATH_IMAGE012
；
所述标定模块，用于根据所述机器人末端到相机的旋转矩阵
Figure 11752DEST_PATH_IMAGE005
和相机到机器人 末端的平移矩阵
Figure 83088DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果。
在其中一些实施例中，根据所述第一标定板图像组，获得标定板到相机的旋转矩 阵
Figure 892913DEST_PATH_IMAGE001
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标 系下相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的 旋转矩阵
Figure 683014DEST_PATH_IMAGE001
。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的通用的机器人眼在手上标定方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的通用的机器人眼在手上标定方法。
相比于相关技术，本申请实施例提供的通用的机器人眼在手上标定方法，通过控 制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，第一标定板图像组包括在机 器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像；根据第一 标定板图像组，获得标定板到相机的旋转矩阵
Figure 578289DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转 矩阵
Figure 112038DEST_PATH_IMAGE028
；根据机器人姿态
Figure 41948DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 737372DEST_PATH_IMAGE028
和标定板到 相机的旋转矩阵
Figure 385522DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 457383DEST_PATH_IMAGE005
；控制机器人末端与相机作 为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二 标定板图像组；根据第二标定板图像组，获得若干个标定板坐标系下相机的位姿，根据若干 个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 38537DEST_PATH_IMAGE029
；将旋转轴上与机器人末端在 机器人基座坐标系下相同高度的点记为
Figure 45807DEST_PATH_IMAGE007
，相机在机器人基座坐标系下的位置记为
Figure 40308DEST_PATH_IMAGE008
，机 器人末端在机器人基座坐标系下的位置记为
Figure 525647DEST_PATH_IMAGE009
；获取
Figure 554783DEST_PATH_IMAGE010
和
Figure 294524DEST_PATH_IMAGE011
，根据标定 板到相机的旋转矩阵
Figure 714004DEST_PATH_IMAGE001
、机器人基座到标定板坐标系的旋转矩阵
Figure 127668DEST_PATH_IMAGE002
、
Figure 886676DEST_PATH_IMAGE010
和
Figure 94804DEST_PATH_IMAGE011
，获得相机到机器人末端的平移矩阵
Figure 939263DEST_PATH_IMAGE012
；根据机器人末端到相机的旋转矩 阵
Figure 891039DEST_PATH_IMAGE005
和相机到机器人末端的平移矩阵
Figure 504554DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果，解决了常 规方法对SCARA机器人求解不收敛的情形，同时仍适用于六自由度以上的机器人，且相较于 需要采集多个随机位姿的纯视觉手眼模型以及使用标定针尖的戳点法，其步骤更为简便。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的通用的机器人眼在手上标定方法的流程图;
图2是根据本申请实施例的长方体阵列的示意图；
图3是根据本申请实施例的绕轴旋转的示意图；
图4是根据本申请第一实施例的平移分量求解模型的示意图；
图5是根据本申请第二实施例的平移分量求解模型的示意图；
图6是根据本申请实施例的通用的机器人眼在手上标定系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种通用的机器人眼在手上标定方法，图1是根据本申请实施例的通用的机器人眼在手上标定方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像。
本实施例中，将标定板放置在工作区域中部，控制机器人携带相机走到合适位置，使得标定板处于相机视野中央，且四周留有一定余量，控制机器人在当前位置，即机器人基座坐标系的原点拍摄标定板图像，再控制机器人分别平移到X轴、Y轴和Z轴的方向上至少各拍摄一张标定板图像，得到第一标定板图像组。
可选的，图2是根据本申请实施例的长方体阵列的示意图，如图2所示，控制机器人携带相机走到合适位置后，以当前机器人位姿为中心，设计一个长方体阵列，使得长方体的三条边分别与机器人基座坐标系的三个轴平行，长方体的每条边都设置有3个位姿点，位姿点之间的间距可以不相等，共有27个位姿点，机器人位于这27个位姿上时，相机均能完整拍摄到标定板，控制机器人以一定顺序在这27个位姿上分别拍摄标定板图像并保存，得到第一标定板图像组。
步骤S102，根据第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 149162DEST_PATH_IMAGE001
以及机器 人基座到标定板坐标系的旋转矩阵
Figure 480917DEST_PATH_IMAGE002
；
步骤S103，根据机器人姿态
Figure 236383DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 969984DEST_PATH_IMAGE004
和 标定板到相机的旋转矩阵
Figure 785493DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 338966DEST_PATH_IMAGE005
；
步骤S104，控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
本实施例中，图3是根据本申请实施例的绕轴旋转的示意图，如图3所示，保持步骤S101中标定板的位置不变，控制机器人携带相机移动到合适位置，使得标定板处在相机视野中央位置，将与机器人基座坐标系Z轴平行的轴作为旋转轴，并在旋转轴上选取一个旋转中心，使得机器人末端与相机作为一个刚性的整体绕过该旋转中心旋转，在旋转的过程中，每隔一定的角度拍摄标定板图像，得到第二标定板图像组。
步骤S105，根据第二标定板图像组，获得若干个标定板坐标系下相机的位姿，根据 若干个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 898123DEST_PATH_IMAGE030
；
步骤S106，将旋转轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 280038DEST_PATH_IMAGE007
，相机在机器人基座坐标系下的位置记为
Figure 141815DEST_PATH_IMAGE008
，机器人末端在机器人基座坐标系下的位置 记为
Figure 572796DEST_PATH_IMAGE009
；
步骤S107，获取
Figure 545432DEST_PATH_IMAGE010
和
Figure 112679DEST_PATH_IMAGE011
，根据标定板到相机的旋转矩阵
Figure 879778DEST_PATH_IMAGE001
、机 器人基座到标定板坐标系的旋转矩阵
Figure 532476DEST_PATH_IMAGE014
、
Figure 105540DEST_PATH_IMAGE010
和
Figure 668240DEST_PATH_IMAGE011
，获得相机到机器人 末端的平移矩阵
Figure 730873DEST_PATH_IMAGE012
；
图4是根据本申请第一实施例的平移分量求解模型的示意图，如图4所示，
Figure 746234DEST_PATH_IMAGE007
为旋 转中心，
Figure 185306DEST_PATH_IMAGE031
为相机到旋转中心的向量，圆心
Figure 399249DEST_PATH_IMAGE032
与旋转中心
Figure 776660DEST_PATH_IMAGE007
同在旋转轴上，则
Figure 403950DEST_PATH_IMAGE010
的模长即
Figure 522079DEST_PATH_IMAGE033
在机器人基座坐标系下的Z分量，而
Figure 184004DEST_PATH_IMAGE011
即
Figure 729386DEST_PATH_IMAGE033
在机器人基座 坐标系下XY平面内的分量。
步骤S108，根据机器人末端到相机的旋转矩阵
Figure 312814DEST_PATH_IMAGE005
和相机到机器人末端的平移矩 阵
Figure 31372DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果。本实施例中，根据机器人末端到相机的旋转矩阵
Figure 423170DEST_PATH_IMAGE005
和相机到机器人末端的平移矩阵
Figure 998508DEST_PATH_IMAGE012
，获得相机到机器人末端的旋转平移矩阵，即眼 在手上的标定结果。
通过步骤S101至步骤S108，相对于相关技术中眼在手上的标定方法通过AX=XB或 AX=YB两种模型求解相机与机器人末端的旋转平移关系，对于SCARA机器人求解不收敛的问 题，且这两种模型的标定方法需要人为选取较多的随机位姿进行采图，过程繁琐，且受人为 因素影响较大，结果不稳定，以及通过标定针尖的戳点法进行标定时，过程繁琐的问题，本 实施例通过控制机器人沿机器人基座坐标系拍摄第一标定板图像组，根据第一标定板图像 组，求出标定板到相机的旋转矩阵
Figure 210177DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 794742DEST_PATH_IMAGE002
， 再根据机器人姿态
Figure 41047DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 52865DEST_PATH_IMAGE004
和标定板到相机的旋 转矩阵
Figure 17410DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 140087DEST_PATH_IMAGE005
，控制机器人末端与相机作为一个刚 性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图 像组，获取若干个标定板坐标系下相机的位姿，并进行三维圆拟合获得圆心
Figure 503548DEST_PATH_IMAGE032
，将旋转轴 上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 686267DEST_PATH_IMAGE007
，相机、机器人末端在机器人 基座坐标系下的位置分别记为
Figure 669267DEST_PATH_IMAGE008
和
Figure 798897DEST_PATH_IMAGE009
，根据标定板到相机的旋转矩阵
Figure 816532DEST_PATH_IMAGE001
、机器人基座到 标定板坐标系的旋转矩阵
Figure 45519DEST_PATH_IMAGE002
、
Figure 843710DEST_PATH_IMAGE010
和
Figure 449135DEST_PATH_IMAGE011
，获得相机到机器人末端的平移 矩阵
Figure 649172DEST_PATH_IMAGE012
，即可得到机器人眼在手上的标定结果，即本实施例提供了一种通用的机器人眼 在手上标定方法，解决了常规方法对SCARA机器人求解不收敛的情形，同时仍适用于六自由 度以上的机器人，且相较于需要采集多个随机位姿的纯视觉手眼模型以及使用标定针尖的 戳点法，其步骤更为简便。
在其中一些实施例中，根据第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 49061DEST_PATH_IMAGE001
包括；
根据标定板图像、相机内参和镜头畸变参数计算相机外参，得到标定板坐标系下 相机的位姿，进而获得若干个标定板坐标系下相机的位姿，对若干个标定板坐标系下相机 的位姿取平均，获得标定板到相机的旋转矩阵
Figure 334549DEST_PATH_IMAGE001
。
在其中一些实施例中，根据第一标定板图像组，获得机器人基座到标定板坐标系 的旋转矩阵
Figure 743665DEST_PATH_IMAGE002
包括：
根据第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线 方程，并分别获取直线方程的方向向量；根据直线方程的方向向量，获得机器人基座到标定 板坐标系的旋转矩阵
Figure 798208DEST_PATH_IMAGE002
。
可选的，沿用图2中的实施例，当机器人采集27个位姿上的标定板图像时，分别计 算每条由这27个坐标中的三个点拟合的平行于机器人基座坐标系每个轴的直线方程，对于 每个轴，分别有9条这样的直线，使用这些直线方程求方向向量的平均值，进而得到机器人 基座坐标系在标定板坐标系下的姿态，即机器人基座到标定板坐标系的旋转矩阵
Figure 368998DEST_PATH_IMAGE004
。
在其中一些实施例中，根据机器人姿态
Figure 876203DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转 矩阵
Figure 814641DEST_PATH_IMAGE002
、标定板到相机的旋转矩阵
Figure 723691DEST_PATH_IMAGE013
，获得机器人末端到相机的旋转矩阵
Figure 730961DEST_PATH_IMAGE005
包括：
由于在平移过程中机器人姿态
Figure 725462DEST_PATH_IMAGE003
不变，则机器人末端到标定板的旋转矩阵
Figure 273118DEST_PATH_IMAGE018
等于机器人基座到标定板坐标系的旋转矩阵
Figure 912041DEST_PATH_IMAGE014
和机器人姿态
Figure 214846DEST_PATH_IMAGE003
相乘，即
Figure 572010DEST_PATH_IMAGE034
，其中，机器人姿态
Figure 985673DEST_PATH_IMAGE003
为机器人末端到机器人的旋转矩阵，可由机器人 系统直接得到。
同时平移过程中相机的姿态不变，则机器人末端到相机的旋转矩阵
Figure 744682DEST_PATH_IMAGE005
等于标定 板到相机的旋转矩阵
Figure 218389DEST_PATH_IMAGE001
和机器人末端到标定板的旋转矩阵
Figure 62848DEST_PATH_IMAGE018
相乘，即
Figure 280203DEST_PATH_IMAGE035
，其中，相机的姿态为标定板到相机的旋转矩阵。
在其中一些实施例中，图5是根据本申请第二实施例的平移分量求解模型的示意 图，如图5所示，获取
Figure 893718DEST_PATH_IMAGE010
包括：保持标定板位置不动，控制机器人平移，使得工具基本对 准并几乎接触标定板平面预设范围内的
Figure 538326DEST_PATH_IMAGE019
点，
Figure 601572DEST_PATH_IMAGE019
尽量靠近标定板原点
Figure 357038DEST_PATH_IMAGE036
，获取当前机器 人姿态
Figure 90639DEST_PATH_IMAGE020
，即法兰
Figure 640569DEST_PATH_IMAGE037
在机器人基座坐标系下的位姿；
控制机器人末端沿机器人基座坐标系Z轴向上平移，使得相机可拍摄到标定板，拍 摄标定板图像并获得当前机器人姿态
Figure 459621DEST_PATH_IMAGE021
，即法兰
Figure 690882DEST_PATH_IMAGE038
在机器人基座坐标系下的位姿；
根据标定板图像进行外参标定，获得标定板坐标系下的向量
Figure 403623DEST_PATH_IMAGE022
，标定板坐标系 下的向量
Figure 265400DEST_PATH_IMAGE022
左乘
Figure 165223DEST_PATH_IMAGE023
，获得机器人基座坐标系下的向量
Figure 137858DEST_PATH_IMAGE024
，其中，
Figure 970685DEST_PATH_IMAGE025
为标定 板坐标系原点；
根据机器人姿态
Figure 3363DEST_PATH_IMAGE020
、机器人姿态
Figure 656061DEST_PATH_IMAGE021
和工具标定结果，获得
Figure 432387DEST_PATH_IMAGE039
和
Figure 794754DEST_PATH_IMAGE040
，则机器人基座坐标系下的向量
Figure 122967DEST_PATH_IMAGE026
为
Figure 138328DEST_PATH_IMAGE041
与
Figure 311820DEST_PATH_IMAGE042
相加，则
Figure 729026DEST_PATH_IMAGE010
的模长通过下述公式1得到：
Figure 228140DEST_PATH_IMAGE043
公式1
其中，
Figure 730797DEST_PATH_IMAGE044
指在机器人基座坐标系下，Z指机器人基座坐标系下的Z分量，则
Figure 973560DEST_PATH_IMAGE045
；使用约等号是由于标定板平面与机器人基座平面不一定 完全平行，当
Figure 245272DEST_PATH_IMAGE046
与
Figure 587392DEST_PATH_IMAGE025
不重合时两者可能存在一定的高度差，故要求
Figure 701978DEST_PATH_IMAGE046
尽量靠近标定板原 点
Figure 623798DEST_PATH_IMAGE025
。
在其中一些实施例中，控制机器人沿机器人基座坐标系拍摄第一标定板图像组之前，对相机进行单目标定，获取相机内参和镜头畸变参数，获取工具标定结果，其中，工具标定结果为工具与机器人末端的平移关系。本实施例中，工具是用来抓取工件，用于设备作业的，与相机一块固定在机器人末端上。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种通用的机器人眼在手上标定系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的通用的机器人眼在手上标定系统的结构框图，如图6所示，该系统包括系统包括控制模块61、获取模块62、拟合模块63和标定模块64，
控制模块61用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像，并控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
获取模块62用于根据第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 874651DEST_PATH_IMAGE013
以及 机器人基座到标定板坐标系的旋转矩阵
Figure 325355DEST_PATH_IMAGE002
，并根据机器人姿态
Figure 927237DEST_PATH_IMAGE003
、机器人基座到标定 板坐标系的旋转矩阵
Figure 180977DEST_PATH_IMAGE002
和标定板到相机的旋转矩阵
Figure 161702DEST_PATH_IMAGE013
，获得机器人末端到相机的旋转 矩阵
Figure 173520DEST_PATH_IMAGE005
；
拟合模块63用于根据第二标定板图像组，获得若干个标定板坐标系下相机的位 姿，根据若干个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 138065DEST_PATH_IMAGE032
，将旋转轴上与 机器人末端在机器人基座坐标系下相同高度的点记为
Figure 932846DEST_PATH_IMAGE007
，相机在机器人基座坐标系下的 位置记为
Figure 158291DEST_PATH_IMAGE008
，机器人末端在机器人基座坐标系下的位置记为
Figure 216377DEST_PATH_IMAGE009
，获取
Figure 527273DEST_PATH_IMAGE010
和
Figure 125744DEST_PATH_IMAGE011
，根据标定板到相机的旋转矩阵
Figure 346641DEST_PATH_IMAGE001
、机器人基座到标定板坐标系的旋转 矩阵
Figure 434683DEST_PATH_IMAGE015
、
Figure 108241DEST_PATH_IMAGE010
和
Figure 838299DEST_PATH_IMAGE011
，获得相机到机器人末端的平移矩阵
Figure 928351DEST_PATH_IMAGE012
；
标定模块64用于根据机器人末端到相机的旋转矩阵
Figure 452873DEST_PATH_IMAGE005
和相机到机器人末端的 平移矩阵
Figure 410465DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果。
通过本实施可以精确获得相机到机器人末端的旋转平移矩阵，仅需设定若干简单的几何参数即可自动生成机器人姿态队列，自动采集标定板图像并计算，且无需拆卸设备运行时在机器人末端安装的工具即可完成手眼标定，使得现场标定过程更为简便，解决了常规方法对SCARA机器人求解不收敛的情形，同时仍适用于六自由度以上的机器人，且相较于需要采集多个随机位姿的纯视觉手眼模型以及使用标定针尖的戳点法，其步骤更为简便。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的通用的机器人眼在手上标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种通用的机器人眼在手上标定方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种通用的机器人眼在手上标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种通用的机器人眼在手上标定方法，其特征在于，所述方法包括：
控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，所述第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像；
根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 556881DEST_PATH_IMAGE001
以及机器人基座到标 定板坐标系的旋转矩阵
Figure 5180DEST_PATH_IMAGE002
；
根据机器人姿态
Figure 925863DEST_PATH_IMAGE003
、机器人基座到标定板坐标系的旋转矩阵
Figure 852230DEST_PATH_IMAGE002
和标定板到相机的 旋转矩阵
Figure 70198DEST_PATH_IMAGE001
，获得机器人末端到相机的旋转矩阵
Figure 95922DEST_PATH_IMAGE004
；
控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
根据所述第二标定板图像组，获得若干个标定板坐标系下相机的位姿，根据所述若干 个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 894114DEST_PATH_IMAGE005
；
将旋转轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 499539DEST_PATH_IMAGE006
，相机在机器人 基座坐标系下的位置记为
Figure 699576DEST_PATH_IMAGE007
，机器人末端在机器人基座坐标系下的位置记为
Figure 833885DEST_PATH_IMAGE008
；
获取
Figure 119373DEST_PATH_IMAGE009
和
Figure 262910DEST_PATH_IMAGE010
，根据标定板到相机的旋转矩阵
Figure 317453DEST_PATH_IMAGE001
、机器人基座到标定 板坐标系的旋转矩阵
Figure 153822DEST_PATH_IMAGE011
、
Figure 598710DEST_PATH_IMAGE009
和
Figure 404992DEST_PATH_IMAGE010
，获得相机到机器人末端的平移矩阵
Figure 454988DEST_PATH_IMAGE012
；
根据所述机器人末端到相机的旋转矩阵
Figure 321313DEST_PATH_IMAGE004
和相机到机器人末端的平移矩阵
Figure 447970DEST_PATH_IMAGE012
，获 得机器人眼在手上的标定结果。
2.根据权利要求1所述的方法，其特征在于，根据所述第一标定板图像组，获得标定板 到相机的旋转矩阵
Figure 57943DEST_PATH_IMAGE013
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标系下 相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的旋转 矩阵
Figure 962445DEST_PATH_IMAGE001
。
3.根据权利要求1所述的方法，其特征在于，根据所述第一标定板图像组，获得机器人 基座到标定板坐标系的旋转矩阵
Figure 265250DEST_PATH_IMAGE011
包括：
根据所述第一标定板图像组，分别获取平行于机器人基座坐标系X轴、Y轴和Z轴的直线方程，并分别获取所述直线方程的方向向量；
根据所述直线方程的方向向量，获得机器人基座到标定板坐标系的旋转矩阵
Figure 622413DEST_PATH_IMAGE014
。
4.根据权利要求1所述的方法，其特征在于，所述根据机器人姿态
Figure 36077DEST_PATH_IMAGE003
和机器人基座到 标定板坐标系的旋转矩阵
Figure 529506DEST_PATH_IMAGE011
、标定板到相机的旋转矩阵
Figure 3213DEST_PATH_IMAGE001
，获得机器人末端到相机的 旋转矩阵
Figure 847672DEST_PATH_IMAGE004
包括：
根据机器人姿态
Figure 471552DEST_PATH_IMAGE003
和机器人基座到标定板坐标系的旋转矩阵
Figure 475280DEST_PATH_IMAGE011
，获得机器人末端 到标定板的旋转矩阵
Figure 729675DEST_PATH_IMAGE015
；
根据标定板到相机的旋转矩阵
Figure 186064DEST_PATH_IMAGE001
和机器人末端到标定板的旋转矩阵
Figure 816896DEST_PATH_IMAGE015
，获得机器 人末端到相机的旋转矩阵
Figure 409552DEST_PATH_IMAGE004
。
5.根据权利要求1所述的方法，其特征在于，所述获取
Figure 97498DEST_PATH_IMAGE009
包括：
控制机器人平移，使得工具接触标定板平面预设范围内的
Figure 41183DEST_PATH_IMAGE016
点，获取当前机器人姿态
Figure 475706DEST_PATH_IMAGE017
；
控制机器人末端沿机器人基座坐标系Z轴向上平移，拍摄标定板图像并获得当前机器 人姿态
Figure 188447DEST_PATH_IMAGE018
；
根据所述标定板图像进行外参标定，获得标定板坐标系下的向量
Figure 784645DEST_PATH_IMAGE019
，所述标定板坐 标系下的向量
Figure 887730DEST_PATH_IMAGE019
左乘
Figure 984999DEST_PATH_IMAGE020
，获得机器人基座坐标系下的向量
Figure 693192DEST_PATH_IMAGE021
，其中，
Figure 584925DEST_PATH_IMAGE022
为 标定板坐标系原点；
根据机器人姿态
Figure 378568DEST_PATH_IMAGE017
、机器人姿态
Figure 279528DEST_PATH_IMAGE018
和工具标定结果，获得机器人基座坐标系下的向量
Figure 576649DEST_PATH_IMAGE023
，根据
Figure 904862DEST_PATH_IMAGE023
和
Figure 920222DEST_PATH_IMAGE021
获得
Figure 624873DEST_PATH_IMAGE009
。
6.根据权利要求1所述的方法，其特征在于，所述控制机器人沿机器人基座坐标系拍摄第一标定板图像组之前，所述方法还包括：
获取相机内参、镜头畸变参数以及工具标定结果，其中，所述工具标定结果为工具与机器人末端的平移关系。
7.一种通用的机器人眼在手上标定系统，其特征在于，所述系统包括控制模块、获取模块、拟合模块和标定模块，
所述控制模块，用于控制机器人沿机器人基座坐标系拍摄第一标定板图像组，其中，所述第一标定板图像组包括在机器人基座坐标系的原点、X轴、Y轴和Z轴的方向上至少各拍摄的一张标定板图像，并控制机器人末端与相机作为一个刚性的整体绕与机器人基座坐标系Z轴平行的轴旋转，并拍摄若干个位姿下的第二标定板图像组；
所述获取模块，用于根据所述第一标定板图像组，获得标定板到相机的旋转矩阵
Figure 45009DEST_PATH_IMAGE001
以及机器人基座到标定板坐标系的旋转矩阵
Figure 544123DEST_PATH_IMAGE002
，并根据机器人姿态
Figure 46780DEST_PATH_IMAGE003
、机器人基座到 标定板坐标系的旋转矩阵
Figure 289542DEST_PATH_IMAGE024
和标定板到相机的旋转矩阵
Figure 561255DEST_PATH_IMAGE001
，获得机器人末端到相机的 旋转矩阵
Figure 231271DEST_PATH_IMAGE004
；
所述拟合模块，用于根据所述第二标定板图像组，获得若干个标定板坐标系下相机的 位姿，根据所述若干个标定板坐标系下相机的位姿，进行三维圆拟合获得圆心
Figure 221223DEST_PATH_IMAGE005
，将旋转 轴上与机器人末端在机器人基座坐标系下相同高度的点记为
Figure 2098DEST_PATH_IMAGE006
，相机在机器人基座坐标 系下的位置记为
Figure 393896DEST_PATH_IMAGE007
，机器人末端在机器人基座坐标系下的位置记为
Figure 234813DEST_PATH_IMAGE008
，获取
Figure 712062DEST_PATH_IMAGE009
和
Figure 31048DEST_PATH_IMAGE010
，根据标定板到相机的旋转矩阵
Figure 277352DEST_PATH_IMAGE001
、机器人基座到标定板坐标系的旋转 矩阵
Figure 289171DEST_PATH_IMAGE025
、
Figure 988136DEST_PATH_IMAGE009
和
Figure 376392DEST_PATH_IMAGE010
，获得相机到机器人末端的平移矩阵
Figure 474274DEST_PATH_IMAGE012
；
所述标定模块，用于根据所述机器人末端到相机的旋转矩阵
Figure 656994DEST_PATH_IMAGE004
和相机到机器人末端 的平移矩阵
Figure 905572DEST_PATH_IMAGE012
，获得机器人眼在手上的标定结果。
8.根据权利要求7所述的系统，其特征在于，根据所述第一标定板图像组，获得标定板 到相机的旋转矩阵
Figure 707306DEST_PATH_IMAGE013
包括；
根据所述第一标定板图像组、相机内参和镜头畸变参数，获得若干个标定板坐标系下 相机的位姿，对所述若干个标定板坐标系下相机的位姿取平均，获得标定板到相机的旋转 矩阵
Figure 787258DEST_PATH_IMAGE001
。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的通用的机器人眼在手上标定方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的通用的机器人眼在手上标定方法。
CN202210116083.5A 2022-02-07 2022-02-07 通用的机器人眼在手上标定方法和系统 Active CN114147728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210116083.5A CN114147728B (zh) 2022-02-07 2022-02-07 通用的机器人眼在手上标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210116083.5A CN114147728B (zh) 2022-02-07 2022-02-07 通用的机器人眼在手上标定方法和系统

Publications (2)

Publication Number Publication Date
CN114147728A true CN114147728A (zh) 2022-03-08
CN114147728B CN114147728B (zh) 2022-05-06

Family

ID=80450366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210116083.5A Active CN114147728B (zh) 2022-02-07 2022-02-07 通用的机器人眼在手上标定方法和系统

Country Status (1)

Country Link
CN (1) CN114147728B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833822A (zh) * 2022-03-31 2022-08-02 西安航天精密机电研究所 一种机器人的快速手眼标定方法
CN114917975A (zh) * 2022-05-17 2022-08-19 中国科学院沈阳自动化研究所 一种机器人末端移液装置及机器人移液控制方法
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
US20120143370A1 (en) * 2010-12-03 2012-06-07 Industrial Technology Research Institute Robot positioning method and calibration method
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
CN106228534A (zh) * 2016-07-08 2016-12-14 众趣（北京）科技有限公司 一种基于约束全局优化的转轴和相机间关系标定方法
CN109064400A (zh) * 2018-07-25 2018-12-21 博众精工科技股份有限公司 三维点云拼接方法、装置及系统
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
WO2020063059A1 (zh) * 2018-09-28 2020-04-02 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN112318506A (zh) * 2020-10-28 2021-02-05 上海交通大学医学院附属第九人民医院 机械臂自动标定方法、装置、设备、机械臂和介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN113146633A (zh) * 2021-04-23 2021-07-23 无锡信捷电气股份有限公司 一种基于自动贴盒系统的高精度手眼标定方法
CN113362396A (zh) * 2021-06-21 2021-09-07 上海仙工智能科技有限公司 一种移动机器人3d手眼标定方法及装置
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
US20210387345A1 (en) * 2020-06-11 2021-12-16 Delta Electronics, Inc. Coordinate calibration method of manipulator

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
US20120143370A1 (en) * 2010-12-03 2012-06-07 Industrial Technology Research Institute Robot positioning method and calibration method
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
CN106228534A (zh) * 2016-07-08 2016-12-14 众趣（北京）科技有限公司 一种基于约束全局优化的转轴和相机间关系标定方法
CN109064400A (zh) * 2018-07-25 2018-12-21 博众精工科技股份有限公司 三维点云拼接方法、装置及系统
WO2020063059A1 (zh) * 2018-09-28 2020-04-02 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
US20210387345A1 (en) * 2020-06-11 2021-12-16 Delta Electronics, Inc. Coordinate calibration method of manipulator
CN112318506A (zh) * 2020-10-28 2021-02-05 上海交通大学医学院附属第九人民医院 机械臂自动标定方法、装置、设备、机械臂和介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN113146633A (zh) * 2021-04-23 2021-07-23 无锡信捷电气股份有限公司 一种基于自动贴盒系统的高精度手眼标定方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN113362396A (zh) * 2021-06-21 2021-09-07 上海仙工智能科技有限公司 一种移动机器人3d手眼标定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张学民等: "基于机器人的两步法相机标定", 《机械制造与自动化》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833822A (zh) * 2022-03-31 2022-08-02 西安航天精密机电研究所 一种机器人的快速手眼标定方法
CN114833822B (zh) * 2022-03-31 2023-09-19 西安航天时代精密机电有限公司 一种机器人的快速手眼标定方法
CN114917975A (zh) * 2022-05-17 2022-08-19 中国科学院沈阳自动化研究所 一种机器人末端移液装置及机器人移液控制方法
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114147728B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN114147728B (zh) 通用的机器人眼在手上标定方法和系统
CN111791227B (zh) 机器人手眼标定方法、装置及机器人
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
JP4835616B2 (ja) 動作教示システム及び動作教示方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN112171666B (zh) 视觉机器人的位姿标定方法及装置、视觉机器人、介质
US11090810B2 (en) Robot system
WO2020024178A1 (zh) 一种手眼标定方法、系统及计算机存储介质
JP7035657B2 (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
CN114012731B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN114227700B (zh) 机器人的手眼标定方法和系统
CN111973212B (zh) 参数标定方法和参数标定装置
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111438688A (zh) 机器人校正方法、装置、计算机设备及存储介质
CN111791226A (zh) 通过机器人实现组装的方法、装置及机器人
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
CN111445521A (zh) 目标工件位置确定方法、装置、终端及可读存储介质
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
CN110853102B (zh) 一种新的机器人视觉标定及引导方法、装置及计算机设备
CN109945780A (zh) 物体检查系统以及物体检查方法
CN111591474A (zh) 一种航天器在轨操作系统对准式手眼标定方法
CN112489133A (zh) 手眼系统的标定方法、装置及设备
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant