CN113635311B - 固定标定板的眼在手外标定方法和系统 - Google Patents

固定标定板的眼在手外标定方法和系统 Download PDF

Info

Publication number
CN113635311B
CN113635311B CN202111207184.5A CN202111207184A CN113635311B CN 113635311 B CN113635311 B CN 113635311B CN 202111207184 A CN202111207184 A CN 202111207184A CN 113635311 B CN113635311 B CN 113635311B
Authority
CN
China
Prior art keywords
camera
calibration
hand
eye
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111207184.5A
Other languages
English (en)
Other versions
CN113635311A (zh
Inventor
王灿
郭骏杰
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202111207184.5A priority Critical patent/CN113635311B/zh
Publication of CN113635311A publication Critical patent/CN113635311A/zh
Application granted granted Critical
Publication of CN113635311B publication Critical patent/CN113635311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本申请涉及一种固定标定板的眼在手外标定方法和系统，通过获取眼在手上工况下手眼标定的标定结果
Figure 100004_DEST_PATH_IMAGE002
，其中，
Figure 118657DEST_PATH_IMAGE002
表示第一相机到机械臂末端的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure 100004_DEST_PATH_IMAGE004
和第二相机到第一相机的旋转平移矩阵
Figure 100004_DEST_PATH_IMAGE006
；根据标定结果
Figure 356871DEST_PATH_IMAGE002
、机械臂位姿
Figure 127381DEST_PATH_IMAGE004
和第二相机到第一相机的旋转平移矩阵
Figure 959726DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure 100004_DEST_PATH_IMAGE008
，其中，
Figure 550108DEST_PATH_IMAGE008
表示第二相机到机械臂基座的旋转平移矩阵，即将一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准确率。

Description

固定标定板的眼在手外标定方法和系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及固定标定板的眼在手外标定方法和系统。
背景技术
在机器视觉领域，机械臂需要根据视觉系统给出的信号进行相应的路径规划等操作，而机械臂坐标系统与视觉坐标系统又为两个独立的模块，所以需要通过对机械臂进行手眼标定获取机械臂坐标系和相机坐标系的旋转平移矩阵；在相关技术中，手眼标定分为眼在手上和眼在手外，眼在手外的标定过程为相机固定在与地面固连的设备或支架上，在机械臂末端安装标定板，控制机械臂到达不同位姿后，相机拍摄不同位姿下的标定板图像，再通过手眼模型确定相机与机械臂基座的旋转平移矩阵，即可完成标定，但是由于标定板本身及其与机械臂末端间的连接件刚度不足，容易出现标定结果误差较大的情况。
目前针对相关技术中眼在手外的手眼标定，由于标定板本身及其与机械臂末端间的连接件刚度不足，导致标定结果误差较大的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种固定标定板的眼在手外标定方法和系统，以至少解决相关技术中眼在手外的手眼标定，由于标定板本身及其与机械臂末端间的连接件刚度不足，导致标定结果误差较大的问题。
第一方面，本申请实施例提供了一种固定标定板的眼在手外标定方法，所述方法包括：
获取眼在手上工况下手眼标定的标定结果
Figure DEST_PATH_IMAGE001
，其中，
Figure 782406DEST_PATH_IMAGE001
表示第一相机到 机械臂末端的旋转平移矩阵；
在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目系统的位姿 的情况下，获取机械臂位姿
Figure 100002_DEST_PATH_IMAGE002
和所述第二相机到所述第一相机的旋转平移矩阵
Figure DEST_PATH_IMAGE003
；
根据所述标定结果
Figure 558601DEST_PATH_IMAGE001
、所述机械臂位姿
Figure 869497DEST_PATH_IMAGE002
和所述第二相机到所述第一相 机的旋转平移矩阵
Figure 657849DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 100002_DEST_PATH_IMAGE004
，其中，
Figure 65696DEST_PATH_IMAGE004
表示第二相机到机 械臂基座的旋转平移矩阵。
在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果
Figure 684896DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 748667DEST_PATH_IMAGE001
，其 中，A表示标定板到第一相机的转换矩阵
Figure DEST_PATH_IMAGE005
，X表示机械臂基座到标定板的转换矩阵
Figure 100002_DEST_PATH_IMAGE006
，Y表示机械臂末端到第一相机的转换矩阵
Figure 100002_DEST_PATH_IMAGE007
，B表示机械臂基座到机械臂末端的 转换矩阵
Figure DEST_PATH_IMAGE008
。
在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果
Figure 340710DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 806327DEST_PATH_IMAGE001
，其 中，A表示两个位姿下，机械臂末端的转换矩阵
Figure 100002_DEST_PATH_IMAGE009
，B表示两个位姿下，第一相机的转换 矩阵
Figure DEST_PATH_IMAGE010
，X表示机械臂末端到第一相机的转换矩阵
Figure 649956DEST_PATH_IMAGE007
。
在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 669864DEST_PATH_IMAGE003
包括：
对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相 机的旋转平移矩阵
Figure 938035DEST_PATH_IMAGE003
。
在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 992578DEST_PATH_IMAGE003
包括：
分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转 换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 628615DEST_PATH_IMAGE003
。
第二方面，本申请实施例提供了一种固定标定板的眼在手外标定系统，所述系统包括手眼标定模块、双目标定模块和计算模块，
所述手眼标定模块，用于获取眼在手上工况下手眼标定的标定结果
Figure 198136DEST_PATH_IMAGE001
，其中，
Figure 535577DEST_PATH_IMAGE001
表示第一相机到机械臂末端的旋转平移矩阵；
所述双目标定模块，用于在第二相机固定于与地面固连的设备上，机械臂固定在 适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure 975785DEST_PATH_IMAGE002
和所述第二相机到所述第一相 机的旋转平移矩阵
Figure 842110DEST_PATH_IMAGE003
；
所述计算模块，用于根据所述标定结果
Figure 102190DEST_PATH_IMAGE001
、所述机械臂位姿
Figure 508901DEST_PATH_IMAGE002
和所述第 二相机到所述第一相机的旋转平移矩阵
Figure 538037DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 840842DEST_PATH_IMAGE004
，其中，
Figure 322639DEST_PATH_IMAGE004
表示第二相机到机械臂基座的旋转平移矩阵。
在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标 定结果
Figure 739233DEST_PATH_IMAGE001
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标 定结果
Figure 622875DEST_PATH_IMAGE001
，其中，A表示标定板到第一相机的转换矩阵
Figure 96582DEST_PATH_IMAGE005
，X表示机械臂基座到标定 板的转换矩阵
Figure 65675DEST_PATH_IMAGE006
，Y表示机械臂末端到第一相机的转换矩阵
Figure 17450DEST_PATH_IMAGE007
，B表示机械臂基座到 机械臂末端的转换矩阵
Figure 755599DEST_PATH_IMAGE008
。
在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标 定结果
Figure 400207DEST_PATH_IMAGE001
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标 定结果
Figure 856596DEST_PATH_IMAGE001
，其中，A表示两个位姿下，机械臂末端的转换矩阵
Figure 612062DEST_PATH_IMAGE009
，B表示两个位姿 下，第一相机的转换矩阵
Figure 204718DEST_PATH_IMAGE010
，X表示机械臂末端到第一相机的转换矩阵
Figure 20227DEST_PATH_IMAGE007
。
在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机 的旋转平移矩阵
Figure 963912DEST_PATH_IMAGE003
包括：
所述双目标定模块对所述第一相机和所述第二相机进行双目标定，获取所述第二 相机到所述第一相机的旋转平移矩阵
Figure 257490DEST_PATH_IMAGE003
。
在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机 的旋转平移矩阵
Figure 970231DEST_PATH_IMAGE003
包括：
所述双目标定模块分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转 换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 691063DEST_PATH_IMAGE003
。
相比于相关技术，本申请实施例提供的固定标定板的眼在手外标定方法，通过获 取眼在手上工况下手眼标定的标定结果
Figure 122044DEST_PATH_IMAGE001
，其中，
Figure 219313DEST_PATH_IMAGE001
表示第一相机到机械臂末端 的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目系 统的位姿的情况下，获取机械臂位姿
Figure 66788DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 958521DEST_PATH_IMAGE003
； 根据标定结果
Figure 611219DEST_PATH_IMAGE001
、机械臂位姿
Figure 512179DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 933933DEST_PATH_IMAGE003
， 获得眼在手外的标定结果
Figure 262146DEST_PATH_IMAGE004
，即将一个眼在手外标定问题拆解为一个眼在手上标定问 题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准 确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术中的眼在手外的示意图；
图2是根据本申请实施例的固定标定板的眼在手外标定方法的流程图；
图3是根据本申请实施例的眼在手上的示意图；
图4是根据本申请实施例的固定标定板的眼在手外的示意图；
图5是根据本申请实施例的AX=YB模型的示意图；
图6是根据本申请实施例的AX=XB模型的示意图；
图7是根据本申请实施例的固定标定板的眼在手外标定系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1是根据相关技术中的眼在手外的示意图，如图1所示，相机固定在与地面固连 的设备或支架上，机械臂末端安装标定板，控制机械臂到达不同位姿后，相机拍摄不同位姿 下的标定板图像，通过标定板图像和手眼模型即可确定相机与机械臂基座的旋转平移矩阵
Figure 402141DEST_PATH_IMAGE004
，即完成标定，但是由于标定板本身及其与机械臂末端间的连接件刚度不足，容易出 现标定结果误差较大的情况。
在视野较大的场景下，为保证标定精度，标定板也需要做得比较大，一方面不便于安装在机械臂上（受到负载和机械结构的限制），另一方面会进一步加剧机械臂不同姿态下，标定板自身产生的变化，或标定板与机械臂末端间的相对位置发生偏移，从而降低标定精度。
本实施例提供了一种固定标定板的眼在手外标定方法，用于解决上述问题，图2是根据本申请实施例的固定标定板的眼在手外标定方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，获取眼在手上工况下手眼标定的标定结果
Figure 106791DEST_PATH_IMAGE001
，其中，
Figure 648631DEST_PATH_IMAGE001
表示第 一相机到机械臂末端的旋转平移矩阵；本实施例中，图3是根据本申请实施例的眼在手上的 示意图，如图3所示，眼在手上工况下，标定板固定在地上，第一相机CamA固定在机械臂末端 附近，随机械臂运动，用于拍摄不同位姿下标定板的图像，从而得出手上工况下手眼标定的 标定结果
Figure 147746DEST_PATH_IMAGE001
。
步骤S202，在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目 系统的位姿的情况下，获取机械臂位姿
Figure 509457DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 752219DEST_PATH_IMAGE003
；本实施例中，图4是根据本申请实施例的固定标定板的眼在手外的示意图，如图4所 示，在眼在手上工况的基础上，将第二相机固定于与地面固连的设备上，使第一相机和第二 相机处于大致相同的高度，并拥有一个较大的公共视野区域，即机械臂固定在适于标定双 目系统的位姿，并获取此时机械臂位姿
Figure 945303DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 349740DEST_PATH_IMAGE003
，其中，
Figure 100002_DEST_PATH_IMAGE011
表示机械臂末端到机械臂基座的旋转平移矩阵。
步骤S203，根据标定结果
Figure 995485DEST_PATH_IMAGE001
、机械臂位姿
Figure 779289DEST_PATH_IMAGE002
和第二相机到第一相机的旋 转平移矩阵
Figure 295721DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 136638DEST_PATH_IMAGE004
，其中，
Figure 738520DEST_PATH_IMAGE004
表示第二相机到机械臂基 座的旋转平移矩阵。本实施例中，眼在手外的标定结果
Figure 323086DEST_PATH_IMAGE004
通过如下公式1求出：
Figure DEST_PATH_IMAGE012
公式1
相对于相关技术中，眼在手外的手眼标定需要将相机固定在与地面固连的设备 上，在机械臂末端安装标定板，控制机械臂到达不同位姿，相机拍摄不同位姿下的标定板图 像，再通过手眼模型确定相机与机械臂基座的旋转平移矩阵
Figure 959603DEST_PATH_IMAGE004
，但由于标定板的体积和 重量较大，导致眼在手外的标定结果存在误差。
而本申请的实施例中，通过步骤S201至步骤S203，将标定板固定在地上，第一相机 固定在机械臂末端，获取眼在手上的标定结果
Figure 971422DEST_PATH_IMAGE001
后，将第二相机固定于与地面固连的 设备上，机械臂固定在适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure 795021DEST_PATH_IMAGE002
和第二 相机到第一相机的旋转平移矩阵
Figure 183277DEST_PATH_IMAGE003
，即可获得眼在手外的标定结果
Figure 143143DEST_PATH_IMAGE004
，即将一个眼 在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定 结果的误差，提高了眼在手外标定结果的准确率。
在其中一些实施例中，图5是根据本申请实施例的AX=YB模型的示意图，如图5所 示，获取眼在手上工况下手眼标定的标定结果
Figure 325863DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取标定结果
Figure 902337DEST_PATH_IMAGE001
，其中，A 表示标定板到第一相机的转换矩阵
Figure 828705DEST_PATH_IMAGE005
，由第一相机标定系统给出（已知），X表示机械臂 基座到标定板的转换矩阵
Figure 908657DEST_PATH_IMAGE006
，为待求解项，Y表示机械臂末端到第一相机的转换矩阵
Figure 262277DEST_PATH_IMAGE007
，为待求解项，B表示机械臂基座到机械臂末端的转换矩阵
Figure 60469DEST_PATH_IMAGE008
，由机械臂系统给 出（已知），由机械臂带动第一相机在不同位姿下拍摄标定板图像，根据标定板图像和AX=YB 模型求出待求解项X和Y，即求出机械臂末端到第一相机的转换矩阵
Figure 793458DEST_PATH_IMAGE007
后，即可得到
Figure 727915DEST_PATH_IMAGE001
。
在其中一些实施例中，图6是根据本申请实施例的AX=XB模型的示意图，如图6所 示，获取眼在手上工况下手眼标定的标定结果
Figure 518017DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取标定结果
Figure 537926DEST_PATH_IMAGE001
，其中，A 表示两个位姿下，机械臂末端的转换矩阵
Figure 806096DEST_PATH_IMAGE009
，由机械臂位姿数据计算得到，B表示两个 位姿下，第一相机的转换矩阵
Figure 860640DEST_PATH_IMAGE010
，由标定板图像计算得到，X表示机械臂末端到第一相 机的转换矩阵
Figure 821642DEST_PATH_IMAGE007
，由机械臂带动第一相机在不同位姿下拍摄标定板图像，根据标定板 图像和AX=XB模型求出待求解项X，即求出机械臂末端到第一相机的转换矩阵
Figure 328847DEST_PATH_IMAGE007
后，即 可得到
Figure 135129DEST_PATH_IMAGE001
。
在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵
Figure 309758DEST_PATH_IMAGE003
包括：对第 一相机和第二相机进行双目标定，获取第二相机到第一相机的旋转平移矩阵
Figure 176083DEST_PATH_IMAGE003
。其中， 双目标定是指两台相机之间相互位置的标定，即第一相机相对于第二相机的平移向量和旋 转矩阵。
在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵
Figure 436163DEST_PATH_IMAGE003
包括：分别 对第一相机和第二相机进行外参标定，获得同一位置下的标定板分别与第一相机和第二相 机的坐标系转换关系；再根据同一位置下的标定板分别与第一相机和第二相机的坐标系转 换关系，求解出两台相机之间的坐标转换关系，即获取第二相机到第一相机的旋转平移矩 阵
Figure 46136DEST_PATH_IMAGE003
。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种固定标定板的眼在手外标定系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的固定标定板的眼在手外标定系统的结构框图，如图7所 示，该系统包括手眼标定模块71、双目标定模块72和计算模块73，手眼标定模块71用于获取 眼在手上工况下手眼标定的标定结果
Figure 809693DEST_PATH_IMAGE001
，其中，
Figure 846919DEST_PATH_IMAGE001
表示第一相机到机械臂末端的 旋转平移矩阵；双目标定模块72用于在第二相机固定于与地面固连的设备上，机械臂固定 在适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure 594295DEST_PATH_IMAGE002
和第二相机到第一相机的旋 转平移矩阵
Figure 7959DEST_PATH_IMAGE003
；计算模块73用于根据标定结果
Figure 626022DEST_PATH_IMAGE001
、机械臂位姿
Figure 102658DEST_PATH_IMAGE002
和第二相机 到第一相机的旋转平移矩阵
Figure 71751DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 23527DEST_PATH_IMAGE004
，其中，
Figure 27255DEST_PATH_IMAGE004
表示第二 相机到机械臂基座的旋转平移矩阵，即将一个眼在手外标定问题拆解为一个眼在手上标定 问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的 准确率。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的固定标定板的眼在手外标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种固定标定板的眼在手外标定方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种固定标定板的眼在手外标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种固定标定板的眼在手外标定方法，其特征在于，所述方法包括：
获取眼在手上工况下手眼标定的标定结果
Figure DEST_PATH_IMAGE002
，其中，
Figure 792409DEST_PATH_IMAGE002
表示第一相机到机械臂末端的旋转平移矩阵；
在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure DEST_PATH_IMAGE004
和所述第二相机到所述第一相机的旋转平移矩阵
Figure DEST_PATH_IMAGE006
；
根据所述标定结果
Figure 594143DEST_PATH_IMAGE002
、所述机械臂位姿
Figure DEST_PATH_IMAGE007
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 346198DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure DEST_PATH_IMAGE009
，其中，
Figure 106344DEST_PATH_IMAGE009
表示第二相机到机械臂基座的旋转平移矩阵。
2.根据权利要求1所述的方法，其特征在于，获取眼在手上工况下手眼标定的标定结果
Figure 839289DEST_PATH_IMAGE002
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 710293DEST_PATH_IMAGE002
，其中，A表示标定板到第一相机的转换矩阵
Figure DEST_PATH_IMAGE011
，X表示机械臂基座到标定板的转换矩阵
Figure DEST_PATH_IMAGE013
，Y表示机械臂末端到第一相机的转换矩阵
Figure DEST_PATH_IMAGE015
，B表示机械臂基座到机械臂末端的转换矩阵
Figure DEST_PATH_IMAGE017
。
3.根据权利要求1所述的方法，其特征在于，获取眼在手上工况下手眼标定的标定结果
Figure 254538DEST_PATH_IMAGE002
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 716744DEST_PATH_IMAGE002
，其中，A表示两个位姿下，机械臂末端的转换矩阵
Figure DEST_PATH_IMAGE019
，B表示两个位姿下，第一相机的转换矩阵
Figure DEST_PATH_IMAGE021
，X表示机械臂末端到第一相机的转换矩阵
Figure 143177DEST_PATH_IMAGE015
。
4.根据权利要求1所述的方法，其特征在于，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 349030DEST_PATH_IMAGE006
包括：
对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 606836DEST_PATH_IMAGE006
。
5.根据权利要求1所述的方法，其特征在于，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 505522DEST_PATH_IMAGE006
包括：
分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 215989DEST_PATH_IMAGE006
。
6.一种固定标定板的眼在手外标定系统，其特征在于，所述系统包括手眼标定模块、双目标定模块和计算模块，
所述手眼标定模块，用于获取眼在手上工况下手眼标定的标定结果
Figure 959954DEST_PATH_IMAGE002
，其中，
Figure 63478DEST_PATH_IMAGE002
表示第一相机到机械臂末端的旋转平移矩阵；
所述双目标定模块，用于在第二相机固定于与地面固连的设备上，机械臂固定在适于标定双目系统的位姿的情况下，获取机械臂位姿
Figure DEST_PATH_IMAGE022
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 601906DEST_PATH_IMAGE006
；
所述计算模块，用于根据所述标定结果
Figure 799670DEST_PATH_IMAGE002
、所述机械臂位姿
Figure 347326DEST_PATH_IMAGE022
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 579724DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure 820212DEST_PATH_IMAGE009
，其中，
Figure 239692DEST_PATH_IMAGE009
表示第二相机到机械臂基座的旋转平移矩阵。
7.根据权利要求6所述的系统，其特征在于，所述手眼标定模块用于获取眼在手上工况下手眼标定的标定结果
Figure 856618DEST_PATH_IMAGE002
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 677944DEST_PATH_IMAGE002
，其中，A表示标定板到第一相机的转换矩阵
Figure 354913DEST_PATH_IMAGE011
，X表示机械臂基座到标定板的转换矩阵
Figure 261689DEST_PATH_IMAGE013
，Y表示机械臂末端到第一相机的转换矩阵
Figure 885568DEST_PATH_IMAGE015
，B表示机械臂基座到机械臂末端的转换矩阵
Figure 826980DEST_PATH_IMAGE017
。
8.根据权利要求6所述的系统，其特征在于，所述手眼标定模块用于获取眼在手上工况下手眼标定的标定结果
Figure 674850DEST_PATH_IMAGE002
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 68922DEST_PATH_IMAGE002
，其中，A表示两个位姿下，机械臂末端的转换矩阵
Figure 762072DEST_PATH_IMAGE019
，B表示两个位姿下，第一相机的转换矩阵
Figure 557989DEST_PATH_IMAGE021
，X表示机械臂末端到第一相机的转换矩阵
Figure 311182DEST_PATH_IMAGE015
。
9.根据权利要求6所述的系统，其特征在于，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 189620DEST_PATH_IMAGE006
包括：
所述双目标定模块对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 686461DEST_PATH_IMAGE006
。
10.根据权利要求6所述的系统，其特征在于，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 602464DEST_PATH_IMAGE006
包括：
所述双目标定模块分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 260979DEST_PATH_IMAGE006
。
CN202111207184.5A 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统 Active CN113635311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207184.5A CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207184.5A CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Publications (2)

Publication Number Publication Date
CN113635311A CN113635311A (zh) 2021-11-12
CN113635311B true CN113635311B (zh) 2021-12-31

Family

ID=78427227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207184.5A Active CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Country Status (1)

Country Link
CN (1) CN113635311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113814987B (zh) * 2021-11-24 2022-06-03 季华实验室 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114516055B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN115070779B (zh) * 2022-08-22 2023-03-24 菲特（天津）检测技术有限公司 机器人抓取控制方法、系统及电子设备
CN115383749B (zh) * 2022-10-25 2023-03-24 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489132A (zh) * 2020-11-13 2021-03-12 复旦大学 一种大尺寸物体测量机器人标定系统及方法
CN113276115A (zh) * 2021-05-21 2021-08-20 南京航空航天大学 一种无需机器人运动的手眼标定方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100526024C (zh) * 2007-12-07 2009-08-12 北京航空航天大学 一种机器人延伸手眼标定方法
WO2012076038A1 (en) * 2010-12-06 2012-06-14 Abb Research Ltd. A method for calibrating a robot unit, a computer unit, a robot unit and use of a robot unit
US9807292B2 (en) * 2015-06-30 2017-10-31 Abb Schweiz Ag Technologies for pan tilt unit calibration
CN107369184B (zh) * 2017-06-23 2020-02-28 中国科学院自动化研究所 混合双目工业机器人系统同步标定方法及其它装置
DE102018101162B4 (de) * 2018-01-19 2023-09-21 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
TWI711910B (zh) * 2018-03-19 2020-12-01 達明機器人股份有限公司 機器手臂校正臂外相機的方法
JP7153085B2 (ja) * 2018-12-11 2022-10-13 株式会社Fuji ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN110555889B (zh) * 2019-08-27 2021-01-15 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
EP4094043A4 (en) * 2020-01-22 2023-10-18 Robert Bosch GmbH METHOD AND APPARATUS FOR ESTIMATING SYSTEM STATE
CN112223285B (zh) * 2020-09-30 2022-02-01 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN113459108B (zh) * 2021-09-02 2021-11-12 杭州灵西机器人智能科技有限公司 基于插值补偿的手眼标定方法、系统、装置和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489132A (zh) * 2020-11-13 2021-03-12 复旦大学 一种大尺寸物体测量机器人标定系统及方法
CN113276115A (zh) * 2021-05-21 2021-08-20 南京航空航天大学 一种无需机器人运动的手眼标定方法及装置

Also Published As

Publication number Publication date
CN113635311A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN109767461B (zh) 医学影像配准方法、装置、计算机设备和存储介质
CN108830900B (zh) 关键点的抖动处理方法和装置
CN111225155B (zh) 视频防抖方法、装置、电子设备、计算机设备和存储介质
CN111240469B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
US11822900B2 (en) Filter processing device and method of performing convolution operation at filter processing device
CN111240468B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN114227700B (zh) 机器人的手眼标定方法和系统
CN108696745A (zh) 相机校准
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
US10146331B2 (en) Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
CN113256735B (zh) 一种基于双目标定的相机标定方法和系统
CN113100944B (zh) 手术环境的构建方法、机器人控制方法和系统
CN109727289B (zh) 脉象感知点的位置确定方法、装置及计算机设备
CN111583099A (zh) 图像摆正方法、计算机设备和存储介质
CN113838138A (zh) 一种优化特征提取的系统标定方法、系统、装置和介质
CN113459108B (zh) 基于插值补偿的手眼标定方法、系统、装置和介质
CN109814714B (zh) 运动传感器的安装姿态确定方法、装置以及存储介质
CN110176035B (zh) 标志点的定位方法、装置、计算机设备和存储介质
CN114516048B (zh) 机器人的零点调试方法、装置、控制器及存储介质
CN116258752A (zh) 配准方法、配准装置、电子设备和计算机可读存储介质
CN110824496A (zh) 运动估计方法、装置、计算机设备和存储介质
CN109993067A (zh) 面部关键点提取方法、装置、计算机设备和存储介质
CN108830928A (zh) 三维模型的映射方法、装置、终端设备和可读存储介质
CN109379536A (zh) 画面生成方法、装置、终端及对应的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant