CN113635311A - 固定标定板的眼在手外标定方法和系统 - Google Patents

固定标定板的眼在手外标定方法和系统 Download PDF

Info

Publication number
CN113635311A
CN113635311A CN202111207184.5A CN202111207184A CN113635311A CN 113635311 A CN113635311 A CN 113635311A CN 202111207184 A CN202111207184 A CN 202111207184A CN 113635311 A CN113635311 A CN 113635311A
Authority
CN
China
Prior art keywords
camera
calibration
robot arm
hand
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111207184.5A
Other languages
English (en)
Other versions
CN113635311B (zh
Inventor
王灿
郭骏杰
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202111207184.5A priority Critical patent/CN113635311B/zh
Publication of CN113635311A publication Critical patent/CN113635311A/zh
Application granted granted Critical
Publication of CN113635311B publication Critical patent/CN113635311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本申请涉及一种固定标定板的眼在手外标定方法和系统，通过获取眼在手上工况下手眼标定的标定结果
Figure 100004_DEST_PATH_IMAGE002
，其中，
Figure 80764DEST_PATH_IMAGE002
表示第一相机到机器臂末端的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure 100004_DEST_PATH_IMAGE004
和第二相机到第一相机的旋转平移矩阵
Figure 100004_DEST_PATH_IMAGE006
；根据标定结果
Figure 965544DEST_PATH_IMAGE002
、机器臂位姿
Figure 29315DEST_PATH_IMAGE004
和第二相机到第一相机的旋转平移矩阵
Figure 493794DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure 100004_DEST_PATH_IMAGE008
，其中，
Figure 693831DEST_PATH_IMAGE008
表示第二相机到机器臂基座的旋转平移矩阵，即将一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外标定结果的准确率。

Description

固定标定板的眼在手外标定方法和系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及固定标定板的眼在手外标定方法和系统。
背景技术
在机器视觉领域，机械臂需要根据视觉系统给出的信号进行相应的路径规划等操作，而机械臂坐标系统与视觉坐标系统又为两个独立的模块，所以需要通过对机械臂进行手眼标定获取机器臂坐标系和相机坐标系的旋转平移关系；在相关技术中，手眼标定分为眼在手上和眼在手外，眼在手外的标定过程为相机固定在与地面固连的设备或支架上，在机器臂末端安装标定板，控制机器臂到达不同位姿后，相机拍摄不同位姿下的标定板图像，再通过手眼模型确定相机与机器臂基座的旋转平移关系，即可完成标定，但是由于标定板本身及其与机器臂末端间的连接件刚度不足，容易出现标定结果误差较大的情况。
目前针对相关技术中眼在手外的手眼标定，由于标定板本身及其与机器臂末端间的连接件刚度不足，导致标定结果误差较大的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种固定标定板的眼在手外标定方法和系统，以至少解决相关技术中眼在手外的手眼标定，由于标定板本身及其与机器臂末端间的连接件刚度不足，导致标定结果误差较大的问题。
第一方面，本申请实施例提供了一种固定标定板的眼在手外标定方法，所述方法包括：
获取眼在手上工况下手眼标定的标定结果
Figure DEST_PATH_IMAGE001
，其中，
Figure 336331DEST_PATH_IMAGE001
表示第一相机 到机器臂末端的旋转平移矩阵；
在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿 的情况下，获取机器臂位姿
Figure 722313DEST_PATH_IMAGE002
和所述第二相机到所述第一相机的旋转平移矩阵
Figure DEST_PATH_IMAGE003
；
根据所述标定结果
Figure 705312DEST_PATH_IMAGE001
、所述机器臂位姿
Figure 834942DEST_PATH_IMAGE002
和所述第二相机到所述第 一相机的旋转平移矩阵
Figure 367423DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 658728DEST_PATH_IMAGE004
，其中，
Figure 394602DEST_PATH_IMAGE004
表示第二 相机到机器臂基座的旋转平移矩阵。
在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果
Figure 796765DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 204261DEST_PATH_IMAGE001
， 其中，A表示标定板到第一相机的转换矩阵
Figure DEST_PATH_IMAGE005
，X表示机器臂基座到标定板的转换矩阵
Figure 400887DEST_PATH_IMAGE006
，Y表示机器臂末端到第一相机的转换矩阵
Figure DEST_PATH_IMAGE007
，B表示机器臂基座到机器臂末端 的转换矩阵
Figure 76587DEST_PATH_IMAGE008
。
在其中一些实施例中，获取眼在手上工况下手眼标定的标定结果
Figure 548020DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 274668DEST_PATH_IMAGE001
， 其中，A表示两个位姿下，机器臂末端的转换矩阵
Figure DEST_PATH_IMAGE009
，B表示两个位姿下，第一相机的 转换矩阵
Figure 157042DEST_PATH_IMAGE010
，X表示机器臂末端到第一相机的转换矩阵
Figure 133088DEST_PATH_IMAGE007
。
在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 877053DEST_PATH_IMAGE003
包括：
对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相 机的旋转平移矩阵
Figure 254945DEST_PATH_IMAGE003
。
在其中一些实施例中，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 58953DEST_PATH_IMAGE003
包括：
分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转 换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 522295DEST_PATH_IMAGE003
。
第二方面，本申请实施例提供了一种固定标定板的眼在手外标定系统，所述系统包括手眼标定模块、双目标定模块和计算模块，
所述手眼标定模块，用于获取眼在手上工况下手眼标定的标定结果
Figure 53640DEST_PATH_IMAGE001
，其 中，
Figure 20459DEST_PATH_IMAGE001
表示第一相机到机器臂末端的旋转平移矩阵；
所述双目标定模块，用于在第二相机固定于与地面固连的设备上，机器臂固定在 适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure 260947DEST_PATH_IMAGE002
和所述第二相机到所述第一 相机的旋转平移矩阵
Figure 667045DEST_PATH_IMAGE003
；
所述计算模块，用于根据所述标定结果
Figure 283971DEST_PATH_IMAGE001
、所述机器臂位姿
Figure 105297DEST_PATH_IMAGE002
和所 述第二相机到所述第一相机的旋转平移矩阵
Figure 172479DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 344834DEST_PATH_IMAGE004
，其 中，
Figure 234293DEST_PATH_IMAGE004
表示第二相机到机器臂基座的旋转平移矩阵。
在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标 定结果
Figure 690551DEST_PATH_IMAGE001
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标 定结果
Figure 272842DEST_PATH_IMAGE001
，其中，A表示标定板到第一相机的转换矩阵
Figure 932493DEST_PATH_IMAGE005
，X表示机器臂基座到 标定板的转换矩阵
Figure 625643DEST_PATH_IMAGE006
，Y表示机器臂末端到第一相机的转换矩阵
Figure 421560DEST_PATH_IMAGE007
，B表示机器臂 基座到机器臂末端的转换矩阵
Figure 424020DEST_PATH_IMAGE008
。
在其中一些实施例中，所述手眼标定模块用于获取眼在手上工况下手眼标定的标 定结果
Figure 977493DEST_PATH_IMAGE001
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标 定结果
Figure 986250DEST_PATH_IMAGE001
，其中，A表示两个位姿下，机器臂末端的转换矩阵
Figure 902254DEST_PATH_IMAGE009
，B表示两个位 姿下，第一相机的转换矩阵
Figure 560768DEST_PATH_IMAGE010
，X表示机器臂末端到第一相机的转换矩阵
Figure 195012DEST_PATH_IMAGE007
。
在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机 的旋转平移矩阵
Figure 229964DEST_PATH_IMAGE003
包括：
所述双目标定模块对所述第一相机和所述第二相机进行双目标定，获取所述第二 相机到所述第一相机的旋转平移矩阵
Figure 266053DEST_PATH_IMAGE003
。
在其中一些实施例中，所述双目标定模块用于获取所述第二相机到所述第一相机 的旋转平移矩阵
Figure 610315DEST_PATH_IMAGE003
包括：
所述双目标定模块分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转 换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 466276DEST_PATH_IMAGE003
。
相比于相关技术，本申请实施例提供的固定标定板的眼在手外标定方法，通过获 取眼在手上工况下手眼标定的标定结果
Figure 304919DEST_PATH_IMAGE001
，其中，
Figure 929935DEST_PATH_IMAGE001
表示第一相机到机器臂 末端的旋转平移矩阵；在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双 目系统的位姿的情况下，获取机器臂位姿
Figure 461411DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 788356DEST_PATH_IMAGE003
；根据标定结果
Figure 696269DEST_PATH_IMAGE001
、机器臂位姿
Figure 175792DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移 矩阵
Figure 878169DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 443142DEST_PATH_IMAGE004
，即将一个眼在手外标定问题拆解为一个眼 在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼在手外 标定结果的准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术中的眼在手外的示意图；
图2是根据本申请实施例的固定标定板的眼在手外标定方法的流程图；
图3是根据本申请实施例的眼在手上的示意图；
图4是根据本申请实施例的固定标定板的眼在手外的示意图；
图5是根据本申请实施例的AX=YB模型的示意图；
图6是根据本申请实施例的AX=XB模型的示意图；
图7是根据本申请实施例的固定标定板的眼在手外标定系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1是根据相关技术中的眼在手外的示意图，如图1所示，相机固定在与地面固连 的设备或支架上，机器臂末端安装标定板，控制机器臂到达不同位姿后，相机拍摄不同位姿 下的标定板图像，通过标定板图像和手眼模型即可确定相机与机器臂基座的旋转平移关系
Figure 889167DEST_PATH_IMAGE004
，即完成标定，但是由于标定板本身及其与机器臂末端间的连接件刚度不足，容易 出现标定结果误差较大的情况。
在视野较大的场景下，为保证标定精度，标定板也需要做得比较大，一方面不便于安装在机器臂上（受到负载和机械结构的限制），另一方面会进一步加剧机器臂不同姿态下，标定板自身产生的变化，或标定板与机器臂末端间的相对位置发生偏移，从而降低标定精度。
本实施例提供了一种固定标定板的眼在手外标定方法，用于解决上述问题，图2是根据本申请实施例的固定标定板的眼在手外标定方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，获取眼在手上工况下手眼标定的标定结果
Figure 472464DEST_PATH_IMAGE001
，其中，
Figure 80163DEST_PATH_IMAGE001
表 示第一相机到机器臂末端的旋转平移矩阵；本实施例中，图3是根据本申请实施例的眼在手 上的示意图，如图3所示，眼在手上工况下，标定板固定在地上，第一相机CamA固定在机器臂 末端附近，随机器臂运动，用于拍摄不同位姿下标定板的图像，从而得出手上工况下手眼标 定的标定结果
Figure 398012DEST_PATH_IMAGE001
。
步骤S202，在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目 系统的位姿的情况下，获取机器臂位姿
Figure 382148DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 836263DEST_PATH_IMAGE003
；本实施例中，图4是根据本申请实施例的固定标定板的眼在手外的示意图，如图4 所示，在眼在手上工况的基础上，将第二相机固定于与地面固连的设备上，使第一相机和第 二相机处于大致相同的高度，并拥有一个较大的公共视野区域，即机器臂固定在适于标定 双目系统的位姿，并获取此时机器臂位姿
Figure 132640DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 672206DEST_PATH_IMAGE003
，其中，
Figure 460033DEST_PATH_IMAGE002
表示机器臂末端到机器臂基座的旋转平移矩阵。
步骤S203，根据标定结果
Figure 768655DEST_PATH_IMAGE001
、机器臂位姿
Figure 983735DEST_PATH_IMAGE002
和第二相机到第一相机 的旋转平移矩阵
Figure 10597DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 585804DEST_PATH_IMAGE004
，其中，
Figure 14511DEST_PATH_IMAGE004
表示第二相机到 机器臂基座的旋转平移矩阵。本实施例中，眼在手外的标定结果
Figure 134914DEST_PATH_IMAGE004
通过如下公式1求 出：
Figure DEST_PATH_IMAGE011
公式1
相对于相关技术中，眼在手外的手眼标定需要将相机固定在与地面固连的设备 上，在机器臂末端安装标定板，控制机器臂到达不同位姿，相机拍摄不同位姿下的标定板图 像，再通过手眼模型确定相机与机器臂基座的旋转平移关系
Figure 649072DEST_PATH_IMAGE004
，但由于标定板的体积 和重量较大，导致眼在手外的标定结果存在误差。
而本申请的实施例中，通过步骤S201至步骤S203，将标定板固定在地上，第一相机 固定在机器臂末端，获取眼在手上的标定结果
Figure 762390DEST_PATH_IMAGE001
后，将第二相机固定于与地面固连 的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure 45604DEST_PATH_IMAGE002
和 第二相机到第一相机的旋转平移矩阵
Figure 602487DEST_PATH_IMAGE003
，即可获得眼在手外的标定结果
Figure 603942DEST_PATH_IMAGE004
，即将 一个眼在手外标定问题拆解为一个眼在手上标定问题与一个双目标定问题，减小了眼在手 外标定结果的误差，提高了眼在手外标定结果的准确率。
在其中一些实施例中，图5是根据本申请实施例的AX=YB模型的示意图，如图5所 示，获取眼在手上工况下手眼标定的标定结果
Figure 271683DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取标定结果
Figure 409404DEST_PATH_IMAGE001
，其中， A表示标定板到第一相机的转换矩阵
Figure 652035DEST_PATH_IMAGE005
，由第一相机标定系统给出（已知），X表示机器 臂基座到标定板的转换矩阵
Figure 875206DEST_PATH_IMAGE006
，为待求解项，Y表示机器臂末端到第一相机的转换矩阵
Figure 346638DEST_PATH_IMAGE007
，为待求解项，B表示机器臂基座到机器臂末端的转换矩阵
Figure 604444DEST_PATH_IMAGE008
，由机器臂系统 给出（已知），由机器臂带动第一相机在不同位姿下拍摄标定板图像，根据标定板图像和AX= YB模型求出待求解项X和Y，即求出机器臂末端到第一相机的转换矩阵
Figure 503130DEST_PATH_IMAGE007
后，即可得到
Figure 194356DEST_PATH_IMAGE001
。
在其中一些实施例中，图6是根据本申请实施例的AX=XB模型的示意图，如图6所 示，获取眼在手上工况下手眼标定的标定结果
Figure 203900DEST_PATH_IMAGE001
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取标定结果
Figure 581792DEST_PATH_IMAGE001
，其中， A表示两个位姿下，机器臂末端的转换矩阵
Figure 385800DEST_PATH_IMAGE009
，由机器臂位姿数据计算得到，B表示 两个位姿下，第一相机的转换矩阵
Figure 583563DEST_PATH_IMAGE010
，由标定板图像计算得到，X表示机器臂末端到 第一相机的转换矩阵
Figure 646066DEST_PATH_IMAGE007
，由机器臂带动第一相机在不同位姿下拍摄标定板图像，根据 标定板图像和AX=XB模型求出待求解项X，即求出机器臂末端到第一相机的转换矩阵
Figure 612885DEST_PATH_IMAGE007
后，即可得到
Figure 853373DEST_PATH_IMAGE001
。
在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵
Figure 538433DEST_PATH_IMAGE003
包括：对 第一相机和第二相机进行双目标定，获取第二相机到第一相机的旋转平移矩阵
Figure 155359DEST_PATH_IMAGE003
。其 中，双目标定是指两台相机之间相互位置的标定，即第一相机相对于第二相机的平移向量 和旋转矩阵。
在其中一些实施例中，获取第二相机到第一相机的旋转平移矩阵
Figure 225952DEST_PATH_IMAGE003
包括：分 别对第一相机和第二相机进行外参标定，获得同一位置下的标定板分别与第一相机和第二 相机的坐标系转换关系；再根据同一位置下的标定板分别与第一相机和第二相机的坐标系 转换关系，求解出两台相机之间的坐标转换关系，即获取第二相机到第一相机的旋转平移 矩阵
Figure 902921DEST_PATH_IMAGE003
。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种固定标定板的眼在手外标定系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的固定标定板的眼在手外标定系统的结构框图，如图7所 示，该系统包括手眼标定模块71、双目标定模块72和计算模块73，手眼标定模块71用于获取 眼在手上工况下手眼标定的标定结果
Figure 75276DEST_PATH_IMAGE001
，其中，
Figure 964735DEST_PATH_IMAGE001
表示第一相机到机器臂末 端的旋转平移矩阵；双目标定模块72用于在第二相机固定于与地面固连的设备上，机器臂 固定在适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure 171725DEST_PATH_IMAGE002
和第二相机到第一相 机的旋转平移矩阵
Figure 488437DEST_PATH_IMAGE003
；计算模块73用于根据标定结果
Figure 131777DEST_PATH_IMAGE001
、机器臂位姿
Figure 90506DEST_PATH_IMAGE002
和第二相机到第一相机的旋转平移矩阵
Figure 886423DEST_PATH_IMAGE003
，获得眼在手外的标定结果
Figure 905195DEST_PATH_IMAGE004
，其中，
Figure 52142DEST_PATH_IMAGE004
表示第二相机到机器臂基座的旋转平移矩阵，即将一个眼在手外标定问题拆解为 一个眼在手上标定问题与一个双目标定问题，减小了眼在手外标定结果的误差，提高了眼 在手外标定结果的准确率。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的固定标定板的眼在手外标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种固定标定板的眼在手外标定方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种固定标定板的眼在手外标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种固定标定板的眼在手外标定方法，其特征在于，所述方法包括：
获取眼在手上工况下手眼标定的标定结果
Figure DEST_PATH_IMAGE002
，其中，
Figure 767590DEST_PATH_IMAGE002
表示第一相机到机器臂末端的旋转平移矩阵；
在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure DEST_PATH_IMAGE004
和所述第二相机到所述第一相机的旋转平移矩阵
Figure DEST_PATH_IMAGE006
；
根据所述标定结果
Figure 747047DEST_PATH_IMAGE002
、所述机器臂位姿
Figure 792363DEST_PATH_IMAGE004
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 718731DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure DEST_PATH_IMAGE008
，其中，
Figure 126579DEST_PATH_IMAGE008
表示第二相机到机器臂基座的旋转平移矩阵。
2.根据权利要求1所述的方法，其特征在于，获取眼在手上工况下手眼标定的标定结果
Figure 214620DEST_PATH_IMAGE002
包括：
在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 12812DEST_PATH_IMAGE002
，其中，A表示标定板到第一相机的转换矩阵
Figure DEST_PATH_IMAGE010
，X表示机器臂基座到标定板的转换矩阵
Figure DEST_PATH_IMAGE012
，Y表示机器臂末端到第一相机的转换矩阵
Figure DEST_PATH_IMAGE014
，B表示机器臂基座到机器臂末端的转换矩阵
Figure DEST_PATH_IMAGE016
。
3.根据权利要求1所述的方法，其特征在于，获取眼在手上工况下手眼标定的标定结果
Figure 926892DEST_PATH_IMAGE002
包括：
在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 126929DEST_PATH_IMAGE002
，其中，A表示两个位姿下，机器臂末端的转换矩阵
Figure DEST_PATH_IMAGE018
，B表示两个位姿下，第一相机的转换矩阵
Figure DEST_PATH_IMAGE020
，X表示机器臂末端到第一相机的转换矩阵
Figure 182610DEST_PATH_IMAGE014
。
4.根据权利要求1所述的方法，其特征在于，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 202518DEST_PATH_IMAGE006
包括：
对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 470689DEST_PATH_IMAGE006
。
5.根据权利要求1所述的方法，其特征在于，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 259653DEST_PATH_IMAGE006
包括：
分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 955077DEST_PATH_IMAGE006
。
6.一种固定标定板的眼在手外标定系统，其特征在于，所述系统包括手眼标定模块、双目标定模块和计算模块，
所述手眼标定模块，用于获取眼在手上工况下手眼标定的标定结果
Figure 727861DEST_PATH_IMAGE002
，其中，
Figure 65301DEST_PATH_IMAGE002
表示第一相机到机器臂末端的旋转平移矩阵；
所述双目标定模块，用于在第二相机固定于与地面固连的设备上，机器臂固定在适于标定双目系统的位姿的情况下，获取机器臂位姿
Figure 974351DEST_PATH_IMAGE004
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 840676DEST_PATH_IMAGE006
；
所述计算模块，用于根据所述标定结果
Figure 900423DEST_PATH_IMAGE002
、所述机器臂位姿
Figure 510396DEST_PATH_IMAGE004
和所述第二相机到所述第一相机的旋转平移矩阵
Figure 273953DEST_PATH_IMAGE006
，获得眼在手外的标定结果
Figure 576758DEST_PATH_IMAGE008
，其中，
Figure 792976DEST_PATH_IMAGE008
表示第二相机到机器臂基座的旋转平移矩阵。
7.根据权利要求6所述的系统，其特征在于，所述手眼标定模块用于获取眼在手上工况下手眼标定的标定结果
Figure 206640DEST_PATH_IMAGE002
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=YB模型，获取所述标定结果
Figure 90282DEST_PATH_IMAGE002
，其中，A表示标定板到第一相机的转换矩阵
Figure 298410DEST_PATH_IMAGE010
，X表示机器臂基座到标定板的转换矩阵
Figure 267503DEST_PATH_IMAGE012
，Y表示机器臂末端到第一相机的转换矩阵
Figure 219278DEST_PATH_IMAGE014
，B表示机器臂基座到机器臂末端的转换矩阵
Figure 957427DEST_PATH_IMAGE016
。
8.根据权利要求6所述的系统，其特征在于，所述手眼标定模块用于获取眼在手上工况下手眼标定的标定结果
Figure 336456DEST_PATH_IMAGE002
包括：
所述手眼标定模块在眼在手上工况下，根据标定板图像和AX=XB模型，获取所述标定结果
Figure 792845DEST_PATH_IMAGE002
，其中，A表示两个位姿下，机器臂末端的转换矩阵
Figure 282732DEST_PATH_IMAGE018
，B表示两个位姿下，第一相机的转换矩阵
Figure 875387DEST_PATH_IMAGE020
，X表示机器臂末端到第一相机的转换矩阵
Figure 425317DEST_PATH_IMAGE014
。
9.根据权利要求6所述的系统，其特征在于，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 369003DEST_PATH_IMAGE006
包括：
所述双目标定模块对所述第一相机和所述第二相机进行双目标定，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 662581DEST_PATH_IMAGE006
。
10.根据权利要求6所述的系统，其特征在于，所述双目标定模块用于获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 375322DEST_PATH_IMAGE006
包括：
所述双目标定模块分别对所述第一相机和所述第二相机进行外参标定，获得同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系；
根据所述同一位置下的标定板分别与所述第一相机和所述第二相机的坐标系转换关系，获取所述第二相机到所述第一相机的旋转平移矩阵
Figure 830574DEST_PATH_IMAGE006
。
CN202111207184.5A 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统 Active CN113635311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207184.5A CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207184.5A CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Publications (2)

Publication Number Publication Date
CN113635311A true CN113635311A (zh) 2021-11-12
CN113635311B CN113635311B (zh) 2021-12-31

Family

ID=78427227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207184.5A Active CN113635311B (zh) 2021-10-18 2021-10-18 固定标定板的眼在手外标定方法和系统

Country Status (1)

Country Link
CN (1) CN113635311B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113814987A (zh) * 2021-11-24 2021-12-21 季华实验室 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特（天津）检测技术有限公司 机器人抓取控制方法、系统及电子设备
CN115383749A (zh) * 2022-10-25 2022-11-25 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
WO2012076038A1 (en) * 2010-12-06 2012-06-14 Abb Research Ltd. A method for calibrating a robot unit, a computer unit, a robot unit and use of a robot unit
US20170006209A1 (en) * 2015-06-30 2017-01-05 Abb Technology Ltd. Technologies for pan tilt unit calibration
CN107369184A (zh) * 2017-06-23 2017-11-21 中国科学院自动化研究所 混合双目工业机器人系统同步标定系统、方法及其它装置
DE102018101162A1 (de) * 2018-01-19 2019-07-25 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
TW201939184A (zh) * 2018-03-19 2019-10-01 廣明光電股份有限公司 機器手臂校正臂外相機的方法
CN110555889A (zh) * 2019-08-27 2019-12-10 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
WO2020121396A1 (ja) * 2018-12-11 2020-06-18 株式会社Ｆｕｊｉ ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112489132A (zh) * 2020-11-13 2021-03-12 复旦大学 一种大尺寸物体测量机器人标定系统及方法
WO2021146989A1 (en) * 2020-01-22 2021-07-29 Robert Bosch Gmbh Method and apparatus for estimating system state
CN113276115A (zh) * 2021-05-21 2021-08-20 南京航空航天大学 一种无需机器人运动的手眼标定方法及装置
CN113459108A (zh) * 2021-09-02 2021-10-01 杭州灵西机器人智能科技有限公司 基于插值补偿的手眼标定方法、系统、装置和介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101186038A (zh) * 2007-12-07 2008-05-28 北京航空航天大学 一种机器人延伸手眼标定方法
WO2012076038A1 (en) * 2010-12-06 2012-06-14 Abb Research Ltd. A method for calibrating a robot unit, a computer unit, a robot unit and use of a robot unit
US20170006209A1 (en) * 2015-06-30 2017-01-05 Abb Technology Ltd. Technologies for pan tilt unit calibration
CN107369184A (zh) * 2017-06-23 2017-11-21 中国科学院自动化研究所 混合双目工业机器人系统同步标定系统、方法及其它装置
DE102018101162A1 (de) * 2018-01-19 2019-07-25 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
TW201939184A (zh) * 2018-03-19 2019-10-01 廣明光電股份有限公司 機器手臂校正臂外相機的方法
WO2020121396A1 (ja) * 2018-12-11 2020-06-18 株式会社Ｆｕｊｉ ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN110555889A (zh) * 2019-08-27 2019-12-10 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
WO2021146989A1 (en) * 2020-01-22 2021-07-29 Robert Bosch Gmbh Method and apparatus for estimating system state
CN112223285A (zh) * 2020-09-30 2021-01-15 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112489132A (zh) * 2020-11-13 2021-03-12 复旦大学 一种大尺寸物体测量机器人标定系统及方法
CN113276115A (zh) * 2021-05-21 2021-08-20 南京航空航天大学 一种无需机器人运动的手眼标定方法及装置
CN113459108A (zh) * 2021-09-02 2021-10-01 杭州灵西机器人智能科技有限公司 基于插值补偿的手眼标定方法、系统、装置和介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113814987A (zh) * 2021-11-24 2021-12-21 季华实验室 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN113814987B (zh) * 2021-11-24 2022-06-03 季华实验室 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114516055B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特（天津）检测技术有限公司 机器人抓取控制方法、系统及电子设备
CN115383749A (zh) * 2022-10-25 2022-11-25 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质
CN115383749B (zh) * 2022-10-25 2023-03-24 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Also Published As

Publication number Publication date
CN113635311B (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN113442169B (zh) 机器人的手眼标定方法、装置、计算机设备和可读存储介质
MX2015007256A (es) Metodo, dispositivo y aparato para controlar la rotacion de pantalla.
CN114147728B (zh) 通用的机器人眼在手上标定方法和系统
CN108882156B (zh) 一种校准定位基站坐标系的方法及装置
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN110332930B (zh) 一种位置确定方法、装置及设备
CN111240469B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN114227700B (zh) 机器人的手眼标定方法和系统
CN111240468B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN113256735B (zh) 一种基于双目标定的相机标定方法和系统
CN108696745A (zh) 相机校准
US10146331B2 (en) Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN113100944B (zh) 手术环境的构建方法、机器人控制方法和系统
CN114193444A (zh) 一种机器人手眼标定方法、系统、设备及介质
CN113459108B (zh) 基于插值补偿的手眼标定方法、系统、装置和介质
CN112102415A (zh) 基于标定球的深度相机外参数标定方法、装置及设备
CN114516048B (zh) 机器人的零点调试方法、装置、控制器及存储介质
US20220237824A1 (en) Distortion calibration method for ultra-wide angle imaging apparatus, system and photographing device including same
CN109379536A (zh) 画面生成方法、装置、终端及对应的存储介质
CN115272473A (zh) 相机标定方法、装置、电子设备及存储介质
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
CN115042184A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant