CN111515950A - 机器人坐标系变换关系确定方法、装置、设备和存储介质 - Google Patents

机器人坐标系变换关系确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111515950A
CN111515950A CN202010351422.9A CN202010351422A CN111515950A CN 111515950 A CN111515950 A CN 111515950A CN 202010351422 A CN202010351422 A CN 202010351422A CN 111515950 A CN111515950 A CN 111515950A
Authority
CN
China
Prior art keywords
coordinate system
transformation relation
motion mechanism
transformation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010351422.9A
Other languages
English (en)
Other versions
CN111515950B (zh
Inventor
迟万超
陈乐�
凌永根
张晟浩
郑宇�
姜鑫洋
张正友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010351422.9A priority Critical patent/CN111515950B/zh
Publication of CN111515950A publication Critical patent/CN111515950A/zh
Priority to PCT/CN2021/084229 priority patent/WO2021218542A1/zh
Application granted granted Critical
Publication of CN111515950B publication Critical patent/CN111515950B/zh
Priority to US17/734,629 priority patent/US20220258356A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37009—Calibration of vision system, camera, adapt light level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种机器人坐标系变换关系确定方法、装置、设备和存储介质。基于本申请实施例提供的机器人坐标系变换关系确定方法得到的视觉感知坐标系与本体坐标系之间的变换关系，可以应用于基于人工智能的机器人决策模型对机器人进行控制的方案中，该方法包括：获取第一变换关系；获取第二变换关系；将视觉感知坐标系与本体坐标系之间的变换关系作为未知变量；基于根据第一变换关系与未知变量得到的变换关系，与根据第二变换关系与未知变量得到的变换关系的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。采用本方法可以提高得到视觉感知坐标系与本体坐标系之间的变换关系的效率。

Description

机器人坐标系变换关系确定方法、装置、设备和存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种机器人坐标系变换关系确定方法、装置、设备和存储介质。
背景技术
随着科技技术的发展，机器人在日常生活以及工业中越来越常见，例如可以利用工业机器人代替人进行手工劳动。
目前，机器人在执行作业时，通常是由视觉感知设备对外部环境进行感知，由控制系统根据感知得到的外部环境控制运动机构进行运动。然而，视觉感知设备感知环境所采用的坐标系，与控制系统控制机器人的运动机构进行运动时所参考的本体坐标系是不同的，因此需要确定视觉感知设备对应的坐标系与本体坐标系之间的变换关系，然而，经常存在得到变换关系的效率比较低的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种机器人坐标系变换关系确定方法、装置、设备和存储介质。
一种机器人坐标系变换关系确定方法，所述方法包括：获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
一种机器人坐标系变换关系确定装置，其特征在于，所述装置包括：第一变换关系获取模块，用于获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；第二变换关系获取模块，用于获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；求解模块，用于：将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
在一些实施例中，所述求解模块包括：第一计算结果得到单元，用于根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系计算得到第一计算结果；第二计算结果得到单元，用于根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系计算得到第二计算结果；求解单元，用于根据所述第一计算结果与未知变量计算得到的值，与根据所述第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系。
在一些实施例中，所述求解单元用于：获取所述未知变量对应的当前解；根据当前解以及所述第一计算结果计算得到第一当前值，根据当前解以及所述第二计算结果计算得到第二当前值；根据所述第一当前值与所述第二当前值之间的差异得到差异计算结果，朝着使所述差异计算结果变小的方向对当前解进行调整，得到更新后的当前解；返回根据当前解以及所述第一计算结果计算得到第一当前值，根据当前解以及所述第二计算结果计算得到第二当前值的步骤，直至差异计算结果小于第一阈值，并将当前解作为所述视觉感知坐标系与所述本体坐标系之间的变换关系。
在一些实施例中，所述第二计算结果得到单元用于：获取所述目标运动机构在所述第一采样点时，所述运动机构坐标系到所述本体坐标系的变换关系，作为第一已知值；获取所述目标运动机构在所述第二采样点时，所述本体坐标系到所述运动机构坐标系的变换关系，作为第二已知值；将所述第一已知值与所述第二已知值相乘，得到第二计算结果。
在一些实施例中，所述第一变换关系获取模块用于：获取视觉感知设备对应的投影矩阵；根据所述投影矩阵，以及所述目标运动机构在所述第一采样点时，所述标定物坐标系与图像坐标系之间的变换关系进行计算，得到所述目标运动机构在所述第一采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系。
在一些实施例中，所述第一变换关系获取模块用于：将所述目标运动机构移动到第一采样点，控制所述视觉感知设备对所述目标标定物进行图像采集，得到目标图像；根据所述目标标定物在所述目标图像的坐标以及所述目标标定物对应的尺寸参数，得到所述目标运动机构在第一采样点时，所述标定物坐标系与所述图像坐标系之间的变换关系。
在一些实施例中，所述第一变换关系获取模块用于：获取所述目标运动机构在第一采样点时，所述目标运动机构对应的关节序列中，相邻关节的坐标系之间的变换关系，得到相邻变换关系集合；按照所述关节序列中关节的排列顺序，对所述相邻变换关系集合中的变换关系进行乘积计算，得到所述目标运动机构在第一采样点时，所述运动机构坐标系与本体坐标系之间的变换关系。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
上述机器人坐标系变换关系确定方法、装置、设备和存储介质，目标标定物是设置在目标运动机构上的，因此目标运动机构在第一采样点以及第二采样点时，运动机构坐标系与标定物坐标系之间的变换关系是不变的，而该变换关系可以根据第一变换关系、以及视觉感知坐标系与本体坐标系之间的变换关系得到，或者根据第二变换关系、以及视觉感知坐标系与本体坐标系之间的变换关系得到，即这两种方式计算得到的运动机构坐标系与标定物坐标系之间的变换关系是等价的。因此通过获取第一变换关系与第二变换关系，并基于等价关系，将视觉感知坐标系与本体坐标系之间的变换关系作为未知数，进行未知数求解，可以得到视觉感知坐标系与本体坐标系之间的变换关系，提高了得到视觉感知坐标系与本体坐标系之间的效率。
一种机器人控制方法，所述方法包括：获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息；获取所述视觉感知坐标系与所述机器人的本体坐标系之间的变换关系，其中，所述视觉感知坐标系与所述本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的；根据所述视觉位姿信息以及所述视觉感知坐标系与所述本体坐标系之间的变换关系，得到所述目标物体对应的目标位姿信息；根据所述目标位姿信息控制所述机器人的目标运动机构进行运动；所述第一变换关系以及所述第二变换关系为所述目标运动机构在不同采样点时，标定物坐标系与所述视觉感知坐标系之间的变换关系，以及运动机构坐标系与所述本体坐标系之间的变换关系；所述标定物坐标系对应的目标标定物在进行标定时，设置在所述目标运动机构上。
一种机器人控制装置，所述装置包括：视觉位姿信息获取模块，获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息；第三变换关系获取模块，用于获取所述视觉感知坐标系与所述机器人的本体坐标系之间的变换关系，其中，所述视觉感知坐标系与所述本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的；目标位姿信息得到模块，用于根据所述视觉位姿信息以及所述视觉感知坐标系与所述本体坐标系之间的变换关系，得到所述目标物体对应的目标位姿信息；控制模块，用于根据所述目标位姿信息控制所述机器人的目标运动机构进行运动；所述第一变换关系以及所述第二变换关系为所述目标运动机构在不同采样点时，标定物坐标系与所述视觉感知坐标系之间的变换关系，以及运动机构坐标系与所述本体坐标系之间的变换关系；所述标定物坐标系对应的目标标定物在进行标定时，设置在所述目标运动机构上。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述机器人控制方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述机器人控制方法的步骤。
上述机器人控制方法、装置、设备和存储介质，由于视觉感知坐标系与本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的，第一变换关系以及第二变换关系为目标运动机构在不同采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系，因此得到视觉感知坐标系与本体坐标系之间的变换关系的效率以及准确度高，可以提高机器人控制的准确度。
附图说明
图1为一些实施例中机器人坐标系变换关系确定方法的应用环境图；
图2为一些实施例中机器人坐标系变换关系确定方法的应用环境图；
图3为一些实施例中机器人坐标系变换关系确定方法的流程示意图；
图4为一些实施例中当目标运动机构为足式机器人的右前腿时，各个坐标系的示意图；
图5为一些实施例中计算视觉感知坐标系与本体坐标系之间的变换关系的原理示意图；
图6为一些实施例中进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系的流程示意图；
图7为一些实施例中目标运动机构的示意图；
图8为一些实施例中机器人控制方法的流程示意图；
图9为一些实施例中机器人坐标系变换关系确定装置的结构框图；
图10为一些实施例中机器人控制装置的结构框图；
图11为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
基于本申请实施例提供的机器人坐标系变换关系确定方法得到的视觉感知坐标系与本体坐标系之间的变换关系，可以应用于基于人工智能的机器人决策模型，对机器人进行控制的方案中。例如，可以根据视觉感知坐标系与本体坐标系之间的变换关系，以及视觉感知坐标系下，目标物体的第一位姿，得到在本体坐标系下，目标物体的第二位姿。机器人决策模型可以根据目标物体的第二位姿以及相机中拍摄得到的图像中的环境信息进行决策，例如确定是越过该目标物体还是绕过该目标物体，然后基于决策结果控制目标运动机构进行运动。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的机器人坐标系变换关系确定方法，可以应用于如图1所示的应用环境中。如图1所示，机器人120可以包括本体121以及目标运动机构122，目标运动机构122可以为机器人的腿，可以有4个。本体121上安装有摄像机110，目标运动机构122的末端通过连接件130与目标标定物140连接。摄像机110用于视觉感知，机器人120可以根据预先设置的眼脚标定算法，执行本申请实施例提供的机器人坐标系变换关系确定方法，以进行眼脚标定，得到视觉感知坐标系(例如摄像机坐标系)与本体坐标系之间的变换关系。可以理解，图1的实施例是以足式机器人为例进行说明的，在其他场景中，还可以是其他机器人，例如是运动机构为手的机器人。
本申请实施例提供的机器人坐标系变换关系确定方法，也可以称为眼手标定或者眼脚标定，眼手标定或者眼脚标定是指对视觉感知设备的坐标系和机器人的坐标系之间的变换关系进行测算标定。本申请实施例提供的机器人坐标系变换关系确定方法，可以适用于眼在手外(eye to hand)或者眼在脚外的标定，眼在手外或者眼在脚外是指视觉感知设备不是固定设置在运动机构上，而是设置在运动机构外，例如固定设置在机器人的本体上，以使得视觉感知设备的坐标系与机器人的本体坐标系之间的变换关系是固定。即眼在手外或者眼在脚外时，视觉感知设备的坐标系与机器人的本体坐标系之间的变换关系是固定，不会随着机器人的运动而发生改变。
当根据本申请实施例提供的机器人坐标系变换关系确定方法得到视觉感知坐标系与本体坐标系之间的变换关系后，机器人可以存储视觉感知坐标系与本体坐标系之间的变换关系，并应用在控制运动机构进行运动上。例如，如图2所示，目标物体可以是障碍物或者待机器人抓取的物体，足式机器人在作业时，例如野外的勘测时，可以利用摄像机110对外部环境进行感知，例如进行拍摄，得到目标物体相对于摄像机的位姿，机器人根据目标物体相对于摄像机的位姿，以及视觉感知坐标系与本体坐标系之间的变换关系，得到在本体坐标系下，目标物体的位姿，这样机器人可以根据目标物体的位姿控制目标运动机构122进行运动。其中，如果目标物体是障碍物，则可以控制目标运动机构122根据目标物体的位姿避开障碍物。如果目标物体是待机器人抓取的物体，则可以控制目标运动机构根据目标物体的位姿抓取目标物体。
其中，机器人120可以通过网络或者近距离通信方式与摄像机110进行通信。机器人例如可以是工业机器人或者家庭用机器人。
在一些实施例中，如图3所示，提供了一种机器人坐标系变换关系确定方法，以该方法应用于图1中的机器人为例进行说明，当然也可以是利用其他设备例如服务器执行机器人坐标系变换关系确定方法，包括以下步骤：
步骤S302，获取第一变换关系，第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
其中，一个点的坐标，采用不同的坐标系作为基准，其坐标是不同的。变换关系是指坐标由一个坐标系，变换到另一个坐标系的关系。例如，一个采用A坐标系表示的坐标，当需要采用B坐标系表示时，可以根据A坐标系表示的坐标，以及A坐标系到B坐标系的变换关系，得到采用B坐标系表示的坐标。变换关系可以包括平移变换关系或者旋转变换关系的至少一种。当变换关系包括平移变换关系以及旋转变换关系时，则可以用齐次变换矩阵来表示变换关系。齐次变换矩阵用于表示坐标系之间的空间位姿关系，位姿是指位置和姿态。
机器人(Robot)是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序运行。机器人的运动机构是指机器人中可进行运动的机构，可以根据控制指令进行运动，例如机器人中的手或者脚。采样点是指为了进行变换关系标定，所进行采样的位置点。第一采样点可以有一个或者多个，“多个”是指至少两个。采样点的位置可以是预先设置的，也可以是随机选择的。可以理解，当目标运动机构在采样点所在的位置时，目标标定物是在视觉感知设备的视场范围内的，以使得视觉感知设备可以感知到目标标定物。当采样点为多个时，则采样点可以尽可能覆盖到更多的范围，以保证标定的准确度。
目标标定物是指用于进行标定的物体，目标标定物的尺寸可以是已经预先确定的，目标标定物的尺寸可以包括目标标定物各个特征点之间的长度。具体的标定物可以根据具体情况设置，例如标定物可以是棋盘格、Apriltag或者ArUco等图形。其中，Apriltag可以理解为是简化版的二维码。ArUco是汉明(海明)码的格子图。
标定物坐标系是指目标标定物所采用的坐标系。视觉感知坐标系是指视觉感知设备所采用的坐标系，例如相机所采用的坐标系。视觉感知设备例如可以是摄像机，用于感知外部环境。运动机构坐标系是指目标运动机构所采用的坐标系，当运动机构包括多个关节时，运动机构坐标系是目标标定物所连接的运动机构的位置所采用的坐标系，例如当目标标定物连接在运动机构的末端，则是目标运动机构的末端所采用的坐标系，例如足端坐标系。本体坐标系是指机器人的本体所采用的坐标系，本体坐标系也可以称为基座坐标系，机器人的本体坐标系的原点，可以根据目标运动机构改变。例如，如图4所示，为一些实施例中，当目标运动机构为足式机器人的右前腿时，各个坐标系的示意图。由图4可以看出，当目标运动机构为足式机器人的右前腿时，则可以采用右前腿的基座，作为本体坐标系的原点所在。当然，也可以是采用本体的其他点作为本体坐标系的原点，例如采用本体的质心所在的点，作为本体坐标系的原点。图4中，虚线构成的三角形的范围表示视觉感知设备的视场范围，例如摄像机的拍摄范围，目标运动机构的采样点的设置，需要保证标定物在该视场范围内，以使得摄像机可以拍摄得到目标标定物。
由于在进行标定时，目标标定物设置在目标运动机构上，例如目标运动机构的末端，因此，在不同的采样点，标定物坐标系与目标运动机构的运动机构坐标系之间的变换关系保持不变。为了保证标定物坐标系与运动机构坐标系之间的变换关系的恒定，连接目标标定物与目标运动机构的连接件需保证有足够的刚度，以减少目标标定物与足端的相对位置关系在标定过程中受重力等因素的影响，保持标定物与足端的相对位置关系恒定，以减少标定误差。
标定物坐标系与视觉感知坐标系之间的变换关系，可以是标定物坐标系到视觉感知坐标系的变换关系，也可以是视觉感知坐标系到标定物坐标系的变换关系。运动机构坐标系与本体坐标系之间的变换关系，可以是运动机构坐标系到本体坐标系的变换关系，也可以是本体坐标系到运动机构坐标系的变换关系。例如第一变换关系可以为视觉感知坐标系到标定物坐标系的变换关系，以及本体坐标系到运动机构坐标系的变换关系。其中，标定物坐标系与视觉感知坐标系之间的变换关系可以表示为
Figure BDA0002472065490000101
Figure BDA0002472065490000102
从坐标系的角度看，表示视觉感知坐标系到标定物坐标系的齐次变换矩阵，从坐标系中的坐标点的角度看，表示将标定物坐标系中的点的坐标转换到视觉感知坐标系中的坐标的齐次变换矩阵，例如将
Figure BDA0002472065490000103
乘以标定物坐标系表示的坐标，可以得到视觉感知坐标系表示的坐标。其中，H表示齐次变换矩阵，“marker”表示标定物，“cam”表示视觉感知设备，例如相机。本体坐标系与运动机构坐标系之间的变换关系可以表示为
Figure BDA0002472065490000111
其中，“foot”表示目标运动机构的足端，“base”表示本体，即基座。
具体地，机器人可以利用设置在机器人中的运动控制器，控制目标运动机构移动到第一采样点，利用视觉感知设备对目标标定物进行图像采集，得到目标图像，根据目标标定物在目标图像的图像坐标以及目标标定物的尺寸计算得到标定物坐标系与视觉感知坐标系之间的变换关系。在每次利用视觉感知设备拍摄图像的同时，机器人对目标运动机构的关节的角度进行记录，根据目标运动机构中各个关节的角度以及机器人的运动学模型得到运动机构坐标系与本体坐标系之间的变换关系。运动学模型是指目标运动机构的各关节的坐标系定义以及连杆长度。连杆长度是指连接关节之间的杆的长度，运动学模型是预先设置的。
在一些实施例中，第一变换关系可以是进行多次采样，根据多次采样得到的变换关系得到的。例如，目标运动机构例如足式机器人的腿连同标定物每移动至一个采样点，会保持相同位姿一段时间，这段时间内可以利用相机对目标标定物多次采样，机器人可以对多次采样得到的变换关系进行统计，例如求平均值或者几何中值，作为第一变换关系。
在一些实施例中，当变换关系包括旋转变换关系时，机器人可以获取每次采样得到的代表旋转变换关系的四元数q，对多次采样得到的四元数q求平均值。将优化后的四元数q转换为旋转矩阵R3×3。其中R3×3表示3行以及3列的旋转矩阵，代表旋转变换关系。
在一些实施例中，当变换关系包括平移变换关系时，机器人可以获取每次采样得到的代表平移变换关系的p，对多次采样得到的平移变换关系p求几何中值，得到优化后的p。其中，p是3行以及1列的矩阵，代表x轴、y轴以及z轴分别对应的平移变换关系。求几何中值是指从多个坐标点组成的坐标点集合中，获取目标点，该目标点到坐标点集合的各个坐标点的距离之和最小。
在一些实施例中，当变换关系包括旋转变换关系以及平移变换关系时，机器人可以将旋转矩阵R3×3以及优化得到的p进行组合，得到齐次变换矩阵。以视觉感知坐标系到标定物坐标系的变换关系
Figure BDA0002472065490000121
为例，
Figure BDA0002472065490000122
可以表示如下：
Figure BDA0002472065490000123
步骤S304，获取第二变换关系，第二变换关系为目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
具体地，第二采样点与第一采样点不同。例如，机器人中的控制器可以根据标定控制算法，控制目标运动机构从第一采样点运动到第二采样点。在第二采样点中，进行标定物坐标系与视觉感知坐标系之间的变换关系的标定，以及运动机构坐标系与本体坐标系之间的变换关系的标定。得到第二变换关系的方式可以参考得到第一变换关系的方式。得到第二变换关系的方式，与得到第二变换关系的方式可以是一致的。
步骤S306，将视觉感知坐标系与本体坐标系之间的变换关系作为未知变量。
步骤S308，基于根据第一变换关系与未知变量得到的变换关系，与根据第二变换关系与未知变量得到的变换关系的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。
具体地，未知变量是指未知的数据，需要进行求解。由于目标标定物是设置在目标运动机构上的，因此目标运动机构在第一采样点以及第二采样点时，运动机构坐标系与标定物坐标系之间的变换关系是不变的，而运动机构坐标系与标定物坐标系之间的变换关系，可以根据第一变换关系与未知变量得到，也可以根据第二变换关系与未知变量得到，即根据第一变换关系与未知变量得到的变换关系，与根据第二变换关系与未知变量得到的变换关系，是等价的，为同一个变换关系，即运动机构坐标系与标定物坐标系之间的变换关系。而第一变换关系和第二变换关系已知，故可以求解得到视觉感知坐标系与本体坐标系之间的变换关系。
以下结合图5，对本申请实施例提供的坐标系变换方法的原理进行说明。对于眼(视觉感知设备)设置在本体上，即眼在运动机构之外的情况，需要对视觉感知坐标系与本体坐标系之间的变换关系进行标定。如图5左边的图所示，即视觉感知坐标系与本体坐标系之间的变换关系是未知的。而对于一些机器人，例如足式机器人，其足端缺少连接端面设计，定位的绝对精度和重复精度相比一般的工业机器人要低。而绝大多数情况下其相机传感器安装于基座的本体上，视野范围与足端的运动空间交叠范围较小，这时候，如果采用照相机对足端进行拍摄，由于定位精度比较低，以及运动空间交叠范围小，很难在大范围内进行标定。而通过引入合适的目标标定物，将标定物安装在足端，一方面可以根据需要选取定位精度高的标定物，另一方面相机的视场范围与目标标定物的运动空间交叠范围也变大了，因此可以提高标定精度。但是如图5右边的图所示，引入目标标定物后，则标定物坐标系与运动机构坐标系例如足端坐标系的变换关系也未知，相当于又引入了另一个未知变量。而对于眼在目标运动机构之外的场景，标定物坐标系与运动机构坐标系之间的变换关系在不同采样点中都是固定的，视觉感知坐标系与本体坐标系之间的变换关系在不同采样点中也是固定的。而标定物坐标系与运动机构坐标系之间的变换关系可以根据标定物坐标系与视觉感知坐标系之间的变换关系、视觉感知坐标系与本体坐标系之间的变换关系、以及本体坐标系与运动机构坐标系之间的变换关系得到。故可以得到公式(1)以及公式(2)。
其中，
Figure BDA0002472065490000131
表示目标运动机构在第一采样点时，运动机构坐标系到本体坐标系的变换关系。
Figure BDA0002472065490000132
示目标运动机构在第一采样点时，视觉感知坐标系到标定物坐标系的变换关系，
Figure BDA0002472065490000133
表示目标运动机构在第二采样点时，运动机构坐标系到本体坐标系的变换关系。
Figure BDA0002472065490000134
示目标运动机构在第二样点时，视觉感知坐标系到标定物坐标系的变换关系。由于在机器人实际的作业中，是不需要标定物的，即标定物坐标系与运动机构坐标系(例如足端坐标系)的变换关系无需知道，因此可以“牺牲”标定物坐标系与运动机构坐标系之间的变换关系，根据公式1以及公式2得到公式(3)。公式(3)中，
Figure BDA0002472065490000135
以及
Figure BDA0002472065490000136
已得到，只有
Figure BDA0002472065490000137
未知，因此可以进行未知变量求解。
Figure BDA0002472065490000138
Figure BDA0002472065490000139
Figure BDA0002472065490000141
在一些实施例中，第一采样点可以为一个或多个，第二采样点可以为一个或多个。例如，
Figure BDA0002472065490000142
中包括旋转变换关系以及平移变换关系，其矩阵中的未知值有多个，为了保证在求解未知变量时，未知变量的唯一性，需要获取至少3个采样点：n1、n2以及n3。可以将n1作为第一采样点，n2作为第二采样点，得到一个方程。将n1作为第一采样点，n3作为第二采样点，得到另一个方程，联合这两个方程进行求解，得到视觉感知坐标系与本体坐标系之间的唯一的变换关系。可以理解，为了提高求解得到的视觉感知坐标系与本体坐标系之间的变换关系的准确性以及适用性，采样点的数量可以根据需要设置为大于3个，例如可以设置为15个。
上述机器人坐标系变换关系确定方法，目标标定物是设置在目标运动机构上的，因此目标运动机构在第一采样点以及第二采样点时，运动机构坐标系与标定物坐标系之间的变换关系是不变的，而该变换关系可以根据第一变换关系、以及视觉感知坐标系与本体坐标系之间的变换关系得到，或者根据第二变换关系、以及视觉感知坐标系与本体坐标系之间的变换关系得到，即这两种方式计算得到的运动机构坐标系与标定物坐标系之间的变换关系是等价的。因此通过获取第一变换关系与第二变换关系，并基于等价关系，将视觉感知坐标系与本体坐标系之间的变换关系作为未知数，进行未知数求解，可以高效且准确的得到视觉感知坐标系与本体坐标系之间的变换关系。可以提高得到视觉感知坐标系与本体坐标系之间的变换关系的效率。
在一些实施例中，如图6所示，步骤S308即基于根据第一变换关系与未知变量得到的变换关系，与根据第二变换关系与未知变量得到的变换关系的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系包括：
步骤S602，根据目标运动机构分别在第一采样点以及第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系计算得到第一计算结果。
具体地，第一计算结果是根据目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系得到的。
例如，可以获取目标运动机构在第一采样点时，标定物坐标系到视觉感知坐标系之间的变换关系，例如齐次变换矩阵
Figure BDA0002472065490000151
其中
Figure BDA0002472065490000152
表示
Figure BDA0002472065490000153
的逆，获取目标运动机构在第二采样点时，视觉感知坐标系到标定物坐标系的变换关系，例如齐次变换矩阵
Figure BDA0002472065490000154
将
Figure BDA0002472065490000155
乘以
Figure BDA0002472065490000156
得到第一计算结果。
步骤S604，根据目标运动机构分别在第一采样点以及第二采样点时，运动机构坐标系与本体坐标系之间的变换关系计算得到第二计算结果。
具体地，第二计算结果是根据目标运动机构在第一采样点时，运动机构坐标系与本体坐标系之间的变换关系，以及目标运动机构在第二采样点时，运动机构坐标系与本体坐标系之间的变换关系得到的。
在一些实施例中，获取目标运动机构在第一采样点时，运动机构坐标系到本体坐标系的变换关系，作为第一已知值；获取目标运动机构在第二采样点时，本体坐标系到运动机构坐标系的变换关系，作为第二已知值；将第一已知值与第二已知值相乘，得到第二计算结果。
具体地，可以获取目标运动机构在第一采样点时，运动机构坐标系到本体坐标系的变换关系，例如齐次变换矩阵
Figure BDA0002472065490000157
作为第一已知值，其中，矩阵
Figure BDA0002472065490000158
表示矩阵
Figure BDA0002472065490000159
的逆。获取目标运动机构在第二采样点时，本体坐标系到运动机构坐标系的变换关系即
Figure BDA00024720654900001510
作为第二已知值。将第二已知值乘以第一已知值，得到第二计算结果。
步骤S606，根据第一计算结果与未知变量计算得到的值，与根据第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。
具体地，由公式(3)进行变换，可以得到公式(4)。公式(4)中，
Figure BDA00024720654900001511
表示与目标运动机构在第二采样点时，运动机构坐标系与本体坐标系之间的齐次转换矩阵，与目标运动机构在第一采样点时，运动机构坐标系与本体坐标系之间的齐次转换矩阵相乘，为步骤S604中得到的第二计算结果。
Figure BDA00024720654900001512
表示目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的齐次转换矩阵，与目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的齐次转换矩阵相乘，为步骤S602中得到的第一计算结果。将第一计算结果用B表示，将第二计算结果用A表示，则公式(4)为AX＝XB形式的手眼标定或眼脚标定线性方程。因此根据公式(4)可以得到，第一计算结果与未知变量计算得到的值，与根据第二计算结果与未知变量计算得到的值可以是等价的，由于A以及B已知，因此，可以求解得到X，即视觉感知坐标系与本体坐标系之间的变换关系
Figure BDA0002472065490000161
Figure BDA0002472065490000162
本申请实施例中，通过对公式(3)进行变换，得到公式(4)，即得到AX＝XB形式的线性方程，将方程中的原本的4个已知值(第一变换关系以及第二变换关系)减少为2个已知值，因此在进行未知数求解时，可以减少计算的复杂度，提高得到变换关系的效率。
在一些实施例中，步骤S606即根据第一计算结果与未知变量计算得到的值，与根据第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系包括：获取未知变量对应的当前解；根据当前解以及第一计算结果计算得到第一当前值，根据当前解以及第二计算结果计算得到第二当前值；根据第一当前值与第二当前值之间的差异得到差异计算结果，朝着使差异计算结果变小的方向对当前解进行调整，得到更新后的当前解；返回根据当前解以及第一计算结果计算得到第一当前值，根据当前解以及第二计算结果计算得到第二当前值的步骤，直至差异计算结果小于第一阈值，并将当前解作为视觉感知坐标系与本体坐标系之间的变换关系。
具体地，差异计算结果可以是两者的差的绝对值，也可以是两者的差的平方和，例如可以对于矩阵，两个矩阵的差异计算结果是对相同矩阵位置的矩阵值的差的平方进行求和得到的。第一阈值可以根据需要设置，例如0.01。差异计算结果越大，则表示差异越大。当前解是当前得到的未知变量的解。在第一次求解时，可以是随机获取当前解。当前解以及第一计算结果计算得到第一当前值为公式4中当前计算得到的XB，当前解以及第二计算结果计算得到第二当前值为公式4当前计算得到的AX。由于根据公式(4)，当前计算得到的XB与当前计算得到的AX的最终目标是等价，因此，可以根据梯度下降法，朝着使差异计算结果变小的方向对当前解进行调整，得到更新后的当前解。再利用更新后的当前解计算得到差异计算结果。直至差异计算结果小于第一阈值，将最终得到的当前解作为视觉感知坐标系与本体坐标系之间的变换关系。
举个实际的例子，假设第一次求解时，当前解X为J1，则可以利用A与J1相乘，得到第一当前值，利用J1与B相乘，得到第二当前值。计算第一当前值与第二当前值的差异计算结果，如果差异计算结果不满足小于第一阈值的条件。则朝着使差异计算结果变小的方向，对J1中的值进行调整，得到J2，作为当前解。利用A与J2相乘，得到第一当前值，利用J2与B相乘，得到第二当前值……，如此重复，直至得到的差异结算结果小于0.01，获取最终得到的J，即最后更新得到的当前解，作为视觉感知坐标系与本体坐标系之间的变换关系。
本申请实施例提供的方法，通过不断的朝着差异计算结果下降的方向更新当前解，直至差异计算结果小于第一阈值，并将当前解作为视觉感知坐标系与本体坐标系之间的变换关系，可以得到满足误差条件的视觉感知坐标系与本体坐标系之间的变换关系，提高了标定精度以及速度。
以下对目标运动机构在第一采样点时，如何获取标定物坐标系与视觉感知坐标系之间的变换关系进行说明。可以理解，在第二采样点时，也可以采用一致的方式获取标定物坐标系与视觉感知坐标系之间的变换关系。
在一些实施例中，获取目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系的步骤包括：获取视觉感知设备对应的投影矩阵；根据投影矩阵，以及目标运动机构在第一采样点时，标定物坐标系与图像坐标系之间的变换关系进行计算，得到目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系。
其中，投影矩阵(ProjectionMatrix)是视觉感知设备如相机中已经标定好的参数，图像坐标系是指视觉感知设备拍摄得到的图像所采用的坐标系，根据图像坐标系，可以得到图像中各个像素的坐标。标定物坐标系与图像坐标系之间的变换关系可以是标定物坐标系到图像坐标系的变换关系，也可以是图像坐标系到标定物坐标系的变换关系。例如，可以是获取图像坐标系到标定物坐标系的齐次转换矩阵
Figure BDA0002472065490000181
其中，“image”表示图像。当得到
Figure BDA0002472065490000182
时，可以利用已知的相机投影矩阵P，根据公式(5)，即投影矩阵P乘以
Figure BDA0002472065490000183
等于
Figure BDA0002472065490000184
计算得到标定物坐标系与相机坐标系的变换换关系，例如视觉感知坐标系到标定物坐标系的齐次转换矩阵
Figure BDA0002472065490000185
作为标定物坐标系与视觉感知坐标系之间的变换关系。
Figure BDA0002472065490000186
在一些实施例中，标定物坐标系与图像坐标系之间的变换关系的得到步骤包括：将目标运动机构移动到第一采样点，控制视觉感知设备对目标标定物进行图像采集，得到的目标图像；根据目标标定物在目标图像的坐标以及目标标定物对应的尺寸参数，得到目标运动机构在第一采样点时，标定物坐标系与图像坐标系之间的变换关系。
具体地，在将目标运动机构移动到第一采样点时，可以保持目标运动机构处于静止状态，机器人可以控制相机对目标标定物进行拍摄，得到目标图像，根据图像坐标系的定义得到标定物在图像中的坐标。由于已知目标标定物的尺寸，因此根据标定物坐标系的定义，可以得到目标标定物在标定物坐标中的坐标。然后，由于目标标定物在图像坐标系中的坐标，以及目标标定物在标定物坐标中的坐标已知，故机器人根据目标标定物在图像坐标系中的坐标等于
Figure BDA0002472065490000187
乘以目标标定物在标定物坐标系中的坐标的原理，可以得到图像坐标系到标定物坐标系的齐次转换矩阵
Figure BDA0002472065490000188
在一些实施例中，目标标定物的坐标可以用目标标定物中的特征点的坐标表示，例如，当目标标定物为棋盘格时，可以用棋盘格中各个角点的坐标表示目标标定物的坐标，角点是指棋盘格中，各个格子的角所在的位置点。
以下对目标运动机构在第一采样点时，如何获取运动机构坐标系与本体坐标系之间的变换关系进行说明。可以理解，在第二采样点时，也可以采用一致的方式获取运动机构坐标系与本体坐标系之间的变换关系。
在一些实施例中，获取目标运动机构在第一采样点时，运动机构坐标系与本体坐标系之间的变换关系包括：获取目标运动机构在第一采样点时，目标运动机构对应的关节序列中，相邻关节的坐标系之间的变换关系，得到相邻变换关系集合；按照关节序列中关节的排列顺序，对相邻变换关系集合的变换关系进行乘积计算，得到目标运动机构在第一采样点时，运动机构坐标系与本体坐标系之间的变换关系。
具体地，一个目标运动结构可以包括一个或者多个关节。关节序列中的关节按照在目标运动机构的排列顺序依次排列。可以计算相邻关节的坐标系之间的变换关系，相邻关节的坐标系之间的变换关系组成相邻变换关系集合。然后按照关节序列中关节的排列顺序，将相邻变换关系集合的变换关系进行相乘，得到目标运动机构在第一采样点时，目标运动机构对应的运动机构坐标系与本体坐标系之间的变换关系，用公式可以表示如公式(6)。其中，m表示关节的数量，
Figure BDA0002472065490000191
表示第i个关节的坐标系到第i+1个关节的坐标系的变换关系，i为正整数，
Figure BDA0002472065490000192
表示第m个关节的坐标系到运动机构(足端)坐标系的变换关系，“Π”表示求积运算，Ri,i+1表示第i个关节到第i+1个关节的旋转变换关系，pi,i+1表示第i个关节到第i+1个关节的平移变换关系。
Figure BDA0002472065490000193
Figure BDA0002472065490000194
例如，如图7所示，为一些实施例中目标运动机构的示意图。由图7可以看出，目标运动机构由4个关节:关节1、关节2、关节3以及关节4，目标标定物设置在目标运动机构的末端，则运动机构坐标系与本体坐标系之间的变换关系，可以是基座坐标系(本体坐标系)与关节1坐标系的变换关系、关节2坐标系与关节3坐标系的变换关系、关节3坐标系与关节4坐标系的变换关系、关节4坐标系与目标运动机构末端的变换关系依次相乘得到。
在一些实施例中，在第一采样点时，机器人控制系统可以对目标运动机构的各关节的角度数据θi进行记录，其中i＝1,2,…m，m为运动机构的关节数。并根据已知的机器人运动学模型，即目标运动机构各关节的坐标系定义以及连杆长度li得到相邻两关节坐标系间的旋转矩阵Ri，i+1以及位移关系pi，i+1，其中，i＝1,2,…,m-1，旋转矩阵Ri，i+1与位移关系pi，i+1组成对应的齐次转换矩阵
Figure BDA0002472065490000201
得到相邻两关节坐标系方法可以采用DH(Denavit and Hartenberg)建模方法，DH建模方法是一种机器人运动学建模方法，通过在关节上建立一个坐标系，通过齐次坐标变换来实现连杆上坐标的变换。
在一些实施例中，当机器人的运动机构有多个时，其他运动机构可以采用与目标运动机构相同的本体坐标系，也可以采用不同的本体坐标系，当采用不同本体坐标系时，可以获取其他运动机构的本体坐标系与目标运动机构的本体坐标系之间的变换关系，根据该目标运动机构对应的视觉感知坐标系与本体坐标系之间的变换关系，以及其他运动机构的本体坐标系与目标运动机构的本体坐标系之间的变换关系，得到其他运动机构对应的本体坐标系与视觉感知坐标系的变换关系。
在一些实施例中，如图8所示，提供了一种机器人控制方法，以该方法应用于图1中的机器人为例进行说明，当然也可以是利用其他设备例如服务器对机器人进行控制，包括以下步骤：：
步骤S802，获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息。
其中，视觉位姿信息是在视觉感知坐标系下，目标物体对应的位置信息以及姿态信息。环境中的目标物体根据具体情况不同，例如可以是石头、桌子或者是生产线上的产品。
具体地，当需要利用机器人进行作业时，机器人可以实时的控制视觉感知设备对环境中的目标物体进行图像采集，得到当前图像。机器人得到当前图像后，可以根据目标物体在图像上的坐标以及相机的内参等信息得到目标物体在视觉感知坐标系的视觉位姿信息。
步骤S804，获取视觉感知坐标系与机器人的本体坐标系之间的变换关系，其中，视觉感知坐标系与本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的。
其中，第一变换关系以及第二变换关系为目标运动机构在不同采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系，标定物坐标系对应的目标标定物在进行标定时，即在标定视觉感知坐标系与本体坐标系之间的变换关系时，设置在目标运动机构上。例如，第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。第二变换关系为目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
可以理解，视觉感知坐标系与本体坐标系之间的变换关系是利用本申请实施例提供的机器人坐标系变换关系确定方法得到的。当得到视觉感知坐标系与本体坐标系之间的变换关系之后，机器人可以存储视觉感知坐标系与本体坐标系之间的变换关系。当需要进行作业时，机器人获取预先存储的视觉感知坐标系与本体坐标系之间的变换关系。
步骤S806，根据视觉位姿信息以及视觉感知坐标系与本体坐标系之间的变换关系，得到目标物体对应的目标位姿信息。
具体地，得到视觉位姿信息后，可以根据视觉位姿信息以及视觉感知坐标系与本体坐标系之间的变换关系，得到目标物体对应的目标位姿信息。例如，假设得到的是
Figure BDA0002472065490000211
则将
Figure BDA0002472065490000212
乘以视觉感知坐标系表示的位姿，可以计算得到目标物体在本体坐标系下，对应的目标位姿信息。
步骤S808，根据目标位姿信息控制机器人的目标运动机构进行运动。
具体地，得到目标物体对应的目标位姿信息后，机器人可以根据目标运动机构的当前位姿信息以及目标位姿信息的相对位姿关系，控制目标运动机构进行平移或者旋转的至少一个，以避开目标物体或者对目标物体进行抓取。例如，如果目标物体是障碍物，则可以控制运动机构根据目标物体的位姿避开障碍物。如果目标物体是待机器人抓取的物体，则可以控制运动机构根据目标物体的位姿抓取目标物体。
上述机器人控制方法，由于视觉感知坐标系与本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的，第一变换关系以及第二变换关系为目标运动机构在不同采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系，因此得到视觉感知坐标系与本体坐标系之间的变换关系的效率以及准确度高，可以提高机器人控制的准确度。
本申请实施例提供的机器人坐标系变换关系确定方法可以应用于对机器人的手眼标定或者眼脚标定中，可以在机器人平台在环境的感知和本体的运动控制间构建起高精度的转换关系。例如，可以对足式机器人进行在线且自动的眼脚标定。可以通过人工将制作的标定物与运动机构的末端固定连接，根据本申请实施例提供的机器人坐标系变换关系确定方法自动完成标定流程，尽可能减少了标定过程中的人为干预，提高了标定的效率以及便利性，该变换关系变换方法同时具备通用性，可以适用于在各类机器人例如工业机器人上标定，而且对标定物图案类型和精度要求宽松，显著降低了标定物的制作成本。
以下以足式机器人为例，对本申请实施例提供的机器人坐标系变换关系确定方法进行说明，包括以下步骤：
1、将目标标定物安装在运动机构的末端。
具体地，可以通过控制系统中的标定控制算法使足式机器人站立起来并保持在静态平衡的姿态，由人工或者机器人自动将目标标定物通过连接件与机器人的待标定腿的或者最后一节的任意部位例如足端进行固定连接，该连接件有足够的刚度，保证标定物与足端的相对关系在标定过程中不受重力等因素影响，保持稳定。目标标定物安装完成后，标定控制算法将机器人重心在水平面的投影移动到除待标定腿以外的支撑腿，形成的支撑区域内，以保证标定开始后的静态平衡。
在一些实施例中，可以通过控制机器人本体实现其自身的站立及平衡，从而为标定腿提供足够的运动空间。而对于某些一些机器人，其设计可能使其在不需要站立起来的情况下，即可保证腿部有足够的运动空间，则也可以在机器人不站立起来的情况下进行标定。
在一些实施例中，还可以通过辅助设备例如诸如支撑台或者吊架等使得机器人不需自行站立，便可获得足够的腿部运动空间。
2、获取第一变换关系。第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
具体地，机器人可以控制待标定的腿运动到预设好的第一个采样点。通过相机对目标标定物进行拍照，并对待标定的腿的各个关节的角度进行记录。根据拍照得到的图像以及相机的投影矩阵等信息，计算得到标定物坐标系与视觉感知坐标系之间的变换关系。根据标定的腿的各个关节的角度以及待标定的腿的运动学模型，进行前向运动学计算，得到运动机构坐标系与本体坐标系之间的变换关系。
其中，在第一采样点时，可以进行多次采样，将多次采样得到的旋转变换关系的平均值以及平移变换关系的几何中值，组成齐次变换矩阵。
3、获取第二变换关系，第二变换关系为目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
机器人可以控制待标定的腿运动到预设好的第二个采样点。通过相机对目标标定物进行拍照，并对待标定的腿的各个关节的角度进行记录。根据拍照得到的图像以及相机的投影矩阵等信息，计算得到标定物坐标系与视觉感知坐标系之间的变换关系。根据标定的腿的各个关节的角度以及待标定的腿的运动学模型，计算能得到运动机构坐标系与本体坐标系之间的变换关系。
其中，在第二采样点时，可以进行多次采样，将多次采样得到的旋转变换关系的平均值以及平移变换关系的几何中值，组成齐次变换矩阵。
4、根据目标运动机构在第一采样点以及第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系计算得到第一计算结果。
具体地，根据目标运动机构在第一采样点时，计算得到的标定物坐标系与视觉感知坐标系之间的变换关系，与在第二采样点时算得到的标定物坐标系与视觉感知坐标系之间的变换关系进行乘积计算，得到第一计算结果。
5、根据目标运动机构在第一采样点以及第二采样点时，运动机构坐标系与本体坐标系之间的变换关系计算得到第二计算结果。
具体地，根据目标运动机构在第一采样点时，计算得到的运动机构坐标系与本体坐标系之间的变换关系，与在第二采样点时算得到的运动机构坐标系与本体坐标系之间的变换关系进行乘积计算，得到第二计算结果。
6、根据第一计算结果与未知变量计算得到的值，与根据第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。
具体地，将第一计算结果用B表示，将第二计算结果用A表示，则公式(4)为AX＝XB形式的标定线性线性方程，因此可以求解线性方程，得到X，即视觉感知坐标系与本体坐标系之间的变换关系。其中，第一采样点可以为1个，第二采样点为2个。这样，可以根据得到两个线性方程，联立线性方程得到唯一的解。
得到视觉感知坐标系与本体坐标系之间的变换关系后，将视觉感知坐标系与本体坐标系之间的变换关系存储在机器人中。这样，当机器人需要作业时，可以根据视觉感知坐标系与本体坐标系之间的变换关系，计算得到目标物体的位姿，从而根据目标物体的位姿控制目标运动机构进行运动。
本申请实施例提供的针对足式机器人的眼脚标定方法，整个流程中可以由人手动连接标定物至标定腿，并通过机器人自身来实现本体平衡，其余整个标定过程可以在算法控制下在线自动完成，因而显著减少了标定过程中所需要的人为干预和额外辅助措施。标定结果也直接存储于机器人控制系统，以应用于后续系统运行，大大简化了足式机器人的眼脚标定流程，提高了标定的效率，而且对标定物的加工精度要求可以根据标定精度设置，可大大降低标定物的制作成本和难度，提高通用性。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中，如图9所示，提供了一种机器人坐标系变换关系确定装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一变换关系获取模块902、第二变换关系获取模块904和求解模块906，其中：
第一变换关系获取模块902，用于获取第一变换关系，第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
第二变换关系获取模块904，用于获取第二变换关系，第二变换关系为目标运动机构在第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系。
求解模块906，用于：
将视觉感知坐标系与本体坐标系之间的变换关系作为未知变量；
基于根据第一变换关系与未知变量得到的变换关系，与根据第二变换关系与未知变量得到的变换关系的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。
其中，标定物坐标系对应的目标标定物设置在目标运动机构上。
在一些实施例中，求解模块906包括：第一计算结果得到单元，用于根据目标运动机构分别在第一采样点以及第二采样点时，标定物坐标系与视觉感知坐标系之间的变换关系计算得到第一计算结果；第二计算结果得到单元，用于根据目标运动机构分别在第一采样点以及第二采样点时，运动机构坐标系与本体坐标系之间的变换关系计算得到第二计算结果；求解单元，用于根据第一计算结果与未知变量计算得到的值，与根据第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到视觉感知坐标系与本体坐标系之间的变换关系。
在一些实施例中，求解单元用于：获取未知变量对应的当前解；根据当前解以及第一计算结果计算得到第一当前值，根据当前解以及第二计算结果计算得到第二当前值；根据第一当前值与第二当前值之间的差异得到差异计算结果，朝着使差异计算结果变小的方向对当前解进行调整，得到更新后的当前解；返回根据当前解以及第一计算结果计算得到第一当前值，根据当前解以及第二计算结果计算得到第二当前值的步骤，直至差异计算结果小于第一阈值，并将当前解作为视觉感知坐标系与本体坐标系之间的变换关系。
在一些实施例中，第二计算结果得到单元用于：获取目标运动机构在第一采样点时，运动机构坐标系到本体坐标系的变换关系，作为第一已知值；获取目标运动机构在第二采样点时，本体坐标系到运动机构坐标系的变换关系，作为第二已知值；将第一已知值与第二已知值相乘，得到第二计算结果。
在一些实施例中，第一变换关系获取模块902用于：获取视觉感知设备对应的投影矩阵；根据投影矩阵，以及目标运动机构在第一采样点时，标定物坐标系与图像坐标系之间的变换关系进行计算，得到目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系。
在一些实施例中，第一变换关系获取模块902用于：将目标运动机构移动到第一采样点，控制视觉感知设备对目标标定物进行图像采集，得到目标图像；根据目标标定物在目标图像的坐标以及目标标定物对应的尺寸参数，得到目标运动机构在第一采样点时，标定物坐标系与图像坐标系之间的变换关系。
在一些实施例中，第一变换关系获取模块902用于：获取目标运动机构在第一采样点时，目标运动机构对应的关节序列中，相邻关节的坐标系之间的变换关系，得到相邻变换关系集合；按照关节序列中关节的排列顺序，对相邻变换关系集合中的变换关系进行乘积计算，得到目标运动机构在第一采样点时，运动机构坐标系与本体坐标系之间的变换关系。
在一些实施例中，如图10所示，提供了一种机器人控制装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：视觉位姿信息获取模块1002、第三变换关系获取模块1004、目标位姿信息得到模块1006和控制模块1008，其中：
视觉位姿信息获取模块1002，获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息。
第三变换关系获取模块1004，用于获取视觉感知坐标系与机器人的本体坐标系之间的变换关系，其中，视觉感知坐标系与本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的。
目标位姿信息得到模块1006，用于根据视觉位姿信息以及视觉感知坐标系与本体坐标系之间的变换关系，得到目标物体对应的目标位姿信息。
控制模块1008，用于根据目标位姿信息控制机器人的目标运动机构进行运动；
第一变换关系以及第二变换关系为目标运动机构在不同采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；标定物坐标系对应的目标标定物在进行标定时，设置在目标运动机构上。
关于机器人坐标系变换关系确定装置以及机器人控制装置的具体限定可以参见上文中对于机器人坐标系变换关系确定方法以及机器人控制方法的限定，在此不再赘述。上述机器人坐标系变换关系确定装置以及机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是机器人，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储变换关系。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人坐标系变换关系确定方法或者机器人控制方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种机器人坐标系变换关系确定方法，其特征在于，所述方法包括：
获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；
获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；
将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；
基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；
其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
2.根据权利要求1所述的方法，其特征在于，所述基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系包括：
根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系计算得到第一计算结果；
根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系计算得到第二计算结果；
根据所述第一计算结果与未知变量计算得到的值，与根据所述第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一计算结果与未知变量计算得到的值，与根据所述第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系包括：
获取所述未知变量对应的当前解；
根据当前解以及所述第一计算结果计算得到第一当前值，根据当前解以及所述第二计算结果计算得到第二当前值；
根据所述第一当前值与所述第二当前值之间的差异得到差异计算结果，朝着使所述差异计算结果变小的方向对当前解进行调整，得到更新后的当前解；
返回根据当前解以及所述第一计算结果计算得到第一当前值，根据当前解以及所述第二计算结果计算得到第二当前值的步骤，直至差异计算结果小于第一阈值，并将当前解作为所述视觉感知坐标系与所述本体坐标系之间的变换关系。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系计算得到第二计算结果包括：
获取所述目标运动机构在所述第一采样点时，所述运动机构坐标系到所述本体坐标系的变换关系，作为第一已知值；
获取所述目标运动机构在所述第二采样点时，所述本体坐标系到所述运动机构坐标系的变换关系，作为第二已知值；
将所述第一已知值与所述第二已知值相乘，得到第二计算结果。
5.根据权利要求1所述的方法，其特征在于，获取所述目标运动机构在所述第一采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系的步骤包括：
获取视觉感知设备对应的投影矩阵；
根据所述投影矩阵，以及所述目标运动机构在所述第一采样点时，所述标定物坐标系与图像坐标系之间的变换关系进行计算，得到所述目标运动机构在所述第一采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系。
6.根据权利要求5所述的方法，其特征在于，所述目标运动机构在所述第一采样点时，所述标定物坐标系与所述图像坐标系之间的变换关系的得到步骤包括：
将所述目标运动机构移动到第一采样点，控制所述视觉感知设备对所述目标标定物进行图像采集，得到目标图像；
根据所述目标标定物在所述目标图像的坐标以及所述目标标定物对应的尺寸参数，得到所述目标运动机构在第一采样点时，所述标定物坐标系与所述图像坐标系之间的变换关系。
7.根据权利要求1所述的方法，其特征在于，获取所述目标运动机构在第一采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系包括：
获取所述目标运动机构在第一采样点时，所述目标运动机构对应的关节序列中，相邻关节的坐标系之间的变换关系，得到相邻变换关系集合；
按照所述关节序列中关节的排列顺序，对所述相邻变换关系集合中的变换关系进行乘积计算，得到所述目标运动机构在第一采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系。
8.一种机器人控制方法，其特征在于，所述方法包括：
获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息；
获取所述视觉感知坐标系与所述机器人的本体坐标系之间的变换关系，其中，所述视觉感知坐标系与所述本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的；
根据所述视觉位姿信息以及所述视觉感知坐标系与所述本体坐标系之间的变换关系，得到所述目标物体对应的目标位姿信息；
根据所述目标位姿信息控制所述机器人的目标运动机构进行运动；
所述第一变换关系以及所述第二变换关系为所述目标运动机构在不同采样点时，标定物坐标系与所述视觉感知坐标系之间的变换关系，以及运动机构坐标系与所述本体坐标系之间的变换关系。
9.根据权利要求8所述的方法，其特征在于，所述视觉感知坐标系与所述机器人的本体坐标系之间的变换关系的得到步骤包括：
获取所述第一变换关系，所述第一变换关系所述目标运动机构在第一采样点时，所述标定物坐标系与视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；
获取所述第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；
将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；
基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；
所述标定物坐标系对应的目标标定物在进行标定时，设置在所述目标运动机构上。
10.根据权利要求9所述的方法，其特征在于，所述基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系包括：
根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系计算得到第一计算结果；
根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系计算得到第二计算结果；
根据所述第一计算结果与未知变量计算得到的值，与根据所述第二计算结果与未知变量计算得到的值的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系。
11.根据权利要求9所述的方法，其特征在于，所述根据所述目标运动机构分别在所述第一采样点以及所述第二采样点时，所述运动机构坐标系与所述本体坐标系之间的变换关系计算得到第二计算结果包括：
获取所述目标运动机构在所述第一采样点时，所述运动机构坐标系到所述本体坐标系的变换关系，作为第一已知值；
获取所述目标运动机构在所述第二采样点时，所述本体坐标系到所述运动机构坐标系的变换关系，作为第二已知值；
将所述第一已知值与所述第二已知值相乘，得到第二计算结果。
12.一种机器人坐标系变换关系确定装置，其特征在于，所述装置包括：
第一变换关系获取模块，用于获取第一变换关系，所述第一变换关系为机器人的目标运动机构在第一采样点时，标定物坐标系与视觉感知坐标系之间的变换关系，以及运动机构坐标系与本体坐标系之间的变换关系；
第二变换关系获取模块，用于获取第二变换关系，所述第二变换关系为所述目标运动机构在第二采样点时，所述标定物坐标系与所述视觉感知坐标系之间的变换关系，以及所述运动机构坐标系与所述本体坐标系之间的变换关系；
求解模块，用于：
将所述视觉感知坐标系与所述本体坐标系之间的变换关系作为未知变量；
基于根据所述第一变换关系与所述未知变量得到的变换关系，与根据所述第二变换关系与所述未知变量得到的变换关系的等价关系，进行未知变量求解，得到所述视觉感知坐标系与所述本体坐标系之间的变换关系；
其中，所述标定物坐标系对应的目标标定物设置在所述目标运动机构上。
13.一种机器人控制装置，其特征在于，所述装置包括：
视觉位姿信息获取模块，获取目标物体在机器人对应的视觉感知坐标系的视觉位姿信息；
第三变换关系获取模块，用于获取所述视觉感知坐标系与所述机器人的本体坐标系之间的变换关系，其中，所述视觉感知坐标系与所述本体坐标系之间的变换关系，是根据与第一变换关系以及第二变换关系分别计算得到的变换关系的等价关系进行求解得到的；
目标位姿信息得到模块，用于根据所述视觉位姿信息以及所述视觉感知坐标系与所述本体坐标系之间的变换关系，得到所述目标物体对应的目标位姿信息；
控制模块，用于根据所述目标位姿信息控制所述机器人的目标运动机构进行运动；
所述第一变换关系以及所述第二变换关系为所述目标运动机构在不同采样点时，标定物坐标系与所述视觉感知坐标系之间的变换关系，以及运动机构坐标系与所述本体坐标系之间的变换关系；所述标定物坐标系对应的目标标定物在进行标定时，设置在所述目标运动机构上。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010351422.9A 2020-04-28 2020-04-28 机器人坐标系变换关系确定方法、装置、设备和存储介质 Active CN111515950B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010351422.9A CN111515950B (zh) 2020-04-28 2020-04-28 机器人坐标系变换关系确定方法、装置、设备和存储介质
PCT/CN2021/084229 WO2021218542A1 (zh) 2020-04-28 2021-03-31 基于视觉感知设备的机器人本体坐标系的空间标定方法、装置和存储介质
US17/734,629 US20220258356A1 (en) 2020-04-28 2022-05-02 Visual perception device based spatial calibration method and apparatus for robot body coordinate system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351422.9A CN111515950B (zh) 2020-04-28 2020-04-28 机器人坐标系变换关系确定方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111515950A true CN111515950A (zh) 2020-08-11
CN111515950B CN111515950B (zh) 2022-04-08

Family

ID=71902925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351422.9A Active CN111515950B (zh) 2020-04-28 2020-04-28 机器人坐标系变换关系确定方法、装置、设备和存储介质

Country Status (3)

Country Link
US (1) US20220258356A1 (zh)
CN (1) CN111515950B (zh)
WO (1) WO2021218542A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218542A1 (zh) * 2020-04-28 2021-11-04 腾讯科技（深圳）有限公司 基于视觉感知设备的机器人本体坐标系的空间标定方法、装置和存储介质
CN115582829A (zh) * 2021-07-05 2023-01-10 腾讯科技（深圳）有限公司 机械臂的位置确定方法、装置、电子设备及存储介质
WO2023035100A1 (en) * 2021-09-07 2023-03-16 Abb Schweiz Ag Method, electronic device and computer readable storage medium for calibrating robot
CN116277035A (zh) * 2023-05-15 2023-06-23 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114886417B (zh) * 2022-05-10 2023-09-22 南京布尔特医疗技术发展有限公司 一种智能化安全护理监控系统及方法
CN115576359B (zh) * 2022-12-08 2023-03-07 中国人民解放军国防科技大学 基于视觉感知的无人集群行为控制方法、装置和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及系统
CN109227601A (zh) * 2017-07-11 2019-01-18 精工爱普生株式会社 控制装置、机器人、机器人系统及校正方法
CN109304710A (zh) * 2017-07-27 2019-02-05 中国商用飞机有限责任公司 基于径向基神经网络的机械臂精度标定方法
CN109910016A (zh) * 2019-04-22 2019-06-21 亿嘉和科技股份有限公司 基于多自由度机械臂的视觉采集标定方法、装置及系统
CN110000790A (zh) * 2019-04-19 2019-07-12 深圳科瑞技术股份有限公司 一种SCARA机器人eye-to-hand手眼系统的标定方法
CN110842914A (zh) * 2019-10-15 2020-02-28 上海交通大学 基于差分进化算法的手眼标定参数辨识方法、系统及介质
CN110919658A (zh) * 2019-12-13 2020-03-27 东华大学 一种基于视觉和多坐标系闭环转换的机器人标定方法
US10628966B1 (en) * 2019-03-07 2020-04-21 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CN111070199A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 一种手眼标定评估方法及机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864807B (zh) * 2015-04-10 2017-11-10 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN107253190B (zh) * 2017-01-23 2020-09-01 梅卡曼德（北京）机器人科技有限公司 一种高精度机器人手眼相机自动标定的装置及其使用方法
US10766145B2 (en) * 2017-04-14 2020-09-08 Brown University Eye in-hand robot
WO2021019627A1 (ja) * 2019-07-26 2021-02-04 オムロン株式会社 コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物
CN111515950B (zh) * 2020-04-28 2022-04-08 腾讯科技（深圳）有限公司 机器人坐标系变换关系确定方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
CN109227601A (zh) * 2017-07-11 2019-01-18 精工爱普生株式会社 控制装置、机器人、机器人系统及校正方法
CN109304710A (zh) * 2017-07-27 2019-02-05 中国商用飞机有限责任公司 基于径向基神经网络的机械臂精度标定方法
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及系统
CN111070199A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 一种手眼标定评估方法及机器人
US10628966B1 (en) * 2019-03-07 2020-04-21 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CN110000790A (zh) * 2019-04-19 2019-07-12 深圳科瑞技术股份有限公司 一种SCARA机器人eye-to-hand手眼系统的标定方法
CN109910016A (zh) * 2019-04-22 2019-06-21 亿嘉和科技股份有限公司 基于多自由度机械臂的视觉采集标定方法、装置及系统
CN110842914A (zh) * 2019-10-15 2020-02-28 上海交通大学 基于差分进化算法的手眼标定参数辨识方法、系统及介质
CN110919658A (zh) * 2019-12-13 2020-03-27 东华大学 一种基于视觉和多坐标系闭环转换的机器人标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨其昌: "双目立体视觉手眼标定技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈宝存等: "基于ROS的机器人自动手眼标定系统设计", 《计算机仿真》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218542A1 (zh) * 2020-04-28 2021-11-04 腾讯科技（深圳）有限公司 基于视觉感知设备的机器人本体坐标系的空间标定方法、装置和存储介质
CN115582829A (zh) * 2021-07-05 2023-01-10 腾讯科技（深圳）有限公司 机械臂的位置确定方法、装置、电子设备及存储介质
WO2023035100A1 (en) * 2021-09-07 2023-03-16 Abb Schweiz Ag Method, electronic device and computer readable storage medium for calibrating robot
CN116277035A (zh) * 2023-05-15 2023-06-23 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备
CN116277035B (zh) * 2023-05-15 2023-09-12 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备

Also Published As

Publication number Publication date
CN111515950B (zh) 2022-04-08
WO2021218542A1 (zh) 2021-11-04
US20220258356A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN111515950B (zh) 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN106097300B (zh) 一种基于高精度运动平台的多相机标定方法
Liu et al. Visual homing from scale with an uncalibrated omnidirectional camera
Khazetdinov et al. Embedded ArUco: a novel approach for high precision UAV landing
CN110136208A (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
De Luca et al. On-line estimation of feature depth for image-based visual servoing schemes
KR20180035172A (ko) 동시적인 운동성 및 핸드-아이 교정
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
JP6626338B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
Taryudi et al. Eye to hand calibration using ANFIS for stereo vision-based object manipulation system
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN115179294A (zh) 机器人控制方法、系统、计算机设备、存储介质
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN114310901A (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
JP2730457B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Ni et al. 3D-point-cloud registration and real-world dynamic modelling-based virtual environment building method for teleoperation
WO2022208963A1 (ja) ロボット制御用のキャリブレーション装置
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
Maas Dynamic photogrammetric calibration of industrial robots
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN116664622A (zh) 一种视觉运动控制方法和装置
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
Zare et al. Reconstructing 3-D Graphical Model Using an Under-Constrained Cable-Driven Parallel Robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027865

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant