CN108346165A - 机器人与三维传感组件联合标定方法与装置 - Google Patents

机器人与三维传感组件联合标定方法与装置 Download PDF

Info

Publication number
CN108346165A
CN108346165A CN201810091578.0A CN201810091578A CN108346165A CN 108346165 A CN108346165 A CN 108346165A CN 201810091578 A CN201810091578 A CN 201810091578A CN 108346165 A CN108346165 A CN 108346165A
Authority
CN
China
Prior art keywords
coordinate system
robot
relationship
dimensional
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810091578.0A
Other languages
English (en)
Other versions
CN108346165B (zh
Inventor
陈海龙
张雅琴
刘晓利
彭翔
刘梦龙
向开兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ESUN DISPLAY CO Ltd
Shenzhen University
Original Assignee
SHENZHEN ESUN DISPLAY CO Ltd
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ESUN DISPLAY CO Ltd, Shenzhen University filed Critical SHENZHEN ESUN DISPLAY CO Ltd
Priority to CN201810091578.0A priority Critical patent/CN108346165B/zh
Publication of CN108346165A publication Critical patent/CN108346165A/zh
Application granted granted Critical
Publication of CN108346165B publication Critical patent/CN108346165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种机器人与三维传感组件联合标定方法、装置、计算机设备和存储介质，方法包括：获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定，确定匹配不同机器人姿态下的三维深度信息的第一坐标系变换关系，确定机器人在不同旋转角度下的空间姿态的第二坐标系变换关系，根据多个变换关系以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定和优化。采用本方法通过参数标定以及获取多个坐标系之间的变换关系，对有限视场角度下的物体进行多视点三维重建，进一步获得机器人不同旋转角度的视场信息，计算全局变换矩阵，进行全局标定，从而充分实现多视角深度数据信息融合，达到了提高匹配精度的效果。

Description

机器人与三维传感组件联合标定方法与装置
技术领域
本申请涉及三维测量技术领域，特别是涉及一种机器人与三维传感组件联合标定方法、装置、计算机设备和存储介质。
背景技术
随着我国制造业的不断发展，机器人已经成为先进制造业中不可或缺的重要装备，机器人智能感知需要对传感器数据进行处理，然后将处理后的数据传输给机器人进行作业规划。在三维测量领域，机器人需要与多种类型的三维传感组件结合，实现智能感知、视点规划、多视点三维重建和匹配等功能，这涉及到对多种三维传感组件进行标定，以及三维传感组件与机器人的变换关系进行标定，将传感组件的坐标系与机器人的坐标系统一起来。在进行数据融合时，传感组件与机器人的参数标定，以及各坐标变换关系的确定是必须解决的问题之一。
而传统的标定方法在实际运用过程中，存在着标定结果匹配精度不高的问题。
发明内容
基于此，有必要针对标定结果匹配精度不高的问题，提供一种提高匹配精度的机器人与三维传感组件联合标定方法、装置、计算机设备和存储介质。
一种机器人与三维传感组件联合标定方法，所述方法包括：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
一种机器人与三维传感组件联合标定装置包括：
三维传感组件参数标定模块，用于获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
第一坐标系变换关系确定模块，用于根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
第二坐标系变换关系确定模块，用于根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
全局标定模块，用于根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
上述机器人与三维传感组件联合标定方法、装置、计算机设备和存储介质，通过获取机器人在不同姿态下对应的标靶基准点信息，进行传感组件的参数标定，通过获取多个坐标系之间的变换关系，得到不同机器人姿态下的三维深度信息，对有限视场角度下的物体进行多视点三维重建，进一步通过机器人在不同旋转角度下的空间姿态，获得机器人不同旋转角度的视场信息，计算全局变换矩阵，进行全局标定，从而充分实现数据信息融合，达到了提高匹配精度的效果。
附图说明
图1为一个实施例中机器人与三维传感组件联合标定方法的应用环境图；
图2为一个实施例中基于机器人与三维传感组件的成像系统的结构示意图；
图3为一个实施例中机器人与三维传感组件联合标定方法的流程示意图；
图4为另一个实施例中机器人与三维传感组件联合标定方法的流程示意图；
图5为另一个实施例中机器人与三维传感组件联合标定方法的流程示意图；
图6为一个实施例中机器人与三维传感组件联合标定方法的标靶图的不同视角示意图；
图7为一个实施例中机器人与三维传感组件联合标定方法的各个坐标系及它们之间转换关系示意图；
图8为一个实施例中三维传感组件坐标系与机器人末端坐标系的变换关系优化前后的误差数据对比图；
图9为一个实施例中三维传感组件坐标系与机器人末端坐标系的变换关系优化前误差分布以及优化后误差分布对比图；
图10为另一个实施例中机器人与三维传感组件联合标定方法的流程示意图；
图11为另一个实施例中机器人与三维传感组件联合标定方法流程示意图；
图12为一个实施例中通过对变换矩阵进行分解处理，得到旋转矩阵，确定旋转坐标系位置信息步骤的流程示意图；
图13为一个实施例中去除噪声数据前以及去噪声数据之后的旋转向量在某一维的弧度分布对比图；
图14为一个实施例中机器人与三维传感组件联合标定方法装置结构框图；
图15为另一个实施例中机器人与三维传感组件联合标定方法装置的结构框图；
图16为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的机器人与三维传感组件联合标定方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。通过终端获取机器人在不同姿态下对应的标靶基准点信息、第一坐标系变换关系、第三坐标系变换关系以及第二坐标系变换关系，并通过网络将获取的信息传送至服务器，服务器对数据进行计算与处理，进行全局标定，实现对基于机器人与三维传感组件的成像系统的标定与控制。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，基于机器人和三维传感组件的成像系统，其硬件结构包括三维传感组件，用于携带三维传感组件的机器人，与机器人连接的旋转，旋转用于放置标靶或其他被测物体，且机器人可以相对旋转转动。由于机器人运动是基于自身的坐标系的，而通过三维传感组件获取图片的位姿信息是基于三维传感组件坐标系的，要想机器人准确识别三维传感组件发送来的位姿信息，那么就需要将三维传感组件坐标系向机器人坐标系转化，因此，为了保证机器人准确无误地移动到三维传感组件识别到的位姿，需要求出传感器坐标系与机器人坐标系之间的转换关系。标定一般分为三维传感组件自身参数的标定以及多传感器的联合标定。各传感器自身参数的标定是为了保证所采集数据的准确性，而多传感器的联合标定是为了多传感器数据的准确匹配，确保数据融合的准确性。
在一个实施例中，如图3所示，提供了一种机器人与三维传感组件联合标定方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S100，获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定。
机器人包括基座和末端，机器人姿态是指机器人基座相对于机器人末端的位置关系。三维传感组件是指用于获取靶标或其他被测物体的图像信息的组件，具体地，三维传感组件可以包括结构光传感组件与红外深度传感组件，红外深度传感组件可以包括红外深度摄像机，结构光传感组件可以包括摄像机和投影装置的组合，摄像机的数量可以为多个。不同姿态下的机器人会使得三维传感组件中的摄像机对应有不同的拍摄姿态，三维传感组件的参数包括摄像机各自的内部参数、不同拍摄姿态下摄像机的外部参数，以及当存在多个摄像机时，摄像机之间的结构参数。
步骤S200，根据参数标定结果，确定第一坐标系变换关系，第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息。
坐标系是以确定的预设位置为坐标原点，建立的三维坐标系，具体可以包括机器人坐标系、三维传感组件坐标系，三维传感组件坐标系具体包括结构光传感组件坐标系、红外深度传感组件坐标系等，坐标系变换关系是指不同坐标系之间的转换矩阵，可以是机器人坐标系与三维传感组件坐标系的转换关系等。不同的变换关系对应实现数据与参数在不同的坐标系之间的转换，第一坐标系变换关系用于确定不同姿态的机器人在相同旋转角度下对应视点的图像重建信息，其中，旋转角度是指机器人围绕旋转的转动角度，具体地，第一坐标系变换关系可以是三维传感组件坐标系与机器人末端坐标系的变换关系，其中机器人包括机器人基座与机器人末端，机器人基座是指与放置标靶与被测物体的旋转台连接的一端，远离机器人基座的一端为机器人末端，可以理解，机器人基座与机器人末端是就相对位置来限定的，在其他实施例中，也可以用其他的位置名词。
步骤S300，根据第一坐标系变换关系，确定第二坐标系变换关系，第二坐标系变换关系用于确定机器人在不同旋转角度下的空间姿态。
由于对标靶和被测物体的图像构建是三维的立体图像，所以需要对不同角度的标靶和被测物体进行信息采集，机器人在围绕旋转台转动时，三维传感组件可以获取到不同角度的信息，并且需要将采集到的信息进行坐标转换。第二坐标系变换关系可以是三维传感组件坐标系与旋转坐标系的变换关系。
步骤S400，根据第一坐标系变换关系、第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
根据三维传感组件的标定参数，用于匹配不同机器人姿态下的三维深度信息的第一坐标系变换关系，用于确定机器人在不同旋转角度下的空间姿态的第二坐标系变换关系，以及获取的机器人姿态信息与旋转角度信息，通过各变换关系矩阵，计算得到全局变换矩阵，进行全局标定，可以将任意旋转角度和任意机器人姿态的视点下的三维点云匹配到全局坐标系。
上述机器人与三维传感组件联合标定方法、装置、计算机设备和存储介质，通过获取机器人在不同姿态下对应的标靶基准点信息，进行传感组件的参数标定，通过获取多个坐标系之间的变换关系，得到不同机器人姿态下的三维深度信息，对有限视场角度下的物体进行多视点三维重建，进一步通过机器人在不同旋转角度下的空间姿态，获得机器人不同旋转角度的视场信息，计算全局变换矩阵，进行全局标定，从而充分实现数据信息融合，达到了提高匹配精度的效果。
在其中一个实施例中，三维传感组件包括结构光传感组件与红外深度传感组件，如图4所示，步骤S400之后，还包括：
步骤S520，通过红外深度传感组件，获取被测物体的稀疏点云信息。
红外深度摄像机用于检测被测物体的稀疏点云，并反馈检测结果信息，从而实现控制调节机器人移动到指定位置。其中，检测结果包括标靶等被测物体稀疏点云的分布及法向特征。
步骤S540，获取红外深度传感组件与机器人预设位置之间的第三坐标系变换关系。
第三坐标系变换关系用于确定机器人移动视点信息，视点是指机器人在移动过程中，三维传感组件的信息获取范围，机器人移动时相对于标靶或被测物体的位置不同，从而三维传感组件获取的被测物体的图片也不同，在数据信息获取时，较好的视点对于数据的精确度有着重要影响。第三坐标系变换关系可以是红外深度传感组件坐标系与机器人末端坐标系之间的变换关系。
步骤S560，根据稀疏点云信息和第三坐标系变换关系，使机器人移动到指定的位置，通过结构光传感组件对被测物体进行三维重建，得到被测物体的三维深度数据。
稀疏点云信息为结构光三维扫描视点提供参考，再结合红外深度摄像机与机器人末端的变换关系可控制机器人移动到指定位置。结构光传感组件由左右两部摄像机和投影装置机组成，投影仪可以投射编码图像，摄像机可以采集图像信息，从而利用结构光传感组件的摄像机，拍摄投影装置投射到物体表面的编码图像，对物体进行三维重建。具体地，完成所有标定后，将被测物体放置于两部摄像机的有效视场；在机器人、红外深度传感组件、旋转轴和标定参数的帮助下，结构光传感组件可移动到指定扫描视点，在各个视点控制投影装置投射编码图像到被测物体表面，同时结构光传感组件中的左右投影仪对被测物体进行编码投影，摄像机采集带表面有编码信息的物体的图像；通过对该图像解码，并查找到左右摄像机图像的对应点，再利用的结构光传感组件的标定参数，可利用三角测量原理对任意视点下的被测物体表面进行三维重建得到三维点云，即三维深度数据。
步骤S580，根据全局标定结果，将三维深度数据，匹配到全局坐标系中，获取被测物体的整体三维数据。
不同视点下的被测物体表面三维深度数据匹配到全局坐标系中，完成多视点三维数据自动匹配，全局匹配后可以得到被测物体大致完整的三维点云数据。
在一个实施例中，如图5所示，步骤S100包括：
步骤S120，控制机器人携带三维传感组件在一定范围内移动多个姿态，控制在不同机器人姿态下左右摄像机同时拍摄包含标准面的标靶图片。
姿态范围指标靶的标准面上的所有基准点能够处于两部摄像机的有效视场，多个姿态具体可以用数量N(N≥2)表示，每个标靶图像上的基准点有M个，同时机器人末端到机器人基座的位姿关系记录下来为He2b1,He2b2,He2b3,...He2bN。其中，在控制机器人移动不同姿态过程中，用于连接旋转台与机器人基座的旋转轴不动，也就是控制机器人相对标靶位于固定角度。其中标靶置于旋转台，标靶可以是不规则形状的多面体，标靶的标准面是指其中一个面积较大的平面，在标靶的标准面设置有规则排列且分别存在唯一对应编号的基准点，其余面上也设置有相同形状的基准点，但是除标准面以外的其余面的基准点可不按按规则排列，其中，标准面用于对结构光三维传感组件参数、对第一坐标系变换关系和第三坐标系变换关系进行标定，标靶的其余面用于对第二坐标系变换关系进行标定。具体地，如图6所示，标准面上设置有规则排列的99个直径相同圆形基准点，其中有4个基准点是空心圆环，中间黑外圈白，其他95基准点是白色实心圆点。4个空心圆环用于给99个基准点完成1-99编号，使得每个基准点有唯一编号，这种标靶只需对标准面制作基准点的标靶文件，标准面的标靶文件制作简单、标定精度高，能够同时满足系统整体的标定需求。
可以理解，在其他实施例中，结构光传感组件的摄像机的位置也可以是其他相对位置，标靶的基准点可以为其他数量，也可以为其他的图案。
步骤S140，计算不同机器人姿态下采集到的标靶图像上的基准点坐标和基准点在把靶标坐标系中的坐标，通过最小化目标函数，进行结构光传感组件的参数标定。
计算不同机器人姿态下采集到的基准点坐标xij(i＝1,2,3,...N,j＝1,2,3,...M)；获取基准点在标靶坐标系中的坐标Xj(j＝1,2,3,...M)；通过最小化目标函数
可计算结构光传感组件的标定参数τ＝{θl,θr,Θ,Hli}。结构光传感组件的标定参数包括：左右摄像机的内部参数θl、θr；在不同姿态下的标靶到左摄像机的外部参数Hli；左右两摄像机之间的结构参数Θ；在这里设定左摄像机坐标系作为结构光传感组件的坐标系，则标靶到结构光传感组件的相对位姿关系等于标靶到左摄像机的相对位姿关系，即Hg2ci＝Hli。可以理解，在其他实施例中，也可以设定右摄像机坐标系作为结构光传感组件的坐标系。
在一个实施例中，步骤S200包括：
步骤S220，获取机器人的基座与机器人的末端的第一相对位姿关系。
机器人末端到机器人基座的位姿关系He2bi，与机器人基座到机器人末端的位姿关系Hb2ei之间的联系为：Hb2ei＝He2bi -1，两者互为逆矩阵。
步骤S240，获取标靶与结构光传感组件的第二相对位姿关系。
步骤S260，根据第一相对位姿关系与第二相对位姿关系，获得结构光传感组件坐标系与机器人末端坐标系之间的变换关系。
根据结构光传感组件、标靶、机器人之间的相对运动姿态，并由其中任意两个运动姿态可建立以下方程：
He2b2(He2b1)-1Hc2e＝Hc2eHg2c2(Hg2c1)-1 (2)
N个运动姿态可建立个方程，多个方程可进行线性最小二乘求解出Hc2e，即结构光传感组件与机器人末端的第一坐标系变换关系。
在一个实施例中，步骤S200之后，还包括：
步骤S280，获取标靶与机器人的基座的第三相对位姿关系。
如图7所示，根据关系式
Hc2eHe2bi＝(Hg2ci)-1Hg2b(i＝1,2,3,...N) (3)
可计算N个Hg2b对N个Hg2b取平均求得即标靶与机器人的基座的第三相对位姿关系。
步骤S290，通过最小化目标函数对第一坐标系变换关系、第一相对位姿关系、第二相对位姿关系以及第三相对位姿关系进行误差校正处理。
由于存在机器人运动误差和线性求解误差，此时得到的Hc2e和并不精确。建立求解结构光传感组件与机器人末端的相对位姿关系的最小化目标函数：
其中τ′＝{Hg2b,Hb2ei,He2c}为待优化的参数向量；Hb2ei和He2c可作为目标函数参数求解的初值，然后进行非线性迭代优化求解最终更新得到的Hg2b、Hb2ei和He2c，其中引入的这种算法能够对机器人的运动误差进行校正，并且对每个坐标变换过程进行了优化，达到整体误差最小的效果；此时的Hg2b、Hb2ei和He2c是经过这种最优化求解后的得到的，更加准确；其中Xj和Hg2ci是已知的，指通过Hg2b、Hb2ei、He2c计算得到的在结构光传感组件坐标系下的标靶基准点的坐标，Xcij指的是通过Hg2ci计算得到的在结构光传感组件坐标系下的标靶基准点的坐标。可以通过优化前后的转换关系的误差进行对比，即比较与之间的旋转误差和平移误差。旋转误差的单位为毫弧度mrad，平移误差的单位取毫米mm。如图8和图9所示，例如，当机器人移动的不同姿态数量N为12，优化前旋转误差的标准差为0.334(mrad),平移误差的标准差为0.255(mm)；优化后，得到旋转误差的标准差为3.77x10-8(mrad),平移误差的标准差为2.17x10-8(mm)，通过结构光传感组件坐标系与机器人末端坐标系的变换关系优化前误差分布与优化后误差分布相对比，可知优化后的误差更小，转换结果更为精确。
在一个实施例中，第三坐标系变换关系包括红外深度传感组件坐标系与机器人末端坐标系的变换关系，红外深度传感组件可以是红外深度摄像机，红外深度摄像机可以设置于结构光传感组件的两个摄像机之间。可以理解，参照上述用于确定第一坐标系变换关系的方法以及对应的优化方法，可以获取第三坐标系变换关系，并得到优化结果。
如图10所示，在一个实施例中，第二坐标系变换关系包括三维传感组件坐标系与旋转坐标系之间的变换关系，步骤S300包括：
步骤S310，获取机器人在相同姿态下，不同旋转角度的靶标基准点信息。
控制旋转轴转动，从而带动机器人围绕载物台转动到不同角度，控制左右结构光传感组件的摄像机在每个角度拍摄标靶图像，得到不同角度的靶标基准点信息。
步骤S320，根据标定的三维传感组件参数，对不同角度的标靶基准点进行重建，得到不同视场的基准点三维数据集合。
根据结构光传感组件的摄像机的内部参数和摄像机之间的结构参数，对每个角度下的标靶基准点进行重建，得到不同视场的基准点三维数据集合。
步骤S330，根据基准点三维数据集合，确定结构光传感组件坐标系与旋转坐标系之间的变换关系。
步骤S390，根据第一坐标系变换关系、结构光传感组件坐标系与旋转坐标系的变换关系，以及获取的机器人基座与机器人末端的相对姿态，得到机器人基座坐标系到旋转坐标系的第二坐标系变换关系。
具体地，如图11所示，在其中一个实施例中，步骤S330包括：
步骤S340，采用迭代方法优化基准点三维数据集合，得到各视场之间的变换矩阵。
迭代是重复执行一系列运算步骤，从前面的量依次求出后面的量的重复反馈过程，达到逼近所需目标或结果，从而对基准点三维数据集合进行优化，并进一步通过换算得到各视场之间的变换矩阵。各视场之间的变换矩阵是指不同视角对应的三维图像信息在不同的坐标系中的转换关系。
步骤S350，通过对变换矩阵进行分解处理，得到旋转矩阵，确定旋转坐标系的旋转轴方向。
步骤S360，根据旋转坐标系的旋转轴方向与优化的基准点三维数据集合，确定结构光传感组件坐标系与旋转坐标系之间的第二坐标系变换关系。
根据旋转坐标系的旋转轴方向和结构光传感组件坐标系的旋转轴方向，确定结构光传感组件坐标系与旋转坐标系之间的旋转矩阵；利用结构光传感组件坐标系与旋转坐标系之间的旋转矩阵和在不同旋转角度下的结构光传感组件坐标系的基准点进行旋转变换，由于所有基准点都是围绕同一旋转轴转动，可确定转动圆周所在的圆心坐标，并根据圆心坐标求得结构光传感组件坐标系与旋转坐标系的平移向量。将旋转矩阵与平移向量进行矩阵组合，确定结构光传感组件坐标系与旋转坐标系之间的第二坐标系变换关系。
在其中一个实施例中，如图12所示，步骤S350包括：
步骤S351，根据对变换矩阵分解处理的结果，得到旋转矩阵。
步骤S353，对旋转矩阵进行变换处理，得到初始旋转向量。其中，变换处理可以是rodrigues(罗德里格斯)变换，罗德里格斯旋转变换公式是计算三维空间中，旋转向量和旋转矩阵之间互相转换的计算公式。
步骤S355，对初始旋转向量进行取平均处理，得到目标旋转向量。
理想情况下每个初始旋转向量应该是相同的，因为机器人带动摄像机围绕旋转轴做旋转运动，但实际上由于摄像机标定误差和系统误差的影响，每个初始旋转向量之间会有一定的偏差，所以这里要对数据做平均处理多个旋转矩阵可以得到多个初始旋转向量的集合，对集合中包含的所有旋转向量取平均，可以得到初步优化的目标旋转向量。
步骤S357，对目标旋转向量进行降噪优化处理，确定最优旋转向量，得到旋转坐标系。
经过初步优化的目标旋转向量极易受到噪声影响，若初始旋转向量偏离较大会对初步优化的目标旋转向量产生影响。为了较高精度确定旋转向量，舍去超过设定阈值的初始旋转向量，阈值可自行调节，阈值越小，舍去的初始旋转向量越多，留下的初始旋转向量越接近最终需要确定的旋转向量，从而得到最优旋转向量。如图13所示，根据去除噪声数据前的旋转向量与去除噪声数据后的旋转向量在某一维的弧度分布图的对比结果可知，采用去噪声处理的数据结果精度更高，受到初始旋转向量影响更小。最优旋转向量方向定义为旋转坐标系Z轴正方向。
在一个应用实例中，步骤S300具体包括：
控制旋转轴转动，从而带动机器人围绕载物台转动N′(≥2)个角度，同时控制左右摄像机在每个角度拍摄标靶图像I1,I2,I3,...IN′，角度是≤360度的任意角度，但是需要至少保证相邻角度的图像有重叠的基准点图案，转动过程中机器人姿态固定不动，机器人姿态指机器人末端坐标系与机器人基座坐标系的相对位姿关系。根据左右摄像机的内部参数θl、θr和左右两摄像机之间的结构参数Θ重建对每个角度下的标靶基准点进行重建，得到N′个视场的基准点三维数据集合Vi(i＝1,2,...N′)。根据欧式距离的刚体不变原理，采用点模式匹配算法完成有公共基准点的两个视场的对应搜索，并计算两视场之间的变换矩阵。为了避免两两匹配的累积误差，采用一种迭代优化的方法，包括输入：与当前Vi匹配的所有视场的基准点集合到世界坐标系的变换矩阵Hj(j＝1,2,3...K)；世界坐标系指Vi所在的坐标系；假设有K个视场与Vi匹配；输出：优化后的与当前Vi匹配的所有视场的基准点集合到世界坐标系的变换矩阵Hj(j＝1,2,3...K)；
算法同时考虑了所有视场共同的基准点，基准点集合转换到当前世界坐标系下后，这样可达到在当前世界坐标系下取得全局最优变换，从而减少误差累积。更新得到的所有Hj可分解为旋转矩阵Rj和平移向量Tj；其中一个旋转矩阵R通过rodrigues变换可确定一条旋转向量(即旋转轴)所对应的单位向量omj，如式
K个旋转矩阵可计算出K个旋转轴的集合，然后对所有旋转轴取平均，如式
即可得到唯一一条旋转轴，理想情况下每个omj应该是相同的，因为机器人带动摄像机围绕旋转轴做旋转运动，但实际上由于摄像机标定误差和系统误差的影响，每个omj之间会有一定的偏差，所以这里要对数据做平均处理；此时求得的这条旋转轴极易受到噪声影响，若omj偏离较大会对最终确定的旋转轴omave产生影响。为了较高精度确定旋转轴，建立一种优化算法，去除噪声较大的数据，最终确定较准确的旋转轴位置。
具体算法步骤为：分别计算omj与omave的差值的绝对值absj，若absj>thresh，则舍去此omj，假设舍去后的旋转轴的集合的个数为K′；thresh为可自行调节的阈值，阈值越小，舍去的旋转轴越多，留下的旋转轴越接近最终需要确定的旋转轴；对舍去较大偏差的旋转轴后的集合再次计算平均
重复舍去与求平均的步骤，直到个数为K'的集合里面所有的absj≤thresh，最后输出om'ave；此时输出的om′ave作为最终确定的旋转轴，旋转轴所在的坐标系即旋转坐标系。确定结构光传感组件坐标系与旋转坐标系的变换关系Hc2r，主要包含两个步骤：计算结构光传感组件坐标系与旋转坐标系的旋转矩阵Rc2r和平移向量Tc2r。将旋转轴om′ave方向定义为旋转坐标系Z轴正方向，将结构光传感组件坐标系的Z轴正方向向量Zc＝(0,0,1)旋转至om′ave方向(即旋转坐标系Z轴正方向)，可由如下式求解结构光传感组件坐标系到旋转坐标系的旋转向量omc2r：
式中，×和·的运算代表向量间的叉积和点积，θ向量代表omc2r的方向，λ代表omc2r的大小。然后通过rodrigues变换求得结构光传感组件坐标系到旋转坐标系的旋转矩阵Rc2r，如式
Rc2r＝rodrigues(omc2r) (9)
计算结构光传感组件坐标系与旋转坐标系的平移向量Tc2r。根据计算的旋转矩阵Rc2r，将不同旋转角度下的结构光传感组件坐标系的基准点进行旋转变换，如式Xs′＝Rc2rXs，其中Xs＝(x,y,z)是旋转前基准点s在结构光传感组件坐标系中的坐标，Xs′＝(x′,y′,z′)是旋转后基准点s在结构光传感组件坐标系中的坐标。由于所有基准点都是围绕同一旋转轴转动，则可由下式确定转动圆周所在的圆心X0＝(x0,y0,z0)：
对所有基准点都做上式计算，然后将求得的所有圆心的平均值，从而得到最后根据坐标求得结构光传感组件坐标系与旋转坐标系的平移向量结构光传感组件坐标系与旋转坐标系的变换关系为：
根据变换关系矩阵，可确定全局变换矩阵Hg，当旋转转动角度为0度且机器人末端还未移动时的旋转坐标系为全局坐标系。利用结构光传感组件坐标系与机器人末端坐标系的变换关系He2c、结构光传感组件坐标系与旋转坐标系的变换关系Hc2r和机器人基座与末端的相对姿态He2b，计算机器人基座坐标系到旋转坐标系的变换关系Hb2r，如式：
步骤S400具体包括：
在机器人围绕旋转平台旋转α角度时，旋转坐标系绕Z轴从角度α到0时的变换矩阵为
计算全局变换矩阵Hg，即从双目三维传感坐标系→机器人末端坐标系→机器人基座坐标系→旋转角度为α时的旋转坐标系→旋转角度为0时的旋转坐标系的变换关系，如式：
Hg＝HαHb2rHe2bHc2e (14)
利用全局变换矩阵可以将任意旋转角度和任意机器人姿态的视点下的三维点云匹配到全局坐标系下。
在一个实施例中，步骤S400之后，还包括：
完成所有标定后，将被测物体放置于两部摄像机的有效视场；在机器人、红外深度摄像机、旋转轴和标定参数的帮助下，结构光传感组件可移动到指定扫描视点，在各个视点控制投影装置投射编码图像到被测物体表面，同时相机采集带表面有编码信息的物体的图像；通过对该图像解码，并查找到左右摄像机图像的对应点，再利用的结构光传感组件的标定参数，即左右摄像机的各自内部参数θ和左右两摄像机之间的结构参数Θ，可利用三角测量原理对任意视点下的被测物体表面进行三维重建得到三维点云X。
不同视点下的被测物体表面三维深度数据匹配到全局坐标系中，完成多视点三维数据自动匹配；假设有N个扫描视点，全局匹配Xgi＝HgiXi(i＝1,2,3,...N)后得到被测物体大致完整的三维点云数据，其中Hg为全局变换矩阵。
应该理解的是，虽然各个的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种机器人与三维传感组件联合标定装置，包括：
三维传感组件参数标定模块210，用于获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定。
第一坐标系变换关系确定模块230，用于根据参数标定结果，确定第一坐标系变换关系，第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
第二坐标系变换关系确定模块250，用于根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态。
全局标定模块200，用于根据标定的三维传感组件参数、第一坐标系变换关系、第三坐标系变换关系以及第二坐标系变换关系，计算全局变换矩阵，进行全局标定。
上述机器人与三维传感组件联合标定装置，通过获取机器人在不同姿态下对应的标靶基准点信息，进行传感组件的参数标定，通过获取多个坐标系之间的变换关系，得到不同机器人姿态下的三维深度信息，对有限视场角度下的物体进行多视点三维重建，进一步通过机器人在不同旋转角度下的空间姿态，获得机器人不同旋转角度的视场信息，计算全局变换矩阵，进行全局标定，从而充分实现数据信息融合，达到了提高匹配精度的效果。如图15所示，在一个实施例中，还包括三维重建模块300，用于通过所述红外深度传感组件，获取被测物体的稀疏点云信息；获取所述红外深度传感组件与机器人预设位置之间的第三坐标系变换关系；根据所述稀疏点云信息和第三坐标系变换关系，使机器人移动到指定的位置，通过结构光传感组件对被测物体进行三维重建，得到被测物体的三维深度数据。
在一个实施例中，还包括全局匹配模块400，用于根据所述全局标定结果，将所述三维深度数据，匹配到所述全局坐标系中，获取被测物体的整体三维数据。
在一个实施例中，第一坐标系变换关系确定模块230，还用于获取机器人的基座与机器人的末端的第一相对位姿关系；获取标靶与结构光传感组件的第二相对位姿关系；根据第一相对位姿关系与第二相对位姿关系，获得结构光传感组件坐标系与机器人末端坐标系之间的变换关系。
在一个实施例中，机器人与三维传感组件联合标定装置，还包括：
误差校正模块，用于获取标靶与机器人的基座的第三相对位姿关系；通过最小化目标函数对第一坐标系变换关系、第一相对位姿关系，第二相对位姿关系以及第三相对位姿关系进行误差校正处理。
在一个实施例中，第二坐标系变换关系确定模块250，还用于获取机器人在相同姿态下，不同旋转角度的靶标基准点信息；根据标定的结构光传感组件参数，对不同角度的标靶基准点进行重建，得到不同视场的基准点三维数据集合；根据基准点三维数据集合，确定结构光传感组件坐标系与旋转坐标系之间的变换关系；根据第一坐标系变换关系、结构光传感组件坐标系与旋转坐标系的变换关系，以及获取的机器人基座与机器人末端的相对姿态，得到机器人基座坐标系到旋转坐标系的第二坐标系变换关系。
在其中一个实施例中，第二坐标系变换关系确定模块250，还用于采用迭代方法优化基准点三维数据集合，得到各视场之间的变换矩阵；通过对变换矩阵进行分解处理，得到旋转矩阵，确定旋转坐标系的旋转轴方向；根据旋转坐标系的旋转轴方向与基准点三维数据集合，确定结构光传感组件坐标系与旋转坐标系之间的变换关系。
在其中一个实施例中，第二坐标系变换关系确定模块250，还用于根据变换矩阵分解结果，得到旋转矩阵；对旋转矩阵进行变换处理，得到初始旋转向量；对初始旋转向量进行取平均处理，得到目标旋转向量；对目标旋转向量进行降噪优化处理，确定最优旋转向量；将最优旋转向量对应的坐标系确定为旋转坐标系。
关于机器人与三维传感组件联合标定装置的具体限定可以参见上文中对于机器人与三维传感组件联合标定方法的限定，在此不再赘述。上述机器人与三维传感组件联合标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人与三维传感组件联合标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据参数标定结果，确定第一坐标系变换关系，第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据第一坐标系变换关系，确定第二坐标系变换关系，第二坐标系变换关系用于确定机器人在不同旋转角度下的空间姿态；
根据第一坐标系变换关系、第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据参数标定结果，确定第一坐标系变换关系，第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据第一坐标系变换关系，确定第二坐标系变换关系，第二坐标系变换关系用于确定机器人在不同旋转角度下的空间姿态；
根据第一坐标系变换关系、第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人与三维传感组件联合标定方法，其特征在于，所述方法包括：
获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
2.根据权利要求1所述的机器人与三维传感组件联合标定方法，其特征在于，所述三维传感组件包括结构光传感组件与红外深度传感组件，所述根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定之后，还包括：
通过所述红外深度传感组件，获取被测物体的稀疏点云信息；
获取所述红外深度传感组件与机器人预设位置之间的第三坐标系变换关系；
根据所述稀疏点云信息和第三坐标系变换关系，使机器人移动到指定的位置，通过结构光传感组件对被测物体进行三维重建，得到所述被测物体的三维深度数据；
根据所述全局标定结果，将所述三维深度数据，匹配到全局坐标系中，获取所述被测物体的整体三维数据。
3.根据权利要求1所述的机器人与三维传感组件联合标定方法，其特征在于，所述机器人包括基座与末端，所述三维传感组件包括结构光传感组件，所述第一坐标系变换关系包括结构光传感组件坐标系与机器人末端坐标系之间的变换关系，所述获取第一坐标系变换关系包括：
获取所述机器人的基座与所述机器人的末端的第一相对位姿关系；
获取所述标靶与所述结构光传感组件的第二相对位姿关系；
根据所述第一相对位姿关系与第二相对位姿关系，获得结构光传感组件坐标系与机器人末端坐标系之间的变换关系。
4.根据权利要求3所述的机器人与三维传感组件联合标定方法，其特征在于，所述获取第一坐标系变换关系之后，还包括：
获取所述标靶与所述机器人的基座的第三相对位姿关系；
通过最小化目标函数对所述第一坐标系变换关系、所述第一相对位姿关系，所述第二相对位姿关系以及所述第三相对位姿关系进行误差校正处理。
5.根据权利要求1所述的机器人与三维传感组件联合标定方法，其特征在于，所述三维传感组件包括结构光传感组件，所述参数标定结果包括结构光传感组件参数，所述第二坐标系变换关系包括机器人基座坐标系与旋转坐标系之间的变换关系，所述获取第二坐标系变换关系包括：
获取所述机器人在相同姿态下，不同旋转角度的靶标基准点信息；
根据所述结构光传感组件参数，对所述不同角度的标靶基准点进行重建，得到不同视场的基准点三维数据集合；
根据所述基准点三维数据集合，确定所述结构光传感组件坐标系与所述旋转坐标系之间的变换关系；
根据所述第一坐标系变换关系、所述结构光传感组件坐标系与旋转坐标系的变换关系，以及获取的机器人基座与机器人末端的相对姿态，得到机器人基座坐标系到旋转坐标系的第二坐标系变换关系。
6.根据权利要求5所述的机器人与三维传感组件联合标定方法，其特征在于，所述根据所述基准点三维数据集合，确定所述结构光传感组件坐标系与所述旋转坐标系之间的变换关系包括：
采用迭代方法优化所述基准点三维数据集合，得到各视场之间的变换矩阵；
通过对所述变换矩阵进行分解处理，得到旋转矩阵，确定旋转坐标系的旋转轴方向；
根据所述旋转坐标系的旋转轴方向与优化的所述基准点三维数据集合，确定所述结构光传感组件坐标系与所述旋转坐标系之间的变换关系。
7.根据权利要求6所述的机器人与三维传感组件联合标定方法，其特征在于，所述通过对所述变换矩阵进行分解处理，得到旋转矩阵，确定旋转坐标系位置信息包括：
根据对变换矩阵分解处理的结果，得到旋转矩阵；
对所述旋转矩阵进行变换处理，得到初始旋转向量；
对所述初始旋转向量进行取平均处理，得到目标旋转向量；
对所述目标旋转向量进行降噪优化处理，确定最优旋转向量，得到旋转坐标系。
8.一种机器人与三维传感组件联合标定装置，其特征在于，所述装置包括：
三维传感组件参数标定模块，用于获取机器人在不同姿态下对应的标靶基准点信息，对三维传感组件进行参数标定；
第一坐标系变换关系确定模块，用于根据所述参数标定结果，确定第一坐标系变换关系，所述第一坐标系变换关系用于匹配不同机器人姿态下的三维深度信息；
第二坐标系变换关系确定模块，用于根据所述第一坐标系变换关系，确定第二坐标系变换关系，所述第二坐标系变换关系用于确定所述机器人在不同旋转角度下的空间姿态；
全局标定模块，用于根据所述第一坐标系变换关系、所述第二坐标系变换关系、以及获取的机器人姿态信息与旋转角度信息，计算全局变换矩阵，进行全局标定。
9.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810091578.0A 2018-01-30 2018-01-30 机器人与三维传感组件联合标定方法与装置 Active CN108346165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810091578.0A CN108346165B (zh) 2018-01-30 2018-01-30 机器人与三维传感组件联合标定方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810091578.0A CN108346165B (zh) 2018-01-30 2018-01-30 机器人与三维传感组件联合标定方法与装置

Publications (2)

Publication Number Publication Date
CN108346165A true CN108346165A (zh) 2018-07-31
CN108346165B CN108346165B (zh) 2020-10-30

Family

ID=62961421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810091578.0A Active CN108346165B (zh) 2018-01-30 2018-01-30 机器人与三维传感组件联合标定方法与装置

Country Status (1)

Country Link
CN (1) CN108346165B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493388A (zh) * 2018-09-30 2019-03-19 先临三维科技股份有限公司 转轴标定方法、装置、计算机设备和存储介质
CN109544702A (zh) * 2018-11-21 2019-03-29 北京像素软件科技股份有限公司 三维变换处理方法、装置、电子设备及存储介质
CN109579898A (zh) * 2018-12-25 2019-04-05 佛山科学技术学院 一种智能制造传感器数据空间校准方法及装置
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN109895098A (zh) * 2019-03-25 2019-06-18 华中科技大学 一种机器人结构参数和手眼关系的统一标定模型
CN109974707A (zh) * 2019-03-19 2019-07-05 重庆邮电大学 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
CN109993801A (zh) * 2019-03-22 2019-07-09 上海交通大学 一种用于二维相机与三维传感器的标定装置及标定方法
CN110009689A (zh) * 2019-03-21 2019-07-12 上海交通大学 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN110281232A (zh) * 2019-05-10 2019-09-27 广州明珞汽车装备有限公司 快速圆整机器人位置的方法、系统、装置和存储介质
CN111496782A (zh) * 2020-03-17 2020-08-07 吉利汽车研究院（宁波）有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN111716340A (zh) * 2019-03-22 2020-09-29 达明机器人股份有限公司 3d相机与机械手臂坐标系统的校正装置及方法
CN111948210A (zh) * 2019-05-17 2020-11-17 上海贝特威自动化科技有限公司 一种机械视觉缺陷检测方法及其系统
WO2020237407A1 (zh) * 2019-05-24 2020-12-03 深圳配天智能技术研究院有限公司 机器人运动学参数自标定方法、系统及存储装置
CN112070835A (zh) * 2020-08-21 2020-12-11 达闼机器人有限公司 机械臂位姿预测方法、装置、存储介质及电子设备
CN112685860A (zh) * 2021-01-08 2021-04-20 深圳睿晟自动化技术有限公司 一种曲面姿态检测方法、装置、终端设备及存储介质
CN113167584A (zh) * 2018-11-23 2021-07-23 采埃孚股份公司 用于提供变换参量的方法和系统
CN113446933A (zh) * 2021-05-19 2021-09-28 浙江大华技术股份有限公司 用于多三维传感器的外参标定方法、装置和系统
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
CN113805603A (zh) * 2020-06-16 2021-12-17 北京二郎神科技有限公司 无人机标定系统及方法
CN114434123A (zh) * 2022-02-24 2022-05-06 亿嘉和科技股份有限公司 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN115018935A (zh) * 2022-08-09 2022-09-06 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104154875A (zh) * 2014-08-20 2014-11-19 深圳大学 基于两轴旋转平台的三维数据获取系统及获取方法
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN107507127A (zh) * 2017-08-04 2017-12-22 深圳市易尚展示股份有限公司 多视点三维点云的全局匹配方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104154875A (zh) * 2014-08-20 2014-11-19 深圳大学 基于两轴旋转平台的三维数据获取系统及获取方法
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN107507127A (zh) * 2017-08-04 2017-12-22 深圳市易尚展示股份有限公司 多视点三维点云的全局匹配方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李巍 等: "凸松弛全局优化机器人手眼标定", 《计算机应用》 *
许晓东 等: "一种采用图像特征匹配技术的RGB-D SLAM算法", 《测绘通报》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493388B (zh) * 2018-09-30 2020-11-17 先临三维科技股份有限公司 转轴标定方法、装置、计算机设备和存储介质
CN109493388A (zh) * 2018-09-30 2019-03-19 先临三维科技股份有限公司 转轴标定方法、装置、计算机设备和存储介质
CN109544702A (zh) * 2018-11-21 2019-03-29 北京像素软件科技股份有限公司 三维变换处理方法、装置、电子设备及存储介质
CN109544702B (zh) * 2018-11-21 2023-05-02 北京像素软件科技股份有限公司 三维变换处理方法、装置、电子设备及存储介质
CN113167584A (zh) * 2018-11-23 2021-07-23 采埃孚股份公司 用于提供变换参量的方法和系统
CN109579898A (zh) * 2018-12-25 2019-04-05 佛山科学技术学院 一种智能制造传感器数据空间校准方法及装置
CN109754433B (zh) * 2018-12-27 2023-10-03 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN109974707A (zh) * 2019-03-19 2019-07-05 重庆邮电大学 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
CN110009689A (zh) * 2019-03-21 2019-07-12 上海交通大学 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN110009689B (zh) * 2019-03-21 2023-02-28 上海交通大学 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN109993801A (zh) * 2019-03-22 2019-07-09 上海交通大学 一种用于二维相机与三维传感器的标定装置及标定方法
CN111716340A (zh) * 2019-03-22 2020-09-29 达明机器人股份有限公司 3d相机与机械手臂坐标系统的校正装置及方法
CN113597362B (zh) * 2019-03-25 2024-05-24 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN109895098A (zh) * 2019-03-25 2019-06-18 华中科技大学 一种机器人结构参数和手眼关系的统一标定模型
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN110281232A (zh) * 2019-05-10 2019-09-27 广州明珞汽车装备有限公司 快速圆整机器人位置的方法、系统、装置和存储介质
CN111948210A (zh) * 2019-05-17 2020-11-17 上海贝特威自动化科技有限公司 一种机械视觉缺陷检测方法及其系统
WO2020237407A1 (zh) * 2019-05-24 2020-12-03 深圳配天智能技术研究院有限公司 机器人运动学参数自标定方法、系统及存储装置
CN111496782B (zh) * 2020-03-17 2022-03-08 吉利汽车研究院（宁波）有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN111496782A (zh) * 2020-03-17 2020-08-07 吉利汽车研究院（宁波）有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN113805603A (zh) * 2020-06-16 2021-12-17 北京二郎神科技有限公司 无人机标定系统及方法
CN112070835A (zh) * 2020-08-21 2020-12-11 达闼机器人有限公司 机械臂位姿预测方法、装置、存储介质及电子设备
CN112685860A (zh) * 2021-01-08 2021-04-20 深圳睿晟自动化技术有限公司 一种曲面姿态检测方法、装置、终端设备及存储介质
CN113446933A (zh) * 2021-05-19 2021-09-28 浙江大华技术股份有限公司 用于多三维传感器的外参标定方法、装置和系统
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113706692B (zh) * 2021-08-25 2023-10-24 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
CN114434123A (zh) * 2022-02-24 2022-05-06 亿嘉和科技股份有限公司 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN114434123B (zh) * 2022-02-24 2022-11-01 亿嘉和科技股份有限公司 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN115018935B (zh) * 2022-08-09 2022-10-18 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质
CN115018935A (zh) * 2022-08-09 2022-09-06 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108346165B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108346165A (zh) 机器人与三维传感组件联合标定方法与装置
CN113532311B (zh) 点云拼接方法、装置、设备和存储设备
Jiang et al. Gesture recognition based on binocular vision
CA2825834C (en) Automated frame of reference calibration for augmented reality
CN103020952B (zh) 信息处理设备和信息处理方法
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
TWI466062B (zh) 重建三維模型的方法與三維模型重建裝置
TWI651687B (zh) 三維模型建構方法及其系統
CN109859275A (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN106204718A (zh) 一种基于单个Kinect的简易高效三维人体重建方法
CN108648237A (zh) 一种基于视觉的空间定位方法
CN109242912A (zh) 采集装置外参标定方法、电子设备、存储介质
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
CN105261060A (zh) 基于点云压缩和惯性导航的移动场景实时三维重构方法
CN109940626B (zh) 一种基于机器人视觉的画眉机器人系统的控制方法
CN108608466A (zh) 一种双目相机和激光雷达联合的机器人定位方法
CN109493389B (zh) 一种基于深度学习的相机标定方法及系统
Gratal et al. Visual servoing on unknown objects
CN109741399A (zh) 基于旋转拍摄的预计算相机标定方法
CN104680570A (zh) 一种基于视频的动作捕捉系统及方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
Li et al. Extrinsic calibration of non-overlapping multi-camera system with high precision using circular encoded point ruler
US11544872B2 (en) Camera calibration method using human joint points
JP2005241323A (ja) 撮像システム及び校正方法
Kurillo et al. Framework for hierarchical calibration of multi-camera systems for teleimmersion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518133 23rd floor, Yishang science and technology creative building, Jiaan South Road, Haiwang community Central District, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN ESUN DISPLAY Co.,Ltd.

Patentee after: SHENZHEN University

Address before: 518048 B301, 3rd floor, block AB, 4001 Fuqiang Road, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN ESUN DISPLAY Co.,Ltd.

Patentee before: SHENZHEN University

CP02 Change in the address of a patent holder