CN114750151B - 标定方法、装置、电子设备及计算机可读存储介质 - Google Patents

标定方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114750151B
CN114750151B CN202210344090.0A CN202210344090A CN114750151B CN 114750151 B CN114750151 B CN 114750151B CN 202210344090 A CN202210344090 A CN 202210344090A CN 114750151 B CN114750151 B CN 114750151B
Authority
CN
China
Prior art keywords
coordinate system
calibration
manipulator
dimensional
conversion relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210344090.0A
Other languages
English (en)
Other versions
CN114750151A (zh
Inventor
盖增园
迟小羽
杨传龙
王丽军
赵俊瑞
史学冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beihang University
Goertek Techology Co Ltd
Original Assignee
Qingdao Research Institute Of Beihang University
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beihang University, Goertek Techology Co Ltd filed Critical Qingdao Research Institute Of Beihang University
Priority to CN202210344090.0A priority Critical patent/CN114750151B/zh
Publication of CN114750151A publication Critical patent/CN114750151A/zh
Application granted granted Critical
Publication of CN114750151B publication Critical patent/CN114750151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种标定方法、装置、电子设备及计算机可读存储介质，该方法包括：控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；第一图片包含三维标定体的图像；三维标定体包括基体，基体包括由基体的第一表面向基体的第二表面内陷的多个第一内陷部和第二内陷部；第一表面和第二表面相对，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案；获取第一图片中第一内陷部环绕的部分形成的特征部的底面中心点的第一位置的第一坐标；根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标；根据第一坐标和第二坐标获得标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。

Description

标定方法、装置、电子设备及计算机可读存储介质
技术领域
本申请实施例涉及视觉检测技术领域，更具体地，涉及一种标定方法、装置、电子设备及计算机可读存储介质。
背景技术
机械手是一种能模仿人手和臂的某些动作功能，用以按固定程序抓取、搬运物件或操作工具的自动操作装置。
机械手需要视觉引导来定位所要进行操作的目标物的位置。但是机械手和相机都有自己的坐标系，目标物在相机中的坐标需要乘以手眼转换关系矩阵(相机的坐标系到机械手的坐标系的转换关系矩阵)才能传给机械手，以便让机械手准确抓取到目标物。三维工业自动化场景中，三维相机需要采集目标物的三维空间信息以确定目标物的位置。然而，实际情况中，机械手对目标物的定位结果存在准确度偏低的问题，导致机械手难以准确抓取到目标物。
发明内容
本申请实施例的一个目的是提供一种三维工业自动化场景中进行标定的新的技术方案，用于解决现有技术中机械手对目标物的定位结果的准确度偏低的技术问题。
根据本申请的第一方面，提供了一种标定方法，包括：控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像；三维标定体包括基体，该基体包括：由基体的第一表面向基体的第二表面内陷的第一内陷部和第二内陷部；第一表面和第二表面相对设置，第一内陷部的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案；获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，第一内陷部环绕的部分形成特征部；根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标；根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵；获取机械手末端的机械手末端坐标系和机械手底座的基准坐标系之间的第二转换关系矩阵；根据第一转换关系矩阵和第二转换关系矩阵，输出基准坐标系和标定体坐标系之间的标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。
可选地，根据第一转换关系矩阵和第二转换关系矩阵，输出基准坐标系和标定体坐标系之间的标定矩阵之后，上述方法还包括：根据标定矩阵、以及第一位置在三维标定体的标定体坐标系中的第二坐标，计算第一位置在基准坐标系中的第三坐标；在第二坐标和第三坐标的做差结果大于预设的误差阈值的情况下，将第一位置所在的特征部作为无效特征部；根据三维标定体中除无效特征部以外的其他多个特征部，重新计算标定矩阵。
可选地，三维相机固定在机械手的末端，三维标定体固定在机械手以外的第一目标位置上；第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；第二转换关系矩阵为：机械手末端坐标系到机械手基准坐标系的转换关系矩阵。
可选地，三维标定体固定在机械手的末端，三维相机固定在机械手以外的第二目标位置上；第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；第二转换关系矩阵为：机械手基准坐标系到机械手末端坐标系的转换关系矩阵。
根据本申请的第二方面，还提供了一种标定装置，包括：拍摄模块，用于控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像；三维标定体包括基体，该基体包括：由基体的第一表面向基体的第二表面内陷的第一内陷部和第二内陷部；第一表面和第二表面相对设置，第一内陷部的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案；第一获取模块，用于获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，第一内陷部环绕的部分形成特征部；第二获取模块，用于根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标；第三获取模块，用于根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵；第四获取模块，用于获取机械手末端的机械手末端坐标系和机械手底座的基准坐标系之间的第二转换关系矩阵；处理模块，用于根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。
可选地，标定装置还包括：计算模块，用于在处理模块根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵之后，根据标定矩阵、以及第一位置在三维标定体的标定体坐标系中的第二坐标，计算第一位置在基准坐标系中的第三坐标；确定模块，用于在第二坐标和第三坐标的做差结果大于预设的误差阈值的情况下，将第一位置所在的特征部作为无效特征部；计算模块还用于：根据三维标定体中除无效特征部以外的其他多个特征部，重新计算标定矩阵。
可选地，三维相机固定在机械手的末端，三维标定体固定在机械手以外的第一目标位置上；第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；第二转换关系矩阵为：机械手末端坐标系到机械手基准坐标系的转换关系矩阵。
可选地，三维标定体固定在机械手的末端，三维相机固定在机械手以外的第二目标位置上；第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；第二转换关系矩阵为：机械手基准坐标系到机械手末端坐标系的转换关系矩阵。
根据本申请的第三方面，还提供了一种电子设备，包括存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序，以实现根据本申请第一方面的方法。
根据本申请的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序在被处理器执行时实现根据本申请的第三方面的方法。
本申请实施例的一个有益效果在于，本申请实施例能够控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像；三维标定体包括基体，基体包括由基体的第一表面向基体的第二表面内陷的第一内陷部和第二内陷部；第一表面和第二表面相对设置，第一内陷部的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案；三维标定体的第一表面朝向三维相机；然后，获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；第一内陷部环绕的部分形成特征部；根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标；根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵；获取机械手末端的机械手末端坐标系和机械手的基准坐标系之间的第二转换关系矩阵；根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。本申请实施例能够解决现有技术中机械手对目标物的定位结果的准确度偏低的技术问题，能够有效提升机械手对目标物的定位结果的准确度，并且本申请实施例中的三维标定体在制作工艺上简单，适合大规模生产，给工业生产带来诸多便利。
通过以下参照附图对本申请的示例性实施例的详细描述，本申请实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请实施例的原理。
图1是根据本申请一些实施例的一种三维标定体中部分结构的透视图；
图2是根据本申请一些实施例的一种三维标定体的俯视图；
图3是根据本申请一些实施例的另一种三维标定体中第一内陷部的示意图；
图4是根据本申请一些实施例的再一种三维标定体中第一内陷部的示意图；
图5是根据本申请一些实施例的又一种三维标定体中第二内陷部的示意图；
图6A是根据本申请一些实施例的一种标定系统的示意图；
图6B是根据本申请一些实施例的另一种标定系统的示意图；
图7是根据本申请一些实施例的一种标定方法的方法流程图；
图8是根据本申请一些实施例的一种标定方法中不同拍照位姿下同一个特征部的坐标误差示意图；
图9是根据本申请一些实施例的另一种标定方法的方法流程图；
图10是根据本申请一些实施例的一种标定装置的方法流程图；
图11是根据一个实施例的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
由于三维相机与二维相机存在本质区别，普通二维相机的常用标定方法无法适用于三维相机，在工业应用中需要开发匹配于三维相机的独特标定方法。
本申请发明人经过长时间研究和多次验证，开发出适合于三维相机的独特标定方法，标定方法描述如下。
下面，参照附图描述根据本申请的各个实施例和例子。
在介绍本申请实施例的标定方法之前，首先对本申请实施例中的三维标定体进行介绍。
图1是根据本申请一些实施例的一种三维标定体中部分结构的透视图，图2是根据本申请一些实施例的一种三维标定体的俯视图。
如图1所示，三维标定体包括：基体101，基体101包括：由基体101的第一表面1011向基体101的第二表面1012内陷的第一内陷部102和第二内陷部103。
如图2所示，第一内陷部102的数量为多个。基体101可以是立方体或圆柱体。
如图1所示，第一表面1011和第二表面1012相对设置。
如图1和图2所示，第一内陷部102的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案。
在一些示例中，上述两个同心的相似多边形可以为圆形，在此情况下，如图2所示，上述环形图案为圆环图案，即图2中的黑色圆环。
可以理解的是，上述两个同心的相似多边形也可以为除圆形以外的其他形状，例如还可以是如图3所示的正方形。当然，也可以是五边形、六边形，等等。
在一些实施例中，如图2所示，多个第一内陷部呈阵列排布。
需要说明的是，图2中仅示例性示出了在基体101上设置9(即：3*3)个第一内陷部的情况。实际情况中，基体101上设置的第一内陷部的数量包括但不限于9个，例如还可以是如图4所示的25(即：5*5)个。当然，也可以为36(即：6*6)个、49(即：7*7)个等等。
如图2所示，第二内陷部103可以设置在多个第一内陷部102的一侧。对于多个第一内陷部102中的任一目标第一内陷部，可以将第二内陷部103作为参照物，确定目标第一内陷部在三维标定体的标定体坐标系中的坐标。
在一些实施例中，如图2所示，第二内陷部103在第一表面的第二投影105为L形。
当然，可以理解的是，第二内陷部103在第一表面的第二投影105包括但不限于L形，例如也可以是如图5所示的“丨”形。
基于上述实施例中介绍的三维标定体，本申请实施例还提供一种标定系统。标定系统包括：机械手、三维相机以及如上述实施例中的三维标定体。
三维标定体上的第一内陷部和第二内陷部朝向三维相机设置，以便三维相机拍摄三维标定体上的第一内陷部和第二内陷部。
在一些示例中，如图6A所示，标定系统600中，三维相机602固定在机械手601的末端6011，三维标定体固定在机械手601以外的第一目标位置上，三维标定体和机械手601的底座位姿关系固定不变。
在另一些示例中，如图6B所示，标定系统600中，三维标定体100固定在机械手601的末端，三维相机602固定在机械手601以外的第二目标位置上，机械手601的末端和三维标定体的位姿关系固定不变。
基于上述提供的标定系统，本申请实施例还提供一种标定方法，如图7所示，该方法包括如下步骤S710～S760。
步骤S710：控制三维相机以多个角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像。
三维标定体的介绍具体可以参见上述实施例中的对应描述，此处不再赘述。
每个角度下拍摄得到一张对应的第一图片。
示例地，若三维标定体如图2所示的包含9个第一内陷部，控制三维相机以9个不同的角度拍摄三维标定体，得到9张第一图片。
步骤S720：获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，第一内陷部环绕的部分形成特征部。
示例地，结合图1和图2所示，多个第一内陷部103一一对应多个特征部104。
特征部104为被对应的第一内陷部103环绕的基体101上未发生内陷的部分。
特征部104的底面为特征部104上与第一表面位于同一平面内的平面。
在执行步骤S720之前，本申请实施例还可以对三维相机的位姿进行初始化调整，将三维标定体上位于多个第一内陷部103中心的第一内陷部作为中心内陷部，控制三维相机镜头的光轴与中心内陷部的底面的中心点位于同一直线上。
步骤S730：根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标。
将第二内陷部作为参照物，根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标。
例如第二内陷部在第一表面上的第二投影为L形的情况下，例如将第二内陷部在第一表面上的拐点处的坐标设定为(0，0，0)，在此情况下，根据第一位置和第二内陷部的位置关系，便可得到获取第一位置在三维标定体的标定体坐标系中的第二坐标。
多个第一内陷部103的底面的中心点位置与第二内陷部的位置关系可以由本领域技术人员根据实际情况进行设置，本申请实施例对此不作限定。
步骤S740：根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵。
步骤S750：获取机械手末端的机械手末端坐标系和机械手的基准坐标系之间的第二转换关系矩阵。
下面来具体介绍步骤S740～S750。
在一些示例中，在标定系统为如图6A所示的标定系统的情况下，三维标定体的标定体坐标系到机械手底座的基准坐标系的转换关系矩阵可以通过如下公式计算得到：
其中，base表示机械手底座的机械手基准坐标系，Object表示目标物的目标物坐标系，End表示机械手末端的机械手末端坐标系，Cam表示相机坐标系。在目标物为三维标定体的情况下，目标物坐标系为三维标定体的标定体坐标系，在此情况下，表示标定体坐标系到机械手基准坐标系的转换关系矩阵，/>表示机械手末端坐标系到机械手基准坐标系的转换关系矩阵，/>表示相机坐标系到机械手末端坐标系的转换关系矩阵，/>表示标定体坐标系到相机坐标系的转换关系矩阵。
由于三维标定体和机械手601的位姿关系固定不变，由此可以得到如下关系：
其中，N为正整数。
参见图6A所示，由于三维相机固定在机械手末端，因此是固定值，对进行等式变换，得到如下结果：
在此情况下，将看作未知数X，/>看作系数A，/>看作系数B，可以得到方程A*X＝X*B，可以通过N个拍照角度对三维定位体进行拍摄，每个角度拍摄得到的照片可以得到一个A*X＝X*B，共可以得到/>组解，可以通过高斯公式或奇异值分解(Singular Value Decomposition，SVD)求解最小二乘解。在此情况下，在步骤S740中，第一转换关系矩阵具体为：标定体坐标系到相机坐标系到的转换关系矩阵，即上述/>在步骤S750中，第二转换关系矩阵具体为：机械手末端坐标系到机械手基准坐标系的转换关系矩阵，即上述/>在获得机械手末端坐标系到机械手基准坐标系的转换关系矩阵时，可以根据机械手示教器末端姿态坐标数据(X1，Y1，Z1，U1，V1，W1)，获得机械手末端坐标系到机械手基准坐标系的转换关系矩阵。
在另一些示例中，在标定系统为如图6B所示的标定系统的情况下，机械手601的末端和三维标定体的位姿关系固定不变，三维标定体的标定体坐标系到机械手601的末端的机械手末端坐标系的转换关系矩阵可以通过如下公式计算得到：
其中，base表示机械手底座的机械手基准坐标系，Object表示目标物的目标物坐标系，End表示机械手末端的机械手末端坐标系，Cam表示相机坐标系。在目标物为三维标定体的情况下，目标物坐标系为三维标定体的标定体坐标系，在此情况下，表示标定体坐标系到机械手末端坐标系的转换关系矩阵，/>表示机械手基准坐标系到机械手末端坐标系的转换关系矩阵，/>表示相机坐标系到机械手基准坐标系的转换关系矩阵，/>表示标定体坐标系到相机坐标系的转换关系矩阵。
由于机械手601的末端和三维标定体的位姿关系固定不变，由此可以得到如下关系：
参见图6B所示，由于三维相机与机械手底座的相对位置不发生变化，因此是固定值，对/>进行等式变换，得到如下结果：
在此情况下，将看作未知数X，/>看作系数A，/>看作系数B，可以得到方程A*X＝X*B，可以通过N个拍照角度对三维定位体进行拍摄，每个角度拍摄得到的照片可以得到一个A*X＝X*B，共可以得到/>组解，可以通过高斯公式或奇异值分解(Singular Value Decomposition，SVD)求解最小二乘解。在此情况下，在步骤S740中，第一转换关系矩阵具体为：标定体坐标系到相机坐标系到的转换关系矩阵，即上述/>在步骤S750中，第二转换关系矩阵具体为：机械手基准坐标系到机械手末端坐标系的转换关系矩阵，即上述/>在获得机械手基准坐标系到机械手末端坐标系的转换关系矩阵时，可以根据机械手示教器末端姿态坐标数据(X1，Y1，Z1，U1，V1，W1)，获得机械手基准坐标系到机械手末端坐标系的转换关系矩阵。
步骤S760：根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。
以图6A所示的标定系统为例，第一转换关系矩阵为第二转换关系矩阵为标定矩阵/>
以图6B所示的标定系统为例，第一转换关系矩阵为第二转换关系矩阵为标定矩阵/>
三维标定体包括多个特征部，多个特征部中的一个或多个特征部可能由于外界光线或者拍照姿态等原因导致标定矩阵的准确性偏低。例如图8所示，图8是根据本申请一些实施例的一种标定方法中不同拍照位姿下同一个特征部的坐标误差示意图。其中1、2、3、4、5、6、7、8、9分别对应九个特征部，1、2、3、4、5、6、7、8、9所在列上的点表示X轴、Y轴和Z轴上对PBase和PObject(PBase和PObject参见后文中的对应描述，此处不再赘述)做差后的做差结果。
理想情况下，对应X轴、Y轴、以及Z轴中任一，不同的拍照姿态下同一个特征部上第一位置的坐标的计算结果应该趋于一致，否则误差便越大，当误差过大时，影响输出的标定矩阵的准确性。为了排除上述由于多个特征部中的一个或多个特征部的对输出的标定矩阵的准确性的影响，在一些实施例中，在执行步骤S760后，如图9所示，本申请实施例还可以执行如下步骤S910～S930。
步骤S910：根据标定矩阵、以及第一位置在三维标定体的标定体坐标系中的第二坐标，计算第一位置在基准坐标系中的第三坐标；其中，目标第一图片为多张第一图片中任一。
可以根据如下公式计算第一位置在基准坐标系中的第三坐标：
其中，PBase为第一位置在基准坐标系中的第三坐标，为标定矩阵，PObject为第一位置在三维标定体的标定体坐标系中的第二坐标。
步骤S920：在第二坐标和第三坐标的做差结果大于预设的误差阈值的情况下，将第一位置所在的特征部作为无效特征部。
对第二坐标和第三坐标进行做差，获得做差结果。例如第二坐标为(x2，y2，z2)，第三坐标为(x3，y3，z3)，对第二坐标和第三坐标进行做差，获得做差结果为(x2-x3，y2-y3，z2-z3)。
做差结果大于预设的误差阈值即：做差结果中任一坐标轴上坐标值得做差结果大于针对该坐标轴预设的误差阈值，例如预设的误差阈值为(x0，y0，z0)，若满足x2-x3>x0、y2-y3>y0、以及z2-z3>z0中任一项，则确定第二坐标和第三坐标的做差结果大于预设的误差阈值，将第一位置所在的特征部作为无效特征部。
步骤S930：根据三维标定体中除无效特征部以外的其他多个特征部，重新计算标定矩阵。
计算标定矩阵的过程与上述实施例中步骤S710～S760的计算标定矩阵的过程相同，具体可以参见上述实施例中步骤S710～S760中的对应描述，此处不再赘述。
通过步骤S910～S930，可以在多个特征部中找出影响标定矩阵计算结果准确性的特征部作为无效特征部，从多个特征部中剔除无效特征部，然后根据三维标定体除无效特征部以外的其他多个特征部，重新计算标定矩阵，从而排除上述由于多个特征部中的一个或多个特征部的对输出的标定矩阵的准确性的影响，进一步提升标定矩阵计算结果的准确性。具体实施例中，通过测量可得，上述过程可以将误差精度控制在三维相机分辨率的3-5个像素之间。
本申请实施例的一个有益效果在于，本申请实施例能够控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像；三维标定体包括基体，基体包括由基体的第一表面向基体的第二表面内陷的第一内陷部和第二内陷部；第一表面和第二表面相对设置，第一内陷部的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案；三维标定体的第一表面朝向三维相机；然后，获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；第一内陷部环绕的部分形成特征部；根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标；根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵；获取机械手末端的机械手末端坐标系和机械手的基准坐标系之间的第二转换关系矩阵；根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。本申请实施例能够解决现有技术中机械手对目标物的定位结果的准确度偏低的技术问题，能够有效提升机械手对目标物的定位结果的准确度，并且本申请实施例中的三维标定体在制作工艺上简单，适合大规模生产，给工业生产带来诸多便利。
<设备实施例>
图10是根据本申请一些实施例的标定装置的功能结构框图。如图10所示，标定装置1000包括：拍摄模块1010、第一获取模块1020、第二获取模块1030、第三获取模块1040、第四获取模块1050、处理模块1060。
拍摄模块1010，用于控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，第一图片包含三维标定体的图像；基体，基体包括：由基体的第一表面向基体的第二表面内陷的第一内陷部和第二内陷部；第一表面和第二表面相对设置，第一内陷部的数量为多个，第一内陷部在第一表面的第一投影为两个同心的相似多边形所形成的环形图案。
第一获取模块1020，用于获取第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，第一内陷部环绕的部分形成特征部。
第二获取模块1030，用于根据第一位置和第二内陷部的位置关系，获取第一位置在三维标定体的标定体坐标系中的第二坐标。
第三获取模块1040，用于根据第一坐标和第二坐标，获取三维相机的相机坐标系和标定体坐标系之间的第一转换关系矩阵。
第四获取模块1050，用于获取机械手末端的机械手末端坐标系和机械手底座的基准坐标系之间的第二转换关系矩阵。
处理模块1060，用于根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵，以便使得机械手根据标定矩阵确定抓取物的位置。
可选地，标定装置1000还包括：
计算模块，用于在处理模块1060根据第一转换关系矩阵和第二转换关系矩阵，输出标定矩阵之后，根据标定矩阵、以及第一位置在三维标定体的标定体坐标系中的第二坐标，计算第一位置在基准坐标系中的第三坐标。
确定模块，用于在第二坐标和第三坐标的做差结果大于预设的误差阈值的情况下，将第一位置所在的特征部作为无效特征部。
计算模块还用于：根据三维标定体中除无效特征部以外的其他多个特征部，重新计算标定矩阵。
标定装置的有益效果可以参见上述方法实施例中的有益效果的描述，此处不再赘述。
图11是根据一些实施例的电子设备的硬件结构示意图。
如图11所示，该电子设备1100包括处理器1110和存储器1120，该存储器1120用于存储可执行的计算机程序，该处理器1110用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。
该电子设备1100可以是机械手。
以上电子设备1100的各模块可以由本实施例中的处理器1110执行存储器1120存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (10)

1.一种标定方法，其特征在于，包括：
控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，所述第一图片包含所述三维标定体的图像；所述三维标定体包括基体，所述基体包括：由所述基体的第一表面向所述基体的第二表面内陷的第一内陷部和第二内陷部；所述第一表面和所述第二表面相对设置，所述第一内陷部的数量为多个，所述第一内陷部在所述第一表面的第一投影为两个同心的相似多边形所形成的环形图案；
获取所述第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，所述第一内陷部环绕的部分形成所述特征部；
根据所述第一位置和所述第二内陷部的位置关系，获取所述第一位置在所述三维标定体的标定体坐标系中的第二坐标；
根据所述第一坐标和所述第二坐标，获取所述三维相机的相机坐标系和所述标定体坐标系之间的第一转换关系矩阵；
获取机械手末端的机械手末端坐标系和机械手底座的基准坐标系之间的第二转换关系矩阵；
根据所述第一转换关系矩阵和所述第二转换关系矩阵，输出所述基准坐标系和所述标定体坐标系之间的标定矩阵，以便使得所述机械手根据所述标定矩阵确定抓取物的位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一转换关系矩阵和所述第二转换关系矩阵，输出所述基准坐标系和所述标定体坐标系之间的标定矩阵之后，所述方法还包括：
根据所述标定矩阵、以及所述第一位置在所述三维标定体的标定体坐标系中的第二坐标，计算所述第一位置在所述基准坐标系中的第三坐标；
在所述第二坐标和所述第三坐标的做差结果大于预设的误差阈值的情况下，将所述第一位置所在的特征部作为无效特征部；
根据所述三维标定体中除所述无效特征部以外的其他多个特征部，重新计算所述标定矩阵。
3.根据权利要求1所述的方法，其特征在于，所述三维相机固定在所述机械手的末端，所述三维标定体固定在所述机械手以外的第一目标位置上；
所述第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；
所述第二转换关系矩阵为：所述机械手末端坐标系到所述机械手基准坐标系的转换关系矩阵。
4.根据权利要求1所述的方法，其特征在于，所述三维标定体固定在所述机械手的末端，所述三维相机固定在所述机械手以外的第二目标位置上；
所述第一转换关系矩阵为：所述标定体坐标系到所述相机坐标系到的转换关系矩阵；
所述第二转换关系矩阵为：所述机械手基准坐标系到所述机械手末端坐标系的转换关系矩阵。
5.一种标定装置，其特征在于，包括：
拍摄模块，用于控制三维相机以多个不同的角度拍摄三维标定体，得到多张第一图片；其中，所述第一图片包含所述三维标定体的图像；所述三维标定体包括基体，所述基体包括：由所述基体的第一表面向所述基体的第二表面内陷的第一内陷部和第二内陷部；所述第一表面和所述第二表面相对设置，所述第一内陷部的数量为多个，所述第一内陷部在所述第一表面的第一投影为两个同心的相似多边形所形成的环形图案；
第一获取模块，用于获取所述第一图片中对应于特征部的底面中心点的第一位置的第一坐标；其中，所述第一内陷部环绕的部分形成所述特征部；
第二获取模块，用于根据所述第一位置和所述第二内陷部的位置关系，获取所述第一位置在所述三维标定体的标定体坐标系中的第二坐标；
第三获取模块，用于根据所述第一坐标和所述第二坐标，获取所述三维相机的相机坐标系和所述标定体坐标系之间的第一转换关系矩阵；
第四获取模块，用于获取机械手末端的机械手末端坐标系和机械手底座的基准坐标系之间的第二转换关系矩阵；
处理模块，用于根据所述第一转换关系矩阵和所述第二转换关系矩阵，输出标定矩阵，以便使得所述机械手根据所述标定矩阵确定抓取物的位置。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
计算模块，用于在所述处理模块根据所述第一转换关系矩阵和所述第二转换关系矩阵，输出所述基准坐标系和所述标定体坐标系之间的标定矩阵之后，根据所述标定矩阵、以及所述第一位置在所述三维标定体的标定体坐标系中的第二坐标，计算所述第一位置在所述基准坐标系中的第三坐标；
确定模块，用于在所述第二坐标和所述第三坐标的做差结果大于预设的误差阈值的情况下，将所述第一位置所在的特征部作为无效特征部；
所述计算模块，还用于根据所述三维标定体中除所述无效特征部以外的其他多个特征部，重新计算所述标定矩阵。
7.根据权利要求5所述的装置，其特征在于，所述三维相机固定在所述机械手的末端，所述三维标定体固定在所述机械手以外的第一目标位置上；
所述第一转换关系矩阵为：标定体坐标系到相机坐标系到的转换关系矩阵；
所述第二转换关系矩阵为：所述机械手末端坐标系到所述机械手基准坐标系的转换关系矩阵。
8.根据权利要求5所述的装置，其特征在于，所述三维标定体固定在所述机械手的末端，所述三维相机固定在所述机械手以外的第二目标位置上；
所述第一转换关系矩阵为：所述标定体坐标系到所述相机坐标系到的转换关系矩阵；
所述第二转换关系矩阵为：所述机械手基准坐标系到所述机械手末端坐标系的转换关系矩阵。
9.一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-4中任意一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-4中任意一项所述的方法。
CN202210344090.0A 2022-03-31 2022-03-31 标定方法、装置、电子设备及计算机可读存储介质 Active CN114750151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210344090.0A CN114750151B (zh) 2022-03-31 2022-03-31 标定方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210344090.0A CN114750151B (zh) 2022-03-31 2022-03-31 标定方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114750151A CN114750151A (zh) 2022-07-15
CN114750151B true CN114750151B (zh) 2023-09-12

Family

ID=82329061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210344090.0A Active CN114750151B (zh) 2022-03-31 2022-03-31 标定方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114750151B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493574B1 (en) * 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
CN106643792A (zh) * 2016-10-26 2017-05-10 中国科学院长春光学精密机械与物理研究所 惯性测量单元和地磁传感器整体标定装置及标定方法
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质
CN110842901A (zh) * 2019-11-26 2020-02-28 广东技术师范大学 基于一种新型三维标定块的机器人手眼标定方法与装置
WO2020237574A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置
CN112907682A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN112991460A (zh) * 2021-03-10 2021-06-18 哈尔滨工业大学 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN114055444A (zh) * 2021-08-27 2022-02-18 清华大学 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493574B1 (en) * 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
CN106643792A (zh) * 2016-10-26 2017-05-10 中国科学院长春光学精密机械与物理研究所 惯性测量单元和地磁传感器整体标定装置及标定方法
WO2020237574A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质
CN110842901A (zh) * 2019-11-26 2020-02-28 广东技术师范大学 基于一种新型三维标定块的机器人手眼标定方法与装置
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置
CN112991460A (zh) * 2021-03-10 2021-06-18 哈尔滨工业大学 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN112907682A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN114055444A (zh) * 2021-08-27 2022-02-18 清华大学 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质

Also Published As

Publication number Publication date
CN114750151A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
Bacakoglu et al. A three-step camera calibration method
WO2022061673A1 (zh) 用于机器人的标定方法和装置
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN112171666B (zh) 视觉机器人的位姿标定方法及装置、视觉机器人、介质
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
Taryudi et al. Eye to hand calibration using ANFIS for stereo vision-based object manipulation system
WO2022067665A1 (zh) 一种坐标转换的方法、装置、系统、程序及其电子设备
JP2017144498A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
US20220383547A1 (en) Hand-eye calibration of camera-guided apparatuses
Hu et al. Calibration of an eye-to-hand system using a laser pointer on hand and planar constraints
Li Kinematic calibration of an active head-eye system
US20220152818A1 (en) Apparatus and method for training a machine learning model to recognize an object topology of an object from an image of the object
CN114750151B (zh) 标定方法、装置、电子设备及计算机可读存储介质
Jiang et al. Error analysis and experiments of 3D reconstruction using a RGB-D sensor
Rüther et al. The narcissistic robot: Robot calibration using a mirror
Ulrich et al. Generic hand–eye calibration of uncertain robots
Axelrod et al. Improving hand-eye calibration for robotic grasping and manipulation
Gothandaraman et al. Robot-assisted 3D digital reconstruction of heritage artifacts: area similarity approach
CN112348878B (zh) 定位测试方法、装置及电子设备
CN217992515U (zh) 三维标定体和标定系统
Korak et al. Optical tracking system
JP2019105588A (ja) 情報処理装置、システム、情報処理方法及びプログラム
US20220301209A1 (en) Device and method for training a neural network for controlling a robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant