CN112621711B - 机器人及其相机固定于机架的手眼标定方法以及存储介质 - Google Patents

机器人及其相机固定于机架的手眼标定方法以及存储介质 Download PDF

Info

Publication number
CN112621711B
CN112621711B CN202011304115.1A CN202011304115A CN112621711B CN 112621711 B CN112621711 B CN 112621711B CN 202011304115 A CN202011304115 A CN 202011304115A CN 112621711 B CN112621711 B CN 112621711B
Authority
CN
China
Prior art keywords
robot
camera
template
tail end
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011304115.1A
Other languages
English (en)
Other versions
CN112621711A (zh
Inventor
郭晓彬
黄国辉
迟杰恒
罗奇
罗欣
石廷亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Original Assignee
ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ADTECH (SHENZHEN) TECHNOLOGY CO LTD filed Critical ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Priority to CN202011304115.1A priority Critical patent/CN112621711B/zh
Publication of CN112621711A publication Critical patent/CN112621711A/zh
Application granted granted Critical
Publication of CN112621711B publication Critical patent/CN112621711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种机器人及其相机固定于机架的手眼标定方法以及存储介质，该机器人手眼标定方法包括：建立视觉模板，并在相机视野范围内示教至少三个示教点，三个示教点分别处于相机视野中心和两个对角位置；机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，获取模板像素坐标以及机器人末端的位姿，计算相机的初标定参数；控制机器人在不同姿态下迭代运动，使得相机中心精确对准模板中心，获取机器人末端位姿，计算机器人TCP；对相机视野均分，计算每一拍照点对应的机器人末端位置，机器人运动到相应位置，获取模板像素坐标以及机器人末端位姿，计算相机的精标定参数。上述方案，能够提高手眼标定方法的标定精度以及简化标定操作步骤。

Description

机器人及其相机固定于机架的手眼标定方法以及存储介质
技术领域
本发明涉及机器人的自动标定技术领域，特别是涉及一种机器人及其相机固定于机架的手眼标定方法以及存储介质。
背景技术
随着制造业的飞速发展，机器人作为高新产业也发展迅速，其应用场景不断扩大。例如：在机器人上安装视觉传感器，根据视觉传感器获取的视觉信息帮助机器人对外界环境进行检测、判断、识别、测量等，使得机器人可执行更加复杂、智能的任务。
在视觉传感器使用之前，需要对其进行手眼标定，且在机器人视觉应用中，手眼标定是一个非常基础且关键的问题。简单来说手眼标定的目的就是获取基坐标和视觉传感器坐标系的关系，最后将视觉识别的结果转移到基坐标系下。传统技术中，手眼标定方法都基于平面标定板进行标定：通过手动指令移动机器人，利用机器人末端关节上尖端治具去戳标定板上关键点并记录对应的坐标，根据获取的坐标完成标定。上述手眼标定方法过程中需要多次人工参与，标定过程效率较低，且标定板的加工精度及人工操作的精度会影响手眼标定结果的准确性，导致手眼标定结果的精度难以保证。
发明内容
本发明至少提供一种机器人及其相机固定于机架的手眼标定方法以及存储介质。
本发明第一方面提供了一种相机固定于机架的机器人手眼标定方法，所述机器人手眼标定方法包括：
建立视觉模板，并在所述相机视野范围内示教至少三个示教点，所述三个示教点分别处于所述相机视野中心以及两个对角位置，其中，所述相机固定安装在所述机架上；
所述机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，分别获取所述多个位置对应的模板像素坐标以及机器人末端位姿，计算所述相机的初标定参数；
控制所述机器人在不同姿态下迭代运动，使得所述相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP；
对所述相机视野均分，计算每一拍照点对应的所述机器人末端的位置，所述机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端位姿，计算所述相机的精标定参数。
本发明第二方面提供了一种机器人，所述机器人包括：
模板建立模块，用于建立视觉模板，并在相机视野范围内示教至少三个示教点，所述三个示教点分别处于所述相机的视野中心以及两个对角位置，其中，所述相机固定安装在所述机架上；
初标定模块，用于获取所述机器人运动到所述中心示教点，保持姿态不变，依次运动到多个位置，分别获取所述多个位置对应的模板像素坐标以及机器人末端位姿，计算所述相机的初标定参数；
精标定模块，用于控制所述机器人在不同姿态下迭代运动，使得所述相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP；对所述相机视野均分，计算每一拍照点对应的所述机器人末端的位置，所述机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端位姿，计算所述相机的精标定参数。
本发明第三方面提供了一种机器人，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的机器人手眼标定方法。
本发明第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的机器人手眼标定方法。
本发明中，建立视觉模板，并在相机视野范围内示教至少三个示教点，三个示教点分别处于相机视野中心和两个对角位置；机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，获取模板像素坐标以及机器人末端的位姿，计算相机的初标定参数；控制机器人在不同姿态下迭代运动，使得相机中心精确对准模板中心，获取机器人末端位姿，计算机器人TCP；对相机视野均分，计算每一拍照点对应的机器人末端位置，机器人运动到相应位置，获取模板像素坐标以及机器人末端位姿，计算相机的精标定参数。上述方案，能够提高手眼标定方法的标定精度以及简化标定操作步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是本申请提供的相机安装在机器人机架的结构示意图；
图2是本申请提供的机器人手眼标定方法一实施例的流程示意图；
图3是本申请提供的示教点分布图一实施例的示意图；
图4是本申请提供的机器人一实施例的框架示意图；
图5是本申请提供的机器人另一实施例的框架示意图；
图6是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面结合附图来详细描述本公开的具体实施方式。
请参阅图1和图2，图1是本申请提供的相机安装在机器人机架的结构示意图，图2是本申请提供的机器人手眼标定方法一实施例的流程示意图。
本申请提供的机器人手眼标定方法应用于图1所示的机器人以及所示的相机安装位置(机架上)，其中，本申请的机器人可以为SCARA(Selective Compliance AssemblyRobot Arm)机器人，也可以为其他平面多关节机器人。在后续的方法描述以及图示中，均以SCARA机器人为例进行说明，在此不再赘述。
具体地，工作人员在进行手眼标定之前，将相机垂直向上或垂直向下固定安装在SCARA机器人机架上，以夹具上任意可清晰识别的图形建立为视觉模板，模板中心为TCP(Tool CenterPoint)。具体如图1所示，L1为机器人大臂长度，L2为机器人小臂长度，C为相机，R为工具长度。坐标系{x0Ay0}为机器人基坐标系，坐标系{xcCyc}为相机坐标系，坐标系{xeEye}为机器人末端坐标系，TCP为模板中心在机器人末端坐标系{xeEye}的坐标。
具体而言，本公开实施例的机器人手眼标定方法包括以下步骤：
步骤S11：建立视觉模板，并在相机视野范围内示教至少三个示教点，三个示教点分别处于相机视野中心以及两个对角位置，其中，相机固定安装在机架上。
其中，工作人员以夹具上任意可清晰识别的图形建立视觉模板，然后在相机视野范围内分别示教机器人三个示教点，使得模板分别在相机视野中心以及两个对角附近，具体请参阅图3，图3是本申请提供的示教点分布图一实施例的示意图。具体地，相机视野中心对应的示教点即Point1(x1，y1，z，c0)，两个对角附近的示教点即Point2(x2，y2，z，c1)、Point3(x3，y3，z，c1)。其中，Point2和Point3处机器人的姿态相同，Point1和Point2处机器人的姿态不同。
步骤S12：机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，分别获取多个位置对应的模板像素坐标以及机器人末端的位姿，计算相机的初标定参数。
其中，机器人运动到Point1，且保持姿态不变，运动到n(n大于等于4)个不同位置，并触发相机拍照模板得到像素坐标(ui，vi)，以及获取机器人末端位姿(xi，yi，ci)。
像素坐标(u，v)换算到机器人基坐标系下的坐标(x，y，z)的转换关系如下所示：
Figure GDA0003890928840000051
其中，
Figure GDA0003890928840000052
为内参矩阵，
Figure GDA0003890928840000053
为外参矩阵
进一步地，考虑平面模型，z＝0，上述式子(1)消去λ得到：
Figure GDA0003890928840000054
将上述等式(2)右边分子和分母同时除以tz(tz≠0)，并用变量代换，得到：
Figure GDA0003890928840000055
将上述式子(3)写成矩阵形式，得到：
Figure GDA0003890928840000056
当像素坐标个数n大于等于4时，将上述矩阵方程(4)扩展，利用最小二乘法求解L0～L7，进行相机初标定，得到相机的初标定参数。
步骤S13：控制机器人在不同姿态下迭代运动，使得相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP。
其中，机器人运动到Point1，触发相机拍照模板，得到模板中心的像素坐标(u，v)，此时机器人的末端坐标为(x，y，c)，计算该像素坐标(u，v)与相机主点(u0，v0)的偏差：
Figure GDA0003890928840000061
由上述式子(3)推导得到：
Figure GDA0003890928840000062
进而，估计将相机主点(u0，v0)对准模板中心时，机器人末端需要运动的偏移量：
Figure GDA0003890928840000063
其中，du，dv为预先设定的微小量。
根据上述偏移量计算机器人末端接下来应该运动到的位置：
Figure GDA0003890928840000064
依次迭代运动多次，使得相机中心精确对准模板中心，获取此时机器人末端的位姿(xe1，ye1，ce1)。
然后，机器人运动到Point2与Point3的中点，按照上述过程迭代运动，使得相机中心精确对准模板中心，获取此时机器人末端的位姿(xe1，ye1，ce1)。
由于模板中心两次对准相机的主点，而相机固定安装在机架上，位置始终不变，根据SCARA机器人运动学正解：
Figure GDA0003890928840000071
其中，α为工具安装角度，toolX为机器人TCP的x坐标，toolY为机器人TCP的y坐标。
根据式(9)计算机器人TCP。
步骤S14：对相机视野均分，计算每一拍照点对应的机器人末端的位置，机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端的位姿，计算相机的精标定参数。
其中，机器人运动到Point2，触发相机拍照模板，得到第一对角像素坐标(U2，V2)。机器人运动到Point3，触发相机拍照模板，得到第二对角像素坐标(U3，V3)。
进一步地，根据第一对角像素坐标(U2，V2)和第二对角像素坐标(U3，V3)将相机的视野均分，间距为：
Figure GDA0003890928840000072
其中，Nu，Nv分别为u，v方向的拍照点个数。
将相机的视野均分后，进一步计算机器人末端运动位置：
Figure GDA0003890928840000073
其中，i＝1,…,Nv，j＝1,…,Nu。
其中，结合标定出来的机器人TCP，将Nv*Nu个像素坐标换算成在机器人基坐标系下的坐标，将上述矩阵方程(4)进行扩展，利用最小二乘法求解L0～L7，进行相机精标定，得到相机的精标定参数。
在完成相机的精标定后，还可以进一步对相机的标定精度进行检测，具体过程如下：利用相机的精标定参数，将每一拍照点对应的像素坐标换算成在机器人基坐标系下的坐标；利用机器人TCP及机器人末端位姿，将模板中心在机器人末端坐标系的坐标换算成在机器人基坐标系下的坐标；根据以上两种方式将机器人TCP换算成在机器人基坐标系下的坐标后，计算相机标定重建误差，用以衡量相机标定精度。
具体地，利用相机的精标定结果，将Nv*Nu个像素坐标转换成机器人基坐标系下的坐标(xb，yb)，利用标定出来的机器人TCP以及机器人末端的位姿，将TCP转换成在机器人基坐标系下的坐标(x'b，y'b)，相机标定重建误差：
Figure GDA0003890928840000081
通过上述重建误差计算平均误差、误差标准差、最大误差用于衡量相机标定精度。
在本公开实施例中，建立视觉模板，并在相机视野范围内示教至少三个示教点，三个示教点分别处于相机视野中心和两个对角位置；机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，获取模板像素坐标以及机器人末端的位姿，计算相机的初标定参数；控制机器人在不同姿态下迭代运动，使得相机中心精确对准模板中心，获取机器人末端位姿，计算机器人TCP；对相机视野均分，计算每一拍照点对应的机器人末端位置，机器人运动到相应位置，获取模板像素坐标以及机器人末端位姿，计算相机的精标定参数。上述方案，能够提高手眼标定方法的标定精度以及简化标定操作步骤。
请继续参阅图4，图4是本申请提供的机器人一实施例的框架示意图。具体而言，本公开实施例的机器人40包括：
模板建立模块41，用于建立视觉模板，并在相机的视野范围内示教至少三个示教点，三个示教点分别处于相机的视野中心以及两个对角位置，其中，相机固定安装在机架上。
初标定模块42，用于获取机器人运动到中心示教点，保持姿态不变并依次运动到多个位置时，相机拍摄的模板像素坐标以及机器人末端的位姿，并基于模板像素坐标以及机器人末端的位姿，计算相机的初标定参数。
精标定模块43，用于控制机器人在不同姿态下迭代运动，使得相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP；对相机视野均分，计算每一拍照点对应的机器人末端的位置，机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端的位姿，计算相机的精标定参数。
请参阅图5，图5是本申请提供的机器人另一实施例的框架示意图。机器人50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一机器人手眼标定方法实施例中的步骤。在一个具体的实施场景中，机器人50可以包括但不限于：微型计算机、服务器，此外，机器人50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一机器人手眼标定方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
请参阅图6，图6是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一机器人手眼标定方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本说明书的上述描述中，除非另有明确的规定和限定，术语“固定”、“安装”、“相连”或“连接”等术语应该做广义的理解。例如，就术语“连接”来说，其可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，或者可以是两个元件内部的连通或两个元件的相互作用关系。因此，除非本说明书另有明确的限定，本领域技术人员可以根据具体情况理解上述术语在本发明中的具体含义。
根据本说明书的上述描述，本领域技术人员还可以理解如下使用的术语，例如“上”、“下”、“前”、“后”、“左”、“右”、“长度”、“宽度”、“厚度”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”、“中心”、“纵向”、“横向”、“顺时针”或“逆时针”等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的，其仅是为了便于阐述本发明的方案和简化描述的目的，而不是明示或暗示所涉及的装置或元件必须要具有所述特定的方位、以特定的方位来构造和进行操作，因此上述的方位或位置关系术语不能被理解或解释为对本发明方案的限制。
另外，本说明书中所使用的术语“第一”或“第二”等用于指代编号或序数的术语仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”或“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个或更多个等，除非另有明确具体的限定。
虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (7)

1.一种相机固定于机架的机器人手眼标定方法，其特征在于，所述机器人手眼标定方法包括：
建立视觉模板，并在所述相机视野范围内示教至少三个示教点，所述三个示教点分别处于所述相机视野中心以及两个对角位置，其中，所述相机固定安装在所述机架上；
所述机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，分别获取所述多个位置对应的模板像素坐标以及机器人末端位姿，计算所述相机的初标定参数；
控制所述机器人在不同姿态下迭代运动，使得所述相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP；
对所述相机视野均分，计算每一拍照点对应的所述机器人末端的位置，所述机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端位姿，计算所述相机的精标定参数；
所述计算所述相机的精标定参数的步骤之后，所述方法还包括：
利用所述相机的精标定参数，将所述每一拍照点对应的像素坐标换算成在所述机器人基坐标系下的坐标；
利用所述机器人TCP及所述机器人末端位姿，将所述模板中心在所述机器人末端坐标系的坐标换算成在所述机器人基坐标系下的坐标；
将所述机器人TCP换算成在所述机器人基坐标系下的坐标后，计算相机标定重建误差，用以衡量相机标定精度。
2.根据权利要求1所述的机器人手眼标定方法，其特征在于，
所述机器人手眼标定方法还包括：
控制所述机器人末端分别运动到两个对角示教点，分别触发拍照所述模板，获取第一对角像素坐标、第二对角像素坐标；
所述对所述相机视野均分的步骤，包括：
基于所述第一对角像素坐标和所述第二对角像素坐标将所述相机的视野均分。
3.根据权利要求1所述的机器人手眼标定方法，其特征在于，
所述机器人手眼标定方法还包括：
控制所述机器人末端运动到所述中心示教点，触发拍照模板，获取所述模板像素坐标以及所述机器人末端位姿；
计算所述模板像素坐标与所述相机主点的偏差，并基于所述偏差以及所述相机初标定参数计算将相机主点对准模板中心时所述机器人末端所需运动的偏移量；
根据所述偏移量计算所述机器人末端的运动位置；
重复上述所述机器人手眼标定方法还包括的步骤迭代运动若干次，使得所述相机中心精确对准所述模板中心，并获取此时所述机器人末端位姿。
4.根据权利要求3所述的机器人手眼标定方法，其特征在于，
所述机器人手眼标定方法还包括：
控制所述机器人末端运动到两个对角示教点的中点，触发拍照模板，获取所述模板像素坐标以及所述机器人末端位姿；
计算所述模板像素坐标与所述相机主点的偏差，并基于所述偏差以及所述相机初标定参数计算将相机主点对准模板中心时所述机器人末端所需运动的偏移量；
根据所述偏移量计算所述机器人末端的运动位置；
重复上述所述机器人手眼标定方法还包括的步骤迭代运动若干次，使得所述相机中心精确对准所述模板中心，并获取此时所述机器人末端位姿。
5.一种机器人，其特征在于，所述机器人包括：
模板建立模块，用于建立视觉模板，并在相机视野范围内示教至少三个示教点，所述三个示教点分别处于所述相机的视野中心以及两个对角位置，其中，所述相机固定安装在机架上；
初标定模块，用于获取所述机器人运动到中心示教点，保持姿态不变，依次运动到多个位置，分别获取所述多个位置对应的模板像素坐标以及机器人末端位姿，计算所述相机的初标定参数；
精标定模块，用于控制所述机器人在不同姿态下迭代运动，使得所述相机视野中心精确对准模板中心，获取此时的机器人末端位姿，用以计算机器人TCP；对所述相机视野均分，计算每一拍照点对应的所述机器人末端的位置，所述机器人末端运动到相应位置，获取对应的模板像素坐标以及机器人末端位姿，计算所述相机的精标定参数；
利用所述相机的精标定参数，将所述每一拍照点对应的像素坐标换算成在所述机器人基坐标系下的坐标；
利用所述机器人TCP及所述机器人末端位姿，将所述模板中心在所述机器人末端坐标系的坐标换算成在所述机器人基坐标系下的坐标；
将所述机器人TCP换算成在所述机器人基坐标系下的坐标后，计算相机标定重建误差，用以衡量相机标定精度。
6.一种机器人，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至4中任一项所述的机器人手眼标定方法。
7.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至4中任一项所述的机器人手眼标定方法。
CN202011304115.1A 2020-11-19 2020-11-19 机器人及其相机固定于机架的手眼标定方法以及存储介质 Active CN112621711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011304115.1A CN112621711B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于机架的手眼标定方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011304115.1A CN112621711B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于机架的手眼标定方法以及存储介质

Publications (2)

Publication Number Publication Date
CN112621711A CN112621711A (zh) 2021-04-09
CN112621711B true CN112621711B (zh) 2022-11-29

Family

ID=75303521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011304115.1A Active CN112621711B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于机架的手眼标定方法以及存储介质

Country Status (1)

Country Link
CN (1) CN112621711B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020014949A1 (zh) * 2018-07-20 2020-01-23 深圳大学 无人机航拍路径生成方法、计算机设备和存储介质
CN113223048B (zh) * 2021-04-20 2024-02-27 深圳瀚维智能医疗科技有限公司 手眼标定精度确定方法、装置、终端设备以及存储介质
CN115476338B (zh) * 2022-07-08 2024-01-26 深圳市越疆科技股份有限公司 姿态调整方法及装置、机器人机构、电子设备及存储介质
CN117226853B (zh) * 2023-11-13 2024-02-06 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545591A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种基于六点触点法的机器人手眼标定方法
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维（杭州）科技有限公司 基于特征点的手眼标定方法
CN110497386A (zh) * 2019-08-26 2019-11-26 中科新松有限公司 一种协作机器人手眼关系自动标定装置及方法
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545591A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种基于六点触点法的机器人手眼标定方法
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维（杭州）科技有限公司 基于特征点的手眼标定方法
CN110497386A (zh) * 2019-08-26 2019-11-26 中科新松有限公司 一种协作机器人手眼关系自动标定装置及方法
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质

Also Published As

Publication number Publication date
CN112621711A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112621711B (zh) 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
US10906182B2 (en) Method of teaching robot and robot system
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
JP4191080B2 (ja) 計測装置
JP2690603B2 (ja) 視覚センサのキャリブレーション方法
JP2005201824A (ja) 計測装置
CN108106535B (zh) 一种基于机器人的线激光标定方法和线激光标定装置
CN112894823B (zh) 一种基于视觉伺服的机器人高精度装配方法
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2016078195A (ja) ロボットシステム、ロボット、制御装置及びロボットの制御方法
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
CN111152223A (zh) 一种全自动机器人手眼标定方法
US11637948B2 (en) Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
CN112308930A (zh) 相机外参标定方法、系统及装置
CN113840695B (zh) 标定检验组件、机器人系统、检验方法和标定方法
CN115439633A (zh) 标定方法、装置和电子设备
CN110238851B (zh) 一种移动机器人及其快速标定方法和系统
CN112809668A (zh) 一种机械臂自动手眼标定的方法及系统、终端
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
WO2021145280A1 (ja) ロボットシステム
US11478936B2 (en) Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
CN114820820A (zh) 一种电脑后壳的3d检测方法
CN114677429A (zh) 一种机械手的定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant