CN112621743A - 机器人及其相机固定于末端的手眼标定方法及存储介质 - Google Patents

机器人及其相机固定于末端的手眼标定方法及存储介质 Download PDF

Info

Publication number
CN112621743A
CN112621743A CN202011308930.5A CN202011308930A CN112621743A CN 112621743 A CN112621743 A CN 112621743A CN 202011308930 A CN202011308930 A CN 202011308930A CN 112621743 A CN112621743 A CN 112621743A
Authority
CN
China
Prior art keywords
robot
camera
pixel
coordinate
tail end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011308930.5A
Other languages
English (en)
Other versions
CN112621743B (zh
Inventor
郭晓彬
黄国辉
迟杰恒
罗奇
罗欣
石廷亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Original Assignee
ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ADTECH (SHENZHEN) TECHNOLOGY CO LTD filed Critical ADTECH (SHENZHEN) TECHNOLOGY CO LTD
Priority to CN202011308930.5A priority Critical patent/CN112621743B/zh
Publication of CN112621743A publication Critical patent/CN112621743A/zh
Application granted granted Critical
Publication of CN112621743B publication Critical patent/CN112621743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了一种机器人及其相机固定于机器人末端的手眼标定方法及存储介质,该手眼标定方法包括:建立视觉模板,并在机器人的相机视野范围内示教至少三个点位;分别获取机器人带动相机在至少三个点位之间移动后得到的目标坐标数据集合;利用像素坐标数据集合以及机器人末端坐标数据集合计算像素当量初值以及相机工具初值;通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据;根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值作为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。上述方案,能够有效提高标定精度以及简化标定操作步骤。

Description

机器人及其相机固定于末端的手眼标定方法及存储介质
技术领域
本发明涉及机器人的自动标定技术领域,特别是涉及一种机器人及其相机固定于末端的手眼标定方法及存储介质。
背景技术
随着制造业的飞速发展,机器人作为高新产业也发展迅速,其应用场景不断扩大。例如:在机器人上安装视觉传感器,根据视觉传感器获取的视觉信息帮助机器人对外界环境进行检测、判断、识别、测量等,使得机器人可执行更加复杂、智能的任务。
在视觉传感器使用之前,需要对其进行手眼标定,且在机器人视觉应用中,手眼标定是一个非常基础且关键的问题。简单来说手眼标定的目的就是获取基坐标和视觉传感器坐标系的关系,最后将视觉识别的结果转移到基坐标系下。传统技术中,手眼标定方法都基于平面标定板进行标定:通过手动指令移动机器人,利用机器人末端关节上尖端治具去戳标定板上关键点并记录对应的坐标,根据获取的坐标完成标定。上述手眼标定方法过程中需要多次人工参与,标定过程效率较低,且标定板的加工精度及人工操作的精度会影响手眼标定结果的准确性,导致手眼标定结果的精度难以保证。
发明内容
本发明至少提供一种机器人及其相机固定于末端的手眼标定方法及存储介质。
本发明第一方面提供了一种机器人手眼标定方法,
所述机器人手眼标定方法包括:
建立视觉模板,并在所述机器人的相机的视野范围内示教至少三个点位,其中,所述相机通过相机夹具固定在所述机器人末端;
分别获取所述机器人带动所述相机在所述至少三个点位之间移动后得到的目标坐标数据集合,所述目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合;
根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。
本发明第二方面提供了一种机器人,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的机器人手眼标定方法。
本发明第三方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的机器人手眼标定方法。
本发明中,机器人建立视觉模板,并在机器人的相机视野范围内示教至少三个点位,其中,相机通过相机夹具固定在机器人末端;分别获取机器人带动相机在至少三个点位之间移动后得到的目标坐标数据集合,目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合;利用像素坐标数据集合以及机器人末端坐标数据集合计算像素当量初值以及相机工具初值;通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据;根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值作为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。上述方案,能够有效提高手眼标定方法的标定精度以及简化标定操作步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本发明。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是本申请提供的相机安装在机器人丝杆的结构示意图;
图2是本申请提供的机器人手眼标定方法一实施例的流程示意图;
图3是本申请提供的示教点分布图一实施例的示意图;
图4是图2所示的机器人手眼标定方法实施例中步骤S12的具体流程示意图;
图5是本申请提供的机器人一实施例的框架示意图;
图6是本申请提供的机器人另一实施例的框架示意图;
图7是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
下面结合附图来详细描述本公开的具体实施方式。
请参阅图1和图2,图1是本申请提供的相机安装在机器人丝杆的结构示意图,图2是本申请提供的机器人手眼标定方法一实施例的流程示意图。
本申请提供的机器人手眼标定方法应用于图1所示的机器人以及相机结构,其中,本申请的机器人可以为SCARA(Selective Compliance Assembly Robot Arm)机器人,也可以为其他平面多关节机器人。在后续的方法描述以及图示中,均以SCARA机器人为例进行说明,在此不再赘述。
具体地,工作人员在进行手眼标定之前,将相机垂直倒立安装在SCARA机器人丝杆上。具体如图1所示,L1为机器人大臂长度,L2为机器人小臂长度,C为相机,R为相机工具长度。坐标系{x0Ay0}为机器人基坐标系,坐标系{xcCyc}为相机坐标系,坐标系{xeEye}为机器人末端坐标系,相机工具为相机坐标系{xcCyc}到机器人末端坐标系{xeEye}的x偏移、y偏移和旋转角度。
具体而言,本公开实施例的机器人手眼标定方法包括以下步骤:
步骤S11:建立视觉模板,并在机器人的相机视野范围内示教至少三个点位,其中,相机通过相机夹具固定在机器人末端。
其中,工作人员以任意可清晰识别的图形建立视觉模板,然后在相机的视野范围内分别示教机器人三个点位,使得模板分别在相机视野中心以及两个对角附近,具体请参阅图3,图3是本申请提供的示教点分布图一实施例的示意图。具体地,相机视野中心附近对应的示教点即Point1(x1,y1,z,c0),两个对角附近对应的示教点即Point2(x2,y2,z,c1)、Point3(x3,y3,z,c1)。其中,Point2和Point3处机器人的姿态相同,Point1和Point2处机器人的姿态不同。
步骤S12:分别获取机器人带动相机在至少三个点位之间移动后得到的目标坐标数据集合,目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合。
其中,机器人带动相机在上述示教的三个点位之间移动,并在移动过程中不断触发拍照功能,以获取机器人运动到不同位置时模板在相机视野中的像素坐标,以及机器人本身的末端坐标。
具体地,按照不同的移动方式,本公开实施例的步骤S12具体可以划分图4所示的子步骤流程,图4是图2所示的机器人手眼标定方法实施例中步骤S12的具体流程示意图。具体而言,本公开实施例的步骤S12进一步包括以下步骤:
步骤S121:获取机器人末端运动到至少三个点位中位于视野中心附近的点位,触发拍照,得到第一像素坐标以及第一机器人末端坐标。
步骤S122:控制机器人末端运动预设距离,触发拍照,得到第二像素坐标以及第二机器人末端坐标。
步骤S123:控制机器人末端运动预设距离,触发拍照,得到第三像素坐标以及第三机器人末端坐标。
其中,当机器人末端运动到相机视野中心附近的示教点位置,即Point1时,触发相机拍照,得到模板在相机视野中的第一像素坐标(u1,v1),并获取此时机器人末端坐标。当机器人末端运动到Point2时,触发相机拍照,得到模板在相机视野中的像素坐标(u6,v6),并获取此时机器人末端坐标。当机器人末端运动到Point3时,触发相机拍照,得到模板在相机视野中的像素坐标(u7,v7),并获取此时机器人末端坐标。
然后,机器人末端以Point1为起始点沿x轴运动预设距离s,并触发相机拍照,得到模板在相机视野中的第二像素坐标(u2,v2),并获取此时机器人末端坐标。机器人末端继续沿y轴运动预设距离s,并触发相机拍照,得到模板在相机视野中的第三像素坐标(u3,v3),并获取此时机器人末端坐标。
步骤S13:利用像素坐标数据集合以及机器人末端坐标数据集合计算像素当量初值以及相机工具初值。
根据第一像素坐标与第二像素坐标计算当前相机坐标系与机器人基坐标系的旋转角度θ1
θ1=-a tan 2(v2-v1,u2-u1)
进一步地,根据上述获取的第一像素坐标、第二像素坐标、第三像素坐标、预设距离以及旋转角度计算像素当量初值:
Figure BDA0002789107660000071
获取上述像素当量初值后,机器人末端重新运动到Point1,触发相机拍照,得到模板在相机视野中的第一中心像素坐标(u,v),并获取此时机器人末端坐标(x,y,c)。计算此时第一中心像素坐标与相机主点(u0,v0)的偏差,如下:
Figure BDA0002789107660000072
然后,计算将相机主点(u0,v0)对准模板中心时,机器人末端需要运动的偏移量:
Figure BDA0002789107660000073
根据上述计算的偏移量,机器人末端接下来应该运动到的位置为:
Figure BDA0002789107660000074
依次迭代运动多次,使得相机中心精确对准模板中心,并获得此时机器人的末端坐标(xe1,ye1,ce1)。
接下来,机器人末端继续运动到Point2与Point3的中点,并根据上述迭代运动的方式,使得相机中心精确对准模板中心,并获取此时机器人末端坐标(xe2,ye2,ce2),迭代运动过程在此不再赘述。
本公开实施例采用基于视觉的迭代运动算法,可以使相机主点精准对准模板中心,以计算相机工具较准确初值作为非线性优化的迭代初值,大大提升迭代计算速度与标定精度。
其中,由于模板与机器人基坐标系下的坐标始终不变,根据SCARA机器人运动学正解,其中,α为相机在丝杆上的安装角度:
Figure BDA0002789107660000081
根据上述方程进行求解得到相机工具x偏移cameraToolX与相机工具y偏移cameraToolY。
进一步地,根据像素当量初值可以将模板中心的像素坐标(u,v)转化为在相机坐标系下的坐标(x1,y1):
Figure BDA0002789107660000082
然后,根据相机工具初值将模板中心在相机坐标系下的坐标(x1,y1)转化为在机器人末端坐标系下的坐标(x2,y2):
Figure BDA0002789107660000083
最后,将模板中心在机器人末端坐标系的坐标(x2,y2)转化为机器人基坐标系的坐标(xb,yb):
Figure BDA0002789107660000084
其中,由于模板中心在机器人基坐标系下的坐标(xb,yb)始终不变,即第i-1次拍照换算得到的坐标值与第i次拍照换算得到的坐标值一致,具体如下:
Figure BDA0002789107660000091
如设待计算参数为sinθcamera,cosθcamera,利用多次拍照得到的像素坐标与对应的机器人末端坐标,构建矩阵方程,并利用最小二乘法求解,最终计算得到相机工具旋转角度的初值,具体如下:
θcamera=a tan 2(sinθcamera,cosθcamera)
步骤S14:通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据。
其中,根据上述步骤计算得到的相机工具初值以及像素当量初值计算模板中心在机器人基坐标系下的坐标(xmark,ymark):
Figure BDA0002789107660000092
然后,将相机视野均分,间距计算为:
Figure BDA0002789107660000093
其中,Nu为相机在u方向的拍照点个数,Nv为相机在v方向的拍照点个数。
根据上述间距,计算机器人末端运动位置:
Figure BDA0002789107660000101
其中,i=1,...,Nv,j=1,...,Nu
根据上述计算得到的机器人末端运动位置,机器人末端运动到点(x,y),触发相机拍照,得到此时模板的像素坐标以及机器人末端坐标。
步骤S15:根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值作为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。
进一步地,机器人通过在多位姿下对模板进行拍照,获取模板中心的像素坐标数据集合以及机器人末端坐标数据集合,结合最终优化得到的像素当量与相机工具,换算得到模板中心在机器人基坐标系下的坐标数据集合,并采用最小覆盖圆算法计算最小覆盖圆半径,用以衡量手眼标定误差。
在本公开实施例中,机器人建立视觉模板,并在机器人的相机视野范围内示教至少三个点位,其中,相机通过相机夹具固定在机器人末端;分别获取机器人带动相机在至少三个点位之间移动后得到的目标坐标数据集合,目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合;利用像素坐标数据集合以及机器人末端坐标数据集合计算像素当量初值以及相机工具初值;通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据;根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值作为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。上述方案,能够有效提高手眼标定方法的标定精度以及简化标定操作步骤。
请继续参阅图5,图5是本申请提供的机器人一实施例的框架示意图。具体而言,本公开实施例的机器人50包括:
示教模块51,用于建立视觉模板,并在机器人的相机视野范围内示教至少三个点位,其中,相机通过相机夹具固定在机器人末端。
移动拍照模块52,用于分别获取机器人带动相机在至少三个点位之间移动后得到的目标坐标数据集合,目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合。
计算模块53,用于利用像素坐标数据集合以及机器人末端坐标数据集合计算像素当量初值以及相机工具初值;通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据。
非线性优化模块54,根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值作为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。
请参阅图6,图6是本申请提供的机器人另一实施例的框架示意图。机器人60包括相互耦接的存储器61和处理器62,处理器62用于执行存储器61中存储的程序指令,以实现上述任一机器人手眼标定方法实施例中的步骤。在一个具体的实施场景中,机器人60可以包括但不限于:微型计算机、服务器,此外,机器人60还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器62用于控制其自身以及存储器61以实现上述任一机器人手眼标定方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器62可以由集成电路芯片共同实现。
请参阅图7,图7是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701,程序指令701用于实现上述任一机器人手眼标定方法实施例中的步骤。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本说明书的上述描述中,除非另有明确的规定和限定,术语″固定″、″安装″、″相连″或″连接″等术语应该做广义的理解。例如,就术语″连接″来说,其可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,或者可以是两个元件内部的连通或两个元件的相互作用关系。因此,除非本说明书另有明确的限定,本领域技术人员可以根据具体情况理解上述术语在本发明中的具体含义。
根据本说明书的上述描述,本领域技术人员还可以理解如下使用的术语,例如″上″、″下″、″前″、″后″、″左″、″右″、″长度″、″宽度″、″厚度″、″竖直″、″水平″、″顶″、″底″″内″、″外″、″轴向″、″径向″、″周向″、″中心″、″纵向″、″横向″、″顺时针″或″逆时针″等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的,其仅是为了便于阐述本发明的方案和简化描述的目的,而不是明示或暗示所涉及的装置或元件必须要具有所述特定的方位、以特定的方位来构造和进行操作,因此上述的方位或位置关系术语不能被理解或解释为对本发明方案的限制。
另外,本说明书中所使用的术语″第一″或″第二″等用于指代编号或序数的术语仅用于描述目的,而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有″第一″或″第二″的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,″多个″的含义是至少两个,例如两个,三个或更多个等,除非另有明确具体的限定。
虽然本说明书已经示出和描述了本发明的多个实施例,但对于本领域技术人员显而易见的是,这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中,可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围,并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (10)

1.一种相机固定于机器人末端的手眼标定方法,其特征在于,所述机器人手眼标定方法包括:
建立视觉模板,并在所述机器人的相机视野范围内示教至少三个点位,其中,所述相机通过相机夹具固定在所述机器人末端;
分别获取所述机器人带动所述相机在所述至少三个点位之间移动后得到的目标坐标数据集合,所述目标坐标数据集合包括一一对应的像素坐标数据集合以及机器人末端坐标数据集合;
利用所述像素坐标数据集合以及所述机器人末端坐标数据集合计算所述像素当量初值以及相机工具初值;
通过像素当量初值以及相机工具初值计算模板中心在机器人基坐标系下的坐标数据;
根据模板在机器人基坐标系下的坐标始终不变的关系,构建非线性优化模型,以像素当量初值以及相机工具初值为迭代初值,利用非线性优化算法迭代寻优得到最优的像素当量以及相机工具。
2.根据权利要求1所述的机器人手眼标定方法,其特征在于,所述机器人手眼标定方法还包括:
将所述相机的视野按照一定的间距进行均分;
按照均分的间距计算每一个拍照点所述机器人末端的运动位置;
机器人运动到所述每一个拍照点机器人末端的运动位置,获取模板的像素坐标数据集合以及机器人末端坐标数据集合,结合最终优化得到的像素当量与相机工具,计算模板中心在机器人基坐标系下的坐标数据组,计算最小覆盖圆半径,用以衡量手眼标定的误差。
3.根据权利要求1所述的机器人手眼标定方法,其特征在于,
所述分别获取所述机器人带动所述相机在所述至少三个点位之间移动后得到的目标坐标数据集合的步骤,包括:
获取所述机器人末端运动到所述至少三个点位中位于视野中心附近的点位,触发拍照,得到第一像素坐标以及第一机器人末端坐标;
控制所述机器人末端运动预设距离,触发拍照,得到第二像素坐标以及第二机器人末端坐标;
继续控制所述机器人末端运动所述预设距离,触发拍照,得到第三像素坐标以及第三机器人末端坐标;
以所述第一像素坐标、所述第二像素坐标、所述第三像素坐标以及所述第一机器人末端坐标、所述第二机器人末端坐标、所述第三机器人末端坐标组成所述目标坐标数据集合。
4.根据权利要求3所述的机器人手眼标定方法,其特征在于,
所述机器人手眼标定方法还包括:
基于所述第一像素坐标与对应的所述第二像素坐标计算相机坐标系与所述机器人基坐标系的旋转角度;
根据所述旋转角度、所述预设距离、所述第一像素坐标、所述第二像素坐标以及所述第三像素坐标计算所述像素当量初值。
5.根据权利要求4所述的机器人手眼标定方法,其特征在于,
所述机器人手眼标定方法还包括:
利用所述相机坐标系与所述机器人基坐标系的旋转角度以及所述相机当量初值,机器人分别在两个不同姿态下,使相机的主点迭代运动对准模板中心,获取机器人末端坐标,根据模板在机器人基坐标系下的坐标始终不变的关系,构建矩阵方程,并利用最小二乘法计算所述相机工具初值。
6.根据权利要求5所述的机器人手眼标定方法,其特征在于,所述三个示教点分别处于所述相机的视野中心以及两个对角;
所述机器人手眼标定方法还包括:
当控制所述机器人末端运动到所述相机视野中心的示教点位置时,触发拍照,得到第一中心像素坐标;
计算所述第一中心像素坐标与所述相机的主点像素坐标的偏差;
基于所述偏差以及所述像素当量初值、所述相机坐标系与所述机器人基坐标系的旋转角度计算所述机器人末端的偏移量;
根据所述偏移量控制所述机器人末端运动,依次迭代运动若干次,使得所述相机中心对准所述模板中心,并获取机器人末端坐标数据。
7.根据权利要求6所述的机器人手眼标定方法,其特征在于,所述机器人手眼标定方法还包括:
当控制所述机器人末端运动到所述两个示教点的中点位置时,触发拍照,得到第二中心像素坐标;
计算所述第二中心像素坐标与所述相机的主点像素坐标的偏差;
基于所述偏差以及所述像素当量初值、所述相机坐标系与所述机器人基坐标系的旋转角度计算所述机器人末端的偏移量;
根据所述偏移量控制所述机器人末端运动,依次迭代运动若干次,使得所述相机中心对准所述模板中心,并获取机器人末端坐标数据。
8.根据权利要求1所述的机器人手眼标定方法,其特征在于,所述通过所述像素当量初值以及所述相机工具初值计算模板中心在机器人基坐标系下的坐标数据的步骤,包括:
基于所述像素当量初值将所述模板中心的像素坐标转化为在相机坐标系下的坐标;
基于所述相机工具初值将所述模板中心在相机坐标系下的坐标转化为在机器人末端坐标系下的坐标;
基于所述机器人末端坐标数据集将所述模板中心在机器人末端坐标系下的坐标转化为在机器人基坐标系下的坐标。
9.一种机器人,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至8中任一项所述的机器人手眼标定方法。
10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至8中任一项所述的机器人手眼标定方法。
CN202011308930.5A 2020-11-19 2020-11-19 机器人及其相机固定于末端的手眼标定方法及存储介质 Active CN112621743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308930.5A CN112621743B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于末端的手眼标定方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308930.5A CN112621743B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于末端的手眼标定方法及存储介质

Publications (2)

Publication Number Publication Date
CN112621743A true CN112621743A (zh) 2021-04-09
CN112621743B CN112621743B (zh) 2022-11-25

Family

ID=75303444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308930.5A Active CN112621743B (zh) 2020-11-19 2020-11-19 机器人及其相机固定于末端的手眼标定方法及存储介质

Country Status (1)

Country Link
CN (1) CN112621743B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113211445A (zh) * 2021-05-21 2021-08-06 广东拓斯达科技股份有限公司 一种机器人参数标定方法、装置、设备及存储介质
CN113954082A (zh) * 2021-12-23 2022-01-21 真健康(北京)医疗科技有限公司 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统
CN114833832A (zh) * 2022-05-11 2022-08-02 厦门微亚智能科技有限公司 一种机器人手眼标定方法、装置、设备及可读存储介质
CN115205379A (zh) * 2022-05-17 2022-10-18 深圳市腾盛精密装备股份有限公司 一种切割分选机的多点标定方法及相关设备
CN117226853A (zh) * 2023-11-13 2023-12-15 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107214703A (zh) * 2017-07-11 2017-09-29 江南大学 一种基于视觉辅助定位的机器人自标定方法
CN107545591A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种基于六点触点法的机器人手眼标定方法
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维(杭州)科技有限公司 基于特征点的手眼标定方法
US20190291277A1 (en) * 2017-07-25 2019-09-26 Mbl Limited Systems and methods for operating a robotic system and executing robotic interactions
CN111047586A (zh) * 2019-12-26 2020-04-21 中国矿业大学 一种基于机器视觉的像素当量测量方法
US20200238525A1 (en) * 2019-01-28 2020-07-30 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545591A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种基于六点触点法的机器人手眼标定方法
CN107214703A (zh) * 2017-07-11 2017-09-29 江南大学 一种基于视觉辅助定位的机器人自标定方法
US20190291277A1 (en) * 2017-07-25 2019-09-26 Mbl Limited Systems and methods for operating a robotic system and executing robotic interactions
US20200238525A1 (en) * 2019-01-28 2020-07-30 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维(杭州)科技有限公司 基于特征点的手眼标定方法
CN111047586A (zh) * 2019-12-26 2020-04-21 中国矿业大学 一种基于机器视觉的像素当量测量方法
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113211445A (zh) * 2021-05-21 2021-08-06 广东拓斯达科技股份有限公司 一种机器人参数标定方法、装置、设备及存储介质
CN113211445B (zh) * 2021-05-21 2022-10-14 广东拓斯达科技股份有限公司 一种机器人参数标定方法、装置、设备及存储介质
CN113954082A (zh) * 2021-12-23 2022-01-21 真健康(北京)医疗科技有限公司 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统
CN113954082B (zh) * 2021-12-23 2022-03-08 真健康(北京)医疗科技有限公司 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统
CN114833832A (zh) * 2022-05-11 2022-08-02 厦门微亚智能科技有限公司 一种机器人手眼标定方法、装置、设备及可读存储介质
CN115205379A (zh) * 2022-05-17 2022-10-18 深圳市腾盛精密装备股份有限公司 一种切割分选机的多点标定方法及相关设备
CN115205379B (zh) * 2022-05-17 2023-09-12 深圳市腾盛精密装备股份有限公司 一种切割分选机的多点标定方法及相关设备
CN117226853A (zh) * 2023-11-13 2023-12-15 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备
CN117226853B (zh) * 2023-11-13 2024-02-06 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备

Also Published As

Publication number Publication date
CN112621743B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
CN112621711B (zh) 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN110238849B (zh) 机器人手眼标定方法及装置
JP6964989B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
CN106426172B (zh) 一种工业机器人工具坐标系的标定方法与系统
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP4191080B2 (ja) 計測装置
CN111369625B (zh) 定位方法、装置和存储介质
CN112894823B (zh) 一种基于视觉伺服的机器人高精度装配方法
JP2005201824A (ja) 計測装置
CN112223302A (zh) 基于多传感器的带电作业机器人的快速标定方法及装置
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
CN114378822B (zh) 一种基于视觉的机器人机械臂末端位姿的调整方法
CN111612794A (zh) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
CN111438688A (zh) 机器人校正方法、装置、计算机设备及存储介质
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
CN115439633A (zh) 标定方法、装置和电子设备
CN112792814A (zh) 基于视觉标志的机械臂零点标定方法
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
CN114833832B (zh) 一种机器人手眼标定方法、装置、设备及可读存储介质
CN113255662A (zh) 一种基于视觉成像的定位矫正方法、系统、设备及存储介质
CN114339058B (zh) 一种基于视觉标志的机械臂飞拍定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant