CN114505864B - 一种手眼标定方法、装置、设备及存储介质 - Google Patents

一种手眼标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114505864B
CN114505864B CN202210242818.9A CN202210242818A CN114505864B CN 114505864 B CN114505864 B CN 114505864B CN 202210242818 A CN202210242818 A CN 202210242818A CN 114505864 B CN114505864 B CN 114505864B
Authority
CN
China
Prior art keywords
coordinates
coordinate system
target point
determining
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210242818.9A
Other languages
English (en)
Other versions
CN114505864A (zh
Inventor
万章
沈文立
徐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Friendess Electronic Technology Co ltd
Original Assignee
Shanghai Friendess Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Friendess Electronic Technology Co ltd filed Critical Shanghai Friendess Electronic Technology Co ltd
Priority to CN202210242818.9A priority Critical patent/CN114505864B/zh
Publication of CN114505864A publication Critical patent/CN114505864A/zh
Application granted granted Critical
Publication of CN114505864B publication Critical patent/CN114505864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种手眼标定方法、装置、设备及存储介质。其中，所述方法应用于机械臂上配置有线结构光传感器的电子设备，包括：在机械臂末端执行器与目标点重合的情况下，确定目标点在基础坐标系下的基础坐标；其中，目标点为预先设置于任一物体表面的标记线及其所在物体表面的物体边缘线间的交点；以线结构光经过基础坐标为前提调整机械臂姿态，确定各个姿态下目标点在法兰坐标系下的法兰坐标以及在相机坐标系下的相机坐标；基于相机坐标和法兰坐标，对机械臂与线结构光传感器进行手眼标定。该方案无需特制标定靶，适用性强、便捷高效，且避免了相机坐标系与工具坐标系间的标定在末端执行器更换后失效的问题。

Description

一种手眼标定方法、装置、设备及存储介质
技术领域
本发明一个或多个实施例涉及机器人视觉技术领域，尤其涉及一种手眼标定方法、装置、设备及存储介质。
背景技术
在自动焊接等应用场景下，可以利用机器人基于机器人视觉技术执行诸如焊接的工作。为了顺利精确地完成任务，需要对机器人进行手眼标定，以保证机器人各部件间协调工作；其中，所述“手”为配置于电子设备上的机器臂，所述“眼”则为配置于电子设备上的视觉传感器，二者间的标定即为各自坐标系间转换矩阵的确定。
在机器人等电子设备配置有线结构光传感器的情况下，由于线结构光传感器内的相机有别于一般相机，其镜头增加了仅过滤出线结构光的滤光片，传统手眼标定方法中使用的常规标定靶不再适用，目前，相关技术中大多需要特制标定靶，并辅以复杂运算进行标定，繁琐低效，且适用性差。
发明内容
有鉴于此，本发明一个或多个实施例提供一种手眼标定方法、装置、设备及存储介质。
为实现上述目的，本发明一个或多个实施例提供的技术方案如下：
根据本发明一个或多个实施例的第一方面，提出了一种手眼标定方法，应用于机械臂上配置有线结构光传感器的电子设备，所述方法包括：
在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点；
以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标、以及所述目标点在相机坐标系下的相机坐标；
基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定。
在一种实现方式下，所述确定所述目标点在基础坐标系下的基础坐标，包括：
在机械臂末端执行器与目标点重合的情况下，获取所述目标点在工具坐标系下的末端坐标；
基于工具坐标系与基础坐标系之间的转换矩阵，由所述末端坐标确定所述目标点在基础坐标系下的基础坐标。
在一种实现方式下，确定各个姿态下所述目标点在相机坐标系下的相机坐标，包括：
针对每个姿态，获取所述姿态下的线结构光图像；
基于所述线结构光图像中各个像素点的灰度值，确定所述线结构光图像中的边缘点；
拟合所述边缘点得到拟合直线，基于所述拟合直线确定所述姿态下目标点在像素坐标系下的像素坐标；
基于像素坐标系与相机坐标系之间的转换矩阵，由所述像素坐标确定所述姿态下目标点在相机坐标系下的相机坐标，从而得到各个姿态下目标点的相机坐标。
在一种实现方式下，所述确定所述线结构光图像中的边缘点，包括：
由低至高排列所述线结构光图像中各个像素点的灰度值，确定预设名次的灰度值为分界阈值；其中，所述预设名次基于所述线结构光图像的像素矩阵大小确定；
基于所述分界阈值，采用边缘检测算法确定所述线结构光图像中的边缘点。
在一种实现方式下，所述基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定，包括：
基于所述相机坐标和所述法兰坐标，确定相机坐标系与法兰坐标系之间的转换矩阵为手眼矩阵。
在一种实现方式下，所述方法还包括：
针对每个姿态，确定所述姿态下机械臂的运动学正解；
基于所述相机坐标、所述基础坐标以及所述运动学正解，确定相机坐标系与法兰坐标系之间的转换矩阵。
在一种实现方式下，所述方法还包括：
以可视化界面显示所述基础坐标、所述法兰坐标、所述相机坐标以及所述手眼矩阵。
根据本发明一个或多个实施例的第二方面，提出了一种手眼标定装置，应用于机械臂上配置有线结构光传感器的电子设备，所述装置包括基础坐标确定单元、法兰坐标确定单元、相机坐标确定单元以及标定单元；其中：
所述基础坐标确定单元，用于在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点；
所述法兰坐标确定单元，用于以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标；
所述相机坐标确定单元，用于以线结构光传感器射出的线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在相机坐标系下的相机坐标；
所述标定单元，用于基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定。
根据本发明一个或多个实施例的第三方面，提出了一种电子设备，包括：
处理器、以及用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令实现上述第一方面所述方法中的步骤。
根据本发明一个或多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法中的步骤。
由以上描述可以看出，本发明中，针对机械臂上配置有线结构光传感器的电子设备，通过在任一物体表面预设标记线，并以标记线及其所在物体表面的物体边缘线之间的交点为目标点指示电子设备进行手眼标定，其中，目标点的相机坐标可以在线结构光传感器射出的线结构光经过目标点的基础坐标的情况下对线结构光图像进行处理而得。该方案无需特制标定靶，能够灵活适用于不同场景，具有高效便捷的优点，另外，以相机坐标与法兰坐标求解机械臂与线结构光传感器之间的手眼矩阵，避免了相关技术中针对工具坐标系与相机坐标系进行手眼标定而导致机械臂末端执行器更换后原先标定的手眼矩阵失效的问题。
附图说明
图1是一示例性实施例提供的一种手眼标定方法的流程图。
图2是一示例性实施例示出的标记线与目标点的示意图。
图3是一示例性实施例示出的确定目标点基础坐标的方法流程图。
图4是一示例性实施例示出的确定目标点相机坐标的方法流程图。
图5是一示例性实施例示出的线结构光图像的示意图。
图6是一示例性实施例示出的确定线结构光图像中边缘点的方法流程图。
图7是一示例性实施例提供的一种手眼标定装置所在电子设备的结构示意图。
图8是一示例性实施例提供的一种手眼标定装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本发明示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本发明所描述的更多或更少。此外，本发明中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本发明中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
随着技术发展，机器人等电子设备被越来越多地应用在各类工作场景中以代替人类执行多种任务。本发明中涉及的电子设备主要应用于自动焊接的工作场景下，所述电子设备配置有能够执行焊接、切割等任务的机械臂，所述机械臂上融合有能够实现机器人视觉的线结构光传感器。
组成所述电子设备的各个部件可以适应于自身需求分别设置不同的坐标系，不同坐标系之间需要进行标定以保障电子设备能够指导各个部件协调工作；其中，所述机械臂与所述线结构光传感器之间的标定即为所述电子设备的手眼标定，“手”为机械臂，“眼”则为线结构光传感器，手眼标定即求解二者坐标系之间的转换矩阵。
由于线结构光传感器中的相机有别于一般相机，其图像中通常只反映所投射出的线结构光而不包含真实空间中的物体，故而传统的手眼标定方法中使用的诸如棋盘格的常规标定靶将不再适用，目前，相关技术中大多通过特制标定靶，并辅以复杂运算实现手眼标定，举例来说，可以特制球形标定靶并识别弧线特征以基于标定靶的球心及半径求解手眼矩阵，但是，类似方案大多繁琐低效，且标定精度受限于标定靶尺寸，不能灵活运用于不同场景。
有鉴于此，本发明提出一种手眼标定方法，应用于上述在机械臂上配置有线结构光传感器的电子设备。所述电子设备常运用在自动焊接场景下，可以理解的是，运用在其他工作场景下具有类似结构组成的电子设备如果采用本发明所提出的手眼标定方法，也应当在本申请的保护范围内。
请参考图1，图1所示为本发明一示例性实施例提供的一种手眼标定方法的流程图。
所述手眼标定方法，可以包括如下具体步骤：
步骤102，在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点。
首先，对可能涉及到的电子设备中的各坐标系进行说明。
(1)基础坐标系，即base坐标系，也称根坐标系，基于机器人等电子设备的基座加以设置。
(2)法兰坐标系，基于机械臂的法兰盘加以设置，所述法兰盘可以装配多种不同的末端执行器，例如，焊针、夹爪等。
(3)工具坐标系，即TCP坐标系(Tool Coordinates System)，基于机械臂末端执行器加以设置。
(4)像素坐标系，线结构光传感器中的二维坐标系，基于线结构光传感器中的图像加以设置。
(5)相机坐标系，线结构光传感器中的三维坐标系，与像素坐标系之间的转换矩阵即相机内参。
上述坐标系中，基础坐标系、法兰坐标系以及工具坐标系主要与机械臂相关，而像素坐标系和相机坐标系则主要与线结构光传感器相关。可以理解的是，在本方案中，所述基础坐标系、法兰坐标系以及工具坐标系中任意两项之间的坐标转换矩阵应当是已经完成标定而可知的，所述像素坐标系以及相机坐标系亦然，具体内容可以参见相关技术，不再赘述。
本实施例中，不需要特制的标定靶，通过在任一物体表面设置一条标记线，并以此标记线与其所在物体表面的物体边缘线之间的交点作为目标点，即可进行后续的手眼标定；举例来说，在自动焊接场景下，利用待加工的工件就可以完成标定。
请参考图2，图2所示为一示例性实施例示出的标记线与目标点的示意图；以图2所示的钢板为例，预先设置的标记线l1与其所在物体表面的物体边缘线l2之间的交点P即为目标点。
调整机械臂姿态以使机械臂末端执行器与所述目标点重合，以所述末端执行器是焊针为例，即，移动机械臂以使焊针点触所述目标点，获取此时焊针的坐标可以确定所述目标点在基础坐标系下的基础坐标，记所述基础坐标为PR。
请参考图3，图3所示为一示例性实施例示出的确定目标点基础坐标的方法流程图；在一种可选择的实现方式下，所述电子设备在获取焊针的坐标时以工具坐标系为参考，则步骤102中，所述确定所述目标点在基础坐标系下的基础坐标，可以包括：
步骤1022，在机械臂末端执行器与目标点重合的情况下，获取所述目标点在工具坐标系下的末端坐标；
步骤1024，基于工具坐标系与基础坐标系之间的转换矩阵，由所述末端坐标确定所述目标点在基础坐标系下的基础坐标。
可以理解的是，所述电子设备也可以其他坐标系为参考获取焊针的坐标并通过与基础坐标系之间的坐标转换确定目标点的基础坐标，在获取焊针的坐标时具体以何坐标系为参考视具体场景而定。
步骤104，以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标、以及所述目标点在相机坐标系下的相机坐标。
本实施例中，在确定所述目标点的基础坐标后，即可指示线结构光传感器基于所述基础坐标投射经过所述目标点的线结构光。
以线结构光传感器射出的线结构光经过所述基础坐标调整机械臂姿态，例如，保持所述线结构光与所述标记线重合并沿所述标记线方向滑动，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标，记为(i＝1、2…,imax与调整的姿态总数相一致)，并确定各个姿态下所述目标点在相机坐标系下的相机坐标，记为/>(i＝1、2…,imax与调整的姿态总数相一致)。要说明的是，进行手眼标定至少需要采集4种不同机械臂姿态下的数据，比较常见的，可以采集6种姿态下目标点的法兰坐标和相机坐标。
其中，各个姿态下所述目标点的法兰坐标可以基于基础坐标系或工具坐标系与法兰坐标系之间的转换矩阵加以确定，此坐标转换过程与机械臂姿态相关，具体内容可以参见机器人正逆向运动学相关原理，不再赘述。
而各个姿态下所述目标点的相机坐标则通过对获取到的线结构光图像进行处理而得，确定所述相机坐标存在着多种可选择的实现方式。请参考图4，图4所示为一示例性实施例示出的确定各个姿态下目标点相机坐标的方法流程图；在一种可选择的实现方式下，步骤104中，所述电子设备确定各个姿态下所述目标点在相机坐标系下的相机坐标，可以包括：
步骤1042，针对每个姿态，获取所述姿态下的线结构光图像；
步骤1044，基于所述线结构光图像中各个像素点的灰度值，确定所述线结构光图像中的边缘点；
步骤1046，拟合所述边缘点得到拟合直线，基于所述拟合直线确定所述姿态下目标点在像素坐标系下的像素坐标；
步骤1048，基于像素坐标系与相机坐标系之间的转换矩阵，由所述像素坐标确定所述姿态下目标点在相机坐标系下的相机坐标，从而得到各个姿态下目标点的相机坐标。
请参考图5，图5所示为一示例性实施例示出的线结构光图像的示意图；上述实现方式考虑到线结构光在被投射至标记线所在物体平面时将经目标点延伸至相邻的另一物体表面，并在线结构光图像中形成两条平行交错的直线这一特点，通过对所述线结构光图像中各个像素点的灰度值进行特征检测，得到真实空间中位于所述线结构光上的边缘点，拟合所述边缘点得到能够表征所述线结构光的两条拟合直线，基于所述拟合直线，可以确定二者交错处目标点于像素坐标系下的像素坐标；然后，通过像素坐标系与相机坐标系之间的坐标变换，即利用相机内参，得到各个姿态下目标点的相机坐标。
可以理解的是，拟合边缘点的算法具有多种选择，例如，RANSAC拟合算法等，此处不再一一赘述；另外，在步骤1044前，还可以对获取到的线结构光图像进行诸如膨胀、平滑、掩膜等预处理，后续步骤将基于预处理后的线结构光图像加以执行。
基于图像中各像素点的灰度值进行边缘特征检测以得到边缘点，存在着多种可选择的实现方式。请参考图6，图6所示为一示例性实施例示出的确定线结构光图像中边缘点的方法流程图；在一种可选择的实现方式下，步骤1044中，所述电子设备确定所述线结构光图像中的边缘点，可以包括：
步骤1044a，由低至高排列所述线结构光图像中各个像素点的灰度值，确定预设名次的灰度值为分界阈值；其中，所述预设名次基于所述线结构光图像的像素矩阵大小确定；
步骤1044b，基于所述分界阈值，采用边缘检测算法确定所述线结构光图像中的边缘点。
以线结构光图像的像素矩阵大小是100*100为例，可以像素矩阵行数与列数中更大数值的1.5倍为预设名次，即以100的1.5倍，150为预设名次。
针对每个姿态下获取到的线结构光图像，由低至高按序排列所述线结构光图像中包含的10000个像素点的灰度值，取其中顺序为第150的像素点的灰度值作为分界阈值；假设所述线结构光图像中灰度值为0的像素点有50个，灰度值为1的像素点有20个，灰度值为2的像素点有170个，则可以确定由低至高顺序为第150的像素点的灰度值为2，并以2作为分界阈值。
基于所述分界阈值，采用边缘检测算法则可以确定线结构光图像中的边缘点，所述边缘检测算法具有多种选择，包括但不限于CANNY边缘检测算法，此处不一一赘述。
要说明的是，在步骤104的执行过程中，设置有标记线的物体需要保持位置不动，以避免产生标定误差。
步骤106，基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定。
本实施例中，在获取到目标点在不同姿态下于相机坐标系的相机坐标以及于法兰坐标系的法兰坐标/>后，可以利用这些数据实现手眼标定；其中，，基于相机坐标/>和法兰坐标/>可以求解相机坐标系与法兰坐标系之间的转换矩阵作为手眼矩阵。
可以理解的是，无论是针对相机坐标系与工具坐标系实现手眼标定，还是针对相机坐标系与法兰坐标系实现手眼标定，通过基础坐标系、法兰坐标系以及工具坐标系三者间的坐标变换，相机坐标系与三者中任一项之间的坐标变换皆能够得到实现，但相较于相关技术中，针对工具坐标系与相机坐标系进行机械臂与线结构光传感器之间的手眼标定，其原先标定的手眼矩阵在末端执行器更换后失效的问题得到了解决。
基于不同坐标系下存在对应关系的点坐标，求解坐标系之间的转换矩阵存在着多种可选择的实现方式，本发明对此不做具体限制。比较常见的，假设坐标系A下的点集{Aj}与坐标系B下的点集{Bj}存在对应关系，求解坐标系A与坐标系B之间的转换矩阵[RAB TAB]的核心，即求能够使得 达到最小值时的最优解。
在一种可选择的实现方式下，基于所述相机坐标和所述法兰坐标，求解相机坐标系与法兰坐标系之间的转换矩阵可以采用SVD求解刚性变换的算法加以实现。
具体地，假设调整机械臂呈6种不同姿态，得到目标点的相机坐标至/>以及目标点的法兰坐标/>至/>它们存在对应关系，/>与/>为同一姿态下采集到的数据；基于所述相机坐标/>至/>以及所述法兰坐标/>至/>可以构建新的点集{Xn}和{Yn}，如下：
基于构建的所述新点集{Xn}和{Yn}，采用SVD(Singular Value Decomposition，奇异值分解)求解刚性变换的算法，可以得到相机坐标系与法兰坐标系之间的转换矩阵，具体内容参见相关原理，不再赘述。
在一种可选择的实现方式下，所述手眼标定方法，还包括：
针对每个姿态，确定所述姿态下机械臂的运动学正解；
基于所述相机坐标、所述基础坐标以及所述运动学正解，确定相机坐标系与法兰坐标系之间的转换矩阵。
上述实现方式利用各个姿态下机械臂的运动学正解DHi可以实现法兰坐标系至基础坐标系的坐标转换这一特点，将各个姿态下的相机坐标经过相机坐标系与法兰坐标系之间的转换矩阵、以及所述姿态对应的运动学正解DHi得到基础坐标PR，从而逆推出相机坐标系与法兰坐标系之间的转换矩阵；此实现方式作为确定相机坐标系与法兰坐标系间转换矩阵的一个可选方案进行补充。
在一种可选择的实现方式下，所述手眼标定方法，还包括：以可视化界面显示所述基础坐标、所述法兰坐标、所述相机坐标以及所述手眼矩阵。
设置可视化界面显示所确定的目标点的基础坐标，各个不同姿态下的法兰坐标和相机坐标、以及所求解出的手眼矩阵，以供技术人员进行参数读取和校验，更优地，还可以辅以交互按钮在姿态调整中确认坐标采集时机以及对有误的数据进行筛除修改等操作。
由以上描述可以看出，本发明中，针对机械臂上配置有线结构光传感器的电子设备，通过在任一物体表面预设标记线，并以标记线及其所在物体表面的物体边缘线之间的交点为目标点指示电子设备进行手眼标定，其中，目标点的相机坐标可以在线结构光传感器射出的线结构光经过目标点的基础坐标的情况下对线结构光图像进行处理而得；该方案无需特制标定靶，能够灵活适用于不同场景，具有高效便捷的优点，另外，以相机坐标与法兰坐标求解机械臂与线结构光传感器之间的手眼矩阵，避免了相关技术中针对工具坐标系与相机坐标系进行手眼标定而导致机械臂末端执行器更换后原先标定的手眼矩阵失效的问题。
请参考图7，图7所示为本发明一示例性实施例提供的一种手眼标定装置所在电子设备的结构示意图。在硬件层面，所述电子设备包括处理器702、内部总线704、网络接口706、内存708以及非易失性存储器710，当然还可能包括其他业务所需要的硬件。本发明一个或多个实施例可以基于软件方式来实现，比如由处理器702从非易失性存储器710中读取对应的计算机程序到内存708中然后运行。当然，除了软件实现方式之外，本发明一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
请参考图8，图8所示为本发明一示例性实施例提供的一种手眼标定装置，所述装置可以应用于如图7所示的电子设备中，以实现本发明的技术方案。其中，所述装置包括基础坐标确定单元810、法兰坐标确定单元820、相机坐标确定单元830以及标定单元840：
所述基础坐标确定单元810，用于在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点；
所述法兰坐标确定单元820，用于以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标；
所述相机坐标确定单元830，用于以线结构光传感器射出的线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在相机坐标系下的相机坐标；
所述标定单元840，用于基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定。
可选择地，所述基础坐标确定单元810，在确定所述目标点在基础坐标系下的基础坐标时，具体用于：
在机械臂末端执行器与目标点重合的情况下，获取所述目标点在工具坐标系下的末端坐标；
基于工具坐标系与基础坐标系之间的转换矩阵，由所述末端坐标确定所述目标点在基础坐标系下的基础坐标。
可选择地，所述相机坐标确定单元830，在确定各个姿态下所述目标点在相机坐标系下的相机坐标时，具体用于：
针对每个姿态，获取所述姿态下的线结构光图像；
基于所述线结构光图像中各个像素点的灰度值，确定所述线结构光图像中的边缘点；
拟合所述边缘点得到拟合直线，基于所述拟合直线确定所述姿态下目标点在像素坐标系下的像素坐标；
基于像素坐标系与相机坐标系之间的转换矩阵，由所述像素坐标确定所述姿态下目标点在相机坐标系下的相机坐标，从而得到各个姿态下目标点的相机坐标。
可选择地，所述相机坐标确定单元830，在确定所述线结构光图像中的边缘点时，具体用于：
由低至高排列所述线结构光图像中各个像素点的灰度值，确定预设名次的灰度值为分界阈值；其中，所述预设名次基于所述线结构光图像的像素矩阵大小确定；
基于所述分界阈值，采用边缘检测算法确定所述线结构光图像中的边缘点。
可选择地，所述标定单元840，在基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定时，具体用于：
基于所述相机坐标和所述法兰坐标，确定相机坐标系与法兰坐标系之间的转换矩阵为手眼矩阵。
可选择地，所述标定单元840，还用于：
针对每个姿态，确定所述姿态下机械臂的运动学正解；
基于所述相机坐标、所述基础坐标以及所述运动学正解，确定相机坐标系与法兰坐标系之间的转换矩阵。
可选择地，所述装置还包括：
显示单元850，用于以可视化界面显示所述基础坐标、所述法兰坐标、所述相机坐标以及所述手眼矩阵。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本发明一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本发明一个或多个实施例的较佳实施例而已，并不用以限制本发明一个或多个实施例，凡在本发明一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明一个或多个实施例保护的范围之内。

Claims (9)

1.一种手眼标定方法，应用于机械臂上配置有线结构光传感器的电子设备，其特征在于，所述方法包括：
在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点；
以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标、以及所述目标点在相机坐标系下的相机坐标；
基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定；
确定各个姿态下所述目标点在相机坐标系下的相机坐标，包括：
针对每个姿态，获取所述姿态下的线结构光图像；
基于所述线结构光图像中各个像素点的灰度值，确定所述线结构光图像中的边缘点；
拟合所述边缘点得到拟合直线，基于所述拟合直线确定所述姿态下目标点在像素坐标系下的像素坐标；
基于像素坐标系与相机坐标系之间的转换矩阵，由所述像素坐标确定所述姿态下目标点在相机坐标系下的相机坐标，从而得到各个姿态下目标点的相机坐标。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标点在基础坐标系下的基础坐标，包括：
在机械臂末端执行器与目标点重合的情况下，获取所述目标点在工具坐标系下的末端坐标；
基于工具坐标系与基础坐标系之间的转换矩阵，由所述末端坐标确定所述目标点在基础坐标系下的基础坐标。
3.根据权利要求1所述的方法，其特征在于，所述确定所述线结构光图像中的边缘点，包括：
由低至高排列所述线结构光图像中各个像素点的灰度值，确定预设名次的灰度值为分界阈值；其中，所述预设名次基于所述线结构光图像的像素矩阵大小确定；
基于所述分界阈值，采用边缘检测算法确定所述线结构光图像中的边缘点。
4.根据权利要求1所述的方法，其特征在于，所述基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定，包括：
基于所述相机坐标和所述法兰坐标，确定相机坐标系与法兰坐标系之间的转换矩阵为手眼矩阵。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对每个姿态，确定所述姿态下机械臂的运动学正解；
基于所述相机坐标、所述基础坐标以及所述运动学正解，确定相机坐标系与法兰坐标系之间的转换矩阵。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
以可视化界面显示所述基础坐标、所述法兰坐标、所述相机坐标以及所述手眼矩阵。
7.一种手眼标定装置，应用于机械臂上配置有线结构光传感器的电子设备，其特征在于，所述装置包括基础坐标确定单元、法兰坐标确定单元、相机坐标确定单元以及标定单元；其中：
所述基础坐标确定单元，用于在机械臂末端执行器与目标点重合的情况下，确定所述目标点在基础坐标系下的基础坐标；其中，所述目标点为预先设置于任一物体表面的标记线与所述标记线所在物体表面的物体边缘线间的交点；
所述法兰坐标确定单元，用于以线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在法兰坐标系下的法兰坐标；
所述相机坐标确定单元，用于以线结构光传感器射出的线结构光经过所述基础坐标为前提调整机械臂姿态，确定各个姿态下所述目标点在相机坐标系下的相机坐标；
所述相机坐标确定单元，具体用于：
针对每个姿态，获取所述姿态下的线结构光图像；
基于所述线结构光图像中各个像素点的灰度值，确定所述线结构光图像中的边缘点；
拟合所述边缘点得到拟合直线，基于所述拟合直线确定所述姿态下目标点在像素坐标系下的像素坐标；
基于像素坐标系与相机坐标系之间的转换矩阵，由所述像素坐标确定所述姿态下目标点在相机坐标系下的相机坐标，从而得到各个姿态下目标点的相机坐标；
所述标定单元，用于基于所述相机坐标和所述法兰坐标，对机械臂与线结构光传感器进行手眼标定。
8.一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令实现权利要求1-6中任一项所述方法中的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述方法中的步骤。
CN202210242818.9A 2022-03-11 2022-03-11 一种手眼标定方法、装置、设备及存储介质 Active CN114505864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210242818.9A CN114505864B (zh) 2022-03-11 2022-03-11 一种手眼标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210242818.9A CN114505864B (zh) 2022-03-11 2022-03-11 一种手眼标定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114505864A CN114505864A (zh) 2022-05-17
CN114505864B true CN114505864B (zh) 2024-02-09

Family

ID=81554388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210242818.9A Active CN114505864B (zh) 2022-03-11 2022-03-11 一种手眼标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114505864B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115805593B (zh) * 2022-12-22 2023-11-28 苏州艾利特机器人有限公司 力传感器安装信息确定方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006117022A1 (en) * 2005-05-02 2006-11-09 Abb Research Ltd A method for control of an industrial robot
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN104354167A (zh) * 2014-08-29 2015-02-18 广东正业科技股份有限公司 一种机器人手眼标定方法及装置
CN113744343A (zh) * 2021-08-09 2021-12-03 佛山智能装备技术研究院 基于结构光传感器的手眼标定方法、系统及存储介质
CN114012731A (zh) * 2021-11-23 2022-02-08 深圳市如本科技有限公司 手眼标定方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006117022A1 (en) * 2005-05-02 2006-11-09 Abb Research Ltd A method for control of an industrial robot
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN104354167A (zh) * 2014-08-29 2015-02-18 广东正业科技股份有限公司 一种机器人手眼标定方法及装置
CN113744343A (zh) * 2021-08-09 2021-12-03 佛山智能装备技术研究院 基于结构光传感器的手眼标定方法、系统及存储介质
CN114012731A (zh) * 2021-11-23 2022-02-08 深圳市如本科技有限公司 手眼标定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114505864A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US9118823B2 (en) Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image
JP3242108B2 (ja) ターゲットマークの認識・追跡システム及び方法
CN109129445A (zh) 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114505864B (zh) 一种手眼标定方法、装置、设备及存储介质
CN109213202A (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
CN106886165A (zh) 一种基于模拟器的机械手抓取和操纵方法
CN114147728A (zh) 通用的机器人眼在手上标定方法和系统
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN112809668B (zh) 一种机械臂自动手眼标定的方法及系统、终端
CN113627210A (zh) 条形码图像的生成方法、装置、电子设备及存储介质
CN110853102B (zh) 一种新的机器人视觉标定及引导方法、装置及计算机设备
CN114677429B (zh) 一种机械手的定位方法、装置、计算机设备和存储介质
CN114750164B (zh) 一种透明物体的抓取方法、系统及计算机可读存储介质
US9824455B1 (en) Detecting foreground regions in video frames
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质
US9842402B1 (en) Detecting foreground regions in panoramic video frames
US20210008724A1 (en) Method and apparatus for managing robot system
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
JP2014238687A (ja) 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム
TWI834495B (zh) 物件姿態辨識方法及系統
CN115781698B (zh) 分层式手眼标定机器人运动位姿自动生成方法、系统、设备和介质
TWI763453B (zh) 取物設備控制方法及系統與自動取物系統
CN114782535B (zh) 工件位姿识别方法、装置、计算机设备及存储介质
CN112116664B (zh) 手眼标定轨迹生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200241 No. 1000, Lanxiang Hunan Road, Minhang District, Shanghai

Applicant after: SHANGHAI FRIENDESS ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 200241, room 1033, building B, 555 Dongchuan Road, Shanghai, Minhang District

Applicant before: SHANGHAI FRIENDESS ELECTRONIC TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant