CN113400301B - 一种机器人3d手眼标定方法、系统、装置及介质 - Google Patents

一种机器人3d手眼标定方法、系统、装置及介质 Download PDF

Info

Publication number
CN113400301B
CN113400301B CN202110588375.4A CN202110588375A CN113400301B CN 113400301 B CN113400301 B CN 113400301B CN 202110588375 A CN202110588375 A CN 202110588375A CN 113400301 B CN113400301 B CN 113400301B
Authority
CN
China
Prior art keywords
point cloud
calibration
robot
calibration object
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110588375.4A
Other languages
English (en)
Other versions
CN113400301A (zh
Inventor
王耿
权万龙
王城
范兴刚
陈和平
席宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Academy Of Robotics
Original Assignee
Shenzhen Academy Of Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Academy Of Robotics filed Critical Shenzhen Academy Of Robotics
Priority to CN202110588375.4A priority Critical patent/CN113400301B/zh
Publication of CN113400301A publication Critical patent/CN113400301A/zh
Application granted granted Critical
Publication of CN113400301B publication Critical patent/CN113400301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人3D手眼标定方法、系统、装置及介质，其中方法包括以下步骤：3D设备采集标定场景的点云数据；从所述点云数据中获取标定物的点云；将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；根据获得的位姿实现手眼标定；其中，所述标定物固定在机器人的机械臂的末端。本发明通过从标定场景的点云数据中分割出标定物的点云，对分割获得的标定物的点云与预设点云进行匹配，获得标定物在3D设备中的位姿，实现机器人的手眼标定，提高了手眼标定的效率，可广泛应用于智能机器人技术领域。

Description

一种机器人3D手眼标定方法、系统、装置及介质
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种机器人3D手眼标定方法、系统、装置及介质。
背景技术
机器人已被广泛应用于各个不同的领域，包括医疗、工业生产、环境监测、城市管理等。在面对不同的应用环境，机器人自身对环境的适应能力，工作效率等提出了更高的要求，将机器视觉和机器相互结合将极大的提升机器人工作属性。机器人借助机器视觉进行工作的前提通常需要首先完成手眼标定，即建立机器人与机器视觉设备之间的转化关系。
目前手眼标定大多还是基于2D机器视觉的机器人2D手眼标定，但是2D的手眼标定完成后，机器人仅能对特定平面上的工件进行操作；当工件离开特定平面后，就无法完成抓取任务，故需要进行3D的手眼标定。另外对于“眼在手外”的工作情景，3D设备距离工作区域较远，为了提高机器人基于3D视觉的工作精度，就需要采用更高精度的3D相机，但这会使得手眼标定的耗时增加，影响了手眼标定的的效率。其中，“眼”指视觉设备，“手”指机器人的末端。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种机器人3D手眼标定方法、系统、装置及介质。
本发明所采用的技术方案是：
一种机器人3D手眼标定方法，包括以下步骤：
3D设备采集标定场景的点云数据；
从所述点云数据中获取标定物的点云；
将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；
根据获得的位姿实现手眼标定；
其中，所述标定物固定在机器人的机械臂的末端。
进一步，所述预设点云通过以下方式获得：
获取标定物的尺寸信息；
根据尺寸信息获取标定物的模型图；
对所述模型图进行点云化处理，获得预设点云。
进一步，所述从所述点云数据中获取标定物的点云，包括：
利用高斯滤波对点云数据进行去噪；
采用体素网格滤波方法对去噪后的点云数据进行下采样；
采用欧式距离实现的聚类算法从经过下采样的点云数据中，获取标定物的点云。
进一步，所述将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿，包括：
采用ICP算法对将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿sensorHobj。
进一步，所述机器人3D手眼标定方法还包括：
在机器人手眼标定的过程中，采用机器人编程和TCP通讯进行控制；
通过机器人编程控制机器人运动到指定的位姿，并通过TCP通讯发送信息，以使3D设备采集点云数据。
进一步，所述标定物为三通管件。
进一步，所述3D设备包括DLP PRO4500和工业相机，所述3D设备安装在所述机器人的正上方。
本发明所采用的另一技术方案是：
一种机器人3D手眼标定系统，包括：
数据采集模块，用于3D设备采集标定场景的点云数据；
点云分割模块，用于从所述点云数据中获取标定物的点云；
点云匹配模块，用于将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；
手眼标定模块，用于根据获得的位姿实现手眼标定；
其中，所述标定物固定在机器人的机械臂的末端。
本发明所采用的另一技术方案是：
一种机器人3D手眼标定装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过从标定场景的点云数据中分割出标定物的点云，对分割获得的标定物的点云与预设点云进行匹配，获得标定物在3D设备中的位姿，实现机器人的手眼标定，提高了手眼标定的效率。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种机器人3D手眼标定方法的步骤流程图；
图2是本发明实施例中机器人3D手眼标定系统的示意图；
图3是本发明实施例中三通水管的实物图；
图4是本发明实施例中三通水管的模型图；
图5是本发明实施例中模型图的点云模型图；
图6是本发明实施例中手眼标定的相对坐标变换图；
图7是本发明实施例中快速点云标定的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
现有的两种类型的手眼标定包括：“眼在手中”和“眼在手外”，本实施例提供的机器人3D手眼标定方法主要针对“眼在手外”的这种情况。
参见图2，本实施例中，机器人3D手眼标定系统采用的设备如下：机器人、3D设备、标定物以及PC端，标定物被固定在机器人工具的末端。其中，机器人可采用ABB YuMi机器人，3D设备可由DLP PRO4500和工业相机JAI GO-5000M-USB构建，这里需要注意的是，本实施例的设备适用范围不限于这些型号的设备，比如3D设备还可由产生三维点云的设备来实现。其他，图2中sensor为3D设备，object为标定物，robot为机器人。
因为3D设备在不连续边和顶点处的测量精度较低，故本实施例中选择非常常见的三通管件作为标定物体，三通管件在生活中很常见(比如三通水管)，易于获得，且不存在不连续边和顶点，非常适合作为标定物，三通水管的实物图如图3所示。参见图4，利用游标卡尺测量该三通水管的尺寸，利用solidworks软件绘制出模型图。但是实际在做标定的时候，利用基于表面的点云匹配获得标定在相机中的位姿，故将本实施例将solidworks模型图通过点云化处理，获得点云模型图，如图5所示。
以下对3D手眼标定的基本原理进行阐述。
手眼标定的相对坐标变换如图6所示，标定物被固定在机器人工具手中，整个标定过程中标定物与机器人工具坐标系相对位置不变。机器人基座坐标系，机器人工具手坐标系，3D设备坐标系和标定物坐标系形成一个循环，通过这个循环关系可以实现各个坐标系之间的转换。标定物在机器人工具坐标系中的位姿toolHobj可以由下式表示：
toolHobj＝toolHbase·baseHsensor·sensorHobj, (1)
在本实施例中，kHm被定义为m在k坐标系中的位姿；其中，toolHobj为标定物在抓手tool坐标系中的位姿，toolHbase为机器人基座在抓手tool坐标系中的位姿，baseHsensor：3D设备(“眼”)在机器人基座坐标系中的位姿，sensorHobj为标定物在3D相机(“眼”)坐标系中的位姿。
当机器人工具手运动到两个不同位置G1和G2，标定物跟着机器人工具手的运动而运动到O1和O2位置，由图6可知有如下关系式存在：
tool1Hobj1＝tool1Hbase·baseHsensor·sensorHobj1, (2)
tool2Hobj2＝tool2Hbase·baseHsensor·sensorHobj2. (3)
因为标定物固定在机器人工具手不动，故too11Hobj1＝too12Hobj2，所以有如下关系成立：
baseHtool2·tool1Hbase·baseHsensor＝baseHsensor·sensorHobj2·obj1Hsensor. (4)
baseHsensor,baseHtool2·tool1Hbase和sensorHobj2·obj1Hsensor分别用X,A和B代替，故公式(4)可以变化为如下式子：
AX＝XB, (5)
X代表机器人基座坐标系与3D设备坐标系之间的转化关系，手眼标定即为了获得该值。需要多组运动，采集到多组数据，构成如下方程组，才能求解出X
AiX＝XBi, (6)
为了构建Ai和Bi，就需要获得机器人工具手在机器人基座坐标系中的位姿baseHtool和标定物在3D设备坐标系中的位姿sensorHobj，前者可以直接从机器人的控制器读取获得，所以标定的关键是获得准确的sensorHobj，本实施例中sensorHobj通过基于表面的3D匹配获得，匹配通过Iterative Closest Point(ICP)算法实现。然而大场景下，由于点云的数目非常多，若直接使用整个场景用于点云匹配，匹配将非常耗时，会造成手眼的标定效率低效，为了提高标定效率，本实施例将标定物的点云从大场景中分割出来，然后利用分割后的点云与模型匹配，这样将大大提高标定效率。快速点云的标定如图7所示，具体过程如下：
S101、通过3D设备拍摄标定场景，得到整个场景的点云，其中可能包含机器人手臂，标定物，噪声及标定场景中的其他物体。
S102、利用高斯滤波对点云进行去燥，考虑到点云的特征，定义某处点云小于某个密度，既为无线点云。计算每个点到其最近的k个点的平均距离，则点云中所有点的距离构成高斯分布，给定均值与方差，可剔除噪声点云。
S103、点云滤波完成后，利用体素网格滤波方法进一步下采样点云，以便获得更少数量的点云，从而提高匹配速度，体素网格滤波方法是首先构造一个3D的体素，利用3D体素的一个质点来取代整个体素中的所有点云，从而大大降低点云的数量。
S104、整个大场景的点云经过高斯滤波去燥，和体素网格滤波下采样以后，点云数量已经大大减少，再利用欧式距离聚类算法将标定物体从场景中分割出，用于点云的匹配。
S105、分割出的标定物体，利用ICP算法与前述制作的点云模型进行匹配，从而获得sensorHobj。
S106、重复以上步骤，可以获得多组数据，从而构建出公式(6)，通过公式(6)的求解，即可完成手眼标定，或者机器人基座坐标系和3D设备坐标系之间的转化关系X。
以上快速标定过程，可以通过机器人编程和Transmission Control Protocol(TCP)通讯完成。通过机器人编程使机器人运动到指定的位姿，此时通过TCP通讯发送完成信号给计算PC；PC接收到完成信号后，控制3D设备采集3D点云；点云采集完成后，利用前述一系列点云预处理过程，以获得标定物的点云；再通过TCP通讯发送点云采集和处理完成信号给机器人，机器人收到信号后运动到第二个待采集位姿，以此类推，完成整个数据的采集，数据采集完成后，即可以构建出公式(5)。进而求解方程组，即可完成整个手眼标定，可见整个标定过程完全自动化实现，标定速度将大大提高。
如图1所示，基于上述的设备及原理，本实施例提供一种机器人3D手眼标定方法，包括以下步骤：
S201、3D设备采集标定场景的点云数据。
S202、从点云数据中获取标定物的点云。
其中，步骤S202包括步骤S2021-S2023：
S2021、利用高斯滤波对点云数据进行去噪；
S2022、采用体素网格滤波方法对去噪后的点云数据进行下采样；
S2023、采用欧式距离实现的聚类算法从经过下采样的点云数据中，获取标定物的点云。
S203、将获得的标定物的点云，与标定物的预设点云进行匹配，获得标定物在3D设备中的位姿。
具体地，采用ICP算法对将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿sensorHobj。
其中，预设点云通过以下方式获得：
A1、获取标定物的尺寸信息；
A2、根据尺寸信息获取标定物的模型图；
A3、对所述模型图进行点云化处理，获得预设点云。
S204、根据获得的位姿实现手眼标定。其中，标定物固定在机器人的机械臂的末端。
其中，在机器人手眼标定的过程中，采用机器人编程和TCP通讯进行控制；
通过机器人编程控制机器人运动到指定的位姿，并通过TCP通讯发送信息，以使3D设备采集点云数据。
本实施例方法通过将标定物从标定场景中分割出来，进而实现利用标定物与模型进行直接匹配，将大大提高匹配速度，进而提高标定效率。另外，借助机器人编程和TCP通讯，描述一套了自动化的3D手眼标定系统。
本实施例还提供一种机器人3D手眼标定系统，包括：
数据采集模块，用于3D设备采集标定场景的点云数据；
点云分割模块，用于从所述点云数据中获取标定物的点云；
点云匹配模块，用于将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；
手眼标定模块，用于根据获得的位姿实现手眼标定；
其中，所述标定物固定在机器人的机械臂的末端。
本实施例的一种机器人3D手眼标定系统，可执行本发明方法实施例所提供的一种机器人3D手眼标定方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种机器人3D手眼标定装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
本实施例的一种机器人3D手眼标定装置，可执行本发明方法实施例所提供的一种机器人3D手眼标定方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种机器人3D手眼标定方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种机器人3D手眼标定方法，其特征在于，包括以下步骤：
3D设备采集标定场景的点云数据；
从所述点云数据中获取标定物的点云；
将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；
根据获得的位姿实现手眼标定；
其中，所述标定物固定在机器人的机械臂的末端；
所述标定物为三通管件；
所述预设点云通过以下方式获得：
获取标定物的尺寸信息；
根据尺寸信息获取标定物的模型图；
对所述模型图进行点云化处理，获得预设点云。
2.根据权利要求1所述的一种机器人3D手眼标定方法，其特征在于，所述从所述点云数据中获取标定物的点云，包括：
利用高斯滤波对点云数据进行去噪；
采用体素网格滤波方法对去噪后的点云数据进行下采样；
采用欧式距离实现的聚类算法从经过下采样的点云数据中，获取标定物的点云。
3.根据权利要求1所述的一种机器人3D手眼标定方法，其特征在于，所述将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿，包括：
采用ICP算法对将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿sensorHobj。
4.根据权利要求1所述的一种机器人3D手眼标定方法，其特征在于，所述机器人3D手眼标定方法还包括：
在机器人手眼标定的过程中，采用机器人编程和TCP通讯进行控制；
通过机器人编程控制机器人运动到指定的位姿，并通过TCP通讯发送信息，以使3D设备采集点云数据。
5.根据权利要求1所述的一种机器人3D手眼标定方法，其特征在于，所述3D设备包括DLP PRO4500和工业相机，所述3D设备安装在所述机器人的正上方。
6.一种机器人3D手眼标定系统，其特征在于，包括：
数据采集模块，用于3D设备采集标定场景的点云数据；
点云分割模块，用于从所述点云数据中获取标定物的点云；
点云匹配模块，用于将获得的标定物的点云，与所述标定物的预设点云进行匹配，获得标定物在3D设备中的位姿；
手眼标定模块，用于根据获得的位姿实现手眼标定；
其中，所述标定物固定在机器人的机械臂的末端；
所述标定物为三通管件；
所述预设点云通过以下方式获得：
获取标定物的尺寸信息；
根据尺寸信息获取标定物的模型图；
对所述模型图进行点云化处理，获得预设点云。
7.一种机器人3D手眼标定装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-5任一项所述方法。
8.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述方法。
CN202110588375.4A 2021-05-28 2021-05-28 一种机器人3d手眼标定方法、系统、装置及介质 Active CN113400301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588375.4A CN113400301B (zh) 2021-05-28 2021-05-28 一种机器人3d手眼标定方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588375.4A CN113400301B (zh) 2021-05-28 2021-05-28 一种机器人3d手眼标定方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN113400301A CN113400301A (zh) 2021-09-17
CN113400301B true CN113400301B (zh) 2023-03-21

Family

ID=77674912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588375.4A Active CN113400301B (zh) 2021-05-28 2021-05-28 一种机器人3d手眼标定方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN113400301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113942013B (zh) * 2021-11-02 2023-05-12 杭州迁移科技有限公司 基于数据可视化的快速手眼标定方法及系统
CN114770516A (zh) * 2022-05-19 2022-07-22 梅卡曼德（北京）机器人科技有限公司 通过点云获取装置对机器人进行标定的方法以及标定系统
CN115070779B (zh) * 2022-08-22 2023-03-24 菲特（天津）检测技术有限公司 机器人抓取控制方法、系统及电子设备
CN115488884B (zh) * 2022-09-07 2024-04-30 华南理工大学 远程机器人的超声探头的标定方法、系统、装置及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103925879A (zh) * 2014-04-24 2014-07-16 中国科学院合肥物质科学研究院 基于3d图像传感器的室内机器人视觉手眼关系标定方法
CN109986551A (zh) * 2017-12-31 2019-07-09 广州智信科技有限公司 抓取系统及抓取方法
JP2019195885A (ja) * 2018-05-11 2019-11-14 セイコーエプソン株式会社 制御装置およびロボットシステム
CN108942922A (zh) * 2018-06-11 2018-12-07 杭州灵西机器人智能科技有限公司 基于圆锥标定物的机械臂手眼标定方法、装置及系统
CN110116411B (zh) * 2019-06-06 2020-10-30 浙江汉振智能技术有限公司 一种基于球目标的机器人3d视觉手眼标定方法
CN110555889B (zh) * 2019-08-27 2021-01-15 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法

Also Published As

Publication number Publication date
CN113400301A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113400301B (zh) 一种机器人3d手眼标定方法、系统、装置及介质
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
Khalfaoui et al. An efficient method for fully automatic 3D digitization of unknown objects
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
Aggarwal et al. Haptic Object Recognition in Underwater and Deep‐sea Environments
CN113715016B (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
CN106908052B (zh) 用于智能机器人的路径规划方法及装置
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN109872355B (zh) 一种基于深度相机的最短距离获取方法及装置
JP2009128191A (ja) 物体認識装置およびロボット装置
CN113119108A (zh) 一种二指机械臂抓取方法、系统、装置及存储介质
Lee et al. 3D visual perception system for bin picking in automotive sub-assembly automation
Zhang et al. Safe and efficient robot manipulation: Task-oriented environment modeling and object pose estimation
CN113172636A (zh) 一种自动手眼标定方法、装置及存储介质
CN112414396A (zh) 现实场景中物体模位置测量方法、装置、存储介质及设备
Kratochvil et al. Image‐based 3D reconstruction using helical nanobelts for localized rotations
Capunaman et al. A vision-based sensing framework for adaptive robotic tooling of indefinite surfaces
JP5868005B2 (ja) 撮像装置、撮像条件設定方法、プログラム
CN111462232A (zh) 一种物体抓取方法、装置和存储介质
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
Kriegel Autonomous 3D modeling of unknown objects for active scene exploration
CN112815851A (zh) 手眼标定方法及装置、系统、电子设备、存储介质
Zhou et al. A novel method for reconstructing general 3D curves from stereo images
Cretu et al. Harnessing Vision and Touch for Compliant Robotic Interaction with Soft or Rigid Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant