CN110014426B - 一种利用低精度深度相机高精度抓取形状对称工件的方法 - Google Patents

一种利用低精度深度相机高精度抓取形状对称工件的方法 Download PDF

Info

Publication number
CN110014426B
CN110014426B CN201910218554.1A CN201910218554A CN110014426B CN 110014426 B CN110014426 B CN 110014426B CN 201910218554 A CN201910218554 A CN 201910218554A CN 110014426 B CN110014426 B CN 110014426B
Authority
CN
China
Prior art keywords
workpiece
point cloud
grabbing
observation point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910218554.1A
Other languages
English (en)
Other versions
CN110014426A (zh
Inventor
王建梅
张绍明
尹航
张燊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201910218554.1A priority Critical patent/CN110014426B/zh
Publication of CN110014426A publication Critical patent/CN110014426A/zh
Application granted granted Critical
Publication of CN110014426B publication Critical patent/CN110014426B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种利用低精度深度相机高精度抓取形状对称工件的方法，包括以下步骤：1)在抓取坐标系O‑XYZ中对生产线抓取区运送工件料盘进行位置测定；2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。与现有技术相比，本发明能够利用低精度深度相机进行视觉引导达到高精度深度相机视觉引导的抓取精度。

Description

一种利用低精度深度相机高精度抓取形状对称工件的方法
技术领域
本发明涉及机械臂控制领域，尤其是涉及一种利用低精度深度相机高精度抓取形状对称工件的方法。
背景技术
传统的工业机器人抓取通常采用示教编程模式，这种方式适用于工况稳定，工业零件(后面简称工件)放置的位置和姿态固定的情况，若工件摆放的位置和姿态不固定则会出现抓取失败。解决此问题的方法多种多样，最直接的方法是采用类似人眼的机器视觉引导工业机器人工作。
近年来，随着RGB-D深度相机的广泛使用，机器人对环境的三维感知能力不断增强，可以很方便地采集到目标物的多模态数据。但在实际环境中，传感器获取的图像并不只包含目标物体，还包含复杂背景或其他干扰物体，因此对机器人来讲，要完成目标检测与抓取位姿估计两项任务。
目前基于深度学习的目标检测方法是最先进的方法，但该方法虽然能正确检测到目标，却无法保证用于定位的矩形框完全包含目标，这将导致用矩形框来分割点云时会丢失部分目标点云。对于用高精度深度相机获取的稠密点云而言，丢失小部分点云对后续的目标模型拟合与位姿估计影响不大，但高精度深度相机价格昂贵，对生产厂家意味着高昂的生产成本。低精度深度相机价格便宜，但获取的点云稀疏，少量点云的丢失会严重降低抓取位姿估计精度，导致抓取失败。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种利用低精度深度相机高精度抓取形状对称工件的方法。
本发明的目的可以通过以下技术方案来实现：
一种利用低精度深度相机高精度抓取形状对称工件的方法，包括以下步骤：
1)在抓取坐标系O-XYZ中对生产线抓取区运送工件料盘进行位置测定；
2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次转换矩阵T1；
3)生成3D工件模型点云并标记抓取位置；
4)构建基于深度学习的工件检测网络模型并进行训练；
5)根据训练后的工件检测网络模型进行2D图像目标检测；
6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；
7)根据分割得到的工件点云估计抓取位姿。
所述的步骤4)具体包括以下步骤：
41)采用相机从多个角度拍摄多种遮挡情况下的工件的2D RGB图像；
42)在图像上标注出每个工件的外接矩形框并生成训练样本库；
43)选择卷积神经网络框架SSD作为工件检测网络模型框架；
44)根据训练样本库，采用参数调优的方式训练工件检测网络模型。
所述的步骤5)具体包括以下步骤：
51)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
52)利用训练好的工件检测网络模型从2D RGB图像上检测工件，并采用2D矩形框表示工件位置和大小；
53)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将2D RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
所述的步骤6)具体包括以下步骤：
61)根据步骤53)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
62)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
63)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生成，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云；
所述的步骤7)具体包括以下步骤：
71)对优化后的工件观测点云采用RANSAC算法获取工件的中心轴线方向；
72)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的齐次转换矩阵T2；
73)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
74)通过旋转、平移将工件模型点云坐标系O”-X”Y”Z”与抓取坐标系O-XYZ重合；
75)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3，利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于设定的阈值，则将更新后的T3作为初值，并重复以上过程，若小于阈值则停止迭代；
76)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)后，计算机械臂抓取工件的位置坐标
Figure GDA0002565615660000032
抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
所述的步骤76)中，机械臂抓取工件的位置坐标的计算式为：
Figure GDA0002565615660000031
与现有技术相比，本发明具有以下优点：
一、降低运行时间：本发明选取轻量级SSD神经网络模型进行2D目标检测，可以有效降低目标检测算法运行时间。
二、提高点云完整性：集成料盘位置信息和2D目标检测结果分割工件观测点云，可以有效提高工件观测点云的完整性，为后续的高精度位姿估计提供保障。
三、提高拟合成功率：利用工件观测点云直接拟合中心轴线，而不是拟合工件形状，能有效避免小工件因点云稀疏造成的拟合失败；
四、估计速度快精度高：通过前述工件观测点云坐标系和工件模型点云坐标系的定义方式，以T3作为ICP初值进行迭代，可以在有限次迭代后达到收敛，实现快速高精度位姿估计。
本发明可以利用用户级低精度深度相机作为视觉引导机械臂抓取时，达到工业级高精度深度相机视觉引导的抓取精度，并且抓取速度和系统稳定性满足工业生产要求。
附图说明
图1为利用低精度深度相机从生产线料盘中快速高精度抓取形状对称工件的机械臂抓取方法流程图。
图2为3D工件模型点云。
图3为标注每个工件的外接矩形框示意图。
图4为2D RGB图像上标注2D矩形框示意图。
图5为优化后的工件观测点云。
图6为配准后工件观测点云与工件模型点云示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示，本发明提供一种利用低精度深度相机高精度抓取形状对称工件的方法，该方法可分七部分：1)在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定；2)对机械臂抓取系统进行手眼标定；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。
第一部分，在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定，具体过程如下：
(1)定义抓取坐标系O-XYZ；
(2)在抓取区料盘中垂直放入工件，通过人工操控机械臂抓取工件，获得工件抓取点在抓取坐标系O-XYZ中的坐标
Figure GDA0002565615660000051
(3)量取工件抓取点离料盘的高度，再根据工件的大小尺寸，算出料盘中心点在抓取坐标系O-XYZ中的坐标。
第二部分，机械臂抓取系统中的手眼标定，具体过程如下：
(1)每次人工操作抓取工件的同时，通过深度相机拍摄抓取工件的RGB图像和深度图像，获取工件抓取点在相机坐标系上的坐标
Figure GDA0002565615660000052
(2)重复以上过程，获得多组同名抓取点在抓取坐标系和图像坐标系中的坐标，然后根据公式(2)采用最小二乘方法求得深度相机坐标系与抓取坐标系之间的转换关系，完成机械臂抓取系统的手眼标定；
Figure GDA0002565615660000053
第三部分，3D工件模型点云生成及抓取位置标记，具体过程为：将工件CAD模型转换为3D模型点云，并在工件模型点云上标注抓取点位置；
第四部分，构建基于深度学习的工件检测网络模型并进行训练，具体过程如下：
(1)用相机从多个角度拍摄不同遮挡情况下的工件的2D RGB图像；
(2)标注出图像上每个工件的外接矩形框构建训练样本库；
(3)选择卷积神经网络框架SSD作为工件检测网络模型框架；
(4)利用训练样本库，采用参数调优的方式训练工件检测网络模型；
第五部分，基于工件检测网络模型的图像目标检测，具体过程如下：
(1)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
(2)利用训练好的工件检测网络模型从2D RGB图像上检测工件，用2D矩形框表示工件位置和大小；
(3)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
第六部分，集成图像目标检测结果与料盘位置信息的工件观测点云分割，具体过程如下：
(1)根据第五部分(3)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
(2)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
(3)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生长，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云；
第七部分，基于工件观测点云的抓取位姿估计，具体过程如下：
(1)根据工件观测点云采用RANSAC算法估算工件的中心轴线方向；
(2)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的转换关系如公式(3)所示：
Figure GDA0002565615660000061
(3)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
(4)通过旋转、平移将O”-X”Y”Z”坐标系与抓取坐标系O-XYZ重合；
(5)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3。利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于阈值，则将更新后的T3作为初值重复以上过程，若小于阈值则停止迭代；
(6)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)，根据公式(1)求得机械臂抓取工件的位置坐标
Figure GDA0002565615660000062
抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
实施例：
某生产企业搭建的机械臂抓取系统包含一个YaMaha四轴机械臂，机械臂末端最大可张开宽度1.7cm，一台Intel RealSense D415深度相机和一台主频为3.3GHz的工业计算机。待抓取工件放在料盘中在生成线上运送，工件沿中心轴线对称，宽度约为1cm。在实际生产中，工人将工件手工插入料盘圆孔中时，无法保证每个工件都垂直插入，会出现倾斜情况，为了保证机械臂从生产线料盘中自动抓取工件时不出现抓取失误，设计技术方案如下：
第一部分，在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定，具体过程如下：
(1)定义抓取坐标系O-XYZ；
(2)在抓取区料盘中垂直放入工件，通过人工操控机械臂抓取工件，获得工件抓取点在抓取坐标系O-XYZ中的坐标
Figure GDA0002565615660000071
(3)量取工件抓取点离料盘的高度，再根据工件的大小尺寸，算出料盘中心点在抓取坐标系O-XYZ中的坐标。
第二部分，机械臂抓取系统中的手眼标定，具体过程如下：
(1)每次人工操作抓取工件的同时，通过深度相机拍摄抓取工件的RGB图像和深度图像，获取工件抓取点在相机坐标系中的坐标
Figure GDA0002565615660000072
(2)重复以上过程，获得至少6组同名抓取点在抓取坐标系和图像坐标系中的坐标，根据公式(2)，采用最小二乘方法求得深度相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1。
第三部分，利用工件的CAD模型生成3D工件模型点云，如附图2，并标记工件模型抓取位置；
第四部分，构建基于深度学习的工件检测网络模型并进行训练，具体过程如下：
(1)用相机从多个角度拍摄不同遮挡情况下的工件的2D RGB图像；
(2)如附图3所示，标注出图像上每个工件的外接矩形框构建训练样本库；
(3)选择卷积神经网络框架SSD作为工件检测网络框架；
(4)利用训练样本库，采用参数调优的方式训练工件检测网络模型；
第五部分，基于工件检测网络模型的图像目标检测，具体过程如下：
(1)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
(2)利用训练好的工件检测网络模型从2D RGB图像上检测工件，如附图4所示，用2D矩形框表示工件位置和大小；
(3)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
第六部分，集成图像目标检测结果与料盘位置信息的工件观测点云分割，具体步骤如下：
(1)根据第五部分(3)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
(2)以料盘圆孔所在位置为中心，定义一个长宽为6cm*6cm，高为15cm的3D矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
(3)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生长，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云，如附图5所示；
第七部分，基于工件观测点云的抓取位姿估计，具体步骤如下：
(1)根据工件观测点云采用RANSAC算法估算工件的中心轴线方向；
(2)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的转换关系如公式(3)所示：
(3)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
(4)通过旋转、平移将O”-X”Y”Z”坐标系与抓取坐标系O-XYZ重合；
(5)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3。利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于0.1mm，则将更新后的T3作为初值重复以上过程，若小于0.1mm，则停止迭代；
(6)如图6所示，经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)，根据公式(1)求得机械臂抓取工件的位置坐标
Figure GDA0002565615660000081
抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
该机械臂抓取系统在生产线上连续工作8个小时，无一例抓取失败，平均每个工件抓取间隔小于1s。

Claims (6)

1.一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，包括以下步骤：
1)在抓取坐标系O-XYZ中对生产线抓取区运送工件料盘进行位置测定；
2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1；
3)生成3D工件模型点云并标记抓取位置；
4)构建基于深度学习的工件检测网络模型并进行训练；
5)根据训练后的工件检测网络模型进行2D图像目标检测；
6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；
7)根据分割得到的工件观测点云估计抓取位姿。
2.根据权利要求1所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤4)具体包括以下步骤：
41)采用相机从多个角度拍摄多种遮挡情况下的工件的2D RGB图像；
42)在图像上标注出每个工件的外接矩形框并生成训练样本库；
43)选择卷积神经网络框架SSD作为工件检测网络模型框架；
44)根据训练样本库，采用参数调优的方式训练工件检测网络模型。
3.根据权利要求1所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤5)具体包括以下步骤：
51)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
52)利用训练好的工件检测网络模型从2D RGB图像上检测工件，并采用2D矩形框表示工件位置和大小；
53)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将2D RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
4.根据权利要求3所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤6)具体包括以下步骤：
61)根据步骤53)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
62)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
63)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生长，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云。
5.根据权利要求4所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤7)具体包括以下步骤：
71)对优化后的工件观测点云采用RANSAC算法获取工件的中心轴线方向；
72)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的齐次转换矩阵T2；
73)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
74)通过旋转、平移将工件模型点云坐标系O”-X”Y”Z”与抓取坐标系O-XYZ重合；
75)采用ICP算法，以齐次坐标转换矩阵T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点集列出n个方程，采用最小二乘求解得到更新后的T3，利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于设定的阈值，则将更新后的T3作为初值，并重复以上过程，若小于阈值则停止迭代；
76)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)后，计算机械臂抓取工件的位置坐标
Figure FDA0002002841290000021
抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
6.根据权利要求5所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤76)中，机械臂抓取工件的位置坐标的计算式为：
Figure FDA0002002841290000031
CN201910218554.1A 2019-03-21 2019-03-21 一种利用低精度深度相机高精度抓取形状对称工件的方法 Expired - Fee Related CN110014426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910218554.1A CN110014426B (zh) 2019-03-21 2019-03-21 一种利用低精度深度相机高精度抓取形状对称工件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910218554.1A CN110014426B (zh) 2019-03-21 2019-03-21 一种利用低精度深度相机高精度抓取形状对称工件的方法

Publications (2)

Publication Number Publication Date
CN110014426A CN110014426A (zh) 2019-07-16
CN110014426B true CN110014426B (zh) 2020-10-02

Family

ID=67189792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910218554.1A Expired - Fee Related CN110014426B (zh) 2019-03-21 2019-03-21 一种利用低精度深度相机高精度抓取形状对称工件的方法

Country Status (1)

Country Link
CN (1) CN110014426B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753609B (zh) * 2019-08-02 2023-12-26 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机
CN110992410B (zh) * 2019-11-29 2020-10-30 广东技术师范大学 基于rgb-d数据融合的机器人视觉引导方法和装置
CN111325768B (zh) * 2020-01-31 2022-08-30 武汉大学 一种基于3d视觉和模仿学习的自由漂浮目标抓捕方法
CN111476768B (zh) * 2020-04-02 2021-07-20 推想医疗科技股份有限公司 图像配准方法、装置、路径规划方法、装置、系统及介质
CN111598958A (zh) * 2020-05-19 2020-08-28 北京迁移科技有限公司 高质量3d点云图像快速获取系统及方法
CN111761575B (zh) * 2020-06-01 2023-03-03 湖南视比特机器人有限公司 工件及其抓取方法和生产线
CN111942621B (zh) * 2020-07-17 2022-03-04 北京控制工程研究所 一种基于多任务学习的在轨自主加注控制方法及系统
CN114627359A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 一种乱序堆叠工件抓取优先级评估方法
CN112464854A (zh) * 2020-12-09 2021-03-09 北京四方继保工程技术有限公司 基于深度学习的机械隔离刀闸的状态精确判断方法及系统
CN112947458B (zh) * 2021-02-26 2022-09-20 同济大学 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN113222940B (zh) * 2021-05-17 2022-07-12 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN113500593B (zh) * 2021-06-25 2022-12-06 天津大学 一种抓取轴类工件指定部位进行上料的方法
CN114012722B (zh) * 2021-11-01 2023-05-30 苏州科德软体电路板有限公司 一种基于深度学习和边缘检测的机械臂抓取目标方法
CN115319739A (zh) * 2022-08-02 2022-11-11 中国科学院沈阳自动化研究所 一种基于视觉机械臂抓取工件方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051704A (ja) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Also Published As

Publication number Publication date
CN110014426A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110370286B (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN110421562B (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN107186708B (zh) 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN109202912B (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN110455187B (zh) 一种基于三维视觉的盒体工件焊缝的检测方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN112964186B (zh) 一种轴孔自动化装配过程中间隙测量装置及方法
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN113237434B (zh) 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法
CN113799130B (zh) 一种人机协作装配中的机器人位姿标定方法
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN109397293B (zh) 一种基于移动机器人的地面水平误差建模及补偿方法
CN114851206B (zh) 基于视觉引导机械臂抓取炉具的方法
CN113894793B (zh) 一种零件与视觉传感器相对位姿关系的获取方法
CN108638060A (zh) 多自由度机器人参数标定中冗余参数分析剔除方法
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
Kita et al. Robot and 3D-sensor calibration using a planar part of a robot hand

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201002