CN110428464B - 基于深度学习的多类别乱序工件机器人抓取位姿估计方法 - Google Patents

基于深度学习的多类别乱序工件机器人抓取位姿估计方法 Download PDF

Info

Publication number
CN110428464B
CN110428464B CN201910550309.0A CN201910550309A CN110428464B CN 110428464 B CN110428464 B CN 110428464B CN 201910550309 A CN201910550309 A CN 201910550309A CN 110428464 B CN110428464 B CN 110428464B
Authority
CN
China
Prior art keywords
point cloud
information
generation network
input
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910550309.0A
Other languages
English (en)
Other versions
CN110428464A (zh
Inventor
傅建中
王郑拓
徐月同
方泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910550309.0A priority Critical patent/CN110428464B/zh
Publication of CN110428464A publication Critical patent/CN110428464A/zh
Application granted granted Critical
Publication of CN110428464B publication Critical patent/CN110428464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法。采用三个独立的点云分类网络、位置生成网络以及姿态生成网络；点云信息输入到点云分类网络，由点云分类网络对输入的点云信息进行分类获得点云信息的类别；将点云信息的类别和点云信息共同合成类点云信息，类点云信息分别输入到位置生成网络和姿态生成网络中，分别由位置生成网络和姿态生成网络对类点云信息进行处理预测获得位置信息和姿态信息，合成获得机器人的位姿。本发明可实现多类别乱序工件的抓取位姿估计，是一种全新的基于深度学习的端到端的实现方法，只需提供较少组训练数据，即可快速实现对特定工件的抓取编程，可满足工业生产的需要。

Description

基于深度学习的多类别乱序工件机器人抓取位姿估计方法
技术领域
本发明涉及属于人工智能的一种机器人抓取位姿估计方法，尤其涉及一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法。
背景技术
中国作为全球五大工业机器人消费国之一，在2018年安装量全球占比提升至36.0％，共计安装了138000台工业机器人，同比增长了59％，消费体量已经超过了欧洲和美国的总和。智能制造是中国制造2025的主攻方向，智能化的工业机器人需求量巨大。搬运及上下料的机器人应用占比超过三分之二，对其进行智能化升级所带来的附加价值明显。
随着人工智能的发展，已有学者开始研究基于人工智能技术工件抓取位姿估计，利用预先训练过的深度强化学习网络对图像进行数据降维特征提取；根据特征提取结果得出机器人的控制策略，机器人利用控制策略来控制运动路径和机械手臂的位姿，从而实现目标的自适应抓取。
目前，比较成熟的基于人工智能的机器视觉抓取方法是依据相机采集的二维图像来预测工件位姿，但此方法往往缺失工件的立体三维信息，只能实现二维的位姿估计。依据工件三维点云信息来估计工件位姿的人工智能方法还比较少，目前常用的是采用深度强化学习方法来实现的。然而，传统强化学习方法在求解高维度状态和动作空间问题时，有较大的局限性，在有限样本和计算单元条件下对复杂函数的表示能力有限，实际应用中的表现往往不是很理想。同时，传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。
发明内容
为克服现有技术的不足，本发明提供一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法。
本发明采用的技术方案如下：
如附图1所示，采用三个独立的深度学习网络，分别为点云分类网络、位置生成网络以及姿态生成网络；首先，点云信息输入到点云分类网络，由点云分类网络对输入的点云信息进行分类获得点云信息的类别，点云分类网络输入的点云信息为深度传感器采集的工件的三维点云信息，点云分类网络输出的类别信息为所输入的点云的类别；接着再将点云信息的类别和点云信息共同合成类点云信息，以类点云信息作为输入分别输入到位置生成网络和姿态生成网络中，分别由位置生成网络和姿态生成网络对类点云信息进行处理预测获得位置信息和姿态信息，最后由位置信息和姿态信息合成获得机器人的位姿，实现机器人抓取位姿的估计获得。
所述的点云分类网络用于对输入的点云信息进行分类，点云分类网络的输入信息为传感器采集的工件三维点云信息，点云分类网络的输出信息为所输入的点云的类别；
所述的位置生成网络用于估计机器人抓取该工件时的位置信息，位置生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，位置生成网络的输出信息为机器人抓取该工件时的位置信息，即机器人末端执行器在笛卡尔空间坐标系下的坐标值；
所述的姿态生成网络用于估计机器人抓取该工件时的姿态信息，姿态生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，姿态生成网络的输出信息为机器人抓取该工件时的姿态信息，即机器人末端执行器分别绕x轴、y轴以及z轴的转角信息；
将位置信息与姿态信息合并得到机器人抓取工件时的位姿信息。
所述的工件为机械零件，但不限于此。
所述的点云分类网络、位置生成网络和姿态生成网络均采用相同的网络结构，具体包括依次连接的随机采样层、感知层、池化层和最后的多层感知器，感知层是由多个多层感知器并联组成；
如附图2所示，所述的点云分类网络中，先由随机采样层对输入的点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到所输入的点云信息的分类结果；
如附图3所示，所述的位置生成网络中，先由随机采样层对输入的类点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到机器人抓取该工件时的位置信息；
如附图3所示，所述的姿态生成网络中，先由随机采样层对输入的类点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到机器人抓取该工件时的姿态信息。
本发明特殊采用了类点云信息，类点云信息是由点云信息与点云中的各点的类别信息组合而成，类点云信息里的每个点不但包含笛卡尔空间的坐标值，还包含对应的类别信息。
所述的点云分类网络、位置生成网络和姿态生成网络均为已经训练好的网络模型，均根据各自的输入数据及其对应已知的输出数据进行训练优化获得：
所述的点云分类网络的训练数据为深度传感器所采集的若干组不同类别的工件的点云信息，以及所述的点云信息对应的类别；
所述的位置生成网络的训练数据为由深度传感器所采集的若干组不同类别且不同位姿的工件点云信息和点云分类网络所获得的点云类别所组合而成的类点云信息，以及所述的类点云信息对应的机器人抓取该工件时的位置信息；
所述的姿态生成网络的训练数据为由深度传感器所采集的若干组不同类别且不同位姿的工件点云信息和点云分类网络所获得的点云类别所组合而成的类点云信息，以及所述的类点云信息对应的机器人抓取该工件时的姿态信息。
所述的机器人具有末端执行器，末端执行器侧方设有深度传感器，深度传感器位置固定，通过深度传感器向采集获得末端执行器和工件的图像，进而获得工件的点云信息。
具体实施中，所述的深度传感器为深度相机，深度相机设置在待抓取物体正上方，深度相机采集工件点云信息，机器人具有末端执行器，末端执行器用于抓取物体。
所述的点云信息为通过机器人末端的深度相机拍摄获得的工件点云数据。
包括三个独立的深度学习网络构成，分别为点云分类网络、位置生成网络以及姿态生成网络，点云分类网络、位置生成网络和姿态生成网络均采用相同的网络结构，具体包括依次连接的随机采样层、感知层、池化层和最后的多层感知器，同一感知层是由多个多层感知器并联组成，感知层中各个多层感知器共享/具有相同的参数，随机采样层接收输入数据进行随机采样，然后将随机采样的各组数据分别输入到各个多层感知器，所有多层感知器处理输出到同一池化层中，池化层的输出到最后的多层感知器中，由最后的多层感知器输出数据。
工业产线的上下料环节中，往往存在很多乱序堆放的工件，需要机器人实现自动化的分拣或上下料。本发明适用于工业上下料环节中的零件自动化分拣或上下料，采用深度学习算法先对深度相机所采集的点云信息进行分类，判断所输入的点云是哪种目标零件，然后采用两个相似的深度学习网络结构分别实现机器人的抓取位置估计和抓取姿态估计，从而实现多类别乱序工件机器人抓取位姿估计。
本发明的有益效果是：
1、本发明采用深度学习方法实现机器人针对多类别乱序工件的抓取位姿估计，输入信息为视觉传感器所采集的工件的三维点云信息，输出信息为机器人在抓取位置的位姿信息，不同于依赖点云特征描述子的位姿估计方法，是一种全新的基于深度学习的端到端的实现方法。
2、传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。本发明提供的训练方法无需大量试错训练，只需提供较少组训练数据，即可快速实现对特定工件的抓取编程，可满足工业生产的需要。
附图说明
图1为本发明的深度学习网络结构示意图；
图2为本发明的点云分类网络结构示意图；
图3为本发明的位置生成网络和姿态生成网络结构示意图。
图4为实施例的三个工件物体场景示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明具体实施例的深度学习网络的训练流程如下所示：
实施的系统包括三个独立的深度学习网络构成，分别为点云分类网络、位置生成网络以及姿态生成网络，点云分类网络、位置生成网络和姿态生成网络均采用相同的网络结构，具体包括依次连接的随机采样层、感知层、池化层和最后的多层感知器，同一感知层是由多个多层感知器并联组成，感知层中各个多层感知器共享/具有相同的参数，随机采样层接收输入数据进行随机采样，然后将随机采样的各组数据分别输入到各个多层感知器，所有多层感知器处理输出到同一池化层中，池化层的输出到最后的多层感知器中，由最后的多层感知器输出数据，随机采样的数据组和多层感知器的个数相同。
点云分类网络、位置生成网络和姿态生成网络中的感知层的多层感知器各自共享，网络之间不共享参数。
深度相机采用双目视觉传感器，设置在待抓取物体正上方，可拍摄待抓取物体，并输出点云数据。机器人选用六轴工业机器人，设置在水平面上。本发明所述的方法需先对点云分类网络、位置生成网络和姿态生成网络进行训练，网络训练完成之后才能实施抓取位姿估计。
A)点云分类网络的训练过程：
1、视觉传感器采集的若干组不同类别的工件的点云信息，并标记有每组点云的类别信息；
2、将所采集的点云信息及对应的类别信息输入到点云分类网络，采用梯度下降的方法进行网络训练；
3、点云分类网络训练迭代若干次之后，即可获得所需的点云分类网络的参数，即获得点云分类网络。
B)位置生成网络的训练过程：
1、视觉传感器采集的若干组不同类别且不同姿态的工件的点云信息，标记每组点云的类别信息，同时将机器人移动到工件的待抓取位置，获得对应组数机器人位置信息；
2、将步骤1所采集的点云信息及对应的类别信息合成为类点云信息，具体是将点云中每个点设置类别，将类别添加到点云中每个点的三维坐标后面形成每个点的新信息量，然后组成获得类点云信息。然后将类点云信息及对应的机器人待抓取位置信息输入到位置生成网络，采用梯度下降的方法进行网络训练；
3、位置生成网络训练迭代若干次之后，即可获得所需的位置生成网络的参数，即获得位置生成网络。
C)姿态生成网络的训练过程：
1、视觉传感器采集的若干组不同类别且不同姿态的工件的点云信息，标记每组点云的类别信息，同时将机器人移动到工件的待抓取位置，获得对应组数机器人姿态信息；
2、如上将所采集的点云信息及对应的类别信息合成为类点云信息，将类点云信息及对应的机器人待抓取姿态信息输入到位置生成网络，采用梯度下降的方法进行网络训练；
3、姿态生成网络训练迭代若干次之后，即可获得所需的姿态生成网络的参数，即获得姿态生成网络。
在分别对点云分类网络、位置生成网络以及姿态生成网络进行训练，获得点云分类网络、位置生成网络以及姿态生成网络的参数之后，将视觉传感器采集的待测的工件三维点云信息输入到点云分类网络，获得点云的类别信息，将点云信息与点云的类别信息合并成类点云信息，同时将类点云信息分别输入到位置生成网络和姿态生成网络，获得机器人在工件待抓取位置的位置信息及姿态信息，最后将位置信息和姿态信息合并，即可获得机器人抓取工件的位姿数据。
在本方法中，设置机器人的工具中心点为末端执行器的装夹中点，工具中心点的x轴方向为末端执行器的前进方向，z轴方向为上升方向，y轴方向根据右手法则计算得出。待抓取物体设置在水平面上，实施抓取时，末端执行器总是与水平面垂直。
为了验证本方法的有效性，实施例选择了如图4所示的三个物体，将其摆放在水平面上随机调整零件的位置和姿态(只改变零件的x、y、z方向以及z轴的转角方向)，拍摄零件的点云，并示教机器人，获得机器人相应抓取位姿信息。由此，建立了一组数据集，其中训练集有46组数据(包含10组物体A的数据集、14组物体B的数据集以及22组物体C的数据集)，测试集有270组数据(包含90组物体A的数据集、90组物体B的数据集以及90组物体C的数据集)。用训练集完成算法模型的训练，然后用测试集来测试算法的性能。测试结果为：针对物体A，位置误差的均值为2.96mm，角度误差的均值为3.67°；针对物体B，位置误差的均值为3.74mm，角度误差的均值为2.23°；针对物体C，位置误差的均值为3.42mm，角度误差的均值为2.99°。
由此实施可见，本发明可实现多类别乱序工件的抓取位姿估计，是一种全新的基于深度学习的端到端的实现方法，只需提供较少组训练数据，即可快速实现对特定工件的抓取编程，可满足工业生产的需要。

Claims (5)

1.一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法，其特征在于：采用三个独立的深度学习网络，分别为点云分类网络、位置生成网络以及姿态生成网络；首先，点云信息输入到点云分类网络，由点云分类网络对输入的点云信息进行分类获得点云信息的类别；接着再将点云信息的类别和点云信息共同合成类点云信息，以类点云信息作为输入分别输入到位置生成网络和姿态生成网络中，分别由位置生成网络和姿态生成网络对类点云信息进行处理预测获得位置信息和姿态信息，最后由位置信息和姿态信息合成获得机器人的位姿，实现机器人抓取位姿的估计获得；
所述的点云信息为通过机器人末端的深度相机拍摄获得的工件点云数据；
所述的位置信息为机器人末端执行器在笛卡尔空间坐标系下的坐标值；
所述的姿态信息为机器人末端执行器分别绕x轴、y轴以及z轴的转角信息；
所述的点云分类网络、位置生成网络和姿态生成网络均采用相同的网络结构，具体包括依次连接的随机采样层、感知层、池化层和最后的多层感知器，感知层是由多个多层感知器并联组成；
所述的点云分类网络中，先由随机采样层对输入的点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到所输入的点云信息的分类结果；
所述的位置生成网络中，先由随机采样层对输入的类点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到机器人抓取该工件时的位置信息；
所述的姿态生成网络中，先由随机采样层对输入的类点云信息进行随机采样获得固定数目采样点的位置坐标，然后将采样点的位置坐标分别输入到对应相同数目且结构相同且共享内部参数的感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到多层感知器内得到机器人抓取该工件时的姿态信息。
2.根据权利要求1所述的一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法，其特征在于：所述的点云分类网络用于对输入的点云信息进行分类，点云分类网络的输入信息为传感器采集的工件三维点云信息，点云分类网络的输出信息为所输入的点云的类别；
所述的位置生成网络用于估计机器人抓取该工件时的位置信息，位置生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，位置生成网络的输出信息为机器人抓取该工件时的位置信息；
所述的姿态生成网络用于估计机器人抓取该工件时的姿态信息，姿态生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，姿态生成网络的输出信息为机器人抓取该工件时的姿态信息；
将位置信息与姿态信息合并得到机器人抓取工件时的位姿信息。
3.根据权利要求1所述的一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法，其特征在于：
所述的点云分类网络、位置生成网络和姿态生成网络均为已经训练好的网络模型，均根据各自的输入数据及其对应已知的输出数据进行训练优化获得：
所述的点云分类网络的训练数据为深度传感器所采集的若干组不同类别的工件的点云信息，以及所述的点云信息对应的类别；
所述的位置生成网络的训练数据为由深度传感器所采集的若干组不同类别且不同位姿的工件点云信息和点云分类网络所获得的点云类别所组合而成的类点云信息，以及所述的类点云信息对应的机器人抓取该工件时的位置信息；
所述的姿态生成网络的训练数据为由深度传感器所采集的若干组不同类别且不同位姿的工件点云信息和点云分类网络所获得的点云类别所组合而成的类点云信息，以及所述的类点云信息对应的机器人抓取该工件时的姿态信息。
4.根据权利要求1所述的一种基于深度学习的多类别乱序工件机器人抓取位姿估计方法，其特征在于：
所述的机器人具有末端执行器，末端执行器侧方设有深度传感器，深度传感器位置固定，通过深度传感器向采集获得末端执行器和工件的图像，进而获得工件的点云信息。
5.一种基于深度学习的多类别乱序工件机器人抓取位姿估计系统，其特征在于：包括三个独立的深度学习网络构成，分别为点云分类网络、位置生成网络以及姿态生成网络，点云分类网络、位置生成网络和姿态生成网络均采用相同的网络结构，具体包括依次连接的随机采样层、感知层、池化层和最后的多层感知器，同一感知层是由多个多层感知器并联组成，感知层中各个多层感知器共享/具有相同的参数，随机采样层接收输入数据进行随机采样，然后将随机采样的各组数据分别输入到各个多层感知器，所有多层感知器处理输出到同一池化层中，池化层的输出到最后的多层感知器中，由最后的多层感知器输出数据；
所述的点云分类网络用于对输入的点云信息进行分类，点云分类网络的输入信息为传感器采集的工件三维点云信息，点云分类网络的输出信息为所输入的点云的类别；
所述的位置生成网络用于估计机器人抓取该工件时的位置信息，位置生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，位置生成网络的输出信息为机器人抓取该工件时的位置信息；
所述的姿态生成网络用于估计机器人抓取该工件时的姿态信息，姿态生成网络的输入信息为由点云信息与点云的类别合成的类点云信息，姿态生成网络的输出信息为机器人抓取该工件时的姿态信息。
CN201910550309.0A 2019-06-24 2019-06-24 基于深度学习的多类别乱序工件机器人抓取位姿估计方法 Active CN110428464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910550309.0A CN110428464B (zh) 2019-06-24 2019-06-24 基于深度学习的多类别乱序工件机器人抓取位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910550309.0A CN110428464B (zh) 2019-06-24 2019-06-24 基于深度学习的多类别乱序工件机器人抓取位姿估计方法

Publications (2)

Publication Number Publication Date
CN110428464A CN110428464A (zh) 2019-11-08
CN110428464B true CN110428464B (zh) 2022-01-04

Family

ID=68409533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910550309.0A Active CN110428464B (zh) 2019-06-24 2019-06-24 基于深度学习的多类别乱序工件机器人抓取位姿估计方法

Country Status (1)

Country Link
CN (1) CN110428464B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046948B (zh) * 2019-12-10 2022-04-22 浙江大学 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN110969660B (zh) * 2019-12-17 2023-09-22 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN111145258B (zh) * 2019-12-31 2023-06-02 南京埃斯顿机器人工程有限公司 一种工业机器人多种汽车玻璃自动化上下料的方法
CN111402256B (zh) * 2020-04-13 2020-10-16 视研智能科技(广州)有限公司 一种基于模板的三维点云目标检测和姿态估计方法
CN113538582B (zh) * 2021-07-20 2024-06-07 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN116197886A (zh) * 2021-11-28 2023-06-02 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116580084B (zh) * 2023-02-24 2024-01-16 江苏共知自动化科技有限公司 一种基于深度学习和点云的工业零件快速位姿估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108280481A (zh) * 2018-01-26 2018-07-13 深圳市唯特视科技有限公司 一种基于残差网络的联合目标分类和三维姿态估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
CN104217441B (zh) * 2013-08-28 2017-05-10 北京嘉恒中自图像技术有限公司 一种基于机器视觉的机械臂定位抓取方法
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
CN109840508A (zh) * 2019-02-17 2019-06-04 李梓佳 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108280481A (zh) * 2018-01-26 2018-07-13 深圳市唯特视科技有限公司 一种基于残差网络的联合目标分类和三维姿态估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion;Chen Wang et al.;《ArXiv》;20190115;第1-11页 *
Target Recognition and Optimal Grasping Based on Deep Learning;Qingquan Lin et al.;《Proceedings of the 1st WRC Symposium on Advanced Robotics and Automation 2018》;20180816;第28-33页 *
基于多层感知器神经元的空间柔性机器人位置跟踪控制;张文辉 等;《空间控制技术与应用》;20110228;第37卷(第1期);第59-62页 *

Also Published As

Publication number Publication date
CN110428464A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428464B (zh) 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN112297013B (zh) 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN110238855B (zh) 一种基于深度逆向强化学习的机器人乱序工件抓取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110000785B (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
CN109074513A (zh) 用于机器人抓握的深度机器学习方法和装置
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN108196453A (zh) 一种机械臂运动规划群体智能计算方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
JP2022187984A (ja) モジュール化ニューラルネットワークを用いた把持学習
CN113715016A (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
JP2023536380A (ja) 物体検出のためのシステム及び方法
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
CN114789454B (zh) 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
JP2022187983A (ja) 高次元のロボット作業を学習するためのネットワークモジュール化
CN112192577A (zh) 一种应用于机器人抓取场景的一拍多抓方法
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
CN113436293B (zh) 一种基于条件生成式对抗网络的智能抓取图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant