CN106737692B - 一种基于深度投影的机械手爪抓取规划方法及控制装置 - Google Patents

一种基于深度投影的机械手爪抓取规划方法及控制装置 Download PDF

Info

Publication number
CN106737692B
CN106737692B CN201710074472.5A CN201710074472A CN106737692B CN 106737692 B CN106737692 B CN 106737692B CN 201710074472 A CN201710074472 A CN 201710074472A CN 106737692 B CN106737692 B CN 106737692B
Authority
CN
China
Prior art keywords
pose
information
grabbing
point cloud
grabbed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710074472.5A
Other languages
English (en)
Other versions
CN106737692A (zh
Inventor
王越
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Iplus Tech Co ltd
Original Assignee
Hangzhou Iplus Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Iplus Tech Co ltd filed Critical Hangzhou Iplus Tech Co ltd
Priority to CN201710074472.5A priority Critical patent/CN106737692B/zh
Publication of CN106737692A publication Critical patent/CN106737692A/zh
Application granted granted Critical
Publication of CN106737692B publication Critical patent/CN106737692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于深度投影的机械手抓取规划方法及控制装置，主要包括利用场景深度信息，生成抓取位姿正负样本，进行抓取选择神经网络的训练，根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的网络获得最优抓取位姿等步骤，控制装置，包括第一运算模块和控制模块，将机械手爪调整至最优抓取位姿进行抓取。本发明综合了机械手爪的尺寸信息等，该抓取规划方法能够适应于不同种类的机械手爪，无需对待抓取物体建模、能够适应不同物体和手爪尺寸、不受光照变化影响的快速抓取规划方法。

Description

一种基于深度投影的机械手爪抓取规划方法及控制装置
技术领域
本发明属于机器人装配领域，尤其涉及一种基于深度投影的机械手抓取规划方法及控制装置。
背景技术
现有的抓取规划方法，基本可以分为基于解析的抓取规划方法和基于学习的抓取规划方法。
基于解析的抓取规划方法在抓取合成阶段，首先定义一些如立方体、球、圆柱、圆锥等这样的基础形状，同时定义他们相对应的可能抓取位姿，然后利用形状单元(shapeprimitives)、分解树(decomposition trees)或者最小体积包围盒(minimum volumebounding box)等不同的方法对物体进行分解，分解成上述的基础形状。最后按照预定义的候选抓取位姿，将每一个分解出的基础形状对应的候选抓取位姿全部取出，组合成整个物体的候选抓取位姿。而在抓取选择阶段，通过在GraspIt！或OpenRAVE等仿真环境进行抓取仿真,获取每一个手爪与物体的接触点处的六维力旋量信息，进而求取ε度量或者凸包体积度量，从而选出具有最大度量值的抓取位姿，作为最优抓取位姿。
基于学习的抓取规划方法通常利用已有的抓取场景信息及对应的成功与不成功抓取位姿等作为样本，离线训练用于抓取规划的神经网络。而在线部分，用工作场景的RGB或者RGB-D的数据作为输入，经过已训练好的模型，直接输出最优抓取位姿。
基于解析的方法在计算速度上优于基于学习的方法，然而对于基于解析的方法，需要对机械手爪以及被抓取物体进行精确三维建模，而这对于具有庞大数量的待抓取物体进行建模几乎是不现实的。特别是对于可变形物体，如毛绒玩具等，根本无法构建出可用的静态模型。而基于学习的方法虽然不需要对待抓取物体和机械手爪进行精确建模，但是由于滑动窗口方法的采用，导致规划速度上远不如基于解析的方法，同时该类方法由于直接采用RGB数据作为网络模型的输入，对光照稳定性有较高的要求。
发明内容
针对现有技术的问题，本发明提供了一种无需对待抓取物体建模、能够适应不同物体和手爪尺寸、不受光照变化影响的快速抓取规划方法及控制装置。
本发明是通过以下技术方案来实现的：
本发明公开了一种基于深度投影的机械手爪抓取规划方法，所述的方法主要包括如下步骤：1)、利用场景深度信息，生成抓取位姿正负样本，进行抓取选择神经网络的训练；2)、根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的网络获得最优抓取位姿。
作为进一步地改进，本发明所述的步骤1)的步骤如下：
a、获取合成的场景深度信息，所述场景深度信息由待抓取物体与待抓取物体的承载物合成；
b、将合成的场景深度信息投影到抓取位姿投影平面上，生成抓取位姿正负样本；
c、利用训练样本信息训练抓取选择神经网络，所述训练样本信息包括抓取位姿正负样本以及对应抓取位姿是正样本或负样本的标签。
作为进一步地改进，本发明所述的步骤2)的步骤如下：
a、获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系，获得在候选抓取位姿的坐标系下合成的当前场景深度信息，所述当前场景深度信息由当前的待抓取物体与待抓取物体的承载物合成；
b、将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选抓取位姿样本；
c、将候选抓取位姿样本放入训练好的抓取选择神经网络，获得最优抓取位姿。
作为进一步地改进，本发明所述的步骤1)a步骤的具体步骤为：获取场景点云信息；从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的场景深度信息；
作为进一步地改进，本发明所述的步骤2)中的a步骤的具体步骤为：获取当前场景点云信息；从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系。
作为进一步地改进，本发明将合成的场景深度信息投影到抓取位姿投影平面上之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸，和/或将合成的当前场景深度信息投影到候选抓取位姿投影平面之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸。
作为进一步地改进，本发明利用3D图像渲染的方法将合成的场景深度信息投影到抓取位姿投影平面上，和/或利用3D图像渲染的方法将合成的当前场景深度信息投影到候选抓取位姿投影平面。
本发明还公开了一种用于机械手爪抓取规划的控制装置，包括
第一运算模块，根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的抓取选择神经网络获得最优抓取位姿；
控制模块，将机械手爪调整至最优抓取位姿进行抓取。
作为进一步地改进，本发明所述第一运算模块包括
第一获取单元，获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系；获得在候选抓取位姿的坐标系下合成的当前场景深度信息；
第一位姿样本生成单元，将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选抓取位姿样本；
抓取选择单元，将候选抓取位姿样本放入训练好的抓取选择神经网络，获得最优抓取位姿。
作为进一步地改进，本发明所述第一获取单元具体地获取当前场景点云信息；从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系，将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的当前场景深度信息。
作为进一步地改进，本发明所述控制装置还包括第二运算模块，第二运算模块利用场景深度信息，生成抓取位姿正负样本，进行抓取选择神经网络的训练。
作为进一步地改进，本发明所述第二运算模块包括
第二获取单元，获取合成的场景深度信息；
第二位姿样本生成单元，将合成的场景深度信息投影到抓取位姿投影平面上，生成抓取位姿正负样本；
训练单元，利用训练样本信息训练抓取选择神经网络；所述训练样本信息包括抓取位姿正负样本以及对应抓取位姿是正样本或负样本的标签。
作为进一步地改进，本发明所述第二获取单元具体的获取场景点云信息；从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的场景深度信息。
作为进一步地改进，本发明所述第二位姿样本生成单元将合成的场景深度信息投影到抓取位姿投影平面上之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸，和/或第一位姿样本生成单元将合成的当前场景深度信息投影到候选抓取位姿投影平面之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸。
作为进一步地改进，本发明所述第二位姿样本生成单元利用3D图像渲染的方法将合成的场景深度信息投影到抓取位姿投影平面上，和/或第一位姿样本生成单元利用3D图像渲染的方法将合成的当前场景深度信息投影到候选抓取位姿投影平面。
本发明的有益效果是：
(1)综合了机械手爪的尺寸信息等，该抓取规划方法能够适应于不同种类的机械手爪，无需对待抓取物体建模、能够适应不同物体和手爪尺寸、不受光照变化影响的快速抓取规划方法。
(2)利用对待抓取物体点云进行PCA，获取点云主轴方向，在生成候选抓取位姿坐标系的步骤中，剔除了与待抓取位姿点云主轴冲突的抓取位姿，减少了无效候选抓取位姿的数量，提高了候选抓取位姿成为最优抓取位姿的整体效率。
(3)利用3D图像渲染的方法做深度投影的生成，避免了逐个点云做投影的低效，大大减少了在线抓取规划时间。
附图说明
图1为机械手爪位姿坐标系定义示意图；
图2为离线部分的深度投影生成过程，以及网络训练过程的示意图；
图3为根据分割出的待抓取物体点云信息及桌面位姿信息构建的合成场景示意图；
图4为在线部分的深度投影生成过程，以及利用训练好的网络做抓取选择的过程示意图。
具体实施方式
下面结合说明书附图，通过具体实施例子对本发明的技术方案作进一步地说明。
本发明公开的一种基于深度投影的机械手抓取规划方法通过抓取规划控制装置以及机械手爪来实现，机械手爪用于抓取三维空间中的任意物体，抓取规划控制装置通过本发明公开的抓取规划方法完成抓取规划，即利用包含待抓取物体的场景点云信息作为输入，根据机械手爪信息进行抓取规划，最终输出最优抓取位姿，将最优抓取位姿坐标系作为机械手爪位姿坐标系，根据抓取规划结果控制机械手爪完成抓取。
图1为机械手爪位姿坐标系定义示意图；本发明中提出的方法，用欧式空间的一个六自由度的位姿直接表示机械手爪的位姿，其中六个自由度分别是平移部分的x、y、z，旋转部分的滚动角(roll)、俯仰角(pitch)、偏航角(yaw)。图1中Z轴是手爪接近向量的反方向；X轴是大拇指合起的方向。
本发明的机械手爪抓取规划方法是经由控制器接收一组输入，包括待抓取物体的场景点云信息；由控制器分割场景点云，获取待抓取物体点云以及承载物位姿；在物体点云周围生成候选抓取位姿；利用场景点云及候选抓取位姿生成深度投影；生成的深度投影作为训练好的控制器中的深度神经网络的输入部分，利用该网络选择出最优深度投影，对应的抓取位姿即为最优抓取位姿。细分为：
步骤201：利用场景深度信息，生成抓取位姿样本，进行抓取选择神经网络的训练。
其中，所述抓取位姿样本包括抓取位姿正样本和抓取位姿负样本，所述抓取位姿正样本对应能够成功抓取的抓取位姿的样本，所述负样本对应抓取失败的抓取位姿的样本。
步骤202：根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的抓取选择神经网络获得最优抓取位姿。
其中，抓取位姿正负样本离线生成，候选抓取位姿样本在线生成，所述离线生成为不在抓取的过程中生成，所述在线生成为在抓取的过程中生成。
步骤201的具体过程为：
步骤301：获取合成的场景深度信息，所述场景深度信息由待抓取物体与待抓取物体的承载物合成。
具体地(1)获取场景点云信息；(2)从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息。其中，所述承载体用于承载待抓取物体，例如所述承载体可以是桌子、椅子等，所述待抓取物体可以是摆放在桌子、椅子上的订书机、黑板擦等；图2中的原始点云中只有一个物体，但是实际场景中可能包括多个物体等，而本发明的方法只需要将待抓取物体的点云信息以及桌子的位姿信息分割出来即可。(3)将分割出的待抓取物体点云信息及承载体的位姿信息构建合成场景深度信息。在一具体实施方式中，对场景点云信息进行点云分割后，在原桌子位姿处新建模拟桌子模型，与待抓取物体的点云信息构成只含有待抓取位姿和桌子的场景深度信息；
步骤302：将合成的场景深度信息投影到抓取位姿投影平面上，生成深度投影样本；所述深度投影样本即为抓取位姿正负样本。
在一具体实施方式中，所述抓取位姿投影平面为样本抓取位姿坐标系的x-y平面，利用3D图像渲染方法，将合成的场景深度信息渲染到样本抓取位姿坐标系的x-y平面上，生成深度投影样本。
其中，根据机械手爪的不同抓取范围，选取不同的深度投影尺寸，所述深度投影尺寸确定深度投影样本尺寸大小。在一具体实施方式中，具有较大开合范围即较大抓取范围的机械手爪，一般抓取范围较大，选用较大的投影尺寸；具有开合范围小即抓取范围较小的机械手爪可选用较小的投影尺寸。
步骤303：利用训练样本信息训练深度神经网络，所述深度神经网络即为抓取选择神经网络。
其中，所述训练样本信息包括深度投影样本以及对应抓取位姿是正样本或负样本的标签。
其中，可以利用如Caffe、Tensorflow等搭建合适的网络模型并进行深度神经网络的训练。
其中，利用训练样本信息训练抓取选择神经网络，获得训练集上的分类精度以及测试集上的分类误差。当训练集上具有较高的分类精度，同时测试集上的分类误差足够小时，网络模型训练完毕。图2所示的网络模型是一个示例模型，具有三层卷积网络(conv1、conv2、conv3)和两层全连接网络(fc1、fc2)共5层组成，而在具体的训练过程，可以通过调整网络结构、层数、每层内部的参数等来训练出最优的网络。
图2为离线部分的深度投影生成过程，以及网络训练过程的示意图；
步骤一：从场景点云分割出待抓取物体；
步骤二：根据分割出的待抓取物体点云信息及桌面位姿信息构建的合成场景，如图3所示。
步骤三：根据不同手爪的尺寸信息，选取不同的深度投影尺寸。利用3D图像渲染方法，将合成场景信息渲染到样本抓取位姿坐标系的x-y平面上，生成深度投影样本。
步骤四：将上述生成的深度投影样本训练深度神经网络，网络的输入是训练样本，训练样本包括深度投影以及对应抓取位姿是正样本或负样本的标签。
步骤202的具体过程为：
步骤401：获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系，获得在候选抓取位姿的坐标系下合成的当前场景深度信息，所述当前场景深度信息由当前的待抓取物体与待抓取物体的承载物合成；。
具体地(1)获取当前场景点云信息；(2)从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；(3)对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；(4)生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系；其中，候选抓取位姿坐标系的x-y平面也即凸包三角面所在的平面，凸包三角面的法向量即为坐标系的z轴，点云主轴用于确定坐标系的x轴。(5)将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的当前场景深度信息。在一具体实施方式中，对当前场景点云信息进行点云分割后，在原桌子位姿处新建桌子模拟模型，与待抓取物体的点云信息构成只含有待抓取位姿和桌子的当前场景深度信息；
步骤402：将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选深度投影样本，即为候选抓取位姿样本。也就是所述候选抓取位姿样本为候选抓取位姿对应的深度投影。
在一具体实施方式中，所述候选抓取位姿投影平面为候选抓取位姿坐标系的x-y平面，利用3D图像渲染方法，将合成的当前场景深度信息渲染到候选抓取位姿坐标系的x-y平面上，生成候选深度投影样本。
其中，根据机械手爪的不同抓取范围，选取不同的深度投影尺寸，所述深度投影尺寸确定候选深度投影样本尺寸大小。在一具体实施方式中，具有较大开合范围即较大抓取范围的机械手爪，一般抓取范围较大，选用较大的投影尺寸；具有开合范围小即抓取范围较小的机械手爪可选用较小的投影尺寸。
步骤403：将候选抓取位姿样本放入抓取选择神经网络，获得最优抓取位姿完成抓取规划。
将候选深度投影样本放入离线部分训练好的抓取选择神经网络，从而获得候选抓取位姿的正/负标签以及候选抓取位姿样本是最优抓取位姿的概率。其中，候选深度投影样本中为正标签且概率最大的为最优抓取位姿，所述最优抓取位姿为机械手爪最终用于抓取待抓取物体时所处的位姿。
图4为在线部分的深度投影生成过程，以及利用训练好的网络做抓取选择的过程示意图；
步骤一：对场景点云信息进行点云分割，分割出待抓取物体的点云，以及承载待抓取物体的桌子等的位姿信息；
步骤二：对待抓取物体的点云进行PCA主成分分析，获取点云主轴方向；
步骤三：生成待抓取物体点云的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系；
步骤四：根据桌子位姿和待抓取物体的点云生成只含有待抓取位姿和桌子的场景；
步骤五：根据不同手爪的尺寸信息，选取不同的深度投影尺寸。利用3D图像渲染方法，将合成场景信息渲染到候选抓取位姿坐标系的x-y平面上，生成候选深度投影。
步骤六：将候选深度投影放入离线部分训练好的神经网络，输出最优抓取位姿。
本发明利用抓取合成和抓取选择两个过程完成抓取规划，所述抓取合成是将包含待抓取物体的场景信息作为输入，在机械手爪可抓取的大范围空间中，合成较可能成为最优抓取位姿的一些候选抓取位姿。本发明的方法利用场景点云的信息生成和候选抓取位姿一一对应的深度投影，从而完成抓取合成；所述抓取选择是指在抓取合成过程中生成的候选抓取位姿中利用一定的评价标准，选择评价最高也即最优的抓取位姿。通过训练一个深度网络(抓取选择神经网络)作为深度投影(候选抓取位姿样本)的评价标准来完成抓取选择。
本发明还公开了一种用于机械手爪抓取规划的控制装置。
实施例1：包括第一运算模块和控制模块。
第一运算模块，根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的抓取选择神经网络获得最优抓取位姿；所述抓取选择神经网络用于作为从候选抓取位姿样本中获取最优抓取位姿的评价标准；第一运算模块包括第一获取单元、第一位姿样本生成单元、抓取选择单元；第一获取单元是获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系，获得在候选抓取位姿的坐标系下合成的当前场景深度信息，第一获取单元具体地获取当前场景点云信息；从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系，将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的当前场景深度信息。第一位姿样本生成单元是将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选抓取位姿样本；抓取选择单元是将候选抓取位姿样本放入训练好的抓取选择神经网络，获得最优抓取位姿。
第一位姿样本生成单元将合成的当前场景深度信息投影到候选抓取位姿投影平面之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸；第一位姿样本生成单元利用3D图像渲染的方法将合成的当前场景深度信息投影到候选抓取位姿投影平面上。
控制模块是将机械手爪调整至最优抓取位姿进行抓取。
实施例2：除了实施例1所包括的模块外，控制装置还包括第二运算模块，第二运算模块利用场景深度信息，离线生成抓取位姿正负样本，进行抓取选择神经网络的训练。第二运算模块包括第二获取单元、第二位姿样本生成单元和训练单元，
第二获取单元是获取合成的场景深度信息，第二获取单元具体的获取场景点云信息；从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的场景深度信息。第二位姿样本生成单元是将合成的场景深度信息投影到抓取位姿投影平面上，生成抓取位姿正负样本。训练单元是利用训练样本信息训练抓取选择神经网络；训练样本信息包括抓取位姿正负样本以及对应抓取位姿是正样本或负样本的标签。
第二位姿样本生成单元将合成的场景深度信息投影到抓取位姿投影平面上之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸和/或，第二位姿样本生成单元利用3D图像渲染的方法将合成的场景深度信息投影到抓取位姿投影平面上。
以上所述的仅是本发明的优选实施方式，应当指出，对于本技术领域中的普通技术人员来说，在不脱离本发明核心技术特征的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种基于深度投影的机械手爪抓取规划方法，其特征在于，所述的方法主要包括如下步骤：1)、利用场景深度信息，生成抓取位姿正负样本，进行抓取选择神经网络的训练；2)、根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的网络获得最优抓取位姿，所述的步骤1)的步骤如下：
a、获取合成的场景深度信息，所述场景深度信息由待抓取物体与待抓取物体的承载物合成；
b、将合成的场景深度信息投影到抓取位姿投影平面上，生成抓取位姿正负样本；
c、利用训练样本信息训练抓取选择神经网络，所述训练样本信息包括抓取位姿正负样本以及对应抓取位姿是正样本或负样本的标签。
2.根据权利要求1所述的基于深度投影的机械手爪抓取规划方法，其特征在于，所述的步骤2)的步骤如下：
a、获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系，获得在候选抓取位姿的坐标系下合成的当前场景深度信息，所述当前场景深度信息由当前的待抓取物体与待抓取物体的承载物合成；
b、将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选抓取位姿样本；
c、将候选抓取位姿样本放入训练好的抓取选择神经网络，获得最优抓取位姿。
3.根据权利要求1所述的基于深度投影的机械手爪抓取规划方法，其特征在于，所述的步骤1)a步骤的具体步骤为：获取场景点云信息；从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；将分割出的待抓取物体点云信息及承载体的位姿信息构建合成场景深度信息。
4.根据权利要求2所述的基于深度投影的机械手爪抓取规划方法，其特征在于，所述的步骤2)中的a步骤的具体步骤为：获取当前场景点云信息；从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系。
5.根据权利要求1或2或3或4所述的基于深度投影的机械手爪抓取规划方法，其特征在于，将合成的场景深度信息投影到抓取位姿投影平面上之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸，和/或将合成的当前场景深度信息投影到候选抓取位姿投影平面之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸。
6.根据权利要求1或2或3或4所述的基于深度投影的机械手爪抓取规划方法，其特征在于，利用3D图像渲染的方法将合成的场景深度信息投影到抓取位姿投影平面上，和/或利用3D图像渲染的方法将合成的当前场景深度信息投影到候选抓取位姿投影平面。
7.一种用于机械手爪抓取规划的控制装置，其特征在于，包括
第一运算模块，根据当前场景深度信息，生成候选抓取位姿样本，并用训练好的抓取选择神经网络获得最优抓取位姿；
控制模块，将机械手爪调整至最优抓取位姿进行抓取；
所述第一运算模块包括
第一获取单元，获取当前场景深度信息，利用当前场景深度信息生成候选抓取位姿的坐标系；获得在候选抓取位姿的坐标系下合成的当前场景深度信息；
第一位姿样本生成单元，将合成的当前场景深度信息投影到候选抓取位姿投影平面，生成候选抓取位姿样本；
抓取选择单元，将候选抓取位姿样本放入训练好的抓取选择神经网络，获得最优抓取位姿。
8.根据权利要求7所述的控制装置，其特征在于，所述第一获取单元具体地获取当前场景点云信息；从当前场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；对待抓取物体的点云信息利用PCA主成分分析算法获取点云主轴方向；生成待抓取物体的点云信息的凸包，对于凸包的每一个三角面，根据三角面的法向量以及待抓取物体点云的主轴生成候选抓取位姿坐标系，将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的当前场景深度信息。
9.根据权利要求7所述的控制装置，其特征在于，所述控制装置还包括第二运算模块，所述第二运算模块利用场景深度信息，生成抓取位姿正负样本，进行抓取选择神经网络的训练。
10.根据权利要求9所述的控制装置，其特征在于，所述第二运算模块包括
第二获取单元，获取合成的场景深度信息；
第二位姿样本生成单元，将合成的场景深度信息投影到抓取位姿投影平面上，生成抓取位姿正负样本；
训练单元，利用训练样本信息训练抓取选择神经网络；所述训练样本信息包括抓取位姿正负样本以及对应抓取位姿是正样本或负样本的标签。
11.根据权利要求10所述的控制装置，其特征在于，所述第二获取单元具体的获取场景点云信息；从场景点云信息中分割出待抓取物体的点云信息以及承载体的位姿信息；将分割出的待抓取物体点云信息及承载体的位姿信息构建合成的场景深度信息。
12.根据权利要求10或11所述的控制装置，其特征在于，所述第二位姿样本生成单元将合成的场景深度信息投影到抓取位姿投影平面上之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸，和/或所述第一位姿样本生成单元将合成的当前场景深度信息投影到候选抓取位姿投影平面之前，根据不同手爪的尺寸信息，选取不同的深度投影尺寸。
13.根据权利要求10或11所述的控制装置，其特征在于，所述第二位姿样本生成单元利用3D图像渲染的方法将合成的场景深度信息投影到抓取位姿投影平面上，和/或所述第一位姿样本生成单元利用3D图像渲染的方法将合成的当前场景深度信息投影到候选抓取位姿投影平面。
CN201710074472.5A 2017-02-10 2017-02-10 一种基于深度投影的机械手爪抓取规划方法及控制装置 Active CN106737692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710074472.5A CN106737692B (zh) 2017-02-10 2017-02-10 一种基于深度投影的机械手爪抓取规划方法及控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710074472.5A CN106737692B (zh) 2017-02-10 2017-02-10 一种基于深度投影的机械手爪抓取规划方法及控制装置

Publications (2)

Publication Number Publication Date
CN106737692A CN106737692A (zh) 2017-05-31
CN106737692B true CN106737692B (zh) 2020-04-03

Family

ID=58956923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710074472.5A Active CN106737692B (zh) 2017-02-10 2017-02-10 一种基于深度投影的机械手爪抓取规划方法及控制装置

Country Status (1)

Country Link
CN (1) CN106737692B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033920B (zh) * 2017-06-08 2021-10-08 株式会社理光 一种可抓取目标的识别方法、装置及计算机可读存储介质
CN107363834B (zh) * 2017-07-20 2020-09-29 电子科技大学 一种基于认知地图的机械臂抓取方法
JP2020532440A (ja) * 2017-09-01 2020-11-12 カリフォルニア大学Ｔｈｅ Ｒｅｇｅｎｔｓ ｏｆ ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ オブジェクトをロバストに把持し、ターゲティングするためのロボットシステムおよび方法
CN107479501A (zh) * 2017-09-28 2017-12-15 广州智能装备研究院有限公司 基于深度学习的3d零部件吸取方法
CN109598264B (zh) * 2017-09-30 2020-10-16 北京猎户星空科技有限公司 物体抓取方法及装置
CN107908698B (zh) * 2017-11-03 2021-04-13 广州索答信息科技有限公司 一种主题网络爬虫方法、电子设备、存储介质、系统
CN108247635B (zh) * 2018-01-15 2021-03-26 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108340374B (zh) * 2018-02-08 2023-10-03 西北农林科技大学 一种采摘机械手的控制系统及控制方法
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN108491081B (zh) * 2018-03-23 2020-09-25 联想(北京)有限公司 一种基于神经网络的数据处理方法及装置
CN109658413B (zh) * 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法
CN109801337B (zh) * 2019-01-21 2020-10-02 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN110298886B (zh) * 2019-07-01 2020-12-25 中国科学技术大学 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110340893B (zh) * 2019-07-12 2022-06-17 哈尔滨工业大学（威海） 基于语义激光交互的机械臂抓取方法
CN111085997A (zh) * 2019-12-17 2020-05-01 清华大学深圳国际研究生院 基于点云获取和处理的抓取训练方法及系统
CN110900581B (zh) * 2019-12-27 2023-12-22 福州大学 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置
CN111652928B (zh) * 2020-05-11 2023-12-15 上海交通大学 三维点云中物体抓取位姿检测方法
CN111843411B (zh) * 2020-06-16 2021-11-26 广东工业大学 一种用于易变形导线识别定位与抓取的装置及方法
CN113771045B (zh) * 2021-10-15 2022-04-01 广东工业大学 视觉引导的直角机器人手机中框高适应定位抓取方法
CN114347028B (zh) * 2022-01-10 2023-12-22 武汉科技大学 一种基于rgb-d图像的机器人末端智能抓取方法
CN116945210B (zh) * 2023-07-12 2024-03-15 深圳市永顺创能技术有限公司 一种基于机器视觉的机器人智能控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932534A (zh) * 2015-05-22 2015-09-23 广州大学 一种云机器人清扫物品的方法
CN105389539A (zh) * 2015-10-15 2016-03-09 电子科技大学 一种基于深度数据的三维手势姿态估计方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2625845B1 (en) * 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932534A (zh) * 2015-05-22 2015-09-23 广州大学 一种云机器人清扫物品的方法
CN105389539A (zh) * 2015-10-15 2016-03-09 电子科技大学 一种基于深度数据的三维手势姿态估计方法及系统

Also Published As

Publication number Publication date
CN106737692A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106737692B (zh) 一种基于深度投影的机械手爪抓取规划方法及控制装置
Deng et al. Self-supervised 6d object pose estimation for robot manipulation
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
Huebner et al. Minimum volume bounding box decomposition for shape approximation in robot grasping
CN107138432B (zh) 非刚性物体分拣方法和装置
JP2022187984A (ja) モジュール化ニューラルネットワークを用いた把持学習
CN110553650A (zh) 一种基于小样本学习的移动机器人重定位方法
Dyrstad et al. Grasping virtual fish: A step towards robotic deep learning from demonstration in virtual reality
Tian et al. Transferring grasp configurations using active learning and local replanning
Hasegawa et al. Graspfusion: Realizing complex motion by learning and fusing grasp modalities with instance segmentation
Liang et al. Learning category-level manipulation tasks from point clouds with dynamic graph CNNs
US11809521B2 (en) Network modularization to learn high dimensional robot tasks
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
CN113436293B (zh) 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN116276973A (zh) 基于深度学习的视觉感知抓取训练方法
Adjigble et al. Spectgrasp: Robotic grasping by spectral correlation
Aleotti et al. Robot grasp synthesis from virtual demonstration and topology-preserving environment reconstruction
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
Cao et al. Grasp pose detection based on shape simplification
Xia et al. Reasonable grasping based on hierarchical decomposition models of unknown objects
Li A Design of Robot System for Rapidly Sorting Express Carton with Mechanical Arm Based on Computer Vision Technology
CN112171664A (zh) 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统
Liang et al. Visual reconstruction and localization-based robust robotic 6-DoF grasping in the wild
Prew et al. Evaluating Gaussian Grasp Maps for Generative Grasping Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Yue

Inventor after: Wang Peng

Inventor before: Xiong Rong

Inventor before: Wang Peng

Inventor before: Wang Yue

GR01 Patent grant
GR01 Patent grant