CN112884825B - 基于深度学习模型的抓取方法及装置 - Google Patents

基于深度学习模型的抓取方法及装置 Download PDF

Info

Publication number
CN112884825B
CN112884825B CN202110295688.0A CN202110295688A CN112884825B CN 112884825 B CN112884825 B CN 112884825B CN 202110295688 A CN202110295688 A CN 202110295688A CN 112884825 B CN112884825 B CN 112884825B
Authority
CN
China
Prior art keywords
data
target object
learning model
deep learning
gripper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110295688.0A
Other languages
English (en)
Other versions
CN112884825A (zh
Inventor
刘辛军
李子豪
叶彦雷
李鹏
谢福贵
刘魁
吕春哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Qingkejia Robot Joint Research Institute Co ltd
Tsinghua University
Original Assignee
Yantai Qingkejia Robot Joint Research Institute Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Qingkejia Robot Joint Research Institute Co ltd, Tsinghua University filed Critical Yantai Qingkejia Robot Joint Research Institute Co ltd
Priority to CN202110295688.0A priority Critical patent/CN112884825B/zh
Publication of CN112884825A publication Critical patent/CN112884825A/zh
Application granted granted Critical
Publication of CN112884825B publication Critical patent/CN112884825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习模型的抓取方法及装置，用于夹持器抓取目标物体，包括：建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；通过所述2D深度学习模型确定待抓取的目标物体；根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。通过结合目标物体属性和深度学习模型实现夹持器的精准抓取，从而提升抓取成功率。

Description

基于深度学习模型的抓取方法及装置
技术领域
本申请涉及夹持器抓取技术领域，尤其涉及一种基于深度学习模型的抓取方法及装置。
背景技术
目前夹持器抓取领域的抓取方法有很多种。在物体识别方面，有传统图像处理的方法，也有采用深度学习方法进行物体识别的。如果采用传统视觉识别的方式，抓取方案实施时需要手工设计大量的算子，效率太低，且识别的准确性不够高。如果抓取方案采用普通深度学习的方法，方案中训练的模型能够快速地识别目标物体，直接生成抓取点。但是，这种方案一般不会提供其他信息(比如物体硬度、尺寸等)帮助抓取任务的执行，也会影响抓取效率。因此需要提供一种可以提高抓取成功率的技术方案。
发明内容
本申请实施例提供一种提升夹持器抓取成功率的技术方案。
本申请提供的一种基于深度学习模型的抓取方法，用于夹持器抓取目标物体，包括：
建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；
根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；
通过所述2D深度学习模型确定待抓取的目标物体；
根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；
根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。
进一步的，在本申请提供的一种优选实施方式中，建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集，具体包括：
根据所有需要抓取的目标物体，建立目标物体集合的属性集合数据；
采集所有需要抓取的目标物体的RGB图片和深度图片；
对所述RGB图片中的物体进行类别标注，生成2D数据集；
根据所述属性集合数据、所述深度图片和所述2D数据集，生成不规则物体点云数据集；
其中，所述属性集合表包括刚度数据、尺寸数据和形状数据。
进一步的，在本申请提供的一种优选实施方式中，根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型，具体包括：
采用2D深度神经网络对所述2D数据集进行训练，得到2D深度学习模型；
采用3D深度神经网络对所述不规则物体点云数据集进行训练，得到点云深度学习模型；
其中，所述2D深度神经网络包括Mask R-CNN或者YOLOv3中的任意一种；
所述3D深度神经网络包括PointNet++。
进一步的，在本申请提供的一种优选实施方式中，通过所述2D深度学习模型确定待抓取的目标物体，具体包括：
利用深度相机拍摄观察区内的所有物体的图像，得到待识别图像；
调用所述2D深度学习模型处理所述待识别图像，生成处理结果；
根据所述处理结果，确定待抓取的目标物体。
进一步的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为规则时，根据所述物体属性集合数据，获取所述目标物体的尺寸数据；
通过深度相机获取所述目标物体的深度信息数据；
根据所述尺寸数据和所述深度信息数据，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
进一步的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为不规则时，调用所述点云深度学习模型匹配所述目标物体，得到匹配结果；
根据所述匹配结果，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
进一步的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置，具体包括：
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为刚体时，获取夹持器抓取所述目标物体时的夹持反馈数据；
当所述夹持反馈数据达到预设值时，将抓取的所述目标物体放置在指定位置；
其中，所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据达到所述压力阈值、实际夹持开合尺寸数据符合所述开合尺寸数据范围中的一项。
进一步的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置，具体包括：
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为软体时，获取夹持器抓取所述目标物体时的夹持压力数据；
利用深度相机识别夹持器上的夹持物，得到识别结果；
当所述夹持压力数据达到所述压力阈值，同时所述识别结果符合预设条件时，将抓取的所述目标物体放置在指定位置；
其中，所述预设条件为深度相机识别到夹持器上存在物体。
进一步的，在本申请提供的一种优选实施方式中，还包括对抓取到指定位置的目标物体进行检测，具体包括：
通过深度相机和所述2D深度学习模型检测所述目标物体。
本申请还提供一种基于深度学习模型的抓取装置，用于夹持器抓取目标物体，包括：
数据模块，用于建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；
训练模块，用于根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；
识别模块，用于通过所述2D深度学习模型确定待抓取的目标物体；
计算模块，用于根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；
抓取模块，用于根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。
本申请提供的实施例，至少具有以下技术效果：
通过结合目标物体的属性清单和深度学习模型控制夹持器进行抓取操作，提高了夹持器抓取目标物的抓取成功率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的基于深度学习模型的抓取方法的流程图；
图2为本申请实施例提供的基于深度学习模型的抓取装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，为本申请实施例提供的基于深度学习模型的抓取方法，用于夹持器抓取目标物体，包括：
S100：建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集。
可以理解的是，我们在具体实施抓取方法前，我们需要提前做好抓取准备工作。这里的抓取方法会根据待抓取的目标物体相应属性的不同给出不同的抓取方案。因此，我们需要提前准备好记录有所有目标物体的属性的物体属性集合数据。同时，也需要准备用于训练深度学习模型所需要的数据集，包括2D数据集和不规则物体点云数据集。2D数据集主要包括目标物体的2D图片数据，不规则物体点云数据集主要包括不规则目标物体的点云数据。点云是在同一空间参考系下表达目标物体空间分布和表面特性的海量点集合，是在获取物体表面每个采样点的空间坐标后，得到的点集合。需要指出的是，这里的属性集合数据可以用来确定我们要抓取的目标物体对应的具体抓取方案，2D数据集和不规则物体点云数据集分别用来训练对应的深度学习模型。
在本申请提供的一种优选实施方式中，建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集，具体包括：
根据所有需要抓取的目标物体，建立目标物体集合的属性集合数据；
采集所有需要抓取的目标物体的RGB图片和深度图片；
对所述RGB图片中的物体进行类别标注，生成2D数据集；
根据所述属性集合数据、所述深度图片和所述2D数据集，生成不规则物体点云数据集；
其中，所述属性集合数据包括刚度数据、尺寸数据和形状数据。
可以理解的是，我们建立的目标物体集合的属性集合数据包括所有的待抓取目标物体的属性数据。所有的待抓取目标物体构成了目标物体集合，所有的待抓取目标物体的属性数据构成了属性集合数据。这里的属性数据包括了物体的刚度数据、尺寸数据、外观形状数据。需要指出的是，这里的属性数据还可以包括物体的颜色信息等属性数据。刚度数据主要用于决定抓取物体时的施力大小；尺寸数据可以用于决定夹持器开合尺寸和抓取的深度；外观形状数据可以用于决定抓取的方案，比如不规则的物体需要借助三维深度学习确定抓取点。建立好物体属性集合数据后，我们可以采集含有目标物体及抓取场景的RGB图片和深度图片，并对采集的RGB图片里的目标物体进行标注。最终，我们可以得到RGB图片数据集。这里的RGB图片数据集我们可以理解为2D数据集。显而易见的是，这里的RGB图片是二维图片。对于需要利用点云生成抓取点的不规则物体，我们可以通过二维图片里的标注信息和对应的深度图片只得到不规则物体的点云模型，对点云模型进行标注后生成点云数据集。例如我们采用深度相机采集不同位姿和不同情况下(不同光照和多视野等)多个目标物体的RGB图片和深度图片。通过标注工具(如LableMe、VGG Image Annotator、COCO UI等)对RGB图片中的物体进行类别标注，生成2D数据集。通过物体属性数据从2D数据集中挑选不规则物体，结合深度图片可以先把包含该物体的已标注的二维图片进行提取，并从该图片相应的深度图像中结合二维标注信息提取深度信息。然后，我们对该物体的所有深度信息使用Kinect Fusion进行重建，生成该物体的点云模型。最后，我们使用semantic-segmentation-editor工具对其进行标注，可以得到不规则物体点云数据集。
S200：根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型。
具体的，在本申请提供的一种优选实施方式中，根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型，具体包括：
采用2D深度神经网络对所述2D数据集进行训练，得到2D深度学习模型；
采用3D深度神经网络对所述不规则物体点云数据集进行训练，得到点云深度学习模型；
其中，所述2D深度神经网络包括Mask R-CNN或者YOLOv3中的任意一种；
所述3D深度神经网络包括PointNet++。
可以理解的是，我们在正常使用深度学习模型前，需要先训练该模型。我们在使用2D数据集训练2D深度学习模型时，可以采用2D深度神经网络对2D数据集进行训练，得到2D深度学习模型。这里的2D深度神经网络包括Mask R-CNN、YOLOv3。我们在使用不规则物体点云数据集训练点云深度学习模型时，可以采用3D深度神经网络对不规则物体点云数据集进行训练，最终得到点云深度学习模型。这里的3D深度神经网络可以是PointNet++。这里的点云深度学习模型可以理解为用于获取不规则物体抓取点的三维深度学习模型。
S300：通过所述2D深度学习模型确定待抓取的目标物体。
具体的，在本申请提供的一种优选实施方式中，通过所述2D深度学习模型确定待抓取的目标物体，具体包括：
利用深度相机拍摄观察区内的所有物体的图像，得到待识别图像；
调用所述2D深度学习模型处理所述待识别图像，生成处理结果；
根据所述处理结果，确定待抓取的目标物体。
可以理解的是，我们在抓取目标物体时，需要先识别对应的目标物体。在具体抓取工作中，我们通过控制夹持器上的深度相机对抓取区域内的所有物体进行拍摄，拍摄得到的图片就是我们需要识别的待识别图像。此时，我们调用训练好的2D深度学习模型匹配这个待识别图像，就能得到匹配结果。显而易见的是，根据匹配结果，我们可以确定待识别图像中的物体是否是我们要抓取的目标物体。需要指出的是，深度相机在进行拍摄时，我们的夹持器可以是静止状态，也可以是移动状态。通过运用2D深度学习模型来识别确认待抓取的目标物体，提高了我们识别散乱物体时的识别准确率。
S400：根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值。
可以理解的是，我们在确定了要抓取的目标物体后，就需要采用对应的抓取方案对目标物体进行抓取。在进行具体抓取目标物体工作时，我们可以根据目标物体在对应属性集合数据中保存的属性数据来确定初步的抓取方案。我们需要计算目标物体的抓取点位姿数据、夹持器夹持这个目标物体时的开合尺寸数据以及夹持器夹持这个目标物体时需要达到的压力阈值。当我们遇到不规则物体时，需要利用点云深度学习模型来确定目标物体的抓取点位姿数据。需要指出的是，这里的开合尺寸数据包含夹持器的开合大小和抓取的深度。可以理解的是，我们可以通过目标物体的属性集合数据来确定夹持器的开合尺寸数据和夹持器夹持目标物体需要达到的压力阈值。比如，根据规则的目标物体的属性集合数据中的尺寸数据，确定夹持器的开合尺寸数据；根据目标物体的属性集合数据中的刚度数据，确定夹持目标物体时需要达到的夹持压力的压力阈值。通过属性集合数据和点云深度学习模型的综合利用，可以计算不同类型的目标物体的抓取点数值，提高了目标物体抓取点生成的成功率。
具体的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为规则时，根据所述物体属性集合数据，获取所述目标物体的尺寸数据；
通过深度相机获取所述目标物体的深度信息数据；
根据所述尺寸数据和所述深度信息数据，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
可以理解的是，我们找到对应的目标物体时，移动夹持器靠近目标物体。此时，我们需要找到目标物体在属性集合数据中保存的属性数据。根据属性数据确定这个目标物体的形状数据和刚度数据。根据目标物体形状，我们确定对应的抓取方案。当我们判断出这个目标物体是规则物体时，在对应的属性数据中提取目标物体的尺寸数据。然后，我们可以利用深度相机获取目标物体相对于深度相机的正视图像。根据正视图像我们可以获取目标物体的表面深度信息数据。根据表面深度信息数据，选取一块深度跨度不大的接近平面的区域生成抓取点位姿数据。显而易见的是，我们可以根据规则目标物体的尺寸数据和抓取点位姿数据，计算出对应的夹持器开合尺寸数据。我们可以根据目标物体的刚度数据，计算出夹持器夹持对应目标物体时施加夹持压力的压力阈值。通过尺寸数据和深度信息数据计算规则物体的抓取点位姿数据和夹持器的开合尺寸数据，能够有效提高数据处理速度，最终提高抓取效率。
具体的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为不规则时，调用所述点云深度学习模型匹配所述目标物体，得到匹配结果；
根据所述匹配结果，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
可以理解的是，我们找到对应的目标物体时，移动夹持器靠近目标物体。此时，我们需要找到目标物体在属性集合数据中保存的属性数据，确定这个目标物体的形状。根据目标物体形状，我们确定对应的抓取方案。当我们判断出这个目标物体是不规则物体时，我们需要利用点云深度学习模型匹配不规则目标物体。显而易见的是，我们可以根据匹配结果、夹持器最大开合尺寸和夹持器的移动范围，选取该不规则目标物体当前姿态下合适的抓取点位姿数据和夹持器的开合尺寸数据。需要指出的是，当我们在确定目标物体时，我们通过目标物体的属性集合数据确定刚度数据。我们可以通过这里的刚度数据，计算出夹持器夹持对应目标物体时施加夹持压力的压力阈值。通过点云深度学习模型计算不规则目标物体抓取点位姿数据，能够有效提高抓取成功率。
S500：根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。
可以理解的是，我们在得到了目标物体的抓取点位姿数据和夹持器的开合尺寸数据后，就可以结合目标物体的属性集合数据控制夹持器抓取对应的目标物体了。在具体的抓取工作中，我们根据目标物体的抓取点位姿数据、夹持器的开合尺寸数据和压力阈值，控制夹持器开合到预设尺寸并移动夹持器到目标物体的抓取点，然后对目标物体进行抓取。同时，我们结合目标物体的属性集合数据，实时检测夹爪电机电流和压力传感器信息，把目标物体放置到我们预先设置的指定位置。这样，我们就完成的对目标物体的抓取工作。显而易见的是，在夹持器接触目标物体前，我们可以控制夹持器开合到预设尺寸。
具体的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置，具体包括：
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为刚体时，获取夹持器抓取所述目标物体时的夹持反馈数据；
当所述夹持反馈数据达到预设值时，将抓取的所述目标物体放置在指定位置；
其中，所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据达到所述压力阈值、实际夹持开合尺寸数据符合所述开合尺寸数据范围中的一项。
可以理解的是，针对目标物体之间的属性数据差异性，我们可以采用不同的抓取感知方案来执行抓取操作。在具体的抓取工作中，我们可以根据目标物体在对应属性集合数据中保存的刚度信息，确定夹持器抓取目标物体时需要施加的力的大小。当我们根据刚度信息判定目标物体为刚体时，可以借助夹持器的压力数据和开合尺寸数据实时获取夹持器的夹持状态。例如我们可以根据夹持器的压力传感器和电机电流检测夹持器对目标物体施加的压力数据，根据编码器检测夹持器夹持目标物体时的开合尺寸数据。当压力数据值到达压力阈值，或者夹持器的开合尺寸数据值达到指定值时，我们可以判定夹持器抓取目标物体成功。显而易见的是，压力数据的检测和夹持器开合尺寸数据的反馈不需要复杂的算法，可以快速地反馈抓取的状态。
具体的，在本申请提供的一种优选实施方式中，根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置，具体包括：
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为软体时，获取夹持器抓取所述目标物体时的夹持压力数据；
利用深度相机识别夹持器上的夹持物，得到识别结果；
当所述夹持压力数据达到所述压力阈值，同时所述识别结果符合预设条件时，将抓取的所述目标物体放置在指定位置；
其中，所述预设条件为深度相机识别到夹持器上存在物体。
可以理解的是，在具体的抓取工作进行时，我们可以根据获取的目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持目标物体的压力阈值，结合目标物体的属性集合数据对目标物体进行抓取操作。为了能够进行精准的抓取操作，我们根据目标物体对应的属性集合数据中保存的刚度信息，确定具体的抓取检测方案。根据刚度信息判断得出目标物体为软体时，我们通过获取夹持器压力数据实现压力检测，利用深度相机识别实现视觉检测。通过压力检测和视觉检测，我们可以实时获取夹持器的夹持状态。例如我们可以利用压力传感器和电机电流实时检测压力大小，压力到达压力阈值后，夹起物体。然后利用深度相机判断夹持器上是否有物体，若有则抓取成功。显而易见的是，我们通过压力检测和视觉检测，能够准确反馈抓取软体目标物体时的抓取状态。
具体的，在本申请提供的一种优选实施方式中，还包括对抓取到指定位置的目标物体进行检测，具体包括：
通过深度相机和所述2D深度学习模型检测所述目标物体。
可以理解的是，当我们抓取目标物体放置在指定位置后，我们的夹持器就完成了基本的抓取工作。显而易见的是，我们在操作夹持器进行夹持目标物体放置在指定位置的操作时，我们实际的目标物体并不一定被放在了指定位置。这时，我们为了提高抓取准确率，可以通过深度相机结合深度学习的方法确认目标物体是否正确。例如夹持器将抓取的物体放置在指定位置后，我们可以利用深度相机对物体进行拍摄，同时调用2D深度学习模型检测拍摄目标是否为目标物体。显而易见的是，这里采用深度相机和2D深度学习模型检测目标物体，能够有效提高检测准确率和检测速度，最终实现抓取效率的提高。
以上为本申请实施例提供的基于深度学习模型的抓取方法，基于同样的思路，本申请实施例还提供一种基于深度学习模型的抓取装置100，如图2所示。
一种基于深度学习模型的抓取装置100，用于夹持器抓取目标物体，包括：
数据模块11，用于建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；
训练模块12，用于根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；
识别模块13，用于通过所述2D深度学习模型确定待抓取的目标物体；
计算模块14，用于根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；
抓取模块15，用于根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.基于深度学习模型的抓取方法，用于夹持器抓取目标物体，其特征在于，包括：
建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；
根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；
通过所述2D深度学习模型确定待抓取的目标物体；
根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为刚体时，获取夹持器抓取所述目标物体时的夹持反馈数据；
当所述夹持反馈数据达到预设值时，将抓取的所述目标物体放置在指定位置；
其中，所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据达到所述压力阈值、实际夹持开合尺寸数据符合所述开合尺寸数据范围中的一项；
或当所述刚度数据为软体时，获取夹持器抓取所述目标物体时的夹持压力数据；
利用深度相机识别夹持器上的夹持物，得到识别结果；
当所述夹持压力数据达到所述压力阈值，同时所述识别结果符合预设条件时，将抓取的所述目标物体放置在指定位置；
其中，所述预设条件为深度相机识别到夹持器上存在物体。
2.根据权利要求1所述的抓取方法，其特征在于，建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集，具体包括：
根据所有需要抓取的目标物体，建立目标物体集合的属性集合数据；
采集所有需要抓取的目标物体的RGB图片和深度图片；
对所述RGB图片中的物体进行类别标注，生成2D数据集；
根据所述属性集合数据、所述深度图片和所述2D数据集，生成不规则物体点云数据集；
其中，所述属性集合数据包括刚度数据、尺寸数据和形状数据。
3.根据权利要求1所述的抓取方法，其特征在于，根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型，具体包括：
采用2D深度神经网络对所述2D数据集进行训练，得到2D深度学习模型；
采用3D深度神经网络对所述不规则物体点云数据集进行训练，得到点云深度学习模型；
其中，所述2D深度神经网络包括Mask R-CNN或者YOLOv3中的任意一种；
所述3D深度神经网络包括PointNet++。
4.根据权利要求1所述的抓取方法，其特征在于，通过所述2D深度学习模型确定待抓取的目标物体，具体包括：
利用深度相机拍摄观察区内的所有物体的图像，得到待识别图像；
调用所述2D深度学习模型处理所述待识别图像，生成处理结果；
根据所述处理结果，确定待抓取的目标物体。
5.根据权利要求1所述的抓取方法，其特征在于，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为规则时，根据所述物体属性集合数据，获取所述目标物体的尺寸数据；
通过深度相机获取所述目标物体的深度信息数据；
根据所述尺寸数据和所述深度信息数据，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
6.根据权利要求1所述的抓取方法，其特征在于，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：
根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；
当所述形状数据为不规则时，调用所述点云深度学习模型匹配所述目标物体，得到匹配结果；
根据所述匹配结果，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；
根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。
7.根据权利要求1-6中任一项所述的抓取方法，其特征在于，还包括对抓取到指定位置的目标物体进行检测，具体包括：
通过深度相机和所述2D深度学习模型检测所述目标物体。
8.一种基于深度学习模型的抓取装置，配合权利要求1所述基于深度学习模型的抓取方法，以实现夹持器抓取目标物体，其特征在于，包括：
数据模块，用于建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；
训练模块，用于根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；
识别模块，用于通过所述2D深度学习模型确定待抓取的目标物体；
计算模块，用于根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；
抓取模块，用于根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置；
抓取模块用于根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置，具体用于：
根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；
根据所述属性集合数据，确定所述目标物体的刚度数据；
当所述刚度数据为刚体时，获取夹持器抓取所述目标物体时的夹持反馈数据；
当所述夹持反馈数据达到预设值时，将抓取的所述目标物体放置在指定位置；
其中，所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据达到所述压力阈值、实际夹持开合尺寸数据符合所述开合尺寸数据范围中的一项；
或当所述刚度数据为软体时，获取夹持器抓取所述目标物体时的夹持压力数据；
利用深度相机识别夹持器上的夹持物，得到识别结果；
当所述夹持压力数据达到所述压力阈值，同时所述识别结果符合预设条件时，将抓取的所述目标物体放置在指定位置；
其中，所述预设条件为深度相机识别到夹持器上存在物体。
CN202110295688.0A 2021-03-19 2021-03-19 基于深度学习模型的抓取方法及装置 Active CN112884825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295688.0A CN112884825B (zh) 2021-03-19 2021-03-19 基于深度学习模型的抓取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295688.0A CN112884825B (zh) 2021-03-19 2021-03-19 基于深度学习模型的抓取方法及装置

Publications (2)

Publication Number Publication Date
CN112884825A CN112884825A (zh) 2021-06-01
CN112884825B true CN112884825B (zh) 2022-11-04

Family

ID=76041445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295688.0A Active CN112884825B (zh) 2021-03-19 2021-03-19 基于深度学习模型的抓取方法及装置

Country Status (1)

Country Link
CN (1) CN112884825B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114012722B (zh) * 2021-11-01 2023-05-30 苏州科德软体电路板有限公司 一种基于深度学习和边缘检测的机械臂抓取目标方法
CN115510727B (zh) * 2022-11-15 2023-03-24 佛山科学技术学院 一种抓取机构稳定抓持力阈值计算及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555901A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN110450153A (zh) * 2019-07-08 2019-11-15 清华大学 一种基于深度强化学习的机械臂物品主动拾取方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111590611A (zh) * 2020-05-25 2020-08-28 北京具身智能科技有限公司 一种基于多模态主动感知的物品分类回收方法
WO2020190166A1 (ru) * 2019-03-21 2020-09-24 Публичное Акционерное Общество "Сбербанк России" Способ и система захвата объекта с помощью роботизированного устройства
CN112223338A (zh) * 2020-09-25 2021-01-15 陕西伟景机器人科技有限公司 一种机器人灵巧手手指控制方法及系统
CN112405570A (zh) * 2019-08-21 2021-02-26 牧今科技 用于夹持和保持物体的机器人多夹持器组件和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555901A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
WO2020190166A1 (ru) * 2019-03-21 2020-09-24 Публичное Акционерное Общество "Сбербанк России" Способ и система захвата объекта с помощью роботизированного устройства
CN110450153A (zh) * 2019-07-08 2019-11-15 清华大学 一种基于深度强化学习的机械臂物品主动拾取方法
CN112405570A (zh) * 2019-08-21 2021-02-26 牧今科技 用于夹持和保持物体的机器人多夹持器组件和方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111590611A (zh) * 2020-05-25 2020-08-28 北京具身智能科技有限公司 一种基于多模态主动感知的物品分类回收方法
CN112223338A (zh) * 2020-09-25 2021-01-15 陕西伟景机器人科技有限公司 一种机器人灵巧手手指控制方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-World, Real-Time Robotic Grasping with Convolutional Neural Networks;Joe Watson等;《Lecture Notes in Computer Science》;20170731;全文 *
基于深度卷积网络的多目标动态三维抓取位姿检测方法;杨傲雷等;《仪器仪表学报》;20191215(第12期);全文 *

Also Published As

Publication number Publication date
CN112884825A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112884825B (zh) 基于深度学习模型的抓取方法及装置
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN112906797B (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
CN111590611B (zh) 一种基于多模态主动感知的物品分类回收方法
JP6016716B2 (ja) ビンピッキング性能評価装置及び方法
KR102043898B1 (ko) 물류 센터의 피킹 자동화 시스템 및 이를 이용한 피킹 자동화 방법
FR2898824A1 (fr) Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
CN110605711B (zh) 一种控制协作机器人抓取物体的方法、装置及系统
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
JP7171294B2 (ja) 情報処理装置、情報処理方法及びプログラム
Lin et al. Vision based object grasping of industrial manipulator
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN116984269A (zh) 一种基于图像识别的煤矸石抓取方法及系统
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
US20230150142A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
CN115958605A (zh) 单目红外热成像视觉机械手抓取物体姿态估计装置及方法
Phyu et al. Verification of recognition performance of cloth handling robot with photo-model-based matching
CN116529760A (zh) 抓取控制方法、装置、电子设备和存储介质
KR20170101754A (ko) 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant