CN109033920A - 一种可抓取目标的识别方法、装置及计算机可读存储介质 - Google Patents

一种可抓取目标的识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109033920A
CN109033920A CN201710428297.5A CN201710428297A CN109033920A CN 109033920 A CN109033920 A CN 109033920A CN 201710428297 A CN201710428297 A CN 201710428297A CN 109033920 A CN109033920 A CN 109033920A
Authority
CN
China
Prior art keywords
target
gripping
dimensional data
data points
grab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710428297.5A
Other languages
English (en)
Other versions
CN109033920B (zh
Inventor
张毅飞
王晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201710428297.5A priority Critical patent/CN109033920B/zh
Publication of CN109033920A publication Critical patent/CN109033920A/zh
Application granted granted Critical
Publication of CN109033920B publication Critical patent/CN109033920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种可抓取目标的识别方法、装置及计算机可读存储介质，结合灰度图像和深度图像，可以在不需要预先获取目标物品的模型的情况下确定可抓取目标。另外，本发明在计算可抓取性时考虑了目标的灰度特征，可以避免或减少一次抓取多个物品的情况。本发明在计算可抓取性时还考虑了平面的平坦性特征，有利于选择出平坦性表面作为可抓取位置，从而可以提高吸盘吸附的成功率。另外，本发明实施例还进一步通过碰撞检测处理，避免或减少了后续机械手抓取物品时的碰撞。

Description

一种可抓取目标的识别方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种应用于带有吸盘的机械手的可抓取目标的识别方法、装置及计算机可读存储介质。
背景技术
机器人抓取物品的一种抓取方案是利用照相机拍摄散乱堆积的目标物品得到二维图像、利用三维测定机测定散乱堆积的目标物品得到三维点集合，使用预先获得的目标物品的三维模型图形进行匹配，识别图像中的目标物品，确定目标物品的位置，进而利用机械手进行抓取。针对不同的机械手，可能需要不同的抓取姿势，因此在确定目标物品位置时，还需要进一步确定适合该机械手抓取的抓取位置点。
上述抓取方案需要预先按照目标物品的每个品种制作三维模型图形，从而需要劳力和时间。尤其，在目标物品为多品种的情况下，需要制作品种数量的模型图形，从而需要大量的劳力和时间。另外，在不定形的目标物品的情况下，上述方案则因为无法预先制作模型图形导致不能使用。并且，在物品散乱堆积的状态下，物品之间通常相互重叠堆放，现有技术的抓取方案通常难以区分出相互紧邻或重叠的物品，容易在抓取时一次抓取多个物品，导致抓取失败。
因此，亟需一种能够不依赖物品模型且能够区分出相互重叠物品的抓取方案。
发明内容
本发明实施例要解决的技术问题是提供一种可抓取目标的识别方法、装置及计算机可读存储介质，不依赖物品模型即可实现确定可抓取目标，且能够区分出相互紧邻或重叠物品，避免一次抓取多个物品。
为解决上述技术问题，本发明实施例提供的可抓取目标的识别方法，应用于采用吸盘吸附物体的机械手，所述物品抓取方法包括：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的欧式距离聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
进一步的，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
进一步的，所述根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性的步骤，包括：
根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点；
计算所述邻域内三维数据点的空间密度，得到空间密度参数D，以及，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F；
根据当前三维数据点的灰度特征参数、空间密度参数和平坦性特征参数，计算当前三维数据点的可抓取性。
进一步的，所述对所述可抓取性图进行三维空间的欧式距离聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标的步骤，包括：
从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图；
对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果；
在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
进一步的，在获得候选可抓取目标之后，所述方法还包括：
对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
进一步的，对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标的步骤，包括：
基于目标区域的背景信息和前景信息，重构目标区域的三维场景；
对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标；
根据剩余的候选可抓取目标，确定可抓取目标。
本发明实施例还提供了一种可抓取目标的识别装置，应用于采用吸盘吸附物体的机械手，所述识别装置包括：
图像处理单元，用于获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
抓取性分析单元，用于遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
聚类单元，用于对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
进一步的，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
进一步的，所述抓取性分析单元包括：
参数确定单元，用于根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点；计算所述邻域内三维数据点的空间密度，得到空间密度参数D，以及，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F；
可抓取性计算单元，用于根据当前三维数据点的灰度特征参数、空间密度参数和平坦性特征参数，计算当前三维数据点的可抓取性。
进一步的，所述聚类单元包括：
数据点筛选单元，用于从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图；
聚类分析单元，用于对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果；
结果输出单元，用于在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
进一步的，所述的识别装置，还包括：
碰撞检测单元，用于对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
进一步的，所述碰撞检测单元包括：
场景重构单元，用于基于目标区域的背景信息和前景信息，重构目标区域的三维场景；
目标删除单元，用于对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标；
目标确定单元，用于根据剩余的候选可抓取目标，确定可抓取目标。
本发明实施例还提供了一种物品抓取设备，包括有采用吸盘吸附物体的机械手，还包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标
与现有技术相比，本发明实施例提供的一种可抓取目标的识别方法、装置及计算机可读存储介质，结合灰度图像和深度图像，可以在不需要预先获取目标物品的模型的情况下确定可抓取目标。另外，本发明实施例在计算可抓取性时考虑了目标的灰度特征，可以避免或减少一次抓取多个物品的情况。本发明实施例在计算可抓取性时还考虑了平面的平坦性特征，有利于选择出平坦性表面作为可抓取位置，从而可以提高吸盘吸附的成功率。另外，本发明实施例还进一步通过碰撞检测处理，避免或减少了后续机械手抓取物品时的碰撞。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1～2为本发明实施例采用的机械手的一种结构示意图；
图3为本发明实施例提供的可抓取目标的识别方法的一种流程示意图；
图4为本发明实施例中可抓取性计算的流程示意图；
图5为本发明实施例中聚类处理的流程示意图；
图6为本发明实施例提供的可抓取目标的识别方法的另一流程示意图；
图7为本发明实施例中对候选可抓取目标进行碰撞检测的流程示意图；
图8为本发明实施例提供的一种物品抓取流程的示意图；
图9为本发明实施例提供的一种可抓取目标的识别装置的结构示意图；
图10为本发明实施例提供的另一可抓取目标的识别装置的结构示意图；
图11为本发明实施例提供的又一可抓取目标的识别装置的结构示意图；
图12为本发明实施例提供的物品抓取设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明实施例提供了一种可抓取目标的识别方法，可以利用二维和三维(2D&3D)传感器和机械手实现抓取散乱堆积物品。本发明实施例内涉及的识别场景可以是散乱堆积的无表面纹理的任意物品。本发明实施例涉及的机械手可以是指利用单个吸盘吸附在物品表面上，利用真空压力等方式实现物品抓取的机械手。
图1～2给出了本发明实施例采用的机械手的一种结构示意图，其中图1为该机械手的前视图，该机械手长度为L，且该机械手的末端为一半径为R的吸盘。图2为该机械手的仰视图，可以看出其吸盘的半径为R。
本发明实施例的物品抓取方法是基于灰度数据、深度数据和机械手模型实现的。具体的，基于局部邻域内三维点计算识别场景中每个位置的可抓取性，包括可抓取性值和可抓取方向。在一些实施例中，可以采用表面平坦性参数来描述局部邻域内三维点的弯曲程度，同时利用灰度特征处理不同物品相互紧靠的情况，如果机械手处于多个不同物品相互毗邻的位置，则判定该处不可抓取。
请参照图3，本发明实施例提供的可抓取目标的识别方法，应用于采用吸盘吸附物体的机械手，如图3所示，所述可抓取目标的识别方法包括：
步骤31，获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征。
这里，目标区域是堆放有目标物品的区域。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状和空间信息。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度图像是物体的三维表示形式，一般通过3D传感器获取，例如通过立体相机或者激光相机获取。本发明实施例中从深度图像中提取前景数据(这里称之为前景深度数据)，具体可以采用各种前景提取算法进行提取，去除深度图像中的背景数据，得到前景数据。以内部堆放有多个目标物品的某种容器为例，背景数据通常是指容器及除目标物品以外的其他所有物体的深度数据，通过提取前景数据，可以去除容器等背景部分的深度数据。
灰度图像则可以通过2D传感器采集得到。本发明实施例的深度图像和灰度图像具有关联关系，即同一位置点可以根据位置点坐标，确定该位置点在深度图像中对应的像素，以及在灰度图像中的对应像素。灰度特征是基于目标区域的灰度图像数据提取的，本发明实施例中所述灰度特征可以包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。在本发明实施例中，灰度特征用来处理不同物品相互叠放或紧靠在一起的情况，以防止机械手一次抓取到多个靠在一起的物品。
步骤32，遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配。
这里，首先需要根据机械手的吸盘尺寸规格，确定与该吸盘相匹配的一个邻域空间。通常，该邻域空间是三维空间。以图2所示的圆形吸盘为例，邻域空间可以是当前三维数据点为圆心的一个球形空间，该球形空间的半径是与吸盘半径相匹配，具体可以等于吸盘半径，也可以稍大于吸盘半径(例如，是吸盘半径的1.2倍等)，以便于抓取。
针对前景深度数据中的每一个三维数据点，在步骤32中分别计算该三维数据点的可抓取性及可抓取方向，从而获得由三维数据点的可抓取性和可抓取方向构成的可抓取性图，所述可抓取性图包括多个三维数据点，每个三维数据点用该数据点的可抓取性和可抓取方向来表示。
具体的，作为一种实现方式，如图4所示，可抓取性可以按照以下步骤进行计算：
步骤321，根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点。
这里，灰度特征是用来处理不同物体紧靠在一起的情况，以防止机械手一次抓取到多个靠在一起的物体。利用灰度特征检验邻域内所有的三维点，判断邻域内所有的三维数据点是否落在灰度特征点上，如果邻域内任意一个或多个三维点在灰度特征点上，则置I＝0；如果邻域内所有的三维点都不在灰度特征点上，则置灰度特征参数I＝1。
步骤322，计算所述邻域内三维数据点的空间密度，得到空间密度参数D。
这里，空间密度参数D为邻域空间内三维数据点(深度数据点)的空间密度，可以用数据点数量/邻域空间体积的比值来表示。通常邻域空间体积是相对固定的，因此也可以直接采用数据点数量来表示。
步骤323，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F。
这里，平坦性特征参数F是描述邻域内三维点的弯曲程度的参数，该参数用来区分平坦的表面和弯曲的表面。例如可以用以下几种方式计算平坦性参数F。
方式1：
平坦性特征参数F可以通过基于邻域内三维数据点的主成分分析(PCA，PrincipalComponent Analysis)方法来计算。对于位于同一个三维平面上的三维点，PCA结果中的最小的主成分特征接近于0；对于不是位于同一个三维平面上的三维点，PCA结果中所有的主成分特征都大于0。因此平坦性特征参数F可以通过PCA的结果来估计，如以下公式所示：
上式(1)中，C0是PCA结果中最小的主成分特征，C2是PCA结果中最大的主成分特征。
方式2：
平坦性参数F可以通过局部平面估计的方法来计算，例如如下式所示：
上式(2)中，di是邻域内第i个三维数据点到估计平面的距离，这里假设邻域内共有n个三维数据点。平面估计可参考随机一致性采样(RANSAC，Random Sample Consensus)算法，最小二乘法(Least-Square)和霍夫变换(Hough Transforms)等算法计算得到，此处不再赘述。
步骤324，根据当前三维数据点的灰度特征参数I、空间密度参数D和平坦性特征参数F，计算当前三维数据点的可抓取性。
在步骤324中，可以先根据当前三维数据点的空间密度参数D和平坦性特征参数F，计算当前三维数据点的可抓取性的初始值，然后，利用当前三维数据点的灰度特征参数I，对可抓取性的初始值进行修正，得到最终的可抓取性。
在计算当前三维数据点的可抓取性的初始值，所述初始值分别与空间密度参数D和平坦性特征参数F均为正相关，即，空间密度参数反映的空间密度越大，所述可抓取性的初始值也就越大；平坦性特征参数反映的平坦性越平坦，所述可抓取性的初始值也就越大。
例如，可抓取性的初始值A0的一种计算公式可以为：A0＝(Cd·D+Cf·F)，这里，Cd为空间密度参数的加权系数，Cf为平坦性特征参数的加权系数。Cd和Cf可以根据具体应用场景进行设置，例如，在希望优先考虑空间数据点数量时，可以将Cd设置为大于Cf；而在希望优先考虑平面平坦性时，可以将Cd设置为小于Cf
在利用当前三维数据点的灰度特征参数，对可抓取性的初始值进行修正时，通常可以将灰度特征参数与可抓取性的初始值相乘，因此，可抓取性A的一种计算公式可以表示为：A＝I·A0＝I·(Cd·D+Cf·F)。
需要说明的是，以上提供可抓取性的计算公式是本发明实施例可以采用的其中一种公式，并不用于限制本发明的具体实现，本领域技术人员还可以对以上公式进行适当变形和调整。例如，可抓取性的初始值A0的计算公式可以有多种不同形式，例如A0＝(Cd·f(D)+Cf·f(F)，其中，f(D)是空间密度参数D的一个预设函数，且f(D)与空间密度参数D正相关；f(F)是平坦性特征参数F的一个预设函数，且f(F)与平坦性特征参数F正相关。
步骤33，对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
这里，可以对可抓取性图中的三维数据点进行三维空间的聚类处理，获得至少一个类，根据所获得的类，确定出候选可抓取目标。请参照图5，聚类处理的步骤可以包括：
步骤331，从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图。
步骤332，对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果。例如，这里可以进行欧式聚类的聚类处理。
步骤333，在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
这里，可抓取方向可以通过邻域内三维数据点的三维位置来估计，例如可以通过以下方式估计可抓取性方向：
方式1：通过基于邻域内所有三维数据点的主成分分析(PCA)方法估计可抓取性方向，例如，可抓取性方向可以设为最小的主成分特征对应特征向量的方向。
方式2：可以通过局部平面估计的方法来计算可抓取性方向。可抓取性方向可以设为估计的局部平面的法向量方向。
在对类内所有三维数据点的可抓取性值进行加权平均计算时，各个三维数据点的权重可以相同，也可以不同，例如可以根据三维数据点与类几何中心的距离设置权重值，例如权重值与该距离反相关，即距离越大，权重值越小。
通过以上步骤，本发明实施例不依赖物品模型即可确定候选可抓取目标，机械手可以根据所述候选可抓取目标的可抓取位置和可抓取方向，对候选可抓取目标进行抓取。以上实施例中，在计算可抓取性图时考虑了灰度特征，剔除了本身是灰度特征点的三维数据点，从而本发明实施例可以区分出相互紧邻或重叠的物品，避免了一次抓取多个物品。以上实施例在计算可抓取性时还考虑了平面的平坦性特征，有利于选择出平坦性表面作为可抓取位置，从而可以提高吸盘吸附的成功率。
在一些场景中，例如，目标物品盛放在某个容器(如箱子)内，机械手在进行物品抓取时可能会与容器本身或其他物品发生碰撞。为了减少或避免碰撞，本发明实施例还提供了另一种可抓取目标的识别方法，在确定了候选可抓取目标后进一步进行碰撞检测，删除了具有碰撞可能的候选可抓取目标，如图6所示，该可抓取目标的识别方法包括：
步骤61，获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征。
步骤62，遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配。
步骤63，对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
以上步骤61～63的实现可以参考上述步骤31～33，为节约篇幅，此处不再赘述。
步骤64，对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
这里，请参照图7，上述步骤64具体可以包括：
步骤641，基于目标区域的背景信息和前景信息，重构目标区域的三维场景。
步骤642，对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标。
这里，基于机械手的半径和长度，选取待检测区域进行碰撞检测。
步骤643，根据剩余的候选可抓取目标，确定可抓取目标。
本发明以上实施例中，在重合的三维数据点的数目超过第二门限时，认为机械手在抓取该候选可抓取目标时发生碰撞的可能性较大，因此将该候选可抓取目标删除，仅包括重合的三维数据点的数目未超过所述第二门限的候选可抓取目标，从而可以避免或减少后续抓取操作时发生碰撞的可能性。
接下来提供一个物品抓取流程，在该物品抓取流程中采用了本发明以上实施例的可抓取目标的识别方法，以获得可抓取目标。
请参照图8，本发明实施例提供的一种物品抓取流程，用于抓取容器内的目标物品，该流程包括：
步骤81，采集待识别场景内的灰度数据和深度数据。
这里，灰度数据可以通过2D传感器获取；深度数据通过3D传感器获取，包括立体相机、激光相机等等。
步骤82，基于深度数据、灰度数据和机械手模型，检测可抓取目标，得到可抓取目标的检测结果，该检测结果可以包括可抓取目标的可抓取位置、可抓取方向和可抓取性值。
这里，可抓取目标检测是该流程的关键步骤。该步骤利用深度数据、灰度数据和机械手模型检测合适的、可抓取的位置，同时估计可抓取方向和可抓取性值，具体可以采用以上实施例提供的可抓取目标的识别方法所提供的实现方式。
步骤83，根据不同的检测结果，机械手进行不同的操作。
这里，依据检测结果输出不同的检测状态，指导机械手进行不同的操作。如果检测到若干可抓取目标，则可以输出STATE_OK，进入步骤84；如果所有物体都被抓取完了，则可以输出STATE_EMPTY并结束流程；如果仍有剩余物体但是没有检测到合适的可抓取目标，则可以输出STATE_SHAKE，进入步骤85。
步骤84，基于检测结果，抓取可抓取目标。
这里，如果检测结果状态为STATE_OK，机械手则根据检测结果抓取目标，可以抓取一个目标后返回步骤81并重新进行新的识别过程，也可以在抓取完所有目标后再返回步骤81并重新进行新的识别过程。
步骤85，通过晃动容器等操作，重置待识别场景内物体的位置。
这里，如果检测结果状态为STATE_SHAKE，则表示没有检测到合适的可抓取目标，此时可以通过晃动容器等操作重置待识别物体的位置，然后回到步骤81重新进行新的识别过程。
以上通过若干实施例说明了本发明实施例的可抓取目标的识别方法，可以看出，本发明实施例结合灰度图像和深度图像，可以在不需要预先获取目标物品的模型的情况下确定可抓取目标。另外，本发明实施例在计算可抓取性时考虑了目标的灰度特征，可以避免或减少一次抓取多个物品的情况。本发明实施例在计算可抓取性时还考虑了平面的平坦性特征，有利于选择出平坦性表面作为可抓取位置，从而可以提高吸盘吸附的成功率。另外，本发明实施例还进一步通过碰撞检测处理，避免或减少了后续机械手抓取物品时的碰撞。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个方法实施例中的可抓取目标的识别方法中的步骤。例如，使得所述处理器执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标
基于以上实施例提供的方法，本发明实施例还提供了一种可抓取目标的识别装置，可以为采用吸盘吸附物体的机械手提供可抓取目标，如图9所示，所述可抓取目标的识别装置90包括：
图像处理单元91，用于获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征。
这里，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
抓取性分析单元92，用于遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配。
聚类单元93，用于对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
请参照图10，本发明实施例提供的另一种可抓取目标的识别装置100，包括：
图像处理单元101，用于获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征。
这里，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
抓取性分析单元102，用于遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配。
聚类单元103，用于对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
其中，所述抓取性分析单元102包括：
参数确定单元1021，用于根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点；计算所述邻域内三维数据点的空间密度，得到空间密度参数D，以及，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F；
可抓取性计算单元1022，用于根据当前三维数据点的灰度特征参数、空间密度参数和平坦性特征参数，计算当前三维数据点的可抓取性。例如，作为一种可选的实现方式，可以根据公式A＝I·(Cd·D+Cf·F)，计算当前三维数据点的可抓取性A，其中Cd为空间密度参数的加权系数，Cf为平坦性特征参数的加权系数。
所述聚类单元103包括：
数据点筛选单元1031，用于从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图；
聚类分析单元1032，用于对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果；
结果输出单元1033，用于在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
请参照图11，本发明实施例提供的又一种可抓取目标的识别装置110，包括：
图像处理单元111，用于获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征。
这里，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
抓取性分析单元112，用于遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配。
聚类单元113，用于对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
碰撞检测单元114，用于对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
其中，所述碰撞检测单元114包括：
场景重构单元1141，用于基于目标区域的背景信息和前景信息，重构目标区域的三维场景。
目标删除单元1142，用于对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标。
目标确定单元1143，用于根据剩余的候选可抓取目标，确定可抓取目标。
最后，本发明实施例还提供了一种物品抓取设备，该设备包括有采用吸盘吸附物体的机械手(图12中未示出)，如图12所示，该物品抓取设备120包括：
处理器122；和
存储器124，在所述存储器124中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器122执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
进一步地，如图12所示，该物品抓取设备120还包括网络接口121、输入设备123、硬盘125、和显示设备126。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器122代表的一个或者多个中央处理器(CPU)，以及由存储器124代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口121，可以连接至网络(如因特网、局域网等)，从网络中接收操作人员输入的控制命令，执行对应的抓取操作，并可以将抓取操作的历史记录保存在硬盘125中。
所述输入设备123，可以接收操作人员输入的各种指令，并发送给处理器122以供执行。所述输入设备123可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备126，可以将处理器122执行指令获得的结果进行显示，例如显示当前已抓取目标的数量等。
所述存储器124，用于存储操作系统运行所必须的程序和数据，以及处理器122计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器124可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器34旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器124存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1241和应用程序1242。
其中，操作系统1241，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1242，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1242中。
本发明上述实施例揭示的方法可以应用于处理器122中，或者由处理器122实现。处理器122可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器122中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器122可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器124，处理器122读取存储器124中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器122可以根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点；计算所述邻域内三维数据点的空间密度，得到空间密度参数D，以及，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F；根据当前三维数据点的灰度特征参数、空间密度参数和平坦性特征参数，计算当前三维数据点的可抓取性。具体的，可以根据公式A＝I·(Cd·D+Cf·F)，计算当前三维数据点的可抓取性A，其中Cd为空间密度参数的加权系数，Cf为平坦性特征参数的加权系数。
具体地，处理器122可以从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图；对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果；在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
具体地，处理器122可以在获得候选可抓取目标之后，对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
具体地，处理器122可以基于目标区域的背景信息和前景信息，重构目标区域的三维场景；对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标；根据剩余的候选可抓取目标，确定可抓取目标。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种可抓取目标的识别方法，应用于采用吸盘吸附物体的机械手，其特征在于，所述方法包括：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
2.根据权利要求1所述的方法，其特征在于，所述灰度特征包括灰度图像的边缘特征、梯度特征和灰度不连续特征中的至少一者。
3.根据权利要求1所述的方法，其特征在于，所述根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性的步骤，包括：
根据所述邻域内是否存在灰度特征点，设置灰度特征参数I，其中，在存在所述灰度特征点时，灰度特征参数I取值为0，否则，取值为1，所述灰度特征点为灰度特征超出对应阈值的三维数据点；
计算所述邻域内三维数据点的空间密度，得到空间密度参数D，以及，计算邻域内所有三维数据点构成的局部表面的弯曲程度，得到平坦性特征参数F；
根据当前三维数据点的灰度特征参数、空间密度参数和平坦性特征参数，计算当前三维数据点的可抓取性。
4.根据权利要求1所述的方法，其特征在于，所述对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标的步骤，包括：
从所述可抓取性图中删除可抓取性值小于第一门限的三维数据点，得到更新后的可抓取性图；
对更新后的可抓取性图中的三维数据点进行三维空间的聚类处理，获得包括至少一个类的聚类结果；
在聚类结果的每个类中提取一个候选可抓取目标，将该类中最接近类几何中心的三维数据点作为候选可抓取目标的可抓取位置，将该可抓取位置对应的可抓取方向作为候选可抓取目标的可抓取方向，将该类内所有三维数据点的可抓取性值的加权平均值作为该候选可抓取目标的可抓取性值。
5.根据权利要求1所述的方法，其特征在于，在获得候选可抓取目标之后，所述方法还包括：
对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标。
6.根据权利要求5所述的方法，其特征在于，对所述候选可抓取目标进行碰撞检测，根据碰撞检测结果，删除发生碰撞的候选可抓取目标，得到可抓取目标的步骤，包括：
基于目标区域的背景信息和前景信息，重构目标区域的三维场景；
对于每一个候选可抓取目标，根据该候选可抓取目标的可抓取方向以及机械手的三维模型，在目标区域的三维场景中重构机械手的三维数据；计算所述目标区域的三维场景与机械手的三维数据中重合的三维数据点的数目，并在重合的三维数据点的数目超过第二门限时，删除该候选可抓取目标；
根据剩余的候选可抓取目标，确定可抓取目标。
7.一种可抓取目标的识别装置，应用于采用吸盘吸附物体的机械手，其特征在于，所述装置包括：
图像处理单元，用于获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
抓取性分析单元，用于遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
聚类单元，用于对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
8.一种物品抓取设备，包括有采用吸盘吸附物体的机械手，其特征在于，还包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取目标区域的深度图像和灰度图像，从所述深度图像中提取前景深度数据，从所述灰度图像中提取灰度特征；
遍历所述前景深度数据中的三维数据点，根据当前三维数据点的邻域内的三维数据点的空间密度、表面平坦性和灰度特征，计算当前三维数据点的可抓取性，以及根据当前三维数据点的位置计算可抓取方向，获得前景深度数据的三维数据点的可抓取性和可抓取方向的可抓取性图，其中，所述邻域的面积与形状与所述吸盘相匹配；
对所述可抓取性图进行三维空间的聚类处理，并根据聚类处理得到的聚类结果，确定候选可抓取目标。
CN201710428297.5A 2017-06-08 2017-06-08 一种可抓取目标的识别方法、装置及计算机可读存储介质 Active CN109033920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710428297.5A CN109033920B (zh) 2017-06-08 2017-06-08 一种可抓取目标的识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710428297.5A CN109033920B (zh) 2017-06-08 2017-06-08 一种可抓取目标的识别方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109033920A true CN109033920A (zh) 2018-12-18
CN109033920B CN109033920B (zh) 2021-10-08

Family

ID=64629199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710428297.5A Active CN109033920B (zh) 2017-06-08 2017-06-08 一种可抓取目标的识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109033920B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN111687057A (zh) * 2019-03-15 2020-09-22 深圳蓝胖子机器人有限公司 一种物品分拣方法、分拣系统、分拣设备及可读存储介质
US20210086362A1 (en) * 2017-11-14 2021-03-25 Fetch Robotics, Inc. Method and System for Selecting a Preferred Robotic Grasp of an Object-of-Interest Using Pairwise Ranking
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN112883881A (zh) * 2021-02-25 2021-06-01 中国农业大学 一种条状农产品无序分拣方法及装置
CN113191174A (zh) * 2020-01-14 2021-07-30 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264675B1 (en) * 2011-05-12 2012-09-11 Georgia Tech Research Corporation Polariscope stress measurement tool and method of use
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264675B1 (en) * 2011-05-12 2012-09-11 Georgia Tech Research Corporation Polariscope stress measurement tool and method of use
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C.JOOCHIM 等: "Development of a 3D mapping using 2D/3D sensors for mobile robot locomotion", 《2008 IEEE INTERNATIONAL CONFERENCE ON TECHNOLOGIES FOR PRACTICAL ROBOT APPLICATIONS》 *
林川 等: "多目标背景下双目视觉深度信息优化研究及其实现", 《计算机系统应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210086362A1 (en) * 2017-11-14 2021-03-25 Fetch Robotics, Inc. Method and System for Selecting a Preferred Robotic Grasp of an Object-of-Interest Using Pairwise Ranking
US11787059B2 (en) * 2017-11-14 2023-10-17 Zebra Technologies Corporation Method and system for selecting a preferred robotic grasp of an object-of-interest using pairwise ranking
CN111687057A (zh) * 2019-03-15 2020-09-22 深圳蓝胖子机器人有限公司 一种物品分拣方法、分拣系统、分拣设备及可读存储介质
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN113191174A (zh) * 2020-01-14 2021-07-30 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质
CN113191174B (zh) * 2020-01-14 2024-04-09 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN112883881A (zh) * 2021-02-25 2021-06-01 中国农业大学 一种条状农产品无序分拣方法及装置
CN112883881B (zh) * 2021-02-25 2023-10-31 中国农业大学 一种条状农产品无序分拣方法及装置

Also Published As

Publication number Publication date
CN109033920B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN109033920A (zh) 一种可抓取目标的识别方法、装置及计算机可读存储介质
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
WO2022002039A1 (zh) 一种基于视觉地图的视觉定位方法、装置
Zhuang et al. Semantic part segmentation method based 3D object pose estimation with RGB-D images for bin-picking
EP3514724B1 (en) Depth map-based heuristic finger detection method
CN113361527B (zh) 多目标对象的识别定位方法及装置、电子设备、存储介质
WO2022040920A1 (zh) 一种基于数字孪生 ar 交互系统和方法
EP3204888A1 (en) Spatial pyramid pooling networks for image processing
Dzitsiuk et al. De-noising, stabilizing and completing 3D reconstructions on-the-go using plane priors
CN107045631A (zh) 人脸特征点检测方法、装置及设备
CN108537841A (zh) 一种机器人拾取的实现方法、装置及电子设备
US20220203547A1 (en) System and method for improving automated robotic picking via pick planning and interventional assistance
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JPWO2020176304A5 (zh)
Ali et al. Hardware/software co-design of a real-time kernel based tracking system
CN109359514A (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN113095106A (zh) 一种人体姿态估计方法、装置
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
CN108090496A (zh) 基于卷积神经网络的图像处理的方法和装置
EP4064207A1 (en) Generation of three-dimensional representation of object surface from structured point-cloud
Howard-Jenkins et al. Thinking outside the box: Generation of unconstrained 3d room layouts
Dupre et al. A 3D scene analysis framework and descriptors for risk evaluation
JP5978996B2 (ja) 物体領域抽出装置、方法、及び、プログラム
WO2021012523A1 (zh) 三维图像搜索方法、系统、计算机设备和存储介质
EP4374328A1 (en) Focused computer detection of objects in images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant