CN114029941A - 一种机器人抓取方法、装置、电子设备及计算机介质 - Google Patents

一种机器人抓取方法、装置、电子设备及计算机介质 Download PDF

Info

Publication number
CN114029941A
CN114029941A CN202111107739.9A CN202111107739A CN114029941A CN 114029941 A CN114029941 A CN 114029941A CN 202111107739 A CN202111107739 A CN 202111107739A CN 114029941 A CN114029941 A CN 114029941A
Authority
CN
China
Prior art keywords
grabbing
point cloud
configuration
cloud data
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111107739.9A
Other languages
English (en)
Other versions
CN114029941B (zh
Inventor
王鹏
李一鸣
沈晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111107739.9A priority Critical patent/CN114029941B/zh
Publication of CN114029941A publication Critical patent/CN114029941A/zh
Application granted granted Critical
Publication of CN114029941B publication Critical patent/CN114029941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种机器人抓取方法、装置、电子设备及计算机介质，包括：采集抓取对象所在场景的点云数据；将点云数据输入抓取检测模型中得到检测结果；根据检测结果得到抓取配置方案，并控制机器人按照抓取配置方案抓取抓取对象；其中，抓取检测模型基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。该方法用以解决现有技术中无法学习实例级抓取配置和抓取方案实时性差的缺陷，通过将抓取对象的点云数据输入基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到的抓取检测模型中，得到准确灵活的抓取方案。

Description

一种机器人抓取方法、装置、电子设备及计算机介质
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种机器人抓取方法、装置、电子设备及计算机介质。
背景技术
机械臂抓取是机器人重要的基础操作，在工业零部件的分拣、装配和服务型机器人等众多领域有着广泛的应用。目前，在工业零部件分拣任务中，大多数工厂仍然使用传统的机器人示教或者人工分拣方式，这使得灵活性和适应性受到较大的限制。基于此，以视觉作为输入结合深度网络学习，预测复杂场景下的物品的精准抓取位姿，成为当前的一个重要研究热点。
目前，传统基于彩色图片的平面抓取4-DoF检测方法，受限于其自上向下的抓取方式，较大的限制了抓取操作的自由度，因而抓取灵活性较差。而目前基于点云输入的6-DoF抓取位姿检测方法，针对复杂堆叠的抓取场景，具有几个潜在的缺点：1)无法学习实例级的抓取配置，而实例信息缺失导致模型无法进行目标驱动的抓取；2)依靠碰撞检测作为后处理模块来过滤无效的抓取，造成生成有效且可执行的抓取配置实时性较差，而实时性对于机器人自动生产效率是至关重要的。
发明内容
本发明提供一种机器人抓取方法、装置、电子设备及计算机介质，用以解决现有技术中无法学习实例级的抓取配置和抓取方案实时性差的缺陷，通过将抓取对象所在场景的点云数据输入基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到的抓取检测模型中，得到准确且灵活的抓取方案。
本发明提供一种机器人抓取方法，包括：
采集抓取对象所在场景的点云数据；
将所述点云数据输入抓取检测模型中，得到检测结果；
根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
根据所述的机器人抓取方法，所述将所述点云数据输入抓取检测模型中，得到检测结果，具体包括：
将所述点云数据输入所述抓取检测模型的特征提取网络层，得到所述点云数据中各个点的点云特征；
将所述点云特征输入所述抓取检测模型的并行检测网络层，得到所述点云数据中各个点的抓取配置信息、语义信息，以及碰撞信息；其中，具体包括：
将所述点云特征输入所述并行检测网络层的配置检测网络层，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置；
将所述点云特征和抓取配置输入所述并行检测网络层的碰撞检测网络层，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置；
将所述点云特征和过滤掉有碰撞的抓取配置后剩余的抓取配置输入所述并行检测网络层的语义分割网络层，所述语义分割网络层通过实例级分割由所述点云数据中区分出抓取对象信息，并将剩余的抓取配置以抓取对象信息为单位进行分组。
根据所述的机器人抓取方法，所述抓取配置包括抓取中心、抓取深度、抓取宽度、抓取置信度和旋转矩阵；
其中，所述抓取中心为抓取位置；所述旋转矩阵为抓取姿势。
根据所述的机器人抓取方法，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置，具体包括：
所述配置检测网络层基于所述点云特征将所述点云数据分类为可抓取点和不可抓取点的二分类向量后，利用可抓取点和不可抓取点的二分类向量获取所述抓取中心；
所述配置检测网络层基于所述点云特征为所述点云数据回归出所述抓取深度、抓取宽度和抓取置信度；
所述配置检测网络层基于所述点云特征为每个所述点云数据获取代表机器人夹具的接近方向和关闭方向的两个正交的单位向量，并通过所述单位向量得到所述旋转矩阵。
根据所述的机器人抓取方法，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置，具体包括：
所述碰撞检测网络层基于所述点云特征将抓取配置分类为是否存在潜在碰撞的二分类向量后，利用是否存在潜在碰撞的二分类向量将存在潜在碰撞风险的抓取配置在所述抓取配置中去除。
根据所述的机器人抓取方法，所述根据所述检测结果得到抓取配置方案，具体包括：
根据所述碰撞信息将所述抓取配置信息中存在碰撞风险的抓取配置去除，得到无碰撞抓取配置；
根据所述语义信息将所述无碰撞抓取配置以实例对象为单位进行分组；
以组为单位对所述无碰撞抓取配置进行非极大值抑制，得到所述抓取配置方案。
本发明还提供一种机器人抓取装置，包括：
数据采集单元，用于采集抓取对象所在场景的点云数据；
数据处理单元，用于将所述点云数据输入抓取检测模型中，得到检测结果；
抓取执行单元，用于根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述机器人抓取方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述机器人抓取方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述机器人抓取方法的步骤。
本发明提供的机器人抓取方法、装置、电子设备及计算机介质，通过将抓取对象所在场景的点云数据输入基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到的抓取检测模型中，去除掉了存在碰撞风险的抓取配置，并增强了抓取姿态配置的准确性，从而得到准确且灵活的抓取方案，以使机器人的抓取操作准确且高效。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的机器人抓取方法的流程示意图之一；
图2是本发明提供的机器人抓取方法的流程示意图之二；
图3是本发明提供的机器人抓取装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1和图2描述本发明的机器人抓取方法，如图1所示，该方法具体包括以下步骤：
101、采集抓取对象所在场景的点云数据。
需要说明的是，可以利用深度相机等视觉感知单元采集待抓取对象所在场景的视觉信息，并结合相机内外参数对视觉信息进行处理，恢复出该场景的点云数据，其中，采集的点云数据应至少包含几何位置、颜色和归一化几何位置等信息，从而保证所述抓取检测模型能够充分理解抓取对象的几何信息、纹理信息和语义信息，增强了预测的抓取配置方案的可行性和准确性。
102、将所述点云数据输入抓取检测模型中，得到检测结果。
需要说明的是，抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到，在点云数据输入抓取检测模型后，得到的检测结果必然是充分考虑实例语义分割和碰撞检测的。
103、根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象。
本发明实施例的机器人抓取方法首先通过采集抓取对象所在场景的点云数据，而后将点云数据输入抓取检测模型中，最后根据抓取检测模型的检测结果得到用于控制机器人抓取所述抓取对象的抓取配置方案。即通过将抓取对象所在场景的点云数据输入基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到的抓取检测模型中，去除掉了存在碰撞风险的抓取配置，并增强了抓取姿态配置的准确性，从而得到准确且灵活的抓取方案，以使机器人的抓取操作准确且高效。
在上述实施例的基础上，所述机器人抓取方法中，将所述点云数据输入抓取检测模型中，得到检测结果，还具体包括：
将所述点云数据输入所述抓取检测模型的特征提取网络层，得到所述点云数据中各个点的点云特征；
将所述点云特征输入所述抓取检测模型的并行检测网络层，得到所述点云数据中各个点的抓取配置信息、语义信息，以及碰撞信息；
同时，为了由抓取检测模型得到准确的抓取配置信息、语义信息以及碰撞信息，在本实施例中还具体包括：
将所述点云特征输入所述并行检测网络层的配置检测网络层，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置；
将所述点云特征和抓取配置输入所述并行检测网络层的碰撞检测网络层，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置；
将所述点云特征和过滤掉有碰撞的抓取配置后剩余的抓取配置输入所述并行检测网络层的语义分割网络层，所述语义分割网络层通过实例级分割由所述点云数据中区分出抓取对象信息，并将剩余的抓取配置以抓取对象信息为单位进行分组。
需要说明的是，抓取检测模型分为特征提取网络层和并行检测网络层两层，其中，特征提取网络层能够由点云数据中提取到各个点的点云特征，例如，采用3D PointNet++网络等，而并行检测网络层可以利用特征提取网络层得到的点云特征得到各个点的抓取配置信息、语义信息和碰撞信息。
在本发明实施例中，语义信息和碰撞信息分别有助于过滤无效的抓取配置和增强抓取姿态配置的准确性。
具体地，为了便于理解，如图2所示，通过一个实例来说明对于点云数据中抓取配置信息、语义信息，以及碰撞信息的提取，该实例中以N×(3+C)的点云为例，其中，N为抓取场景中点云的数量，C为每个点云除位置特征外的特征维度，则具体包括以下步骤：
201、获取N×(3+C)的点云数据；
202、经特征提取网络层的特征编码器和特征解码器得到点云特征后，进入后续并列步骤203-205；
203、将点云特征输入实例语义分割网络层，经全连接层，得到N×2个语义分割信息和N×16个实例分割信息；
204、将点云特征输入抓取配置检测网络层，经全连接层，得到N×11个抓取配置信息；
205、将点云特征输入碰撞检测网络层，经全连接层，得到N×2个碰撞检测信息。
需要说明的是，并行检测网络层进一步细分为三层，即配置检测网络层、碰撞检测网络层和语义分割网络层，通过配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置，根据点云特征，碰撞检测网络层能够检测各个点的抓取配置是否存在碰撞风险，然后将存在碰撞风险的抓取配置在所有的抓取配置中去除，从而增强了抓取配置的可行性，而语义分割网络层对所述点云数据进行实例级分割来区分待抓取对象，与抓取配置检测结果相结合，可以将生成的抓取配置以实例对象为单位进行分组，来指导机器人完成驱动目标驱动的抓取。
进一步地，所述语义分割网络层对点云数据进行实例级分割来区分待抓取对象的具体方法为：根据属于同一个实例的点云具有相似特征，而不同实例的点云特征差距明显，将对象实例分割分解为嵌入和聚类任务。在训练阶段，使用二类交叉熵损失
Figure BDA0003273126710000085
监督语义标签，对背景和前景进行分类。使用实例损失通过判别式损失函数Lins进行优化，如公式1所示：
Lins＝Lvar+Ldist+Lreg
Figure BDA0003273126710000081
Figure BDA0003273126710000082
Figure BDA0003273126710000083
其中，C是指待抓取场景中的对象数量，Nc是指物体c包含点云的数量，xi是指物体c包含点i的特征，μc是指物体c的特征中心，用下述公式2表示，||.||是指距离的平方，[x]+＝max(0,x)保证结果不小于0。δv和δd是指方差和距离的两个边界值。Lvar、Ldist、Lreg分别是指方差损失、距离损失和正则化损失。方差损失意味着将特征引向集群中心的集群内，而距离损失是为了增加不同集群中心之间的距离，正则化损失约束所有集群朝向原点。
Figure BDA0003273126710000084
为了由抓取检测模型得到更准确的抓取配置信息，在上述实施例的基础上，所述机器人抓取方法中，所述抓取配置包括抓取中心、抓取深度、抓取宽度、抓取置信度和旋转矩阵；
其中，所述抓取中心为抓取位置；所述旋转矩阵为抓取姿势。
需要说明的是，抓取配置g由抓取中心gt、抓取深度gd、抓取宽度gw、抓取置信度gs和旋转矩阵gR组成，抓取中心gt为机器人夹具的抓取位置、抓取宽度gw为夹具张开的宽度、抓取置信度gs和旋转矩阵gR为夹具抓取的姿势。
在本发明实施例中，通过抓取中心、抓取深度、抓取宽度等参数的获取，使抓取配置更为准确全面。
在上述实施例的基础上，所述机器人抓取方法中，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置，具体包括：
所述配置检测网络层基于所述点云特征将所述点云数据分类为可抓取点和不可抓取点的二分类向量后，利用可抓取点和不可抓取点的二分类向量获取所述抓取中心；
所述配置检测网络层基于所述点云特征为所述点云数据回归出所述抓取深度、抓取宽度和抓取置信度；
所述配置检测网络层基于所述点云特征为每个所述点云数据获取代表机器人夹具的接近方向和关闭方向的两个正交的单位向量，并通过所述单位向量得到所述旋转矩阵。
需要说明的是，为了获取更准确的抓取配置，在抓取模型的训练过程中，抓取中心gt的获取视为将点云分类为可抓取点和不可抓取点的二分类任务，并利用交叉熵损失函数优化。抓取深度gd、抓取宽度gw和抓取置信度gs的获取视为回归问题，并使用均方误差MSE损失函数优化，抓取中心gt和抓取深度gd共同决定抓取位置，无需直接回归3D抓取位置坐标，降低了网络学习的难度，增强了抓取位置预测的精度。旋转矩阵gR是非线性和不连续的，因而为了降低获取的难度，所以提出了一种基于向量的方法，具体的是，使用两个正交的单位向量分解旋转矩阵gR，因此，对于一个抓握g，旋转矩阵gR∈R3×3定义为：
Figure BDA0003273126710000101
其中，
Figure BDA0003273126710000102
是一个列向量，
Figure BDA0003273126710000103
是指夹具的接近方向，
Figure BDA0003273126710000104
是指夹具关闭方向。从而将旋转矩阵gR的获取问题简化为两个正交的单位向量的学习，很大程度上降低了获取难度。
更进一步地，在gR的获取阶段，将旋转损失Lrot分为偏移损失Loff、余弦损失Lcos和相关损失Lorth，分别约束位置、角度预测和正交性，如公式4所示：
Lrot＝Loff+Lcos+Lorth
Figure BDA0003273126710000105
Figure BDA0003273126710000106
Figure BDA0003273126710000107
其中,G是指预测的所有抓取配置集合，g是指集合G中的一个抓取配置，
Figure BDA0003273126710000108
和
Figure BDA0003273126710000109
分别是指真实值和预测值。
在上述实施例的基础上，所述机器人抓取方法中，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置，具体包括：
所述碰撞检测网络层基于所述点云特征将抓取配置分类为是否存在潜在碰撞的二分类向量后，利用是否存在潜在碰撞的二分类向量将存在潜在碰撞风险的抓取配置在所述抓取配置中去除。
需要说明的是，所述碰撞检测网络层用于判断抓取配置的潜在碰撞，与抓取配置网络层共同生成有效且可执行的抓取配置，在检测潜在碰撞时，可以将碰撞检测简化为两分类问题。为了保证碰撞检测的准确度，在所述碰撞检测模型中碰撞检测网络层的训练阶段，采集所有的无碰撞正样本和有碰撞负样本，使用两类交叉熵损失
Figure BDA0003273126710000111
优化,如公式5所示：
Figure BDA0003273126710000112
其中，ci是指碰撞标签，
Figure BDA0003273126710000113
是指预测的点i的碰撞概率，二进制碰撞标签由成熟的碰撞检测模块根据抓取配置生成。
在上述实施例的基础上，所述机器人抓取方法中，所述根据所述检测结果得到抓取配置方案，具体包括：
根据所述碰撞信息将所述抓取配置信息中存在碰撞风险的抓取配置去除，得到无碰撞抓取配置；
根据所述语义信息将所述无碰撞抓取配置以实例对象为单位进行分组；
以组为单位对所述无碰撞抓取配置进行非极大值抑制，得到所述抓取配置方案。
需要说明的是，在本发明的实施例中，根据所述检测结果基于实例的Pose-NMS算法得到抓取配置方案，即首先将生成的抓取配置与碰撞信息结合，得到无碰撞抓取配置，其次将无碰撞抓取配置与实例语义分割结果结合，以实例对象为单位来分组无碰撞抓取配置，最后，以每组无碰撞抓取配置为单位，进行非极大值抑制，得到最终准确且有效的抓取配置用于机器人抓取。
下面结合图3对本发明提供的一种机器人抓取装置进行描述，下文描述的机器人抓取装置与上文描述的机器人抓取方法可相互对应参照。
如图3所示，该装置包括数据采集单元310、数据处理单元320和抓取执行单元330；其中，
数据采集单元310用于采集抓取对象所在场景的点云数据；
数据处理单元320用于将所述点云数据输入抓取检测模型中，得到检测结果；
抓取执行单元330用于根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
在可选的实施例中，数据处理单元320将所述点云数据输入所述抓取检测模型的特征提取网络层，得到所述点云数据中各个点的点云特征；
将所述点云特征输入所述抓取检测模型的并行检测网络层，得到所述点云数据中各个点的抓取配置信息、语义信息，以及碰撞信息。
在可选的实施例中，数据处理单元320进一步将所述点云特征输入所述并行检测网络层的配置检测网络层，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置；
将所述点云特征和抓取配置输入所述并行检测网络层的碰撞检测网络层，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置；
将所述点云特征和过滤掉有碰撞的抓取配置后剩余的抓取配置输入所述并行检测网络层的语义分割网络层，所述语义分割网络层通过实例级分割由所述点云数据中区分出抓取对象信息，并将剩余的抓取配置以抓取对象信息为单位进行分组。
在可选的实施例中，抓取配置包括抓取中心、抓取深度、抓取宽度、抓取置信度和旋转矩阵；其中，所述抓取中心为抓取位置；所述旋转矩阵为抓取姿势。
在可选的实施例中，所述配置检测网络层根据所述点云特征将所述点云数据分类为可抓取点和不可抓取点的二分类向量后，利用交叉熵损失函数优化得到所述抓取中心的优化值；
所述配置检测网络层根据所述点云特征对所述点云数据做回归分析后，利用均方误差损失函数优化分别得到所述抓取深度、抓取宽度和抓取置信度的优化值；
所述配置检测网络层根据所述点云特征将由所述点云数据中获取的旋转矩阵分解为机器人夹具的接近方向和关闭方向的两个正交的单位向量，通过两个正交的单位向量的计算得到所述旋转矩阵的优化值。
在可选的实施例中，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置，具体包括：
所述碰撞检测网络层根据所述点云特征将抓取配置分类为是否存在潜在碰撞的二分类向量后，利用两类交叉熵损失函数优化得到存在潜在碰撞风险的抓取配置，并将存在潜在碰撞风险的抓取配置在所述抓取配置中去除。
在可选的实施例中，所述抓取执行单元330用于根据所述碰撞信息将所述抓取配置信息中存在碰撞风险的抓取配置去除，得到无碰撞抓取配置；
根据所述语义信息将所述无碰撞抓取配置以实例对象为单位进行分组；
以组为单位对所述无碰撞抓取配置进行非极大值抑制，得到所述抓取配置方案。
本发明实施例的机器人抓取装置首先通过数据采集单元310采集抓取对象所在场景的点云数据，而后通过数据处理单元320将点云数据输入抓取检测模型中，最后利用抓取执行单元根据抓取检测模型的检测结果得到用于控制机器人抓取所述抓取对象的抓取配置方案。即通过将抓取对象所在场景的点云数据输入基于样本场景的样本点云数据，以及样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到的抓取检测模型中，去除掉了存在碰撞风险的抓取配置，并增强了抓取姿态配置的准确性，从而得到准确且灵活的抓取方案，以使机器人的抓取操作准确且高效。
本发明实施例提供的机器人抓取装置用于签署各实施例的机器人抓取方法。该机器人抓取装置包括的各模块实现相应功能的具体方法和流程详见上述机器人抓取方法的实施例，此处不再赘述。
本发明的机器人抓取装置用于前述各实施例的机器人抓取方法。因此，在前述各实施例中的机器人抓取方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行机器人抓取方法，该方法包括：
101、采集抓取对象所在场景的点云数据；
102、将所述点云数据输入抓取检测模型中，得到检测结果；
103、根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的机器人抓取方法，该方法包括：
101、采集抓取对象所在场景的点云数据；
102、将所述点云数据输入抓取检测模型中，得到检测结果；
103、根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法所提供的机器人抓取方法，该方法包括：
101、采集抓取对象所在场景的点云数据；
102、将所述点云数据输入抓取检测模型中，得到检测结果；
103、根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种机器人抓取方法，其特征在于，包括：
采集抓取对象所在场景的点云数据；
将所述点云数据输入抓取检测模型中，得到检测结果；
根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
2.根据权利要求1所述的机器人抓取方法，其特征在于，所述将所述点云数据输入抓取检测模型中，得到检测结果，具体包括：
将所述点云数据输入所述抓取检测模型的特征提取网络层，得到所述点云数据中各个点的点云特征；
将所述点云特征输入所述抓取检测模型的并行检测网络层，得到所述点云数据中各个点的抓取配置信息、语义信息，以及碰撞信息；其中，具体包括：
将所述点云特征输入所述并行检测网络层的配置检测网络层，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置；
将所述点云特征和抓取配置输入所述并行检测网络层的碰撞检测网络层，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置；
将所述点云特征和过滤掉有碰撞的抓取配置后剩余的抓取配置输入所述并行检测网络层的语义分割网络层，所述语义分割网络层通过实例级分割由所述点云数据中区分出抓取对象信息，并将剩余的抓取配置以抓取对象信息为单位进行分组。
3.根据权利要求2所述的机器人抓取方法，其特征在于，所述抓取配置包括抓取中心、抓取深度、抓取宽度、抓取置信度和旋转矩阵；
其中，所述抓取中心为抓取位置；所述旋转矩阵为抓取姿势。
4.根据权利要求3所述的机器人抓取方法，其特征在于，所述配置检测网络层根据所述点云特征为所述点云数据中的每个点生成一个抓取配置，具体包括：
所述配置检测网络层基于所述点云特征将所述点云数据分类为可抓取点和不可抓取点的二分类向量后，利用可抓取点和不可抓取点的二分类向量获取所述抓取中心；
所述配置检测网络层基于所述点云特征为所述点云数据回归出所述抓取深度、抓取宽度和抓取置信度；
所述配置检测网络层基于所述点云特征为每个所述点云数据获取代表机器人夹具的接近方向和关闭方向的两个正交的单位向量，并通过所述单位向量得到所述旋转矩阵。
5.根据权利要求2所述的机器人抓取方法，其特征在于，所述碰撞检测网络层根据所述点云特征过滤掉抓取配置中有碰撞的抓取配置，具体包括：
所述碰撞检测网络层基于所述点云特征将抓取配置分类为是否存在潜在碰撞的二分类向量后，利用是否存在潜在碰撞的二分类向量将存在潜在碰撞风险的抓取配置在所述抓取配置中去除。
6.根据权利要求1所述的机器人抓取方法，其特征在于，所述根据所述检测结果得到抓取配置方案，具体包括：
根据所述碰撞信息将所述抓取配置信息中存在碰撞风险的抓取配置去除，得到无碰撞抓取配置；
根据所述语义信息将所述无碰撞抓取配置以实例对象为单位进行分组；
以组为单位对所述无碰撞抓取配置进行非极大值抑制，得到所述抓取配置方案。
7.一种机器人抓取装置，其特征在于，包括：
数据采集单元，用于采集抓取对象所在场景的点云数据；
数据处理单元，用于将所述点云数据输入抓取检测模型中，得到检测结果；
抓取执行单元，用于根据所述检测结果得到抓取配置方案，并控制机器人按照所述抓取配置方案抓取所述抓取对象；
其中，所述抓取检测模型基于样本场景的样本点云数据，以及所述样本点云数据中各样本点的样本抓取配置标签、实例语义分割标签和碰撞检测标签训练得到。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述机器人抓取方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述机器人抓取方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述机器人抓取方法的步骤。
CN202111107739.9A 2021-09-22 2021-09-22 一种机器人抓取方法、装置、电子设备及计算机介质 Active CN114029941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111107739.9A CN114029941B (zh) 2021-09-22 2021-09-22 一种机器人抓取方法、装置、电子设备及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111107739.9A CN114029941B (zh) 2021-09-22 2021-09-22 一种机器人抓取方法、装置、电子设备及计算机介质

Publications (2)

Publication Number Publication Date
CN114029941A true CN114029941A (zh) 2022-02-11
CN114029941B CN114029941B (zh) 2023-04-07

Family

ID=80134471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111107739.9A Active CN114029941B (zh) 2021-09-22 2021-09-22 一种机器人抓取方法、装置、电子设备及计算机介质

Country Status (1)

Country Link
CN (1) CN114029941B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937265A (zh) * 2022-07-25 2022-08-23 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质
CN115187781A (zh) * 2022-07-12 2022-10-14 北京信息科技大学 一种基于语义分割网络的六自由度抓取检测算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441677A (zh) * 2008-12-25 2009-05-27 上海交通大学 基于产品全语义模型的自然交互式虚拟装配系统
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN111015652A (zh) * 2019-12-11 2020-04-17 深圳市优必选科技股份有限公司 机械手控制方法、控制装置、终端设备及可读存储介质
US20200338722A1 (en) * 2017-06-28 2020-10-29 Google Llc Machine learning methods and apparatus for semantic robotic grasping
CN112801988A (zh) * 2021-02-02 2021-05-14 上海交通大学 基于rgbd和深度神经网络的物体抓取位姿检测方法
US20210166418A1 (en) * 2019-02-23 2021-06-03 Shenzhen Sensetime Technology Co., Ltd. Object posture estimation method and apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441677A (zh) * 2008-12-25 2009-05-27 上海交通大学 基于产品全语义模型的自然交互式虚拟装配系统
US20200338722A1 (en) * 2017-06-28 2020-10-29 Google Llc Machine learning methods and apparatus for semantic robotic grasping
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
US20210166418A1 (en) * 2019-02-23 2021-06-03 Shenzhen Sensetime Technology Co., Ltd. Object posture estimation method and apparatus
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN111015652A (zh) * 2019-12-11 2020-04-17 深圳市优必选科技股份有限公司 机械手控制方法、控制装置、终端设备及可读存储介质
CN112801988A (zh) * 2021-02-02 2021-05-14 上海交通大学 基于rgbd和深度神经网络的物体抓取位姿检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王鹏: "面向仓储自动化的机器人运动规划", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187781A (zh) * 2022-07-12 2022-10-14 北京信息科技大学 一种基于语义分割网络的六自由度抓取检测算法
CN115187781B (zh) * 2022-07-12 2023-05-30 北京信息科技大学 一种基于语义分割网络的六自由度抓取检测方法
CN114937265A (zh) * 2022-07-25 2022-08-23 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质
CN114937265B (zh) * 2022-07-25 2022-10-28 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114029941B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109658413B (zh) 一种机器人目标物体抓取位置检测的方法
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
CN114029941B (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
Kenney et al. Interactive segmentation for manipulation in unstructured environments
CN108280488B (zh) 基于共享神经网络的可抓取物体识别方法
CN111523486B (zh) 一种基于改进CenterNet的机械臂抓取检测方法
CN113420746B (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN111890357A (zh) 一种基于动作演示示教的智能机器人抓取方法
CN113001552B (zh) 面向杂质性目标的机器人操作协同抓取方法、系统及设备
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
Zhang et al. Industrial robot sorting system for municipal solid waste
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN115147488A (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN112819856B (zh) 一种应用于无人机的目标跟踪方法及自定位方法
CN113487538A (zh) 一种多目标分割缺陷检测方法、装置及其计算机存储介质
CN115187781B (zh) 一种基于语义分割网络的六自由度抓取检测方法
Abu-Jassar et al. The Optical Flow Method and Graham’s Algorithm Implementation Features for Searching for the Object Contour in the Mobile Robot’s Workspace
Shao et al. Combining rgb and points to predict grasping region for robotic bin-picking
CN115100416A (zh) 一种不规则钢板位姿识别方法及相关设备
CN113538576A (zh) 基于双臂机器人的抓取方法、装置及双臂机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant