CN109658413A - 一种机器人目标物体抓取位置检测的方法 - Google Patents

一种机器人目标物体抓取位置检测的方法 Download PDF

Info

Publication number
CN109658413A
CN109658413A CN201811518381.7A CN201811518381A CN109658413A CN 109658413 A CN109658413 A CN 109658413A CN 201811518381 A CN201811518381 A CN 201811518381A CN 109658413 A CN109658413 A CN 109658413A
Authority
CN
China
Prior art keywords
target object
network
target
pixel region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811518381.7A
Other languages
English (en)
Other versions
CN109658413B (zh
Inventor
杜国光
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Priority to CN201811518381.7A priority Critical patent/CN109658413B/zh
Publication of CN109658413A publication Critical patent/CN109658413A/zh
Priority to JP2020543212A priority patent/JP7085726B2/ja
Priority to PCT/CN2019/115959 priority patent/WO2020119338A1/zh
Priority to US17/032,399 priority patent/US11878433B2/en
Application granted granted Critical
Publication of CN109658413B publication Critical patent/CN109658413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人自主抓取技术领域，尤其公开了一种机器人目标物体抓取位置检测的方法、装置、计算设备及计算机存储介质，其中，方法包括：采集目标物体在不同视角下的目标RGB图像和目标Depth图像；将每一目标RGB图像输入至目标物体分割网络进行计算，得到目标RGB图像中目标物体的RGB像素区域及目标Depth图像中目标物体的Depth像素区域；将目标物体的RGB像素区域输入至最优抓取位置生成网络，得到目标物体抓取的最优抓取位置；将目标物体的Depth像素区域及最优抓取位置输入至抓取位置质量评估网络，计算最优抓取位置的得分；选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。由此可见，利用本发明方案可以实现机器人自动在最优抓取位置抓取目标物体。

Description

一种机器人目标物体抓取位置检测的方法
技术领域
本发明实施方式涉及机器人自主抓取领域，特别是涉及一种机器人目标物体抓取位置检测的方法、装置、计算设备及计算机存储介质。
背景技术
在智能机器人领域，机器人自主抓取是智能机器人的一种关键能力，尤其是对于家庭服务机器人和工业机器人。对于机器人自主抓取的研究问题，传统方案主要包括几何分析方法和数据驱动推理两种方法；几何分析方法人工复杂度高，数据驱动推理方法在复杂场景下表现差。
随着深度学习的出现，机器人自主抓取研究取得了很大突破。应用深度学习算法，目前技术可以实现机器人在自主抓取物体时，自动分割目标物体，并自动定位抓取点。
在实现本发明的过程中，发现：现有技术中自动分割目标物体是基于深度图像，无法针对复杂背景下的物体进行分割，且在自动定位抓取点时，效率偏低。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种机器人目标物体抓取位置检测的方法、装置、计算设备及计算机存储介质。
为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种机器人目标物体抓取位置检测的方法，包括：采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；
将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；
将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；
将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；
选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
其中，所述目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
其中，所述最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，具体包括：
将所述目标物体分割网络得到的RGB目标物体对应的像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
其中，所述抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种机器人目标物体抓取位置检测装置，包括：采集模块：用于采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；
分割模块：用于将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；
抓取模块：用于将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；
评估模块：用于将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；
选择模块：用于选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
其中，所述分割模块中目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
其中，所述抓取模块中最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，具体包括：
将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
其中，所述评估模块中抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
为解决上述技术问题，本发明实施方式采用的再一个技术方案是：提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的一种机器人目标物体抓取位置检测的方法对应的操作。
为解决上述技术问题，本发明实施方式采用的又一个技术方案是：提供一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行一种机器人目标物体抓取位置检测的方法对应的操作。
本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施方式采用目标物体分割网络得到目标物体对应的像素区域，并将所述目标物体对应的像素区域输入至最优抓取位置生成网络，得到目标物体抓取的最优抓取位置，并使用抓取位置质量评估网络计算所述最优抓取位置的评分，将最高得分对应的最优抓取位置作为机器人全局最优抓取位置，通过本发明，可以实现机器人自动在最优抓取位置抓取目标物体。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施方式的一种机器人目标物体抓取位置检测的方法流程图；
图2是本发明实施方式的目标物体分割网络训练流程图；
图3是本发明实施方式的最优抓取位置生成网络训练流程图；
图4是本发明实施方式的抓取位置质量评估网络训练流程图；
图5是是本发明实施方式的一种机器人目标物体抓取位置检测装置功能框图；
图6是本发明实施方式的一种计算设备示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种机器人目标物体抓取位置检测的方法。
图1为本发明一种机器人目标物体抓取位置检测的方法实施例的流程图。如图1所示，该方法包括以下步骤：
步骤S101：采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应。
在本步骤中，将目标物体放置在机器人的机械臂下面的桌面上，采集当前位置下的RGB图像和Depth图像，其中，所述RGB图像和Depth图像的像素点是一一对应的。移动机械臂，从其他角度重新采集图像，在本发明实施例中，采集前、后、左、右、前上、后上、左上、右上共8个位置的图像。
步骤S102：将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域。
在本步骤中，将每一个所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域，RGB图像与Depth图像是一一对应的，所以，根据所述目标RGB图像中目标物体的RGB像素区域，可以定位出所述目标Depth图像中目标物体的Depth像素区域。
需要说明的是，所述所述目标物体分割网络是使用卷积神经网络模型训练出来的网络，图2是本发明实施方式的目标物体分割网络训练流程图，如图2所示，目标物体分割网络的训练包括以下步骤：
步骤S1021：获取包含目标物体的RGB图像。
步骤S1022：将所述RGB图像缩放至预设第一像素，得到第一训练集。
在本步骤中，将每一张RGB图像缩放至预设第一像素，以适应网络结构，在本发明实施例中，所述预设第一像素大小为320*320像素。
步骤S1023：标注所述第一训练集中的目标物体对应的像素区域。
在本步骤中，人为标注所述目标物体对应的像素区域，如使用方框标注目标物体对应的像素区域在所述训练集中的图像中的位置。
步骤S1024：将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络。
在本步骤中，所述卷积神经网络模型为用于实例分割的任意一个主流卷积神经网络模型，如分割网络(SegNet)、深度实验室网络(DeepLab v1，DeepLab v2，DeepLab v3，DeepLab v3++)、金字塔场景解析网络(Pyramid Scene Parsing Network,PSPNet)及图像级联网络(Image Cascade Network,ICNet)。在本发明实施例中，采用分割网络(SegNet)，将所述目标物体对应的像素区域作为一类，不包含目标物体的背景对应的像素区域作为一类，将所述第一训练集和所述目标物体对应的像素区域输入所述卷积神经网络模型中进行训练，在本发明实施例中，所述卷积神经网络模型的层数为27层，在进行训练时，通过卷积提取层提取所述目标物体对应的像素区域，同时，图片会缩放至预设第一像素大小，该过程称为编码器。通过反卷积计算使得所述目标物体分类后的特征重现，并通过上采样还原所述目标物体对应的像素区域的目标尺寸，该过程称为解码器。将所述解码器的输出作为soft-max分类器的输入，计算每个像素类别的概率，根据所述概率判断所述目标物体所对应的像素区域。
步骤S1025：将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比。
在本步骤中，将包含目标物体的图像作为所述目标物体分割网络的输入，得到所述目标物体分割网络得到的RGB像素区域，将所述目标物体分割网络得到的像素区域与所述标注的目标物体对应的像素区域做重叠对比，以此作为所述目标物体分割网络的评价度量。
步骤S1026：根据所述重叠对比结果调整所述目标物体分割网络的权值。
在本步骤中，将所述重叠对比结果与预设的重叠对比结果阈值进行对比，若所述重叠对比结果低于所述预设的重叠对比结果阈值，则调整所述神经网络结构和权值。
步骤S103：将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置。
在本步骤中，所述最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，图3是本发明实施方式的最优抓取位置生成网络训练流程图，如图3所示，最优抓取位置生成网络的训练包括以下步骤：
步骤S1031：将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集。
在本步骤中，将所述目标物体对应的RGB像素区域缩放至预设第二像素，以适应网络结构，在本发明实施例中，所述预设第二像素为227*227像素。
步骤S1032：将所述第二训练集中的图像标记最优抓取位置坐标。
在本步骤中，在所述第二训练集中的图像中对目标物体标记(X,Y,θ)作为抓取位置，其中，(X,Y)为抓取点，θ为抓取角度，在进行抓取位置标注时，首先定义抓取角度，然后，标记每个抓取角度下的最优抓取位置，如将抓取范围[0,180°]平均分为18个角度值，标记每个角度下最优抓取位置坐标。在本发明实施例中，为了增加训练数据集中图像的数量，将所述第二训练集中的每一张图像都标注抓取角度及最优抓取位置坐标。
步骤S1033：将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
在本步骤中，所述卷积神经网络模型为任意现有卷积神经网络模型，在本发明实施例中，采用AlexNet模型，将所述第二训练集中的图像及其对应的最优抓取位置(X,Y，θ)作为所述卷积神经网络模型的输入，其中，所述AlexNet模型为7层，包含5个卷积层和2个全连接层，所述AlexNet模型经过训练得到最优抓取位置生成网络，计算所述最优抓取位置生成网络输出的预测抓取点(Xp,Yp)与标记点(X,Y)之间的欧式距离，并依据所述欧式距离，使用Softmax损失函数调整所述最优抓取位置生成网络的权值。
步骤S104：将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分。
在本步骤中，所述抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，图4是本发明实施方式的抓取位置质量评估网络训练流程图，如图4所示，抓取位置质量评估网络的训练包括以下步骤：
步骤S1041：获取包含目标物体的Depth图像。
在本步骤中，所述Depth图像是根据RGB图像得到的深度图像，其中，所述Depth图像与所述RGB图像的像素点一一对应。
步骤S1042：将所述Depth图像缩放至预设第三像素，得到第三训练集。
在本步骤中，将所述Depth图像缩放至预设第三像素，以适应网络结构，在本发明实施例中，所述预设第三像素为32*32像素。
步骤S1043：从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分。
步骤S1044：将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
在本步骤，所述卷积神经网络包括9层，其中4个为卷积层，1个池化层及4个全连接层。根据所述抓取位置质量评估网络的输出评分与步骤S1043中所述预设评分算法得到的评分对比，调整所述抓取位置质量评估网络的权值。
步骤S105：选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
根据本实施例提供的一种机器人目标物体抓取位置检测的方法，采用目标物体分割网络得到目标物体对应的像素区域，将所述目标物体对应的像素区域输入至最优抓取位置生成网络，得到目标物体抓取的最优抓取位置，并使用抓取位置质量评估网络计算所述最优抓取位置的评分，将最高得分对应的最优抓取位置作为机器人全局最优抓取位置，通过本发明，可以实现机器人自动在最优抓取位置抓取目标物体。
图5为本发明一种机器人目标物体抓取位置检测装置实施例的功能框图。如图5所示，该装置包括：采集模块501、分割模块502、抓取模块503、评估模块504及选择模块505，其中，采集模块501用于采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；分割模块502用于将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；抓取模块503用于将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；评估模块504用于将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；选择模块505用于选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
在本实施例中，分割模块502中目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
进一步的，抓取模块503中最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，具体包括：
将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
进一步的，评估模块504中抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
根据本实施例提供的一种机器人目标物体抓取位置检测装置，采用分割模块得到目标物体对应的像素区域，通过抓取模块得到目标物体抓取的最优抓取位置，并使用评估模块计算所述最优抓取位置的评分，将最高得分对应的最优抓取位置作为机器人全局最优抓取位置，通过本发明，可以实现机器人自动在最优抓取位置抓取目标物体。
图6为本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602，用于执行程序610，具体可以执行上述一种机器人目标物体抓取位置检测的方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：
采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；
将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；
将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；
将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；
选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
在一种可选的方式中，程序610具体可以进一步用于使得处理器602执行以下操作：所述目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
在一种可选的方式中，程序610具体可以进一步用于使得处理器602执行以下操作：
将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
在一种可选的方式中，程序610具体可以进一步用于使得处理器602执行以下操作：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种机器人目标物体抓取位置检测装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种机器人目标物体抓取位置检测的方法，其特征在于，包括：
采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；
将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；
将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；
将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；
选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
2.根据权利要求1所述的方法，其特征在于，
所述目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
3.根据权利要求1所述的方法，其特征在于，所述最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，具体包括：
将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
4.根据权利要求1所述的方法，其特征在于，所述抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
5.一种机器人目标物体抓取位置检测装置，其特征在于，包括：
采集模块：用于采集目标物体在不同视角下的目标RGB图像和目标Depth图像，其中，所述目标RGB图像和目标Depth图像中的像素点一一对应；
分割模块：用于将每一所述目标RGB图像输入至目标物体分割网络进行计算，得到所述目标RGB图像中目标物体的RGB像素区域及所述目标Depth图像中目标物体的Depth像素区域；
抓取模块：用于将所述目标物体的RGB像素区域输入至最优抓取位置生成网络，得到所述目标物体抓取的最优抓取位置；
评估模块：用于将所述目标物体的Depth像素区域及所述最优抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；
选择模块：用于选择最高得分对应的最优抓取位置作为机器人全局最优抓取位置。
6.根据权利要求5所述的装置，其特征在于，所述分割模块中目标物体分割网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的RGB图像；
将所述RGB图像缩放至预设第一像素，得到第一训练集；
标注所述第一训练集中的目标物体对应的像素区域；
将所述第一训练集和所述目标物体对应的像素区域作为所述卷积神经网络模型输入进行训练，得到所述目标物体分割网络；
将所述目标物体分割网络得到的目标物体对应的RGB像素区域与标注的目标物体对应的像素区域做重叠对比；
根据所述重叠对比结果调整所述目标物体分割网络的权值。
7.根据权利要求5所述的装置，其特征在于，所述抓取模块中最优抓取位置生成网络是使用卷积神经网络模型训练出来的网络，具体包括：
将所述目标物体分割网络得到的目标物体对应的RGB像素区域缩放至预设第二像素，得到第二训练集；
将所述第二训练集中的图像标记最优抓取位置坐标；
将所述第二训练集中的图像和其对应的最优抓取位置坐标作为输入，使用卷积神经网络模型进行训练，得到最优抓取位置生成网络。
8.根据权利要求6所述的装置，其特征在于，所述评估模块中抓取位置质量评估网络是使用卷积神经网络模型训练出来的网络，具体包括：
获取包含目标物体的Depth图像；
将所述Depth图像缩放至预设第三像素，得到第三训练集；
从所述第三训练集中的Depth图像上随机采取一对抓取点位置，并使用预设评分算法得到对应评分；
将所述Depth图像、抓取点位置以及抓取点位置对应的评分作为输入，使用卷积神经网络模型进行训练，得到抓取位置质量评估网络。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-4中任一项所述的一种机器人目标物体抓取位置检测的方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-4中任一项所述的一种机器人目标物体抓取位置检测的方法对应的操作。
CN201811518381.7A 2018-12-12 2018-12-12 一种机器人目标物体抓取位置检测的方法 Active CN109658413B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811518381.7A CN109658413B (zh) 2018-12-12 2018-12-12 一种机器人目标物体抓取位置检测的方法
JP2020543212A JP7085726B2 (ja) 2018-12-12 2019-11-06 ロボットの目標物体把持位置の検出方法
PCT/CN2019/115959 WO2020119338A1 (zh) 2018-12-12 2019-11-06 机器人目标物体抓取位置检测的方法
US17/032,399 US11878433B2 (en) 2018-12-12 2020-09-25 Method for detecting grasping position of robot in grasping object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811518381.7A CN109658413B (zh) 2018-12-12 2018-12-12 一种机器人目标物体抓取位置检测的方法

Publications (2)

Publication Number Publication Date
CN109658413A true CN109658413A (zh) 2019-04-19
CN109658413B CN109658413B (zh) 2022-08-09

Family

ID=66113814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811518381.7A Active CN109658413B (zh) 2018-12-12 2018-12-12 一种机器人目标物体抓取位置检测的方法

Country Status (4)

Country Link
US (1) US11878433B2 (zh)
JP (1) JP7085726B2 (zh)
CN (1) CN109658413B (zh)
WO (1) WO2020119338A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136163A (zh) * 2019-04-29 2019-08-16 中国科学院自动化研究所 手部运动模糊自动抠图及在人体软分割和背景更换的应用
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
CN111359915A (zh) * 2020-03-24 2020-07-03 广东弓叶科技有限公司 基于机器视觉的物料分选方法及系统
CN111652118A (zh) * 2020-05-29 2020-09-11 大连海事大学 基于水下目标近邻分布的海产品自主抓取引导方法
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法
CN112101075A (zh) * 2019-06-18 2020-12-18 腾讯科技（深圳）有限公司 信息植入区域的识别方法、装置、存储介质及电子设备
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112802105A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN113160313A (zh) * 2021-03-03 2021-07-23 广东工业大学 一种透明物体抓取控制方法、装置、终端及存储介质
CN113781493A (zh) * 2021-01-04 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法、装置、电子设备、介质及计算机程序产品
CN114683251A (zh) * 2022-03-31 2022-07-01 上海节卡机器人科技有限公司 机器人抓取方法、装置、电子设备及可读取存储介质
CN116416444A (zh) * 2021-12-29 2023-07-11 广东美的白色家电技术创新中心有限公司 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN117067219A (zh) * 2023-10-13 2023-11-17 广州朗晴电动车有限公司 一种电车车身成型的钣金机械臂控制方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11185978B2 (en) * 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
WO2022015807A1 (en) 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for object grasping
US20220019852A1 (en) 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for generating training data
US11559885B2 (en) 2020-07-14 2023-01-24 Intrinsic Innovation Llc Method and system for grasping an object
US20220072712A1 (en) * 2020-09-09 2022-03-10 Fanuc Corporation Mix-size depalletizing
CN112613478B (zh) * 2021-01-04 2022-08-09 大连理工大学 一种面向机器人抓取的数据主动式选择方法
US20220379475A1 (en) * 2021-05-25 2022-12-01 Fanuc Corporation Transparent object bin picking
CN113327295A (zh) * 2021-06-18 2021-08-31 华南理工大学 一种基于级联全卷积神经网络的机器人快速抓取方法
CN113506314B (zh) * 2021-06-25 2024-04-09 北京精密机电控制设备研究所 一种复杂背景下对称四边形工件的自动抓取方法及装置
US20220410381A1 (en) * 2021-06-29 2022-12-29 Intrinsic Innovation Llc Systems and methods for picking objects using 3-d geometry and segmentation
CN113326666B (zh) * 2021-07-15 2022-05-03 浙江大学 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
CN113744333B (zh) * 2021-08-20 2024-02-13 北京航空航天大学 一种物体抓取位置获取方法及装置
CN113420746B (zh) * 2021-08-25 2021-12-07 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质
CN113762159B (zh) * 2021-09-08 2023-08-08 山东大学 一种基于有向箭头模型的目标抓取检测方法及系统
NL2029461B1 (en) * 2021-10-19 2023-05-16 Fizyr B V Automated bin-picking based on deep learning
CN113920142B (zh) * 2021-11-11 2023-09-26 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN114426923B (zh) * 2022-03-31 2022-07-12 季华实验室 一种环境病毒采样机器人及方法
CN114750154A (zh) * 2022-04-25 2022-07-15 贵州电网有限责任公司 一种配网带电作业机器人的动态目标识别定位与抓取方法
CN115108117B (zh) * 2022-05-26 2023-06-27 盈合(深圳)机器人与自动化科技有限公司 一种切割方法、系统、终端及计算机存储介质
CN114782827B (zh) * 2022-06-22 2022-10-14 中国科学院微电子研究所 一种基于图像的物体抓取点获取方法和装置
CN116399871B (zh) * 2023-04-19 2023-11-14 广州市阳普机电工程有限公司 一种基于机器视觉的汽车零部件装配检测系统及方法
CN116749241B (zh) * 2023-08-16 2023-11-07 苏州视谷视觉技术有限公司 一种机器视觉高精度定位抓取装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US20160279791A1 (en) * 2015-03-24 2016-09-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN108058172A (zh) * 2017-11-30 2018-05-22 深圳市唯特视科技有限公司 一种基于自回归模型的机械手抓取方法
CN108229678A (zh) * 2017-10-24 2018-06-29 深圳市商汤科技有限公司 网络训练方法、操作控制方法、装置、存储介质和设备
CN108247601A (zh) * 2018-02-09 2018-07-06 中国科学院电子学研究所 基于深度学习的语义抓取机器人
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089575B1 (en) 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
KR101980603B1 (ko) 2016-05-20 2019-05-22 구글 엘엘씨 오브젝트(들)를 캡처하는 이미지(들)에 기초하는 그리고 환경에서의 미래 로봇 움직임에 대한 파라미터(들)에 기초하여 로봇 환경에서의 오브젝트(들)의 모션(들)을 예측하는 것과 관련된 머신 학습 방법들 및 장치
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
JP6665040B2 (ja) * 2016-06-20 2020-03-13 三菱重工業株式会社 ロボット制御システム及びロボット制御方法
CN106780605A (zh) 2016-12-20 2017-05-31 芜湖哈特机器人产业技术研究院有限公司 一种基于深度学习机器人的目标物抓取位置的检测方法
JP6546618B2 (ja) 2017-05-31 2019-07-17 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、学習方法、学習モデル、検出装置及び把持システム
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
CN109658413B (zh) * 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法
JP7015265B2 (ja) * 2019-03-14 2022-02-02 ファナック株式会社 コネクタを含むワークを把持する作業ツールおよび作業ツールを備えるロボット装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US20160279791A1 (en) * 2015-03-24 2016-09-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN108229678A (zh) * 2017-10-24 2018-06-29 深圳市商汤科技有限公司 网络训练方法、操作控制方法、装置、存储介质和设备
CN108058172A (zh) * 2017-11-30 2018-05-22 深圳市唯特视科技有限公司 一种基于自回归模型的机械手抓取方法
CN108247601A (zh) * 2018-02-09 2018-07-06 中国科学院电子学研究所 基于深度学习的语义抓取机器人
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEFFREY MAHLER ET AL: "Dex-Net 2.0: Deep Learning to Plan Robust", 《ARXIV》 *
喻群超等: "基于三级卷积神经网络的物体抓取检测", 《机器人》 *
夏晶等: "基于级联卷积神经网络的机器人平面抓取位姿快速检测", 《机器人》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
US11878433B2 (en) 2018-12-12 2024-01-23 Cloudminds Robotics Co., Ltd. Method for detecting grasping position of robot in grasping object
CN110136163B (zh) * 2019-04-29 2021-02-12 中国科学院自动化研究所 手部运动模糊自动抠图及在人体软分割和背景更换的应用
CN110136163A (zh) * 2019-04-29 2019-08-16 中国科学院自动化研究所 手部运动模糊自动抠图及在人体软分割和背景更换的应用
CN112101075B (zh) * 2019-06-18 2022-03-25 腾讯科技（深圳）有限公司 信息植入区域的识别方法、装置、存储介质及电子设备
CN112101075A (zh) * 2019-06-18 2020-12-18 腾讯科技（深圳）有限公司 信息植入区域的识别方法、装置、存储介质及电子设备
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN111359915A (zh) * 2020-03-24 2020-07-03 广东弓叶科技有限公司 基于机器视觉的物料分选方法及系统
CN111652118A (zh) * 2020-05-29 2020-09-11 大连海事大学 基于水下目标近邻分布的海产品自主抓取引导方法
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法
CN111652118B (zh) * 2020-05-29 2023-06-20 大连海事大学 基于水下目标近邻分布的海产品自主抓取引导方法
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
WO2022143366A1 (zh) * 2021-01-04 2022-07-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、电子设备、介质及计算机程序产品
CN113781493A (zh) * 2021-01-04 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法、装置、电子设备、介质及计算机程序产品
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN112802105A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN113160313A (zh) * 2021-03-03 2021-07-23 广东工业大学 一种透明物体抓取控制方法、装置、终端及存储介质
CN116416444A (zh) * 2021-12-29 2023-07-11 广东美的白色家电技术创新中心有限公司 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN116416444B (zh) * 2021-12-29 2024-04-16 广东美的白色家电技术创新中心有限公司 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN114683251A (zh) * 2022-03-31 2022-07-01 上海节卡机器人科技有限公司 机器人抓取方法、装置、电子设备及可读取存储介质
CN117067219A (zh) * 2023-10-13 2023-11-17 广州朗晴电动车有限公司 一种电车车身成型的钣金机械臂控制方法及系统
CN117067219B (zh) * 2023-10-13 2023-12-15 广州朗晴电动车有限公司 一种电车车身成型的钣金机械臂控制方法及系统

Also Published As

Publication number Publication date
US11878433B2 (en) 2024-01-23
WO2020119338A1 (zh) 2020-06-18
JP7085726B2 (ja) 2022-06-17
JP2021517681A (ja) 2021-07-26
US20210023720A1 (en) 2021-01-28
CN109658413B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN109658413A (zh) 一种机器人目标物体抓取位置检测的方法
CN107403141B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
Dasari et al. Robonet: Large-scale multi-robot learning
Chen et al. Semantic segmentation for partially occluded apple trees based on deep learning
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN106529565B (zh) 目标识别模型训练和目标识别方法及装置、计算设备
CN110799992B (zh) 使用模拟和域适配以用于机器人控制
CN113409384B (zh) 一种目标物体的位姿估计方法和系统、机器人
CN110163813A (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN109859113B (zh) 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN112907530B (zh) 基于分组反向注意力的伪装物体检测方法及系统
CN109719725A (zh) 一种机械臂运动规划的方法、机械臂及机器人
CN110135582A (zh) 神经网络训练、图像处理方法及装置、存储介质
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
CN109840883A (zh) 一种训练物体识别神经网络的方法、装置及计算设备
Kim et al. Tomato harvesting robotic system based on Deep-ToMaToS: Deep learning network using transformation loss for 6D pose estimation of maturity classified tomatoes with side-stem
Xia et al. A real-time kiwifruit detection based on improved YOLOv7
Zhao et al. Crop pest recognition in real agricultural environment using convolutional neural networks by a parallel attention mechanism
Shen et al. Fusing attention mechanism with Mask R-CNN for instance segmentation of grape cluster in the field
CN109712707A (zh) 一种舌诊方法、装置、计算设备及计算机存储介质
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
Le Louedec et al. Segmentation and detection from organised 3D point clouds: A case study in broccoli head detection
Dolezel et al. Memory efficient grasping point detection of nontrivial objects
McLeay et al. Deep convolutional neural networks with transfer learning for waterline detection in mussel farms
CN110807752B (zh) 一种基于卷积神经网络的图像注意力机制处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210121

Address after: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant