CN109584298B - 面向机器人自主物体拾取任务的在线自学习方法 - Google Patents

面向机器人自主物体拾取任务的在线自学习方法 Download PDF

Info

Publication number
CN109584298B
CN109584298B CN201811320388.8A CN201811320388A CN109584298B CN 109584298 B CN109584298 B CN 109584298B CN 201811320388 A CN201811320388 A CN 201811320388A CN 109584298 B CN109584298 B CN 109584298B
Authority
CN
China
Prior art keywords
robot
learning
grabbing
image
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811320388.8A
Other languages
English (en)
Other versions
CN109584298A (zh
Inventor
邵全全
胡洁
王伟明
戚进
方懿
刘文海
马进
潘震宇
韩鸣朔
薛腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811320388.8A priority Critical patent/CN109584298B/zh
Publication of CN109584298A publication Critical patent/CN109584298A/zh
Application granted granted Critical
Publication of CN109584298B publication Critical patent/CN109584298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于区域预测的机器人自主物体拾取在线自学习方法。机器人立体相机获得堆放的待抓取物体的RGBD信息，将RGB图像与深度图按一定步距分块，将上述图像块配对输入区域预测神经网络模块以获得可吸取性概率区域图，根据该概率图在图像坐标系选择抓取点并转换至机器人操作坐标系，机器人执行该抓取点，最后根据机器人执行结果在线训练区域预测网络。该方法利用深度神经网络直接获得抓取点，避免了复杂背景下的物体拾取通常要面临的物体分割与位姿估计问题，同时利用机器人的执行结果在线训练该预测网络，有效的实现了物体拾取机器人的在线自学习，避免了复杂的特征选择或者人工标记样本与神经网络训练问题。

Description

面向机器人自主物体拾取任务的在线自学习方法
技术领域
本发明涉及机器人自学习领域，具体地，涉及面向机器人自主物体拾取任务的在线自学习方法。尤其是涉及散乱堆放物体的机器人自主物体抓取在线自学习方法与系统。
背景技术
机器人自主学习能力，弱化了机器人应用中对具体任务的详细设置要求，提升了机器人对不同场景的适应性，同时也是机器人智能性的重要特性，具有广泛的应用价值。非结构场景下对杂乱堆放物体的高效拾取任务有着广泛的应用需求，比如垃圾处理场景中的垃圾自动分拣，物流包裹的自动分拣，以及工业应用场景中的自动上下料等。传统物体拾取方法多采用物体识别、物体分割、位姿估计确定抓取点等一系列处理实现物体的抓取，然而堆放物体有着复杂的环境背景与相互位置关系，这个上述方法带来了很大的挑战。同时应用场景的多变性，也给为每一个场景进行具体的详细设置带来了巨大的工作量。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种面向机器人自主物体拾取任务的在线自学习方法。
根据本发明提供的一种面向机器人自主物体拾取任务的在线自学习方法，包括：
步骤1：将成堆放置的待拾取物体放置于RGBD相机感知区域的适当位置内，以实现视觉信息的有效感知，并根据待拾取物体位置选定有效的图像范围，根据待拾取物体大小选定对应的图像块大小并对RGB图像与深度图进行对应分块，其中分块步距选择为图像块长度的一半以保证对图像块边界区域的有效监测；
步骤2：将步骤1所得RGB图像块与对应的深度图像块，输入可吸附性区域预测卷积神经网络，获得可吸附性区域概率图；
步骤3：根据步骤2所得可吸附性区域概率图在图像坐标系下选择吸附点，然后结合吸附点对应区域的深度信息以及获得的图像坐标系与机器人操作坐标系之间的变换矩阵，获得吸附点的三维坐标；
步骤4：将抓取点信息输送至安装有真空吸盘的机器人系统中，机器人系统对抓取点进行试抓取，并将试抓取执行结果返回，同时根据抓取成功次数与待抓取物体判断是否需要重新放置待抓取物体；
步骤5：利用抓取结果在线训练所述可吸附性区域预测卷积神经网络。
优选地，步骤1中选定的所述有效的图像范围与待拾取物体在图像区域位置相对应，并在上下左右分别留有余量。
优选地，图像块大小根据待拾取物体大小以及步骤2中所述可吸附性区域概率图尺寸的不同比例设定，分块步距选择为图像块长度的一半。
优选地，所述可吸附性区域预测卷积神经网络，具体为Resnet50网络结构串接U-net框架，经过训练的Resnet50网络输出不同尺度的特征图，然后由U-net框架网络将多尺度的特征图结合起来以输出所述可吸附性区域预测概率图。
优选地，Resnet50网络采用经ImageNet预训练后的参数，并在在线自学习阶段固定，产生稳定的多尺度特征图，网络训练阶段仅调节U-net框架参数以实现不同特征图之间的有效融合，产生所述可吸附性区域预测概率图。
优选地，基于所述可吸附性区域预测概率图的吸附点选择，直接取最大值作为试抓取点，或者是，进行一定的滤波处理后，再取所述可吸附性区域预测概率图的最大值作为试抓取点。
优选地，在线自学习阶段，吸附点的选择引入探索机制，具体是在吸附点选择环节，不仅仅按所述可吸附性区域预测概率图最大概率选择，还按设定的概率在所述可吸附性区域预测概率图的图像坐标系随机选择像素点作为试抓取点，具体探索概率p按公式
Figure GDA0002524356140000021
确定，其中Nep为超参数控制探索概率在在线学习中的衰减速率，nl为在线自学习的次数。
优选地，吸附时只考虑垂直方向上的吸附动作，故仅需吸附点的三维坐标，不需要考虑姿态信息；若将抓取方向离散化，利用步骤2输出的多幅可吸附性区域预测概率图实现多方向的抓取。
优选地，根据机器人试抓取结果，抓取点在可吸附性区域预测概率图中对应像素点的理想值应为1或者0，对于理想值与实际预测概率值之间的误差，对该误差反传,实现可吸附性区域预测卷积神经网络的在线训练。
优选地，在线自学习阶段，将可吸附性区域预测概率图的预测等价为二值分类问题采用交叉熵作为误差函数，同时引入旋转、平移、翻转、镜像、噪声这些数据增强方法，同时作为输入进行神经网络在线学习样本，具体误差函数Loss为：
Figure GDA0002524356140000031
其中N为在线学习样本数，y为执行结果反馈的理想值，
Figure GDA0002524356140000032
为网络预测概率实际值。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过直接对感知图像的处理直接获得抓取点，避免了传统物体拾取方法中的物体分割、位姿估计等环节，而上述环节在堆放物体等复杂操作环境下的效果不是很理想；
2、本发明通过机器人在线自学习的方式，自主的学习对特定目标物体的有效拾取，避免了通常需要对每一个具体任务的进行详细设置，降低了应用推广难度，且增加了通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种基于区域预测的机器人自主物体拾取在线自学习方法的流程图；
图2为本发明中可吸附性区域预测卷积神经网络示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供一种面向机器人自主物体拾取任务的在线自学习方法，优选例中相应的机器人系统硬件有RGBD相机、装备有真空吸盘的六自由度工业机械臂、散乱堆放的待拾取物体。将RGBD相机置于目标物体上方，相机视野向下，RGBD相机与工业机械臂根据手眼标定确定坐标变换矩阵。
所述基于区域预测的机器人自主物体拾取在线自学习方法具体实施步骤如下：
步骤1：将成堆放置的20个圆柱状物体放置于RGBD相机感知区域的适当位置内，RGBD相机输出480*640RGB图像流与480*640深度信息流，根据拾取物体位置选定有效的图像矩形范围,起像素为[65,130],终止像素为[410,500]，根据待拾取物体大小选定合适的图像块大小为168*168并对RGB图像与深度图进行对应分块，其中分块步距选择为图像块长度的一半即84；
步骤2：将步骤1所得RGB图像块与对应的深度图像块标准化后输入可吸附性区域预测卷积神经网络以获得相应区域的可吸附性区域预测概率图，概率图大小为56*56，即一个像素代表输入图像中3*3的图像块区域；
步骤3：根据步骤2所得可吸附性区域概率图在图像坐标系下选择吸附点，然后结合吸附点对应区域的深度信息以及手眼标定方法获得的图像坐标系与机器人操作坐标系之间的变换矩阵获得吸附点的三维坐标，该方法只考虑垂直方向抓取，故而不需要考虑吸盘姿态变化；
步骤4：将抓取点信息输送至安装有真空吸盘的机器人系统中，机器人对抓取点进行试抓取，并将试抓取执行结果返回，同时根据抓取成功次数与待抓取物体判断是否需要重新放置待抓取物体；
步骤5：利用抓取结果在线训练可吸附性区域预测神经网络，然后重复获得图像并分块进行循环学习。
步骤2中可吸附性区域预测卷积神经网络模块具体为Resnet50结构串接U-net框架，经过训练的Resnet50网络可以输出不同尺度的特征图，然后有U-net框架网络将多尺度的特征图结合起来以输出最终可吸附性区域预测概率图，神经网络采用tensorflow1.70框架，Resnet50网络采用经ImageNet预训练后的参数，具体网络参数由tensorflow的github官网下载，在线自学习阶段固定，使其产生稳定的多尺度特征图，网络训练阶段仅调节U-net框架参数以实现不同特征图之间的有效融合，产生准确的56*56的可吸附性区域概率图；
基于概率图的吸附点选择，考虑可吸附性区域的连通性，进行一定的3*3的高斯滤波平滑处理后，取概率图的最大值作为试抓取点的图像坐标系坐标，结合对应区域深度信息，并进行坐标转换获得待抓取点的三维坐标；
在线自学习阶段，吸附点的选择引入探索机制，以平衡探索与利用问题，实现有效的学习。具体而言在吸附点选择环节，不仅仅按概率图最大概率选择，还按一定概率在概率图图像坐标系随机选择像素点作为试抓取点，具体探索概率按公式
Figure GDA0002524356140000051
确定，其中Nep为超参数控制探索概率在在线学习中的衰减速率，Nep选择为1000，nl为在线学习的次数；
根据机器人试抓取结果，抓取点在概率图中对应像素点应为“1”或者“0”，该理想值与实际预测概率值有一点误差，进对单个像素的误差反传,实现可吸附性区域预测卷积神经网络的在线训练；
记录抓取成功次数当成功次数接近20时即表明，待抓取区域目标物体不足，将目标物体重新堆放在相应区域内，以实现连续的在线学习；
可吸附性区域预测卷积神经网络的在线自学习阶段，将概率图预测等价为二值分类问题采用交叉熵作为误差函数，同时引入旋转、翻转、镜像、噪声等数据增强方法，将在线数据扩展为8个训练样本，同时作为输入进行神经网络在线学习样本，具体误差函数为：
Figure GDA0002524356140000052
其中N为8，y为执行结果反馈的理想值(“0”或者“1”)，
Figure GDA0002524356140000053
为网络预测概率实际值。采用Adam优化器进行误差反传梯度训练，其中动量参数设为0.9，学习率为5×10-5，权重正则化系数为1×10-4。
通过上述步骤及要求，物体拾取机器人可以通过2000次的在线自学习的方式获得对散乱堆放的20个圆柱物体的有效拾取。
在线自学习完成后通过对10次随意堆放的圆柱状目标物体的试验，最终成功率为92.1％，有效的实现了拾取机器人的在线自学习。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种面向机器人自主物体拾取任务的在线自学习方法，其特征在于，包括：
步骤1：将成堆放置的待拾取物体放置于RGBD相机感知区域的适当位置内，以实现视觉信息的有效感知，并根据待拾取物体位置选定有效的图像范围，根据待拾取物体大小选定对应的图像块大小并对RGB图像与深度图进行对应分块，其中分块步距选择为图像块长度的一半以保证对图像块边界区域的有效监测；
步骤2：将步骤1所得RGB图像块与对应的深度图像块，输入可吸附性区域预测卷积神经网络，获得可吸附性区域概率图；
步骤3：根据步骤2所得可吸附性区域概率图在图像坐标系下选择吸附点，然后结合吸附点对应区域的深度信息以及获得的图像坐标系与机器人操作坐标系之间的变换矩阵，获得吸附点的三维坐标；
步骤4：将抓取点信息输送至安装有真空吸盘的机器人系统中，机器人系统对抓取点进行试抓取，并将试抓取执行结果返回，同时根据抓取成功次数与待抓取物体判断是否需要重新放置待抓取物体；
步骤5：利用抓取结果在线训练所述可吸附性区域预测卷积神经网络；
所述可吸附性区域预测卷积神经网络，具体为Resnet50网络结构串接U-net框架，经过训练的Resnet50网络输出不同尺度的特征图，然后由U-net框架网络将多尺度的特征图结合起来以输出所述可吸附性区域预测概率图；
Resnet50网络采用经ImageNet预训练后的参数，并在在线自学习阶段固定，产生稳定的多尺度特征图，网络训练阶段仅调节U-net框架参数以实现不同特征图之间的有效融合，产生所述可吸附性区域预测概率图；
在线自学习阶段，吸附点的选择引入探索机制，具体是在吸附点选择环节，不仅仅按所述可吸附性区域预测概率图最大概率选择，还按设定的概率在所述可吸附性区域预测概率图的图像坐标系随机选择像素点作为试抓取点，具体探索概率p按公式
Figure FDA0002501075300000011
确定，其中Nep为超参数控制探索概率在在线学习中的衰减速率，nl为在线自学习的次数。
2.根据权利要求1所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，步骤1中选定的所述有效的图像范围与待拾取物体在图像区域位置相对应，并在上下左右分别留有余量。
3.根据权利要求1所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，图像块大小根据待拾取物体大小以及步骤2中所述可吸附性区域概率图尺寸的不同比例设定，分块步距选择为图像块长度的一半。
4.根据权利要求1所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，基于所述可吸附性区域预测概率图的吸附点选择，直接取最大值作为试抓取点，或者是，进行一定的滤波处理后，再取所述可吸附性区域预测概率图的最大值作为试抓取点。
5.根据权利要求1所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，吸附时只考虑垂直方向上的吸附动作，故仅需吸附点的三维坐标，不需要考虑姿态信息；若将抓取方向离散化，利用步骤2输出的多幅可吸附性区域预测概率图实现多方向的抓取。
6.根据权利要求1所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，根据机器人试抓取结果，抓取点在可吸附性区域预测概率图中对应像素点的理想值应为1或者0，对于理想值与实际预测概率值之间的误差，对该误差反传,实现可吸附性区域预测卷积神经网络的在线训练。
7.根据权利要求6所述的面向机器人自主物体拾取任务的在线自学习方法，其特征在于，在线自学习阶段，将可吸附性区域预测概率图的预测等价为二值分类问题采用交叉熵作为误差函数，同时引入旋转、平移、翻转、镜像、噪声这些数据增强方法，同时作为输入进行神经网络在线学习样本，具体误差函数Loss为：
Figure FDA0002501075300000021
其中N为在线学习样本数，y为执行结果反馈的理想值，
Figure FDA0002501075300000022
为网络预测概率实际值。
CN201811320388.8A 2018-11-07 2018-11-07 面向机器人自主物体拾取任务的在线自学习方法 Active CN109584298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811320388.8A CN109584298B (zh) 2018-11-07 2018-11-07 面向机器人自主物体拾取任务的在线自学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811320388.8A CN109584298B (zh) 2018-11-07 2018-11-07 面向机器人自主物体拾取任务的在线自学习方法

Publications (2)

Publication Number Publication Date
CN109584298A CN109584298A (zh) 2019-04-05
CN109584298B true CN109584298B (zh) 2020-07-28

Family

ID=65921714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811320388.8A Active CN109584298B (zh) 2018-11-07 2018-11-07 面向机器人自主物体拾取任务的在线自学习方法

Country Status (1)

Country Link
CN (1) CN109584298B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210367B (zh) * 2019-05-28 2021-11-09 达闼机器人有限公司 一种训练数据的获取方法、电子设备及存储介质
CN110315535B (zh) * 2019-06-10 2022-05-17 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN110782038A (zh) * 2019-09-27 2020-02-11 深圳蓝胖子机器人有限公司 自动标记训练样本的方法和系统及监督学习的方法和系统
CN111178299B (zh) * 2019-12-31 2023-04-07 深圳市商汤科技有限公司 图像处理方法、装置、电子设备和存储介质
CN111203878B (zh) * 2020-01-14 2021-10-01 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
CN111340886B (zh) * 2020-02-25 2023-08-15 深圳市商汤科技有限公司 检测物体的拾取点的方法及装置、设备、介质和机器人
CN112068422B (zh) * 2020-08-04 2023-04-14 广州中国科学院先进技术研究所 一种基于小样本的智能机器人的抓取学习方法及装置
CN111791239B (zh) * 2020-08-19 2022-08-19 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法
CN114723775A (zh) * 2021-01-04 2022-07-08 广州中国科学院先进技术研究所 一种基于小样本学习的机器人抓取系统及方法
CN114347028B (zh) * 2022-01-10 2023-12-22 武汉科技大学 一种基于rgb-d图像的机器人末端智能抓取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106000904B (zh) * 2016-05-26 2018-04-10 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN105964567B (zh) * 2016-05-26 2017-11-28 北京新长征天高智机科技有限公司 一种针对生活垃圾中的玻璃瓶分拣控制系统
CN107633501A (zh) * 2016-07-16 2018-01-26 深圳市得意自动化科技有限公司 机器视觉的图像识别定位方法
CN106874914B (zh) * 2017-01-12 2019-05-14 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107139179B (zh) * 2017-05-26 2020-05-29 西安电子科技大学 一种智能服务机器人及工作方法
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Also Published As

Publication number Publication date
CN109584298A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
JP6822929B2 (ja) 情報処理装置、画像認識方法および画像認識プログラム
Shao et al. Suction grasp region prediction using self-supervised learning for object picking in dense clutter
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN112802105A (zh) 对象抓取方法及装置
CN111590611B (zh) 一种基于多模态主动感知的物品分类回收方法
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
US11845191B1 (en) Robotic picking of cuboidal items from a pallet
CN110633738B (zh) 一种用于工业零件图像的快速分类方法
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
WO2023124734A1 (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN112288809B (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN113894058A (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
US20230305574A1 (en) Detecting empty workspaces for robotic material handling
CN116206101A (zh) 用于混合尺寸卸垛的算法
CN117218606B (zh) 一种逃生门检测方法、装置、存储介质及电子设备
Ghasemi et al. Scene understanding in pick-and-place tasks: Analyzing transformations between initial and final scenes
EP4401049A1 (en) Runtime assessment of suction grasp feasibility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant