CN113436293B - 一种基于条件生成式对抗网络的智能抓取图像生成方法 - Google Patents
一种基于条件生成式对抗网络的智能抓取图像生成方法 Download PDFInfo
- Publication number
- CN113436293B CN113436293B CN202110789752.0A CN202110789752A CN113436293B CN 113436293 B CN113436293 B CN 113436293B CN 202110789752 A CN202110789752 A CN 202110789752A CN 113436293 B CN113436293 B CN 113436293B
- Authority
- CN
- China
- Prior art keywords
- grabbing
- generator
- image
- training
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于条件生成式对抗网络的智能抓取图像生成方法,该方法首先构建虚实抓取环境以及条件式生成‑对抗神经网络,然后利用现有抓取数据集分别对抓取质量判别器、图像质量判别器DPQ和生成器G进行循环迭代训练。最后由训练完成的生成器生成特定噪声的深度图像。本发明将机器人高精度机械结构与深度学习高鲁棒性的特点结合,在没有给出特定任务或者待分拣物体形状较为复杂,环境较为多变的场合,为机器人实现智能可靠的抓取行为提供数据基础。
Description
技术领域
本发明属于智能制造和机器学习领域,尤其涉及一种基于条件生成式对抗网络的智能抓取图像生成方法。
背景技术
工业3.0的发展,初步的自动化机器人承担起了重复枯燥低智能的劳动,将人类解放了出来。机械臂是工业中最常见的机器人之一,目前机械臂在工业环境中甚至家庭医院中都有着广泛的应用,而抓取并移动物体,是机械臂最重要的工作之一。机械臂的优点是针对给定的任务,可以以高精度快速地完成,在物体位置和形状姿态均固定时,合理设置机械臂的动作可以高效完成抓取。但是随着工业4.0的潮流和发展,上述方法显现出以下问题:机器人不仅要求能够胜任重复的任务,更被希望能在一定程度上完成复杂任务,拥有应对环境变化的能力。当物体的摆放姿态较为凌乱时,抓取工作就会变得相当困难,即机械臂传统的开环控制对环境的变化抵抗能力基本为零,难以应对复杂智能产线下多变的环境和智能生产需求。
实现机器人智能抓取的核心是通过图像或者数字模型,从物体的描述中得到有效的抓取姿态。现有的机器人智能抓取方法可以分为数理分析和经验模型两种。数理分析方法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态,这类方法计算量较大,而且简化了很多现实世界中存在的约束,最终呈现出的泛化效果较差,计算时间较长。而经验模型方法则主要基于深度学习的方法通过数据集学习特定物体的抓取方式,其中主要是使用卷积神经网络处理物体的深度图像来预测抓取姿态。传统抓取数据集使用图片及其标定形式进行储存,一个完整的数据集需要占用数GB甚至数十GB的储存空间,难以进行储存和布置。在传统数据集的生成过程中,往往依赖于人工手动标定或者使用仿真环境进行抓取模拟从而实现自动化标定。但是这种标定过程需要耗费大量时间,且抓取模型有限,导致数据集泛化能力差。因此机器人智能抓取更需要一个轻量式、快速、稳定的数据集生成方式。
发明内容
针对现有技术的不足,本发明提供一种基于条件生成式对抗网络的智能抓取图像生成方法,具体技术方案如下:
一种基于条件生成式对抗网络的智能抓取图像生成方法,该方法包括如下步骤:
步骤一:构建抓取环境和条件式生成-对抗神经网络,所述条件式生成-对抗神经网络包括生成器和判别器,所述判别器包括抓取质量判别器DGQ和图像质量判别器DPQ;其中所述判别器负责判断某张深度图像是否对应一个成功的抓取姿态;所述生成器通过随机噪声作为触发器,生成固定大小的且与一个抓取姿态对应的深度图像;
步骤二:利用现有抓取数据集初次训练抓取质量判别器DGQ,再使用现有抓取数据集同时训练图像质量判别器DPQ和生成器G,训练过程中,定期通过初次训练抓取质量判别器DGQ和当前图像质量判别器DPQ对生成器G进行打分,进行生成器的训练;并使用训练后的生成器生成的深度图像再次训练训练抓取质量判别器DGQ;
步骤三:将待测试的随机噪声和抓取质量输入训练完成后的生成器G,输出对应的深度图像。
进一步地,所述抓取环境包括物理抓取环境和虚拟抓取环境;
所述物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合;所述虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递,结合仿真软件所构建的虚拟抓取环境,包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息;进行抓取时,抓取自由度为三维空间平动以及绕相机z轴的旋转;抓取时机械爪垂直于图像平面,且绕z轴旋转角度为0,夹爪闭合方向与图像x轴平行。
进一步地,所述步骤二具体通过如下子步骤来实现:
(1)首先使用现有抓取数据集初次训练抓取质量判别器PGQ;
将现有抓取深度图像P∈Rm×m及每张深度图像对应的抓取标签Q∈R1×1输入抓取质量判别器DGQ对应的神经网络中,使用交叉熵作为损失函数,对该网络进行训练;其中,Q为0或1;所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离,即沿相机z轴距离;
(2)使用现有抓取数据集同时训练图像质量判别器DPQ和生成器G;
将随机噪声Z进行预处理后,并和给定的抓取质量Q一起输入生成器G对应的神经网络中,输出深度图像;将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器DPQ对应的神经网络中,使用交叉熵作为损失函数,对该神经网络进行训练;且每间隔设定的训练步数,使用当前的图像质量判别器Dpq和初次训练完成的抓取质量判别器DGQ对当前的生成器的生成结果共同打分,基于反向传播的法则,对当前的生成器内部参数进行调整,进行生成器的训练;
(3)最后使用训练后的生成器G产生数据集,再对初次训练后的抓取质量判别器DGQ进行二次训练;
(4)使用二次训练后的抓取质量判别器DGQ在虚拟环境和真实环境中进行模拟抓取,进行不同物体的抓取规划和执行,并基于抓取仿真和实测结果将采集到的深度图像进行标定,扩充至初始数据集,得到扩充后的数据集;
(5)使用扩充后的数据集继续重复执行步骤(2)-(4),最终得到训练后的生成器G。
进一步地,所述步骤三具体通过如下的子步骤来实现:
将待测试的随机噪声进行和训练时的随机噪声相同的预处理后,和抓取质量一起输入训练后的生成器G,得到对应的深度图像。
进一步地,所述抓取质量判别器DGQ、图像质量判别器DPQ和生成器G均选用全卷积神经网络。
本发明的有益效果如下:
(1)基于条件式生成-对抗网络,通过对现有抓取数据集的学习,结合应用级数字孪生抓取场景的模拟,可以实现对抓取场景的编码化、数字化,构建真正意义上的抓取数字孪生空间。本发明采用数字孪生方法进行虚实空间的数据交互,确保了多维数据传输的真实性和可靠性。通过对真实环境和虚拟环境的抓取碰撞、虚实环境中的物体分布以及抓取姿态学习,模拟真实可靠的抓取环境。
(2)基于条件生成-对抗网络构建出抓取数据集生成方式,针对抓取物体几何形状泛化性能优异,可以实现复杂形状甚至现实世界中未曾出现的抓取物体几何形状生成;相比于传统抓取数据集模型更轻量化,更易于布置和使用;数据集容量大,通过随机噪声可以生成数量极高的抓取图像,提高深度神经网络的学习可靠性。
(3)本发明的智能抓取方法利用大量已知的数据,即机器人环境和需要夹取的物体和夹取方法,基于深度学习总结数据分布规律,得到数据特征从而将已知的物体特征泛化到更广泛的物体类别中去,使得生成网络能够生成不同抓取质量、不同几何形状的抓取图片。将机器人高精度机械结构与深度学习高鲁棒性的特点结合,在没有给出特定任务或者待分拣物体形状较为复杂,环境较为多变的场合,为机器人实现智能可靠的抓取行为提供数据基础。
附图说明
图1为本发明的基于条件生成式对抗网络的智能抓取图像生成方法示意图;
图2为物理环境与虚拟环境建模示意图;
图3为抓取质量判断器对应的神经网络结构;
图4为网络训练数据集示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所述,本发明的基于条件生成式对抗网络的智能抓取图像生成方法,如图1所示,包括:
(一)构建抓取环境和条件式生成-对抗神经网络;
其中,抓取环境包括物理抓取环境和虚拟抓取环境;如图2所示,物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合。如图3所示,虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递,结合仿真软件所构建的虚拟抓取环境,包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息;进行抓取时,抓取自由度为三维空间平动以及绕相机z轴的旋转;抓取时机械爪垂直于图像平面,且绕z轴旋转角度为0,夹爪闭合方向与图像x轴平行。
条件式生成-对抗神经网络包括生成器和判别器,判别器又包括抓取质量判别器DGQ和图像质量判别器DPQ;其中判别器负责判断某张深度图像是否对应一个成功的抓取姿态;所述生成器通过随机噪声作为触发器,生成固定大小的且与一个抓取姿态对应的深度图像。
(二)条件式生成-对抗神经网络的训练
(1)首先使用现有抓取数据集初次训练抓取质量判别器DGQ;
将现有抓取深度图像P∈Rm×m及每张深度图像对应的抓取标签Q∈R1×1输入抓取质量判别器DGQ对应的神经网络中,使用交叉熵作为损失函数,对该网络进行训练;其中,抓取标签Q为0或1,0代表未抓取成功,1代表抓取成功。所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离,即沿相机z轴距离;其中,抓取质量判别器DGQ对应的神经网络如图3所示。该网络的输入为深度图像P,输出为抓取质量Q∈R1×1。如公式(1)所示,为交叉熵损失函数,训练抓取质量判别器DGQ的训练目的是寻找最优的网络内部参数θ使预测抓取质量和真实抓取质量之间交叉熵损失最小,也即网络能够通过给出的深度图像判别这次抓取的成功概率。
使用全卷积神经网络设计抓取质量判别器Dgq,对于每一张输入图片p0∈Rn×n,n>m,抓取质量判别器DGQ会将P0视作多个m*m的抓取深度图片平铺组合成的一张抓取集合。通过取网络输出的最大值,可以实现从一张图片中搜索抓取和选择抓取的任务。
(2)使用现有抓取数据集同时训练图像质量判别器DPQ和生成器G;
将随机噪声Z进行预处理后,并和给定的抓取质量Q一起输入生成器G对应的神经网络中,神经网络会输出一张深度图像;将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器DPQ对应的神经网络中,使用交叉熵作为损失函数,对该神经网络进行训练;且每间隔设定的训练步数,使用当前的图像质量判别器DPQ和初次训练完成的抓取质量判别器DGQ对当前的生成器的生成结果共同打分,基于反向传播的法则,对当前的生成器内部参数进行调整,进行生成器的训练。
图像质量判别器DPQ以生成器的输出以及已有抓取数据集作为输入,判断输入图像属于已有数据集或是属于生成器生成结果。如下面的公式中所示,生成器G通过给定的噪声信号z和规定的抓取质量Q,生成对应的深度图像P;图像质量判别器DPQ负责判断生成器G给出的图像中是否描述了某一个物体或物体一部分的几何形状,即是否符合现有数据集的物体形状分布规律;抓取质量判别器DGQ负责判断生成器G给出的图像中对应的抓取方式能否将该物体进行成功抓取,即抓取质量Q是否能够很好地控制生成器G给出的深度图像。
(3)在图像质量判别器DPQ和生成器G的训练达到平衡后,即图像质量判别器DPQ不能很好地区分G生成的图片和原始数据集中的图片后,最后使用训练后的生成器G产生数据集,再对初次训练后的抓取质量判别器DGQ进行二次训练,以提升DGQ对抓取质量的判别效果。
(4)使用二次训练后的抓取质量判别器DGQ在虚拟环境和真实环境中进行模拟抓取,进行不同物体的抓取规划和执行,并基于抓取仿真和实测结果将采集到的深度图像进行标定,扩充至初始数据集,得到扩充后的数据集;
(5)使用扩充后的数据集继续重复执行步骤(2)-(4),最终得到训练后的生成器G。
步骤三:将待测试的随机噪声和抓取质量输入训练完成后的生成器G,输出对应的深度图像。
图2示意出了本发明的方法所依赖的其中一种物理和虚拟环境,机器人采用6轴协作机器人,深度相机可以获取彩色图片和2.5D深度点云信息。待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上,即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态,通过相机坐标系到工具坐标系的手眼标定,可以获取深度相机的位置和姿态,从而确定当前物理环境中主要硬件的姿态和工作状态,并得到待抓取物体摆放的相关点云信息。虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递,基于仿真软件所构建的虚拟抓取环境,包括仿真机器人、夹爪、深度相机以及物体集合信息。所述虚拟抓取判别环境中机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态;夹爪状态包括当前夹爪开度以及夹爪工作状态;深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态,共6个自由度;物体摆放信息为物体集合相对于相机坐标系的位置和姿态。
在虚拟环境与真实环境中,结合抓取环境中相机姿态、机器人姿态,以及相机内参,可以将抓取质量判断网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态,转化到机器人基坐标系下的3D抓取姿态,并控制机器人和机械爪完成对物体的抓取。并依据抓取结果,将拍摄到的深度图片及其抓取标签补充到初始数据集中去。
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (4)
1.一种基于条件生成式对抗网络的智能抓取图像生成方法,其特征在于,该方法包括如下步骤:
步骤一:构建抓取环境和条件式生成-对抗神经网络,所述条件式生成-对抗神经网络包括生成器和判别器,所述判别器包括抓取质量判别器和图像质量判别器;其中所述判别器负责判断某张深度图像是否对应一个成功的抓取姿态;所述生成器通过随机噪声作为触发器,生成固定大小的且与一个抓取姿态对应的深度图像;
步骤二:利用现有抓取数据集初次训练抓取质量判别器,再使用现有抓取数据集同时训练图像质量判别器和生成器G,训练过程中,定期通过初次训练抓取质量判别器和当前图像质量判别器对生成器G进行打分,进行生成器的训练;并使用训练后的生成器生成的深度图像再次训练训练抓取质量判别器;
所述步骤二具体通过如下子步骤来实现:
将现有抓取深度图像及每张深度图像对应的抓取标签输入抓取质量判别器对应的神经网络中,使用交叉熵作为损失函数,对该网络进行训练;其中,Q为0或1;所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离,即沿相机z轴距离;
将随机噪声Z进行预处理后,并和给定的抓取质量Q一起输入生成器G对应的神经网络中,输出深度图像;将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器对应的神经网络中,使用交叉熵作为损失函数,对该神经网络进行训练;且每间隔设定的训练步数,使用当前的图像质量判别器和初次训练完成的抓取质量判别器对当前的生成器的生成结果共同打分,基于反向传播的法则,对当前的生成器内部参数进行调整,进行生成器的训练;
(5)使用扩充后的数据集继续重复执行步骤(2)-(4),最终得到训练后的生成器G;
步骤三:将待测试的随机噪声和抓取质量输入训练完成后的生成器G,输出对应的深度图像。
2.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法,其特征在于,所述抓取环境包括物理抓取环境和虚拟抓取环境;
所述物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合;所述虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递,结合仿真软件所构建的虚拟抓取环境,包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息;进行抓取时,抓取自由度为三维空间平动以及绕相机z轴的旋转;抓取时机械爪垂直于图像平面,且绕z轴旋转角度为0,夹爪闭合方向与图像x轴平行。
3.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法,其特征在于,所述步骤三具体通过如下的子步骤来实现:
将待测试的随机噪声进行和训练时的随机噪声相同的预处理后,和抓取质量一起输入训练后的生成器G,得到对应的深度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110789752.0A CN113436293B (zh) | 2021-07-13 | 2021-07-13 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110789752.0A CN113436293B (zh) | 2021-07-13 | 2021-07-13 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436293A CN113436293A (zh) | 2021-09-24 |
CN113436293B true CN113436293B (zh) | 2022-05-03 |
Family
ID=77760152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110789752.0A Active CN113436293B (zh) | 2021-07-13 | 2021-07-13 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436293B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116416444B (zh) * | 2021-12-29 | 2024-04-16 | 广东美的白色家电技术创新中心有限公司 | 物体抓取点估计、模型训练及数据生成方法、装置及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
CN109190688A (zh) * | 2018-08-16 | 2019-01-11 | 上海发那科机器人有限公司 | 一种分拣模型生成方法 |
CN110695995A (zh) * | 2019-10-11 | 2020-01-17 | 星际(重庆)智能装备技术研究院有限公司 | 一种基于深度学习的机器人书法方法 |
JP2020082315A (ja) * | 2018-11-29 | 2020-06-04 | オムロン株式会社 | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム |
CN111738261A (zh) * | 2020-06-30 | 2020-10-02 | 张辉 | 基于位姿估计和校正的单图像机器人无序目标抓取方法 |
CN112297013A (zh) * | 2020-11-11 | 2021-02-02 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9914213B2 (en) * | 2016-03-03 | 2018-03-13 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
US20200074230A1 (en) * | 2018-09-04 | 2020-03-05 | Luminar Technologies, Inc. | Automatically generating training data for a lidar using simulated vehicles in virtual space |
US20210081791A1 (en) * | 2019-09-13 | 2021-03-18 | Osaro | Computer-Automated Robot Grasp Depth Estimation |
-
2021
- 2021-07-13 CN CN202110789752.0A patent/CN113436293B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
CN109190688A (zh) * | 2018-08-16 | 2019-01-11 | 上海发那科机器人有限公司 | 一种分拣模型生成方法 |
JP2020082315A (ja) * | 2018-11-29 | 2020-06-04 | オムロン株式会社 | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム |
CN110695995A (zh) * | 2019-10-11 | 2020-01-17 | 星际(重庆)智能装备技术研究院有限公司 | 一种基于深度学习的机器人书法方法 |
CN111738261A (zh) * | 2020-06-30 | 2020-10-02 | 张辉 | 基于位姿估计和校正的单图像机器人无序目标抓取方法 |
CN112297013A (zh) * | 2020-11-11 | 2021-02-02 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
Non-Patent Citations (3)
Title |
---|
Deep Learning with Experience Ranking Convolutional Neural Network for Robot Manipulator;Hai Nguyen;《computer science》;20180916;第1-7页 * |
基于多模特征深度学习的机器人抓取判别方法;仲训杲等;《自动化学报》;20160715(第07期);第60-67页 * |
基于对抗神经网络和神经网络模型的筒子纱抓取方法;金守峰等;《毛纺科技》;20200116(第01期);第83-88页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113436293A (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112297013B (zh) | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 | |
Johns et al. | Deep learning a grasp function for grasping under gripper pose uncertainty | |
CN108656107B (zh) | 一种基于图像处理的机械臂抓取系统及方法 | |
Popović et al. | A strategy for grasping unknown objects based on co-planarity and colour information | |
CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
JP5835926B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN112070818A (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
CN109531584A (zh) | 一种基于深度学习的机械臂控制方法和装置 | |
CN111085997A (zh) | 基于点云获取和处理的抓取训练方法及系统 | |
CN113370217B (zh) | 基于深度学习的物体姿态识别和抓取的智能机器人的方法 | |
Aleotti et al. | Perception and grasping of object parts from active robot exploration | |
JP2022187984A (ja) | モジュール化ニューラルネットワークを用いた把持学習 | |
CN116249607A (zh) | 用于机器人抓取三维物体的方法和装置 | |
JP2022187983A (ja) | 高次元のロボット作業を学習するためのネットワークモジュール化 | |
Dyrstad et al. | Grasping virtual fish: A step towards robotic deep learning from demonstration in virtual reality | |
Kent et al. | Crowdsourcing the construction of a 3d object recognition database for robotic grasping | |
CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 | |
CN114211490B (zh) | 一种基于Transformer模型的机械臂抓手位姿预测方法 | |
CN114131603A (zh) | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 | |
Konrad et al. | VGQ-CNN: Moving Beyond Fixed Cameras and Top-Grasps for Grasp Quality Prediction | |
CN115284279A (zh) | 一种基于混叠工件的机械臂抓取方法、装置及可读介质 | |
Fang et al. | A pick-and-throw method for enhancing robotic sorting ability via deep reinforcement learning | |
Patzelt et al. | Conditional stylegan for grasp generation | |
Drögemüller et al. | Automatic generation of realistic training data for learning parallel-jaw grasping from synthetic stereo images | |
Zhang et al. | Robotic grasp detection using effective graspable feature selection and precise classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |