CN113436293A - 一种基于条件生成式对抗网络的智能抓取图像生成方法 - Google Patents

Abstract

本发明公开一种基于条件生成式对抗网络的智能抓取图像生成方法，该方法首先构建虚实抓取环境以及条件式生成‑对抗神经网络，然后利用现有抓取数据集分别对抓取质量判别器、图像质量判别器D_PQ和生成器G进行循环迭代训练。最后由训练完成的生成器生成特定噪声的深度图像。本发明将机器人高精度机械结构与深度学习高鲁棒性的特点结合，在没有给出特定任务或者待分拣物体形状较为复杂，环境较为多变的场合，为机器人实现智能可靠的抓取行为提供数据基础。

Description

一种基于条件生成式对抗网络的智能抓取图像生成方法

技术领域

本发明属于智能制造和机器学习领域，尤其涉及一种基于条件生成式对抗网络的智能抓取图像生成方法。

背景技术

工业3.0的发展，初步的自动化机器人承担起了重复枯燥低智能的劳动，将人类解放了出来。机械臂是工业中最常见的机器人之一，目前机械臂在工业环境中甚至家庭医院中都有着广泛的应用，而抓取并移动物体，是机械臂最重要的工作之一。机械臂的优点是针对给定的任务，可以以高精度快速地完成，在物体位置和形状姿态均固定时，合理设置机械臂的动作可以高效完成抓取。但是随着工业4.0的潮流和发展，上述方法显现出以下问题：机器人不仅要求能够胜任重复的任务，更被希望能在一定程度上完成复杂任务，拥有应对环境变化的能力。当物体的摆放姿态较为凌乱时，抓取工作就会变得相当困难，即机械臂传统的开环控制对环境的变化抵抗能力基本为零，难以应对复杂智能产线下多变的环境和智能生产需求。

实现机器人智能抓取的核心是通过图像或者数字模型，从物体的描述中得到有效的抓取姿态。现有的机器人智能抓取方法可以分为数理分析和经验模型两种。数理分析方法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态，这类方法计算量较大，而且简化了很多现实世界中存在的约束，最终呈现出的泛化效果较差，计算时间较长。而经验模型方法则主要基于深度学习的方法通过数据集学习特定物体的抓取方式，其中主要是使用卷积神经网络处理物体的深度图像来预测抓取姿态。传统抓取数据集使用图片及其标定形式进行储存，一个完整的数据集需要占用数GB甚至数十GB的储存空间，难以进行储存和布置。在传统数据集的生成过程中，往往依赖于人工手动标定或者使用仿真环境进行抓取模拟从而实现自动化标定。但是这种标定过程需要耗费大量时间，且抓取模型有限，导致数据集泛化能力差。因此机器人智能抓取更需要一个轻量式、快速、稳定的数据集生成方式。

发明内容

针对现有技术的不足，本发明提供一种基于条件生成式对抗网络的智能抓取图像生成方法，具体技术方案如下：

一种基于条件生成式对抗网络的智能抓取图像生成方法，该方法包括如下步骤：

步骤一：构建抓取环境和条件式生成-对抗神经网络，所述条件式生成-对抗神经网络包括生成器和判别器，所述判别器包括抓取质量判别器D_GQ和图像质量判别器D_PQ；其中所述判别器负责判断某张深度图像是否对应一个成功的抓取姿态；所述生成器通过随机噪声作为触发器，生成固定大小的且与一个抓取姿态对应的深度图像；

步骤二：利用现有抓取数据集初次训练抓取质量判别器D_GQ，再使用现有抓取数据集同时训练图像质量判别器D_PQ和生成器G，训练过程中，定期通过初次训练抓取质量判别器D_GQ和当前图像质量判别器D_PQ对生成器G进行打分，进行生成器的训练；并使用训练后的生成器生成的深度图像再次训练训练抓取质量判别器D_GQ；

步骤三：将待测试的随机噪声和抓取质量输入训练完成后的生成器G，输出对应的深度图像。

进一步地，所述抓取环境包括物理抓取环境和虚拟抓取环境；

所述物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合；所述虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递，结合仿真软件所构建的虚拟抓取环境，包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息；进行抓取时，抓取自由度为三维空间平动以及绕相机z轴的旋转；抓取时机械爪垂直于图像平面，且绕z轴旋转角度为0，夹爪闭合方向与图像x轴平行。

进一步地，所述步骤二具体通过如下子步骤来实现：

(1)首先使用现有抓取数据集初次训练抓取质量判别器P_GQ；

将现有抓取深度图像P∈R^m×m及每张深度图像对应的抓取标签Q∈R^1×1输入抓取质量判别器D_GQ对应的神经网络中，使用交叉熵作为损失函数，对该网络进行训练；其中，Q为0或1；所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离，即沿相机z轴距离；

(2)使用现有抓取数据集同时训练图像质量判别器D_PQ和生成器G；

将随机噪声Z进行预处理后，并和给定的抓取质量Q一起输入生成器G对应的神经网络中，输出深度图像；将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器D_PQ对应的神经网络中，使用交叉熵作为损失函数，对该神经网络进行训练；且每间隔设定的训练步数，使用当前的图像质量判别器D_pq和初次训练完成的抓取质量判别器D_GQ对当前的生成器的生成结果共同打分，基于反向传播的法则，对当前的生成器内部参数进行调整，进行生成器的训练；

(3)最后使用训练后的生成器G产生数据集，再对初次训练后的抓取质量判别器D_GQ进行二次训练；

(4)使用二次训练后的抓取质量判别器D_GQ在虚拟环境和真实环境中进行模拟抓取，进行不同物体的抓取规划和执行，并基于抓取仿真和实测结果将采集到的深度图像进行标定，扩充至初始数据集，得到扩充后的数据集；

(5)使用扩充后的数据集继续重复执行步骤(2)-(4)，最终得到训练后的生成器G。

进一步地，所述步骤三具体通过如下的子步骤来实现：

将待测试的随机噪声进行和训练时的随机噪声相同的预处理后，和抓取质量一起输入训练后的生成器G，得到对应的深度图像。

进一步地，所述抓取质量判别器D_GQ、图像质量判别器D_PQ和生成器G均选用全卷积神经网络。

本发明的有益效果如下：

(1)基于条件式生成-对抗网络，通过对现有抓取数据集的学习，结合应用级数字孪生抓取场景的模拟，可以实现对抓取场景的编码化、数字化，构建真正意义上的抓取数字孪生空间。本发明采用数字孪生方法进行虚实空间的数据交互，确保了多维数据传输的真实性和可靠性。通过对真实环境和虚拟环境的抓取碰撞、虚实环境中的物体分布以及抓取姿态学习，模拟真实可靠的抓取环境。

(2)基于条件生成-对抗网络构建出抓取数据集生成方式，针对抓取物体几何形状泛化性能优异，可以实现复杂形状甚至现实世界中未曾出现的抓取物体几何形状生成；相比于传统抓取数据集模型更轻量化，更易于布置和使用；数据集容量大，通过随机噪声可以生成数量极高的抓取图像，提高深度神经网络的学习可靠性。

(3)本发明的智能抓取方法利用大量已知的数据，即机器人环境和需要夹取的物体和夹取方法，基于深度学习总结数据分布规律，得到数据特征从而将已知的物体特征泛化到更广泛的物体类别中去，使得生成网络能够生成不同抓取质量、不同几何形状的抓取图片。将机器人高精度机械结构与深度学习高鲁棒性的特点结合，在没有给出特定任务或者待分拣物体形状较为复杂，环境较为多变的场合，为机器人实现智能可靠的抓取行为提供数据基础。

附图说明

图1为本发明的基于条件生成式对抗网络的智能抓取图像生成方法示意图；

图2为物理环境与虚拟环境建模示意图；

图3为抓取质量判断器对应的神经网络结构；

图4为网络训练数据集示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所述，本发明的基于条件生成式对抗网络的智能抓取图像生成方法，如图1所示，包括：

(一)构建抓取环境和条件式生成-对抗神经网络；

其中，抓取环境包括物理抓取环境和虚拟抓取环境；如图2所示，物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合。如图3所示，虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递，结合仿真软件所构建的虚拟抓取环境，包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息；进行抓取时，抓取自由度为三维空间平动以及绕相机z轴的旋转；抓取时机械爪垂直于图像平面，且绕z轴旋转角度为0，夹爪闭合方向与图像x轴平行。

条件式生成-对抗神经网络包括生成器和判别器，判别器又包括抓取质量判别器D_GQ和图像质量判别器D_PQ；其中判别器负责判断某张深度图像是否对应一个成功的抓取姿态；所述生成器通过随机噪声作为触发器，生成固定大小的且与一个抓取姿态对应的深度图像。

(二)条件式生成-对抗神经网络的训练

(1)首先使用现有抓取数据集初次训练抓取质量判别器D_GQ；

将现有抓取深度图像P∈R^m×m及每张深度图像对应的抓取标签Q∈R^1×1输入抓取质量判别器D_GQ对应的神经网络中，使用交叉熵作为损失函数，对该网络进行训练；其中，抓取标签Q为0或1，0代表未抓取成功，1代表抓取成功。所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离，即沿相机z轴距离；其中，抓取质量判别器D_GQ对应的神经网络如图3所示。该网络的输入为深度图像P，输出为抓取质量Q∈R^1×1。如公式(1)所示，

为交叉熵损失函数，训练抓取质量判别器D_GQ的训练目的是寻找最优的网络内部参数θ使预测抓取质量和真实抓取质量之间交叉熵损失最小，也即网络能够通过给出的深度图像判别这次抓取的成功概率。

使用全卷积神经网络设计抓取质量判别器D_gq，对于每一张输入图片p₀∈R^n×n，n＞m，抓取质量判别器D_GQ会将P₀视作多个m*m的抓取深度图片平铺组合成的一张抓取集合。通过取网络输出的最大值，可以实现从一张图片中搜索抓取和选择抓取的任务。

(2)使用现有抓取数据集同时训练图像质量判别器D_PQ和生成器G；

将随机噪声Z进行预处理后，并和给定的抓取质量Q一起输入生成器G对应的神经网络中，神经网络会输出一张深度图像；将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器D_PQ对应的神经网络中，使用交叉熵作为损失函数，对该神经网络进行训练；且每间隔设定的训练步数，使用当前的图像质量判别器D_PQ和初次训练完成的抓取质量判别器D_GQ对当前的生成器的生成结果共同打分，基于反向传播的法则，对当前的生成器内部参数进行调整，进行生成器的训练。

图像质量判别器D_PQ以生成器的输出以及已有抓取数据集作为输入，判断输入图像属于已有数据集或是属于生成器生成结果。如下面的公式中所示，生成器G通过给定的噪声信号z和规定的抓取质量Q，生成对应的深度图像P；图像质量判别器D_PQ负责判断生成器G给出的图像中是否描述了某一个物体或物体一部分的几何形状，即是否符合现有数据集的物体形状分布规律；抓取质量判别器D_GQ负责判断生成器G给出的图像中对应的抓取方式能否将该物体进行成功抓取，即抓取质量Q是否能够很好地控制生成器G给出的深度图像。

(3)在图像质量判别器D_PQ和生成器G的训练达到平衡后，即图像质量判别器D_PQ不能很好地区分G生成的图片和原始数据集中的图片后，最后使用训练后的生成器G产生数据集，再对初次训练后的抓取质量判别器D_GQ进行二次训练，以提升D_GQ对抓取质量的判别效果。

(4)使用二次训练后的抓取质量判别器D_GQ在虚拟环境和真实环境中进行模拟抓取，进行不同物体的抓取规划和执行，并基于抓取仿真和实测结果将采集到的深度图像进行标定，扩充至初始数据集，得到扩充后的数据集；

(5)使用扩充后的数据集继续重复执行步骤(2)-(4)，最终得到训练后的生成器G。

步骤三：将待测试的随机噪声和抓取质量输入训练完成后的生成器G，输出对应的深度图像。

图2示意出了本发明的方法所依赖的其中一种物理和虚拟环境，机器人采用6轴协作机器人，深度相机可以获取彩色图片和2.5D深度点云信息。待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上，即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态，通过相机坐标系到工具坐标系的手眼标定，可以获取深度相机的位置和姿态，从而确定当前物理环境中主要硬件的姿态和工作状态，并得到待抓取物体摆放的相关点云信息。虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递，基于仿真软件所构建的虚拟抓取环境，包括仿真机器人、夹爪、深度相机以及物体集合信息。所述虚拟抓取判别环境中机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态；夹爪状态包括当前夹爪开度以及夹爪工作状态；深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个自由度；物体摆放信息为物体集合相对于相机坐标系的位置和姿态。

在虚拟环境与真实环境中，结合抓取环境中相机姿态、机器人姿态，以及相机内参，可以将抓取质量判断网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。并依据抓取结果，将拍摄到的深度图片及其抓取标签补充到初始数据集中去。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于条件生成式对抗网络的智能抓取图像生成方法，其特征在于，该方法包括如下步骤：

步骤一：构建抓取环境和条件式生成-对抗神经网络，所述条件式生成-对抗神经网络包括生成器和判别器，所述判别器包括抓取质量判别器D_GQ和图像质量判别器D_PQ；其中所述判别器负责判断某张深度图像是否对应一个成功的抓取姿态；所述生成器通过随机噪声作为触发器，生成固定大小的且与一个抓取姿态对应的深度图像；

步骤二：利用现有抓取数据集初次训练抓取质量判别器D_GQ，再使用现有抓取数据集同时训练图像质量判别器D_PQ和生成器G，训练过程中，定期通过初次训练抓取质量判别器D_GQ和当前图像质量判别器D_PQ对生成器G进行打分，进行生成器的训练；并使用训练后的生成器生成的深度图像再次训练训练抓取质量判别器D_GQ；

步骤三：将待测试的随机噪声和抓取质量输入训练完成后的生成器G，输出对应的深度图像。

2.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法，其特征在于，所述抓取环境包括物理抓取环境和虚拟抓取环境；

所述物理抓取环境包括物理机器人、二指平行机械爪、深度相机以及待抓取物体集合；所述虚拟抓取环境为上位机通过与物理硬件进行虚实信息传递，结合仿真软件所构建的虚拟抓取环境，包括虚拟机器人、虚拟二指平行机械爪、虚拟相机姿态以及待抓取物体几何信息；进行抓取时，抓取自由度为三维空间平动以及绕相机z轴的旋转；抓取时机械爪垂直于图像平面，且绕z轴旋转角度为0，夹爪闭合方向与图像x轴平行。

3.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法，其特征在于，所述步骤二具体通过如下子步骤来实现：

(1)首先使用现有抓取数据集初次训练抓取质量判别器D_GQ；

将现有抓取深度图像P∈R^m×m及每张深度图像对应的抓取标签Q∈R^1×1输入抓取质量判别器D_GQ对应的神经网络中，使用交叉熵作为损失函数，对该网络进行训练；其中，Q为0或1；所述现有抓取深度图像中每一个像素点描述的深度值为该点对应的物理实体到抓取点的垂直距离，即沿相机z轴距离；

(2)使用现有抓取数据集同时训练图像质量判别器D_PQ和生成器G；

将随机噪声Z进行预处理后，并和给定的抓取质量Q一起输入生成器G对应的神经网络中，输出深度图像；将生成器输出的深度图像、原始深度图像以及图像来源标签输入图像质量判别器D_PQ对应的神经网络中，使用交叉熵作为损失函数，对该神经网络进行训练；且每间隔设定的训练步数，使用当前的图像质量判别器D_PQ和初次训练完成的抓取质量判别器D_GQ对当前的生成器的生成结果共同打分，基于反向传播的法则，对当前的生成器内部参数进行调整，进行生成器的训练；

(3)最后使用训练后的生成器G产生数据集，再对初次训练后的抓取质量判别器D_GQ进行二次训练；

(4)使用二次训练后的抓取质量判别器D_GQ在虚拟环境和真实环境中进行模拟抓取，进行不同物体的抓取规划和执行，并基于抓取仿真和实测结果将采集到的深度图像进行标定，扩充至初始数据集，得到扩充后的数据集；

(5)使用扩充后的数据集继续重复执行步骤(2)-(4)，最终得到训练后的生成器G。

4.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法，其特征在于，所述步骤三具体通过如下的子步骤来实现：

将待测试的随机噪声进行和训练时的随机噪声相同的预处理后，和抓取质量一起输入训练后的生成器G，得到对应的深度图像。

5.根据权利要求1所述的基于条件生成式对抗网络的智能抓取图像生成方法，其特征在于，所述抓取质量判别器D_GQ、图像质量判别器D_PQ和生成器G均选用全卷积神经网络。

Images