CN116985141B - 一种基于深度学习的工业机器人智能控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的工业机器人智能控制方法及系统，属于机器人领域，方法包括：通过预训练的网络模型从彩色图像中识别目标物体；从深度图像中提取目标物体的深度信息；从目标物体的深度图中确定目标物体的边缘，并随机生成若干个预抓取点；对预抓取点进行优化，获得最优抓取点；根据最优抓取点确定与其相对应的目标物体的边缘点法线，生成抓取参数；根据目标物体的深度图获得目标物体的点云数据，再通过点云拟合算法对其进行处理，获得目标物体的表面法向量；将目标物体的表面法向量与抓取参数融合，生成适配于工业机器人的末端抓取位姿。本发明方案充分考虑了目标物体的外观形态及放置姿态对抓取动作的影响，提高了抓取成功率。

Description

一种基于深度学习的工业机器人智能控制方法及系统

技术领域

本发明涉及机器人领域，特别涉及一种基于深度学习的工业机器人智能控制方法及系统。

背景技术

随着技术的进步，机器人已经被应用到军工、医疗、服务等行业，越来越多的研究人员开始对机器人问题展开研究。由于机器人的应用环境的变的越来越复杂，人们对机械臂动作功能的多样性和行为的灵活性提出的要求也越来越高。

抓取是这些工业机器人的一项必备能力，机器人通过识别和操纵物体实现与工作环境的交互。为了实现良好的抓取动作，工业机器人通常至少包括机械臂以及安装在机械臂末端的末端夹爪，机械臂是通过模拟人的手臂来设计的多自由度机械结构，机械臂的任务是将末端夹爪送到合适的位置，然后由末端夹爪具体执行抓取动作。对于人类来说，对物体的视觉识别和操纵是一项相对简单的任务，但是对于工业机器人来说，自主抓取是一项具有极高挑战性的任务，这涉及到感知、控制等多方面的技术。

现有技术中，为使工业机器人能够稳定地完成抓取动作，通常会为工业机器人提供结构化场景，即先行将待抓取目标按照预定的位姿放置在生产线上，在此情况下，工业机器人只需要进行调试，即可按照设定的程序进行机械式的抓取动作，此种方式简单易操作。然而当目标物体出现外形或位置的变化时，则工业机器人的抓取工作就会出现失败。

而在非结构化场景中，工业机器人则需要借助视觉系统自行感知待抓取目标的实时位置，并理解背景环境，计算抓取位姿，然后才能够执行抓取动作。因此，在工业机器人工作过程中，能否准确的对目标物体进行准确的检测尤为重要。

近年来，卷积神经网络在目标检测领域表现亮眼，目标检测又恰好可以应用在工业机器人抓取技术中，所以基于卷积神经网络的目标检测算法已经成为工业机器人抓取领域的重点研究的方向，相关检测算法已经在工业机器人抓取任务中取得较好的效果。

然而随着工业机器人的应用范围愈发广泛，其需要抓取的目标物体的类别和几何形状也愈发繁多，基于此，如何从获得目标检测结果到生成适配于工业机器人的抓取姿势的步骤则至关重要，这直接关系到工业机器人能否成功抓取到目标物体。而现有技术中，仅是单纯的用目标物体的几何中心点坐标来指引工业机器人的末端夹爪，这显然存在简单粗暴的缺点，没有充分考虑到不同目标物体的外观形态对抓取成功率的影响。

发明内容

针对现有技术存在的工业机器人执行抓取作业时未充分考虑目标物体外观形态的问题，本发明的目的在于提供一种基于深度学习的工业机器人智能控制方法及系统，以便于至少部分地解决上述问题。

为实现上述目的，本发明的技术方案为：

第一方面，本发明提供一种基于深度学习的工业机器人智能控制方法，所述方法包括以下步骤：

通过相机获取目标区域的彩色图像和深度图像，并对齐保存；

通过预训练的Mask R-CNN 网络模型对所述彩色图像进行处理，获得目标物体的掩膜；

从所述深度图像中提取与所述目标物体的掩膜相适配的深度信息，生成目标物体的深度图；

从所述目标物体的深度图中确定所述目标物体的边缘，并在所述目标物体的边缘内部随机生成若干个预抓取点；

从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，获得优选抓取点；

根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点；

根据所述最优抓取点，确定与其相对应的所述目标物体的边缘点法线，并生成抓取参数；

根据所述目标物体的深度图获得所述目标物体的点云数据，再通过点云拟合算法对所述目标物体的点云数据进行处理，获得所述目标物体的表面法向量；

将所述目标物体的表面法向量与所述抓取参数融合，生成适配于所述工业机器人的末端抓取位姿。

在一优选示例中，所述相机为Kinect v2相机。

在一优选示例中，在从目标物体的深度图中确定目标物体的边缘之前，还包括以下步骤：

获取所述目标物体所放置的工作面的深度值；

将所述目标物体中各像素点的深度值分别减去所述工作面的深度值，再将结果转换到0-255范围内，用灰度形式来表示所述目标物体的深度图。

在一优选示例中，所述目标物体的边缘为阶跃边缘，则所述从所述目标物体的深度图中确定所述目标物体的边缘的步骤包括：

通过Sobel边缘算子或Canny边缘算子从所述目标物体的深度图中提取出所述目标物体的阶跃边缘。

在一优选示例中，所述从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，获得优选抓取点的步骤包括：

针对所述目标物体的边缘上每个像素点，做其法线；

判断各所述预抓取点是否落在相应的法线上，是则保留为优选抓取点，否则舍弃。

在一优选示例中，所述根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点的步骤包括：

分别计算各优选抓取点与所述目标物体的几何重心之间的距离，选择距离所述目标物体的几何重心最近的一个所述优选抓取点为所述最优抓取点。

在一优选示例中，所述抓取参数表示为（x,y,z,h,θ），其中，x,y,z表示所述最优抓取点的三维空间坐标，h表示工业机器人的末端夹爪张开的尺寸，θ表示工业机器人的末端夹爪的张开方向与x轴之间的夹角；

其中，h为所述最优抓取点所对应的边缘点法线与目标物体的边缘相交而成的两个交点之间的距离，θ为所述最优抓取点所对应的边缘点法线与x轴之间的夹角。

在一优选示例中，所述点云拟合算法为随机抽样一致性算法。

在一优选示例中，所述工业机器人的末端抓取位姿用于使工业机器人的末端夹爪沿着所述目标物体的表面法向量所指示的方向执行所述抓取参数。

第二方面，本发明还提供一种基于深度学习的工业机器人智能控制系统，包括相机以及上位机，所述相机用于获取目标区域的彩色图像和深度图像并对齐保存，所述上位机用于根据所述彩色图像及所述深度图像生成适配于所述工业机器人的末端抓取位姿；

其中，所述上位机包括：

分类识别模块，用于通过预训练的Mask R-CNN网络模型对所述彩色图像进行处理，获得目标物体的掩膜；

边缘识别模块，用于从所述深度图像中提取与所述目标物体的掩膜相适配的深度信息并生成目标物体的深度图，以及从所述目标物体的深度图中确定所述目标物体的边缘；

随机生成模块，用于在所述目标物体的边缘内部随机生成若干个预抓取点；

优化确定模块，用于从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，以获得优选抓取点，以及用于根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点；

参数生成模块，用于根据所述最优抓取点，确定与其相对应的所述目标物体的边缘点法线，并生成抓取参数；

点云平面拟合模块，用于根据所述目标物体的深度图获得所述目标物体的点云数据，再通过点云拟合算法对所述目标物体的点云数据进行处理，获得所述目标物体的表面法向量；

以及位姿生成模块，用于将所述目标物体的表面法向量与所述抓取参数融合，生成适配于所述工业机器人的末端抓取位姿。

采用上述技术方案，本发明的有益效果在于：本发明提供的方案在识别出目标物体后，通过其深度信息确定目标物体的边缘，然后在其内部随机生成预抓取点并进行优化筛选，获得最优抓取点，并生成抓取参数；最后再考虑目标物体的放置姿态，使工业机器人的末端夹爪沿着目标物体的表面法向量所指示的方向执行抓取参数。相比于传统技术，本发明提供的方案充分考虑了目标物体的外观形态及放置姿态对抓取动作的影响，从而提高了抓取成功率。

附图说明

图1为本发明的使用场景图；

图2为实施例一中基于深度学习的工业机器人智能控制方法的流程示意图；

图3为实施例二中基于深度学习的工业机器人智能控制系统中上位机的模块示意图；

图4为实施例三中电子设备的结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一：本发明实施例提供一种基于深度学习的工业机器人智能控制方法，如图1所示，其为该方法的具体实施场景，图1示出的场景中，包括工业机器人、工作面及其上放置的若干个目标物体、相机以及服务器。其中，工业机器人、相机以及服务器通过网络相连接，本实施例提供的方法具体部署在服务器上执行。工业机器人的末端具有用于抓取目标物体的末端夹爪，例如是两爪夹爪，工业机器人上还设置有控制终端，该控制终端与服务器通信连接，控制终端从服务器处接收控制指令，并根据该控制指令控制末端夹爪执行对应的抓取位姿，进而抓取选定的目标物体。服务器可以是但不限于一种能够按照实现设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件 (PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)以及嵌入式设备等。服务器还可以是台式计算机、网络主机、单个网络服务器、多个网络服务器集群或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的虚拟超级计算机。网络可以包括但不限于互联网、广域网、城域网、VPN网络、无线自组织网络(Ad Hoc网络)等。相机配置为能够对一定区域范围进行拍照，并获得对齐的彩色图像和深度图像的相机，例如Kinect v2相机。

下面结合图1中示出的具体实施场景，对本发明实施例提供的基于深度学习的工业机器人智能控制方法进行具体阐述。

如图2所示，其为基于深度学习的工业机器人智能控制方法的流程示意图，可以看出，该方法具体包括步骤S1-步骤S9共9个步骤。

步骤S1.通过相机获取目标区域的彩色图像和深度图像，并对齐保存。

本实施例中，相机选用微软公司发布的 Kinect v2深度相机，由于其中的彩色(RGB)相机采集的图像分辨率为1920×1080，所以彩色图像的总像素数为2073600；深度(Depth)相机采集的图像分辨率为512×424，所以深度图像的总像素数为217088。因此需要对彩色图像与深度图像进行对齐。

另外可以理解的是，对于相机拍摄到的目标物体的图像（彩色图像和深度图像），其是基于相机坐标系的，当工业机器人的末端夹爪对目标物体进行抓取操作时，还需要将相机坐标系与工业机器人坐标系进行转换。例如在相机标定过程中，将相机固定在工业机器人之外的某处，将标定板固定安装在工业机器人末端夹爪的特定（中心）位置，通过手眼标定法，即可在相机标定的同时，得到相机坐标系与工业机器人坐标系之间的转换关系。

步骤S2.通过预训练的Mask R-CNN 网络模型对彩色图像进行处理，获得目标物体的掩膜。

Mask R-CNN是在Faster-RCNN 的基础上做出的进一步改进，使用ResNet和特征金字塔网络(Feature Pyramid Network,FPN)提取图像特征，加入了Mask掩码分支同时将ROIPooling 结构改为ROIAlign网络。Mask掩码分支使用全卷积神经网络(FullyConvolutional Networks, FCN)采样得到高质量的分割掩码。Faster R-CNN 输出的是图像中目标物体的二维像素位置与预测类别，Mask R-CNN因为Mask掩码分支的存在使得模型可完成像素级的实例分割任务。

Mask R-CNN网络训练实际上就是不断更新权重参数以提升网络性能。本实施例中，Mask R-CNN网络模型训练时，首先采用公开数据集（COCO数据集）进行训练，COCO数据集的训练样本数量达到了11.8万张，其中有80类物品和8.86万个分割出的目标，且精确标注了每张图片中的所有目标，因此很适合对本实施例中的Mask R-CNN进行预训练。随后MaskR-CNN网络在COCO数据集上训练得到初始权重。

之后，再通过自采数据集进行补充训练，自采数据集包含了工业机器人工作过程中涉及到的具体的图片样本以及通过人工方式分割标注出来的各种目标物品。并将自采数据集按照8：1的比例分为训练集和测试集。通过以上两步训练，最终获得需要的Mask R-CNN网络模型。

当需要进行目标物体抓取时，则只需要通过预训练的Mask R-CNN 网络模型对相机拍摄到的彩色图像进行处理，即可在Mask R-CNN 网络模型的输出端获得彩色图像中各个目标物体的掩膜。

步骤S3.从深度图像中提取与目标物体的掩膜相适配的深度信息，生成目标物体的深度图。

从步骤S1中可知，Kinect v2深度相机已经将其拍摄的彩色图像与深度图像进行对齐，因此在得到目标物体的掩膜数据后，即可知晓与该掩膜相对应的彩色图像局部以及深度图像局部单独剥离出来，从而为每个目标物体生成与其相对应的深度图。

步骤S4.从目标物体的深度图中确定目标物体的边缘，并在目标物体的边缘内部随机生成若干个预抓取点。

本实施例中，在从目标物体的深度图中确定目标物体的边缘之前，还包括以下步骤：

步骤S31.获取目标物体所放置的工作面的深度值；

步骤S32.将目标物体中各像素点的深度值分别减去工作面的深度值，再将结果转换到0-255范围内，用灰度形式来表示目标物体的深度图。

可以理解的是，目标物体的深度图（其中的深度信息）是直接基于Kinect v2深度相机获取到的绝对深度信息得到，然而在确定目标物体的边缘时，并不需要其绝对深度信息数据，只需要使目标物体能够相对于工作面区分开即可，尤其是当目标物体的深度值与工作面的深度值间的差值较小时，则在计算时容易导致该差值被忽略，因此有必要先将目标物体中各像素点的深度值分别减去工作面的深度值。

其后，考虑到目标物体是立体的，其边缘并不一定就是其轮廓范围的边界，即，目标物体的内部有时也是具有可用于抓取的边缘的。然而对于彩色图像，由于目标物体的各部分特征结构之间的颜色差异可能很小，导致其内部的边缘难以清楚的展示出来，因此本实施例在进行边缘检测时，将深度图先转化为灰度图，基于灰度图来检测目标物体的边缘。

边缘，根据其类型可分为阶跃边缘和线条边缘，反应的是边缘截面的灰度强度变化，对于深度场景中的抓取任务，所需的是阶跃边缘，其可根据一阶导数的大小进行提取，在数字图像中通常用差分来近似表示。本实施例中，通过Sobel边缘算子或Canny边缘算子从目标物体的深度图（实际为灰度图）中提取出目标物体的阶跃边缘。

提取出的阶跃边缘将用于为工业机器人末端夹爪提供可能的抓取位置（夹爪施力点），但具体可用的抓取位置还需要进行甄别。本实施例中，首先在目标物体的边缘内部随机生成若干个预抓取点，例如先将目标物体的深度图等分为若干个矩阵状分布的方格，当方格的中心点落在目标物体的边缘内部时，则该方格的中心点即为预抓取点。如此设置，使得预抓取点能够充分且均匀地分布在目标物体的各处，避免可能的较佳抓取点被遗漏。

步骤S5.从预抓取点中筛选出落在目标物体的边缘点法线上的点，获得优选抓取点。

可以看出，步骤S4中获得的预抓取点有较多个，因此需要对其进行筛选，本实施例提出的筛选原则是，保留与边缘点法线相重合的预抓取点,即:

步骤S51.针对目标物体的边缘上每个像素点，分别做其法线；

步骤S52.判断各预抓取点是否落在相应的法线上，是则保留为优选抓取点，否则舍弃。

同时，对于保留下来的预抓取点（优选抓取点），还同步保存其所对应的边缘点法线，这将为后续步骤提供支持。

步骤S6.根据优选抓取点与目标物体的几何重心之间的关系，筛选出最优抓取点。

同理，步骤S5中获得的优选抓取点可能也会有不止一个，本实施例中，则选取距离目标物体的几何重心最近的一个作为最优抓取点。

步骤S7.根据最优抓取点，确定与其相对应的目标物体的边缘点法线，并生成抓取参数。

本实施例中，抓取参数可表示为（x,y,z,h,θ），其中，x,y,z表示最优抓取点的三维空间坐标（从相机坐标系转换到工业机器人坐标系），h表示工业机器人的末端夹爪张开的尺寸，θ表示工业机器人的末端夹爪的张开方向与x轴之间的夹角。其中，x轴和y轴所确定的平面表示用于放置目标物体的工作面，z轴数值可用最优抓取点对应的深度值来表示。

另外在步骤S5中，还同步保存有各个优选抓取点所对应的边缘点法线，因此，最优抓取点所对应的边缘点法线也在其中，而最优抓取点所对应的边缘点法线会与目标物体的边缘相交而形成两个交点，这两个交点之间的距离即为h值，θ为最优抓取点所对应的边缘点法线与x轴之间的夹角。

可以理解的是，工业机器人的末端夹爪通常具有一定的宽度值，而在某些特殊情况下，譬如在沿某个交点的切线方向上，目标物体无法提供足够的空间供末端夹爪伸入（譬如目标物体为弧形体，其内侧弧半径较小，末端夹爪的其中一个侧壁无法直接伸入）。因此，工业机器人的末端夹爪通常会先张开一个较大的宽度值（大于h值），然后执行已确定的（x, y,z,θ）参数，最后再缩减工业机器人的末端夹爪的张开尺寸，直至夹紧目标物体即可，此时末端夹爪的一个侧壁虽然不直接接触与其相对应的交点，但是依然能够夹紧目标物体。

步骤S8.根据目标物体的深度图获得目标物体的点云数据，再通过点云拟合算法对目标物体的点云数据进行处理，获得目标物体的表面法向量。

可以理解的是，目标物体可能并具有规则的几何形状，其放置在工作面上的姿态与其被手动抓取时的姿态之间具有一定的倾斜夹角，即，目标物体在工作面上放歪了。在此情况下，若工业机器人的末端夹爪能够模仿人的手部一般，也能够倾斜相应的角度，那么相对于从垂直于工作面的方向进行抓取的方式来说，则能够更好地实现目标物体的抓取。

点云平面拟合方法是根据传感器测量得到的原始点云信息从中去除环境中杂乱的点云噪点，根据滤波后的点云数据拟合出空间平面的方法。因此本实施例中，首先根据目标物体的深度图获得目标物体的点云数据，然后再通过点云拟合算法（例如随机抽样一致性算法）对目标物体的点云数据进行平面拟合，即可得到拟合后的平面点云以及对应的点云平面方程，确定点云平面后，即可获得垂直于该点云平面的法向量，即目标物体的表面法向量。当工业机器人的末端夹爪沿着目标物体的表面法向量执行上述的抓取参数时，则能够较好的抓取目标物体。

步骤S9.将目标物体的表面法向量与抓取参数融合，生成适配于工业机器人的末端抓取位姿。

工业机器人的末端抓取位姿用于使工业机器人的末端夹爪沿着目标物体的表面法向量指示的方向执行所述抓取参数。

实施例二：本发明实施例提供一种基于深度学习的工业机器人智能控制系统，包括基于通信连接的相机以及上位机，相机用于获取目标区域的彩色图像和深度图像并对齐保存，上位机用于根据彩色图像及深度图像生成适配于工业机器人的末端抓取位姿。

其中，相机选用微软公司发布的 Kinect v2深度相机，由于其中的彩色(RGB)相机采集的图像分辨率为1920×1080，所以彩色图像的总像素数为2073600；深度(Depth)相机采集的图像分辨率为512×424，所以深度图像的总像素数为217088。因此需要对彩色图像与深度图像进行对齐。

其中，上位机可以是但不限于一种能够按照实现设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件 (PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)以及嵌入式设备等。服务器0还可以是台式计算机、网络主机、单个网络服务器、多个网络服务器集群或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的虚拟超级计算机。

相机与上位机具体通过网络连接，网络可以包括但不限于互联网、广域网、城域网、VPN网络、无线自组织网络(Ad Hoc网络)等。

其中，上位机中配置有多个功能模块，如图3所示，这些功能模块具体包括：

分类识别模块，用于通过预训练的Mask R-CNN 网络模型对彩色图像进行处理，获得目标物体的掩膜；

边缘识别模块，用于从深度图像中提取与目标物体的掩膜相适配的深度信息并生成目标物体的深度图，以及从目标物体的深度图中确定目标物体的边缘；

随机生成模块，用于在目标物体的边缘内部随机生成若干个预抓取点；

优化确定模块，用于从预抓取点中筛选出落在目标物体的边缘点法线上的点，以获得优选抓取点，以及用于根据优选抓取点与目标物体的几何重心之间的关系，筛选出最优抓取点；

参数生成模块，用于根据最优抓取点，确定与其相对应的目标物体的边缘点法线，并生成抓取参数；

点云平面拟合模块，用于根据目标物体的深度图获得目标物体的点云数据，再通过点云拟合算法对目标物体的点云数据进行处理，获得目标物体的表面法向量；

以及位姿生成模块，用于将目标物体的表面法向量与抓取参数融合，生成适配于工业机器人的末端抓取位姿。

实施例三：如图4所示，本发明实施例提供一种电子设备，包括存储有可执行程序代码的存储器以及与该存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行上述实施例公开的方法步骤。

实施例四：本发明实施例提供一种计算机存储介质，计算机存储介质中存储有计算机程序，计算机程序被处理器运行时执行上述实施例公开的方法步骤。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示对本发明结构的说明，仅是为了便于描述本发明的简便，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

对于本技术方案中的“第一”和“第二”，仅为对相同或相似结构，或者起相似功能的对应结构的称谓区分，不是对这些结构重要性的排列，也没有排序、或比较大小、或其他含义。

另外，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个结构内部的连通。对于本领域的普通技术人员而言，可以根据本发明的总体思路，联系本方案上下文具体情况理解上述术语在本发明中的具体含义。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (10)

1.一种基于深度学习的工业机器人智能控制方法，其特征在于：所述方法包括以下步骤：

通过相机获取目标区域的彩色图像和深度图像，并对齐保存；

通过预训练的Mask R-CNN 网络模型对所述彩色图像进行处理，获得目标物体的掩膜；

从所述深度图像中提取与所述目标物体的掩膜相适配的深度信息，生成目标物体的深度图；

从所述目标物体的深度图中确定所述目标物体的边缘，并在所述目标物体的边缘内部随机生成若干个预抓取点；

从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，获得优选抓取点；

根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点；

根据所述最优抓取点确定与其相对应的所述目标物体的边缘点法线，并生成抓取参数；

根据所述目标物体的深度图获得所述目标物体的点云数据，再通过点云拟合算法对所述目标物体的点云数据进行处理，获得所述目标物体的表面法向量；

将所述目标物体的表面法向量与所述抓取参数融合，生成适配于所述工业机器人的末端抓取位姿。

2.根据权利要求1所述的方法，其特征在于：所述相机为Kinect v2相机。

3.根据权利要求1所述的方法，其特征在于：在从所述目标物体的深度图中确定所述目标物体的边缘之前，还包括以下步骤：

获取所述目标物体所放置的工作面的深度值；

将所述目标物体中各像素点的深度值分别减去所述工作面的深度值，再将结果转换到0-255范围内，用灰度形式来表示所述目标物体的深度图。

4.根据权利要求3所述的方法，其特征在于：所述目标物体的边缘为阶跃边缘，则所述从所述目标物体的深度图中确定所述目标物体的边缘的步骤包括：

通过Sobel边缘算子或Canny边缘算子从所述目标物体的深度图中提取出所述目标物体的阶跃边缘。

5.根据权利要求1所述的方法，其特征在于：所述从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，获得优选抓取点的步骤包括：

针对所述目标物体的边缘上每个像素点，做其法线；

判断各所述预抓取点是否落在相应的法线上，是则保留为优选抓取点，否则舍弃。

6.根据权利要求1所述的方法，其特征在于：所述根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点的步骤包括：

分别计算各优选抓取点与所述目标物体的几何重心之间的距离，选择距离所述目标物体的几何重心最近的一个优选抓取点为所述最优抓取点。

7.根据权利要求1所述的方法，其特征在于：所述抓取参数表示为（x,y,z,h,θ），其中，x,y,z表示所述最优抓取点的三维空间坐标，h表示工业机器人的末端夹爪张开的尺寸，θ表示工业机器人的末端夹爪的张开方向与x轴之间的夹角；

其中，h为所述最优抓取点所对应的边缘点法线与目标物体的边缘相交而成的两个交点之间的距离，θ为所述最优抓取点所对应的边缘点法线与x轴之间的夹角。

8.根据权利要求1所述的方法，其特征在于：所述点云拟合算法为随机抽样一致性算法。

9.根据权利要求1所述的方法，其特征在于：所述工业机器人的末端抓取位姿用于使工业机器人的末端夹爪沿着所述目标物体的表面法向量所指示的方向执行所述抓取参数。

10.一种基于深度学习的工业机器人智能控制系统，其特征在于：包括相机以及上位机，所述相机用于获取目标区域的彩色图像和深度图像并对齐保存，所述上位机用于根据所述彩色图像及所述深度图像生成适配于所述工业机器人的末端抓取位姿；

其中，所述上位机包括：

分类识别模块，用于通过预训练的Mask R-CNN 网络模型对所述彩色图像进行处理，并获得目标物体的掩膜；

边缘识别模块，用于从所述深度图像中提取与所述目标物体的掩膜相适配的深度信息并生成目标物体的深度图，以及从所述目标物体的深度图中确定所述目标物体的边缘；

随机生成模块，用于在所述目标物体的边缘内部随机生成若干个预抓取点；

优化确定模块，用于从所述预抓取点中筛选出落在所述目标物体的边缘点法线上的点，以获得优选抓取点，以及用于根据所述优选抓取点与所述目标物体的几何重心之间的关系，筛选出最优抓取点；

参数生成模块，用于根据所述最优抓取点确定与其相对应的所述目标物体的边缘点法线，并生成抓取参数；

点云平面拟合模块，用于根据所述目标物体的深度图获得所述目标物体的点云数据，再通过点云拟合算法对所述目标物体的点云数据进行处理，获得所述目标物体的表面法向量；

以及位姿生成模块，用于将所述目标物体的表面法向量与所述抓取参数融合，生成适配于所述工业机器人的末端抓取位姿。