CN115816460B - 一种基于深度学习目标检测与图像分割的机械手抓取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习目标检测与图像分割的机械手抓取方法，属于智能机器人领域。该方法包括YOLOv4模型训练检测、GrabCut算法图像分割和机械臂抓取位姿计算三部分；通过机械手上深度相机拍摄图像，利用YOLOv4训练模型框选识别出抓取目标。GrabCut算法图像分割部分将YOLOv4检测框中的抓取目标从背景中分割出来，生成最小外接矩，确定机械手抓取点坐标及抓取角度。机械臂抓取位姿计算部分将图像中抓取点的二维平面像素坐标转换为机器人本体坐标系下的三维坐标，通过此坐标和抓取角度实现对物体的抓取。本申请方法可以使得机械臂智能自主的进行抓取目标的识别与抓取，提高智能性与抓取准确率。

Description

一种基于深度学习目标检测与图像分割的机械手抓取方法

技术领域

本发明涉及一种基于深度学习目标检测与图像分割的机械手抓取方法，属于智能机器人领域。

背景技术

机械手是机械化、自动化生产过程中发展起来的一种重要装置，被广泛应用于自动化生产线中，通过编程来完成各种预期的作业任务。为了完成各种作业任务，抓取放置功能是机械手必备功能之一，而随着智能机器人的应用发展，为机械手增加感知环境的能力，使其能够进行智能化自主抓取成为该领域内的重要研究内容。

早期的机械手自主抓取方法，主要是将抓取对象放在一个简单的场景下，根据其物体几何形状，通过力学分析来制定抓取的方案。这样的抓取方法在确定抓取时需要满足一些静力学和运动学的公式，计算比较复杂。随着研究的深入，抓取的方法也逐渐通过模仿人类的抓取策略进行抓取检测，这样可以避免复杂的物理和数学模型的计算。通过模仿人类的抓取策略通常有基于人工示教的方式，即通过人工操控机械臂到达示教点，记录下各关节活动的角度，根据此数据编写程序使机械臂自动执行。但这种方式只能应对单一情况，可拓展性差。随着视觉传感器性能提高，相关的算法的研究也不断深入，基于视觉的机械手抓取技术已成为多应用场景(比如抓取未知物体的场景)的首选方案。

现有对于机械手抓取未知物体的检测方法可分为基于感知的抓取检测方法和基于深度学习的抓取检测方法。基于感知的方法通过视觉识别被抓物体的结构或特征，生成和排序候选抓取位姿，而基于深度学习的抓取检测方法是将数据输入到卷积神经网络中，使用分类器确定图像哪部分的抓取成功率最高，输出最佳抓取检测框。

传统基于感知的方法可以识别被抓物体的特征结构，但难以快速清晰的对抓取目标的种类进行筛选甄别，智能自主的识别抓取物的能力欠缺。现有基于深度学习的抓取检测方法可以通过训练模型的方式有效识别抓取目标的种类，但即时抓取时对时间要求较高，需要选用实时性较强的深度学习检测方法，并且复杂环境对检测的结果也有一定影响。

发明内容

为了解决上述问题，本发明提供了一种基于深度学习目标检测与图像分割的机械手抓取方法，包括：

步骤S1：利用机械手自带拍摄设备采集包含有待抓取目标的图像，并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框；所述机械手自带拍摄设备包括深度相机；

步骤S2：以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框，将待抓取目标从背景中分割出来；

步骤S3：对分割出来的待抓取目标进行边缘提取，以绘制其边缘轮廓的最小外接矩形；

步骤S4：以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标，进而实现对应的抓取任务。

可选的，所述步骤S1中的基于深度学习YOLOv4的目标检测网络包括四部分，输入端、主干部分、颈部、和头部；其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集；主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；头部的损失函数在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。

可选的，所述方法还包括对所述基于深度学习YOLOv4的目标检测网络进行训练，包括：

Step1构建检测数据集：对各类抓取样本进行照片拍摄采集，以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集；

Step2对所述检测数据集中的图像进行标注：使用图像标注软件LabelImg标注工具对所采集到的图像进行标注，用矩形框将需要检测的抓取样本种类框选出来，所述矩形框即为真实框B，并标记出每个种类的标签，保存并输出标注文件；

Step3扩充所述检测数据集：对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集，得到扩充后的检测数据集，并将其划分为训练集和测试集；

Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练，所述基于深度学习YOLOv4的目标检测网络的损失函数L_CIOU为：

其中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离，IOU计算公式为：

其中，∩表示两者的并集，∩表示两者的交集；

v计算公式为：

其中，w^gt、h^gt分别为真实框B的宽和高，w^p、h^p分别为预测框A的宽和高，arctan为反正切函数。

可选的，所述步骤S2包括：

分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模，将图像中的每个像素归属于目标或背景的GMM的某个高斯分量；通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率；其主要算法步骤如下：

1)以YOLOv4检测框作为先验框，先验框外即为背景；

2)通过先验框外的背景数据，区分先验框中的前景和背景区域；

3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示可能为前景或者背景；

4)虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都与一个背景后前景节点相连接；基于虚拟边与周边像素颜色的相似性，确定每条边属于前景或背景的概率；

5)在节点完成连接后，若节点之间的边属于不同的终端，即一个节点是前景，一个节点是背景，则切断两个像素节点之间的联系，从而将图像中的前景部分分割出来。

可选的，所述步骤S3包括：

将步骤S2分割出的图像进行预处理以消除待抓取目标表面花纹信息的噪声影响；

对预处理后的图像进行二值化处理，利用Canny算子进行边缘提取，对提取的边缘轮廓绘制最小外接矩形。

可选的，所述步骤S4包括：

以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，获取所述抓取点位置在图像中的像素坐标点(u,n)；

将像素坐标点(u,n)转换至机械手自带拍摄设备深度相机坐标系{C}下，得到其三维坐标^CP＝(x_c,y_c,z_c)；

根据机械手自带拍摄设备与机械手末端位置关系，将三维坐标^CP＝(x_c,y_c,z_c)转换至机械手末端坐标系{H}下，得到机械手抓取点位置在机械手末端坐标系{H}下的三维坐标^HP＝(x_h,y_h,z_h)；

根据机械手末端坐标系{H}下的三维坐标^HP＝(x_h,y_h,z_h)实现对于待抓取目标的抓取任务。

可选的，所述机械手抓取点位置在机械手自带拍摄设备深度相机坐标系{C}下的三维坐标^CP＝(x_c,y_c,z_c)根据下式计算得到：

z_c＝0.001×d (4)

式中：

d——像素的深度；

f_x,f_y——相机焦距的长度；

c_x,c_y——相机的原点。

本申请还提供一种智能机器人自动抓取方法，所述智能机器人包括机器人本体和机械手，所述智能机器人自动抓取方法利用上述基于深度学习目标检测与图像分割的机械手抓取方法获取机械手末端坐标系{H}下的三维坐标^HP＝(x_H,y_H,z_H)后，将其转化为机器人本体坐标系{B}下的三维坐标^BP＝(x_b,y_b,z_b)；以与最小外接矩形的短轴方向平行的角度作为机械手的抓取角度完成自动抓取任务。

所述将机械手末端坐标系{H}下的三维坐标^HP＝(x_H,y_H,z_H)转化为机器人本体坐标系{B}下的三维坐标^BP＝(x_b,y_b,z_b)包括：

在机械手运动到初始准备位姿时，利用机械手各关节的角度获取机械手末端在机器人本体坐标系下的位姿，通过矢量^BP_HORG＝(t_x,t_y,t_z)^T表示其位置，四元数

表示旋转方向，由此获取机械手末端坐标和机器人本体坐标系{B}间的变换矩阵/>

通过下式的齐次变换，计算获得机器人本体坐标系下的抓取检测点坐标^BP＝(x_b,y_b,z_b)：

本申请还提供一种智能机器人，所述智能机器人包括机器人本体、机械手以及深度相机，所述智能机器人利用所述深度相机采集包含有待抓取目标的图像，并利用上述智能机器人自动抓取方法完成目标抓取任务。

本发明有益效果是：

首先使用深度学习目标检测网络YOLOv4对需要抓取的目标样本进行训练，得到网络检测模型。在开始抓取时，通过机械臂上的深度相机获取图像信息，使用YOLOv4检测训练过的抓取目标，得到抓取目标的检测框及抓取目标身份信息，然后将YOLOv4的检测框作为GrabCut算法的先验输入框，将抓取目标分割出来，对分割出来的图像进行简单的高斯模糊等预处理，接着对图像进行二值化处理，利用Canny算子进行边缘提取，对提取的边缘轮廓绘制最小的外接矩形。外接矩形中心点即为抓取点，抓取角度与外接矩形的短轴方向平行。然后进行机械臂抓取位姿的计算，将图像中抓取点的二维平面像素坐标转换为机器人本体坐标系下的三维坐标。最后根据设定抓取的目标种类，机械臂根据转换后的抓取点坐标及抓取角度，自主执行抓取任务。

本申请提供的方法利用深度学习的检测模型能够很好的对抓取目标进行识别。相对于传统使用感知的方法利用视觉识别被抓物体的结构或特征，本申请方法能够有效识别抓取目标种类，识别物体位置，智能性更强，鲁棒性更好。

进一步的，本申请将YOLOv4检测框作为GrabCut算法的先验框，无需手动设置GrabCut算法的先验框，YOLOv4检测框更为精准，提高了GrabCut算法的准确性，优化了GrabCut算法的流程。

进一步的，本申请利用GrabCut算法对YOLOv4检测框内的抓取目标进行图像分割，对图像进行分割后，可以得到更精确的抓取目标特征与位姿，获得了抓取角度，提高了抓取的精准度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为YOLOv4检测模型训练过程流程图。

图2为机器臂抓取检测总流程图。

图3A为机械手所要抓取样本种类例图；

图3B为YOLOv4训练后识别抓取样本输出检测框的示意图。

图4A-图4D为机械手抓取目标的图像处理过程，其中图4A为YOLOv4目标检测图；图4B为GrabCut算法分割后的目标检测图；图4C为图像二值化、边缘提取后的图像；图4D为目标最小外接矩形图。

图5为机器臂抓取示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

基础理论介绍：

YOLOv4：YOLO(You Only Look Once,你只要看一次)是一种深度学习的目标检测方法，其作为一阶段的目标检测算法，是目前最常见的目标检测方法之一。YOLO的目标检测算法使用卷积神经网络来直接预测目标位置和类别概率。YOLOv4为YOLO系列第四代目标检测方法，在训练过程中改进了输入，使用了Mosaic、cmBN、SAT自我对抗训练和其他策略，可以使用传统的GPU(Graphics Processing Unit,图像处理单元)进行训练和测试，并能够获得实时、高精度的检测结果。

GrabCut：GrabCut算法是在迭代图割算法的基础上实现的图像分割算法，算法通过图像中的纹理信息和边界信息，只需要用户输入一个粗略的可以将目标包围的边框，就可以实现目标与背景的分割。GrabCut算法是迭代的算法，每次迭代都会使得对目标和背景建模的GMM参数进行优化，使得目标分割的效果更好。

实施例一：

本实施例提供一种基于深度学习目标检测与图像分割的机械手抓取方法，所述方法包括：

步骤S1：利用机械手自带拍摄设备采集包含有待抓取目标的图像，并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框；所述机械手自带拍摄设备包括深度相机；

该基于深度学习YOLOv4的目标检测网络包括四部分，输入端、主干部分、颈部、和头部；其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集；主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；头部的损失函数在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。

对该基于深度学习YOLOv4的目标检测网络进行训练的过程包括：

Step1构建检测数据集：对各类抓取样本进行照片拍摄采集，以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集；

Step2对所述检测数据集中的图像进行标注：使用图像标注软件LabelImg标注工具对所采集到的图像进行标注，用矩形框将需要检测的抓取样本种类框选出来，所述矩形框即为真实框B，并标记出每个种类的标签，保存并输出标注文件；

Step3扩充所述检测数据集：对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集，得到扩充后的检测数据集，并将其划分为训练集和测试集；

Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练，所述基于深度学习YOLOv4的目标检测网络的损失函数L_CIOU为：

其中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离，IOU计算公式为：

其中，∩表示两者的并集，∩表示两者的交集；

v计算公式为：

其中，w^gt、h^gt分别为真实框B的宽和高，w^p、h^p分别为预测框A的宽和高，arctan为反正切函数。

步骤S2：以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框，将待抓取目标从背景中分割出来；

分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模，将图像中的每个像素归属于目标或背景的GMM的某个高斯分量；通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率；其主要算法步骤如下：

1)以YOLOv4检测框作为先验框，先验框外即为背景；

2)通过先验框外的背景数据，区分先验框中的前景和背景区域；

3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示可能为前景或者背景；

4)虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都与一个背景后前景节点相连接；基于虚拟边与周边像素颜色的相似性，确定每条边属于前景或背景的概率；

5)在节点完成连接后，若节点之间的边属于不同的终端，即一个节点是前景，一个节点是背景，则切断两个像素节点之间的联系，从而将图像中的前景部分分割出来。

步骤S3：对分割出来的待抓取目标进行边缘提取，以绘制其边缘轮廓的最小外接矩形；

步骤S4：以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标，进而实现对应的抓取任务。

实施例二：

本实施例提供一种基于深度学习目标检测与图像分割的机械手抓取方法，参见图1，所述方法包括：

S1、基于YOLOv4目标检测框架训练抓取目标样本数据集的检测识别模型，具体步骤为：

S11、对抓取样本，如杯子，可乐，牛奶盒等进行照片拍摄采集。

S12、使用图像标注软件LabelImg标注工具进行标注。用矩形框将需要检测的抓取样本种类框选出来，并标记出每个种类的标签，保存并输出标注文件。

S13、为了扩充数据集样本的数量，对原始的图片进行图像预处理，主要包括调整图像亮度色调增加噪声、随机缩放旋转仿射等，将扩充后的数据集划分为训练集和测试集，利用该数据集训练。

S14、物体检测模型的训练，搭建基于深度学习YOLOv4的目标检测网络。

YOLOv4的网络结构包括四部分，Input(输入)、BackBone(主干)、Neck(颈部)、Head(头部)。其中，YOLOv4在Input输入端有马赛克数据增强、SAT(Self-adversarial-training,自对抗训练)等策略，丰富了检测数据集。YOLOv4的BackBone以CSPDarknet53网络框架作为网络提取骨干用于特征提取。Neck部分主要采用了SPP(Spatial PyramidPooling,空间金字塔池化)模块、FPN(Feature Pyramid Networks,特征图金字塔网络)和PAN(Path Aggregation Network,路径聚合网络)的方式，用SPP模块来融合不同尺度大小的特征图能有效的增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力。YOLOv4的Head部分训练的损失函数为L_CIOU，L_CIOU是在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比的损失函数。L_CIOU具体的计算方法如下式：

式中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离。IOU(Intersection over Union,交并比)是一种测量在特定数据集中检测相应物体准确度的一个标准，其计算公式为：

其中∩表示两者的并集，∩表示两者的交集。式(1)中的v是用于衡量宽高比一致性的参数，计算公式为：

式中，w^gt、h^gt分别为真实框B的宽和高，w^p、h^p分别为预测框A的宽和高，arctan是反正切函数。

S15、经过在GPU计算机上的训练，得到效果较好的抓取目标样本检测识别模型。

S2、基于GrabCut算法对YOLOv4检测框中的抓取目标进行图像分割，具体步骤如下：

S21、将抓取目标放置在抓取平台上，打开机械臂上的深度相机，运行YOLOv4检测模型，机器人通过相机获取到图像时，会将检测到的目标通过YOLOv4框选出来，得到抓取目标的检测框。

S22、将检测矩形框作为GrabCut算法的先验框，使用GrabCut对目标从背景中分割出来。

S23、GrabCut算法分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型(Gaussian Mixture Model,GMM)进行建模，对于图像中的每个像素就归属于目标或背景的GMM的某个高斯分量。通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入就可以求解像素分别属于目标和背景的概率。其主要算法步骤如下：

1)在一张图片中，用户框选包含目标的矩形框，矩形框外面则会被认为是背景，本专利使用YOLOv4检测框作为此先验框；

2)在框选完后，可以通过矩形框外的背景的数据，来区分矩形框中的前景和背景区域；

3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示可能的前景或者背景；

4)虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都会与一个背景后前景节点相连接。基于虚拟边与周边像颜色的相似性，每条边都有一个属于前景或背景的概率；

5)在节点完成连接后，若节点之间的边属于不同的终端，一个节点是前景一个节点是背景，则会切断两个像素节点之间的联系，从而图像中的前景部分将会被分割出来。

S24、对分割出来的图像进行简单的高斯模糊等预处理，主要用于消除目标表面花纹信息的噪声影响。接着对图像进行二值化处理，利用Canny算子进行边缘提取，对提取的边缘轮廓绘制最小的外接矩形。

S25、机械臂抓取需要获取物体的位姿信息和机械手爪的抓取角度，上一步骤得到最小外接矩形，此外接矩形的中心点即为机械臂的抓取点位置，抓取角度与外接矩形的短轴方向平行。

S3、机械臂抓取位姿的计算。将图像中抓取点的二维平面像素坐标转换为机器人本体坐标系下的三维坐标，才能完成机械臂的抓取控制，具体步骤如下：

S31、在S1、S2步骤中使用基于目标检测与分割的抓取检测时，所使用的都是在二维平面图像中进行识别，返回的抓取点位置在图像中的像素坐标点(u,n)。

S32、首先获得平面图像与机械臂上深度相机的坐标转换，需要将像素坐标点(u,n)转换到深度相机坐标系{C}下，对于相机坐标系下的三维坐标^CP＝(x_c,y_c,z_c)通过下式可求：

z_c＝0.001×d (4)

式中

d——像素的深度；

f_x,f_y——相机焦距的长度；

c_x,c_y——相机的原点；

S33、相机安装在机械臂执行器的末端，会跟随着机械臂的运动。在求解抓取点在机器人本体坐标系中的位置，需要确定相机与机械臂末端坐标系{H}之间的位置变换关系。对于“眼在手上”的问题相机与末端之间的坐标关系不变，可以通过手眼标定的方法求解出转换矩阵

通过下式计算得到机械臂末端坐标系三维坐标^HP＝(x_h,y_h,z_h)。

S34、获取机械臂末端坐标系与机器人本体坐标系{B}间的变换关系，由于末端执行器相对于机器人本体是不断变化的，所以不同位置时末端坐标系与机器人本体坐标系变换矩阵

也不同。

当机械臂运动到初始准备位姿时，根据机器人的正运动学，利用机械臂各关节的角度可以获取末端抓取器在机器人本体坐标系下的位姿，通过矢量^BP_HORG＝(t_x,t_y,t_z)^T来表示位置，四元数

表示旋转方向，由此可以获取末端执行器坐标和机器人本体坐标系间的变换矩阵/>

最终可以将相机坐标系下的机械臂末端坐标系坐标^HP转换到机器人本体坐标系下，通过下式的齐次变换，可以计算获得机器人本体坐标系下的抓取检测点坐标^BP＝(x_b,y_b,z_b)：

S35、机器人得到本体坐标系下的抓取点坐标，结合S25中的抓取角度，可以执行抓取任务，根据需要抓取的目标种类，选择抓取检测到的抓取目标。

本申请提供的基于深度学习目标检测与图像分割的机械手抓取方法，主要包含YOLOv4模型训练检测、GrabCut算法图像分割和机械臂抓取位姿计算三部分。YOLOv4模型训练检测使用GPU提前对抓取目标样本进行训练，在开始抓取后通过机械臂上相机拍摄图像，可通过YOLOv4训练模型框选识别出抓取目标。GrabCut算法图像分割部分使用GrabCut算法将YOLOv4检测框中的抓取目标从背景中分割出来，然后生成最小外接矩，可确定机械臂抓取点坐标及抓取角度。机械臂抓取位姿计算部分将图像中抓取点的二维平面像素坐标转换为机器人本体坐标系下的三维坐标，机器人通过此坐标和抓取角度可实现对物体的抓取。通过基于深度学习目标检测与图像分割的机械臂抓取技术可以使得机械臂智能自主的进行抓取目标的识别与抓取，提高智能性与抓取准确率。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习目标检测与图像分割的机械手抓取方法，其特征在于，所述方法包括：

步骤S1：利用机械手自带拍摄设备采集包含有待抓取目标的图像，并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框；所述机械手自带拍摄设备包括深度相机；

步骤S2：以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框，将待抓取目标从背景中分割出来；

步骤S3：对分割出来的待抓取目标进行边缘提取，以绘制其边缘轮廓的最小外接矩形；

步骤S4：以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标，进而实现对应的抓取任务；

所述步骤S1中的基于深度学习YOLOv4的目标检测网络包括四部分，输入端、主干部分、颈部、和头部；其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集；主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；头部的损失函数在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括对所述基于深度学习YOLOv4的目标检测网络进行训练，包括：

Step1构建检测数据集：对各类抓取样本进行照片拍摄采集，以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集；

Step2对所述检测数据集中的图像进行标注：使用图像标注软件LabelImg标注工具对所采集到的图像进行标注，用矩形框将需要检测的抓取样本种类框选出来，所述矩形框即为真实框B，并标记出每个种类的标签，保存并输出标注文件；

Step3扩充所述检测数据集：对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集，得到扩充后的检测数据集，并将其划分为训练集和测试集；

Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练，所述基于深度学习YOLOv4的目标检测网络的损失函数L_CIOU为：

其中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离，IOU计算公式为：

其中，∩表示两者的并集，∩表示两者的交集；

v计算公式为：

其中，w^gt、h^gt分别为真实框B的宽和高，w^p、h^p分别为预测框A的宽和高，arctan为反正切函数。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2包括：

分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模，将图像中的每个像素归属于目标或背景的GMM的某个高斯分量；通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率；其主要算法步骤如下：

1)以YOLOv4检测框作为先验框，先验框外即为背景；

2)通过先验框外的背景数据，区分先验框中的前景和背景区域；

3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示可能为前景或者背景；

4)虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都与一个背景后前景节点相连接；基于虚拟边与周边像素颜色的相似性，确定每条边属于前景或背景的概率；

5)在节点完成连接后，若节点之间的边属于不同的终端，即一个节点是前景，一个节点是背景，则切断两个像素节点之间的联系，从而将图像中的前景部分分割出来。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3包括：

将步骤S2分割出的图像进行预处理以消除待抓取目标表面花纹信息的噪声影响；

对预处理后的图像进行二值化处理，利用Canny算子进行边缘提取，对提取的边缘轮廓绘制最小外接矩形。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4包括：

以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，获取所述抓取点位置在图像中的像素坐标点(u,n)；

将像素坐标点(u,n)转换至机械手自带拍摄设备深度相机坐标系{C}下，得到其三维坐标^CP＝(x_c,y_c,z_c)；

根据机械手自带拍摄设备与机械手末端位置关系，将三维坐标^CP＝(x_c,y_c,z_c)转换至机械手末端坐标系{H}下，得到机械手抓取点位置在机械手末端坐标系{H}下的三维坐标^HP＝(x_h,y_h,z_h)；

根据机械手末端坐标系{H}下的三维坐标^HP＝(x_h,y_h,z_h)实现对于待抓取目标的抓取任务。

6.根据权利要求5所述的方法，其特征在于，所述机械手抓取点位置在机械手自带拍摄设备深度相机坐标系{C}下的三维坐标^CP＝(x_c,y_c,z_c)根据下式计算得到：

z_c＝0.001×d (4)

/>

式中：

d——像素的深度；

f_x,f_y——相机焦距的长度；

c_x,c_y——相机的原点。

7.一种智能机器人自动抓取方法，其特征在于，所述智能机器人包括机器人本体和机械手，所述智能机器人自动抓取方法利用权利要求6所述的方法获取机械手末端坐标系{H}下的三维坐标^HP＝(x_H,y_H,z_H)后，将其转化为机器人本体坐标系{B}下的三维坐标^BP＝(x_b,y_b,z_b)；以与最小外接矩形的短轴方向平行的角度作为机械手的抓取角度完成自动抓取任务。

8.一种智能机器人，其特征在于，所述智能机器人包括机器人本体、机械手以及深度相机，所述智能机器人利用所述深度相机采集包含有待抓取目标的图像，并利用权利要求7所述的自动抓取方法完成目标抓取任务。

Images