CN109754362A - 一种用可旋转的边界框标注海参目标检测结果的方法 - Google Patents

Abstract

本发明属于水下目标检测领域，具体涉及一种用可旋转的边界框标注海参目标检测结果的方法，包括以下步骤：对利用labelme软件制作的海参训练数据集进行数据扩充；构建全卷积神经网络；利用扩充后的数据集对构建好的全卷积神经网络进行离线训练；将包含海参的图像输入到训练好的全卷积神经网络，得到分割图；在所述分割图上进行腐蚀、滤波操作，得到后处理分割图；在所述后处理分割图上寻找最大连通域，即为检测到的海参目标。本发明对得到的分割图做腐蚀操作，剔除了海参周边的“毛刺”，确保最小外接矩形更加精确，使得海参抓取位姿不会出现在海参之外，定位更准确。

Description

一种用可旋转的边界框标注海参目标检测结果的方法

技术领域

本发明属于水下目标检测领域，具体涉及一种用可旋转的边界框标注海参目标检测结果的方法。

背景技术

海参生活在6米以下的海水中，现阶段海参的捕捞主要是靠潜水员来完成的，主要是在春、秋两季气温较低时进行，海水压力大，温度低，长期从事捕捞工作的潜水员会有关节炎等职业病，人工捕捞效率低、危险系数高。随着对海参需求量的增多，越来越需要水下机器人自动捕捞海参，而检测海参目标及确定海参抓取位姿又是水下机器人自动捕捞的基础工作之一。

目前，检测海参目标及确定海参抓取位姿技术包括以下几种：先对水下海参图像进行增强，再对增强的图像进行图像分割的方法，此方法应用场景受到限制且实时性不高；用Faster R-CNN、YOLO和SSD等卷积神经网络目标检测方法，这些方法需要大量的训练数据，并且使用矩形边界框来标注目标检测结果，这种用传统矩形边界框标注目标检测结果的方法不但矩形边界框会包含过多目标外的特征，而且不能反映目标的旋转角度。上述问题的存在，使得基于视觉的水下机器人不能精确的标注目标检测结果，安装在水下机器人上的二指机械手臂无法确定抓取位置与抓取角度。

发明内容

有鉴于此，本发明的目的在于提供一种用可旋转的边界框标注海参目标检测结果的方法，主要是将全卷积神经网络图像分割方法与传统图像处理方法相结合，解决现有的图像分割方法应用场景受到限制且实时性不高，卷积神经网络方法对训练数据需求量大、标注边界框包含过多目标外特征且不能反映目标旋转角度的问题，为基于视觉的水下机器人精确的标注目标检测结果，为安装在水下机器人上的二指机械手臂确定抓取位置与抓取角度。

本发明是这样实现的，一种用可旋转的边界框标注海参目标检测结果的方法，包括以下步骤：

(1)对利用labelme软件制作的海参训练数据集进行数据扩充；

(2)构建全卷积神经网络；

(3)利用扩充后的数据集对构建好的全卷积神经网络进行离线训练；

(4)将包含海参的图像输入到训练好的全卷积神经网络，得到分割图；

(5)在所述分割图上进行腐蚀、滤波操作，得到后处理分割图；

(6)在所述后处理分割图上寻找最大连通域，即为检测到的海参目标；

(7)寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿。

所述对利用labelme软件制作的海参训练数据集进行数据扩充，包括：

对训练数据集图像及其对应标签图像进行相同的仿射变换、0值填充和随机裁剪；

仿射变换包含缩放、旋转、平移、剪切；0值填充是在完成仿射变换的训练数据集图像及其对应标签图像边缘进行；随机裁剪是在完成0值填充的训练数据集图像及其对应标签图像上随机裁剪出相同大小的图像320像素x320像素。

所述构建全卷积神经网络，包括：

全卷积神经网络由ResNet50的conv1、conv2_x、conv3_x、conv4_x和conv5_x层组成，conv5_x层图像大小与conv4_x层相同，且conv5_x层采用了dilation rate＝2的空洞卷积；

全卷积神经网络使用双线性插值方法将热图恢复到与输入图像相同大小。

所述寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿，包括：

求取所述最大外轮廓的最小外接矩形，能得到最小外接矩形在像素坐标系下的形心坐标(u，v)，宽高(width，height)和旋转角度θ，将(u，v)定为海参在图像像素坐标系上的抓取位置，将θ定为海参在图像像素坐标系上的抓取角度。

本发明的有益效果在于：

1.全卷积神经网络图像分割方法是通过对图像像素进行分类来实现图像分割，所以应用场景不受限制；

2.本发明设计的全卷积神经网络结构，由于上采样阶段没有采用转置卷积和跳跃结构，所以图像分割速度快，实时性高。同等精度情况下，本发明速度可达50ms/帧，而原全卷积神经网络图像分割方法速度为175ms/帧，分水岭算法速度为62ms/帧；

3.本发明对得到的分割图做腐蚀操作，剔除了海参周边的“毛刺”，确保最小外接矩形更加精确，使得海参抓取位姿不会出现在海参之外，定位更准确；

4.本发明对得到的分割图做滤波操作，滤掉小连通域，减少了寻找最大连通域的时间；

5.全卷积神经网络图像分割方法是对图像像素进行分类，最大连通域是最大可能为海参目标的区域，本发明提出了通过求取分割图像上最大连通域外轮廓的最小外接矩形的方法实现目标检测，目标检测更准确，标注边界框更精确，包含更少的目标外特征；

6.本发明能根据最小外接矩形正确输出海参目标的旋转角，这对于二指机械手实际抓取海参非常有用，更有利于二指机械手抓到海参目标；

7.本发明对训练数据集进行数据扩充，这能够有效减少对原始数据的需求量；

8.全卷积神经网络图像分割方法是对图像像素进行分类，本发明对训练数据集进行数据扩充的方法相比于resize的方法，不改变训练数据集原图像及其对应标签图像像素值。

附图说明

图1是一种用可旋转的边界框标注海参目标检测结果的方法流程图；

图2是制作海参训练、验证和测试数据集的海参原图例；

图3是使用labelme软件制作的海参训练、验证和测试数据集标签例；

图4是训练数据集图像和对应标签进行相同的仿射变换、0值填充和随机裁剪结果例；

图5是海参测试数据图例；

图6是海参测试数据图输入到训练好的的全卷积神经网络得到的分割图；

图7是在分割图上进行腐蚀、滤波操作得到的后期处理分割图；

图8是在后期处理分割图上寻找到的最大连通域轮廓图；

图9是轮廓的最小外接矩形的形心和旋转角为抓取位姿图；

图10是原图上可视化的可旋转的边界框；

具体实施方式

下面结合附图对本发明做进一步描述。

本发明公开了一种用可旋转的边界框标注海参目标检测结果的方法，该方法包括如下步骤：将包含海参的图像输入到训练好的的全卷积神经网络，得到分割图；在分割图上进行腐蚀、滤波操作，得到后处理分割图；在后处理分割图上寻找最大连通域，即检测到海参；寻找最大连通域外轮廓的最小外接矩形，将其形心和旋转角确定为海参的抓取位置和抓取角度。通过上述步骤方法，本发明能够实时地用可旋转的边界框为基于视觉的水下机器人更精确地标注出海参目标检测结果，为安装在水下机器人上的二指机械手臂确定抓取海参时的抓取位置与抓取角度。

一种用可旋转的边界框标注海参目标检测结果的方法，所述方法包括如下步骤:

S1.将包含海参的图像输入到训练好的全卷积神经网络，得到分割图；

S2.在所述分割图上进行腐蚀、滤波操作，得到后处理分割图；

S3.在所述后处理分割图上寻找最大连通域，即为检测到的海参目标；

S4.寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿。

可旋转的边界框为检测到的海参目标外轮廓的最小外接矩形，抓取位姿为抓取位置和抓取角度。

在所述步骤S1之前还包括：

S5.对利用labelme软件制作的海参训练数据集进行数据扩充；

S6.构建全卷积神经网络；

S7.利用扩充后的数据集对构建好的全卷积神经网络进行离线训练。

所述步骤S5中对训练数据集进行数据扩充是指：对训练数据集图像及其对应标签图像进行相同的仿射变换、0值填充和随机裁剪。

所述仿射变换包含缩放、旋转、平移、剪切；所述0值填充是在完成所述仿射变换的训练数据集图像及其对应标签图像边缘进行；所述随机裁剪是在完成所述0值填充的训练数据集图像及其对应标签图像上随机裁剪出相同大小的图像320像素x320像素。

所述步骤S6中所述全卷积神经网络由ResNet50的conv1、conv2_x、conv3_x、conv4_x和conv5_x层组成，但conv5_x层图像大小与conv4_x层相同，且conv5_x层采用了dilation rate＝2的空洞卷积。

所述全卷积神经网络使用双线性插值(Bilinear upsampling)方法将热图(heatmap)恢复到与输入图像相同大小。

海参生活在6米以下的海水中，现阶段海参的捕捞主要是靠潜水员来完成的，主要是在春、秋两季气温较低时进行，海水压力大，温度低，长期从事捕捞工作的潜水员会有关节炎等职业病，人工捕捞效率低、危险系数高。随着对海参需求量的增多，越来越需要水下机器人自动捕捞海参，而检测海参目标及确定海参抓取位姿又是水下机器人自动捕捞的基础工作之一。

目前，检测海参目标及确定海参抓取位姿技术包括以下几种：先对水下海参图像进行增强，再对增强的图像进行图像分割的方法，此方法应用场景受到限制且实时性不高；用Faster R-CNN、YOLO和SSD等卷积神经网络目标检测方法，这些方法需要大量的训练数据，并且使用矩形边界框来标注目标检测结果，这种用传统矩形边界框标注目标检测结果的方法不但矩形边界框会包含过多目标外的特征，而且不能反映目标的旋转角度。上述问题的存在，使得基于视觉的水下机器人不能精确的标注目标检测结果，安装在水下机器人上的二指机械手臂无法确定抓取位置与抓取角度。

有鉴于此，本发明的目的在于提供一种用可旋转的边界框标注海参目标检测结果的方法，主要是将全卷积神经网络图像分割方法与传统图像处理方法相结合，解决现有的图像分割方法应用场景受到限制且实时性不高，卷积神经网络方法对训练数据需求量大、标注边界框包含过多目标外特征且不能反映目标旋转角度的问题，为基于视觉的水下机器人精确的标注目标检测结果，为安装在水下机器人上的二指机械手臂确定抓取位置与抓取角度。

本发明是这样实现的，一种用可旋转的边界框标注海参目标检测结果的方法，所述方法包括如下步骤：

S1.将包含海参的图像输入到训练好的全卷积神经网络，得到分割图；

S2.在所述分割图上进行腐蚀、滤波操作，得到后处理分割图；

S3.在所述后处理分割图上寻找最大连通域，即为检测到的海参目标；

S4.寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿。

在所述步骤S1之前本发明还包括：

S5.对利用labelme软件制作的海参训练数据集进行数据扩充；

S6.构建全卷积神经网络；

S7.利用扩充后的数据集对构建好的全卷积神经网络进行离线训练。

1.全卷积神经网络图像分割方法是通过对图像像素进行分类来实现图像分割，所以应用场景不受限制；

2.本发明设计的全卷积神经网络结构，由于上采样阶段没有采用转置卷积和跳跃结构，所以图像分割速度快，实时性高。同等精度情况下，本发明速度可达50ms/帧，而原全卷积神经网络图像分割方法速度为175ms/帧，分水岭算法速度为62ms/帧；

3.本发明对得到的分割图做腐蚀操作，剔除了海参周边的“毛刺”，确保最小外接矩形更加精确，使得海参抓取位姿不会出现在海参之外，定位更准确；

4.本发明对得到的分割图做滤波操作，滤掉小连通域，减少了寻找最大连通域的时间；

5.全卷积神经网络图像分割方法是对图像像素进行分类，最大连通域是最大可能为海参目标的区域，本发明提出了通过求取分割图像上最大连通域外轮廓的最小外接矩形的方法实现目标检测，目标检测更准确，标注边界框更精确，包含更少的目标外特征；

6.本发明能根据最小外接矩形正确输出海参目标的旋转角，这对于二指机械手实际抓取海参非常有用，更有利于二指机械手抓到海参目标；

7.本发明对训练数据集进行数据扩充，这能够有效减少对原始数据的需求量；

8.全卷积神经网络图像分割方法是对图像像素进行分类，本发明对训练数据集进行数据扩充的方法相比于resize的方法，不改变训练数据集原图像及其对应标签图像像素值。

图1为本发明提供的一种用可旋转的边界框标注海参目标检测结果的方法的流程图，该方法包括如下步骤:

S1.将包含海参的图像输入到训练好的全卷积神经网络，得到分割图。

本发明采用microsoft网络摄像头获取海参的480像素X640像素大小的RGB图像。部分图像如图5所示。

在本发明中，全卷积神经网络在测试时对输入图像的尺寸没有要求，并且由于本发明是二分类问题，所以分割结果图像为二值图像，部分分割图效果如图6所示。

S2.在所述分割图上进行腐蚀、滤波操作，得到后处理分割图。

在本发明中，经过全卷积神经网络图像分割得到海参分割图，但是海参周边的“毛刺”会影响到最终确定海参外轮廓最小外接矩形的结果，并且由于噪声或者光线等原因，在视野中没有海参的情况下，网络误分割出了背景的部分区域。因此，要对得到的图像做腐蚀和滤波处理，剔除“毛刺”、滤掉小连通域，确保检测结果及最小外接矩形更加精确，滤掉小连通域，减少了寻找最大连通域的时间。对二值的分割图进行腐蚀、滤波操作后的分割图效果如图7所示，本步骤剔除“毛刺”操作确保海参抓取位姿不会出现在海参之外。

S3.在所述后处理分割图上寻找最大连通域，即为检测到的海参目标。

在本发明中，使用计算轮廓内的像素点个数方法来计算连通域大小。求出每个轮廓的面积后，只保留最大的轮廓坐标及其序号，这就是经过全卷积神经网络图像分割后最大可能的目标区域，其余区域置0，效果如图8所示。

S4.寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿。

求取所述最大外轮廓的最小外接矩形，能得到最小外接矩形在像素坐标系下的形心坐标(u，v)，宽高(width，height)和旋转角度θ，将(u，v)定为海参在图像像素坐标系上的抓取位置，将θ定为海参在图像像素坐标系上的抓取角度，效果如图9，可视化后的可旋转的边界框效果如图10所示。

通过上述步骤方法，本发明能解决现有的图像分割方法应用场景受到限制且实时性不高，卷积神经网络方法对训练数据需求量大、标注边界框包含过多目标外特征且不能反映目标旋转角度的问题，为基于视觉的水下机器人精确的标注目标检测结果，为安装在水下机器人上的二指机械手臂确定抓取位置与抓取角度。

在本发明中，在所述步骤S1之前还包括：

S5.对利用labelme软件制作的海参训练数据集进行数据扩充。

在本发明中，利用labelme软件制作海参训练、验证和测试数据集标签，标签原图如图2所示，标签效果如图3所示。

在本发明中，对训练数据集进行数据扩充是指：对训练数据集原图像及其对应标签图像进行相同的仿射变换、0值填充和随机裁剪，如图4所示。

其中：仿射变换包含缩放、旋转、平移、剪切；0值填充是在完成所述仿射变换的训练数据集图像及其对应标签图像边缘进行；随机裁剪是在完成所述0值填充的训练数据集图像及其对应标签图像上随机裁剪出相同大小的图像320像素x320像素，以满足神经网络训练时输入要求的尺寸。

S6.构建全卷积神经网络。

在本发明中，全卷积神经网络由ResNet50的conv1、conv2_x、conv3_x、conv4_x和conv5_x层组成，但conv5_x层图像大小与conv4_x层相同，且conv5_x层采用了dilationrate＝2的空洞卷积，使用双线性插值(Bilinear upsampling)方法将热图(heat map)恢复到输入图像大小，模型结构配置如表1所示。

其中，Output size是为了说明训练时图像的尺寸变化情况，而在测试时对输入图像的尺寸没有要求。

S7.利用扩充后的数据集对构建好的全卷积神经网络进行离线训练。

具体包括如下步骤：

S71.采用步骤S5对给定的训练数据集进行数据扩充；

S72.将所述扩充训练数据集输入到训练好的的全卷积神经网络，得到分割图，通过反向传播算法有监督训练迭代200次，训练全卷积神经网络的权值。在本发明中，全卷积神经网络训练超参数配置如表2所示。

本发明是有监督训练的分类问题，代价函数计算公式如下：

其中，y_i是类别i的标签；p_i是Softmax计算出的类别i的概率值；k是类别数，N是样本总数，J为一个batch＝N的平均交差熵。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用可旋转的边界框标注海参目标检测结果的方法，其特征在于，包括以下步骤：

(1)对利用labelme软件制作的海参训练数据集进行数据扩充；

(2)构建全卷积神经网络；

(3)利用扩充后的数据集对构建好的全卷积神经网络进行离线训练；

(4)将包含海参的图像输入到训练好的全卷积神经网络，得到分割图；

(5)在所述分割图上进行腐蚀、滤波操作，得到后处理分割图；

(6)在所述后处理分割图上寻找最大连通域，即为检测到的海参目标；

(7)寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿。

2.根据权利要求1所述的一种用可旋转的边界框标注海参目标检测结果的方法，其特征在于，所述对利用labelme软件制作的海参训练数据集进行数据扩充，包括：

对训练数据集图像及其对应标签图像进行相同的仿射变换、0值填充和随机裁剪；

仿射变换包含缩放、旋转、平移、剪切；0值填充是在完成仿射变换的训练数据集图像及其对应标签图像边缘进行；随机裁剪是在完成0值填充的训练数据集图像及其对应标签图像上随机裁剪出相同大小的图像320像素x320像素。

3.根据权利要求1所述的一种用可旋转的边界框标注海参目标检测结果的方法，其特征在于，所述构建全卷积神经网络，包括：

全卷积神经网络由ResNet50的conv1、conv2_x、conv3_x、conv4_x和conv5_x层组成，conv5_x层图像大小与conv4_x层相同，且conv5_x层采用了dilation rate＝2的空洞卷积；

全卷积神经网络使用双线性插值方法将热图恢复到与输入图像相同大小。

4.根据权利要求1所述的一种用可旋转的边界框标注海参目标检测结果的方法，其特征在于，所述寻找所述最大连通域外轮廓的最小外接矩形，将所述最小外接矩形的形心和旋转角确定为海参在图像像素坐标系上的抓取位姿，包括：

求取所述最大外轮廓的最小外接矩形，能得到最小外接矩形在像素坐标系下的形心坐标(u，v)，宽高(width，height)和旋转角度θ，将(u，v)定为海参在图像像素坐标系上的抓取位置，将θ定为海参在图像像素坐标系上的抓取角度。