CN112308002B - 一种基于单阶段深度学习网络的海底生物识别和检测方法 - Google Patents

Abstract

本发明公开了一种基于单阶段深度学习网络的海底生物识别和检测方法，包含以下的步骤：基于卷积神经网络的海底生物特征提取；采用GIoU策略计算真值框和预测框的回归误差；基于K‑means算法的维度聚类。本发明利用基于卷积神经网络方法实现海底生物有效特征的提取，有效抑制背景噪声对于海底生物的干扰，同时突显海底生物的特征，有利于提高海底生物检测和识别的精度。本发明借助GIoU的方法，预测框和真值框之间的回归误差可以被精确的计算，从而整个检测系统的卷积权重可以被充分优化。本发明借助于K‑means聚类算法，获取海底生物外形尺寸的先验信息能够更加贴合海底生物的实际特性，有效降低海底生物的误检率。

Description

一种基于单阶段深度学习网络的海底生物识别和检测方法

技术领域

本发明属于水下智能捕捞机器人领域，尤其涉及一种基于单阶段深度学习网络的海底生物精准识别和检测方法。

背景技术

海底生物，特别是海参，具有极高的食用和药用价值。海参通常生活在远离岸边的深海环境中，传统捕捞海参的方法主要依靠大量的人力下潜至海底手动捕捞或者借助远程遥控机器人在岸边实施遥控抓取。上述捕捞海底生物的方法不可避免的存在风险性高、捕捞效率低下和作业时间短等缺陷。

随着人工智能的飞速发展，智能自主捕捞机器人技术得以快速的推动和发展。水下捕捞机器人能够捕捞成功的关键技术为高精度的检测和识别感兴趣的海底生物，包括海参、海胆和扇贝。需要指出的是，高精度检测和识别海底生物属于目标识别领域。实现高精度检测和识别海底生物的前提是针对海底生物能够获取丰富的语义信息和有效特征。在这种情况下，海底生物特征的提取可以分为机器学习和深度学习两种方法。传统已有的机器学习方法主要包括：方向梯度直方图Histogram of Oriented Gradient(HOG)、尺度不变特征变换Scale-invariant feature transform(SIFT)和加速鲁棒特征Speeded Up RobustFeatures(SURF)等，上述的机器算法仅能提取包括边缘、纹理、颜色等浅层的特征信息。当海底生物的颜色与海底背景一致的时候，基于机器学习的方法难以提取有效的特征。在这种情况下，不可避免的导致检测和识别的效果差、精度低。随着计算机硬件资源的加速和计算能力的增强，基于卷积神经网络convolution neural network(CNN)算法被广泛地提出，典型的算法包括Fast RCNN、Faster RCNN、You Only Look Once(YOLO)和Single ShotDetector(SSD)等，上述基于深度学习算法能够充分地利用卷积神经网络强大的特征提取和拟合能力，实现高精度的检测和识别海底生物。

基于前述深度学习的方法，复杂海底环境下的海底生物检测和识别主要存在如下的缺陷：(1)未知的、复杂的和时变的海洋环境极大的影响海底生物特征的提取，已有的方法没有考虑到所提取的特征对于海底生物检测结果的影响，导致后续的检测和识别的精度降低；(2)没有考虑到所使用的回归损失函数对于海底生物检测和识别结果的影响，导致不能精确计算预测框和真值框的回归误差；(3)最后，已有的方法没有考虑到海底生物形状层面的先验知识对于识别和检测的影响，导致基于深度学习的海底生物检测误检率较高。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种后续检测和识别的精度高、能准确衡量预测框和真值框之间回归误差、有效降低海底生物误检率的基于单阶段深度学习网络的海底生物识别和检测方法。

为了实现上述目的，本发明的技术方案如下：

考虑到复杂多变的海底水下环境，特别是不均匀光照、能见度低、浊化现象严重以及对比度不均衡等情况，上述恶劣的海底环境导致利用传统的机器学习方法对海底生物检测识别效果差。本发明充分利用卷积神经网络强大的特征提取能力，首先对海底生物的特征进行提取，以此来提高海底生物检测的精度；进而，考虑当预测框和真值框不存在交集的时候，已有的回归损失函数难以直接有效的计算回归误差，本发明提出采用基于通用交并比Generalized Intersection overUnion(GIoU)的方法，以此来高精度的计算回归误差；最后，考虑到海底生物特殊的外形尺寸，本发明利用K-means聚类策略来学习海底生物特殊形状的先验知识，以此来降低海底生物的误检率。

一种基于单阶段深度学习网络的海底生物识别和检测方法，包含以下的步骤：

A、基于卷积神经网络的海底生物特征提取

基于卷积神经网络设计的特征提取网络包括53层卷积层和23层残差层，具体方法如下：

A1、读入分辨率为448×448×3大小的彩色图片，经过卷积正则激活模块即CBL，依次经过Res_1、Res_2、Res_8、Res_8、Res_4、5个CBL模块、1个卷积模块CBL Convolution即CC，得到宽度、高度以及通道数量分别是14、14和27的特征图，记作H-CNN-14；

A2、将步骤A1中CC输出的特征图利用上采样模块CBL UpSample即CU与A1步骤中第2个Res_8的输出相拼接，然后经过5个CBL模块、一个CC模块，得到宽度、高度以及通道数量分别是28、28和27的特征图，记作H-CNN-28；

A3、将步骤A2中CC输出的特征图利用CU与A1步骤中第1个Res_8的输出相拼接，然后经过5个CBL模块、1个CC模块，得到宽度、高度以及通道数量分别是56、56和27的特征图，记作H-CNN-56；

A4、分别利用步骤A1、A2和A3中得到的三个特征图H-CNN-14、H-CNN-28、H-CNN-56预测大尺度、中尺度和小尺度的海底生物。

B、采用GIoU策略计算真值框和预测框的回归误差

首先，利用在IOU的基础上GIoU策略计算预测框和真值框的D_IOU距离，其中IOU代表交并比，表示真值框与预测框之间的交集与并集的比值；而GIOU代表通用交并比，表示一种具有更强泛化性能的预测框和真值框的距离衡量方法。

其中P_b＝(x^ptl,y^ptl,x^pdr,y^pdr)，(x^ptl,y^ptl)和(x^pdr,y^pdr)分别表示预测框的左上角和右下角坐标。T_b＝(x^ttl,y^ttl,x^tdr,y^tdr)，(x^ttl,y^ttl)和(x^tdr,y^tdr)分别表示真值框的左上角和右下角坐标。符号“∩”和“∪”分别表示交集和并集操作。从公式(1)中看出，D_IOU的取值区间为[0,1]，

其次，真值框和预测框的D_GIOU距离通过下式计算：

其中C表示能够同时包含预测框和真值框的最小包围框，符号“\”表示前面的集合减去后面的集合。从公式(2)中得出，D_GIoU的取值区间为(-1,1]。

最后，回归误差表示为：

R_loss＝1-D_GIoU (3)

从公式(3)中得到R_loss的取值范围为[0,2)；

回归误差的具体计算步骤如下：

B1、计算交集的宽度w^I

w^I＝min(x^pdr,x^tdr)-max(x^ptl,x^ttl)

其中x^pdr代表预测框右下角横坐标；x^tdr代表真值框的右下角横坐标；x^ptl代表预测框左上角横坐标；x^ttl代表真值框左上角横坐标；min操作代表两者中取小值；max操作代表两者中取大值；w^I代表交集的宽度；

B2、计算交集的高度h^I

h^I＝min(y^pdr,y^tdr)-max(y^ptl,y^ttl)

其中y^pdr代表预测框右下角纵坐标；y^tdr代表真值框的右下角纵坐标；y^ptl代表预测框左上角纵坐标；y^ttl代表真值框左上角纵坐标；h^I代表交集的高度；

B3、计算预测框PBB的面积a^P

a^P＝(x^pdr-x^ptl)(y^pdr-y^ptl)

其中a^P代表预测框PBB的面积大小；

B4、计算真值框GTB的面积a^T

a^T＝(x^tdr-x^ttl)(y^tdr-y^ttl)

其中a^T代表真值框GTB的面积大小；

B5、计算最小包围框的宽度w^s

w^s＝max(x^tdr,x^pdr)-min(x^ttl,x^ptl)

其中w^s代表最小包围框的宽度；

B6、计算最小闭合矩形的高度h^s

h^s＝max(y^tdr,y^pdr)-min(y^ttl,y^ptl)

其中h^s代表最小包围框的高度；

B7、计算D_IOU距离和D_GIOU距离

如果w^I＞0&h^I＞0

其中D_IOU代表以IOU为衡量方式的距离；

其中D_GIoU代表以GIoU为衡量方式的距离；

否则：

D_IOU＝0

B8、求取回归误差：

R_loss＝1-D_GIoU

C、基于K-means算法的维度聚类

C1、建立优化目标

其中d_IOU代表样本x_i和聚类中心

的IOU距离，n_c、m和S_j分别代表所要聚类的类别数量、第m次迭代以及第j类样本集合的中心；其中，/>

表示不同类别的聚类中心，c代表用宽度和高度来描述的先验框(w^AB,h^AB)；

C2、基于IOU的距离衡量方法，计算样本xi和聚类中心

的距离：

C3、根据公式(5)，求出最小的距离；根据最小距离将样本x_i分配到集合S_j；

S_j＝S_j∪{x_i|d_ij d_ip} (6)

其中p表示除了第j类外剩余的其他类别索引；

C4、重新计算新的聚类中心：

其中n_j代表第j^th类的所包含样本的数量；

C5、比较第m次和第m+1次聚类结果是否相等；如果前后两次聚类结果不相等，则转步骤C2，直到满足下式：

其中δ＝0.0001—0.001，max代表求取最大值操作。

与现有技术相比，本发明具有以下有益效果：

1.复杂的海底环境通常存在光线不均匀、浑浊度大和对比度不均衡，因此不可避免地导致海底生物的特征提取困难。需要注意的是，有效特征的提取能够极大影响后续的检测和识别精度。基于此，本发明设计了基于卷积神经网络的主干特征提取网络BackboneConvolutional Neural Network(B-CNN)和基于卷积神经网络的检测网络HeadConvolutional Neural Network(H-CNN)。本发明利用基于卷积神经网络方法实现海底生物有效特征的提取，有效抑制背景噪声对于海底生物的干扰，同时突显海底生物的特征，有利于提高海底生物检测和识别的精度。

2、实现高精度的海底生物检测不断计算预测框Predicted Bounding Box(PBB)与真值框Ground Truth Box(GTB)之间的回归误差。当真值框和预测框不存在交集的时候，已有的基于交并比Intersection Over Unit(IOU)的策略难以有效地衡量回归误差大小。基于此，本发明借助GIoU的方法，预测框和真值框之间的回归误差可以被精确的计算，从而整个检测系统的卷积权重可以被充分优化。

3、基于卷积神经网络的海底生物检测中，可以充分利用海底生物外形尺寸的先验信息，能够使卷积神经网络的训练误差更快收敛。进而，能够实现海底生物高精度的检测和识别。基于此，本发明借助于K-means聚类算法，完成海底生物形状尺寸的聚类。相比于常见的先验框，利用K-means聚类算法获取海底生物外形尺寸的先验信息能够更加贴合海底生物的实际特性，有效降低海底生物的误检率。

附图说明

图1是基于深度学习的检测网络框架。

图2是海底生物训练集的平均IOU性能。

图3是海底生物训练集的维度聚类结果。

图4是真值框。

图5是Faster RCNN算法的水下真实场景检测结果。

图6是YOLOv2算法的水下真实场景检测结果。

图7是YOLOv3算法的水下真实场景检测结果。

图8是本发明所提出的算法对水下真实场景检测结果。

具体实施方式

下面结合附图对本发明进行进一步地描述。图1所示是基于深度学习的检测网络框架。平均IOU可以用作维度聚类的性能指标。如图2所示，随着聚类数量的增加，平均IOU亦逐渐增加。当聚类数量大于9的时候，平均IOU增加十分缓慢。考虑到检测的准确性和模型的复杂性，最终选定n_c＝9。当n_c＝9的时候，平均IOU能够达到79.31％，最终的聚类结果如图3所示，其中聚类中心用五星符号进行表示。

在表1中，先验框分别用宽和高的形式进行表示。从表1中可以看出，H-CNN-14、H-CNN-28和H-CNN-56分别结合感受野为大、中、小的先验框可以分别用来检测大尺度(物体所占面积大于96²像素)、中尺度(物体所占面积大于32²像素并且小于96²像素)和小尺度(物体所占面积小于32²像素)的海底生物。

表1不同感受野下的先验框

名称	感受野	先验框
			H-CNN-14	大	13×19，23×41，19×29
H-CNN-28	中	29×34，31×50，37×68
			H-CNN-56	小	47×48，52×82，76×115

为了充分说明本发明所提出算法的有效性和优越性，将本发明所提出的算法与典型的目标检测算法进行对比，包括Faster RCNN、YOLOv2和YOLOv3。

平均准确率average precision(AP)、类别平均准确率mean average precision(mAP)和检测速度Frames Per Second(FPS)作为量化评价指标。比较结果如表2所示，从表中我们可以看出，本发明所提出的算法能够分别在608×608和320×320实现最高的准确率和最快的检测速度。除此之外，本发明所提出的算法能够与YOLOv3算法实现相同的检测速度。缺少高层次语义特征信息的YOLOv2算法很难实现与本发明所提出的算法实现相同的准确率。最后，借助于ResNet-101网络，Faster RCNN算法可以实现比YOLOv2和YOLOv3更高的精度，但是Faster RCNN算法很难达到实时的效果。

表2评价指标

除此之外，用上述方法来检测真实海底，结果如图4-8所示，其中包括光线暗(第一行)、光线亮(第二行)、运动模糊(第三行)以及多目标(第四行)的四种典型的真实水下环境被用于比较。。从图4-8的第1行和第2行可以看出，在光线暗和光线亮的情况下，本发明所提出的检测算法远远超过其他算法。需要注意的是，如图4-8的第3行，在运动模糊的情况下，尽管所有的海底生物都能被检测出来，但是本发明算法具有更高的置信度得分，从而能够实现更高的检测精度。如图4-8的第4行，在多目标检测情况下，Faster RCNN算法能够实现与本发明所提出的算法相一致的检测精度。究其原因，Faster RCNN算法能够借助区域推荐网络Region Proposal Network(RPN)实现感兴趣区域的推荐。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于单阶段深度学习网络的海底生物识别和检测方法，其特征在于：包含以下的步骤：

A、基于卷积神经网络的海底生物特征提取

基于卷积神经网络设计的特征提取网络包括53层卷积层和23层残差层，具体方法如下：

A1、读入分辨率为448×448×3大小的彩色图片，经过卷积正则激活模块即CBL，依次经过Res_1、Res_2、Res_8、Res_8、Res_4、5个CBL模块、1个卷积模块CBL Convolution即CC，得到宽度、高度以及通道数量分别是14、14和27的特征图，记作H-CNN-14；

A2、将步骤A1中CC输出的特征图利用上采样模块CBLUpSample即CU与A1步骤中第2个Res_8的输出相拼接，然后经过5个CBL模块、一个CC模块，得到宽度、高度以及通道数量分别是28、28和27的特征图，记作H-CNN-28；

A3、将步骤A2中CC输出的特征图利用CU与A1步骤中第1个Res_8的输出相拼接，然后经过5个CBL模块、1个CC模块，得到宽度、高度以及通道数量分别是56、56和27的特征图，记作H-CNN-56；

A4、分别利用步骤A1、A2和A3中得到的三个特征图H-CNN-14、H-CNN-28、H-CNN-56预测大尺度、中尺度和小尺度的海底生物；

B、采用GIoU策略计算真值框和预测框的回归误差

首先，利用在IOU的基础上GIoU策略计算预测框和真值框的D_IOU距离，其中IOU代表交并比，表示真值框与预测框之间的交集与并集的比值；而GIOU代表通用交并比，表示一种具有更强泛化性能的预测框和真值框的距离衡量方法；

其中P_b＝(x^ptl,y^ptl,x^pdr,y^pdr)，(x^ptl,y^ptl)和(x^pdr,y^pdr)分别表示预测框的左上角和右下角坐标；T_b＝(x^ttl,y^ttl,x^tdr,y^tdr)，(x^ttl,y^ttl)和(x^tdr,y^tdr)分别表示真值框的左上角和右下角坐标；符号“∩”和“∪”分别表示交集和并集操作；从公式(1)中看出，D_IOU的取值区间为[0,1]，

其次，真值框和预测框的D_GIOU距离通过下式计算：

其中C表示能够同时包含预测框和真值框的最小包围框，符号“\”表示前面的集合减去后面的集合；从公式(2)中得出，D_GIoU的取值区间为(-1,1]；

最后，回归误差表示为：

R_loss＝1-D_GIoU (3)

从公式(3)中得到R_loss的取值范围为[0,2)；

回归误差的具体计算步骤如下：

B1、计算交集的宽度w^I

w^I＝min(x^pdr,x^tdr)-max(x^ptl,x^ttl)

其中x^pdr代表预测框右下角横坐标；x^tdr代表真值框的右下角横坐标；x^ptl代表预测框左上角横坐标；x^ttl代表真值框左上角横坐标；min操作代表两者中取小值；max操作代表两者中取大值；w^I代表交集的宽度；

B2、计算交集的高度h^I

h^I＝min(y^pdr,y^tdr)-max(y^ptl,y^ttl)

其中y^pdr代表预测框右下角纵坐标；y^tdr代表真值框的右下角纵坐标；y^ptl代表预测框左上角纵坐标；y^ttl代表真值框左上角纵坐标；h^I代表交集的高度；

B3、计算预测框PBB的面积a^P

a^P＝(x^pdr-x^ptl)(y^pdr-y^ptl)

其中a^P代表预测框PBB的面积大小；

B4、计算真值框GTB的面积a^T

a^T＝(x^tdr-x^ttl)(y^tdr-y^ttl)

其中a^T代表真值框GTB的面积大小；

B5、计算最小包围框的宽度w^s

w^s＝max(x^tdr,x^pdr)-min(x^ttl,x^ptl)

其中w^s代表最小包围框的宽度；

B6、计算最小闭合矩形的高度h^s

h^s＝max(y^tdr,y^pdr)-min(y^ttl,y^ptl)

其中h^s代表最小包围框的高度；

B7、计算D_IOU距离和D_GIOU距离

如果w^I＞0&h^I＞0

其中D_IOU代表以IOU为衡量方式的距离；

其中D_GIoU代表以GIoU为衡量方式的距离；

否则：

D_IOU＝0

B8、求取回归误差：

R_loss＝1-D_GIoU

C、基于K-means算法的维度聚类

C1、建立优化目标

其中d_IOU代表样本x_i和聚类中心

的IOU距离，n_c、m和S_j分别代表所要聚类的类别数量、第m次迭代以及第j类样本集合的中心；其中，/>

表示不同类别的聚类中心，c代表用宽度和高度来描述的先验框(w^AB,h^AB)；

C2、基于IOU的距离衡量方法，计算样本xi和聚类中心

的距离：

C3、根据公式(5)，求出最小的距离；根据最小距离将样本x_i分配到集合S_j；

S_j＝S_j∪{x_i|d_ij d_ip} (6)

其中p表示除了第j类外剩余的其他类别索引；

C4、重新计算新的聚类中心：

其中n_j代表第j^th类的所包含样本的数量；

C5、比较第m次和第m+1次聚类结果是否相等；如果前后两次聚类结果不相等，则转步骤C2，直到满足下式：

其中δ＝0.0001—0.001，max代表求取最大值操作。

Images