CN108444447A - 一种用于水下避障系统中的渔网实时自主检测方法 - Google Patents

Abstract

本发明提供了一种用于水下避障系统中的渔网实时自主检测方法，属于计算机视觉领域，通过水下激光探测手段和一种基于深度生成网络和深度学习回归式与区域建议相结合目标检测的方法，减少图像预处理操作的时间。本发明使用基于水下激光扫描系统采集渔网图像，克服传统光在水下的后向散射作用以及声波受海水环境影响敏感性问题，得到清晰、高亮度的水下渔网图像，可直接用于后期的渔网检测，不需要通过去噪等前期预处理手段，大大提升后期渔网目标检测过程的实时性，既保证深度学习大数据量的要求，又在保证实时性的前提下提高渔网目标检测的置信度，为水下避障系统提供视觉部分的渔网检测技术方法。

Description

一种用于水下避障系统中的渔网实时自主检测方法

技术领域

本发明提供了一种用于水下避障系统中的渔网实时自主检测方法，属于计算机视觉领域，具体地说是通过水下激光探测手段和一种基于深度生成网络和深度学习回归式与区域建议相结合目标检测的方法，减少图像预处理操作的时间，渔网边框回归的动态过程中在提高置信度的前提下依然能保持很好的时间性能。

背景技术

近十几年来，我国的海洋捕捞业和养殖业得到了空前迅猛地发展，在增加外贸出口，提高经济收入等方面发挥了积极的作用。但是随着海洋捕鱼业和养殖业的发展，渔网缠绕螺旋桨事件越来越多的发生，给航运业带来了很大的直接或者间接的损失。比如2005年一艘万吨级的集装箱船的螺旋桨被渔网缠住而失去动力。在多名潜水员先后下水轮流作业数小时后才得以恢复正常，但是造成了尾轴油封损坏，发生润滑油泄露，给船东和养殖户带来了很大的经济损失。目前，水下探测技术常采用的光学和声波探测，但针对渔网探测，传统光学探测技术的照明光在水下发生严重的后向散射现象，无法远距离探测渔网；声波对海水盐度、温度较为敏感，无法探测网线毫米量级，网口大小为厘米量级的渔网小目标。

传统视觉领域对于渔网这类水下网状柔性目标，采用传统光学摄像机直接获取图像进行识别探测，通过数字图像去噪预处理后，进行渔网边缘提取，变回归式的方式拟合网线边缘。由于边缘检检测模板较小且为方形，近距离提取的网线边缘有伪边缘存在，而远距离提取的边缘有边缘消失的情况，因此严重影响边缘检测质量，导致后面拟合网线边缘的效果大大降低。目前对于渔网探测仍缺乏有效的探测手段，也未见渔网检测相关的报道。这就迫切需要提出一种新的渔网检测方法，在渔网边框回归的动态过程中依然能保持很好的时间性能。

发明内容

本发明提供了一种用于水下避障系统中的渔网实时自主检测方法，目的在于针对探测水下目标的探测技术中传统光在水下有严重的后向散射作用，导致探测距离较近，而声波又对环境因素较为敏感的这些问题进行改进。

本发明提供的方法采用水下激光探测手段进行改进；对于传统柔性网状目标检测方法实时性不好，检测的置信度低等特点，本发明提出一种基于深度生成网络和深度学习回归式与区域建议相结合目标检测的方法进行改进。

为实现上述目的，本发提供的方法过程如下：

步骤一：由水下激光器和摄像头构建水下激光扫描系统，激光器的绿色激光光束扫描渔网的同时通过水下摄像头采集清晰、高亮度的水下渔网图像数据，进行后续检测，其水下激光系统如图1所示；

步骤二：将采集的数据输入深度生成对抗网络，如图2所示，其生成模型和判别模型以对偶学习的方式进行交替优化，使生成模型生成的渔网数据接近于真实的渔网数据并且网线具有更多形态变化；

步骤三：深度生成对抗网络扩充的数据输入给深度学习回归式网络，其训练网络采用参数量少、网络层数更深的基准网络进行特征提取，多尺度的特征在其对应特征图进行回归渔网边框时加入一部分区域建议的方法，并进行尺度融合。将训练好的模型和网络用于水下场景的渔网实时检测，其整体流程如图3所示。

与现有技术相比，本发明的优势在于：

1.采用水下激光扫描系统，克服传统探测手段的缺点，减少图像预处理时间；

2.在小数据量的前提下，通过深度生成网络生成更多形态变化的渔网数据用于深度学习目标检测的模型训练，解决了深度学习目标检测数据量小的问题，大大提高系统的鲁棒性，为后续目标检测奠定大数据基础；

3.通过深度学习回归式目标检测结合一部分区域建议的方法，减少了区域选取的时间，很大程度地保持柔性渔网在水中进行动态变化的过程中实时检测的性能，为水下避障系统视觉部分的渔网检测奠定了基础。

附图说明

图1水下激光扫描系统示意图；

图2是生成式对抗网络结构图；

图3是本发明检测系统框架图；

图4是残差块网络结构图；

图5是多尺度特征融合图；

图6是特征盒匹配图；

图7是近距离拟合的网线效果图；

图8是远距离拟合的网线效果图；

图9是渔网数据生成过程效果图；

图10是生成的渔网数据；

图11是本发明目标检测指标分析图；

图12是原始回归式目标检测指标分析图；

图13是实验效果对比图。

具体实施方式

下面结合附图对本发明提供的方法做进一步的说明：

(1)水下激光扫描系统

本发明的水下激光扫描作为一种非水声探测系统，具有其独特的优势，对海水温度和盐度变化不敏感，直接二维强度成像且图像分辨率高，激光的高亮度可以有效消除背景光噪声，激光的偏振特性提高探测信噪比，实现高速度、高精度和大面积探测。采用绿色激光，因为海水中存在透光窗口，对于处在450nm～580nm光谱波段内的蓝绿光衰减比对其他波段光的衰减要小。采用激光器扫射渔网，既避免照明光在水下的散射，又克服了声波受海水环境影响敏感性问题，得到具有渔网特点的激光线和离散状的激光点分布。如图1所示，通过水下摄像头和激光器结合拍摄渔网，获取水下渔网动态视频，进行后续工作。

(2)生成式对抗网络模型

如图2生成式对抗网络结构示意图，其特征是是从原始的渔网数据样本中学习所对应的概率分布，以期根据概率分布函数获取更多生成的渔网样本来实现数据的扩增。生成对抗网络由判别模型和生成模型两部分组成。

生成式对抗网络的判别模型，在生成的伪渔网图像和原始渔网图像之间做出正确的判断，其要求是：将原始渔网数据判别为真的概率要高，将生成的渔网数据判别为伪的概率要高。

以下是生成对抗网络判别模型的具体流程：

步骤一：将水下激光系统采集的原始渔网数据归一化大小256x256的数据，以64张原始渔网数据和伪渔网数据作为一组判别模型的输入。

步骤二：输入的数据采用3层卷积大小为5x5，步长为2的卷积层，进行特征提取，同时使用批量规范处理(Batch Normalization，BN)，部分隐层采用非线性分类器修整线性单元(Rectified Linear Units，ReLu)修正。

步骤三：在最后的卷积层输出向量与权值向量相乘，转化为64x1的向量，采用非线性分类器Sigmod函数进行分类，输出为二分类的结果，即原始的渔网数据和生成的渔网数据判别结果。

步骤四：重复步骤一至三的过程，直到生成模型生成的伪渔网数据较清晰且具有较多的形态变换为止。

生成模型的设计要求是：在判别模型固定时，生成数据的分布特性尽量大可能与自然数据一致，既生成的渔网图像接近于原始的渔网图像。流程如下：

步骤一：将一维噪声数据经过权值矩阵运算，转化为二维向量作为模型的输入。

步骤二：将输入经过3层大小为5x5，步长为2的转置卷积层进行填充，在每层转置卷积层输出加入BN层和ReLu层。

步骤三：最后转置卷积的输出采用Tanh函数激活，形成伪渔网数据。

步骤四：输出为生成的渔网图像，传入判别模型进行优化，循环往复。

(3)渔网目标检测网络

本发明提出一种新的检测系统框架，如图3所示，其训练基准网络采用网络层数更深，参数量却减少的并行ResNet残差网络，并提取多尺度特征后，在其对应特征图回归渔网边框时加入一部分区域建议的方法，检测图像中不同位置的目标，既保证了检测有较快的速度，又保证了检测的精度。其检测网络的处理过程如下：

步骤一：训练数据经过由大小为N×N的ConvN卷积层(N为1、3、7)、BN层、尺度归一Scale层和ReLu层组成的类似于如图4所示的残差块，进行基准网络的特征提取，其具体的网络结构如表1所示：

表1基准网络

步骤二：在基准网络最后的pool5池化层和Res5c残差层分别做两层不同尺度提取。

步骤三：对应特征提取时，以每个特征图上对应坐标的特征向量作预测，对每个特征图上的点重新设计了多重的特征抓取盒。对于每个特征抓取盒，设计不同的尺度参数，其中长宽比参数a_r∈{1,2,3,1/2,1/3}其抓取特征盒的示意图如图5所示，可以得到5种不同的尺度的特征抓取盒，预测渔网的位置信息。

步骤四：pool5和Res5c分别特征提取以及多重特征盒边框预测后，产生对应的默认盒位置(mbox_loc)、置信度(mbox_conf)以及真实默认盒的位置(mbox_priorbox)如图6所示，进行拼接、重新排序、展平等操作融合到损失mbox_loss层，做后续的loss运算。

步骤五：重复步骤一至四，直至损失loss逐渐收敛，置信度升高至稳定值。

本发明通过水下激光扫描系统采集渔网数据别进行以下四组实验：

第一组，采用传统数字图像处理的方法结合机器学习算法进行传统渔网检测实验，采用数字图像处理进行边缘后，利用变回归的方式拟合网线边缘。Canny边缘检测算法初步筛选边缘，由于阈值不能自动选取，检测模板较小且为方形，近距离提取网线边缘有一部分伪边缘存在，一部分边缘丢失；而远距离边缘丢失十分严重，如图7、8所示，分别为近距离和远距离拟合的网线。

第二组，深度卷积生成对抗网络进行数据扩增实验，通过深度卷积生成对抗网络，进行渔网数据生成，输入为一维的噪声数据，如图9所示，每行显示的分别是经过10、50、100、150、200迭代输出的伪图像，可以看出，从噪声数据逐步生成渔网的大致形状，随着迭代次数的增加，渔网的特点逐步清晰。进过15000次迭代后，生成的渔网数据，如图10所示，生成数据具有渔网特点，且比较清晰，网线形态变化较多，达到原始扩增图像的目的。

第三组，采用Faster R-CNN、Tiny-YOLO以及数据扩增后的Tiny-YOLO进行准确率以及实时性的对比，经过生成对抗网络扩增数据3000张渔网图片，放入一个9个卷积层，6个pool层的Tiny-YOLO的回归模型网络，迭代20000次和网络模型固定，渔网数据扩增后，检测的精度提高有52.7％提高至63.5％，精度提高10.8％。渔网在视频中的对远处较模糊的激光渔网图像仍可检测出来。统计数据表格如表2：

表2目标检测算法准确率和时间

第四组，新的回归算法和原始回归算法的对比实验。新的深度回归网络和一般基于的深度回归网络相比，在训练过程中的loss收敛速度更快更稳定，测试的准确率由67％提升至72.5％，准确率提高了9％，实时性达到了每秒16FPS如图12和13所示为二者的训练指标对比。

经过以上多组对比测试实验表明，本发明新的深度回归网络方法针对激光渔网图像数据检测效果要比一般的深度回归网络YOLO准确率提升约20％，实时性提高了平均6FPS。如图13所示，为二者的实验效果对比图，新的深度回归网络相比于基于区域建议的R-CNN系列精度更好，比基于回归系列YOLO检测算法的实时性更好，在多目标同时存在情况下的检测精度有所高。所以新的深度回归网络能实时准确地挖掘到数据图像的本质，并且提高了渔网目标检测的性能。

Claims (5)

1.一种用于水下避障系统中的渔网实时自主检测方法，其特征在于：具体过程如下，

步骤一：由水下激光器和摄像头构建水下激光扫描系统，激光器的绿色激光光束扫描渔网的同时通过水下摄像头采集清晰、高亮度的水下渔网图像数据，进行后续检测；

步骤二：将采集的数据输入深度生成对抗网络，其生成模型和判别模型以对偶学习的方式进行交替优化，使生成模型生成的渔网数据接近于真实的渔网数据并且网线具有更多形态变化；

步骤三：深度生成对抗网络扩充的数据输入给深度学习回归式网络，其训练网络采用参数量少、网络层数更深的基准网络进行特征提取，多尺度的特征在其对应特征图进行回归渔网边框时加入一部分区域建议的方法，并进行尺度融合，将训练好的模型和网络用于水下场景的渔网实时检测。

2.根据权利要求1所述的一种用于水下避障系统中的渔网实时自主检测方法，其特征在于：步骤二中所述的生成对抗网络由判别模型和生成模型两部分组成，判别模型的要求是：将原始渔网数据判别为真的概率要高，将生成的渔网数据判别为伪的概率要高；生成模型的要求是：在判别模型固定时，生成数据的分布特性尽量大可能与自然数据一致，即生成的渔网图像接近于原始的渔网图像。

3.根据权利要求2所述的一种用于水下避障系统中的渔网实时自主检测方法，其特征在于：所述的生成对抗网络判别模型的具体流程如下：

步骤一：将水下激光系统采集的原始渔网数据归一化大小256x256的数据，以64张原始渔网数据和伪渔网数据作为一组判别模型的输入；

步骤二：输入的数据采用3层卷积大小为5x5，步长为2的卷积层，进行特征提取，同时使用批量规范处理(Batch Normalization，BN)，部分隐层采用非线性分类器修整线性单元(Rectified Linear Units，ReLu)修正；

步骤三：在最后的卷积层输出向量与权值向量相乘，转化为64x1的向量，采用非线性分类器Sigmod函数进行分类，输出为二分类的结果，即原始的渔网数据和生成的渔网数据判别结果；

步骤四：重复步骤一至三的过程，直到生成模型生成的伪渔网数据较清晰且具有较多的形态变换为止。

4.根据权利要求2所述的一种用于水下避障系统中的渔网实时自主检测方法，其特征在于：所述的生成对抗网络生成模型的具体流程如下：

步骤一：将一维噪声数据经过权值矩阵运算，转化为二维向量作为模型的输入；

步骤二：将输入经过3层大小为5x5，步长为2的转置卷积层进行填充，在每层转置卷积层输出加入BN层和ReLu层；

步骤三：最后转置卷积的输出采用Tanh函数激活，形成伪渔网数据；

步骤四：输出为生成的渔网图像，传入判别模型进行优化，循环往复。

5.根据权利要求1所述的一种用于水下避障系统中的渔网实时自主检测方法，其特征在于：步骤三中所述的渔网实时检测处理过程如下：

步骤一：训练数据经过由大小为N×N的ConvN卷积层(N为1、3、7)、BN层、尺度归一Scale层和ReLu层组成的残差块，进行基准网络的特征提取；

步骤二：在基准网络最后的pool5池化层和Res5c残差层分别做两层不同尺度提取；

步骤三：对应特征提取时，以每个特征图上对应坐标的特征向量作预测，对每个特征图上的点重新设计了多重的特征抓取盒，对于每个特征抓取盒，设计不同的尺度参数，其中长宽比参数ar∈{1,2,3,1/2,1/3}；

步骤四：pool5和Res5c分别特征提取以及多重特征盒边框预测后，产生对应的默认盒位置(mbox_loc)、置信度(mbox_conf)以及真实默认盒的位置(mbox_priorbox)，进行拼接、重新排序、展平等操作融合到损失mbox_loss层，做后续的loss运算；

步骤五：重复步骤一至四，直至损失loss逐渐收敛，置信度升高至稳定值。