CN111368690A - 基于深度学习的海浪影响下视频图像船只检测方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的海浪影响下视频图像船只检测方法及系统，对视频图像数据进行标记，包括对船只数据和海浪数据的标记；提取感兴趣区域ROI，得到图像中的船只和易与船只混淆的海浪目标的位置信息；对感兴趣区域ROI两两进行排列组合，构建的双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；以成对的相同类别ROI或者不同类别ROI作为网络输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，调整网络参数，直至得到训练好的深度学习网络；对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络区分海浪和船只图像以实现海浪影响下的船只检测。

Description

基于深度学习的海浪影响下视频图像船只检测方法及系统

技术领域

本发明属于目标检测领域，具体来讲，涉及一种基于深度学习的海浪影响下视频图像船只检测的方法。

背景技术

船只检测作为目标检测的一部分，一直是计算机视觉和模式识别领域的热门话题，在海洋安全、海上监测和管理等众多应用中，船只检测可为其提供决策信息。

传统的目标检测通常是基于机器学习的，通过人工的特征设计、特征提取、将提取的特征输入某个分类器从而实现目标检测任务。随着深度学习的发展，目标检测进入了一个新的阶段。与传统的人工设计特征不同，卷积神经网络(CNN)可以自动提取更具代表性的特征。由于不需要人工特征设计，良好的特征表达能力和出色的检测精度，基于深度学习的目标检测方法展示出更大的优势，成为当前目标检测方法的主流。目前基于深度学习的目标检测方法可分为两类，即基于区域建议的目标检测和基于端到端学习的目标检测。其中基于区域建议的目标检测是预先针对图像中的目标对象的位置提出候选区域的方法，主流方法包括R-CNN、Fast R-CNN和Faster R-CNN等。而基于端到端学习的目标检测方法不需要预先提取候选区域，其代表性方法是YOLO和SSD。

由于海上作业风险高，利用岸上的监控视频进行船只监控和风险预测是十分有必要的。然而目前电子围网业务中对船只检测的误报率较高，其中重要的原因就是受到海浪的影响。由于台风等极端天气会引起高海浪，从不同视角获得的图像数据，呈现出运动特征明显的变化信息，有些会同船只特征相近，所以经常会被误检测为船只，这一误报为监管部门带来一些人力物力的损失，因此，提高海浪影响下船只检测精度成为一项亟待解决的问题。

目前有效的减小船只检测中海浪影响的文献是：Robust real-time shipdetection and tracking for visual surveillance of cage aquaculture，该文献提出了一个两阶段方案来检测波纹：在第一阶段使用亮度失真和色度失真来获得波纹，亮度变化用于在第二阶段检测来自这些候选者的波纹。然而该文献所使用的方法为传统方法，图像特征选择需要人工干预，主观性较强。除此以外，该文献中缺少评价海浪影响下船只检测精度的定量指标。近些年来，在基于深度学习的目标检测研究中，较为流行的方法为YOLO，其优势在于能够达到实时检测的需求，但是在海浪影响下该方法并不适用，其检测精度偏低。

发明内容

针对船只检测中海浪影响下造成的虚警率较高这一现状，本发明的目的是提供一种新的利用深度学习网络来学习船只和海浪的相似性度量的技术方案。

本发明的技术方案为一种基于深度学习的海浪影响下视频图像船只检测方法，包括以下步骤：

步骤a，对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

步骤b，目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

步骤c，对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

步骤d，构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；

步骤e，以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至得到训练好的深度学习网络；

步骤f，将测试数据集输入到步骤e训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来价该网络对于船只和海浪判别性能；

步骤g，对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

而且，步骤a中，图像数据来源于电子围网的监控视频，通过截取的视频帧图像作为数据源，利用标注工具对帧图像中的目标进行标记。

而且，步骤b中，图像进行预处理提取出感兴趣区ROI，采用初步目标提取网络Yolov3实现。

而且，步骤d中，网络的输入为待训练的预处理后的图像对，双分支的隐藏层是参数共享的卷积层，通过双通道的卷积操作分别得到两幅图像的特征图记为f(x⁽ⁱ⁾)和f(x^(j))，利用一范数对两张特征图进行相关操作得到融合特征图f(x^(i-j))，

f(x^(i-j))＝|f(x⁽ⁱ⁾)-f(x^(j))|

将得到的融合特征输入到全连接层进行二分类以求出网络的输出。

而且，步骤e中，损失函数为sigmoid交叉熵损失函数。

本发明还提供一种基于深度学习的海浪影响下视频图像船只检测系统，包括以下模块，

第一模块，用于对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

第二模块，用于目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

第三模块，用于对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

第四模块，用于构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；

第五模块，用于以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至得到训练好的深度学习网络；

第六模块，用于将测试数据集输入到第五模块训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来价该网络对于船只和海浪判别性能；

第七模块，用于对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

而且，第一模块中，图像数据来源于电子围网的监控视频，通过截取的视频帧图像作为数据源，利用标注工具对帧图像中的目标进行标记。

而且，第二模块中，图像进行预处理提取出感兴趣区ROI，采用初步目标提取网络Yolov3实现。

而且，第四模块中，网络的输入为待训练的预处理后的图像对，双分支的隐藏层是参数共享的卷积层，通过双通道的卷积操作分别得到两幅图像的特征图记为f(x⁽ⁱ⁾)和f(X^(j))，利用一范数对两张特征图进行相关操作得到融合特征图f(x^(i-j))，

f(x^(i-j))＝|f(x⁽ⁱ⁾)-f(x^(j))|

将得到的融合特征输入到全连接层进行二分类以求出网络的输出。

而且，第五模块中，损失函数为sigmoid交叉熵损失函数。

本发明克服了现有方法在海浪影响下船只检测虚警率高的不足，利用深度学习网络充分训练船只和海浪图像的相似性度量关系，从而提高在有风天气下船只检测的精度。

相比于现有的海浪影响下船只检测方法"Robust real-time ship detectionand tracking for visual surveillance of cage aquaculture"，该文献利用人工设计的特征来降低海浪对船只检测的影响，同时该文献没有提出评价海浪影响下船只检测的精度指标可供参考。本发明的优势在于深度学习网络从大量样本中学习海浪和船只的相似性度量，从而提高在海浪影响下船只检测的精度。

附图说明

图1为本发明实施例基于深度学习的海浪影响下视频图像船只检测流程图。

图2为本发明实施例基于孪生网络进行船只与海浪判别的结构图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步说明。

本发明的实施例提供一种海浪影响下的视频图像船只检测方法，参照附图，本发明实施例的具体步骤如下：

步骤a：样本标记，包括对船只数据和海浪数据的标记，并保存标记后的数据；

本发明实施例首先对电子围网的监控视频中的视频帧图像利用标注工具对目标进行标记，标记工具为Labelme，标记的目标包括船只和海浪这两类，标记好的图像保存为json文件，优选可将标记后的文件转为标准pascal voc2007数据集，该数据集中包括三个文件：Annotations、ImageSets、JPEGImages，其中Annotations文件夹存放根据每个标注后的样本生成的xml格式数据，记录了每张样本图像的属性信息，例如目标类别、标注框的位置、图像大小等；ImageSets文件夹中存放了按预设比例从该数据集中自动划分出的训练样本集、测试样本集和验证样本集；JPEGImages文件夹中存放了原始图像。该数据集是目标检测领域最基本数据集类型之一，为目标检测奠定了基础，目前很多主流的目标检测网络都能在该数据集下进行测试，便于后续对比算法的实现。

步骤b：目标预处理，即提取感兴趣区域ROI，包括对图像中的船只和易与船只混淆的海浪目标的位置信息进行初步提取；将图像上的感兴趣区域ROI进行裁剪并保存；

本步骤对视频图像中的船只和易与船只混淆的海浪目标的位置信息进行初步提取，去除大量的不相关信息。该步骤所使用的初步目标提取网络为Yolov3。

步骤c：成对数据集制作

对保存的感兴趣区域两两进行排列组合，将同类别的图像路径成对存储在名为positive_pair_path文件夹下，将不同类别的图像路径成对存储在名为negative_pair_path文件夹下。

对于成对的两幅图像，其路径分别为path₁和path₂，类别分别为

和

若其都为海浪或者都为船只，则表达为：

则该图像对被标记为1。

反之若一个类别为海浪另一个类别为船只，表明该图像对属于不同类别，则该图像对被标记为0。

步骤d：构建深度学习网络

本发明构建一个双分支卷积神经网络结构，包括一个输入层、两个分支的多个隐含层、特征融合层、全连接层和一个输出层。其中，输入层图像大小固定为416*416px。输入层分别连接两个分支的多个隐含层，两个分支的多个隐含层的输出连接到特征融合层，特征融合层的输出、全连接层和输出层依次连接。特征融合层是将两个分支提取出的特征图进行结合。全连接层的作用是为了便于后续分类，输出记为P(x_i)。网络输出层为待检测图像对的相似度指标，若相似，则输出1，否则输出0。

双分支的多个隐含层包括显著性图提取层、卷积层、池化层和全连接层，卷积层的作用是为了提取特征，共设置5层卷积层，每层卷积核大小分别为5*5、3*3、3*3、3*3、3*3，为了防止过多的参数增加时间复杂度，同时为了对提取的特征进行高度整合，在每层卷积层后都连接一个池化层；显著性图提取层的作用是为了选择更具判别性的目标特征，输出经过卷积层和池化层后进入全连接层；双通道隐含层中的全连接层作用是为了将分布式特征映射到样本标记空间。

网络的输入为待训练的预处理后的图像对，双分支的隐藏层是参数共享的卷积层，通过双通道的卷积操作可分别得到两幅图像x⁽ⁱ⁾、x^(j)的特征矢量，分别记为f(x⁽ⁱ⁾)和f(x^(j))，利用一范数对两张特征矢量图进行相关操作得到融合特征矢量图x^(i-j)的相应融合特征f(x^(i-j)):

f(x^(i-j))＝|f(x⁽ⁱ⁾)-f(x^(j))| (5)

将得到的融合特征输入到全连接层进行二分类以求出网络的输出。

为了筛选出更有用的特征进行海浪与船只判别，本发明在基础网络框架搭建好的基础上，引入了注意力机制对特征进行选择。其思想来自于人的注意力机制，人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。在孪生网络的基础上，利用公式(6)对输入图像进行显著性图提取：

其中I_μ代表图像特征平均值，I_whc(x,y)代表原始图像的高斯模糊版本(使用5*5卷积核)中在(x,y)位置处的对应像素值。利用提取出的显著性图对所有卷积层进行滤波操作，相当于乘法运算，这样每层都可以选择出更为判别性的特征图，提高了算法的效率和准确率。

步骤e：利用深度学习网络训练船只图像和海浪图像间的相似性度量关系

以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双通道卷积网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和其对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至满足阈值要求或者达到训练次数上限时输出得到训练好的深度学习网络。

其中，损失函数为sigmoid交叉熵损失函数，其函数表达式为：

其中，y_i代表第i个样本的标签，n表示样本的数目，

代表第i个样本经过网络后的预测值，sigmoid()函数的作用是为了将变量映射到0和1之间。

步骤f：测试训练得到的深度学习网络

将测试数据集输入到步骤e训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来评价该网络对于船只和海浪判别性能，若总体精度小于给定阈值，则重新训练网络，若总体精度大于给定阈值，则验证了步骤e训练得到的深度学习网络可以学习到海浪和船只的相似性特征。

步骤g：海浪影响下船只检测

对于给定的在有风天气下的岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

综上所述，本发明提出的基于深度学习的海浪影响下视频图像船只检测的方法，首先对监控视频中的帧图像进行标记，标记目标包括船只和海浪，并对图像中的感兴趣区进行初步提取，以减少大量背景因素的干扰；对感兴趣区两两排列组合，制作成对样本数据集，然后以成对图像作为输入、以两幅图像的相似性度量结果作为目标输出构建一个双通道的卷积神经神经网络，训练船只和海浪的相似性度量，并进行测试实验以验证网络的性能；最后对于给定的在有风天气下的岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的视频图像船只检测。

具体实施时，本发明技术方案所提供流程可由本领域技术人员采用计算机软件技术实现自动运行，也可采用模块化方式提供系统。本发明实施例还提供一种基于深度学习的海浪影响下视频图像船只检测系统，包括以下模块，

第一模块，用于对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

第二模块，用于目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

第三模块，用于对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

第四模块，用于构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；

第五模块，用于以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至得到训练好的深度学习网络；

第六模块，用于将测试数据集输入到第五模块训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来价该网络对于船只和海浪判别性能；

第七模块，用于对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

各模块实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于深度学习的海浪影响下视频图像船只检测方法，其特征在于：包括以下步骤：

步骤a，对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

步骤b，目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

步骤c，对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

步骤d，构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；

步骤e，以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至得到训练好的深度学习网络；

步骤f，将测试数据集输入到步骤e训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来价该网络对于船只和海浪判别性能；

步骤g，对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

2.根据权利要求1所述的一种基于深度学习的海浪影响下视频图像船只检测的方法，其特征在于：步骤a中，图像数据来源于电子围网的监控视频，通过截取的视频帧图像作为数据源，利用标注工具对帧图像中的目标进行标记。

3.根据权利要求1所述的一种基于深度学习的海浪影响下视频图像船只检测的方法，其特征在于：步骤b中，图像进行预处理提取出感兴趣区ROI，采用初步目标提取网络Yolov3实现。

4.根据权利要求1所述的一种基于深度学习的海浪影响下视频图像船只检测的方法，其特征在于：步骤d中，网络的输入为待训练的预处理后的图像对，双分支的隐藏层是参数共享的卷积层，通过双通道的卷积操作分别得到两幅图像的特征图记为f(x⁽ⁱ⁾)和f(x^(j))，利用一范数对两张特征图进行相关操作得到融合特征图f(x^(i-j))，

f(x^(i-j))＝|f(x⁽ⁱ⁾)-f(x^(j))|

将得到的融合特征输入到全连接层进行二分类以求出网络的输出。

5.根据权利要求1或2或3或4所述的一种基于深度学习的海浪影响下视频图像船只检测的方法，其特征在于：步骤e中，损失函数为sigmoid交叉熵损失函数。

6.一种基于深度学习的海浪影响下视频图像船只检测系统，其特征在于：包括以下模块，

第一模块，用于对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

第二模块，用于目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

第三模块，用于对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

第四模块，用于构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；

第五模块，用于以成对的相同类别ROI或者成对的不同类别ROI作为深度学习网络的输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，并利用相似性度量函数来计算两幅图像的特征向量差值，将该值输入到全连接层进行二分类，通过输出的预测值和对应的相似性标签来定义损失函数，遵循损失函数最小化原则并利用梯度下降法来调整深度学习网络参数，直至得到训练好的深度学习网络；

第六模块，用于将测试数据集输入到第五模块训练好的深度学习网络中，输出得到预测的成对测试图像的相似性度量的预测值，计算预测值与真实值之间的差值，利用总体精度来价该网络对于船只和海浪判别性能；

第七模块，用于对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络判断其与给定的船只图像和海浪图像哪一个更相似，从而区分海浪和船只图像以实现海浪影响下的船只检测。

7.根据权利要求6所述的一种基于深度学习的海浪影响下视频图像船只检测的系统，其特征在于：第一模块中，图像数据来源于电子围网的监控视频，通过截取的视频帧图像作为数据源，利用标注工具对帧图像中的目标进行标记。

8.根据权利要求6所述的一种基于深度学习的海浪影响下视频图像船只检测的系统，其特征在于：第二模块中，图像进行预处理提取出感兴趣区ROI，采用初步目标提取网络Yolov3实现。

9.根据权利要求6所述的一种基于深度学习的海浪影响下视频图像船只检测的系统，其特征在于：第四模块中，网络的输入为待训练的预处理后的图像对，双分支的隐藏层是参数共享的卷积层，通过双通道的卷积操作分别得到两幅图像的特征图记为f(x⁽ⁱ⁾)和f(x^(j))，利用一范数对两张特征图进行相关操作得到融合特征图f(x^(i-j))，

f(x^(i-j))＝|f(x⁽ⁱ⁾)-f(x^(j))|

将得到的融合特征输入到全连接层进行二分类以求出网络的输出。

10.根据权利要求6或7或8或9所述的一种基于深度学习的海浪影响下视频图像船只检测的系统，其特征在于：第五模块中，损失函数为sigmoid交叉熵损失函数。

Images