CN115909225A - 一种基于在线学习的OL-YoloV5船舶检测方法 - Google Patents

Abstract

本发明公开了一种基于在线学习的OL‑YoloV5船舶检测方法，包括步骤：S1、获取目标船舶数据并对获取到的目标船舶数据的基类样本数据集进行预处理；S2、基于应用环境预设船舶检测模型的训练参数；S3、基于步骤S2预设的船舶检测模型的训练参数，对步骤S1处理后的基类样本数据集进行训练，创建YoloV5船舶检测模型；S4、通过在线学习方法对步骤S3建立的YoloV5船舶检测模型进行修改，不断地学习新船舶样本特征，得到OL‑YoloV5船舶检测模型。本发明解决了只需采集少量的新船舶样本数据集，就能对新旧船舶数据集有着很好的检测效果，有效的缓解了难以采集海上船舶数据集的难点问题。

Description

一种基于在线学习的OL-YoloV5船舶检测方法

技术领域

本发明涉及船舶检测技术领域，具体涉及一种基于在线学习的OL-YoloV5船舶检测方法。

背景技术

海上船舶检测属于目标检测的一种，是一项具有挑战性的任务。近年来许多国内外学者提出了一些可行的海上船舶检测算法。Tatsuhiro Akiyama等提出了基于卷积神经网络(Convolutional Neural Network)的通过监控摄像机获得船舶图像的船舶检测模型，该模型的F1分数(模型精确率和召回率的一种调和平均数)为70％。为了提升海上船舶识别效果，刘等提出了基于改进Single Shot MultiBox Detector(一种单阶段的目标检测模型)的无人船海上船舶识别算法，检测准确率达到了80％以上。崔巍提出的基于FasterRegions with Convolutional Neural Network features(具有卷积神经网络特征的更快区域)算法的船舶识别检测，相比于传统的Scale-invariant feature transform(尺度不变特征变换)算法和Faster Regions with Convolutional Neural Network features(具有卷积神经网络特征的更快区域)算法有更好的检测效果。Li Kaipeng等提出的基于特征金字塔网络和可变形卷积的智能船舶检测可对更小更远的船只进行检测，使用可变形卷积解决样本少的问题。但是目前，在国内外海上船舶检测研究中，海上船舶检测技术在实际应用中常常会出现误检、漏检、准确率不高的情况。其还面临着一个严重的问题，海上船舶目标识别和检测的效果要达到一个较高的水平，需要训练大量的样本数据集，然而在实际生活中仅仅依靠人力去采集大量的样本数据集需要耗费大量的时间与人工。传统海上船舶检测方法模型训练小样本数据集能取得一般的效果，当模型要添加新样本数据集来增强检测效果时，如果只训练新样本数据集，不一起训练旧样本数据集，会对旧样本数据集产生“灾难性遗忘”。在线学习能不断地从新样本数据集学习新的特征，同时又保留已学习的样本特征，实现“不遗忘学习”。

发明内容

本发明为了克服以上技术的不足，提供了一种基于在线学习的OL-YoloV5船舶检测方法，从而解决只需采集少量的新船舶样本数据集，就能对新旧船舶数据集有着很好的检测效果，有效的缓解了难以采集海上船舶数据集的难点问题。本发明方法提出的OL-YoloV5船舶检测方法能让船舶摄像头准确识别出海上船只。由于海上船舶数据集难以大量采集，本发明方法使用在线学习可以让模型不断学习新船舶数据集，不需一次性把所有船舶数据集采样进行训练，节省了大量的人力资源、时间资源。

本发明克服其技术问题所采用的技术方案是：

一种基于在线学习的OL-YoloV5船舶检测方法，包括步骤：

S1、获取目标船舶数据并对获取到的目标船舶数据的基类样本数据集进行预处理；

S2、基于应用环境预设船舶检测模型的训练参数；

S3、基于步骤S2预设的船舶检测模型的训练参数，对步骤S1处理后的基类样本数据集进行训练，创建YoloV5船舶检测模型；

S4、通过在线学习方法对步骤S3建立的YoloV5船舶检测模型进行修改，不断地学习新船舶样本特征，得到OL-YoloV5船舶检测模型。

进一步地，步骤S1中具体包括：

S11、实地采集船舶数据，通过多机位拍摄图像和视频，得到实地船舶数据集；

S12、筛选网络上公开的船舶数据集，得到网络船舶数据集；

S13、分别从实地船舶数据集和网络船舶数据集中筛选出部分数据集，按照M：N的比例混合，其中，M＜N；

S14、对步骤S13混合的数据集进行数据增强。

进一步地，步骤S14中，数据增强包括但不限于以下方法：

对图像旋转、对图像按比例缩放、对图像左右翻转、对图像打马赛克、对多个图像进行混合拼接。

进一步地，步骤S2中，船舶检测模型的训练参数至少包括：初始学习速率、学习器动量大小、优化器权重衰减速率。

进一步地，步骤S3中，创建YoloV5船舶检测模型具体包括：

S31、基于YoloV5目标检测算法建立YoloV5船舶检测模型；

S32、将YoloV5船舶检测模型的多尺度特征融合方法PANeT结构改为BiFPN结构；

S33、在YoloV5目标检测算法中添加CA注意力机制模块。

进一步地，步骤S31中，YoloV5船舶检测模型包括Backbone结构、Neck结构和Head结构，输入图像经过图像增强后进入到Backbone结构中，所述Backbone结构和Neck结构用于对图像不断的进行卷积操作以提取图像特征，得到的图像特征再进入到Head结构中进行分类预测。

进一步地，步骤S31的YoloV5船舶检测模型中，

所述Backbone结构包括Conv模块、C3模块和SPPF模块，所述Conv模块用于进行卷积操作以提取图像特征，所述C3模块为具有3次卷积的CSPBottleneck模块，用于增强算法的学习能力并且在保持算法检测精度的同时实现轻量化，所述SPPF模块用于提高图像的尺度不变性、增加主干特征的接收范围，更容易使网络收敛，提高准确率；

所述Neck结构采用FPN和PAN结合的结构，所述FPN用于实现语义信息从深层特征图到浅层特征图的传递，PAN用于实现定位信息从浅层特征层到深层特征层的传递，FPN与PAN的结合用于从不同的主干层对不同的检测层进行参数聚合从而加强网络的特征；

所述Head结构包括三个Detect，Head结构的边界框回归损失函数采用CIOU_Loss，Detect采用Sigmoid激活函数。

进一步地，步骤S32中，BiFPN结构针对融合的各个尺度特征增加一个权重，调节每个尺度的贡献度，对权重进行融合，融合使用的方法为快速归一化融合方法，表达式为：

式中，m_i和m_j是学习的权重，用于表示标量、向量或多维张量，其中，2<i<8，2<j<8；I_i是每一层网络输入的参数；∈＝0.0001是避免数值不稳定的小数值；

多尺度特征融合用于对不同分辨率下的特征进行聚合，BiFPN结构的计算表达式为：

式中，Resize表示下采样或上采样操作；m_i是每层学习到的权重参数，用于区分特征融合过程中不同特征的重要程度；

是自上而下路径上第4级的中间特征，共有两个输入，分别是

和

其中，

和

分别为自下而上路径上第4级和第5级的输入特征；

是自下而上路径上第4级的输出特征，共有三个输入，分别是

和

其中，

是自下而上路径上第3级的输出特征。

进一步地，步骤S33中，在YoloV5目标检测算法中添加CA注意力机制模块具体包括：

S331、在YoloV5船舶检测模型的Head结构中的三个Detect结构与Neck结构之间添加三个CA注意力机制模块，其中，三个Detect结构分别对图中的小尺寸、中尺寸和大尺寸进行提取特征；

S332、Neck结构的Conv(k＝1,s＝1)层输出的中间张量为O＝[o₁,o₂,…,o_c]∈R^{C ×H×W}，作为CA注意力机制模块的输入，其中，o₁,o₂,…,o_c为每层网络的参数，C、H、W分别为图像的通道数、高度、宽度；

S333、在输入图像时，对输入的中间张量O，先使用尺寸(H，1)和(1，W)的池化核沿水平坐标方向和竖直坐标方向对每个通道进行编码，故，高度为H的第c个通道的输出表述如下：

同理，宽度为W的第c个通道的输出表述如下：

S334、通过步骤S333中沿水平坐标方向和竖直坐标方向两个空间方向进行特征聚合，返回一对方向感知注意力图；

S335、级联步骤S334中生成的一对方向感知注意力图，然后使用一个共享的1×1卷积进行变换F₁，表述如式(6)，生成的f∈R^C/r×(H+W)是对空间信息在水平方向和竖直方向的中间特征图，这里的r表示下采样比例；

F＝δ(F₁([z^H，z^W]))  (6)

接着沿着空间维度将f切分为两个单独的张量，即f^h∈R^C/r×H和f^w∈R^C/r×W，f^h和f^w分别为沿着H和W方向的张量，再利用两个1×1卷积F_h和F_w将特征图f^h和f^w使用激活函数σ变换到与输入图像同样的通道数，其中F_h和F_w分别为沿着H和W两个方向的卷积变换，得到下式的结果；

g^h＝σ(F_h(f^h))  (7)

g^w＝σ(F_w(f^w))  (8)

最后，对g^h和g^w进行拓展作为注意力权重，其中g^h和g^w分别为f^h和f^w经过卷积变换再经过激活后的结果，CA注意力机制模块的最终输出表述如下式：

式中，o_c(v，n)表示输入图像在c通道沿着水平坐标方向和竖直坐标方向进行编码，

和

表示为在c通道对o_c(v，n)产生的结果沿着H和W方向进行卷积变换再经过激活函数，y_c(v，n)为中间张量O经过上述变换转换后的结果。

进一步地，步骤S4具体包括：

S41、在第一阶段中，向YoloV5船舶检测模型中输入数据，经过训练后得到YoloV5船舶检测模型的权重；

S42、将第一阶段的YoloV5船舶检测模型中的特征提取层冻结，再将步骤S41得到的YoloV5船舶检测模型的权重对第二阶段的YoloV5船舶检测模型进行初始化，得到OL-YoloV5船舶检测模型。

本发明的有益效果是：

1、将多尺度信息融合方式PANet结构改进为BiFPN结构，实现自上而下与自下而上的深浅层特征双向融合，增强不同网络层之间特征信息的传递，明显提升YoloV5算法的检测精度。

2、插入了CA注意力机制模块，CA注意力机制模块简单、灵活、高效，能告知模型需要关注什么以及关注哪里。

3、使用在线学习可以让模型不断学习新船舶数据集，不需一次性把所有船舶数据集采样进行训练，节省了大量的人力资源、时间资源。

附图说明

图1为本发明实施例所述的基于在线学习的OL-YoloV5船舶检测方法的流程示意图。

图2为现有的YoloV5船舶检测模型的结构示意图。

图3为本发明实施例所述的在线学习的原理示意图。

图4a为本发明实施例所述的OL-YoloV5船舶检测模型的结构示意图。

图4b为所述的YoloV5船舶检测模型的多尺度特征融合方法为PANet结构的示意图。

图4c为本发明实施例所述的将PANeT结构改为BiFPN结构后的结构示意图。

图5为本发明实施例中所述的CA注意力机制模块用来增强特征表示能力的计算单元的原理图。

图6为本发明实施例中所述的在线学习方法的原理图。

图7为本发明实施例中所述的混肴矩阵的示意图。

图8为本发明实施例中所述的消融实验结果图。

图9为本发明实施例中所述的多个网络模型的实验对比结果图，其中，图9(a)是改进前的多个网络模型的实验对比结果图，图9(b)改进后的多个网络模型的实验对比结果图。

图10为现有的YoloV5网络模型图像检测结果的侧视图，其中，图10(a)、图10(b)、图10(c)、图10(d)为通过YoloV5船舶检测模型对不同时间和方位拍摄的图像的检测结果图。

图11为本发明实施例中所述的OL-YoloV5网络模型图像检测结果的侧视图，其中，图11(a)、图11(b)、图11(c)、图11(d)为通过OL-YoloV5船舶检测模型对不同时间和方位拍摄的图像的检测结果图。

图12为本发明实施例所述的数据集的分布图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

本发明提供了一种基于在线学习的OL-YoloV5船舶检测方法，解决只需采集少量的新船舶样本数据集，就能对新旧船舶数据集有着很好的检测效果，有效的缓解了难以采集海上船舶数据集的难点问题，下面结合实施例进行详细说明。

如图1所示，本实施例所述的一种基于在线学习的OL-YoloV5船舶检测方法，包括步骤：

S1、获取目标船舶数据并对获取到的目标船舶数据的基类样本数据集进行预处理；

S2、基于应用环境预设船舶检测模型的训练参数；

S3、基于步骤S2预设的船舶检测模型的训练参数，对步骤S1处理后的基类样本数据集进行训练，创建YoloV5船舶检测模型；

S4、通过在线学习方法对步骤S3建立的YoloV5船舶检测模型进行修改，不断地学习新船舶样本特征，得到OL-YoloV5船舶检测模型。

为了更好地理解上述的技术方案，下面将参照附图详细地描述本发明的示例性实施例，虽然附图中显示了本发明的示例性实施例，然而应当理解，还可以以各种形式实现本发明而并不局限于这里所述的实施例。这些实施例是为了使本领域技术人员更清楚和更透彻地理解本发明。

S1、获取目标船舶数据并对获取到的目标船舶数据的基类样本数据集进行预处理。

在一些实施方式中，步骤S1具体包括如下：

S11、实地采集船舶数据，通过多机位拍摄图像和视频，得到实地船舶数据集。

具体可以去江上或海上等实地进行船舶数据采集，并选择阴天、晴天、下雨天等各种天气，在不同时刻使用摄像机多角度多方位(例如船舶的俯视图、侧面图、正面图、后视图等)拍摄以获取图像和视频。

为了模拟海上环境，本实施例在上午与下午时段于武汉长江大桥不间断拍摄了大量视频，从中截取了几千张图片，经过筛选最终选取了407张图片作为实地船舶数据集，其中201张为训练集，106张为验证集，100张为测试集。

S12、筛选网络上公开的船舶数据集，得到网络船舶数据集。

本实施例在COCO数据集中下载了3222张船舶图片作为本实施例的网络船舶数据集，并在网络上搜集了船舶数据集共2341张，经过筛选，其中5001张为训练集，121张为验证集，100张为测试集，将训练集的5001张、验证集的121张和测试集的100张图片作为基类样本数据集。

为了确保采集的图片与YoloV5网络输入图像格式相同，本实施例对实地船舶数据集的图像与网络船舶数据集的图像进行缩放和分割等操作，图片分辨率最终为640×640，数据集分布如图12所示。

S13、分别从实地船舶数据集和网络船舶数据集中筛选出部分数据集，优选选出几百张图片，按照M：N的比例混合，其中，M＜N，本实施例优选M：N＝1:10。

S14、对步骤S13混合的数据集进行数据增强。本实施例中，数据增强包括但不限于以下方法：对图像旋转、对图像按比例缩放、对图像左右翻转、对图像打马赛克、对多个图像进行混合拼接。

在实际应用中，为保证所采数据集有效，将所采集的每段视频按1帧/s进行帧截取图像，再人工对每张图像进行分析以确保每张图片真实有效。

S2、基于应用环境预设船舶检测模型的训练参数。

具体地，船舶检测模型的训练参数至少包括：初始学习速率、学习器动量大小、优化器权重衰减速率。

各参数精度对置信度都有影响，影响置信度就会影响预测结果是否能够被调用这个算法的模块信任，不合理的参数设置可能会使本来可以信任的预测结果不被信任，本来不应该被信任的结果被信任，故，在设定训练参数时，设置合理的精度。

S3、基于步骤S2预设的船舶检测模型的训练参数，对步骤S1处理后的基类样本数据集进行训练，创建YoloV5船舶检测模型。

本实施例中对船舶检测模型做了三大改进：YoloV5船舶检测模型的结构的改进、将YoloV5船舶检测模型的多尺度特征融合方法PANeT结构改为BiFPN结构、在YoloV5目标检测算法中添加CA注意力机制模块。具体如下：

S31、基于YoloV5目标检测算法建立YoloV5船舶检测模型。

本实施例中，YoloV5船舶检测模型包括Backbone结构、Neck结构和Head结构，如图2所示，输入图像经过图像增强后进入到Backbone结构中，所述Backbone结构和Neck结构用于对图像不断的进行卷积操作以提取图像特征，得到的图像特征再进入到Head结构中进行分类预测。

具体地，所述Backbone结构包括Conv模块、C3模块和SPPF模块，所述Conv模块用于进行卷积操作以提取图像特征，其中，采用Conv(k＝6,s＝2,p＝2)模块实现了快速下采样，该模块能够在没有信息丢失的情况下将信息集中到通道上，使接下来的特征提取更加充分；所述C3模块为具有3次卷积的CSPBottleneck模块，用于增强算法的学习能力并且在保持算法检测精度的同时实现轻量化；所述SPPF模块用于提高图像的尺度不变性、增加主干特征的接收范围，更容易使网络收敛，提高准确率。

所述Neck结构采用FPN和PAN结合的结构，对于本领域技术人员来说，深层特征图具有更强的语义信息，而定位信息较弱；浅层特征图具有更强的位置信息，而语义信息较弱。所述FPN用于实现语义信息从深层特征图到浅层特征图的传递；PAN用于实现定位信息从浅层特征层到深层特征层的传递。那么，FPN与PAN的结合用于从不同的主干层对不同的检测层进行参数聚合从而大大加强网络的特征。

所述Head结构包括三个Detect，Head结构是整个YoloV5船舶检测模型的输出端，Head结构的边界框回归损失函数采用CIOU_Loss，其充分考虑到了重叠面积、中心点距离、长宽比三个重要几何因素，对一些遮挡重叠的目标有所改进，大幅提升了预测框回归的速度和精度；Detect(即检测层)采用Sigmoid激活函数，连续且平滑，便于求导。

S32、将YoloV5船舶检测模型的多尺度特征融合方法PANeT结构改为BiFPN结构。

具体地，所述YoloV5船舶检测模型的多尺度特征融合方法PANet结构如图4(b)所示，改进为BiFPN结构后如图4(c)所示。这种结构的改进，实现了自上而下与自下而上的深浅层特征双向融合，增强了不同网络层之间特征信息的传递，明显提升YoloV5算法检测精度，并且具有更加不错的检测性能。BiFPN结构与PANet结构相比，前者通过简单的残差操作，增强特征的表示能力，并且因为PANet结构的上下输入边的节点没有进行特征融合，故具有的信息比较少，对于最后的融合没有什么贡献度，相反，移除还能减少计算量。BiFPN结构针对融合的各个尺度特征增加一个权重，调节每个尺度的贡献度，对权重进行融合，融合使用的方法为快速归一化融合方法，表达式为：

式中，m_i和m_j是学习的权重，用于表示标量(每个特征)、向量(每个通道)或多维张量(每个像素)，其中，2＜i＜8，2＜j＜8；I_i是每一层网络输入的参数；∈＝0.0001是避免数值不稳定的小数值。

多尺度特征融合用于对不同分辨率下的特征进行聚合，BiFPN结构的计算表达式为：

式中，Resize表示下采样或上采样操作，其中，Resize中的in表示下采样，Resize中的out为上采样；m_i是每层学习到的权重参数，用于区分特征融合过程中不同特征的重要程度；

是自上而下路径上第4级的中间特征，共有两个输入，分别是

和

其中，

和

分别为自下而上路径上第4级和第5级的输入特征；

是自下而上路径上第4级的输出特征，共有三个输入，分别是

和

其中，

是自下而上路径上第3级的输出特征。

S33、在YoloV5目标检测算法中添加CA注意力机制模块。

YoloV5神经网络在Backbone结构(即图像特征信息提取层)中提取图像特征信息时，通过多个卷积核对图像进行提取局部信息操作，但是得到的某些信息不一定是有用的，这些信息影响因子较小，而且有时一张图片包含着大量的无用信息，此时若计算机处理全部信息会导致浪费大量的计算资源与时间。而注意力机制很好的解决了这个问题，注意力机制是人的大脑一种天生的能力，人在查看图片，文字等信息时会抓住重点信息而忽略其它信息。为此本实施例插入了注意力机制Coordinate Attention(CA)，如图4(a)所示。

一个CA注意力机制模块看作一个用来增强特征表示能力的计算单元，如图5所示。

具体地，在YoloV5目标检测算法中添加CA注意力机制模块具体包括：

S331、在YoloV5船舶检测模型的Head结构中的三个Detect结构与Neck结构之间添加三个CA注意力机制模块，如图4(a)所示，其中，三个Detect结构分别对图中的小尺寸、中尺寸和大尺寸进行提取特征；

S332、Neck结构的Conv(k＝1，s＝1)层输出的中间张量为O＝[o₁，o₂，…，o_c]∈R^{C ×H×W}，作为CA注意力机制模块的输入，其中，o₁，o₂，…，o_c为每层网络的参数，C、H、W分别为图像的通道数、高度、宽度；

S333、如图5所示，在输入图像时，对输入的中间张量O，先使用尺寸(H，1)和(1，W)的池化核沿水平坐标方向和竖直坐标方向对每个通道进行编码，故，高度为H的第c个通道的输出表述如下：

同理，宽度为W的第c个通道的输出表述如下：

S334、通过步骤S333中沿水平坐标方向和竖直坐标方向两个空间方向进行特征聚合，返回一对方向感知注意力图，如图5所示，水平平均池化和竖直平均池化这两个部分，这两种变换也允许CA注意力机制模块捕捉到沿着一个空间方向的长程依赖，并保存沿着另一个空间方向的精确位置信息，这有助于网络更准确地定位感兴趣的目标。

S335、级联步骤S334中生成的一对方向感知注意力图，然后使用一个共享的1×1卷积进行变换F₁，表述如式(6)，生成的f∈R^C/r×(H+W)是对空间信息在水平方向和竖直方向的中间特征图，这里的r表示下采样比例；

F＝δ(F₁([z^H，z^W]))  (6)

接着沿着空间维度将f切分为两个单独的张量，即f^h∈R^C/r×H和f^w∈R^C/r×W，f^h和f^w分别为沿着H和W方向的张量，再利用两个1×1卷积F_h和F_w将特征图f^h和f^w使用激活函数σ变换到与输入图像同样的通道数，其中F_h和F_w分别为沿着H和W两个方向的卷积变换，得到下式的结果；

g^h＝σ(F_h(f^h))  (7)

g^w＝σ(F_w(f^w))  (8)

最后，对g^h和g^w进行拓展作为注意力权重，其中g^h和g^w分别为f^h和f^w经过卷积变换再经过激活后的结果，CA注意力机制模块的最终输出表述如下式：

式中，o_c(v，n)表示输入图像在c通道沿着水平坐标方向和竖直坐标方向进行编码，

和

表示为在c通道对o_c(v，n)产生的结果沿着H和W方向进行卷积变换再经过激活函数，y_c(v，n)为中间张量O经过上述变换转换后的结果。

S4、通过在线学习方法对步骤S3建立的YoloV5船舶检测模型进行修改，不断地学习新船舶样本特征，得到OL-YoloV5船舶检测模型。

在线学习是机器模仿人类的学习方式，机器在经过一段时间学习后，既可以记住以前的知识，又可以不断学习新的知识而不忘以前学习到的旧知识，原理如图6所示。

在训练YoloV5船舶检测模型前先收集好同一类样本数据集X，网络对样本数据集X进行训练，得到一个基础模型。在t时刻，向网络输入同一类的新的样本数据集Y，新数据集Y与基类数据集X没有交叉的部分，网络经过在线学习后对基础模型进行微调得到一个t时刻的新模型，该新模型对新的样本数据集Y具有一定的鲁棒性，且对样本数据集X也有较好的检测效果。在t+1时刻，又对网络输入同一类的新的样本数据集Z，重复上述步骤，得到t+1时刻新模型。在t+2时刻，又对网络输入同一类的新的样本数据集N，重复上述步骤，得到t+2时刻新模型。在接下来的时间，如果有新的数据集，重复上述步骤。

具体地，步骤S4具体包括：

S41、如图6所示的第一阶段中，向YoloV5船舶检测模型中输入数据，经过训练后得到YoloV5船舶检测模型的权重；

S42、将第一阶段的YoloV5船舶检测模型中的特征提取层冻结，再将步骤S41得到的YoloV5船舶检测模型的权重对第二阶段的YoloV5船舶检测模型进行初始化，得到OL-YoloV5船舶检测模型。

本实施例中使用在线学习方法学习新的数据集，但是可以看出新的样本训练数据集与旧的样本训练数据集有着相同的特征，新旧任务共享特征层参数。新任务与旧任务的共享特征参数可表示为Y＝BX+b，

其中，B为权重矩阵，X为参数矩阵，b为偏置参数。所以本实施例未使用特征提取层进行训练，只对图2中的Head层进行训练。经过训练后的模型即最终的模型。

由于本发明所述的方法中只有船舶这一类，所以本发明方法研究的分类问题属于二分类问题，本文引入混淆矩阵如图7来评价改进模型，图7中，TN为预测为假、真实为假，FP为预测为真、真实为假，FN为预测为假、真实为真，TP为预测为真、真实为真。

结合混淆矩阵，按照以下公式分别计算准确率(Precision)、召回率(Recall)和所有类别AP的平均值(mAP)。

上式中，k为类别数，其中，AP为通过计算每个Recall值对应的Precision值获得的平均值。

本实施例的方法在YoloV5船舶检测模型的基础上，做了三个消融实验，如图8所示，其中方法1是添加CA模块，方法2是将PANet结构修改为BiFPN结构，方法3(本发明所述的方法)是将两者结合(既添加CA模块又将PANet结构修改为BiFPN结构)。可以看出本发明所述的方法对YoloV5船舶检测的性能提升，在准确率(Precision)和mAp@.5和mAp@.5:.95三个方面均有不同程度的提升，mAP@.5指的是IOU的值取0.5，AP@.5:.95指的是IOU的值从0.5取到0.95，然后算在这些IOU下的AP的均值，IOU的全称为交并比，IOU计算的是“预测的边框”和“真实的边框”的交叠率，即它们的交集和并集的比值，最理想情况是完全重叠，即比值为1。经过大量的实验验证，如图9(a)和图9(b)所示可以看出，本发明所述的方法对目前流行的网络模型均有不同程度的提升，实验证明了本文方法具有泛化性，鲁棒性。

再对图像进行对比实验，由图10可知，传统的YoloV5算法漏检了图10(a)中小目标船只，检测出的船舶置信度为0.89；在图10(b)中误检长江大桥为船舶，并且同一条船舶重复检测；在图10(c)中没有检测出船舶，反而将大桥桥墩误检为船舶；在图10(d)中船舶准确率仅为0.36，而且还出现漏检和误检的情况。综合上述信息可知，传统YoloV5算法存在识别准确度不高、漏检、误检的问题，所以传统的YoloV5算法需要进一步的改进以提高算法的准确度。

由图11可知，本实施例所述的OL-YoloV5算法不仅检测出了图11(中小目标船只，在原本就能检测出的船只准确率仍能达到0.88，没出现模型“灾难性遗忘”的问题；在图11(b)中没有发生误检的情况，同一条船舶没有出现重复检测的情况；在图11(c)中基本检测出所有船只，精确率高达0.91，并且没有出现误检的情况；在图11(d)中已检测出的船舶准确率从0.36提高到0.88，还检测出了小目标船舶，漏检和误检的情况得到改善。经过图10与图11的对比，明显发现本发明所述的算法相比较传统YoloV5算法有了更好的效果。

本发明的方法提出的基于在线学习的OL-YoloV5船舶检测方法能让船舶摄像头准确识别出海上船只。由于海上船舶数据集难以大量采集，本发明的方法使用在线学习可以让模型不断学习新船舶数据集，不需一次性把所有船舶数据集采样进行训练，节省了大量的人力资源、时间资源。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (10)

1.一种基于在线学习的OL-YoloV5船舶检测方法，其特征在于，包括步骤：

S1、获取目标船舶数据并对获取到的目标船舶数据的基类样本数据集进行预处理；

S2、基于应用环境预设船舶检测模型的训练参数；

S3、基于步骤S2预设的船舶检测模型的训练参数，对步骤S1处理后的基类样本数据集进行训练，创建YoloV5船舶检测模型；

S4、通过在线学习方法对步骤S3建立的YoloV5船舶检测模型进行修改，不断地学习新船舶样本特征，得到OL-YoloV5船舶检测模型。

2.根据权利要求1所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S1中具体包括：

S11、实地采集船舶数据，通过多机位拍摄图像和视频，得到实地船舶数据集；

S12、筛选网络上公开的船舶数据集，得到网络船舶数据集；

S13、分别从实地船舶数据集和网络船舶数据集中筛选出部分数据集，按照M：N的比例混合，其中，M＜N；

S14、对步骤S13混合的数据集进行数据增强。

3.根据权利要求2所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S14中，数据增强包括但不限于以下方法：

对图像旋转、对图像按比例缩放、对图像左右翻转、对图像打马赛克、对多个图像进行混合拼接。

4.根据权利要求1所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S2中，船舶检测模型的训练参数至少包括：初始学习速率、学习器动量大小、优化器权重衰减速率。

5.根据权利要求1所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S3中，创建YoloV5船舶检测模型具体包括：

S31、基于YoloV5目标检测算法建立YoloV5船舶检测模型；

S32、将YoloV5船舶检测模型的多尺度特征融合方法PANeT结构改为BiFPN结构；

S33、在YoloV5目标检测算法中添加CA注意力机制模块。

6.根据权利要求5所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S31中，YoloV5船舶检测模型包括Backbone结构、Neck结构和Head结构，输入图像经过图像增强后进入到Backbone结构中，所述Backbone结构和Neck结构用于对图像不断的进行卷积操作以提取图像特征，得到的图像特征再进入到Head结构中进行分类预测。

7.根据权利要求6所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S31的YoloV5船舶检测模型中，

所述Backbone结构包括Conv模块、C3模块和SPPF模块，所述Conv模块用于进行卷积操作以提取图像特征，所述C3模块为具有3次卷积的CSPBottleneck模块，用于增强算法的学习能力并且在保持算法检测精度的同时实现轻量化，所述SPPF模块用于提高图像的尺度不变性、增加主干特征的接收范围，更容易使网络收敛，提高准确率；

所述Neck结构采用FPN和PAN结合的结构，所述FPN用于实现语义信息从深层特征图到浅层特征图的传递，PAN用于实现定位信息从浅层特征层到深层特征层的传递，FPN与PAN的结合用于从不同的主干层对不同的检测层进行参数聚合从而加强网络的特征；

所述Head结构包括三个Detect，Head结构的边界框回归损失函数采用CIOU_Loss，Detect采用Sigmoid激活函数。

8.根据权利要求5所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S32中，BiFPN结构针对融合的各个尺度特征增加一个权重，调节每个尺度的贡献度，对权重进行融合，融合使用的方法为快速归一化融合方法，表达式为：

式中，m_i和m_j是学习的权重，用于表示标量、向量或多维张量，其中，2<i<8，2<j<8；I_i是每一层网络输入的参数；∈＝0.0001是避免数值不稳定的小数值；

多尺度特征融合用于对不同分辨率下的特征进行聚合，BiFPN结构的计算表达式为：

式中，Resize表示下采样或上采样操作；m_i是每层学习到的权重参数，用于区分特征融合过程中不同特征的重要程度；

是自上而下路径上第4级的中间特征，共有两个输入，分别是

和

其中，

和

分别为自下而上路径上第4级和第5级的输入特征；

是自下而上路径上第4级的输出特征，共有三个输入，分别是

和

其中，

是自下而上路径上第3级的输出特征。

9.根据权利要求7所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S33中，在YoloV5目标检测算法中添加CA注意力机制模块具体包括：

S331、在YoloV5船舶检测模型的Head结构中的三个Detect结构与Neck结构之间添加三个CA注意力机制模块，其中，三个Detect结构分别对图中的小尺寸、中尺寸和大尺寸进行提取特征；

S332、Neck结构的Conv(k＝1,s＝1)层输出的中间张量为O＝[o₁,o₂,…,o_c]∈R^C×H×W，作为CA注意力机制模块的输入，其中，o₁,o₂,…,o_c为每层网络的参数，C、H、W分别为图像的通道数、高度、宽度；

S333、在输入图像时，对输入的中间张量O，先使用尺寸(H，1)和(1，W)的池化核沿水平坐标方向和竖直坐标方向对每个通道进行编码，故，高度为H的第c个通道的输出表述如下：

同理，宽度为W的第c个通道的输出表述如下：

S334、通过步骤S333中沿水平坐标方向和竖直坐标方向两个空间方向进行特征聚合，返回一对方向感知注意力图；

S335、级联步骤S334中生成的一对方向感知注意力图，然后使用一个共享的1×1卷积进行变换F₁，表述如式(6)，生成的f∈R^C/r×(H+W)是对空间信息在水平方向和竖直方向的中间特征图，这里的r表示下采样比例；

F＝δ(F₁([z^H,z^W]))  (6)

接着沿着空间维度将f切分为两个单独的张量，即f^h∈R^C/r×H和f^w∈R^C/r×W，f^h和f^w分别为沿着H和W方向的张量，再利用两个1×1卷积F_h和F_w将特征图f^h和f^w使用激活函数σ变换到与输入图像同样的通道数，其中F_h和F_w分别为沿着H和W两个方向的卷积变换，得到下式的结果；

g^h＝σ(F_h(f^h)) (7)

g^w＝σ(F_w(f^w)) (8)

最后，对g^h和g^w进行拓展作为注意力权重，其中g^h和g^w分别为f^h和f^w经过卷积变换再经过激活后的结果，CA注意力机制模块的最终输出表述如下式：

式中，o_c(v,n)表示输入图像在c通道沿着水平坐标方向和竖直坐标方向进行编码，

和

表示为在c通道对o_c(v,n)产生的结果沿着H和W方向进行卷积变换再经过激活函数，y_c(v,n)为中间张量O经过上述变换转换后的结果。

10.根据权利要求1所述的基于在线学习的OL-YoloV5船舶检测方法，其特征在于，步骤S4具体包括：

S41、在第一阶段中，向YoloV5船舶检测模型中输入数据，经过训练后得到YoloV5船舶检测模型的权重；

S42、将第一阶段的YoloV5船舶检测模型中的特征提取层冻结，再将步骤S41得到的YoloV5船舶检测模型的权重对第二阶段的YoloV5船舶检测模型进行初始化，得到OL-YoloV5船舶检测模型。

Images