CN118942052A - 一种基于重构卷积与增强特征融合的船舶检测方法 - Google Patents

Abstract

本发明涉及一种基于重构卷积与增强特征融合的船舶检测方法，步骤包括：获取含有船舶目标的图像；采用特征提取骨干网络对含有船舶目标的图像进行特征提取，得到三个不同尺度的特征；对特征进行空间和通道重建卷积以消除空间冗余和通道冗余，得到三个特征层；将三个特征层输入至NL‑Block模块对高层语义信息与底层特征信息进行特征融合，输出特征图；将特征图送入一阶段检测算法的检测头中进行目标框的预测与分类，得到船舶检测结果。本发明优化了卷积神经网络的特征提取过程减少特征图之间的信息冗余，并更加充分地融合高层语义信息与底层特征信息，提高模型对多尺度船舶的检测能力，在处理复杂场景与船舶多尺度问题时具有良好的表现。

Description

一种基于重构卷积与增强特征融合的船舶检测方法

技术领域

本发明涉及船舶目标检测技术领域，尤其是涉及一种基于重构卷积与增强特征融合的船舶检测方法。

背景技术

随着信息技术的发展，船舶的实时检测和智能跟踪在海事监管领域得到了广泛的应用，极大地提高了海事监管的效率。然而，传统的检测方法普遍存在训练速度慢、无法处理复杂背景下的船舶目标等问题，难以实现船舶的高精度检测和跟踪。近年来，随着深度学习的发展，利用卷积神经网络模型实现船舶检测成为当前主流的船舶检测方法。虽然基于深度学习的船舶检测方法取得了突破性进展，但是由于船舶尺度多样，气候环境多变以及港口背景复杂等原因，已有的船舶检测算法仍存在许多漏检、误检的情况。如何提高船舶检测模型的鲁棒性是目前船舶检测研究的热点和难点。

目前基于深度学习的目标检测算法主要分为两类：

(1)二阶段目标检测算法。在第一阶段，通过区域建议网络(Region ProposalNetwork，RPN)或其他方式生成可能包含目标的候选框，这些候选框代表了图像中潜在的目标区域。在第二阶段，这些候选框被送入分类器进行目标分类和位置微调，最终得出目标检测结果。典型的二阶段目标检测算法包括R-CNN和Mask R-CNN。

(2)一阶段目标检测算法直接对整个图像进行处理，完成目标的分类和定位任务。这种方法简单高效，能够实时地进行目标检测，特别适合对检测速度有要求的应用场景。代表性的一阶段目标检测算法有SSD和YOLO。虽然在一些情况下，一阶段算法可能会牺牲一定的准确率，但由于其检测速度快，在实时目标检测任务中具有广泛应用。

基于深度学习的一阶段船舶检测方法相比二阶段方法在处理复杂场景中表现更好，为海事监管提供了可靠的解决方案。然而，由于船舶的尺度多样性、气候环境的多变性以及港口背景的复杂性等问题，船舶检测仍然面临以下挑战：

1.模型难以在复杂背景中准确聚焦船舶目标，导致船舶特征信息受到干扰并变得不明显，进而影响船舶的准确定位和分类。传统的船舶检测算法通常仅使用卷积神经网络作为骨干特征提取网络进行深度特征提取。然而，这种方法可能导致网络存在空间和通道上的特征冗余，降低了模型的性能和效率。

2.船舶检测面临着船舶多尺度问题。针对该问题，以往的船舶检测模型通常采用特征金字塔融合技术，但简单的融合方式可能导致深层特征与浅层特征融合不充分，无法有效利用不同层级特征的信息，使得多尺度船舶检测出现漏检现象。

发明内容

本发明的目的是克服上述现有技术存在的模型难以在复杂背景中准确聚焦船舶目标以及船舶检测面临着船舶多尺度等问题而提供一种基于重构卷积与增强特征融合的船舶检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于重构卷积与增强特征融合的船舶检测方法，所述方法步骤包括：

获取含有船舶目标的图像；

采用特征提取骨干网络对含有船舶目标的图像进行特征提取，得到三个不同尺度的特征；

对所提取的特征进行空间和通道重建卷积以消除空间冗余和通道冗余，得到三个特征层；

将三个特征层输入至NL-Block模块对高层语义信息与底层特征信息进行特征融合，输出三个特征图；

将特征图送入一阶段检测算法的检测头中进行目标框的预测与分类，得到船舶检测结果。

作为优选技术方案，所述的空间和通道重建卷积通过分别对空间和通道进行特征分离重构操作以保留重要的空间信息并减少通道之间的冗余。

作为优选技术方案，对于所述的空间重建具体步骤如下：

对输入特征图进行分组归一化操作；

在归一化操作后，通过设定阈值来对特征层进行判定，将具有丰富空间信息的特征层W₁与较少空间信息的特征层W₂分离；

对于分离后的特征层进行重构，将具有丰富空间信息的特征层分为W₁₁，W₁₂两部分，将具有较少空间信息的特征层分为W₂₁，W₂₂两部分，并通过以下公式进行交叉重建获得空间细化特征图X^w：

W₁₁+W₂₂＝X^w1

W₁₂+W₂₁＝X^w2

X^w1∪X^w2＝X^w。

作为优选技术方案，对于所述的通道重建具体步骤如下：

利用超参数α将空间重建获得空间细化特征图X^w分为两部分，一部分通道数取αC，作为富特征提取的输入X_up，另一部分取(α-1)C，作为富特征提取的补充X_low；

对富特征提取的输入X_up分别进行分组卷积与逐点卷积，并将结果相加得Y₁，对富特征提取的补充X_low进行逐点卷积得Y₂；

进行通道融合操作，通过全局平均池化技术结合全局空间信息和通道统计信息，经过Softmax处理后得到特征权重向量β₁，β₂，输出Y＝β₁Y₁+β₂Y₂。

作为优选技术方案，所述的对高层语义信息与底层特征信息进行特征融合具体为：

三个特征层分别作为浅层特征、中层特征、深层特征，

分别对浅层特征与深层特征以及中层特征与深层特征采用NL-Block模块进行增强融合，最后输出融合得到特征与深层特征的三个特征图。

作为优选技术方案，所述的NL-Block模块通过计算高层特征与低层特征的全局依赖性，将含有细粒度像素信息的特征与含有更大感受野的特征相结合，具体步骤如下：

将高层特征图调整为与低层特征图相同的大小，确保高层特征与低层特征在空间维度上对齐；

将调整后的高层特征图和低层特征图分别拉成一维向量，并保留特征图中每个位置的特征信息；

利用高层特征图和低层特征图之间的相似度衡量每个位置的低层特征与高层特征之间的关联程度；

根据相似度权重，对高层特征图的每个位置进行加权求和，以获得融合后的特征表示。

作为优选技术方案，所述的一阶段检测算法训练过程中，模型总的损失函数采用分类损失L_class、边框回归损失L_local以及置信度损失L_obj的加权和，其计算公式如下：

其中，λ是回归框损失的权重，用于调整模型对于回归框损失的关注度。

作为优选技术方案，所述的分类损失L_class的计算公式如下：

其中，N代表类别总数；x_i为当前类别的预测值；y_i为当前类别的概率；为当前类别的真实值。

作为优选技术方案，所述的边框回归损失L_local使用CIOU，计算公式如下：

其中，ν为真实框与预测框的宽高比相似度；α是平衡因子，用于调整宽高相似度在计算损失时的权重；IOU是目标框的交并比。

作为优选技术方案，所述置信度损失L_obj的计算公式如下：

C^*＝Sigmod(C)

其中，N为样本个数；γ为平衡因子，用于平衡正负样本对损失的影响；是预测值C经过Sigmod函数后得到的置信度。

与现有技术相比，本发明具有以下有益效果：

1)在船舶检测任务中，使用重构卷积SCConv模块为卷积神经网络的设计带来新的思路。传统的卷积神经网络在处理船舶检测任务时面临多尺度目标的检测问题，需要在保证检测精度的同时尽量减少模型的复杂度和计算量。SCConv模块的引入可以有效减少模型的参数数量和计算复杂度，同时保持模型的性能。通过将SCConv模块嵌入到卷积神经网络中，可以取代传统的卷积层，从而实现更好的特征提取效果。在船舶检测任务中，SCConv模块可以帮助网络更好地捕获不同尺度船舶目标的特征，提高检测准确性和鲁棒性。此外，由于SCConv模块的轻量化和高效性，使得舰船检测模型在资源受限的环境下仍可获得优异的检测性能，因而适合在嵌入式设备或移动端设备上进行部署。

2)本发明利用NL-Block的融合能力在船舶检测任务中能够有效解决多尺度问题。在船舶检测中，船舶的大小和形状受到距离和角度的影响，导致不同尺度的船舶目标出现在同一幅图像中。传统的检测方法无法有效应对这种多尺度变化。通过将浅层特征(具有高空间分辨率)与深层特征(具有大感受野)相结合，NL-Block可以帮助模型更好地捕获不同尺度下的船舶目标特征。浅层特征提供了细节和局部信息，有助于精确定位小尺度船舶，而深层特征提供了全局语义信息，有助于识别大尺度船舶。利用NL-Block模型能够更全面地理解图像中的船舶目标，提高对不同尺度船舶的检测准确性和鲁棒性。

附图说明

图1为本发明的基于重构卷积与增强特征融合的船舶检测方法实施流程图；

图2为本发明的基于重构卷积与增强特征融合的船舶检测方法的架构示意图；

图3为SCConv计算过程示意图；

图4为SRU计算过程示意图；

图5为CRU计算过程示意图；

图6为NL-Block计算过程示意图；

图7为本发明一实施实例中基于重构卷积与增强特征融合的船舶检测方法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本发明提出了一种基于重构卷积与增强特征融合的船舶检测方法，以获得更好的船舶检测结果，使其在处理复杂场景与船舶多尺度问题时具有良好的表现。首先，引入了重构卷积，以消除卷积操作后可能产生的空间冗余和通道冗余。重构卷积能够在保持特征图大小不变的同时，有效减少参数量和计算量，使得模型更加轻量化。此外，本发明提出了一种名为NL-Block的增强特征融合方法。NL-Block利用非局部块的机制，能够捕捉高层特征与浅层特征之间的全局依赖性。通过NL-Block能够更加充分地融合高层语义信息与底层特征信息，提高模型对多尺度船舶的检测能力。如图1所示，本发明所提出的船舶检测方法具体的检测过程如下：

S1、将含有船舶目标的图像作为输入数据。

S2、将输入数据通过特征提取骨干网络进行特征提取，得到三个不同尺度的特征。

S3、对提取的特征进行重构卷积，减少空间与通道信息的冗余，得出三个大小不同的特征层。

S4、将三个大小不同的特征层输入至NL-Block模块中并对高层语义信息与底层特征信息进行特征融合，输出三个特征图。

本发明基于重构卷积与增强特征融合方法的架构如图2所示。

S5、将输出的三个特征图送入一阶段检测算法的检测头中进行目标框的预测与分类。

1.本发明使用重构卷积消除卷积神经网络模型的空间冗余与通道冗余空间和通道重建卷积(Spatial and Channel reconstruction Convolution，SCConv)模块旨在通过优化卷积神经网络的特征提取过程减少特征图之间的信息冗余，从而压缩模型并提高性能。其核心思想是通过特征分离重构操作保留重要的空间信息并减少通道之间的冗余，从而在减少模型参数和计算复杂度的同时提高模型的表征能力。SCConv的计算过程如图3所示。SCConv的实现包括以下两个关键步骤：

(1.1)空间重建(SRU)：首先进行特征分离操作，其目的是将信息量大的特征图从信息量小的特征图中分离出来。其公式如下，X为输入的原始特征图：

W＝Gate(Sigmoid(W_γ(GN(X))))

首先对输入特征图进行分组归一化操作：X_out＝GN(X)，其中γ，β是两个训练变量，γ代表像素之间的空间信息，其值越大代表所含空间信息越丰富。归一化会改变输入的分布特性，可能会损失一些有价值的信息。β作为一个可学习的偏移参数，可以帮助网络恢复在归一化过程中丢失的表达能力。

在归一化操作后，通过设定阈值来对特征层进行判定，高于阈值的称为含有丰富空间信息的特征层，反之则为较少空间信息的特征层。通过以上公式，将具有丰富空间信息的特征层与较少空间信息的特征层进行分离。丰富空间信息的特征层为W₁，较少空间信息的特征层为W₂。

而后进行重构操作，该操作将信息量较多的特征和信息量较少的特征相加，以生成信息量更多的特征并节省空间。其计算过程为：将具有丰富空间信息的特征层分为W₁₁，W₁₂两部分，将具有较少空间信息的特征层分为W₂₁，W₂₂两部分，并通过以下公式进行交叉重建：

W₁₁+W₂₂＝X^w1

W₁₂+W₂₁＝X^w2

X^w1∪X^w2＝X^w

经过SRU处理可获得空间细化特征图X^w，使得信息量大的特征从信息量小的特征中分离出来，减少了空间维度上的特征冗余，进而使得神经网络可以更好地利用不同特征图之间的信息，提高模型的表征能力，并且可以在一定程度上减少模型的参数量和计算复杂度。SRU的计算过程如图4所示。

(1.2)通道重建(CRU)：通道重建也是执行先分离后重构操作。首先利用超参数α(0≤α≤1)将X^w分为两部分，一部分通道数取αC，记作“富特征提取”的输入X_up，另一部分取(α-1)C，记作“富特征提取”的补充X_low。对X_up分别进行分组卷积与逐点卷积，并将结果相加得Y₁，对X_low进行逐点卷积得Y₂。

而后进行通道融合操作。该操作首先通过全局平均池化技术结合全局空间信息和通道统计信息，然后经过Softmax处理后得到特征权重向量β₁，β₂，最后输出Y＝β₁Y₁+β₂Y₂。通道重建可以使得神经网络更加高效地利用特征信息，进一步提高模型的表征能力。CRU的计算过程如图5所示。

2.使用增强特征融合方法提高特征层之间的融合度在船舶检测任务中，融合不同尺度的特征同样是至关重要的。在实际检测中，图像中可能同时存在大型和小型船只，如果不同尺度船只的特征表示不一致，使用融合后的特征进行船舶检测将会降低检测精度。因此，对于船舶检测任务而言，需要同时考虑图像中的局部信息和全局信息。浅层特征在船舶检测中可以帮助捕获船舶的细节特征和局部结构，这些信息对于准确检测小型船只非常重要。另一方面，高层特征则可以更好地表示船舶的整体形状和大小。通过融合这两种特征，可以使模型在检测各种尺度大小的船舶时更加准确和鲁棒。为此，本发明使用NL-Block(NonLocal-Block)融合策略更好地融合浅层特征和高层特征，其计算过程如图6所示。

在NL-Block中，我们通过计算高层特征与浅层特征的全局依赖性，将含有细粒度像素信息的特征与含有更大感受野的特征相结合。具体计算步骤如下：

(2.1)特征变换：通过卷积或上采样等操作将高层特征图(Key和Value)调整为与低层特征图(Query)相同的大小，确保高层特征与低层特征在空间维度上对齐。

(2.2)拉成一维向量：将调整后的高层特征图和低层特征图分别拉成一维向量，保留特征图中每个位置的特征信息。

(2.3)计算相似度：利用高层特征图Key和低层特征图Query之间的相似度衡量每个位置的低层特征与高层特征之间的关联程度。

(2.4)加权融合：根据步骤(3)获得的相似度权重，对高层特征图的每个位置进行加权求和，以获得融合后的特征表示，从而实现了全局依赖性的建模。

具体实施实例：

在具体实施过程中，本实施例选取YOLOv7作为骨干网络，在该网络基础上使用重构卷积以及增强特征融合方法，模型如图7所示。实验数据使用Seaship数据集，该数据集共有7000张图片，包含不同背景、不同尺度的船舶图像。具体执行过程如下：

1)将数据集中的图像作为输入数据，输入至YOLOv7骨干特征提取网络中进行特征提取。

2)将提取到的80x80，40x40，20x20三个尺度特征进行重构卷积，在不改变其尺度与通道数的情况下消除空间冗余与通道冗余。

3)对重构后的特征进行特征融合，具体融合过程为：将三个特征层分别作为浅层特征、中层特征、深层特征，其中浅层特征与深层特征做一次增强融合，中层特征与深层特征做一次增强融合，最后将融合得到的三个特征图分别输入YOLO检测头。

4)YOLO检测头收到三个大小不同的特征层后生成候选框，然后通过非极大值抑制算法选出最合适的目标框作为预测框，同时进行目标框分类，生成真实框与分类置信度。

在训练过程中，本发明的模型采用以下三种损失函数：分类损失L_class，边框回归损失L_local，置信度损失L_obj。模型总的损失函数为上述三类损失的加权和，其计算公式如下：

其中，λ是回归框损失的权重，用于调整模型对于回归框损失的关注度。

分类损失L_class的计算公式如下：

其中，N代表类别总数，x_i为当前类别的预测值，y_i为当前类别的概率，为当前类别的真实值(0或1)。

置信度损失L_obj的计算公式如下：

C^*＝Sigmod(C)

其中，N为样本个数，γ为平衡因子，用于平衡正负样本对损失的影响。是预测值C经过Sigmod函数后得到的置信度。

在计算边框回归损失L_local时使用CIOU，其计算公式如下：

其中，v为真实框与预测框的宽高比相似度，其计算公式如下：

其中，α是平衡因子，用于调整宽高相似度在计算损失时的权重，IOU是目标框的交并比，相应的计算公式如下：

最终的回归损失L_local的计算公式为：

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述方法步骤包括：

获取含有船舶目标的图像；

采用特征提取骨干网络对含有船舶目标的图像进行特征提取，得到三个不同尺度的特征；

对所提取的特征进行空间和通道重建卷积以消除空间冗余和通道冗余，得到三个特征层；

将三个特征层输入至NL-Block模块对高层语义信息与底层特征信息进行特征融合，输出三个特征图；

将特征图送入一阶段检测算法的检测头中进行目标框的预测与分类，得到船舶检测结果。

2.根据权利要求1所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的空间和通道重建卷积通过分别对空间和通道进行特征分离重构操作以保留重要的空间信息并减少通道之间的冗余。

3.根据权利要求2所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，对于所述的空间重建具体步骤如下：

对输入特征图进行分组归一化操作；

在归一化操作后，通过设定阈值来对特征层进行判定，将具有丰富空间信息的特征层W₁与较少空间信息的特征层W₂分离；

对于分离后的特征层进行重构，将具有丰富空间信息的特征层分为W₁₁，W₁₂两部分，将具有较少空间信息的特征层分为W₂₁，W₂₂两部分，并通过以下公式进行交叉重建获得空间细化特征图X^w：

W₁₁+W₂₂＝X^w1

W₁₂+W₂₁＝X^w2

X^w1∪X^w2＝X^w。

4.根据权利要求2所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，对于所述的通道重建具体步骤如下：

利用超参数α将空间重建获得空间细化特征图X^w分为两部分，一部分通道数取αC，作为富特征提取的输入X_up，另一部分取(α-1)C，作为富特征提取的补充X_low；

对富特征提取的输入X_up分别进行分组卷积与逐点卷积，并将结果相加得Y₁，对富特征提取的补充X_low进行逐点卷积得Y₂；

进行通道融合操作，通过全局平均池化技术结合全局空间信息和通道统计信息，经过Softmax处理后得到特征权重向量β₁，β₂，输出Y＝β₁Y₁+β₂Y₂。

5.根据权利要求1所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的对高层语义信息与底层特征信息进行特征融合具体为：

三个特征层分别作为浅层特征、中层特征、深层特征，

分别对浅层特征与深层特征以及中层特征与深层特征采用NL-Block模块进行增强融合，最后输出融合得到特征与深层特征的三个特征图。

6.根据权利要求5所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的NL-Block模块通过计算高层特征与低层特征的全局依赖性，将含有细粒度像素信息的特征与含有更大感受野的特征相结合，具体步骤如下：

将高层特征图调整为与低层特征图相同的大小，确保高层特征与低层特征在空间维度上对齐；

将调整后的高层特征图和低层特征图分别拉成一维向量，并保留特征图中每个位置的特征信息；

利用高层特征图和低层特征图之间的相似度衡量每个位置的低层特征与高层特征之间的关联程度；

根据相似度权重，对高层特征图的每个位置进行加权求和，以获得融合后的特征表示。

7.根据权利要求1所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的一阶段检测算法训练过程中，模型总的损失函数采用分类损失L_class、边框回归损失L_local以及置信度损失L_obj的加权和，其计算公式如下：

其中，λ是回归框损失的权重，用于调整模型对于回归框损失的关注度。

8.根据权利要求7所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的分类损失L_class的计算公式如下：

其中，N代表类别总数；x_i为当前类别的预测值；y_i为当前类别的概率；为当前类别的真实值。

9.根据权利要求7所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述的边框回归损失L_local使用CIOU，计算公式如下：

其中，v为真实框与预测框的宽高比相似度；α是平衡因子，用于调整宽高相似度在计算损失时的权重；IOU是目标框的交并比。

10.根据权利要求7所述的一种基于重构卷积与增强特征融合的船舶检测方法，其特征在于，所述置信度损失L_obj的计算公式如下：

C^*＝Sigmod(C)

其中，N为样本个数；γ为平衡因子，用于平衡正负样本对损失的影响；是预测值C经过Sigmod函数后得到的置信度。