CN115880495A

CN115880495A - 复杂环境下的舰船图像目标检测方法与系统

Info

Publication number: CN115880495A
Application number: CN202211658135.8A
Authority: CN
Inventors: 刘少冬; 饶若楠; 薛广涛; 蒋丰亦
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2022-12-22
Filing date: 2022-12-22
Publication date: 2023-03-31

Abstract

一种复杂环境下的舰船图像目标检测方法与系统，在离线阶段通过采集对原始的舰船图像进行预处理；基于FDDEA算法和AASST策略构建舰船目标检测深度神经网络，将预处理后的图像作为训练样本对舰船目标检测网络进行训练；在在线阶段将测试图像或实际舰船图像输入训练后的舰船目标检测深度神经网络中，得到舰船目标的预测框和分类。本发明通过基于舰船图像特征去噪膨胀编码算法和自适应舰船目标正负样本分配策略，显著提升复杂环境下舰船目标检测的精度。

Description

复杂环境下的舰船图像目标检测方法与系统

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种复杂环境下的舰船图像目标检测方法与系统。

背景技术

舰船图像目标检测在情报获取、海面监控等任务中具有重要作用。虽然基于深度神经网络的通用目标检测方法在舰船图像目标检测上取得了巨大突破，但是由于复杂环境下捕获的舰船图像存在图像质量差、舰船形状差异大、目标尺度小、环境遮挡和噪声干扰严重等问题，这些通用的目标检测算法的检测精度往往达不到实际要求。因此，如何针对以上问题提出一种复杂环境下的舰船图像目标检测方法与系统，是一个重要的研究方向。

发明内容

本发明针对现有复杂环境下的舰船目标检测存在的舰船目标尺度小、噪声干扰、环境冗余、形状差异大的问题，提出一种复杂环境下的舰船图像目标检测方法与系统，基于舰船图像特征去噪膨胀编码算法(Feature Denoising Dilated Encoding Algorithm forShip Image，FDDEA)和自适应舰船目标正负样本分配策略(Adaptive positive andnegative Sample Allocation Strategyfor Ship object，AASST)，有效提升复杂环境下舰船目标检测的精度。

本发明是通过以下技术方案实现的：

本发明涉及一种复杂环境下的舰船图像目标检测方法，在离线阶段通过采集对原始的舰船图像进行预处理；基于FDDEA算法和AASST策略构建舰船目标检测深度神经网络，将预处理后的图像作为训练样本对舰船目标检测网络进行训练；在在线阶段将测试图像或实际舰船图像输入训练后的舰船目标检测深度神经网络中，得到舰船目标的预测框和分类。

所述的舰船目标检测深度神经网络包括：基于Resnet框架的主干网络、特征金字塔模块(FPN)、基于FDDEA的特征增强去噪模块和基于AASST策略的检测头，其中：主干网络从预处理后的图像中提取出特征图；FPN根据不同层次的特征图进行自上而下的二次融合，得到融合特征图；特征增强去噪模块对融合特征图进行特征加强提取和特征去噪；检测头分别在每层特征图上进行检测并得到最终的预测框。

所述的基于FDDEA的特征增强去噪模块包括：特征膨胀编码器和特征去噪器，其中：特征膨胀编码器根据FPN的输出信息，利用残差网络和空洞卷积进行膨胀编码，得到具有丰富语义信息的膨胀编码特征图，特征去噪器根据膨胀编码特征图，利用基于阈值注意力机制的软阈值函数进行特征去噪处理，得到去噪后的膨胀编码特征图，最后将得到的去噪后的膨胀编码特征图输入检测头进行目标检测。

所述的基于AASST策略是指：采用包含形状自适应衰减因子的IoU阈值筛选出正样本后，以正样本根据样本中心点与真实框中心点之间的距离赋予动态样本权重，进而计算由分类损失和回归损失组成的损失函数。

所述的IoU阈值T_iou＝α_sa*(m_g+v_g)，其中：自适应衰减因子

为真实框的长宽比均值，ω为衰减权重，ε_max为长宽比极值，m_g为候选框与真实框IoU的均值，v_g为候选框与真实框IoU的均值，I_i，j为第i个候选框与第j个真实框的IoU值。

优选地，当长宽比大于长宽比极值时IoU阈值固定设置为8。

本发明涉及一种实现上述方法的系统，包括：图像处理单元、舰船图像预测单元和输出单元，其中：舰船图像处理单元对原始的舰船图像进行裁剪、缩放处理；舰船图像预测单元基于舰船目标检测深度神经网络，根据预处理后的图像生成预测框；输出单元在原始的舰船图像中根据预测框标出舰船目标的位置信息和分类信息。

技术效果

本发明基于FDDEA的特征增强去噪模块通过级联的膨胀卷积、基于AASST的检测头通过考虑目标的形状信息重新定义正负样本选择的IoU阈值以及引入形状自适应衰减因子，解决了复杂环境下的舰船目标检测存在的图像质量差、舰船形状差异大、目标尺度小、环境遮挡和噪声干扰严重等问题，通过丰富小目标的特征语义，显著提升形状差异大的舰船目标和小尺度目标的检测效果；通过基于阈值注意力机制的软阈值函数来去除特征图中的噪声，解决环境遮挡和信号噪声影响的问题。

附图说明

图1为本发明流程图；

图2为图像特征去噪膨胀编码算法示意图；

图3为本发明阈值注意力机制架构图。

具体实施方式

如图1所示，为本实施例涉及一种复杂环境下的舰船目标检测方法，包括以下步骤：

步骤1：对原始的舰船图像进行预处理，对数据集进行增强以提升训练效果和算法模型鲁棒性，具体包括：

步骤1.1：在长宽比不变的情况下，对舰船图像进行随机缩放。

步骤1.2：对缩放后的图像进行随机水平翻转。

步骤1.3：对翻转后的图像，随机进行色调、饱和度、亮度变换(即HSV变换)所有相关参数均通过在[0,100]之间取一个随机自然数得到。

步骤1.4：对经过HSV变幻后的图像进行填充(pad)操作，设置填充的size_divider为32，图像预处理结束。

步骤2：如图2所示，基于FDDEA算法和AASST策略构建舰船目标检测深度神经网络后，将经过步骤1预处理的图像作为训练样本对舰船目标检测网络进行训练，具体包括：

步骤2.1：将预处理后的图像输入到主干网络ResNet中，通过残差卷积提取不同层次的特征。

步骤2.2：FPN首先通过Bottomup，获得backbone不同阶段输出的不同尺寸的特征图，然后通过Topdown的方式，从最顶层的特征图出发，通过上采样，与下一级特征图相加。通过Bottomup和Topdown，每一层的特征图都能有丰富的语义信息，能够检测不同尺度的目标。FPN网络提供两方面的能力，特征融合能力和分而治之的能力。特征融合能力表现为通过Topdown使得即使是最底层的特征图也有最高层提炼出的语义信息。分而治之能力表现为在最后的检测过程中，不同尺度的目标在不同的特征图上进行检测。

为充分发挥其分而治之的能力，本发明在FPN之后引入基于FDDEA算法实现的特征增强去噪模块。

步骤2.3：使用基于FDDEA算法的特征增强去噪模块对特征图进行增强去噪，具体步骤包括：

步骤2.3.1：首先根据FPN输出的特征图{P2,P3,P4,P5}，对P2上采样得到P1，对P5上采样得到P6，将最终得到的{P1,P2 P3,P4,P5,P6}作为输入特征膨胀编码器的输入。

步骤2.3.2：特征膨胀编码器基于残差网络和空洞卷积，针对输入的每一层特征图，首先进行一次1x1的卷积加Relu激活函数，然后接上一个3x3的空洞卷积加Relu激活函数，之后再接一个1x1的卷积加Relu激活函数，最后将卷积模块的输出和最初的输入相加得到残差膨胀模块的输出，具体为：

其中：x为残差膨胀模块的输入，ConvRelu_(1×1)表示进行一次卷积核为1×1的常规卷积和一次relu激活函数，r表示空洞卷积的扩张率，DilatedConvRelu_(3×3)(x，r)表示对输入x进行一次卷积核为3×3，扩张率为r的空洞卷积和一次Relu激活函数，O表示残差膨胀模块的输出。

通过残差膨胀模块，保证每次膨胀编码后得到的特征语义信息不低于输入的特征语义信息，保留特征图的多尺度信息，进一步提高算法对小目标的检测效果。

步骤2.3.3：如图3所示，去噪模块根据残差膨胀模块的输出，经过阈值注意力机制得到自适应阈值t，然后基于阈值t使用软阈值函数进行特征去噪，具体为：

其中：为输入特征，为输出特征，t为阈值。软阈值函数会将一定阈值内的值置为0，并且使阈值之外的值朝0发展。通常来说，经过图像卷积处理，原始的信号噪声被变换成接近0的数字，使用软阈值函数符合图像中噪声分布的规律。

步骤2.3.4：重复4次步骤2.2.2和2.2.3，并且使用逐渐增加的扩张率，一般设置为(2，3，4，5)，得到去噪后的膨胀编码特征图。

步骤2.4：使用基于AASST策略的检测头进行正负样本定义和损失回归，具体包括：

步骤2.4.1：使用去噪后的膨胀编码特征图作为检测头的输入，首先进行正负样本定义，具体包括：

步骤2.4.1.1：根据Anchor与真实框的中心距离选择候选框，具体为：

其中w_i表示第i个gt框的宽度，h_i表示第i个gt框的长度，x_i，y_i表示正样本中心点的坐标，x_j，y_j表示候选框中心坐标，d_ij表示中心距离。Anchor的中心点距离真实框中心点的中心距离越近，能提供的检测质量越高，这是因为越接近真实框的中心点，候选框所能表述的特征越接近目标，因此首先根据Anchor与真实框的中心距离选择TopK个候选框。

步骤2.4.1.2：使用候选框与真实框IoU的均值和标准差的和作为定义正负样本IoU的初始阈值，具体为：T_iou＝m_g+v_g，其中：

其中：m_g表示候选框与真实框IoU的均值，v_g表示候选框与真实框IoU的均值，I_i，j表示第i个候选框与第j个真实框的IoU值。

步骤2.4.1.3：计算形状自适应衰减因子。首先统计目标长宽比信息。对于候选框所对应的真实框，计算出所有真实框的长宽比均值，基于均值，自适应衰减因子

其中：Ar为真实框的长宽比均值，ω表示衰减权重，按照经验值一般设置为16，ε_max表示长宽比极值，当长宽比大于该值时阈值不再减小，按照经验一般设定为8。

步骤2.4.1.4：将计算得到的形状自适应衰减因子α_sa代入步骤2.3.1.2公式，得到最终的正负样本选择IoU阈值T_iou＝α_sa*(m_g+v_g)

步骤2.4.1.5：根据计算得到的IoU阈值，将IoU大于该阈值的候选框定义为正样本，其他候选框定义为负样本。

步骤2.4.2：对已定义正样本根据样本中心点与真实框中心点之间的距离赋予动态样本权重

其中：w_i表示第i个gt框的宽度，h_i表示第i个gt框的长度，x_i，y_i表示正样本中心点的坐标，x_j，y_j表示候选框中心坐标，w_dy表示样本权重。

步骤2.4.3：计算损失函数，由分类损失和回归损失构成。通过损失函数对网络进行随机梯度下降，逐渐优化网络，提升检测效果。

步骤3：将测试图像或实际舰船图像输入到已训练好的舰船目标检测网络中，得到舰船目标的预测框和分类。

本发明在Ubuntu18.04服务器、python3.6.8、pytorch1.3.1的具体环境设置下，在公开舰船数据集HRSC上，对本发明提出的FDDEA算法和AASST算法进行消融实验，实验结果如下所示：

与现有技术相比，本方法通过基于FDDEA算法实现的特征增强去噪模块提升小尺度目标和噪声干扰目标的检测效果，相比于不使用FDDEA算法，mAP值提升了5.94。通过引入基于AASST策略的检测头，解决目标形状差异大带来的检测精度低的问题，相比于不使用AASST策略，mAP值提升了13.01。同时使用FDDEA算法和AASST策略的舰船目标检测深度神经网络可以解决复杂环境下的舰船目标检测问题，mAP值为89.78，相比于不使用FDDEA算法和AASST策略的75.11，提升了14.67。

综上，本发明通过在FPN结构之后构造膨胀编码器，解决舰船目标小尺度目标特征提取不充分的问题，使用膨胀编码器丰富特征语义，提升小目标的检测效果；通过设计基于阈值注意力机制的软阈值函数，消除特征图中的噪声和环境冗余信息，解决舰船图像噪声干扰和环境冗余的问题，提升模型检测效果；通过统计目标的形状信息和候选框与真实框之间的IoU信息动态设置定义正负样本的阈值，从而平衡正负样本，提升模型的检测精度。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims

1.一种复杂环境下的舰船图像目标检测方法，其特征在于，在离线阶段通过采集对原始的舰船图像进行预处理；基于FDDEA算法和AASST策略构建舰船目标检测深度神经网络，将预处理后的图像作为训练样本对舰船目标检测网络进行训练；在在线阶段将测试图像或实际舰船图像输入训练后的舰船目标检测深度神经网络中，得到舰船目标的预测框和分类；

所述的舰船目标检测深度神经网络包括：基于Resnet框架的主干网络、特征金字塔模块、基于FDDEA的特征增强去噪模块和基于AASST策略的检测头，其中：主干网络从预处理后的图像中提取出特征图；FPN根据不同层次的特征图进行自上而下的二次融合，得到融合特征图；特征增强去噪模块对融合特征图进行特征加强提取和特征去噪；检测头分别在每层特征图上进行检测并得到最终的预测框。

2.根据权利要求1所述的复杂环境下的舰船图像目标检测方法，其特征是，所述的基于FDDEA的特征增强去噪模块包括：特征膨胀编码器和特征去噪器，其中：特征膨胀编码器根据FPN的输出信息，利用残差网络和空洞卷积进行膨胀编码，得到具有丰富语义信息的膨胀编码特征图，特征去噪器根据膨胀编码特征图，利用基于阈值注意力机制的软阈值函数进行特征去噪处理，得到去噪后的膨胀编码特征图，最后将得到的去噪后的膨胀编码特征图输入检测头进行目标检测。

3.根据权利要求1所述的复杂环境下的舰船图像目标检测方法，其特征是，所述的基于AASST策略是指：采用包含形状自适应衰减因子的IoU阈值筛选出正样本后，以正样本根据样本中心点与真实框中心点之间的距离赋予动态样本权重，进而计算由分类损失和回归损失组成的损失函数。

4.根据权利要求3所述的复杂环境下的舰船图像目标检测方法，其特征是，所述的IoU阈值T_iou＝α_sa*(m_g+v_g)，其中：自适应衰减因子

5.根据权利要求4所述的复杂环境下的舰船图像目标检测方法，其特征是，当长宽比大于长宽比极值时IoU阈值固定设置为8。

6.根据权利要求1-5中任一所述的复杂环境下的舰船图像目标检测方法，其特征是，包括：

步骤1.1：在长宽比不变的情况下，对舰船图像进行随机缩放；

步骤1.2：对缩放后的图像进行随机水平翻转；

步骤1.3：对翻转后的图像，随机进行色调、饱和度、亮度变换；

步骤1.4：对经过HSV变幻后的图像进行填充操作；

步骤2：基于FDDEA算法和AASST策略构建舰船目标检测深度神经网络后，将经过步骤1预处理的图像作为训练样本对舰船目标检测网络进行训练，具体包括：

步骤2.1：将预处理后的图像输入到主干网络ResNet中，通过残差卷积提取不同层次的特征；

步骤2.2：通过Bottomup，获得backbone不同阶段输出的不同尺寸的特征图，然后通过Topdown的方式，从最顶层的特征图出发，通过上采样，与下一级特征图相加；

步骤2.3.1：首先根据FPN输出的特征图{P2,P3,P4,P5}，对P2上采样得到P1，对P5上采样得到P6，将最终得到的{P1,P2 P3,P4,P5,P6}作为输入特征膨胀编码器的输入；

其中：x为残差膨胀模块的输入，ConvRelu_(1×1)为进行一次卷积核为1×1的常规卷积和一次Relu激活函数，r为空洞卷积的扩张率，DilatedConvRelu_(3×3)(x，r)为对输入x进行一次卷积核为3×3，扩张率为r的空洞卷积和一次Relu激活函数，O为残差膨胀模块的输出；

步骤2.3.3：去噪模块根据残差膨胀模块的输出，经过阈值注意力机制得到自适应阈值t，然后基于阈值t使用软阈值函数进行特征去噪，具体为：

其中：为输入特征，为输出特征，t为阈值；软阈值函数会将一定阈值内的值置为0，并且使阈值之外的值朝0发展；通常来说，经过图像卷积处理，原始的信号噪声被变换成接近0的数字，使用软阈值函数符合图像中噪声分布的规律；

步骤2.3.4：重复4次步骤2.2.2和2.2.3，并且使用逐渐增加的扩张率，得到去噪后的膨胀编码特征图；

步骤2.4.1：使用去噪后的膨胀编码特征图作为检测头的输入，进行正负样本定义，具体包括：

其中w_i为第i个gt框的宽度，h_i为第i个gt框的长度，x_i，y_i为正样本中心点的坐标，x_j，y_j为候选框中心坐标，d_ij为中心距离；Anchor的中心点距离真实框中心点的中心距离越近，能提供的检测质量越高，这是因为越接近真实框的中心点，候选框所能表述的特征越接近目标，因此首先根据Anchor与真实框的中心距离选择TopK个候选框；

其中：m_g为候选框与真实框IoU的均值，v_g为候选框与真实框IoU的均值，I_i，j为第i个候选框与第j个真实框的IoU值；

步骤2.4.1.3：计算形状自适应衰减因子；首先统计目标长宽比信息；对于候选框所对应的真实框，计算出所有真实框的长宽比均值，基于均值，自适应衰减因子

其中：Ar为真实框的长宽比均值，ω为衰减权重，ε_max为长宽比极值；

步骤2.4.1.5：根据计算得到的IoU阈值，将IoU大于该阈值的候选框定义为正样本，其他候选框定义为负样本；

其中：w_i为第i个gt框的宽度，h_i为第i个gt框的长度，x_i，y_i为正样本中心点的坐标，x_j，y_j为候选框中心坐标，w_dy为样本权重；

步骤2.4.3：计算损失函数，由分类损失和回归损失构成；通过损失函数对网络进行随机梯度下降，逐渐优化网络，提升检测效果；

7.一种实现权利要求1-6中任一所述复杂环境下的舰船图像目标检测方法的系统，其特征在于，包括：图像处理单元、舰船图像预测单元和输出单元，其中：舰船图像处理单元对原始的舰船图像进行裁剪、缩放处理；舰船图像预测单元基于舰船目标检测深度神经网络，根据预处理后的图像生成预测框；输出单元在原始的舰船图像中根据预测框标出舰船目标的位置信息和分类信息。