CN114612769A - 一种融入局部结构信息的集成感知红外成像舰船检测方法 - Google Patents

Abstract

本发明公开了一种融入局部结构信息的集成感知红外成像舰船检测方法，其主要步骤为：步骤一、红外遥感舰船数据准备并进行预处理和数据集划分；步骤二、将训练集图像输入集成感知网络进行迭代训练，该网络的工作流程为：使用双向特征融合网络提取骨干特征，使用上下文注意力网络提取空间注意力，使用Mask‑RPN生成候选框，使用融入局部结构信息的检测头进行最终检测；步骤三、将测试集图像输入训练完毕的集成感知网络得到预测框位置及其概率，经过非极大值抑制操作去除冗余框后得到最终检测结果，本发明将局部结构信息作为先验知识监督网络进行多源信息感知，有效降低了虚警率，明显减少小目标漏检，增强了复杂海洋环境下的检测鲁棒性。

Description

一种融入局部结构信息的集成感知红外成像舰船检测方法

技术领域

本发明涉及一种融入局部结构信息的集成感知红外成像舰船检测方法，属于遥感图像处理中的目标检测领域。

背景技术

近年来，遥感技术发展迅猛，高质量遥感数据量日益增多，高效的图像信息处理技术可以有效扩大其应用范围。同时，随着中国走向深蓝的海洋战略的提出，海洋产业持续蓬勃发展，船只作为海上运输的重要载体，是海上检测的重点目标，复杂海洋环境下的自动舰船检测在海洋交通管理、海洋救援等领域都有极其重要的战略意义。红外遥感因可全天候工作、隐蔽性好、可反侦察、环境适应能力强等不可替代的优点，越来越多的被用在舰船自动检测的领域中来。

相较于一般图像中的检测任务，红外遥感舰船检测中存在诸多挑战。首先，遥感图像本身具有低质性，相较于一般图像分辨率低且只有单通道信息。此外，海洋场景较为复杂，水面与陆地灰度值因昼夜温度呈现多极性，舰船与背景对比度呈现多样性。厚云层、陆地条状高亮建筑易产生虚警。同时，红外成像舰船目标很小且语义特征非常微弱，近岸停泊的舰船很容易被陆地淹没。

目前对于遥感图像舰船目标检测主要有两类方法，一类是手工视觉特征建模的传统方法，此类方法需要根据检测目标的外形、纹理等特点进行手工视觉特征的建模，在场景较为单一的高质量图像中可以获得令人满意的结果，但检测效果常常依赖于调参，在复杂海洋场景下的鲁棒性较差；另一类是基于深度学习的方法，此类方法由数据驱动，具有高效稳定的特点。虽然许多优秀的网络，如Faster RCNN，YOLO，SSD，CenterNet等，在一般自然图像检测中效果出色，但是由于深度网络的黑盒属性，难以在特定任务中进行有针对性的改进，因此在红外成像舰船检测任务中表现出各种局限性。比如，由于舰船目标过小，多次池化后的高语义特征层大量损失小目标信息，易造成漏检；小型卷云、高亮建筑等虚警较多；单个边界框“骑跨”在两个并排目标中间等。因此，进一步研究能够克服上述局限性的高精确、高鲁棒的检测算法具有非常重要的理论意义和应用价值。

发明内容

本发明的目的在于：结合手工视觉特征建模方法与深度学习方法的优势，将精准设计的局部结构特征与深度特征融合，实现对舰船目标的集成感知，有效减少虚警；此外，本发明设计了双向特征融合模块以平衡特征图的语义信息和分辨率，增大特征图感受野，减少小型舰船漏检；同时，提出了上下文注意力网络增强目标信息和目标周边信息、抑制背景杂波，提升复杂海洋环境下的检测鲁棒性。具体的，本发明采用以下技术方案：

本发明提供了一种融入局部结构信息的集成感知红外成像舰船检测方法，包括如下步骤：

步骤1：准备红外遥感舰船数据并进行预处理和数据集划分，得到训练集和测试集；

步骤2：将训练集输入集成感知网络进行迭代训练，该集成感知网络的工作流程为：将原始图像输入双向特征融合网络提取骨干特征，将骨干特征输入上下文注意力网络得到空间注意力掩膜以进行骨干特征的增强，将注意力掩膜和增强后的骨干特征输入Mask-RPN提取候选框，将候选框输入融入局部结构信息的检测头进行目标框位置回归和目标框概率预测；

步骤3：将测试集的图像输入训练完毕的集成感知网络得到预测框位置及其概率，经过非极大值抑制操作去除冗余框后得到最终检测结果。

上述技术方案中，所述步骤1的具体步骤如下：

步骤1.1：将准备的红外遥感数据进行辐射定标、大气校正的预处理工作，得到预处理的红外遥感数据的数据集；

步骤1.2：将步骤1.1得到的数据集按照7∶3的比例随机划分为训练集和测试集，将训练集中的舰船目标使用4参数元组(xc，yc，w，h)进行轴向框标注，其中xc为轴向框中心点x轴坐标、yc为轴向框中心点y轴坐标，w为轴向框的宽，h为轴向框的高。

上述技术方案中，所述步骤2具体如下：

步骤2.1：对集成感知网络的第一个子网络双向特征融合网络中的骨干网部分使用在 ImageNet上预训练的骨干网进行参数初始化，集成感知网络其余参数使用截断正态分布进行随机初始化；

步骤2.2：冻结骨干网的最底层参数，使其在训练中保持初始值；

步骤2.3：随机挑选步骤1.2得到的训练集中的图像进行在线数据增广，手段包括：水平翻转、垂直翻转、随机角度旋转、添加随机参数高斯噪声、随机参数gamma校正；

步骤2.4：将步骤2.3得到的增广后图像输入集成感知网络，该网络的第一个子网络为双向特征融合网络，用于提取骨干特征，由骨干网、双向特征融合模块和感受野扩张模块组成，具体构架为：双向特征融合网络首先使用骨干网的前4层提取图像的多尺度特征，得到分辨率分别为原图的1/2²，1/4²，1/8²，1/16²的4个特征图C_i(i∈[1，4])，然后用双向特征融合模块将C₂，C₃，C₄融合，得到与C₃尺寸相同的融合特征图F，具体融合公式如下：

F＝Conv_1×1[UpSample(C₄)]+CA(C₃)+CA{Conv_1×1[DownSample(C₂)]} (1)

其中，CA为通道注意力模块，UpSample为2倍双线性差值上采样，DownSample为2倍双线性差值降采样，Conv_1×1为512维1×1卷积核；

随后融合特征图F进一步输入基于空洞卷积的感受野扩张模块，该模块的表达式如下：

其中，Atous_Conv1为3×3×512×256的空洞率为2的空洞卷积核，Atous_Conv2为3×3 ×128×128的空洞率为4的空洞卷积核，Atous_Conv3为3×3×128×128的空洞率为8的空洞卷积核，Conv_1×1为128维1×1卷积核，

表示通道堆叠操作，P为最终输出的感受野扩张后的特征图；

步骤2.5：将步骤2.4得到的特征图P输入集成感知网络的第二个子网络——上下文注意力网络，该上下文注意力网络以监督学习的方式计算出两个空间注意力掩模M₁与M₂，训练掩模M₁和M₂的真实值MASK1和MASK2都为前景为1、背景为0的二值化图像，二者的区别为MASK1直接将训练集标注框内的区域填充为1、其余区域填充为0，而MASK2将训练集标注框放大一倍后的区域填充为1、其余区域填充为0，上下文注意力网络的具体结构为：将特征图P输入4层256维3×3的卷积层，后接2个独立的2维3×3卷积层，再使用 softmax操作得到网络学习出的M₁与M₂，M₁与M₂中的值的取值范围在[0，1]区间，M₁与M₂加权相加得到最终学习到的上下文注意力掩模M，上下文注意力掩模M与特征图P中的元素对应位置相乘得到目标增强、目标周边局部信息增强、背景抑制后的特征图P′；

步骤2.6：将步骤2.5得到的特征图P′和上下文注意力掩模M输入集成感知网络的第三个子网络——Mask-RPN网络，该Mask-RPN网络提取的目标候选框由两部分组成：基础候选框和附加候选框，其中基础候选框来源于RPN网络，RPN网络首先将特征图P′输入512维3 ×3卷积层，然后在每个特征点上生成K个锚框，使用含有4K个卷积核的分支预测候选框位置，使用含有K个卷积核的分支预测候选框类别概率，附加候选框为对掩模M进行阈值分割后提取出的所有连通区域的最小外接矩形；

步骤2.7：将步骤2.5得到的特征图P′和步骤2.6得到的目标候选框输入集成感知网络的第四个子网络——融入局部结构信息的检测头，该检测头首先在特征图P′上根据目标候选框位置进行ROI Align，然后输入骨干网的第5层和全局平均池化层得到深度特征，同时，将目标候选框位置映射至原始图像得到候选图像块，计算每个候选图像块的局部结构信息，包括几何特征、纹理特征和对比度特征，计算几何特征时首先将原始图像进行OSTU阈值分割，然后计算连通域个数、最大连通区域的矩形度R、长宽比A、紧凑度C得到3维几何特征，公式如下：

R＝Area/Rectangle_Area (3)

C＝L×L/Area (5)

其中，Area为最大连通区域面积，Rectangle_Area为最大连通区域最小外接矩形的面积，w 和h分别为最大连通区域最小外接矩形的宽和长，L为最大连通区域的周长；

纹理特征为基于灰度共生矩阵的4个方向的6类特征，得到4×6＝24维纹理特征，4个方向θ分别为0，

6类特征分别为对比度、差异性、同质性、熵、相关性和角二阶矩；

对比度特征有1维，对比度特征的计算除了需要候选框图像块T，还需要候选图像块T周围的“O型”背景区域B，背景区域B的尺寸为候选框图像块T的2倍，将候选图像块T和背景区域B中的像素都按照降序排列得到像素集合I_T和I_B，该对比度特征的计算公式如下：

其中，k为超参数，w和h分别为背景区域B的宽和高，I_T(i)和I_B(i)分别表示像素集合I_T和I_B中的第i个像素，N和M分别表示候选图像块T和背景区域B中的像素总数量，M_T为候选图像块T中前K个最大像素的平均值，m_T为候选图像块T中所有像素的平均值，M_B为背景区域B 中前K个最大像素的平均值，m_B为背景区域B中所有像素的平均值，RIL_T和RIL_B为中间变量，ε为一个趋近于0的极小数，最终输出的W即为对比度特征；

上述计算得到每个图像块的3维几何特征、24维纹理特征、1维对比度特征共28维局部结构信息，以监督学习的方式使用该28维局部结构信息作为标签训练集成感知网络，使集成感知网络在仅有候选图像块的情况下使用卷积层自主快速预测局部结构信息，该预测过程以ROI Align得到的感兴趣区域特征图为输入，经过5层3×3卷积和1层全局平均池化后得到预测的局部结构信息；

将预测的局部结构信息归一化后与将深度特征按通道堆叠后得到多源集成信息，将多源集成信息输入并联的目标框位置回归分支、目标框概率预测分支，得到目标框的位置和类别概率，其中目标框位置的回归公式为：

其中，(x，y)为目标框的中心点坐标，w和h分别代表目标框的宽和长，x，x_a，x′分别为目标框、锚框、真实框的中心x轴坐标，y，y_a，y′分别代表目标框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表目标框、锚框、真实框的宽，h，h_a，h′分别代表目标框、锚框、真实框的宽；

步骤2.8：根据步骤2.5中上下文注意力网络和步骤2.7中融入局部结构信息的检测头的输出计算损失函数.具体为：

其中N表示候选框总个数，t_n和t′_n分别代表目标的真实类别和预测类别，t′_n只能取0或 1，t′_n取1表示前景，取0表示背景，p_n代表经由softmax函数计算得到的舰船类别的概率分布，u′_nj和u_nj分别为预测框和真实框的位置回归向量，

分别代表掩模M₁在(i，j)像素处的真实标签和预测值，

分别代表掩模M₂在(i，j)像素处的真实标签和预测值，F 表示局部结构信息集合，f′_nj和f_nj分别为局部结构信息的预测值和真实值，超参数λ_i(i∈[1，4])为权重系数，L_cls和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤2.9：判断当前训练次数是否达到预设值，若未达到，则使用反向传播算法，更新网络参数后返回步骤2.3，若达到，则网络训练完毕，跳至步骤3。

上述技术方案中，所述步骤3的具体步骤如下：

步骤3.1：选取测试集中的遥感图像输入步骤2得到的训练完毕的集成感知网络，得到检测框的位置与类别概率；

步骤3.2：对步骤3.1得到的检测框进行非极大值抑制操作去除冗余框后得到最终检测结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明是端到端的检测网络，将待检测图像输入即可直接得到检测框的位置和得分，中间无需任何额外的人工调参或计算步骤，适合海量图像下舰船自动检测的应用场景；

2.本发明将局部结构信息作为目标先验融入深度神经网络，使视觉特征建模方法与深度学习方法优势联合、缺点互补，实现对舰船目标的集成感知，局部结构信息的引入改善了具有黑盒属性的神经网络缺少目标先验知识的缺点，可以有效去除与舰船十分相似的虚警，同时，发挥深度神经网络的独特优势，检测速度快，并且在复杂场景下具有高检测准确性和鲁棒性，此外，本发明采用监督学习的方式使网络自行预测候选区域的局部结构信息，相比直接计算候选区域的局部结构信息有大幅速度提升；

3.本发明设计了双向特征融合网络，将高层特征图和低层特征图折中融合，该网络输出的融合特征图在保持了较高分辨率的同时具有丰富的语义信息，避免了在多次池化后得到的具有丰富语义的高层特征图中小型目标的信息损失，有效提升对小型舰船的检测准确率和召回率，融合过程中的通道注意力模块的加入也使网络可以自适应增强重要通道的权重，减少融合特征中的冗余信息，此外，感受野扩张模块可以进一步丰富融合特征图中的信息层次，可以大大减少海岛、建筑等近岸虚警；

4.本发明提出了上下文注意力网络，打破了传统深度神经网络只关注目标而不关注目标周边信息的局限性，使用监督学习得到的空间注意力掩模有效增强目标及目标周边的信息、抑制背景杂波，大大提升了复杂场景下的检测鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，本发明将通过例子并参照附图的方式说明，其中：

图1一种融入局部结构信息的集成感知红外成像舰船检测方法的流程图；

图2本发明网络的整体结构图；

图3本发明实施例一随机选取的训练集图像；

图4双向特征融合网络的网络结构图；

图5上下文注意力网络的网络结构图；

图6本发明实施例一训练集图像的掩模真实值；

图7本发明实施例一的随机选取的若干待检测的测试集图像；

图8本发明实施例一的随机选取的若干待检测图像的最终检测结果。

具体实施方式

下面结合图1至图8对本发明作详细说明，本发明不限于如下所述的实施例。

一种融入局部结构信息的集成感知红外成像舰船检测方法的流程图如图1所示，具体包括如下步骤：

步骤1：准备红外遥感舰船数据并进行预处理和数据集划分，得到训练集和测试集；

步骤1.1：收集LANDSAT8卫星的遥感数据，并将遥感数据的波段4、波段5、波段7 融合为近红外成像图像，在将收集到的红外遥感数据进行辐射定标、FLAASH大气校正的预处理工作，本实施例共收集1284张红外遥感图像，每张图像的分辨率为500×500；

步骤1.2：将步骤1.1得到的数据集按照7∶3的比例随机划分为训练集和测试集，得到含有899张图像的训练集和含有385张图像的测试集，将训练集中的舰船目标使用4参数元组(xc，yc，w，h)进行轴向框标注，其中xc为轴向框中心点x轴坐标、yc为轴向框中心点y轴坐标，w为轴向框的宽，h为轴向框的高；

步骤2：将训练集输入集成感知网络进行迭代训练，该集成感知网络的整体框架如图2 所示；

步骤2.1：对集成感知网络的第一个子网络双向特征融合网络中的骨干网部分使用在 ImageNet上预训练的骨干网进行参数初始化，本实施例使用的骨干网为ResNet101，选取均值为0、标准差为0.001的截断正态分布对集成感知网络中所有回归过程的参数进行初始化，选取均值为0、标准差为0.01的截断正态分布对集成感知网络中其余所有参数进行初始化：

步骤2.2：冻结骨干网ResNet101的最底层Block1参数，使其在训练中保持初始值，因为底层参数的普适性较强，冻结底层参数可以加快训练收敛；

步骤2.3：随机挑选步骤1.2得到的训练集中的图像进行在线数据增广，主要手段包括：水平翻转、垂直翻转、随机角度旋转、添加随机参数高斯噪声、随机参数gamma校正，数据增广可以使小样本数据集中的图像数量增加，进一步减少过拟合风险；

步骤2.4：将步骤2.3得到的如图3所示的增广后图像输入集成感知网络，该网络的第一个子网络为双向特征融合网络，用于提取骨干特征，由骨干网、双向特征融合模块和感受野扩张模块组成，具体构架为：双向特征融合网络首先使用骨干网的前4层提取模块提取图像的多尺度特征，得到分辨率分别为原图的1/2²，1/4²，1/8²，1/16²的4个特征图C_i(i∈[1，4]) ，高层特征图语义信息丰富而分辨率低，低层特征图分辨率高二语义信息微弱，因此需要进行特征融合工作使特征图在保持较高分辨率的同时有较强的语义信息，本方法用双向特征融合模块将C₂，C₃，C₄融合，得到与C₃尺寸相同的融合特征图F，具体融合公式如下：

F＝Conv_1×1[UpSample(C₄)]+CA(C₃)+CA{Conv_1×1[DownSample(C₂)]} (1)

其中，CA为通道注意力模块，本实施例使用的CA为CBAM模块中的通道注意力模块，UpSample为2倍双线性差值上采样，DownSample为2倍双线性差值降采样，Conv_1×1为 512维1×1卷积核；

随后融合特征图F进一步输入一个基于空洞卷积的感受野扩张模块，该模块可以扩大特征图的感受野，增强对小目标的识别能力和辨别虚警的能力，该模块的表达式如下：

其中，Atous_Conv1为3×3×512×256的空洞率为2的空洞卷积核，Atous_Conv2为3 ×3×128×128的空洞率为4的空洞卷积核，Atous_Conv3为3×3×128×128的空洞率为8的空洞卷积核，Conv_1×1为128维1×1卷积核，

表示通道堆叠操作，P为最终输出的感受野扩张后的特征图；

步骤2.5：将步骤2.4得到的特征图P输入集成感知网络的第二个子网络——上下文注意力网络，该上下文注意力网络的结构如图5所示，以监督学习的方式计算出两个空间注意力掩模M₁与M₂，训练掩模M₁和M₂的真实值MASK1和MASK2都为前景为1、背景为0的二值化图像，二者的区别为MASK1直接将训练集标注框内的区域填充为1、其余区域填充为0，而MASK2将训练集标注框放大一倍后的区域填充为1、其余区域填充为0，以图3为例得到的掩膜真实值MASK1和MASK2如图6所示，上下文注意力网络的具体结构为：将特征图P输入4层256维3×3的卷积层，后接2个独立的2维3×3卷积层，再使用softmax操作得到网络学习出的M₁与M₂，M₁与M₂中的值的取值范围在[0，1]区间，M₁与M₂加权相加得到最终学习到的上下文注意力掩模M，本例的加权方案为权重各为0.5，上下文注意力掩模M与特征图P中的元素对应位置相乘得到目标增强、目标周边局部信息增强、背景抑制后的特征图P′；

步骤2.6：将步骤2.5得到的特征图P′和上下文注意力掩模M输入集成感知网络的第三个子网络——Mask-RPN网络，该Mask-RPN网络提取的目标候选框由两部分组成：基础候选框和附加候选框，其中基础候选框来源于RPN网络，RPN网络首先将特征图P′输入512维3 ×3卷积层，然后在每个特征点上生成K个锚框，使用含有4K个卷积核的分支预测候选框位置，使用含有K个卷积核的分支预测候选框类别概率，本例中RPN的锚框的尺寸设置为{32，64，128，256}，长宽比设置为

因此本例中的K为4×7＝28，附加候选框为对掩模M进行阈值分割后提取出的所有连通区域的最小外接矩形；

步骤2.7：将步骤2.5得到的特征图P′和步骤2.6得到的目标候选框输入集成感知网络的第四个子网络——融入局部结构信息的检测头，该检测头首先在特征图P′上根据目标候选框位置进行ROI Align，然后输入ResNet101的第5层和全局平均池化层得到深度特征，同时，将目标候选框位置映射至原始图像得到候选图像块，计算每个候选图像块的局部结构信息，包括几何特征、纹理特征和对比度特征，计算几何特征时首先将原始图像进行OSTU阈值分割，然后计算连通域个数、最大连通区域的矩形度R、长宽比A、紧凑度C得到3维几何特征，公式如下：

R＝Area/Rectangle_Area (3)

C＝L×L/Area (5)

其中，Area为最大连通区域面积，Rectangle_Area为最大连通区域最小外接矩形的面积，w和h分别为最大连通区域最小外接矩形的宽和长，L为最大连通区域的周长；

纹理特征为基于灰度共生矩阵的4个方向的6类特征，，得到4×6＝24维纹理特征，4个方向θ分别为0，

6类特征分别为对比度、差异性、同质性、熵、相关性和角二阶矩；

对比度特征有1维，对比度特征的计算除了需要候选框图像块T，还需要候选图像块T 周围的“O型”背景区域B，背景区域B的尺寸为候选框图像块T的2倍，将候选图像块T和背景区域B中的像素都按照降序排列得到像素集合I_T和I_B，该对比度特征的计算公式如下：

其中，k为超参数，本实施例选取的k＝10，w和h分别为背景区域B的宽和高，I_T(i)和I_B(i) 分别表示像素集合I_T和I_B中的第i个像素，N和M分别表示候选图像块T和背景区域B中的像素总数量，M_T为候选图像块T中前K个最大像素的平均值，m_T为候选图像块T中所有像素的平均值，M_B为背景区域B中前K个最大像素的平均值，m_B为背景区域B中所有像素的平均值，RIL_T和RIL_B为中间变量，ε为一个趋近于0的极小数，最终输出的W即为对比度特征；

上述计算得到每个图像块的3维几何特征、24维纹理特征、1维对比度特征共28维局部结构信息，以监督学习的方式使用该28维局部结构信息作为标签训练集成感知网络，使集成感知网络在仅有候选图像块的情况下使用卷积层自主快速预测局部结构信息，该预测过程以ROI Align得到的感兴趣区域特征图为输入，经过5层3×3卷积和1层全局平均池化后得到预测的局部结构信息；

将预测的局部结构信息归一化后与将深度特征按通道堆叠后得到多源集成信息，将多源集成信息输入并联的目标框位置回归分支、目标框概率预测分支，得到目标框的位置和类别概率，其中目标框位置的回归公式为：

宽和长，x，x_a，x′分别为目标框、锚框、真实框的中心x轴坐标，y，y_a，y′分别代表目标框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表目标框、锚框、真实框的宽，h，h_a，h′分别代表目标框、锚框、真实框的宽；

步骤2.8：根据步骤2.5中上下文注意力网络和步骤2.7中融入局部结构信息的检测头的输出计算损失函数，具体为：

其中N表示候选框总个数，t_n和t′_n分别代表目标的真实类别和预测类别，t′_n只能取0或 1，t′_n取1表示前景，取0表示背景，p_n代表经由softmax函数计算得到的舰船类别的概率分布，u′_nj和u_nj分别为预测框和真实框的位置回归向量，

分别代表掩模M₁在(i，j)像素处的真实标签和预测值，

分别代表掩模M₂在(i，j)像素处的真实标签和预测值，F 表示局部结构信息集合，f′_nj和f_nj分别为局部结构信息的预测值和真实值，超参数λ_i(i∈[1，4])为权重系数，L_cls和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤2.9：判断当前训练次数是否达到预设值，本例将训练次数预设为60000，若未达到，则使用反向传播算法更新网络参数后返回步骤2.3，本实施例使用的反向传播算法为动量法，动量参数为0.0005，初始学习率为0.001，在训练次数为20000和40000时学习率衰减十倍；若达到预设训练次数，则网络训练完毕，跳至步骤3；

步骤3：将测试集的图像输入训练完毕的集成感知网络得到预测框位置及其概率，经过非极大值抑制操作去除冗余框后得到最终检测结果；

步骤3.1：选取测试集中的遥感图像输入步骤2得到的训练完毕的集成感知网络，得到检测框的位置与类别概率，本实施例中随机选取的若干测试样本如图7所示；

步骤3.2：对步骤3.1得到的检测框进行非极大值抑制操作去除冗余框后得到最终检测结果，本实施例使用的非极大值抑制操作的阈值为0.2，图7中的样本的最终检测结果如图 8所示；

本发明在获取遥感图像数据集后，将训练集使用翻转、添加噪声、gamma校正手段进行在线数据增广后输入集成感知网络，计算每一次训练迭代过程中的损失函数并进行网络参数的反向传播至训练过程的结束；最后，将测试集输入训练完毕的集成感知网络得到预测框位置及类别概率，经过非极大值抑制操作去除冗余框后得到最终检测结果，本发明针对红外成像舰船检测任务中图像低质、背景复杂、目标尺寸小、虚警干扰严重等问题，提出了一种融入局部结构信息的集成感知红外成像舰船检测方法，融合深度特征和一系列精准设计的局部结构信息进行舰船目标的集成感知，同时也提出了若干高效的网络部件，在实现了极高的检测速度的同时，大大提升了复杂海洋环境下红外舰船检测的准确性和鲁棒性，有效减少了虚警，降低了小目标漏检率。

以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为淮。

Claims (4)

1.一种融入局部结构信息的集成感知红外成像舰船检测方法，其特征在于，包括如下步骤：

步骤1：准备红外遥感舰船数据并进行预处理和数据集划分，得到训练集和测试集；

步骤2：将训练集输入集成感知网络进行迭代训练，该集成感知网络的工作流程为：将原始图像输入双向特征融合网络提取骨干特征，将骨干特征输入上下文注意力网络得到空间注意力掩膜以进行骨干特征的增强，将注意力掩膜和增强后的骨干特征输入Mask-RPN提取候选框，将候选框输入融入局部结构信息的检测头进行目标框位置回归和目标框概率预测；

步骤3：将测试集的图像输入训练完毕的集成感知网络得到预测框位置及其概率，经过非极大值抑制操作去除冗余框后得到最终检测结果。

2.根据权利要求1所述的一种融入局部结构信息的集成感知红外成像舰船检测方法，其特征在于，所述步骤1的具体步骤如下：

步骤1.1：将准备的红外遥感数据进行辐射定标、大气校正的预处理工作，得到预处理的红外遥感数据的数据集；

步骤1.2：将步骤1.1得到的数据集按照7∶3的比例随机划分为训练集和测试集，将训练集中的舰船目标使用4参数元组(xc，yc，w，h)进行轴向框标注，其中xc为轴向框中心点x轴坐标、yc为轴向框中心点y轴坐标，w为轴向框的宽，h为轴向框的高。

3.根据权利要求1所述的一种融入局部结构信息的集成感知红外成像舰船检测方法，其特征在于，所述步骤2具体如下：

步骤2.1：对集成感知网络的第一个子网络双向特征融合网络中的骨干网部分使用在ImageNet上预训练的骨干网进行参数初始化，集成感知网络其余参数使用截断正态分布进行随机初始化；

步骤2.2：冻结骨干网的最底层参数，使其在训练中保持初始值；

步骤2.3：随机挑选步骤1.2得到的训练集中的图像进行在线数据增广，手段包括：水平翻转、垂直翻转、随机角度旋转、添加随机参数高斯噪声、随机参数gamma校正；

步骤2.4：将步骤2.3得到的增广后图像输入集成感知网络，该网络的第一个子网络为双向特征融合网络，用于提取骨干特征，由骨干网、双向特征融合模块和感受野扩张模块组成，具体构架为：双向特征融合网络首先使用骨干网的前4层提取图像的多尺度特征，得到分辨率分别为原图的1/2²，1/4²，1/8²，1/16²的4个特征图C_i(i∈[1，4])，然后用双向特征融合模块将C₂，C₃，C₄融合，得到与C₃尺寸相同的融合特征图F，具体融合公式如下：

F＝Conv_1×1[UpSample(C₄)]+CA(C₃)+CA{Conv_1×1[DownSample(C₂)]} (1)

其中，CA为通道注意力模块，UpSample为2倍双线性差值上采样，DownSample为2倍双线性差值降采样，Conv_1×1为512维1×1卷积核；

随后融合特征图F进一步输入基于空洞卷积的感受野扩张模块，该模块的表达式如下：

其中，Atous_Conv1为3×3×512×256的空洞率为2的空洞卷积核，Atous_Conv2为3×3×128×128的空洞率为4的空洞卷积核，Atous_Conv3为3×3×128×128的空洞率为8的空洞卷积核，Conv_1×1为128维1×1卷积核，

表示通道堆叠操作，P为最终输出的感受野扩张后的特征图；

步骤2.5：将步骤2.4得到的特征图P输入集成感知网络的第二个子网络——上下文注意力网络，该上下文注意力网络以监督学习的方式计算出两个空间注意力掩模M₁与M₂，训练掩模M₁和M₂的真实值MASK1和MASK2都为前景为1、背景为0的二值化图像，二者的区别为MASK1直接将训练集标注框内的区域填充为1、其余区域填充为0，而MASK2将训练集标注框放大一倍后的区域填充为1、其余区域填充为0，上下文注意力网络的具体结构为：将特征图P输入4层256维3×3的卷积层，后接2个独立的2维3×3卷积层，再使用softmax操作得到网络学习出的M₁与M₂，M₁与M₂中的值的取值范围在[0，1]区间，M₁与M₂加权相加得到最终学习到的上下文注意力掩模M，上下文注意力掩模M与特征图P中的元素对应位置相乘得到目标增强、目标周边局部信息增强、背景抑制后的特征图P′；

步骤2.6：将步骤2.5得到的特征图P′和上下文注意力掩模M输入集成感知网络的第三个子网络——Mask-RPN网络，该Mask-RPN网络提取的目标候选框由两部分组成：基础候选框和附加候选框，其中基础候选框来源于RPN网络，RPN网络首先将特征图P′输入512维3×3卷积层，然后在每个特征点上生成K个锚框，使用含有4K个卷积核的分支预测候选框位置，使用含有K个卷积核的分支预测候选框类别概率，附加候选框为对掩模M进行阈值分割后提取出的所有连通区域的最小外接矩形；

步骤2.7：将步骤2.5得到的特征图P′和步骤2.6得到的目标候选框输入集成感知网络的第四个子网络——融入局部结构信息的检测头，该检测头首先在特征图P′上根据目标候选框位置进行ROI Align，然后输入骨干网的第5层和全局平均池化层得到深度特征，同时，将目标候选框位置映射至原始图像得到候选图像块，计算每个候选图像块的局部结构信息，包括几何特征、纹理特征和对比度特征，计算几何特征时首先将原始图像进行OSTU阈值分割，然后计算连通域个数、最大连通区域的矩形度R、长宽比A、紧凑度C得到3维几何特征，公式如下：

R＝Area/Rectangle_Area (3)

C＝L×L/Area (5)

其中，Area为最大连通区域面积，Rectangle_Area为最大连通区域最小外接矩形的面积，w和h分别为最大连通区域最小外接矩形的宽和长，L为最大连通区域的周长；

纹理特征为基于灰度共生矩阵的4个方向的6类特征，得到4×6＝24维纹理特征，4个方向θ分别为0，

6类特征分别为对比度、差异性、同质性、熵、相关性和角二阶矩；

对比度特征有1维，对比度特征的计算除了需要候选框图像块T，还需要候选图像块T周围的“O型”背景区域B，背景区域B的尺寸为候选框图像块T的2倍，将候选图像块T和背景区域B中的像素都按照降序排列得到像素集合I_T和I_B，该对比度特征的计算公式如下：

其中，k为超参数，w和h分别为背景区域B的宽和高，I_T(i)和I_B(i)分别表示像素集合I_T和I_B中的第i个像素，N和M分别表示候选图像块T和背景区域B中的像素总数量，M_T为候选图像块T中前K个最大像素的平均值，m_T为候选图像块T中所有像素的平均值，M_B为背景区域B中前K个最大像素的平均值，m_B为背景区域B中所有像素的平均值，RIL_T和RIL_B为中间变量，ε为一个趋近于0的极小数，最终输出的W即为对比度特征；

上述计算得到每个图像块的3维几何特征、24维纹理特征、1维对比度特征共28维局部结构信息，以监督学习的方式使用该28维局部结构信息作为标签训练集成感知网络，使集成感知网络在仅有候选图像块的情况下使用卷积层自主快速预测局部结构信息，该预测过程以ROI Align得到的感兴趣区域特征图为输入，经过5层3×3卷积和1层全局平均池化后得到预测的局部结构信息；

将预测的局部结构信息归一化后与将深度特征按通道堆叠后得到多源集成信息，将多源集成信息输入并联的目标框位置回归分支、目标框概率预测分支，得到目标框的位置和类别概率，其中目标框位置的回归公式为：

其中，(x，y)为目标框的中心点坐标，w和h分别代表目标框的宽和长，x，x_a，x′分别为目标框、锚框、真实框的中心x轴坐标，y，y_a，y′分别代表目标框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表目标框、锚框、真实框的宽，h，h_a，h′分别代表目标框、锚框、真实框的宽；

步骤2.8：根据步骤2.5中上下文注意力网络和步骤2.7中融入局部结构信息的检测头的输出计算损失函数，具体为：

其中N表示候选框总个数，t_n和t′_n分别代表目标的真实类别和预测类别，t′_n只能取0或1，t′_n取1表示前景，取0表示背景，p_n代表经由softmax函数计算得到的舰船类别的概率分布，u′_nj和u_nj分别为预测框和真实框的位置回归向量，

分别代表掩模M₁在(i，j)像素处的真实标签和预测值，

分别代表掩模M₂在(i，j)像素处的真实标签和预测值，F表示局部结构信息集合，f′_nj和f_nj分别为局部结构信息的预测值和真实值，超参数λ_i(i∈[1，4])为权重系数，L_cls和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤2.9：判断当前训练次数是否达到预设值，若未达到，则使用反向传播算法，更新网络参数后返回步骤2.3，若达到，则网络训练完毕，跳至步骤3。

4.根据权利要求1所述的一种融入局部结构信息的集成感知红外成像舰船检测方法，其特征在于，所述步骤3的具体步骤如下：

步骤3.1：选取测试集中的遥感图像输入步骤2得到的训练完毕的集成感知网络，得到检测框的位置与类别概率；

步骤3.2：对步骤3.1得到的检测框进行非极大值抑制操作去除冗余框后得到最终检测结果。

Images