CN115797782A - 一种基于加权扩展特征金字塔的遥感图像小目标检测方法 - Google Patents

Abstract

本发明提出一种基于加权扩展特征金字塔的遥感图像小目标检测方法，属于遥感图像小目标检测技术领域；所要解决的技术问题为：提供一种基于加权扩展特征金字塔的遥感图像小目标检测方法的改进；解决该技术问题采用的技术方案为：将遥感图像作为特征图像块进行卷积操作，并分别将特征图输入特征抑制模块、加权双向特征金字塔模块、残差特征增强模块进行处理；针对图像中的小目标特征进行增强操作，对低层特征图进行层层卷积操作生成相邻特征图，将低层特征图与相邻特征图相减，使低层特征图只留有小目标；然后采用加权双向特征金字塔模块对特征图进行处理，通过多模块进行特征融合操作；本发明应用于遥感图像小目标检测。

Description

一种基于加权扩展特征金字塔的遥感图像小目标检测方法

技术领域

本发明提出一种基于加权扩展特征金字塔的遥感图像小目标检测方法，属于遥感图像小目标检测技术领域。

背景技术

近些年随着计算机视觉技术的蓬勃发展，图像目标检测成为该领域重点研究方向，针对图像目标进行深度学习的算法不断优化，基于卷积神经网络的目标检测算法也不断发展改进，特别是面向大型中型目标的检测算法，基本上可以满足各种场景下的需求。

而针对小型目标的图像检测在现实生活中也大量存在，且检测情形正在不断增多，例如在遥感图像处理、无人机导航、自动驾驶、医学诊断、人脸识别等应用领域均有小型目标检测需求；然而小型目标由于其本身尺度较小，在图像中所含信息量较少，容易造成目标模糊、细节特征不明显，出现无法识别和识别错误率高等问题，这些因素都制约着小目标检测功能应用的进一步发展；针对图像目标检测的主要目的是在图像中快速精准识别定位出预定义类别的目标，而随着深度学习技术的不断发展，传统检测算法在大、中目标已达到了不错的识别效果，但现有检测算法针对小目标的识别存在较多缺陷，体现在提取特征效率低、识别精准度低、识别速度慢。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于加权扩展特征金字塔的遥感图像小目标检测方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于加权扩展特征金字塔的遥感图像小目标检测方法，包括如下检测步骤：

步骤一：将遥感图像作为特征图像块进行卷积操作，并分别将特征图输入特征抑制模块、加权双向特征金字塔模块、残差特征增强模块进行处理；

步骤二：针对图像中的小目标特征进行增强操作，采用特征抑制模块对特征图进行处理：

对低层特征图进行层层卷积操作生成相邻特征图，将低层特征图与相邻特征图相减，使低层特征图只留有小目标，进行特征抑制的计算公式为：

；

式中：C2、C1为主干网络生成的C2和C1特征图，w^2x表示双线性插值的2倍上采样，Avg为平均池化，

为sigmoid函数，×为逐元素乘法，

表示卷积核为1*1卷积层；

经特征抑制模块处理的图像数据输入加权双向特征金字塔模块；

步骤三：针对图像中的小目标特征进行增强操作，采用残差特征增强模块对特征图进行处理：

将空间上下文信息注入到1×1的卷积层中，对C5特征图产生不同比例的上下文特征，生成三个具有上下文的特征后，使用自适应空间融合；

通过自适应空间融合后的Q与三个上下文特征值进行残差连接，得到空间特征权重K，并将得到的空间特征权重K与M5相加，得到没有信息损失的M5；

步骤四：采用加权双向特征金字塔模块对特征图进行处理，通过多模块进行特征融合操作，操作时依次进行自顶向下的特征融合和自底向上的特征融合，采用BiFPN结构进行加权特征融合，采用权值除以所有权值加和来进行归一化，同时将权值归一化到[0,1]之间，实现快速归一化融合；

步骤五：采用特征纹理转移模块对特征图进行处理，分辨特征获取更可信的区域细节：

通过设置FTT模块对特征进行超分辨率的同时从参考特征中提取区域纹理，控制FTT模块将E3作为主要输入层，E2作为参考特征层，定义输出E1层的公式为：

；

式中：

表示纹理特征提取组件，

表示为内容特征抽取组件，向上采样两倍采用的是亚像素卷积，||表示特征串联，两个组件都是由残块组成；

步骤六：将经过特征纹理转移模块处理后的特征图，经过检测器输出目标检测图像，将小目标进行标记显示。

所述步骤三中采用残差特征增强模块对特征图进行处理的具体过程为：

步骤3.1：对C5特征图产生不同比例的上下文特征

，计算公式为：

；

式中：C5表示由主干网络生成的C5特征图，Adaptivepool表示自适应池化，

表示自适应池化比例，

表示最邻近插值上采样；

步骤3.2：对C5特征图进行自适应池化，池化后的特征图经过一个卷积层，将通道进行降维，最后对其上采样得到C5特征图一样的宽高，依次生成上下文特征F1-F3；

步骤3.3：生成三个具有上下文特征的

后，采用自适应空间融合：

自适应空间融合后的Q与三个上下文特征值进行残差连接，得到空间特征权重K，融合空间特征Q与空间特征权重K的计算公式分别为：

；

；

式中：

为sigmoid函数，

分别表示卷积核为3*3、1*1卷积层，concat表示拼接，×为逐元素乘法。

所述空间特征权重K具体的生成步骤为：

通过concat将得到的上下文特征进行通道的拼接，输出的通道数变为原通道数的三倍，特征图的尺寸不变；

经过卷积核为1×1与3×3的卷积层，将维度降至为3，最后经过sigmoid函数，得到融合后的特征Q；

将特征Q与上下文特征进行残差连接得到C5的空间特征权重，将特征Q扩展维度至特征Q`，随后特征Q`与上下文特征

相乘后累加得到空间特征权重K，将得到的空间特征权重K与M5相加，得到没有信息损失的M5。

本发明相对于现有技术具备的有益效果为：本发明具体提出一种基于加权扩展特征金字塔的小目标检测网络结构，并基于该网络结构对图像中小目标进行检测，该网络结构通过加权双向特征金字塔模块，实现高效的双向跨尺度连接和加权特征融合，使用特征抑制模块在浅层特征层中抑制大目标的显著性，让模型更关注小目标，在高层特征层使用残差特征增强模块减少信息损失，最后使用特征纹理转移模块用于分辨特征，同时获得更可信的区域细节；采用本发明改进后的小目标检测算法能够有效提升对图像中小目标检测的准确度，且识别响应快速。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明小目标检测方法的步骤流程图；

图2为特征抑制模块的网络结构图；

图3为加权双向特征金字塔模块的网络结构图；

图4为残差特征增强模块的步骤流程图；

图5为空间特征权重K生成的步骤流程图。

具体实施方式

如图1所示，本发明具体提供的一种基于深度学习的小目标检测算法，是在双阶和单阶算法基础上加以完善的算法，单阶段算法可以进行端到端检测，无候选区分类，运行速度更快，但是精度略低，而双阶段算法可以将检测问题分为两步走，首先生成候选区域，随后对候选区域分类，由于双阶段算法需要先筛选出一些可能存在的候选区域，然后针对每个候选区域进行目标特征提取，并且精度较高，因此本发明使用的检测网络采用双阶段算法。

本发明针对遥感图像中的小型目标进行提取检测，目前由于遥感图像背景复杂且目标尺度分布范围较广，小目标自身可用于区分的特征相对较少，因此相似的背景会对小目标检测产生严重干扰，同时不同图像间由于分辨率不同，可能导致目标类内甚至类间巨大的尺度差异，大大增加了目标检测的难度，单一尺度很难覆盖所有的目标，因此本发明采用多尺度目标检测算法应用于遥感图像检测。

本发明为实现小型目标的识别检测，通过建立以下网络模块对图像数据进行分析处理，主要包括：

模块1：特征抑制模块：

如图2所示，低层特征图具有较大分辨率，保留了图像更多细节信息，对低层特征图进行层层卷积操作生成相邻特征图，过程中小目标信息逐渐丢失，保留了大目标特征，为此低层特征图与相邻特征图相减，使低层特征图只留有小目标；特征抑制模块的计算公式由如下公式所示：

；

其中C2、C1为主干网络生成的C2和C1特征图，w^2x表示双线性插值的2倍上采样，Avg为平均池化，

为sigmoid函数，×为逐元素乘法。

表示卷积核为1*1卷积层。

模块2：残差特征增强模块：

如图4所示，本发明采用残差特征增强模块将空间上下文信息注入到1×1的卷积层中，来补偿通道减少造成的语义信息损失，残差特征增强模块首先对C5特征图产生不同比例的上下文特征，生成3个具有上下文特征后，进行融合，为避免直接相加导致的混叠，本发明使用自适应空间融合，自适应空间融合后的Q与三个上下文特征值进行残差连接得到空间特征权重K，将得到的空间特征权重K与M5相加，得到没有信息损失的M5。

具体过程如下：

首先对C5特征图产生不同比例的上下文特征

，计算公式如下所示：

；

其中C5表示由主干网络生成的C5特征图，Adaptivepool表示自适应池化，

表示自适应池化比例，

表示最邻近插值上采样。

上下文特征以

为例生成过程如图4所示，首先对C5特征图进行自适应池化，池化后的特征图经过一个卷积层，将通道进行降维，最后对其上采样得到C5特征图一样的宽高。

生成三个具有上下文特征后，进行融合，为避免直接相加导致的混叠，本发明使用自适应空间融合，自适应空间融合后的Q与三个上下文特征值进行残差连接得到空间特征权重K，融合空间特征Q与空间特征权重K计算公式分别如下所示：

；

；

其中

为sigmoid函数，

分别表示卷积核为3*3、1*1卷积层，concat表示拼接，×为逐元素乘法。

空间特征权重K生成过程如图5所示：首先通过concat将得到的上下文特征进行通道的拼接，输出的通道数变为原通道数的三倍，特征图的尺寸不变，然后经过卷积核为1×1与3×3的卷积层，将维度降至为3，最后经过sigmoid函数，得到融合后的特征Q，特征Q与上下文特征进行残差连接得到C5的空间特征权重；残差连接时，首先将Q扩展维度至Q`，随后Q`与上下文特征

相乘后累加得到空间特征权重K，将得到的空间特征权重K与M5相加，得到没有信息损失的M5。

模块3：加权双向特征金字塔模块：

BiFPN(BidirectionalFeaturePyramidNetwork)加权双向(自顶向下+自底向上)特征金字塔网络结构是由谷歌大脑团队提出来的一种全新的特征融合方式，BiFPN的思想是高效的双向跨尺度连接和加权特征融合，也就是基于路径增强的思想，首先进行自顶向下的特征融合，然后再进行自底向上的特征融合；如图3的a部分为FPN结构，该结构建立了一条自上而下的通路，进行特征融合，接着用融合后的具有更高语义信息的特征层进行预测，但是由于这种结构会受到单向信息流的限制，为了解决这个问题，ShuLiu等人提出了如图3的b部分PAN结构，该结构是在FPN的基础上再建立一条自下而上的通路，将底层的位置信息传到预测特征层中，使预测特征层既有顶层的语义信息又有底层的位置信息，这样可以大大提高目标检测。

BiFPN结构是在PAN结构的基础上进行改进得到的，结构如图3的d部分所示，双向跨尺度连接：首先是删除了只有一个输入的节点，该节点无特征融合且贡献度很小，将该节点删除之后没有很大影响而且会简化网络；然后是在原始输入节点和输出节点之间增加了一条边，是为了在不消耗更多成本的情况下可以融合更多的特征；最后，将自顶向下和自底向上的路径融合到一个模块中，以便可以重复堆叠，以实现更高层次的特征融合；加权特征融合：BiFPN使用的是快速归一化融合，直接用权值除以所有权值加和来进行归一化，同时将权值归一化到[0,1]之间，提高了计算速度。

模块4：特征纹理转移模块：

在基于图像参考的的启发下，本发明设计了FTT模块来超分辨率特征并同时从参考特征中提取区域纹理。如果没有FTT，特征金字塔E3中的噪声将直接向下传递到扩展的金字塔层，并淹没有意义的语义，然而所提出的FTT输出综合了较高层低分辨率特征中的强语义和较低层高分辨率参考特征中的关键局部细节，并且丢弃了参考中的干扰噪声。

FTT模块在对特征进行超分辨率的同时从参考特征中提取区域纹理，FTT模块还可以减少E2直接转换到扩展层E1的噪声，FTT模块利用E3作为主要输入，E2为参考特征层，输出E1可以定义为如下公式：

；

表示纹理特征提取组件，

表示为内容特征抽取组件，向上采样两倍采用的是亚像素卷积，||表示的是特征串联，两个组件都是由残块组成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于加权扩展特征金字塔的遥感图像小目标检测方法，其特征在于：包括如下检测步骤：

步骤一：将遥感图像作为特征图像块进行卷积操作，并分别将特征图输入特征抑制模块、加权双向特征金字塔模块、残差特征增强模块进行处理；

步骤二：针对图像中的小目标特征进行增强操作，采用特征抑制模块对特征图进行处理：

对低层特征图进行层层卷积操作生成相邻特征图，将低层特征图与相邻特征图相减，使低层特征图只留有小目标，进行特征抑制的计算公式为：

；

式中：C2、C1为主干网络生成的C2和C1特征图，w^2x表示双线性插值的2倍上采样，Avg为平均池化，

为sigmoid函数，×为逐元素乘法，

表示卷积核为1*1卷积层；

经特征抑制模块处理的图像数据输入加权双向特征金字塔模块；

步骤三：针对图像中的小目标特征进行增强操作，采用残差特征增强模块对特征图进行处理：

将空间上下文信息注入到1×1的卷积层中，对C5特征图产生不同比例的上下文特征，生成三个具有上下文的特征后，使用自适应空间融合；

通过自适应空间融合后的Q与三个上下文特征值进行残差连接，得到空间特征权重K，并将得到的空间特征权重K与M5相加，得到没有信息损失的M5；

步骤四：采用加权双向特征金字塔模块对特征图进行处理，通过多模块进行特征融合操作，操作时依次进行自顶向下的特征融合和自底向上的特征融合，采用BiFPN结构进行加权特征融合，采用权值除以所有权值加和来进行归一化，同时将权值归一化到[0,1]之间，实现快速归一化融合；

步骤五：采用特征纹理转移模块对特征图进行处理，分辨特征获取更可信的区域细节：

通过设置FTT模块对特征进行超分辨率的同时从参考特征中提取区域纹理，控制FTT模块将E3作为主要输入层，E2作为参考特征层，定义输出E1层的公式为：

；

式中：

表示纹理特征提取组件，

表示为内容特征抽取组件，向上采样两倍采用的是亚像素卷积，||表示特征串联，两个组件都是由残块组成；

步骤六：将经过特征纹理转移模块处理后的特征图，经过检测器输出目标检测图像，将小目标进行标记显示。

2.根据权利要求1所述的一种基于加权扩展特征金字塔的遥感图像小目标检测方法，其特征在于：所述步骤三中采用残差特征增强模块对特征图进行处理的具体过程为：

步骤3.1：对C5特征图产生不同比例的上下文特征

，

，计算公式为：

；

式中：C5表示由主干网络生成的C5特征图，Adaptivepool表示自适应池化，

表示自适应池化比例，

表示最邻近插值上采样；

步骤3.2：对C5特征图进行自适应池化，池化后的特征图经过一个卷积层，将通道进行降维，最后对其上采样得到C5特征图一样的宽高，依次生成上下文特征F1-F3；

步骤3.3：生成三个具有上下文特征的

后，采用自适应空间融合：

自适应空间融合后的Q与三个上下文特征值进行残差连接，得到空间特征权重K，融合空间特征Q与空间特征权重K的计算公式分别为：

；

；

式中：

为sigmoid函数，

分别表示卷积核为3*3、1*1卷积层，concat表示拼接，×为逐元素乘法。

3.根据权利要求2所述的一种基于加权扩展特征金字塔的遥感图像小目标检测方法，其特征在于：所述空间特征权重K具体的生成步骤为：

通过concat将得到的上下文特征进行通道的拼接，输出的通道数变为原通道数的三倍，特征图的尺寸不变；

经过卷积核为1×1与3×3的卷积层，将维度降至为3，最后经过sigmoid函数，得到融合后的特征Q；

将特征Q与上下文特征进行残差连接得到C5的空间特征权重，将特征Q扩展维度至特征Q`，随后特征Q`与上下文特征

相乘后累加得到空间特征权重K，将得到的空间特征权重K与M5相加，得到没有信息损失的M5。

Images