CN114821341A - 基于fpn与pan网络的双重注意力的遥感小目标检测方法 - Google Patents

Abstract

本发明涉及一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，属于计算机视觉领域。本发明首先对FPN网络中的顶层特征图进行池化得到通道向量，再将通道向量进行矩阵运算后得到通道注意力矩阵，接着将其归一化得到通道权重矩阵，并将该权重乘到特征图中得到带有通道权重的特征图，再与低层特征融合。在PAN网络中首先对底层特征图进行通道压缩得到空间向量，再将空间向量进行矩阵运算后得到空间注意力矩阵，接着将其归一化得到空间权重矩阵，并将该权重乘到特征图中得到带有空间权重的特征图，再与高层特征融合。最后送往检测头生成检测结果。本发明可在遥感图像检测中增强目标的检测精度，克服遥感图像中复杂背景信息带来的干扰。

Description

基于FPN与PAN网络的双重注意力的遥感小目标检测方法

技术领域

本发明涉及一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，属于计算机视觉、图像应用领域。

背景技术

遥感小目标检测在车辆管控、船只调度等各个领域都有着广阔的前景。从卫星或无人机捕获的图像中检测和定位小目标的方法有很多。然而，对于噪声和低分辨率的遥感图像检测性能并不理想。现有的基于深度学习的检测方法大致可概括为两类：一类是以Faster R-CNN为代表的双阶段目标检测方法，该方法先把backbone中输出的特征图输入到RPN网络(Region Proposal Network)中，将输入样本映射成一个概率值和四个坐标值。通过训练以获得精确的候选区域，然后将候选区域与特征图送入第二阶段进行分类和回归；另一类是以YOLO系列为代表的单阶段目标检测方法，它将图像划分为等分网格后直接输入backbone，经过多个卷积层与全连接层后生成N个box并得到五个回归值(四个位置与含有物体的概率)，最后再通过使用NMS算法(Non-Maximum Suppression)过滤得到最终的预测框。无论是单阶段的目标检测方法还是双阶段的检测方法，他们都存在着遥感小目标检测困难的情况。为此，研究者们在该领域进行了深入探索，并先后形成了大量优秀的小目标检测方法。其中主流方法大致分为提高分辨率后检测与多尺度特征图检测两类。

提高分辨率后检测方法的主要思想是通过生成对抗网络的方式将小目标的细节纹理信息进行重建来丰富小尺度目标的特征，进而转化为和大、中尺度目标一样或近似的特征表达来提高小目标的检测精度。比如：在EESRGAN中，Rabbi等人提出了一种由超分辨率网络和检测网络两个模块组成的网络结构，整个网络以端到端的方式进行训练。该方法首先使用超分辨率网络对低分辨率图像进行重建，然后将输出图像与对应的高分辨率图像共同输入检测网络，将检测损失梯度反向传播到超分变率网络中来优化超分变率网络，在优化检测网络的同时对超分变率网络进行优化，进而起到提高遥感图像中小尺度目标的检测精度。

由于提高分辨率后检测的方法计算量比较大，因此绝大多数研究者都偏向于在多尺度特征图检测的方向上做研究。比如：在He等人提出的FPN网络中，通过两个自底向上的分支与自顶向下的分支，分别用来产生多尺度的特征以及将高层产生的丰富语义信息融合到底层特征。通过这种方法，可以使底层特征拥有充分的语义信息，使其有利于小目标的检测；在PANet中，Liu等人对FPN网络中不同尺寸的特征图进行再次融合，使得FPN的高层特征图也拥有丰富的底层特征与多层特征。虽然这几种多尺度检测方法通过不同的特征融合方式，都分别在小目标检测性能上有着不同程度的提升，但他们都并未在遥感图像中进行实验，忽略了遥感图像中复杂背景信息对小目标对象造成不良影响问题与遥感图像中小目标对象细节信息更容易丢失的问题。

发明内容

本发明提供了一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，针对遥感图像小目标的特殊性，对特征图金字塔中的不同尺度特征图分别计算通道注意力与空间注意力，从而实现增强遥感图像小目标的语义及位置信息，提高检测精度。

本发明的技术方案是：将遥感图像数据集输入到特征提取网络中，使用特征提取网络对图像进行特征提取，得到不同尺寸的特征图金字塔。在得到的特征图金字塔中，首先对FPN网络中的顶层特征图进行池化得到通道向量，再将通道向量进行矩阵运算后得到通道注意力矩阵，接着将其归一化得到通道权重矩阵，并将该权重乘到特征图中得到带有通道权重的特征图，再与低层特征融合。在PAN网络中首先对底层特征图进行通道压缩得到空间向量，再将空间向量进行矩阵运算后得到空间注意力矩阵，接着将其归一化得到空间权重矩阵，并将该权重乘到特征图中得到带有空间权重的特征图，再与高层特征融合。最后送往检测头生成检测结果。

所述方法的具体步骤如下：

Step1：输入遥感图像集，使用特征提取网络对遥感图像集中的图像进行特征提取，得到每张图像三个不同尺寸的特征图C₂,C₃,C₄，构成特征图金字塔C，其中C＝{C₂,C₃,C₄}；

Step2：在FPN中对特征提取网络中的特征图C₄进行卷积操作生成特征图金字塔中新的顶层特征图P₅，并对P₅进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵F₅；

Step3：将Step2中生成的通道注意力矩阵F₅归一化得到通道权重矩阵，并将其与P₅相乘得到带有通道权重的P_{5_w}，接着将P_{5_w}与特征提取网络中的特征图C₃进行特征融合得到特征图P₄；

Step4：对Step3中生成的特征图P₄进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵F₄；

Step5：将Step4中生成的通道注意力矩阵F₄归一化得到通道权重矩阵，并将其与P₄相乘得到带有通道权重的P_{4_w}，接着将P_{4_w}与特征提取网络中的特征图C₂进行特征融合得到特征图P₃；

Step6：在PAN中对Step5中生成的P₃进行卷积操作生成特征图金字塔中新的底层特征图N₃，并对N₃进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵S₃；

Step7：将Step6中生成的空间注意力矩阵S₃归一化得到空间权重矩阵，并将其与N₃相乘得到带有空间权重的N_{3_w}，接着将N_{3_w}与Step3中生成的特征图P₄进行特征融合得到N₄；

Step8：对Step7中生成的特征图N₄进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵S₄；

Step9：将Step8中生成的空间注意力矩阵S₄归一化得到空间权重矩阵，并将其与N₄相乘得到带有空间权重的N_{4_w}，接着将N_{4_w}与特征图P₅进行特征融合得到N₅；

Step10：对最终生成的特征图N₃、N₄、N₅进行检测得到遥感小目标检测结果。

所述Step1具体如下：

根据遥感图像的不同目标类别，采用CSPDark-53网络对输入的遥感图像数据集I＝{I₁,I₂,…,I_n}进行特征提取，n表示遥感图像数据集中图像数量。得到每张图像三个不同尺寸的特征图C₂,C₃,C₄，构成特征图金字塔C，其中C＝{C₂,C₃,C₄}。

所述Step2具体如下：

在得到的特征图金字塔中，首先将FPN网络中的顶层特征图P₅进行一次全局平均池化，得到P₅的三维通道向量A₅并对其进行reshape操作转换成A_{5_r}，其中,P₅∈(c_p5×w_p5×h_p5)，A₅∈(c_p5×1×1)，A_{5_r}∈(c_p5×(1×1))，c_p5为P₅的通道数，w_p5、h_p5分别为P₅的宽、高。接着将A_{5_r}与A_{5_r} ^T相乘后得到通道注意力矩阵F₅，其中F₅∈(c_p5×c_p5)。

所述Step3具体如下：

首先将通道注意力矩阵F₅使用softmax归一化得到通道权重矩阵，然后再将其乘到P₅上为P₅赋予通道权重，得到P_{5_w}。最后将P_{5_w}进行二倍上采样并与经过卷积后的C₃进行融合后得到P₄，其中，P_{5_w}∈(c_p5×w_p5×h_p5)，C₃∈(c_c3×w_c3×h_c3)，P₄∈(c_p4×w_p4×h_p4)，c_c3、w_c3、h_c3分别为C₃的通道数、宽、高，c_p4、w_p4、h_p4分别为P₄的通道数、宽、高。其计算过程如下：

P₄＝conv(cat(conv(C₃),Upsampling(reshape(softmax(F₅)×reshape(P₅)))))

其中的cat表示特征融合。

所述Step4具体如下：

在Step4中对Step3中生成的特征图P₄进行一次全局平均池化，得到P₄的三维通道向量A₄并对其进行reshape操作转换成A_{4_r}，其中,P₄∈(c_p4×w_p4×h_p4)，A₄∈(c_p4×1×1)，A_{4_r}∈(c_p4×(1×1))，c_p4为P₄的通道数，w_p4、h_p4分别为P₄的宽、高。接着将A_{4_r}与A_{4_r} ^T相乘后得到通道注意力矩阵F₄，其中F₄∈(c_p4×c_p4)。

所述Step5具体如下：

首先将通道注意力矩阵F₄使用softmax归一化得到通道权重矩阵，然后再将其乘到P₄上为P₄赋予通道权重，得到P_{4_w}。最后将P_{4_w}进行二倍上采样并与经过卷积后的C₂进行融合后得到P₃，其中，P_{4_w}∈(c_p4×w_p4×h_p4)，C₂∈(c_c2×w_c2×h_c2)，P₃∈(c_p3×w_p3×h_p3)，c_c2、w_c2、h_c2分别为C₂的通道数、宽、高，c_p3、w_p3、h_p3分别为P₃的通道数、宽、高。其计算过程如下：

P₃＝conv(cat(conv(C₂),Upsampling(reshape(softmax(F₄)×reshape(P₄)))))

其中的cat表示特征融合。

所述Step6具体如下：

在得到的特征图金字塔中，首先将PAN网络中的特征图N₃进行一次通道压缩，得到N₃的三维空间向量R₃并对其进行reshape操作转换成R_{3_r}，其中，N₃∈(c_n3×w_n3×h_n3)，R₃∈(1×w_n3×h_n3)，R_{3_r}∈(1×(w_n3×h_n3))，c_n3为N₃的通道数，w_n3为N₃的宽度，h_n3为N₃的高度。接着将R_{3_r}与R_{3_r} ^T相乘后得到空间注意力矩阵S₃，其中S₃∈((w_n3×h_n3)×(w_n3×h_n3))。

所述Step7具体如下：

首先将空间注意力矩阵S₃使用softmax归一化得到空间权重矩阵，然后再将其乘到N₃上为N₃赋予空间权重，得到N_{3_w}。最后将N_{3_w}进行二倍下采样并与经过卷积后的P₄进行融合得到N₄，其中，N_{3_w}∈(c_n3×w_n3×h_n3)，P₄∈(c_p4×w_p4×h_p4)，N₄∈(c_n4×w_n4×h_n4)，c_p4、w_p4、h_p4分别为P₄的通道数、宽、高，c_n4、w_n4、h_n4分别为N₄的通道数、宽、高。其计算过程如下：

N₄＝conv(cat(conv(P₄),Downsampling(reshape(softmax(S₃)×reshape(N₃)))))

其中的cat表示特征融合。

所述Step8具体如下：

在Step8中对Step7中生成的特征图N₄进行一次通道压缩，得到N₄的三维空间向量R₄并对其进行reshape操作转换成R_{4_r}，其中,N₄∈(c_n4×w_n4×h_n4)，R₄∈(1×w_n4×h_n4)，R_{4_r}∈(1×(w_n4×h_n4))，c_n4为N₄的通道数，w_n4为N₄的宽度，h_n4为N₄的高度。接着将R_{4_r}与R_{4_r} ^T相乘后得到空间注意力矩阵S₄，其中S₄∈((w_n4×h_n4)×(w_n4×h_n4))。

所述Step9具体如下：

首先将空间注意力矩阵S₄使用softmax归一化得到空间权重矩阵，然后再将其乘到N₄上为N₄赋予空间权重，得到N_{4_w}。最后将N_{4_w}进行二倍下采样并与经过卷积后的P₅进行融合得到N₅，其中，N_{4_w}∈(c_n4×w_n4×h_n4)，P₅∈(c_p5×w_p5×h_p5)，N₅∈(c_n5×w_n5×h_n5)，c_p5、w_p5、h_p5分别为P₅的通道数、宽、高，c_n5、w_n5、h_n5分别为N₅的通道数、宽、高。其计算过程如下：

N₅＝conv(cat(conv(P₅),Downsampling(reshape(softmax(S₄)×reshape(N₄)))))

其中的cat表示特征融合。

所述Step10具体如下：

通过对最终生成的三层特征图金字塔N₃、N₄、N₅进行检测，生成目标类别与置信度，得到可视化结果。

本发明的有益效果是：

1.本发明根据遥感图像中小目标特点，将基准网络中提取出的特征图金字塔在FPN网络与PAN网络中为每一层特征图赋予不同的注意力，具体为：在FPN网络中，利用语义信息最为丰富的高层特征图，首先对其进行全局池化减少计算量，再计算其各通道之间的关联性来为每个通道附加一个权重，将其与下一层特征图进行融合后达到增强每层特征图语义信息的目的。该方法可以在避免高层粗粒度特征图不准确位置信息对低层细粒度特征图准确位置信息干扰的同时来增强低层特征图的语义信息，可有效缓解遥感图像中复杂背景信息对目标特征的干扰，增强检测器分类能力。

2.本发明根据遥感图像中小目标特点，将基准网络中提取出的特征图金字塔在FPN网络与PAN网络中为每一层特征图赋予不同的注意力，具体为：在PAN网络中，利用空间信息最为丰富的低层特征图，首先对其进行通道压缩减少计算量，再计算其各像素之间的关联性来为每个像素附加一个权重，将其与上一层特征图进行融合后达到增强每层特征图空间信息的目的。该方法可以在避免低层粗粒度特征图不准确语义信息对高层细粒度特征图准确语义信息干扰的同时来增强高层特征图的位置信息，可有效提升遥感图像中目标的细节纹理信息，增强检测器定位能力。

附图说明

图1为基于FPN与PAN网络的双重注意力的遥感小目标检测方法处理流程图。

具体实施方式

为了更好的说明本发明的技术方案，下面结合附图对本发明的具体实施方式进行详细描述。

实施例1：如图1为本发明方法的流程示意图，一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，包括：

Step1提取遥感图像的特征图金字塔：通过特征提取网络对遥感图像特征进行提取生成特征图金字塔；

使用DIOR遥感图像数据集中的遥感图像作为输入图像，采用YOLOv5中的CSPDark-53特征提取网络对输入的含有船只小目标的遥感图像进行特征提取，选取特征提取网络中的三个不同阶段的包含船只目标特征的特征图组成特征图金字塔，其中每层特征图都为不同尺寸、不同通道，表示为C＝{C₂,C₃,C₄}。用于后续FPN网络中进行跨层融合。

Step2生成通道注意力矩阵：通过对特征图P₅进行矩阵运算得到特征图的通道注意力矩阵F₅；

在FPN网络中，首先对特征图金字塔中的特征图C₄进行一次卷积操作生成顶层特征图P5作为新的顶层特征图，然后再进行通道注意力的计算。在计算通道注意力过程中，首先将特征图P₅进行一次全局平均池化，得到P₅的三维通道向量A₅，然后对其进行reshape操作转换成A_{5_r}，并对A_{5_r}进行转置得到A_{5_r} ^T。其中,P₅∈(c_p5×w_p5×h_p5)，A₅∈(c_p5×1×1)，A_{5_r}∈(c_p5×(1×1))，c_p5为P₅的通道数，w_p5、h_p5分别为P₅的宽高。接着将A_{5_r}与A_{5_r} ^T相乘后得到通道注意力矩阵F₅，其中F₅∈(c_p5×c_p5)。

Step3为特征图赋予通道权重并跨层融合：通过将通道权重乘到特征图P₅上，得到P_{5_w}，接着将其与低层特征图相融；

在获得通道注意力矩阵F₅后，首先将F₅使用softmax归一化得到通道权重矩阵，然后再将其乘到P₅上为P₅赋予通道权重，得到P_{5_w}。最后将P_{5_w}进行二倍上采样并与经过卷积后的C₃进行融合后得到P₄，其中，P_{5_w}∈(c_p5×w_p5×h_p5)，C₃∈(c_c3×w_c3×h_c3)，P₄∈(c_p4×w_p4×h_p4)，c_c3、w_c3、h_c3分别为C₃的通道数、宽、高，c_p4、w_p4、h_p4分别为P₄的通道数、宽、高。其计算过程如下：

P₄＝conv(cat(conv(C₃),Upsampling(reshape(softmax(F₅)×reshape(P₅)))))

其中的cat表示特征融合。

Step4生成通道注意力矩阵：通过对特征图P₄进行矩阵运算得到特征图的通道注意力矩阵F₄；

在Step4中对Step3中生成的特征图P₄进行一次全局平均池化，得到P₄的三维通道向量A₄并对其进行reshape操作转换成A_{4_r}，并对A_{4_r}进行转置得到A_{4_r} ^T。其中,P₄∈(c_p4×w_p4×h_p4)，A₄∈(c_p4×1×1)，A_{4_r}∈(c_p4×(1×1))，c_p4为P₄的通道数，w_p4、h_p4分别为P₄的宽、高。接着将A_{4_r}与A_{4_r} ^T相乘后得到通道注意力矩阵F₄，其中F₄∈(c_p4×c_p4)。

Step5为特征图赋予通道权重并跨层融合：通过将通道权重乘到特征图P₄上，得到P_{4_w}，接着将其与低层特征图相融；

在获得通道注意力矩阵F₄后，首先将F₄使用softmax归一化得到通道权重矩阵，然后再将其乘到P₄上为P₄赋予通道权重，得到P_{4_w}。最后将P_{4_w}进行二倍上采样并与经过卷积后的C₂进行融合后得到P₃，其中，P_{4_w}∈(c_p4×w_p4×h_p4)，C₂∈(c_c2×w_c2×h_c2)，P₃∈(c_p3×w_p3×h_p3)，c_c2、w_c2、h_c2分别为C₂的通道数、宽、高，c_p3、w_p3、h_p3分别为P₃的通道数、宽、高。其计算过程如下：

P₃＝conv(cat(conv(C₂),Upsampling(reshape(softmax(F₄)×reshape(P₄)))))

其中的cat表示特征融合。

Step6生成空间注意力矩阵：通过对特征图N₃进行矩阵运算得到特征图的空间注意力矩阵S₃；

在PAN网络中，首先对Step5中生成的特征图P₃进行一次卷积操作生成底层特征图N₃作为新的底层特征图，然后再进行空间注意力的计算。在计算空间注意力过程中，首先将特征图N₃进行一次通道压缩，得到N₃的三维空间向量R₃并对其进行reshape操作转换成R_{3_r}，并对R_{3_r}进行转置得到R_{3_r} ^T。其中，N₃∈(c_n3×w_n3×h_n3)，R₃∈(1×w_n3×h_n3)，R_{3_r}∈(1×(w_n3×h_n3))，c_n3为N₃的通道数，w_n3为N₃的宽度，h_n3为N₃的高度。接着将R_{3_r}与R_{3_r} ^T相乘后得到空间注意力矩阵S₃，其中S₃∈((w_n3×h_n3)×(w_n3×h_n3))。

Step7为特征图赋予空间权重并跨层融合：通过将空间权重乘到特征图N₃上，得到N_{3_w}，接着将其与高层特征图相融；

在获得空间注意力矩阵S₃后，首先将S₃使用softmax归一化得到空间权重矩阵，然后再将其乘到N₃上为N₃赋予空间权重，得到N_{3_w}。最后将N_{3_w}进行二倍下采样并与经过卷积后的P₄进行融合得到N₄，其中，N_{3_w}∈(c_n3×w_n3×h_n3)，P₄∈(c_p4×w_p4×h_p4)，N₄∈(c_n4×w_n4×h_n4)，c_p4、w_p4、h_p4分别为P₄的通道数、宽、高，c_n4、w_n4、h_n4分别为N₄的通道数、宽、高。其计算过程如下：

N₄＝conv(cat(conv(P₄),Downsampling(reshape(softmax(S₃)×reshape(N₃)))))

其中的cat表示特征融合。

Step8生成空间注意力矩阵：通过对特征图N₄进行矩阵运算得到特征图的空间注意力矩阵S₄；

在Step8中对Step7中生成的特征图N₄进行一次通道压缩，得到N₄的三维空间向量R₄并对其进行reshape操作转换成R_{4_r}，其中,N₄∈(c_n4×w_n4×h_n4)，R₄∈(1×w_n4×h_n4)，R_{4_r}∈(1×(w_n4×h_n4))，c_n4为N₄的通道数，w_n4为N₄的宽度，h_n4为N₄的高度。接着将R_{4_r}与R_{4_r} ^T相乘后得到空间注意力矩阵S₄，其中S₄∈((w_n4×h_n4)×(w_n4×h_n4))。

Step9为特征图赋予空间权重并跨层融合：通过将空间权重乘到特征图N₄上，得到N_{4_w}，接着将其与高层特征图相融；

在获得空间注意力矩阵S₄后，首先将S₄使用softmax归一化得到空间权重矩阵，然后再将其乘到N₄上为N₄赋予空间权重，得到N_{4_w}。最后将N_{4_w}进行二倍下采样并与经过卷积后的P₅进行融合得到N₅，其中，N_{4_w}∈(c_n4×w_n4×h_n4)，P₅∈(c_p5×w_p5×h_p5)，N₅∈(c_n5×w_n5×h_n5)，c_p5、w_p5、h_p5分别为P₅的通道数、宽、高，c_n5、w_n5、h_n5分别为N₅的通道数、宽、高。其计算过程如下：

N₅＝conv(cat(conv(P₅),Downsampling(reshape(softmax(S₄)×reshape(N₄)))))

其中的cat表示特征融合。

Step10对特征图进行检测：对PAN网络输出的特征图金字塔进行检测并生成最终可视化效果；

通过对最终生成的三层特征图金字塔N₃、N₄、N₅进行预测，在遥感图像中标注出船只小目标的位置并添加类别名称与置信度，得到可视化结果。

本实施例中，本发明在最新遥感小目标数据集DIOR数据集上进行了实验，与大量优秀的目标检测方法进行了比较，比较结果如表1所示，比较的方法包括：双阶段检测方法，即Libra R-CNN与Dynamic R-CNN；单阶段检测方法，即SSD，YOLOv3与YOLOx。其中“-”表示无报告数据，APs表示遥感图像中小目标检测精度，mAP表示所有类别平均表示精度。

在表1可知，本发明所提出方法在DIOR数据集上较所对比方法均取得最高值。其中，APs指标较次优小目标检测方法YOLOx高出5.9个百分比。mAP较次优小目标检测方法YOLOx高出0.3个百分比。

与双阶段目标检测方法对比，本发明所提出方法在DIOR数据集上较最优双阶段算法Libra R-CNN均表现出最优性能。其中，APs指标较Libra R-CNN高出8.3个百分比。mAP较Libra R-CNN高出6.3个百分比。

表1本发明与其他方法对比

本发明提出一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，该方法通过分别计算高层特征图的通道注意力与低层特征图的空间注意力来分别强化特征图中的语义信息与位置信息，可有效抑制遥感图像中背景信息的表达并对小目标细节信息进行再次增强，进而提升模型在遥感图像目标检测任务上的表现能力。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于，包括如下步骤：

Step1：输入遥感图像集，使用特征提取网络对遥感图像集中的图像进行特征提取，得到每张图像三个不同尺寸的特征图C₂,C₃,C₄，构成特征图金字塔C，其中C＝{C₂,C₃,C₄}；

Step2：在FPN中对特征提取网络中的特征图C₄进行卷积操作生成特征图金字塔中新的顶层特征图P₅，并对P₅进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵F₅；

Step3：将Step2中生成的通道注意力矩阵F₅归一化得到通道权重矩阵，并将其与P₅相乘得到带有通道权重的P_{5_w}，接着将P_{5_w}与特征提取网络中的特征图C₃进行特征融合得到特征图P₄；

Step4：对Step3中生成的特征图P₄进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵F₄；

Step5：将Step4中生成的通道注意力矩阵F₄归一化得到通道权重矩阵，并将其与P₄相乘得到带有通道权重的P_{4_w}，接着将P_{4_w}与特征提取网络中的特征图C₂进行特征融合得到特征图P₃；

Step6：在PAN中对Step5中生成的P₃进行卷积操作生成特征图金字塔中新的底层特征图N₃，并对N₃进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵S₃；

Step7：将Step6中生成的空间注意力矩阵S₃归一化得到空间权重矩阵，并将其与N₃相乘得到带有空间权重的N_{3_w}，接着将N_{3_w}与Step3中生成的特征图P₄进行特征融合得到N₄；

Step8：对Step7中生成的特征图N₄进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵S₄；

Step9：将Step8中生成的空间注意力矩阵S₄归一化得到空间权重矩阵，并将其与N₄相乘得到带有空间权重的N_{4_w}，接着将N_{4_w}与特征图P₅进行特征融合得到N₅；

Step10：对最终生成的特征图N₃、N₄、N₅进行检测得到遥感小目标检测结果。

2.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：Step1中，根据遥感图像的不同目标类别，采用CSPDark-53网络对输入的遥感图像数据集I＝{I₁,I₂,…,I_n}进行特征提取，n表示遥感图像数据集中图像数量，在Step10中通过对最终生成的三层特征图金字塔N₃、N₄、N₅进行检测，生成目标类别与置信度。

3.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：Step2中，将FPN网络中的顶层特征图P₅进行一次全局平均池化，得到P₅的三维通道向量A₅并对其进行reshape操作转换成A_{5_r}，然后对A_{5_r}进行转置得到A_{5_r} ^T，其中,P₅∈(c_p5×w_p5×h_p5)，A₅∈(c_p5×1×1)，A_{5_r}∈(c_p5×(1×1))，c_p5为P₅的通道数，w_p5、h_p5分别为P₅的宽和高，接着将A_{5_r}与A_{5_r} ^T相乘后得到通道注意力矩阵F₅，其中F₅∈(c_p5×c_p5)。

4.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step3中将通道注意力矩阵F₅使用softmax归一化得到通道权重矩阵，然后再将其乘到P₅上为P₅赋予通道权重，得到P_{5_w}，最后将P_{5_w}进行二倍上采样并与经过卷积后的C₃进行融合后得到P₄，其中，P_{5_w}∈(c_p5×w_p5×h_p5)，C₃∈(c_c3×w_c3×h_c3)，P₄∈(c_p4×w_p4×h_p4)，c_c3、w_c3、h_c3分别为C₃的通道数、宽、高，c_p4、w_p4、h_p4分别为P₄的通道数、宽、高，其计算过程如下：

P₄＝conv(cat(conv(C₃),Upsampling(reshape(softmax(F₅)×reshape(P₅)))))

其中的cat表示特征融合。

5.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step4中对Step3中生成的特征图P₄进行一次全局平均池化，得到P₄的三维通道向量A₄并对A₄进行reshape操作转换成A_{4_r}，并对A_{4_r}进行转置得到A_{4_r} ^T，其中,P₄∈(c_p4×w_p4×h_p4)，A₄∈(c_p4×1×1)，A_{4_r}∈(c_p4×(1×1))，c_p4为P₄的通道数，w_p4、h_p4分别为P₄的宽、高，接着将A_{4_r}与A_{4_r} ^T相乘后得到通道注意力矩阵F₄，其中F₄∈(c_p4×c_p4)。

6.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step5中将通道注意力矩阵F₄使用softmax归一化得到通道权重矩阵，然后再将其乘到P₄上为P₄赋予通道权重，得到P_{4_w}，最后将P_{4_w}进行二倍上采样并与经过卷积后的C₂进行融合后得到P₃，其中，P_{4_w}∈(c_p4×w_p4×h_p4)，C₂∈(c_c2×w_c2×h_c2)，P₃∈(c_p3×w_p3×h_p3)，c_c2、w_c2、h_c2分别为C₂的通道数、宽、高，c_p3、w_p3、h_p3分别为P₃的通道数、宽、高，其计算过程如下：

P₃＝conv(cat(conv(C₂),Upsampling(reshape(softmax(F₄)×reshape(P₄)))))

其中的cat表示特征融合。

7.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step6中将PAN网络中的特征图N₃进行一次通道压缩，得到N₃的三维空间向量R₃并对其进行reshape操作转换成R_{3_r}，并对R_{3_r}进行转置得到R_{3_r} ^T，其中,N₃∈(c_n3×w_n3×h_n3)，R₃∈(1×w_n3×h_n3)，R_{3_r}∈(1×(w_n3×h_n3))，c_n3为N₃的通道数，w_n3为N₃的宽度，h_n3为N₃的高度，接着将R_{3_r}与R_{3_r} ^T相乘后得到空间注意力矩阵S₃，其中S₃∈((w_n3×h_n3)×(w_n3×h_n3))。

8.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step7中将空间注意力矩阵S₃使用softmax归一化得到空间权重矩阵，然后再将其乘到N₃上为N₃赋予空间权重，得到N_{3_w}，最后将N_{3_w}进行二倍下采样并与经过卷积后的P₄进行融合得到N₄，其中，N_{3_w}∈(c_n3×w_n3×h_n3)，P₄∈(c_p4×w_p4×h_p4)，N₄∈(c_n4×w_n4×h_n4)，c_p4、w_p4、h_p4分别为P₄的通道数、宽高，c_n4、w_n4、h_n4分别为N₄的通道数、宽、高，其计算过程如下：

N₄＝conv(cat(conv(P₄),Downsampling(reshape(softmax(S₃)×reshape(N₃)))))

其中的cat表示特征融合。

9.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step8中对Step7中生成的特征图N₄进行一次通道压缩，得到N₄的三维空间向量R₄并对其进行reshape操作转换成R_{4_r}，并对R_{4_r}进行转置得到R_{4_r} ^T，其中,N₄∈(c_n4×w_n4×h_n4)，R₄∈(1×w_n4×h_n4)，R_{4_r}∈(1×(w_n4×h_n4))，c_n4为N₄的通道数，w_n4为N₄的宽度，h_n4为N₄的高度，接着将R_{4_r}与R_{4_r} ^T相乘后得到空间注意力矩阵S₄，其中S₄∈((w_n4×h_n4)×(w_n4×h_n4))。

10.根据权利要求1所述的基于FPN与PAN网络的双重注意力的遥感小目标检测方法，其特征在于：在Step9中将空间注意力矩阵S₄使用softmax归一化得到空间权重矩阵，然后再将其乘到N₄上为N₄赋予空间权重，得到N_{4_w}，最后将N_{4_w}进行二倍下采样并与经过卷积后的P₅进行融合得到N₅，其中，N_{4_w}∈(c_n4×w_n4×h_n4)，P₅∈(c_p5×w_p5×h_p5)，N₅∈(c_n5×w_n5×h_n5)，c_p5、w_p5、h_p5分别为P₅的通道数、宽高，c_n5、w_n5、h_n5分别为N₅的通道数、宽、高，其计算过程如下：

N₅＝conv(cat(conv(P₅),Downsampling(reshape(softmax(S₄)×reshape(N₄)))))

其中的cat表示特征融合。

Images