CN115830449A - 显式轮廓引导和空间变化上下文增强的遥感目标检测方法 - Google Patents

Abstract

本发明提供一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法，通过特征提取网络，得到输入图像的多尺度目标特征图，通过空间变化上下文增强算法将最深层特征图的空间位置信息编码到全局上下文中，得到空间变化上下文卷积核，并结合预设空洞率，得到多尺度上下文感知空间变化加权因子，加权得到空间感知上下文增强目标特征图；通过特征融合网络和轮廓引导特征提取算法，分别得到多尺度目标融合特征图和轮廓感知特征图；结合轮廓引导特征融合算法和多尺度双重注意力机制，得到显式轮廓引导目标检测特征图，并输入到目标框检测头中，得到目标检测结果。本发明能够提升复杂背景下多类目标的检测性能和定位精度。

Description

显式轮廓引导和空间变化上下文增强的遥感目标检测方法

技术领域

本发明涉及遥感目标检测技术领域，尤其涉及一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法。

背景技术

目标检测是遥感图像智能处理的一项重要任务，旨在判定一个区域内是否存在感兴趣的目标，并确定每个目标在图像中的位置。随着遥感成像技术的日益成熟，图像质量和分辨率均得到了显著提高，因此遥感目标检测在军事和民用领域中发挥着越来越重要的作用，如交通管制、城市规划、应急救援、机场侦察等。

近年来，深度学习的蓬勃发展促进了目标检测性能的大幅提高。基于卷积神经网络的方法可以自适应地学习图像的高级语义表达，通过强大的训练算法完成对目标的分类和定位。由于其优秀的特征提取和表达能力，卷积神经网络已经成为当前目标检测的主流算法。按照模型框架，目前主流目标检测网络可以分为两大类：以YOLO系列为代表的单阶段检测网络和以Faster-RCNN为代表的两阶段检测网络，其中两阶段网络更注重检测精度，而单阶段网络更追求检测效率。

由于遥感图像中多尺度目标的尺度差异性、多类别目标的类间相似性、复杂背景的噪音干扰等问题，遥感目标检测比自然场景更具挑战性。现有方法要么采用多尺度多层级特征融合的方式促进语义与空间特征的有效结合，挖掘更丰富的信息，用于区分目标类别；要么利用注意力机制，引导模型关注前景区域，从而抑制背景干扰。然而，这些方法处理的特征停留在目标级，而目标级信息属于更高层级的抽象特征，它同时编码了物体的语义类别和空间位置信息，导致两种类型的信息难以有效分离。

目标轮廓作为一种像素级特征，简单有效地编码了物体低层级的空间位置细节，从而将语义类别和空间位置信息相互解耦，仅保留了对目标外形和定位最关键的精细化空间线索。对于目标检测，目标轮廓信息一方面代表了目标的空间位置，有助于提升检测器的定位精细化程度；另一方面，目标轮廓描述的目标形状和目标语义类别强相关，可以有效提升特定类别目标的可区分性，并抑制颜色、纹理等冗余信息的影响。已有方法将轮廓特征作为目标检测的额外约束，将目标检测特征用于抑制轮廓噪音。然而，这些方法将目标检测和轮廓检测看作两个独立的任务，关于目标检测和轮廓检测的特征之间没有显式的交互，缺乏多层级目标特征和轮廓空间细节之间的关联，检测器难以充分利用轮廓特征中包含的精细化空间位置和形状线索，导致方法次优。

另外，部分不同类别的遥感目标在形状或纹理上相似，如果缺乏全局或长距上下文信息，较低的类间独立性会引起错误的语义类别匹配，从而导致误检。一些方法将全局上下文引入到顶层特征图中，通过捕获全局上下文来估计通道特征的重要性，用于表征不同语义类别所在通道与环境之间的相关程度。用每个通道上的权重来加权对应特征通道，则与环境密切相关的语义类别所在通道被自动高亮，而不相关的类别所在通道则被抑制。这样，不同类别但外观相似的目标就可以得到有效区分。然而，这些方法将每个通道内所有空间位置上的特征聚合为一个全局上下文编码的权重，这个权重被该通道上所有位置共享。这样一个全局共享加权机制忽略了不同类别目标在空间上的共存，用同等权重予以增强。这种统一加权的方式对多类目标的上下文建模不利，无法有效挖掘全局上下文的优势。

综上，现有技术中的遥感目标检测方法面临如下问题：第一，由于多尺度、多类别、背景复杂等因素，遥感图像目标检测具有挑战性；第二，现有改进方法均处于对象级，无法从高层级抽象特征中解耦精细化空间位置信息。对于像素级轮廓特征，现有方法缺乏目标检测特征与轮廓空间细节之间的显式关联，检测器难以充分利用轮廓特征中包含的位置和形状线索，导致检测性能难以提升；第三，现有研究中的全局上下文采用的全局共享加权机制忽略了不同类别目标在空间上的共存，用同等权重予以增强，对多类别目标的上下文建模不利。

因此，亟需一种能够结合显示轮廓引导和空间变化上下文，对遥感影像中复杂背景下的多类目标进行多尺度精准识别的遥感目标检测方法。

发明内容

基于此，有必要针对上述技术问题，提供一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法。

一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法，包括以下步骤：获取输入图像，通过YOLOX特征提取网络得到多尺度目标特征图；通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核；根据预设的空洞率和所述空间变化上下文卷积核对所述最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图；通过YOLOX特征融合网络，对所述多尺度目标特征图和所述空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图；通过轮廓引导特征提取算法，提取所述多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图；结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图；将所述显式轮廓引导目标检测特征图输入到目标框检测头中，得到目标检测结果。

在其中一个实施例中，所述通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核，包括：获取所述多尺度目标特征图的最深层特征图，在所述最深层特征图为

时，将所述最深层特征图分别通过两个独立的1×1卷积，即T_k和T_q，转换为特征图

和特征图

其中，s²表示空间变化上下文卷积核每个通道上的神经元个数；将两个所述特征图展平，得到两个二维特征矩阵

和

将所述二维特征矩阵

转置为

并与所述二维特征矩阵

进行矩阵相乘，得到

其中，

将特征矩阵

恢复为三维特征图

得到包含语义信息和空间位置信息的空间变化上下文卷积核。

在其中一个实施例中，所述根据预设的空洞率和所述空间变化上下文卷积核对所述最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图，包括：将所述空间变化上下文卷积核扩展为具有多个预设空洞率的空洞卷积核；将所述空洞卷积核分别与所述最深层特征图进行深度卷积，并采用Sigmoid激活函数对卷积后的最深层特征图进行非线性处理，通过叠加融合，得到多尺度上下文感知空间变化加权因子；根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图。

在其中一个实施例中，所述通过YOLOX特征融合网络，对所述多尺度目标特征图和所述空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图，包括：将所述多尺度目标特征图和所述空间感知上下文增强特征图输入到YOLOX特征融合网络中，通过自下而上、自上而下的信息流，对所述多尺度目标特征图和所述空间感知上下文增强特征图进行位置信息和语义信息的细化，得到多尺度目标融合特征图。

在其中一个实施例中，所述通过轮廓引导特征提取算法，提取所述多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图，包括：在多尺度目标融合特征图的每个层级上，采用1×1的卷积统一各层级特征图的通道数，并通过上采样统一各层级特征图的空间尺寸；将通道数和空间尺寸统一后的各层级特征图进行叠加融合，并通过连续卷积构造得到轮廓感知特征图；采用1×1卷积和Softmax激活函数，将所述轮廓感知特征图转换为轮廓检测结果图，得到目标轮廓图。

在其中一个实施例中，所述轮廓损失函数包括：采用平衡交叉熵损失函数对所述轮廓检测结果图进行监督，设轮廓检测结果图为

且轮廓真值C∈[0,1]^W×H×2，假定第一个通道为轮廓图，第二个通道为背景图，则轮廓平衡交叉熵损失L_con为：

其中，

式中，α是训练数据中轮廓像素点数与所有像素点数之间的比值。

在其中一个实施例中，所述结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度融合目标特征图进行融合，得到显式轮廓引导目标检测特征图，具体包括：对所述轮廓感知特征图进行缩放，并通过1×1卷积，得到尺度修正轮廓感知特征图；基于多尺度双重注意力机制，根据所述尺度修正轮廓感知特征图生成多尺度双重注意力特征图；采用乘加融合，将所述多尺度目标融合特征图与所述多尺度双重注意力特征图进行融合，得到显式轮廓引导目标检测特征图。

在其中一个实施例中，所述结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图，包括：所述多尺度双重注意力机制包括多尺度空间注意力机制和通道注意力机制；根据所述多尺度空间注意力机制构建多个平行且预设空洞率的卷积工作流，将所述尺度修正轮廓感知特征图输入所述卷积工作流，得到空间注意力特征图，所述卷积工作流包含两个卷积核大小为3×3的空洞卷积运算；将所述空间注意力特征图通过通道堆叠以及一个1×1卷积，转换为多尺度空间注意力特征图；基于所述通道注意力机制，将所述尺度修正轮廓感知特征图通过一个全局平均池化操作和两个1×1卷积，获取通道注意力特征图；将所述多尺度空间注意力特征图与所述通道注意力特征图相加，得到多尺度双重注意力特征图；采用先乘后加的方式，将所述多尺度双重注意力特征图与所述多尺度目标融合特征图进行融合，得到显示轮廓引导目标检测特征图。

相比于现有技术，本发明的优点及有益效果在于：获取输入图像，输入YOLOX特征提取网络，得到多尺度目标特征图，通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核，根据预设空洞率对空间变化上下文卷积核和最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，并用于对最深层特征图进行加权，得到空间感知上下文增强目标特征图，有利于提高全局上下文的作用颗粒度，便于不同类别的目标特征根据其空间位置分布和环境的语义关联进行自适应增强；通过YOLOX特征融合网络，对多尺度目标特征图和空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图，实现多尺度目标特征图和空间感知上下文增强特征图的位置信息和语义信息的跨层级融合和细化；通过轮廓引导特征提取算法，提取多尺度目标融合特征图的轮廓感知特征图，同时采用轮廓损失函数进行显式监督，得到目标轮廓图，并结合轮廓引导特征融合算法和多尺度双重注意力机制，将轮廓感知特征图与多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图，提升了不同类别的可区分性，抑制冗余信息的干扰；将显式轮廓引导目标检测特征图输入到目标框检测头中，得到目标检测结果，从而实现对复杂背景下多类目标的多尺度目标检测，且提升了检测性能和定位精度。

附图说明

图1为一个实施例中一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法的流程示意图；

图2为一个实施例中优化目标检测网络的结构示意图；

图3为一个实施例中空间变化上下文模块的结构示意图；

图4为一个实施例中轮廓特征引导融合模块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在一个实施例中，如图1所示，提供了一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法，包括以下步骤：

步骤S101，获取输入图像，通过YOLOX特征提取网络得到多尺度目标特征图。

具体地，在获取遥感影像后，将遥感影像中的至少一帧作为输入图像，输入至YOLOX特征提取网络，输出得到多尺度目标特征图。

步骤S102，通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核。

具体地，在YOLOX特征提取网络得到多尺度目标特征图后，获取多尺度目标特征图的最深层特征图，通过空间变化上下文增强算法，将其空间位置信息编码到全局上下文中，使得在将多尺度目标特征图的最深层特征图输入后，能够得到同时包含丰富语义信息和空间线索的空间变化上下文卷积核。由于空间变化上下文增强算法包含有丰富的空间语义信息，能够帮助不同类别的目标特征根据其空间位置分布与环境之间的语义关联，进行自适应增强，从而细化全局上下文的作用颗粒度，有利于提升多类目标的检测性能。

其中，步骤S102包括：获取多尺度目标特征图的最深层特征图，在最深层特征图为

时，将最深层特征图分别通过两个独立的1×1卷积，即T_k和T_q，转换为特征图

和特征图

其中，s²表示空间变化上下文卷积核每个通道上的神经元个数；将两个特征图展平，得到两个二维特征矩阵

和

将二维特征矩阵

转置为

并与二维特征矩阵

进行矩阵相乘，得到

其中，

将特征矩阵

恢复为三维特征图

得到包含语义信息和空间位置信息的空间变化上下文卷积核。

具体地，如图2所示，将空间变化上下文模块嵌入到YOLOX特征提取网络的最深层，其中，空间变化上下文模块如图3所示。

在根据多尺度目标特征图得到其最深层特征图后，首先，将该最深层特征图

分别通过两个独立的1×1卷积，即T_k和T_q，转化为特征图

和特征图

其中，s²表示空间变化上下文卷积核每个通道上的神经元个数；其次，将两个特征图展平，得到两个二维特征矩阵

和

第三，将特征矩阵

转置为

用于与特征矩阵

进行矩阵相乘，即

其中

最后，将特征矩阵

恢复成三维特征图

得到包含语义信息和空间位置信息的空间变化上下文卷积核。

步骤S103，根据预设的空洞率和空间变化上下文卷积核对最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，根据多尺度上下文感知空间变化加权因子对最深层特征图进行加权，得到空间感知上下文增强目标特征图。

具体地，根据预先设置的空洞率，将步骤S102中获取的空间变化上下文卷积核与最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，并通过多尺度上下文感知空间变化加权因子对最深层特征图进行加权强调，得到空间感知上下文增强目标特征图，从而实现对多类别目标特征的空间变化自适应增强，有助于提升多类别目标的检测性能。

其中，步骤S103包括：将空间变化上下文卷积核扩展为具有多个预设空洞率的空洞卷积核；将空洞卷积核分别与最深层特征图进行深度卷积，并采用Sigmoid激活函数对卷积后的最深层特征图进行非线性处理，通过叠加融合，得到多尺度上下文感知空间变化加权因子；根据多尺度上下文感知空间变化加权因子对最深层特征图进行加权，得到空间感知上下文增强目标特征图。

具体地，在获取空间变化上下文卷积核后，首先，将上一步得到的空间变化上下文卷积核扩展为具有不同空洞率的多个空洞卷积核，例如，扩展为空洞率分别为1、2和3的空洞卷积核；其次，将多个空洞卷积核分别与最深层特征图进行深度卷积，并使用Sigmoid激活函数对卷积后的最深层特征图进行非线性处理，得到三个具有不同感受野的加权因子；第三，将三个加权因子进行叠加融合，得到多尺度上下文感知空间变化加权因子；最后，将空间变化加权因子通过乘法对最深层特征图进行加权，得到空间感知上下文增强目标特征图，实现对多类别目标特征的空间变化自适应增强。

步骤S104，通过YOLOX特征融合网络，对多尺度目标特征图和空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图。

具体地，通过YOLOX特征融合网络，将多尺度目标特征图和空间感知上下文增强目标特征图融合，得到多尺度目标融合特征图，从而使得目标的位置信息和语义信息得到跨层级的融合和细化，丰富目标的特征表达。

其中，步骤S104包括：将多尺度目标特征图和空间感知上下文增强特征图输入到YOLOX特征融合网络中，通过自下而上、自上而下的信息流，对多尺度目标特征图和空间感知上下文增强特征图进行位置信息和语义信息的跨层级融合和细化，得到多尺度目标融合特征图。

具体地，通过YOLOX特征融合网络，采用自下而上、自上而下的信息流，将多尺度目标特征图和空间感知上下文增强特征图，进行位置信息和语义信息的跨层级融合和细化，得到多尺度目标融合特图，丰富目标的特征表达，有利于提高目标检测精度。

步骤S105，通过轮廓引导特征提取算法，提取多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图。

具体地，引入轮廓引导特征提取算法，从YOLOX特征融合网络输出的多尺度目标融合特征图中提取轮廓感知特征图，并通过轮廓损失函数对提取的轮廓感知特征图进行显式监督，得到目标轮廓图，从而实现对目标轮廓的精细化提取。

其中，步骤S105包括：在多尺度目标融合特征图的每个层级上，采用1×1的卷积统一各层级特征图的通道数，并通过上采样统一各层级特征图的空间尺寸；将通道数和空间尺寸统一后的各层级特征图进行叠加融合，并通过连续卷积构造得到轮廓感知特征图；采用1×1卷积和Softmax激活函数，将轮廓感知特征图转换为轮廓检测结果图，得到目标轮廓图。

具体地，如图2所示，将多尺度目标特征图和空间感知上下文增强目标特征图作为输入特征图，并输入YOLOX特征融合网络后，得到三个不同层级的融合特征图，即X3、X4和X5，并将融合特征图作为轮廓引导特征提取模块的输入特征，用于生成多尺度轮廓特征图。

在多尺度目标融合特征图的每一层级上，利用一个1×1卷积来统一各层级特征图的通道数。为了进一步统一各层级特征图的空间尺寸，分别将特征图X4和X5上采样2倍和4倍，使得三个层级的特征图在通道和空间尺寸上均达到一致。随后将处理后的三个特征图进行叠加融合，再通过四个连续的3×3卷积来构造轮廓感知特征图。最后使用一个1×1卷积和一个Softmax激活函数，将轮廓感知特征图转换为轮廓检测结果图，得到目标轮廓图。

其中，轮廓损失函数包括：采用平衡交叉熵损失函数对轮廓检测结果图进行监督，设轮廓检测结果为

且轮廓真值C∈[0,1]^W×H×2；假定第一个通道为轮廓图，第二个通道为背景图，则轮廓平衡交叉熵损失L_con为：

其中，

式中，α是训练数据中轮廓像素点数与所有像素点数之间的比值。

具体地，针对轮廓检测图中正负例不平衡问题，采用平衡交叉熵损失函数来对轮廓检测进行监督。对于轮廓检测结果

和轮廓真值C∈[0,1]^W×H×2，假定第一个通道为轮廓图，而第二个通道为背景图，则得到轮廓平衡交叉熵损失函数，用于对轮廓检测结果图进行显式监督，从而得到精细化的轮廓信息。

步骤S106，结合轮廓引导特征融合算法和多尺度双重注意力机制，将轮廓感知特征图与多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图。

具体地，在提取到轮廓感知特征图后，采用多尺度双重注意力机制对轮廓感知特征图进行处理，得到多尺度双重注意力特征图，并通过乘加融合，对多尺度双重注意力特征图和多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图，从而使得目标检测对关键空间位置的外形轮廓更加敏感，并抑制背景噪音干扰，从而能够更为准确地从复杂背景中区分多类别目标，同时使得定位精度得以更高。

其中，步骤S106包括：对轮廓感知特征图进行缩放，并通过1×1卷积，得到尺度修正轮廓感知特征图；基于多尺度双重注意力机制，根据尺度修正轮廓感知特征图生成多尺度双重注意力特征图；采用乘加融合，将多尺度目标融合特征图与多尺度双重注意力特征图进行融合，得到显式轮廓引导目标检测特征图。

具体地，如图4所示，将得到的轮廓感知特征图引入到轮廓引导特征融合模块中，实现轮廓对多尺度目标融合特征的显式引导。在进行特征融合时，首先，将轮廓感知特征图通过一个缩放操作以及一个1×1卷积来调整自身尺寸，得到尺度修正轮廓感知特征图，使其与即将融合的多尺度融合目标特征图的尺寸保持一致。其次，将尺度修正轮廓感知特征图送入多尺度双重注意力模块中，生成多尺度双重注意力特征图；最后，采用乘加融合，将多尺度目标融合特征图图与多尺度双重注意力特征图进行融合，得到显式轮廓引导目标检测特征图。

其中，显式轮廓引导目标检测特征图的获取步骤具体为：多尺度双重注意力机制包括多尺度空间注意力机制和通道注意力机制；根据多尺度空间注意力机制构建多个平行且预设空洞率的卷积工作流，将尺度修正轮廓感知特征图输入卷积工作流，得到空间注意力特征图，卷积工作流包含两个卷积核大小为3×3的空洞卷积运算；将空间注意力特征图通过通道堆叠以及一个1×1卷积，转换为多尺度空间注意力特征图；基于通道注意力机制，将尺度修正轮廓感知特征图通过一个全局平均池化操作和两个1×1卷积，获取通道注意力特征图；将多尺度空间注意力特征图与通道注意力特征图相加，得到多尺度双重注意力特征图；采用先乘后加的方式，将多尺度双重注意力特征图与多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图。

具体地，多尺度双重注意力模块由两部分构成，即多尺度空间注意力模块和通道注意力模块。为了捕获多尺度目标的空间特征，在多尺度空间注意力模块中构建三个平行且具有不同空洞率的卷积工作流，其中，三个空洞率可以分别设定为1、2、3，每一个卷积工作流包含两个卷积核大小为3×3的卷积运算；将得到的三个不同尺度的空间注意力特征图通过通道堆叠以及一个1×1卷积，转化得到一个多尺度空间注意力特征图。

与此同时，通道注意力模块通过一个全局平均池化操作以及两个1×1卷积，从尺度修正轮廓感知特征图中捕获通道注意力，得到通道注意力特征图；将多尺度空间注意力特征图与通道注意力特征图相加，得到多尺度双重注意力特征图。

最后，采用先乘后加的方式将多尺度双重注意力特征图与多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图。

步骤S107，将显式轮廓引导目标检测特征图输入到目标框检测头中，得到目标检测结果。

具体地，根据上述得到的显式轮廓引导目标检测特征图，将其输入到目标框检测头中，对输入图像进行检测，从而得到对应的目标检测结果，能够适用于遥感多类目标检测任务，且提升了多类目标检测性能和定位精度，有利于在复杂背景下的多类目标检测。

在本实施例中，获取输入图像，输入YOLOX特征提取网络，得到多尺度目标特征图，通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核，根据预设空洞率和空间变化上下文卷积核对最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，并用于对最深层特征图进行加权，得到空间感知上下文增强目标特征图，有利于细化全局上下文的作用颗粒度，便于不同类别的目标特征根据其空间位置分布和环境的语义关联进行自适应增强；通过YOLOX特征融合网络，对多尺度目标特征图和空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图，实现多尺度目标特征图和空间感知上下文增强特征图的位置信息和语义信息的跨层级融合和细化；通过轮廓引导特征提取算法，提取多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图，同时结合轮廓引导特征融合算法和多尺度双重注意力机制，将轮廓感知特征图与多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图，提升了不同类别的可区分性，抑制冗余信息的干扰；将显式轮廓引导目标检测特征图输入到目标框检测头中，得到目标检测结果，从而实现对复杂背景下多类目标的多尺度目标检测，提升了检测性能和定位精度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，包括以下步骤：

获取输入图像，通过YOLOX特征提取网络得到多尺度目标特征图；

通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核；

根据预设的空洞率和所述空间变化上下文卷积核对所述最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图；

通过YOLOX特征融合网络，对所述多尺度目标特征图和所述空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图；

通过轮廓引导特征提取算法，提取所述多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图；

结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图；

将所述显式轮廓引导目标检测特征图输入到目标框检测头中，得到目标检测结果。

2.根据权利要求1所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述通过空间变化上下文增强算法，将最深层特征图的空间位置信息编码到全局上下文中，得到包含语义信息和空间位置信息的空间变化上下文卷积核，包括：

获取所述多尺度目标特征图的最深层特征图，在所述最深层特征图为

时，将所述最深层特征图分别通过两个独立的1×1卷积，即T_k和T_q，转换为特征图

和特征图

其中，s²表示空间变化上下文卷积核每个通道上的神经元个数；

将两个所述特征图展平，得到两个二维特征矩阵

和

将所述二维特征矩阵

转置为

并与所述二维特征矩阵

进行矩阵相乘，得到

其中，

将特征矩阵

恢复为三维特征图

得到包含语义信息和空间位置信息的空间变化上下文卷积核。

3.根据权利要求1所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述根据预设的空洞率和所述空间变化上下文卷积核对所述最深层特征图进行深度空洞卷积计算，得到多尺度上下文感知空间变化加权因子，根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图，包括：

将所述空间变化上下文卷积核扩展为具有多个预设空洞率的空洞卷积核；

将所述空洞卷积核分别与所述最深层特征图进行深度卷积，并采用Sigmoid激活函数对卷积后的最深层特征图进行非线性处理，通过叠加融合，得到多尺度上下文感知空间变化加权因子；

根据所述多尺度上下文感知空间变化加权因子对所述最深层特征图进行加权，得到空间感知上下文增强目标特征图。

4.根据权利要求1所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述通过YOLOX特征融合网络，对所述多尺度目标特征图和所述空间感知上下文增强目标特征图进行融合，得到多尺度目标融合特征图，包括：

将所述多尺度目标特征图和所述空间感知上下文增强特征图输入到YOLOX特征融合网络中，通过自下而上、自上而下的信息流，对所述多尺度目标特征图和所述空间感知上下文增强特征图进行位置信息和语义信息的跨层级融合和细化，得到多尺度目标融合特征图。

5.根据权利要求1所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述通过轮廓引导特征提取算法，提取所述多尺度目标融合特征图的轮廓感知特征图，并采用轮廓损失函数进行显式监督，得到目标轮廓图，包括：

在多尺度目标融合特征图的每个层级上，采用1×1的卷积统一各层级特征图的通道数，并通过上采样统一各层级特征图的空间尺寸；

将通道数和空间尺寸统一后的各层级特征图进行叠加融合，并通过连续卷积构造得到轮廓感知特征图；

采用1×1卷积和Softmax激活函数，将所述轮廓感知特征图转换为轮廓检测结果图，得到目标轮廓图。

6.根据权利要求5所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述轮廓损失函数包括：

采用平衡交叉熵损失函数对所述轮廓检测结果图进行监督，设轮廓检测结果图为

且轮廓真值C∈[0,1]^W×H×2，假定第一个通道为轮廓图，第二个通道为背景图，则轮廓平衡交叉熵损失L_con为：

其中，

式中，α是训练数据中轮廓像素点数与所有像素点数之间的比值。

7.根据权利要求1所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度融合目标特征图进行融合，得到显式轮廓引导目标检测特征图，具体包括：

对所述轮廓感知特征图进行缩放，并通过1×1卷积，得到尺度修正轮廓感知特征图；

基于多尺度双重注意力机制，根据所述尺度修正轮廓感知特征图生成多尺度双重注意力特征图；

采用乘加融合，将所述多尺度目标融合特征图与所述多尺度双重注意力特征图进行融合，得到显式轮廓引导目标检测特征图。

8.根据权利要求7所述的显式轮廓引导和空间变化上下文增强的遥感目标检测方法，其特征在于，所述结合轮廓引导特征融合算法和多尺度双重注意力机制，将所述轮廓感知特征图与所述多尺度目标融合特征图进行融合，得到显式轮廓引导目标检测特征图，包括：

所述多尺度双重注意力机制包括多尺度空间注意力机制和通道注意力机制；

根据所述多尺度空间注意力机制构建多个平行且预设空洞率的卷积工作流，将所述尺度修正轮廓感知特征图输入所述卷积工作流，得到空间注意力特征图，所述卷积工作流包含两个卷积核大小为3×3的空洞卷积运算；

将所述空间注意力特征图通过通道堆叠以及一个1×1卷积，转换为多尺度空间注意力特征图；

基于所述通道注意力机制，将所述尺度修正轮廓感知特征图通过一个全局平均池化操作和两个1×1卷积，获取通道注意力特征图；

将所述多尺度空间注意力特征图与所述通道注意力特征图相加，得到多尺度双重注意力特征图；

采用先乘后加的方式，将所述多尺度双重注意力特征图与所述多尺度目标融合特征图进行融合，得到显示轮廓引导目标检测特征图。

Images