CN112101189B - 基于注意力机制的sar图像目标检测方法及测试平台 - Google Patents

Abstract

本发明公开了一种基于注意力机制的SAR图像目标检测方法及测试平台，检测方法在特征提取阶段，使用全局注意力模块提取合成孔径雷达图像除颜色形状之外的高级特征，在候选框提取阶段，使用局部注意力模块获取更精确有效的候选区域，预测框基于分类回归网络对具有高级特征的特征金字塔进行目标预测，得到检测结果；仿真测试平台能够实现图像预处理、目标的检测与识别等功能，形成了一套完整的基于大数据分析的自动目标检测识别算法地面仿真测试平台。本发明检测方法通过仿真测试平台的验证，进一步证实了鲁棒性好，检测准确率高。

Description

基于注意力机制的SAR图像目标检测方法及测试平台

技术领域

本发明涉及深度学习和模式识别技术领域，更具体的说是涉及基于注意力机制的合成孔径雷达图像目标检测方法、目标仿真测试平台。

背景技术

当前，合成孔径雷达(SAR)在遥感对地观测、资源勘查、侦察预警等应用领域中逐渐占据重要地位，成为不可或缺的探测手段。与可见光或红外遥感影像相比，SAR图像对于某些典型目标具有更好的成像效果和更独特的应用场合。此外，SAR的电磁散射机制给SAR图像提供了特有的目标特性，虽然这些特征从视觉的角度不易观察和分析，但其中蕴含的目标信息对于物体的检测定位以及后续的分类识别有很大的帮助。因此，根据SAR图像的成像结果对现实目标进行检测，形成成熟的算法和软件框架，日趋成为遥感影像应用中的重要领域，可服务于海洋、减灾、气象、军事等多个行业和业务部门。

SAR图像的目标检测算法中，传统方法可分为基于背景杂波统计分布的检测方法，基于极化分解的检测方法，以及基于极化特征的舰船检测方法。这些基于先验统计信息的数学建模检测方法在于需要根据当前识别任务设计分类器或有针对性地提取其他特征，算法在使用场景发生变化后的鲁棒性不足，需要不断更新算法相关模块以适应不同的任务。

因此，如何提供一种基于注意力机制的合成孔径雷达图像目标检测方法及仿真测试平台是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于注意力机制的合成孔径雷达(SAR)图像目标仿真测试平台及检测方法，仿真测试平台能够实现图像预处理、目标的检测与识别等功能，目标检测算法鲁棒性好，检测准确率高。

为了实现上述目的，本发明采用如下技术方案：

基于注意力机制的合成孔径雷达图像目标检测方法，包括：

步骤一：输入SAR图像，并基于全局注意力模块从空间域和通道域计算注意力权重，形成3D注意力掩膜，构建特征金字塔；

步骤二：局部注意力模块计算所述特征金字塔中不同层次特征的分布情况，聚类得到当前特征分类回归的预测框；

步骤三：所述预测框基于分类回归网络对所述特征金字塔进行目标预测，得到检测结果。

进一步，步骤一具体包括：

步骤11：可变形卷积对所述SAR图像进行卷积运算，在空间域上得到2D注意力特征图；

步骤12：通过全局平均池化层的压缩函数F_sq将所述2D注意力特征图各通道上空间特征编码为全局特征，具体计算过程为：

其中，Z_c表示一个通道的全局特征，H、W分别表示空间域的高和宽，u_c表示通道的空间特征；

步骤13：将各通道的全局特征通过激励函数F_ex恢复特征图的维度，得到各通道的注意力权重S_c，具体计算过程为：

s_c＝F_ex(z_c,W)＝σ(g(z_c,W))＝σ(W₂δ(W₁,z_c)) (2)

其中，δ()表示ReLU层运算，W₁是该层对应参数，σ()表示sigmoid函数运算，W₂是该层对应参数；

步骤14：通过尺度函数F_scale将各通道的注意力权重与其对应的通道特征图结合，得到各通道注意力权重特征图

步骤15：将所述各通道注意力权重特征图与所述2D注意力特征图结合，形成3D注意力掩膜，输出特征金字塔。

SAR图像目标仿真测试平台，包括：地面SAR目标检测系统、地面SAR目标分类识别系统和星上SAR目标检测仿真系统，且上述系统均包括图像调取模块、显示模块和算法模块，所述图像调取模块分别与所述显示模块和所述算法模块连接，且所述显示模块和所述算法模块连接；

所述图像调取模块用于从数据库中调取待检测图像；

所述显示模块用于显示相关信息；

所述算法模块包括多种目标检测算法或多种分类识别算法，用于根据具体指令对所述待检测图像进行目标检测或分类识别，其中，目标检测算法包括基于注意力机制的SAR图像目标检测算法。

进一步，所述显示模块包括图像显示界面和信息显示界面，显示的相关信息包括待检测图像、待检测图像在系统的位置、检测结果图像、检测算法、检测时间以及检测的目标数量。

进一步，所述地面SAR目标检测系统和所述地面SAR目标分类识别系统还包括性能指标计算模块，所述性能指标计算模块分别与所述显示模块和所述算法模块连接，用于提供各目标检测算法在数据集上的检测效果指标。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于注意力机制的SAR图像目标检测方法及测试平台，使用全局注意力模块提取SAR图像除颜色形状之外的高级特征，在候选框提取阶段，使用局部注意力模块获取更精确有效的候选区域，提高了算法的运行效率，具有很好的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的基于注意力机制的SAR图像目标检测方法流程图。

图2附图为本发明提供的SAR图像目标仿真测试平台中地面仿真目标检测系统、星上仿真目标检测系统结构框图。

图3附图为本发明提供的SAR图像目标仿真测试平台中地面SAR目标分类识别系统结构框图。

图4附图为基于注意力机制的SAR图像目标检测方法效果图。

图5附图为地面SAR目标检测系统的目标检测界面。其中，ours为本发明算法。

图6附图为地面SAR目标分类识别系统的分类识别界面。

图7附图为星上SAR目标检测仿真系统的目标检测界面。其中，ours为本发明算法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，本发明实施例公开了一种基于注意力机制的SAR图像目标检测方法，如图1所示，整体结构为一个两阶段的目标检测模型。在特征提取阶段，使用全局注意力模块(GAM)来提取SAR图像除颜色形状之外的高级特征。在候选框提取阶段，使用局部注意力模块(LAM)来获取更精确有效的候选区域，提高算法的运行效率。包括以下步骤：

步骤一：输入SAR图像，使用全局注意力模块从空间域和通道域两个角度共同计算注意力权重，从而形成3D注意力掩膜，构建特征金字塔。具体的包括：

步骤11：在空间域上使用可变形卷积进行卷积运算，在空间域上形成2D的注意力特征图。可变形卷积的引入使得特征提取的过程不只对每个像素点进行计算，而能兼顾到该像素点的周围内容，在不增加过多计算量的情况下有效扩大了卷积的感受野。

为了弥补SAR图像在空间域颜色形状等特征的缺失，使用通道域的注意力模块挖掘图像的高层特征，其过程主要有以下三步：

步骤12：先通过压缩函数Fs_q将一个通道上整个空间特征uc编码为一个全局特征Z_c，采用全局平均池化来实现：

H×W表示通道特征图在空间域的大小；

步骤13：为了降低模型复杂度以及提升泛化能力，每个特征图所有通道的全局特征z＝[z₁，……，z_c]采用包含两个全连接层的激励函数F_ex恢复特征图的维度,具体方法是先用一个ReLU层维持输出的维度，再用一个sigmoid函数得到各通道注意力权重S_c，

s_c＝F_ex(z_c,W)＝σ(g(z_c,W))＝σ(W₂δ(W₁,z_c)) (2)

相应的S＝[S₁,...S_c]：

通过各通道的注意力权重S_c，计算得到整个特征图的全部注意力权重S：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z)) (3)

δ()表示ReLU层运算，W₁是该层对应参数，σ()表示sigmoid函数运算，W₂是该层对应参数。

步骤14：采用尺度函数F_scale将学习到的各个通道的注意力权重与其对应的各通道特征图结合，即各通道特征图u_c和通道权重S_c对应的二维矩阵相乘，得到各通道注意力权重特征图：

步骤15：将各通道注意力权重特征图

和2D空间域注意力特征图结合，形成了3D注意力掩膜，提升了基础网络的特征提取能力。

步骤二：局部注意力模块通过计算特征金字塔中图像不同层次特征的分布情况，聚类得到最适合当前特征分类回归的Anchor。

当前基于深度学习的目标检测算法中往往通过手动设定Anchor先验框遍历图像特征图，但是这种方式在应用于SAR图像时，受限于遥感影像目标特性，背景信息占比高而且负样本类型复杂，传统的手动设定Anchor先验框的方式会造成巨大的计算冗余和样本不平衡问题。因此，本发明将手动设定Anchor改为基于特征金字塔来针对图像不同层次的特征信息来产生Anchor，使得算法模型对于目标区域更加敏感，检测更加高效。

步骤三：采用局部注意力模块产生的Anchor，在全局注意力模块输出的特征金字塔上预测目标区域。

这一步将全局注意力模块和局部注意力模块的输出结果相结合，全局注意力模块提供更具代表性的特征图，局部注意力模块提供更准确高效的预测框，二者通过分类回归网络，预测出目标所在位置，输出最终检测结果。

实施例2，SAR图像目标仿真测试平台包含了三种不同应用环境和应用形式的测试系统，分别为地面SAR目标检测系统、地面SAR目标分类识别系统和星上SAR目标检测仿真系统。

以上系统均包括图像调取模块、显示模块和算法模块，图像调取模块分别与显示模块和算法模块连接，且显示模块和算法模块连接；

图像调取模块用于从数据库中调取待检测图像；

显示模块用于显示相关信息；

算法模块包括目标检测算法或分类识别算法，用于根据具体指令对待检测图像进行目标检测或分类。当系统启动时，将自动对算法模块进行初始化，包括系统参数的设定以及网络模型的读取。其中，地面SAR目标检测系统、星上SAR目标检测仿真系统中的算法模块包括多种目标检测算法，包括基于注意力机制的SAR图像目标检测方法，星上仿真目标检测系统中的算法模块包括多种目标分类识别算法。

显示模块包括图像显示模块和信息显示模块。图像显示模块可以显示待检测图像以及显示从算法模块读取的检测结果图像。信息显示模块可以显示数据库图像的信息以及显示算法模块输出的检测结果的详细信息。

算法模块由若干种算法组成，其中包含的算法根据应用场景和应用目标的不同而有所区别。算法模块在系统启动时完成初始化，可以通过用户的指令对显待测图像进行检测，并将检测结果输出返回显示模块进行展示。

本发明仿真测试平台根据应用环境的不同搭载了不同的算法。用户在图形化交互界面中选取相应的算法后，系统会调用相应的算法对选取的待检测的图像进行检测。当检测完成时，系统会自动将包含检测结果的图像显示在系统界面上，同时显示结果图像的信息，包括使用的检测算法、检测时间以及图像中检测到的目标数量。

优选的，地面SAR目标检测系统、地面SAR目标分类识别系统的检测结果会在结果图像中以红色检测框的形式表示，用户可以通过双击红色检测框来获取对应目标的详细信息，包括检测的置信度、目标与真实标注位置的交并比(IoU)、以及目标在图像中的坐标位置。

优选的，地面SAR目标检测系统、地面SAR目标分类识别系统还包括性能指标计算模块，根据从算法模块发送的数据，计算各检测方法在数据集上的检测效果指标，即查准率-查全率曲线(PR曲线)，并通过显示模块进行显示，该曲线可以直接反映检测算法的性能。

本发明SAR图像目标仿真测试平台满足了目标检测识别算法演示、验证与测试的需求，集演示、验证、优化为一体，是计算机算法开发和实际应用中实时图像处理系统之间的桥梁，不仅可以为算法验证提供数据源，还可以测试自动目标识别算法和智能决策方法的性能，是遥感卫星自动目标识别系统研制过程中必不可少的一环，平台选择NVIDIA AGXXavier为嵌入式硬件系统，不仅能支撑目标检测识别等算法，也能够支撑最新的深度学习算法，能够实现图像预处理、目标的检测与识别等功能，形成了一套完整的基于大数据分析的自动目标检测识别算法地面仿真测试平台。

实验部分：表1的结果显示，同另外五种较为先进的基于深度学习的目标检测算法相比，本项目提出的目标检测算法在SAR舰船检测数据集GF-3和Sentinel-1上都达到了最高的平均准确度(AP)。具体效果比两阶段目标检测算法高出了1到2个百分点，比一阶段的目标检测算法高出了3到4个百分点。

表1不同方法的检测效果(AP指标)对比

方法	GF-3数据集AP(％)	Sentinel-1数据集AP(％)
			Faster R-CNN	93.3	94.4
Cascade R-CNN	94.2	94.7
			Libra R-CNN	94.4	95.0
Retinanet	92.7	93.8
			SSD300	91.0	92.4
本项目	95.1	95.8

从图4的检测结果可以看出，就舰船目标而言。本发明的方法针对小目标多目标、海岸港口、噪声干扰这三类复杂情况下的舰船目标都能起到较好的检测效果，进一步论证了本发明具有很好的鲁棒性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.基于注意力机制的SAR图像目标检测方法，其特征在于，包括：

步骤一：输入SAR图像，并基于全局注意力模块从空间域和通道域计算注意力权重，形成3D注意力掩膜，构建特征金字塔；

步骤二：基于局部注意力模块计算所述特征金字塔中不同层次特征的分布情况，聚类得到当前特征分类回归的预测框；

步骤三：基于分类回归网络所述预测框对所述特征金字塔进行目标预测，得到目标检测结果；

步骤一具体包括：

步骤11：通过可变形卷积对所述SAR图像进行卷积运算，在空间域上得到2D注意力特征图；

步骤12：通过全局平均池化层的压缩函数F_sq将所述2D注意力特征图各通道上空间特征编码为全局特征，具体计算过程为：

其中，z_c表示一个通道的全局特征，H、W分别表示空间域的高和宽，u_c表示通道的空间特征；

步骤13：将各通道的全局特征通过激励函数F_ex恢复特征图的维度，得到各通道的注意力权重Sc，具体计算过程为：

s_c＝F_ex(z_c,W)＝σ(g(z_c,W))＝σ(W₂δ(W₁,z_c)) (2)

其中，δ()表示ReLU层运算，W₁是该层对应参数，σ()表示sigmoid函数运算，W₂是该层对应参数；

步骤14：通过尺度函数F_scale将各通道的注意力权重与其对应的通道特征图结合，得到各通道注意力权重特征图

步骤15：将所述各通道注意力权重特征图与所述2D注意力特征图结合，形成3D注意力掩膜，输出特征金字塔。

2.SAR图像目标仿真测试平台，其特征在于，包括：地面SAR目标检测系统、地面SAR目标分类识别系统和星上SAR目标检测仿真系统，且上述系统均包括图像调取模块、显示模块和算法模块，所述图像调取模块分别与所述显示模块和所述算法模块连接，且所述显示模块和所述算法模块连接；

所述图像调取模块用于从数据库中调取待检测图像；

所述显示模块用于显示相关信息；

所述算法模块包括多种目标检测算法或多种分类识别算法，用于根据具体指令调取相关算法对所述待检测图像进行目标检测或分类识别，其中，目标检测算法包括基于注意力机制的SAR图像目标检测算法，包括：

步骤一：输入SAR图像，并基于全局注意力模块从空间域和通道域计算注意力权重，形成3D注意力掩膜，构建特征金字塔；

步骤二：基于局部注意力模块计算所述特征金字塔中不同层次特征的分布情况，聚类得到当前特征分类回归的预测框；

步骤三：基于分类回归网络所述预测框对所述特征金字塔进行目标预测，得到目标检测结果；

步骤一具体包括：

步骤11：通过可变形卷积对所述SAR图像进行卷积运算，在空间域上得到2D注意力特征图；

步骤12：通过全局平均池化层的压缩函数F_sq将所述2D注意力特征图各通道上空间特征编码为全局特征，具体计算过程为：

其中，z_c表示一个通道的全局特征，H、W分别表示空间域的高和宽，u_c表示通道的空间特征；

步骤13：将各通道的全局特征通过激励函数F_ex恢复特征图的维度，得到各通道的注意力权重Sc，具体计算过程为：

s_c＝F_ex(z_c,W)＝σ(g(z_c,W))＝σ(W₂δ(W₁,z_c)) (2)

其中，δ()表示ReLU层运算，W₁是该层对应参数，σ()表示sigmoid函数运算，W₂是该层对应参数；

步骤14：通过尺度函数F_scale将各通道的注意力权重与其对应的通道特征图结合，得到各通道注意力权重特征图

步骤15：将所述各通道注意力权重特征图与所述2D注意力特征图结合，形成3D注意力掩膜，输出特征金字塔。

3.根据权利要求2所述的SAR图像目标仿真测试平台，其特征在于，所述显示模块包括图像显示界面和信息显示界面，显示的相关信息包括待检测图像、待检测图像在系统的位置、检测结果图像、检测算法、检测时间以及检测的目标数量。

4.根据权利要求2或3所述的SAR图像目标仿真测试平台，其特征在于，所述地面SAR目标检测系统和所述地面SAR目标分类识别系统还包括性能指标计算模块，所述性能指标计算模块分别与所述显示模块和所述算法模块连接，用于提供各目标检测算法在数据集上的检测效果指标。

Images