CN115631452B - 智能红外弱小目标检测方法、装置、电子设备及介质 - Google Patents

Abstract

本发明提供一种智能红外弱小目标检测方法、装置、电子设备及介质，涉及红外目标检测和红外遥感图像处理技术领域。该方法在传统的ACM算法的基础上，首先对其特征融合模块进行了改进，其次在特征提取模块的各阶段向特征融合模块的通路上增加了上下文信息提取模块。待测图像在输入网络之后，首先经过特征提取模块，分别在三个阶段得到三个不同尺度的第一特征图。随后，三个第一特征图分别通过上下文信息提取模块与多尺度特征融合模块逐个进行融合。得到最终的融合后的目标特征图之后，可以将该目标特征图通过一个检测头获得最终的检测结果。本发明可以解决ACM算法存在的问题，达到更好的红外小目标检测性能。

Description

智能红外弱小目标检测方法、装置、电子设备及介质

技术领域

本发明涉及红外目标检测和红外遥感图像处理技术领域，尤其涉及一种智能红外弱小目标检测方法、装置、电子设备及介质。

背景技术

红外检测与跟踪系统在航空航天、海面救援等技术领域都有着颇为广泛的应用，主要为探测船舶具有高辐射特性的目标。然而，由于红外成像距离相对较远、红外探测器性能较差等原因，使得目标成像后多表现为弱小的点状目标，缺乏明显的纹理与几何等结构信息，且图像中存在的同样具有高辐射特性的复杂背景、噪声或杂波很容易造成目标边缘模糊，甚至直接淹没目标。因此，对复杂背景下的红外弱小目标进行准确的检测是红外检测与跟踪系统领域的关键问题，也是具有一定挑战性的问题。

传统的红外弱小目标检测方法主要分为以下三类：（1）基于背景一致性假设的方法；（2）基于人类视觉系统的显著性特征提取方法；（3）基于稀疏和低秩矩阵恢复的方法。传统方法通过对问题进行人为的分析假设，或手工设计相应的检测特征，由此实现对红外弱小目标的检测任务。然而此类方法由于假设或特征设计中的人为性，检测效果会十分依赖其假设或设计特征的可靠性，因此方法的效果上限也相对有限。

受深度学习影响，Dai等人于2019年提出了一种非对称上下文融合卷积神经网络(ACM)，用于实现红外小目标检测，在准确性与鲁棒性上都达到了当时最佳的水平，其整体结构如图1a所示。该方法以特征金字塔网络为骨架，将待测图像输入网络之后，首先通过特征提取网络得到三个不同尺度下的特征，然后再从最深层的特征开始与浅层特征逐步融合，最终获得通过特征表示得到的检测结果。

ACM算法的核心主要在于其特征融合模块，其具体结构如图1b所示。在多尺度特征提取网络获得的特征中，越深层次的特征拥有越大的感受野，包含了更多的语义信息，但同时也丢失了更多的空间细节；反之，浅层次的特征拥有更为丰富的空间细节，但是语义信息并不突出。因此，ACM算法在融合不同尺度特征时采用了不同的处理方式。对浅层特征，多尺度特征融合模块使用两层1×1卷积对其空间细节进行着重提取，以获得空间注意力信息；对深层特征，多尺度特征融合模块则首先进行全局池化，再做自编码器操作，由此进行语义信息的提取，获得通道注意力信息。最后将两个不同尺度的特征获得的注意力进行相互指导，即用深层特征获得的通道注意力指导浅层特征，用浅层特征获得的空间注意力指导深层特征，再将两者结合起来，得到最终融合的结果。

Dai提出的ACM算法在当时获得了最佳的结果。然而，该方法依然存在一些问题。一方面，当图像中存在多个较为分散的目标时，由于多尺度特征融合模块中使用全局池化进行注意力的计算，训练结果会将注意力放在最为显著的目标上，而对显著性较弱的目标会有所忽略，从而导致在面对具有多个分散目标的检测问题时，算法只能检测得到其中较为明显的几个目标，而对其他目标产生漏检；另一方面，ACM算法的多尺度特征融合模块在对低层特征进行处理时，连续两层使用了1×1卷积进行特征提取。这种只使用了单像素信息的操作会忽略周围像素的信息，因此在与上采样得到的深层特征融合时，不能有效对边缘特征进行精准定位，导致部分检测结果的边缘不准确，尤其在面对部分边缘较为复杂的目标时，检测得到的目标形状往往与实际结果有所出入。

发明内容

鉴于上述问题，本发明提供了一种智能红外弱小目标检测方法、装置、电子设备及介质。

本发明的第一方面提供了一种智能红外弱小目标检测方法，包括：步骤S1，获取待测图像，将所述待测图像输入预设的特征提取模块，提取所述待测图像中的不同尺度的多个第一特征图；步骤S2，使用预设的上下文信息提取模块，提取所述多个第一特征图包含的不同距离的多个上下文信息，得到带有上下文信息的多个第二特征图；步骤S3，使用预设的多尺度特征融合模块，在所述多个第二特征图中，从最深层的第二特征图开始，对于深层特征图和浅层特征图采用不同的处理方式，获得所述深层特征图对应的通道注意力信息以及所述浅层特征图对应的空间注意力信息；步骤S4，使用所述通道注意力信息来指导所述浅层特征图，使用所述空间注意力信息来指导所述深层特征图，再将指导后的浅层特征图和指导后的深层特征图逐步进行融合，获得融合后的目标特征图；步骤S5，根据所述融合后的目标特征图，输出红外弱小目标的检测结果。

本发明的第二方面提供了一种智能红外弱小目标检测装置，包括：特征提取模块，用于获取待测图像，提取所述待测图像中的不同尺度的多个第一特征图；上下文信息提取模块，用于提取所述多个第一特征图包含的不同距离的多个上下文信息，得到带有上下文信息的多个第二特征图；多尺度特征融合模块，用于在所述多个第二特征图中，从最深层的第二特征图开始，对于深层特征图和浅层特征图采用不同的处理方式，获得所述深层特征图对应的通道注意力信息以及所述浅层特征图对应的空间注意力信息；以及，使用所述通道注意力信息来指导所述浅层特征图，使用所述空间注意力信息来指导所述深层特征图，再将指导后的浅层特征图和指导后的深层特征图逐步进行融合，获得融合后的目标特征图；检测头模块，用于根据所述融合后的目标特征图，输出红外弱小目标的检测结果。

本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述智能红外弱小目标检测方法。

本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述智能红外弱小目标检测方法。

与现有技术相比，本发明提供的智能红外弱小目标检测方法、装置、电子设备及介质，至少具有以下有益效果：

（1）传统的ACM算法中的多尺度特征融合模块在处理深层特征时，采用了一个全局池化，以便网络对其通道注意力进行计算。这一设计造成在面对多个较为分散的目标时，网络会更侧重于显著性更高的目标而忽略显著性较低的目标，从而导致漏检。针对此问题，本发明在多尺度特征融合模块中处理深层特征的部分增加了一条支路，使网络在融合过程中对深层特征的通道注意力进行计算时能够对显著性较低的目标进行兼顾。

（2）传统的ACM算法的多尺度特征融合模块在对浅层特征进行处理时，只使用了连续两层1×1的卷积对其中的空间细节进行提取，这一设计忽略了周围像素带有的上下文信息，使得网络面对部分目标的边缘定位不够准确，尤其在目标边缘较为复杂的情况下，检测得到的结果会与实际结果存在较大出入。针对这一问题，为充分利用图像中的上下文信息，本发明在特征提取模块与多尺度特征融合模块的连接处增加了上下文信息的提取模块，以便更充分利用图像中的上下文信息。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1a示意性示出了相关技术中的ACM算法的网络结构图；

图1b示意性示出了相关技术中的ACM算法中的特征融合模块的网络结构图；

图2示意性示出了根据本发明实施例的智能红外弱小目标检测方法的整体算法结构图；

图3示意性示出了根据本发明实施例的智能红外弱小目标检测方法的流程图；

图4示意性示出了根据本发明实施例的特征提取模块的网络结构图；

图5示意性示出了根据本发明实施例的上下文信息提取模块的网络结构图；

图6示意性示出了根据本发明实施例的上下文信息提取模块的处理流程图；

图7示意性示出了根据本发明实施例的多尺度特征融合模块的网络结构图；

图8示意性示出了根据本发明实施例的多尺度特征融合模块的处理流程图；

图9示意性示出了根据本发明实施例的智能红外弱小目标检测装置的方框图；

图10示意性示出了根据本发明实施例的适于实现智能红外弱小目标检测方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

在实现本发明构思的过程中，发明人发现相关技术中，特别针对Dai提出的ACM算法，至少存在如下问题：

（1）ACM算法中的多尺度特征融合模块在处理深层特征时会首先使用全局池化的方法，以便后续进行通道注意力的提取。但此方法的使用会使得到的通道注意力偏重于图像中最为显著的目标，导致在面对多个目标时，显著性较弱的目标容易被忽略；

（2）ACM算法中的特征融合模块在处理浅层特征时，通过连续使用两层1×1卷积的方法来提取较为细节的边缘信息。此操作对周边像素的信息并未得到有效利用，进一步造成在不同尺度特征融合时，不能有效对边缘特征进行精准定位，最终导致部分检测结果的边缘不准确，尤其在面对部分边缘较为复杂的目标时，检测得到的目标形状往往与实际结果有所出入。

有鉴于此，本发明在Dai提出的ACM算法的基础上，提出了一种全新的智能红外弱小目标检测方法，可以解决ACM算法存在的问题，达到更好的红外小目标检测性能。

图2示意性示出了根据本发明实施例的智能红外弱小目标检测方法的整体算法结构图。图3示意性示出了根据本发明实施例的智能红外弱小目标检测方法的流程图。

结合图2-图3所示，根据该实施例的智能红外弱小目标检测方法可以包括步骤S1-步骤S5。

步骤S1，获取待测图像，将待测图像输入预设的特征提取模块，提取待测图像中的不同尺度的多个第一特征图。

步骤S2，使用预设的上下文信息提取模块，提取多个第一特征图包含的不同距离的多个上下文信息，得到带有上下文信息的多个第二特征图。

步骤S3，使用预设的多尺度特征融合模块，在多个第二特征图中，从最深层的第二特征图开始，对于深层特征图和浅层特征图采用不同的处理方式，获得深层特征图对应的通道注意力信息以及浅层特征图对应的空间注意力信息。

步骤S4，使用通道注意力信息来指导浅层特征图，使用空间注意力信息来指导深层特征图，再将指导后的浅层特征图和指导后的深层特征图逐步进行融合，获得融合后的目标特征图。

步骤S5，根据融合后的目标特征图，输出红外弱小目标的检测结果。

通过上述实施例，本发明在传统的ACM算法的基础上，首先对其特征融合模块进行了改进，其次在特征提取模块的各阶段向特征融合模块的通路上增加了上下文信息提取模块。待测图像在输入网络之后，首先通过stem模块进行初步的特征提取，然后经过特征提取模块，分别在三个阶段得到三个不同尺度的第一特征图。随后，三个第一特征图分别通过上下文信息提取模块与多尺度特征融合模块逐个进行融合。得到最终的融合后的目标特征图之后，可以将该目标特征图通过一个检测头获得最终的检测结果。

为了便于说明，第一特征图的数量例如可以为三个，以下对各个模块进行详细的说明。

（1）特征提取模块

本发明实施例中，在步骤S1，将待测图像输入预设的特征提取模块之前，还包括：采用stem模块对待测图像进行初步的特征提取。也即，待测图像在进入网络之后，首先通过stem模块进行初步的特征提取，然后经过特征提取模块，该特征提取模块的作用是通过若干卷积神经网络层获得输入图像不同尺度的特征表示。

图4示意性示出了根据本发明实施例的特征提取模块的网络结构图。

本发明实施例中，在步骤S1，特征提取模块包括三个阶段，每个阶段都包含多个由残差卷积层组成的卷积块，该特征提取模块的具体结构如图4所示。

（2）上下文信息提取模块

图像通过特征提取模块后会得到三个不同尺度的第一特征图，之后通过上下文信息提取模块，对每个像素与其周围的像素进行特征的计算。为实现此功能，本发明实施例中，在步骤S2，上下文信息提取模块使用不同膨胀率的三个空洞卷积层，来提取不同距离的上下文信息。

图5示意性示出了根据本发明实施例的上下文信息提取模块的网络结构图。图6示意性示出了根据本发明实施例的上下文信息提取模块的处理流程图。

结合图5和图6所示，本发明实施例中，在上述步骤S2的上下文信息提取模块中，对每个第一特征图按照以下步骤S21-步骤S23进行信息提取。

步骤S21，将输入的第一特征图分别经过三个支路，三个支路的对应的空洞卷积层的膨胀率互不相同，在每个支路中，该第一特征图先会通过一个卷积核大小与膨胀率相等的卷积层进行初步处理，再通过空洞卷积层，获得支路结果。

步骤S22，将三个支路对应的支路结果进行拼接，再使用1×1的卷积对通道数进行调整，获得调整后的支路结果。

步骤S23，将调整后的支路结果与输入的第一特征图相加，得到输入的第一特征图包含的上下文信息，形成第二特征图。

示例性地，如图5所示，该三个支路的对应的空洞卷积层的膨胀率分别为1、3、5。在每个支路中，对于输入的每个第一特征图，首先会通过一个卷积核大小与膨胀率相等的卷积层进行初步的处理，然后通过空洞卷积层。三个支路得到的结果通过拼接的方式结合在一起，然后再使用一个1×1的卷积对通道数进行调整。最后，通过支路结果与输入的第一特征图的相加，作为上下文信息提取模块的最终输出，也即每个第一特征图对应的第二特征图。

（3）多尺度特征融合模块

图7示意性示出了根据本发明实施例的多尺度特征融合模块的网络结构图。图8示意性示出了根据本发明实施例的多尺度特征融合模块的处理流程图。

在得到经过上下文信息提取模块处理的三个第二特征图之后，采用多尺度特征融合模块，对于深层特征图和浅层特征图采用不同的处理方式，获得深层特征图对应的通道注意力信息以及浅层特征图对应的空间注意力信息，然后将通道注意力信息和空间注意力信息按照图7-图8所示的顺序逐步进行融合。也即，该多尺度特征融合模块用于处理上述步骤S3-步骤S4。

在图7中， X _low 为浅层特征图， X _high 为深层特征图， Z为输出。结合图7-图8所示，本发明实施例中，在步骤S3，针对上述得到的三个第二特征图，对于其中的深层特征图和浅层特征图采用不同的处理方式，具体包括步骤S31-步骤S32。

步骤S31，对于深层特征图，将其分别通往第一支路和第二支路，在第一支路中，对该深层特征图先进行自适应池化，以将特征池化为预设尺度，再通过两层1×1卷积，获得第一通道权重；在第二支路中，对该深层特征图先进行全局池化，再通过两个全连接层，获得第二通道权重；将第一通道权重和第二通道权重相乘，得到深层特征图对应的通道注意力信息。

可以看出，与传统的ACM算法中的多尺度特征融合模块相比，本发明提出的多尺度特征融合模块，在对深层特征图的处理上增加了一个支路，也即第一支路。在该第一支路上，深层特征图会首先进行一次自适应池化，将特征池化为特定的尺度 S× S，然后再通过两层1×1的卷积。在另一支路（也即第二支路）中，深层特征图的处理方式同传统的ACM算法一样，首先会进行全局池化，然后通过两个全连接层，得到各通道对应的权重，包括第一通道权重和第二通道权重。

接着，本发明提出的多尺度特征融合模块，将两支路的通道权重相乘，并通过一个Sigmoid函数（激活函数的一种），获得深层特征图的处理结果，也即深层特征图对应的通道注意力信息。

步骤S32，对于浅层特征图，将其通过两层1×1卷积，获得浅层特征图对应的空间注意力信息。

对于浅层特征图，本发明的处理方式与传统的ACM算法相同。将浅层特征图经过连续两个1×1卷积层，然后通过Sigmoid函数得到处理的结果，也即空间注意力信息。

需要说明的是，步骤S31和步骤S32不存在严格的先后顺序，两者可以同步进行。

最后，使用深层特征图对应的通道注意力信息来指导浅层特征图，得到指导后的浅层特征图。使用浅层特征图对应的空间注意力信息来指导深层特征图，得到指导后的深层特征图。再将指导后的浅层特征图和指导后的深层特征图逐步进行融合，获得融合后的目标特征图。

请继续查阅图7，在具体实现方式上，将浅层特征图与深层特征图对应的通道注意力信息相乘，将深层特征图与浅层特征图对应的空间注意力信息相乘，再将两者相加，即得到多尺度特征融合的最终结果，也即融合后的目标特征图。

（4）检测头模块

在得到融合后的目标特征图之后，将该目标特征图通过检测头以得到最终的红外弱小目标的检测结果。

本发明实施例中，步骤S5具体包括：将融合后的目标特征图通过检测头，获得红外弱小目标的检测结果，该检测头由两层卷积层组成，将融合后的目标特征图中的每个像素判断为0或1，其中，0和1分别表示背景和红外弱小目标。

通过本发明的实施例，本发明提出了一种全新的智能红外弱小目标检测方法，通过以下两个方面，解决了传统的ACM算法存在的问题，达到更好的红外小目标检测性能。

一方面，传统的ACM算法中的多尺度特征融合模块在处理深层特征时，采用了一个全局池化，以便网络对其通道注意力进行计算。这一设计造成在面对多个较为分散的目标时，网络会更侧重于显著性更高的目标而忽略显著性较低的目标，从而导致漏检。针对此问题，本发明在多尺度特征融合模块中处理深层特征的部分增加了一条支路，使网络在融合过程中对深层特征的通道注意力进行计算时能够对显著性较低的目标进行兼顾。

另一方面，传统的ACM算法的多尺度特征融合模块在对浅层特征进行处理时，只使用了连续两层1×1的卷积对其中的空间细节进行提取，这一设计忽略了周围像素带有的上下文信息，使得网络面对部分目标的边缘定位不够准确，尤其在目标边缘较为复杂的情况下，检测得到的结果会与实际结果存在较大出入。针对这一问题，为充分利用图像中的上下文信息，本发明在特征提取模块与多尺度特征融合模块的连接处增加了上下文信息的提取模块，以便更充分利用图像中的上下文信息。

基于上述实施例公开的方法，发明人还对该方法的效果进行了比较分析，具体对输入图像、真实结果、ACM算法的检测结果，以及使用了本发明实施例的上下文信息提取模块之后的检测结果的实验效果进行了比较。

相比于传统的ACM算法，本发明在特征提取模块与多尺度特征融合模块之间增加了上下文信息提取模块。该模块能够计算特征提取模块得到的特征包含的上下文信息。本发明提出的上下文信息提取模块可以解决ACM算法中存在的对周围像素上下文信息利用不充分的问题。虽然并未在多尺度特征融合模块中进行对应的修改，但将上下文信息提取的功能设计在多尺度特征融合模块之外，可以同时避免模块内部过于复杂，更利于算法模型的训练。

此外，通过增加上下文信息提取模块，在SIRST数据集的整体检测结果上，本发明的IoU以及nIoU指标均提升超过2个百分点。基于上述四种检测结果的实验效果比较可以看出，在使用了上下文信息提取模块之后，算法对目标边缘的定位显然更为精准，距离较近的目标互相粘连的情况也得到了有效缓解。

同时，发明人还对该方法的效果进行了比较分析，具体对输入图像、真实结果、ACM算法的检测结果，以及使用了本发明实施例的多尺度特征提取模块之后的检测结果的实验效果进行了比较。

本发明在多尺度特征融合模块中对深层特征处理的部分增加支路的设计也有效解决了算法偏向于显著性较高的目标的问题。在增加的支路中，特征会被自适应池化为特定的尺度 S× S，可以视为将输入图像对应分割成 S× S的区域，后续的两层1×1卷积则将计算各个区域各自的权重。通过这种设计，本发明可以将各个区域独立开，避免由显著性最高的目标特征主导计算得到的注意力。虽然如此，如只使用新设计的支路，摒弃全局池化的支路，将会因为各个区域过于独立，从而造成算法将许多非目标的噪声或背景判断为目标的问题。因此，本发明在设计中选择将两个支路的计算结果进行结合，而非单一的只使用一种支路的设计。

同样是在SIRST数据集上进行实验，本发明在 S=4时整体的检测结果相比ACM算法提升了3~4个百分点。基于上述四种检测结果的实验效果比较可以看出，在使用了多尺度特征提取模块之后可以看出，ACM算法未能检测出的较弱目标在增加了该设计之后被成功检出。

本发明还提供了一种智能红外弱小目标检测装置，以下将结合图9对该装置进行详细描述。

图9示意性示出了根据本发明实施例的智能红外弱小目标检测装置的方框图。

如图9所示，根据该实施例的智能红外弱小目标检测装置900包括特征提取模块910、上下文信息提取模块920、多尺度特征融合模块930和检测头模块940。

特征提取模块910，用于获取待测图像，提取待测图像中的不同尺度的多个第一特征图。

上下文信息提取模块920，用于提取多个第一特征图包含的不同距离的多个上下文信息，得到带有上下文信息的多个第二特征图。

多尺度特征融合模块930，用于在多个第二特征图中，从最深层的第二特征图开始，对于深层特征图和浅层特征图采用不同的处理方式，获得深层特征图对应的通道注意力信息以及浅层特征图对应的空间注意力信息；以及，使用通道注意力信息来指导浅层特征图，使用空间注意力信息来指导深层特征图，再将指导后的浅层特征图和指导后的深层特征图逐步进行融合，获得融合后的目标特征图。

检测头模块940，用于根据融合后的目标特征图，输出红外弱小目标的检测结果。

需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，具体细节请参照上述方法实施例方式部分，在此不再赘述。

根据本发明的实施例，特征提取模块910、上下文信息提取模块920、多尺度特征融合模块930和检测头模块940中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，特征提取模块910、上下文信息提取模块920、多尺度特征融合模块930和检测头模块940中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，特征提取模块910、上下文信息提取模块920、多尺度特征融合模块930和检测头模块940中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本发明实施例的适于实现智能红外弱小目标检测方法的电子设备的方框图。

如图10所示，根据本发明实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器（ROM）1002中的程序或者从存储部分1008加载到随机访问存储器（RAM）1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备1000还可以包括输入/输出（I/O）接口1005，输入/输出（I/O）接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的智能红外弱小目标检测方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (8)

1.一种智能红外弱小目标检测方法，其特征在于，包括：

步骤S1，获取待测图像，将所述待测图像输入预设的特征提取模块， 提取所述待测图像中的不同尺度的多个第一特征图；

步骤S2，使用预设的上下文信息提取模块，提取所述多个第一特征图 包含的不同距离的多个上下文信息，得到带有上下文信息的多个第二特征 图；

步骤S3，使用预设的多尺度特征融合模块，在所述多个第二特征图中， 从最深层的第二特征图开始，对于深层特征图和浅层特征图采用不同的处 理方式，获得所述深层特征图对应的通道注意力信息以及所述浅层特征图 对应的空间注意力信息；

步骤S4，使用所述通道注意力信息来指导所述浅层特征图，使用所述 空间注意力信息来指导所述深层特征图，再将指导后的浅层特征图和指导 后的深层特征图逐步进行融合，获得融合后的目标特征图；

步骤S5，根据所述融合后的目标特征图，输出红外弱小目标的检测结 果；

其中，在步骤S2，所述上下文信息提取模块使用不同膨胀率的三个空 洞卷积层，来提取不同距离的上下文信息；在所述上下文信息提取模块中， 对每个所述第一特征图按照以下方式进行信息提取：

步骤S21，将输入的第一特征图分别经过三个支路，所述三个支路的 对应的空洞卷积层的膨胀率互不相同，在每个支路中，该第一特征图先会 通过一个卷积核大小与膨胀率相等的卷积层进行初步处理，再通过空洞卷 积层，获得支路结果；

步骤S22，将所述三个支路对应的支路结果进行拼接，再使用1×1 的卷积对通道数进行调整，获得调整后的支路结果；

步骤S23，将所述调整后的支路结果与所述输入的第一特征图相加， 得到所述输入的第一特征图包含的上下文信息，形成第二特征图。

2.根据权利要求1所述的智能红外弱小目标检测方法，其特征在于， 在步骤S1，所述特征提取模块包括三个阶段，每个阶段都包含多个由残差 卷积层组成的卷积块。

3.根据权利要求1所述的智能红外弱小目标检测方法，其特征在于， 在步骤S1，将所述待测图像输入预设的特征提取模块之前，还包括：

采用stem模块对所述待测图像进行初步的特征提取。

4.根据权利要求1所述的智能红外弱小目标检测方法，其特征在于， 在步骤S3，所述对于深层特征图和浅层特征图采用不同的处理方式，具体 包括：

步骤S31，对于深层特征图，将其分别通往第一支路和第二支路，在 所述第一支路中，对该深层特征图先进行自适应池化，以将特征池化为预 设尺度，再通过两层1×1卷积，获得第一通道权重；在所述第二支路中， 对该深层特征图先进行全局池化，再通过两个全连接层，获得第二通道权 重；将所述第一通道权重和第二通道权重相乘，得到所述深层特征图对应 的通道注意力信息；

步骤S32，对于浅层特征图，将其通过两层1×1卷积，获得所述浅层 特征图对应的空间注意力信息。

5.根据权利要求1所述的智能红外弱小目标检测方法，其特征在于， 所述步骤S5具体包括：

将所述融合后的目标特征图通过检测头，获得所述红外弱小目标的检 测结果，其中，所述检测头由两层卷积层组成，用于将所述融合后的目标 特征图中的每个像素判断为0或1，分别表示背景和红外弱小目标。

6.一种智能红外弱小目标检测装置，其特征在于，包括：

特征提取模块，用于获取待测图像，提取所述待测图像中的不同尺度 的多个第一特征图；

上下文信息提取模块，用于提取所述多个第一特征图包含的不同距离 的多个上下文信息，得到带有上下文信息的多个第二特征图；

多尺度特征融合模块，用于在所述多个第二特征图中，从最深层的第 二特征图开始，对于深层特征图和浅层特征图采用不同的处理方式，获得 所述深层特征图对应的通道注意力信息以及所述浅层特征图对应的空间 注意力信息；以及，使用所述通道注意力信息来指导所述浅层特征图，使 用所述空间注意力信息来指导所述深层特征图，再将指导后的浅层特征图 和指导后的深层特征图逐步进行融合，获得融合后的目标特征图；

检测头模块，用于根据所述融合后的目标特征图，输出红外弱小目标 的检测结果；

其中，所述上下文信息提取模块使用不同膨胀率的三个空洞卷积层， 来提取不同距离的上下文信息；在所述上下文信息提取模块中，对每个所 述第一特征图按照以下方式进行信息提取：

将输入的第一特征图分别经过三个支路，所述三个支路的对应的空洞 卷积层的膨胀率互不相同，在每个支路中，该第一特征图先会通过一个卷 积核大小与膨胀率相等的卷积层进行初步处理，再通过空洞卷积层，获得 支路结果；

将所述三个支路对应的支路结果进行拼接，再使用1×1的卷积对通 道数进行调整，获得调整后的支路结果；

将所述调整后的支路结果与所述输入的第一特征图相加，得到所述输 入的第一特征图包含的上下文信息，形成第二特征图。

7.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得 所述一个或多个处理器执行根据权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理 器执行时使处理器执行根据权利要求1-5中任一项所述的方法。

Images