CN111539434B - 基于相似度的红外弱小目标检测方法 - Google Patents

基于相似度的红外弱小目标检测方法 Download PDF

Info

Publication number
CN111539434B
CN111539434B CN202010281151.4A CN202010281151A CN111539434B CN 111539434 B CN111539434 B CN 111539434B CN 202010281151 A CN202010281151 A CN 202010281151A CN 111539434 B CN111539434 B CN 111539434B
Authority
CN
China
Prior art keywords
small target
image
similarity
network module
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010281151.4A
Other languages
English (en)
Other versions
CN111539434A (zh
Inventor
王欢
石曼淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010281151.4A priority Critical patent/CN111539434B/zh
Publication of CN111539434A publication Critical patent/CN111539434A/zh
Application granted granted Critical
Publication of CN111539434B publication Critical patent/CN111539434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相似度的红外弱小目标检测方法，包括构建由背景网络、小目标网络和相似度检测网络构成的ISOS‑SIM模型；合成仿真红外图像构造训练集，并设计ISOS‑SIM模型的总损失函数；利用训练集训练ISOS‑SIM模型；利用真实场景下包含真实小目标的测试集输入训练好的ISOS‑SIM模型；最后提取小目标网络模块的结果图作为最终的检测结果。本发明采用相似度判别机理，将复杂任务化简为单任务类型，利用背景网络模块作为辅助网络有效地抑制检测结果图像的虚警率，相似度判别网络模块使两者之间能够实现平衡，小目标能够获得增强效果，ISOS‑SIM模型在测试阶段仅凭训练好的小目标网络模块就可完成检测任务，将检测任务模块化，具有开发更鲁棒的模型的灵活性。

Description

基于相似度的红外弱小目标检测方法
技术领域
本发明属于红外图像分割技术，具体为一种基于相似度的红外弱小目标检测方法。
背景技术
红外弱小目标检测针对的小目标具有低信噪比，容易被遮挡或覆盖，通常仅占十几个像素，无法通过小目标本身的形状、尺寸、纹理等结构信息进行分析，仅根据其灰度信息很难准确地检测出弱小目标，且红外图像的背景复杂且场景跨度大，这些复杂背景的统计特性不一致，很难通过一致的技术手段进行处理。特别是在目标相近的区域有高对比度的背景，现有的红外弱小目标检测方法的检测结果容易留下大量虚警，特别是最大中值滤波和顶帽算法这些面向背景的检测方法，它们只关注于抑制背景边缘而造成高频点的泄露。传统红外小目标检测方法通常会最终转换为传统图像分类、视觉显著性检测、背景与小目标的分割等问题，因此，它们对于多样性变化场景的检测鲁棒性不足，且基于滑动窗口的候选目标区域选择策略缺乏针对性，导致抑制背景和增强目标的效果不佳。现有的通用的小目标检测深度网络模型没有充分考虑小目标的特殊特性，试图通过依赖单个目标函数来最小化整体分割错误，不足以处理各种真实复杂场景。
发明内容
本发明的目的在于提供一种基于相似度的红外弱小目标检测方法，以解决传统红外弱小目标检测方法在目标增强和背景抑制两个方面上的不平衡，以及复杂背景干扰产生的虚警问题。
实现本发明目的的技术方案为：一种基于相似度的红外弱小目标检测方法，包括以下步骤：
步骤1、构建ISOS-SIM模型，所述ISOS-SIM模型包括背景网络、小目标网络和相似度检测网络，所述背景网络模块用于输出不包含小目标的干净背景图像，所述小目标网络模块用于输出纯小目标分割图像，所述相似度检测网络用于判别背景网络和小目标网络的输出之和与原始图像之间的相似度；
步骤2：合成仿真红外图像构造训练集；
步骤3：设计ISOS-SIM模型的总损失函数；
步骤4：利用训练集训练ISOS-SIM模型；
步骤5：提取小目标网络模块进行在线检测。
优选地，所述背景网络模块包括编码模块、解码模块以及加在解码模块输出层后的纯卷积层；
所述编码模块包含3层基本层，每一基本层包含相同的操作组合，具体为Conv和Aaverpool的组合，其中Conv表示卷积核大小为3×3的卷积操作，Aaverpool表示窗口大小为2×2，步长为2的平均池化操作；
所述解码模块包含3层基本层，每一基本层为相同的操作组合，具体为上采样和Conv的组合，其中，上采样操作采用双线性插值法，Conv表示卷积核大小为3×3的卷积操作；
所述编码模块、解码模块的所有层均使用ReLU操作。
优选地，所述小目标网络模块由两个上下文聚合网络背靠背连接起来，且每一层都是Conv+ReLU+BN操作组合，其中，Conv指卷积核大小为3×3的卷积操作，ReLU指由x＝max(0,x)表示的非线性激活函数，BN指批量归一化，所述上下文聚合网络最后设置一层纯卷积层作为输出层。
优选地，所述小目标网络模块的扩张因子最大值为8。
优选地，所述相似度检测网络模块包括依次连接的一个Conv+ReLU层、三个Conv+ReLU+BN层以及一个纯卷积层，其中，Conv指卷积运算，ReLU指激活函数，BN指批量归一化。
优选地，合成仿真红外图像构造训练集的具体步骤为：
步骤21、从自然场景下的红外图像中裁剪不同数量的各尺寸大小的不同图像块作为背景图像；
步骤22、从真实红外图像中分离出小目标块，或者使用二维高斯函数合成小目标块；
步骤23、将步骤22中获得的小目标块随机叠加到步骤21中的干净背景图像，获得最终的合成图像作为训练集。
优选地，所述总损失函数由背景网络、小目标网络和相似度检测网络分别对应的背景损失、目标损失和相似度损失三个部分叠加构成；其中，所述背景网络的背景损失为：
Figure GDA0003755485410000021
其中，α和β是经验参数，
Figure GDA0003755485410000031
表示背景误差的均方误差函数，其中，θ表示网络的所有参数，xI表示第I张输入图像，pI(θ)表示第I张图像的纯卷积层，n表示训练图像的像素个数；
Figure GDA0003755485410000032
表示背景高频细节的感知损失，其中CjHjWj表示第j层的特征图的尺寸，φj(·)表示预训练的VGG-19模型输出；
Figure GDA0003755485410000033
表示特征损失，其中x(i,j)为第(i,j)点的像素值，δ为算术参数；
小目标网络模块的目标损失为：
Figure GDA0003755485410000034
其中，λ是经验参数，MDi和FAi分别表示为基于真实小目标图像计算的包含n个图像的训练集的第i个图像的漏检率和误检率；
相似度检测网络模块的相似度损失为：
Figure GDA0003755485410000035
其中，z～pdata(Z)表示真实图像z属于真实数据集Z上的分布，x～px(x)表示x属于先验分布px(x)，S(z)表示将真实图像z输入到相似度检测网络后获得的值，S(G(x))表示由背景网络模块输出的背景图像与小目标网络模块输出的目标图像之和的合成图像输入到相似度检测网络模块中获得的值。
本发明与现有技术相比，其显著优点为：本发明采用相似度判别机理，将复杂任务化简为单任务类型，极大程度上提升模型的检测效率，利用背景网络模块作为辅助网络有效地抑制检测结果图像的虚警率，相似度判别网络模块使两者之间能够实现平衡，小目标能够获得增强效果，ISOS-SIM模型在测试阶段仅凭训练好的小目标网络模块就可完成检测任务，将检测任务模块化，具有开发更鲁棒的模型的灵活性。
附图说明
图1为本发明的ISOS-SIM模型的整体网络架构图。
图2为本发明的ISOS-SIM模型在海平面场景下的检测结果图。
图3为本发明的ISOS-SIM模型在天空场景下的检测结果图。
图4为本发明的ISOS-SIM模型在杂波场景下的检测结果图。
图5为本发明的ISOS-SIM模型在复杂场景下的检测结果图。
图6为本发明的ISOS-SIM模型与背景网络模块在测试集上的代表性图像与结果图。
图7为本发明的ISOS-SIM模型与小目标网络模块在测试集上的代表性图像与结果图。
具体实施方式
一种基于相似度的红外弱小目标检测方法，包括以下步骤：
步骤1、构建ISOS-SIM模型，如图1所示，给出了本发明的ISOS-SIM模型的整体网络架构图，其中，红字标明损失函数，以输入图像大小为128×128为例，给出了网络中每一层的特征图维度。所述ISOS-SIM模型首先生成假生成图像，并进行假生成图像与原始输入图像的相似度判别。
进一步的实施例中，所述ISOS-SIM模型由背景网络、小目标网络和相似度检测网络三个模块组成，所述背景网络模块用于输出不包含小目标的干净背景图像，所述小目标网络模块用于输出纯小目标分割图像，所述相似度检测网络用于判别背景网络和小目标网络的输出层之和与原始图像之间的相似度。
进一步的实施例中，所述背景网络模块采用自编码网络为基本骨架，背景网络模块分为编码和解码两个模块；
具体地，编码模块包含3层基本层，每一基本层包含相同的操作组合，即Conv和Aaverpool的组合，其中Conv表示卷积核大小为3×3的卷积操作，Aaverpool表示窗口大小为2×2，步长为2的平均池化操作；
解码模块包含3层基本层，每一基本层为相同的操作组合，即上采样和Conv的组合，其中，上采样操作采用双线性插值法，Conv表示卷积核大小为3×3的卷积操作；
将编码和解码两个模块的所有层均使用ReLU操作，其中，ReLU表示由x＝max(0,x)表示的非线性激活函数；
最后在解码模块的输出层后加上一层纯卷积层，获得最终的背景网络模块。
进一步的实施例中，所述小目标网络模块采用上下文聚合网络为基本骨架，由两个上下文聚合网络背靠背连接起来；
具体地，设定小目标网络模块的扩张因子最大值为8，即第一个上下文聚合网络的扩张因子是从1开始指数级(以2为底)增加到8，第二个上下文聚合网络的扩张因子是从8以指数级(为2的幂)减小到1；
小目标网络模块的每一层都是Conv+ReLU+BN操作组合，其中，Conv指卷积核大小为3×3的卷积操作，ReLU指由x＝max(0,x)表示的非线性激活函数，BN指批量归一化；
最后增加一层纯卷积层作为小目标网络模块的输出层。
进一步的实施例中，选取卷积神经网络构建相似度检测网络模块，所述相似度检测网络模块包括依次连接的一个Conv+ReLU层、三个Conv+ReLU+BN层以及一个纯卷积层，其中，Conv指卷积运算，ReLU指激活函数，BN指批量归一化；
ISOS-SIM模型的输入为待检测的红外图像，将输入图像同时输入到背景网络模块和小目标网络模块中，分别获得干净的背景图像和纯小目标图像，将两者之和作为假生成图像与原始输入图像一起输入到相似度检测网络模块中进行相似度判别；
步骤2、合成仿真红外图像构造训练集，具体步骤为：
步骤21、从高分辨率的自然场景下的红外图像中裁剪不同数量的各尺寸大小的不同图像块作为训练集的背景图像；
步骤22、从真实红外图像中分离出小目标块，或者使用二维高斯函数合成小目标块；
步骤23、将步骤22中获得的小目标块随机叠加到步骤41中的干净背景图像，获得最终的合成图像作为训练集。
步骤3、设计ISOS-SIM模型的总损失函数，所述总损失函数由三个模块分别对应的背景损失、目标损失和相似度损失三个部分叠加构成；
进一步的实施例中，背景网络模块的背景损失为：
Figure GDA0003755485410000051
其中，α和β是经验参数，
Figure GDA0003755485410000052
表示背景误差的均方误差函数，其中，θ表示网络的所有参数，xI表示第I张输入图像，pI(θ)表示第I张图像的纯卷积层，n表示训练图像的像素个数；
Figure GDA0003755485410000061
表示背景高频细节的感知损失，其中CjHjWj表示第j层的特征图的尺寸，φj(·)表示预训练的VGG-19模型的第block3_con3层的输出；
Figure GDA0003755485410000062
表示特征损失，其中x(i,j)为第(i,j)点的像素值，δ为算术参数；
小目标网络模块的目标损失为：
Figure GDA0003755485410000063
其中，λ是权衡MD和FA的经验参数，MDi和FAi分别表示为基于真实小目标图像计算的包含n个图像的训练集的第i个图像的漏检率和误检率；
相似度检测网络模块的相似度损失为：
Figure GDA0003755485410000064
其中，z～pdata(Z)表示真实图像z属于真实数据集Z上的分布，x～px(x)表示x属于先验分布px(x)，S(z)表示将真实图像z输入到相似度检测网络后获得的值，S(G(x))表示由背景网络模块输出的背景图像与小目标网络模块输出的目标图像之和的合成图像输入到相似度检测网络模块中获得的值；
ISOS-SIM模型的最终总损失函数表示为：
L(G1,G2,S)＝loss_G1+loss_G2+loss_S
步骤4、利用训练集训练ISOS-SIM模型；
具体地，将步骤2中获得的10000张红外图像数据全部划分为训练集；将真实的红外图像全部作为测试集：包含六个多序列数据集和一个单帧数据集；将上述划分后的训练集分批次输入到ISOS-SIM模型中进行训练。
步骤5、提取小目标网络模块进行在线检测。
利用上述步骤4中划分的真实应用场景下包含真实弱小目标的测试集分别输入训练好的ISOS-SIM模型，提取小目标网络模块的输入层作为最终需要的小目标分割结果图。
实际使用时，直接将真实应用场景下包含真实弱小目标的图像输入训练好的ISOS-SIM模型，提取小目标网络模块的输入层作为最终需要的小目标分割结果图。
实施例
一种基于相似度的红外弱小目标检测方法，具体步骤为：
步骤1、构建ISOS-SIM模型。红外图像可由D＝B+T表示，其中，D表示红外图像，B表示图像背景信息，T表示小目标。本实施例中ISOS-SIM模型由背景网络、小目标网络和相似度检测网络三个模块组成。
本实施例中，背景网络模块采用自编码网络为基本骨架，背景网络模块分为编码和解码两个过程。为了减少网络层参数、提高模型检测速度，本发明选择将去噪自编码网络的全连接层替换为卷积神经网络中使用的卷积、池化等操作，因为其能够结合卷积神经网络具有权值共享的优势，有助于提高时间花费性能。本发明设计其编码过程的基本操作为卷积和池化的组合。卷积操作的作用相当于一个滤波器，而池化操作则是提取不变特征。利用卷积和池化操作组合实现编码过程，可以实现特征不变性提取的无监督特征提取。而解码过程的基本操作则为上采样和卷积的组合，用于对压缩数据的特征恢复。编码和解码过程均各自包含3层基本操作，每一基本层包括相同的操作。即编码部分的基本层为Conv和Aaverpool的组合，其中Conv表示卷积核大小为3×3的卷积操作；Aaverpool表示窗口大小为2×2，步长为2的平均池化操作。而解码部分的基本层为上采样和Conv的组合，其中，上采样操作采用双线性插值法。
最后，在解码过程输出层后加上一层纯卷积层以还原成原图像大小。除了纯卷积层外的模型的所有层均使用ReLU操作，其中，ReLU表示由x＝max(0,x)表示的非线性激活函数，即形成最终的背景网络模块。
小目标网络模块采用上下文聚合网络为基本骨架，由两个上下文聚合网络背靠背连接起来。小目标的检测可能更喜欢局部感受野以保持目标的足迹。因此，本发明使用上下文聚合网络(ContextAggregation Network，CAN)来构建小目标网络模块，并为其分配特定的感受野。为了形成小目标网络模块的主干，本发明将两个CAN背靠背连接起来，其中第一个CAN的扩张因子是从1开始指数级(以2为底)增加到最大值MDF，第二个CAN的扩张因子是从MDF以指数级(为2的幂)减小到1。小目标网络模块更关注局部感受野以减小目标检测。因此，本发明设定小目标网络模块的MDF＝8，即小目标网络模块的总感受野是31x31。具体来说，小目标网络模块的网络架构包含9层：每一层都是卷积核为3×3、padding操作为“same”的卷积操作；第一层输入层和最后一层输出层的扩张因子是1；第二层到第八层的扩张因子分别从1以指数级增加到8，随后指数级减少到1；除最后一层卷积层外，每一卷积层的激活函数都是ReLU激活函数，且随后都增加一层批量归一化层。
相似度检测网络模块，由一个Conv+ReLU层、三个Conv+ReLU+BN层以及一个纯卷积层组成，其中，Conv指卷积运算，ReLU指激活函数，BN指批量归一化。
步骤2、合成仿真红外图像构造训练集。本发明在训练阶段采用的输入图像大小为128×128。本发明采用滑动窗口技术裁剪100张大场景真实背景图像来生成足够多的样本。以697×505红外图像为例，当以每5个像素裁剪128×128大小的图像块时，本发明可以获得8000多张图像块。目前拥有100多张大场景红外图像，这足以为实验提供大量的训练数据集。实际上，更大尺寸的图像也是可以的，但是128×128的尺寸对于实验存储器的要求更小一些，并能够获得理想的性能。需要说明的是，本发明的模型在测试阶段内可以将任何尺寸大小作为输入图像。
本发明从真实场景下的包含真实小目标的红外图像中分离出小目标块，然后随机叠加到裁剪后获得的红外背景图像中，制作成训练集。本发明采用的合成数据方法相较于大多数红外弱小目标工作者通常采用基于二维高斯模型的合成目标方法获得的红外图像更为真实。本发明采用上述方式获得的训练集包含20881张红外图像。
步骤3、设计ISOS-SIM模型的总损失函数，总损失函数由分别对应于三个网络模块的背景损失、目标损失和相似度损失三个部分构成。
背景网络模块的背景损失为：
Figure GDA0003755485410000081
其中，α和β是经验参数。
实验证明均方误差损失函数相对于常用的损失函数在训练时表现最佳，因此本发明采用均方误差函数(MSE)作为损失函数。MSE损失函数定义如下:
Figure GDA0003755485410000091
其中，θ表示网络的所有参数，xI表示第I张输入图像，pI(θ)表示第I张图像的纯卷积层，n表示训练图像的像素个数。
感知损失函数是为了弥补编码过程中丢失大量的纹理特征，本发明使用预训练的VGG-19模型，将解码图像与输入图像均输入到VGG-19模型中，再提取两者在VGG-19模型中的某一层(本发明采用relu3_3层)特征进行MSE误差，即感知损失，其定义如下：
Figure GDA0003755485410000092
其中，CjHjWj表示第j层的特征图的尺寸，φj(·)表示预训练的VGG-19模型的第block3_con3层的输出。
结构损失是为了解决引入感知损失而产生虚检问题。明确的是，小目标通常是斑点状或点状。小目标在上、下、左和右方向上的梯度都很大，而背景高频信息的边缘仅在两个方向上有较大的梯度。因此，本发明提出结构损失来区分背景和目标，其定义为：
Figure GDA0003755485410000093
其中，x(i,j)为第(i,j)点的像素值，δ为算术参数。
小目标网络模块的目标损失为：
Figure GDA0003755485410000094
其中，λ是权衡MD和FA的经验参数，MDi和FAi分别表示为基于真实小目标图像计算的包含n个图像的训练集的第i个图像的漏检率和误检率。
相似度检测网络模块的相似度损失为：
Figure GDA0003755485410000095
其中，z～pdata(Z)表示真实图像z属于真实数据集Z上的分布，x～px(x)表示x属于先验分布px(x)，S(z)表示将真实图像z输入到相似度检测网络后获得的值，S(G(x))表示由背景网络模块输出的背景图像与小目标网络模块输出的目标图像之和的合成图像输入到相似度检测网络模块中获得的值。
因此，ISOS-SIM模型的最终总损失函数表示为：
L(G1,G2,S)＝loss_G1+loss_G2+loss_S (7)
步骤4、划分训练集和测试集，训练ISOS-SIM模型。
本发明使用红外摄像机获取到100张大场景红外图像，可随机裁剪后全部作为训练集。本发明的测试集为真实的红外图像：包含六个多序列数据集和一个具有不同尺寸大小、不同背景和目标的单帧数据集。表1给出了本发明使用测试集的详细配置。
表1
Figure GDA0003755485410000101
最后，本发明将上述划分后的训练集分批次输入到ISOS-SIM模型中进行训练。在某个具体实施例中，本发明使用Adam算法进行优化，初始学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，batch的大小为10，感知损失权重α为10，特征损失的权重β为1，公式5中的λ为50，整个训练过程在30个epoch后停止。
需要说明的是，在训练阶段中，训练集输入到ISOS-SIM模型中，但是，在测试阶段，仅需要小目标网络模块的输出层即为最终的小目标检测结果图。
步骤5、提取小目标网络模块进行在线检测。
利用真实应用场景下包含真实弱小目标的测试集输入到训练好的ISOS-SIM模型。将一幅待检测图像直接输入训练好的ISOS-SIM网络模型，提取小目标网络模块的输入层作为最终的小目标分割结果，即一幅与原始图像大小一样的表示弱小目标置信度的灰度图像，其中灰度值越大代表越可能是目标像素。
为了展现本发明提出方法的检测性能，本发明展示的方法结果图像并没有进行二值化操作。图2到图5给出了本发明的ISOS-SIM模型在海平面、天空、杂波、复杂场景下的检测结果图，其中，左侧为原始图像，右侧为ISOS-SIM模型的结果图。图4额外给出了原始图像对应的三维强度图。图6和图7分别给出了本发明的ISOS-SIM模型与背景网络模块和小目标网络模块的单模型在测试集上的代表性图像与结果图。图6中的上图为原始图像，图6中的中间图为ISOS-SIM模型的结果图，图6中的下图为背景网络模块的单模型的结果图。
另外，在表2和表3分别给出了本发明提出的ISOS-SIM模型与十一种对比方法(包括最大中值滤波Max-Median，形态学滤波Top-hat，支持向量值和方向滤波器组DSVT，局部对比度方法LCM，权重局部损失模型WLDM，块相似性方法PatchSim，基于低秩稀疏分解的红外弱小目标检测CLSDM，红外块图像模型IPI，非负红外块图像模型NIPPS，基于结构张量和稀疏重加权方法RIPT，背景网络模块的单模型BGN)在每个序列下测试的平均信号杂波比和背景抑制因子的指标对比值，从中可看出，ISOS-SIM模型在太空和导弹序列的平均信号杂波比和背景抑制因子指标上均获得最优的检测结果，并在其它测试集上，能够在目标增强和背景抑制两者之间获得平衡，总的来说，ISOS-SIM模型的检测表现优于以上的对比方法。
表2
Figure GDA0003755485410000111
Figure GDA0003755485410000121
表3
Figure GDA0003755485410000122

Claims (5)

1.一种基于相似度的红外弱小目标检测方法，其特征在于，包括以下步骤：
步骤1、构建ISOS-SIM模型，所述ISOS-SIM模型包括背景网络模块、小目标网络模块和相似度检测网络模块，所述背景网络模块用于输出不包含小目标的干净背景图像，所述小目标网络模块用于输出纯小目标分割图像，所述相似度检测网络用于判别背景网络和小目标网络的输出之和与原始图像之间的相似度；
所述背景网络模块包括编码模块、解码模块以及加在解码模块输出层后的纯卷积层；
所述编码模块包含3层基本层，每一基本层包含相同的操作组合，具体为Conv和Aaverpool的组合，其中Conv表示卷积核大小为3×3的卷积操作，Aaverpool表示窗口大小为2×2，步长为2的平均池化操作；
所述解码模块包含3层基本层，每一基本层为相同的操作组合，具体为上采样和Conv的组合，其中，上采样操作采用双线性插值法，Conv表示卷积核大小为3×3的卷积操作；
所述编码模块、解码模块的所有层均使用ReLU操作；
所述小目标网络模块由两个上下文聚合网络背靠背连接起来，且每一层都是Conv+ReLU+BN操作组合，其中，Conv指卷积核大小为3×3的卷积操作，ReLU指由x＝max(0,x)表示的非线性激活函数，BN指批量归一化，所述上下文聚合网络最后设置一层纯卷积层作为输出层；
步骤2：合成仿真红外图像构造训练集；
步骤3：设计ISOS-SIM模型的总损失函数；
步骤4：利用训练集训练ISOS-SIM模型；
步骤5：提取小目标网络模块进行在线检测。
2.根据权利要求1所述的基于相似度的红外弱小目标检测方法，其特征在于，所述小目标网络模块的扩张因子最大值为8。
3.根据权利要求1所述的基于相似度的红外弱小目标检测方法，其特征在于，所述相似度检测网络模块包括依次连接的一个Conv+ReLU层、三个Conv+ReLU+BN层以及一个纯卷积层，其中，Conv指卷积运算，ReLU指激活函数，BN指批量归一化。
4.根据权利要求1所述的基于相似度的红外弱小目标检测方法，其特征在于，合成仿真红外图像构造训练集的具体步骤为：
步骤21、从自然场景下的红外图像中裁剪不同数量的各尺寸大小的不同图像块作为背景图像；
步骤22、从真实红外图像中分离出小目标块，或者使用二维高斯函数合成小目标块；
步骤23、将步骤22中获得的小目标块随机叠加到步骤21中的干净背景图像，获得最终的合成图像作为训练集。
5.根据权利要求1所述的基于相似度的红外弱小目标检测方法，其特征在于，所述总损失函数由背景网络、小目标网络和相似度检测网络分别对应的背景损失、目标损失和相似度损失三个部分叠加构成；其中，所述背景网络的背景损失为：
loss_G1＝lMSE+α·lper+β·lST
其中，α和β是经验参数，
Figure FDA0003755485400000021
表示背景误差的均方误差函数，其中，θ表示网络的所有参数，xI表示第I张输入图像，pI(θ)表示第I张图像的纯卷积层，n表示训练图像的像素个数；
Figure FDA0003755485400000022
表示背景高频细节的感知损失，其中CjHjWj表示第j层的特征图的尺寸，φj(·)表示预训练的VGG-19模型输出；
Figure FDA0003755485400000023
表示特征损失，其中x(i,j)为第(i,j)点的像素值，δ为算术参数；
小目标网络模块的目标损失为：
Figure FDA0003755485400000024
其中，λ是经验参数，MDi和FAi分别表示为基于真实小目标图像计算的包含n个图像的训练集的第i个图像的漏检率和误检率；
相似度检测网络模块的相似度损失为：
Figure FDA0003755485400000025
其中，z～pdata(Z)表示真实图像z属于真实数据集Z上的分布，x～px(x)表示x属于先验分布px(x)，S(z)表示将真实图像z输入到相似度检测网络后获得的值，S(G(x))表示由背景网络模块输出的背景图像与小目标网络模块输出的目标图像之和的合成图像输入到相似度检测网络模块中获得的值。
CN202010281151.4A 2020-04-10 2020-04-10 基于相似度的红外弱小目标检测方法 Active CN111539434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010281151.4A CN111539434B (zh) 2020-04-10 2020-04-10 基于相似度的红外弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010281151.4A CN111539434B (zh) 2020-04-10 2020-04-10 基于相似度的红外弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN111539434A CN111539434A (zh) 2020-08-14
CN111539434B true CN111539434B (zh) 2022-09-20

Family

ID=71974955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010281151.4A Active CN111539434B (zh) 2020-04-10 2020-04-10 基于相似度的红外弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN111539434B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450413B (zh) * 2021-07-19 2022-09-27 哈尔滨工业大学 基于gf4单帧图像的舰船目标检测方法
CN113449813A (zh) * 2021-07-20 2021-09-28 东南大学 一种基于双子网络的红外弱小目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法

Also Published As

Publication number Publication date
CN111539434A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN110866907A (zh) 基于注意力机制的全卷积网络织物疵点检测方法
CN112070158B (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN113642634A (zh) 一种基于混合注意力的阴影检测方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111563418A (zh) 一种基于注意力机制的非对称多模态融合显著性检测方法
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN113538457B (zh) 利用多频动态空洞卷积的视频语义分割方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN111797841A (zh) 一种基于深度残差网络的视觉显著性检测方法
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN106780450A (zh) 一种基于低秩多尺度融合的图像显著性检测方法
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN104966054A (zh) 无人机可见光图像中的弱小目标检测方法
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN117292117A (zh) 一种基于注意力机制的小目标检测方法
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质
CN114998696B (zh) 基于特征增强与多层级融合的YOLOv3目标检测方法
CN116468980A (zh) 深度融合边缘细节与深层特征的红外小目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant