CN115565034A - 基于双流增强网络的红外小目标检测方法 - Google Patents

基于双流增强网络的红外小目标检测方法 Download PDF

Info

Publication number
CN115565034A
CN115565034A CN202211388623.1A CN202211388623A CN115565034A CN 115565034 A CN115565034 A CN 115565034A CN 202211388623 A CN202211388623 A CN 202211388623A CN 115565034 A CN115565034 A CN 115565034A
Authority
CN
China
Prior art keywords
layer
convolution layer
branch
convolution
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211388623.1A
Other languages
English (en)
Inventor
张铭津
郑玲萍
张睿
彭晓琪
李云松
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202211388623.1A priority Critical patent/CN115565034A/zh
Publication of CN115565034A publication Critical patent/CN115565034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明公开了一种基于双流增强网络的红外小目标检测方法，主要解决现有方法检测准确率较低的问题，实现步骤为：构建训练样本集和测试样本集；构建基于双流增强网络的目标检测网络模型：包括并行排布第一分支和第二分支双流增强网络，以及与该网络级联的融合模块的红外小目标检测网络O，第一分支网络根据低级特征从行和列两个方向提取目标的特征信息以获得更精细、完整的高级特征，有助于准确定位目标，第二分支中网络能够通过多尺度特征融合细化小红外目标的特征，从而抑制背景信息并保留小目标信息；通过对红外小目标检测网络模型O进行迭代训练，本发明能够提高红外小目标检测的准确率。

Description

基于双流增强网络的红外小目标检测方法
技术领域
本发明属于数字图像处理技术领域，涉及一种红外图像中小目标检测的方法，具体涉及一种基于双流增强网络的红外小目标检测方法，可用于海上救援。
背景技术
红外小目标检测是利用计算机技术从红外图像中检测出目标的技术。红外小目标检测具有广泛的应用，例如交通管理和海上救援。由于噪音、小而模糊的目标，红外小目标检测仍然具有挑战性。为了检测红外小目标，研究人员提出了几种基于图像处理和机器学习的方法，包括基于滤波、基于人类视觉系统和基于低秩表示的方法。然而，这些传统方法有一些局限性：不能抑制复杂的背景噪声，导致检测错误率高，性能不稳定。
随着深度学习在许多领域的成功，研究人员将其应用于红外小目标检测领域，取得了有效的成果。例如，重庆邮电大学在其申请的专利文献“基于生成对抗网络的红外小目标检测方法”(专利申请号：202010077283.5，申请公布号为CN111275692A)中，提出了一种基于生成对抗网络的红外小目标检测方法，该方法针对包含小目标的目标图像块重构出虚假背景图像块，将虚假背景图像块与目标图像块进行配对得到第一配对数据，用该数据对生成对抗网络进行训练，然后将图像序列块中未包含小目标的两个原始背景图像块进行配对得到第二配对数据，并使用该数据继续进行训练得到目标生成对抗网络模型，将待检测的图像块序列输入目标生成对抗网络模型得到检测序列结果，将检测序列结果按待检测的原始红外图像的尺寸进行拼接，并将拼接后的图像与待检测的原始红外图像作残差，对作残差后的图像进行滤波得到检测结果。该发明具有计算速度快的优点，但是网络提取的特征不够精细、完整，且缺乏对目标边缘的关注，对噪声的抑制能力有限，导致检测的准确率较低。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于双流增强网络的红外小目标检测方法，用于解决现有的基于深度学习的红外小目标检测方法检测准确率低的问题。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K幅红外图像，并对每幅红外图像中的目标进行标注，再将M幅红外图像及其对应的标签组成训练样本集R1，将剩余的K-M幅红外图像及其对应的标签组成测试样本集E1，其中K≥1000，
Figure BDA0003931053250000021
(2)构建基于双流增强网络的红外小目标检测模型O：
构建包括并行排布第一分支和第二分支双流增强网络，以及与该网络级联融合模块的红外小目标检测网络O，其中：
第一分支包括顺次连接的Stem块、多个级联的残差块、第一转置卷积层、第一空间频率注意力模块、第二转置卷积层、第二空间频率注意力模块、head网络；其中，Stem块包括多个卷积层及级联的池化层；残差块包括顺次级联的卷积层、非线性激活层、卷积层；空间频率注意力模块包括顺次级联的上下文空间注意力模块、分解频率注意力模块、卷积层；head网络包括多个卷积层；
第二分支包括顺次连接的眼球状增强模块、head网络；其中，眼球状增强模块包括顺次连接的多个级联卷积层、上采样块和高斯卷积层，眼球状增强模块的输入端还与第一分支的第一空间频率注意力模块、第二空间频率注意力模块的输出端连接；
(3)对红外小目标检测模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的红外小目标检测模型为Os，Os中可学习的权值、偏置参数分别为ws、bs，并令s＝0，Os＝O；
(3b)将从训练样本集R1中随机有放回选取的l个训练样本作为红外小目标检测模型O的输入，第一分支对每个训练样本进行红外目标重建，得到l个小目标；同时第二分支对每个训练样本进行红外小目标细节增强，得到l个小目标细节；融合模块通过每个小目标细节增强的结果对对应的小目标重建结果进行补充细化，得到l个训练样本的红外小目标检测结果，其中，l≥1000；
(3c)利用Dice损失函数LDice与交叉熵损失函数LCE，并通过生成的l个目标检测结果和与其对应的的l个标签计算Os的损失值LDC，再通过链式法则分别计算LDC对网络中的权值参数ωs及偏置参数bs的偏导
Figure BDA0003931053250000031
和
Figure BDA0003931053250000032
然后根据
Figure BDA0003931053250000033
对ωs、bs进行更新，得到本次迭代的网络模型Os；
(3d)判断s≥S是否成立，若是，得到训练好的红外小目标检测模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取红外图像目标检测结果：
将测试样本集E1作为训练好的红外小目标检测模型O*的输入进行前向传播，得到所有测试样本对应的红外小目标检测结果。
本发明与现有技术相比，具有以下优点：
本发明所构建的基于双流增强网络模型包括并行排布的第一分支和第二分支，在对该模型进行训练以及获取红外小目标检测结果的过程中，第一分支中的空间频率注意力模块能够通过融合低、高级特征的以选择最有用的特征。根据低级特征从行和列两个方向提取目标的特征信息以获得更精细、完整的高级特征，有助于准确定位目标，第二分支中的眼球状增强模块能够通过多尺度特征融合细化小红外目标的特征，从而抑制背景信息并保留小目标信息，实验结果表明，本发明能够有效提高红外小目标检测的正确率。
附图说明
图1为本发明的实现流程图；
图2为本发明所构建的基于双流增强网络模型的结构示意图；
图3为本发明对图2具体实施例解释的结构示意图；
图4为本发明实施例的空间频率注意力模块的结构示意图；
图5为本发明实施例的眼球状增强模块的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集和测试样本集：
获取K幅红外图像，然后对每幅红外图像中的目标进行标注，再将M幅红外图像及其对应的标签组成训练样本集R1，将剩余的K-M幅红外图像及其对应的标签组成测试样本集E1，其中K≥1000，
Figure BDA0003931053250000041
步骤2)构建基于双流增强网络的红外检测网络模型O：
构建包括并行排布第一分支和第二分支双流网络，以及与该网络级联融合模块的红外小目标检测网络O，第一分支包括顺次连接的Stem块、第一残差块、第二残差块、第三残差块、第一转置卷积层、第一空间频率注意力模块、第二转置卷积层、第二空间频率注意力模块、head网络；第二分支包括顺次连接的眼球状增强模块、head网络；其中，Stem块包括池化层和多个卷积层；第一残差块包括非线性激活层和多个卷积层；第二残差块包括非线性激活层和多个卷积层；第三残差块包括非线性激活层和多个卷积层；空间频率注意力模块包括上下文空间注意力模块、分解频率注意力模块和卷积层；head网络包括多个卷积层；眼球状增强模块包括多个卷积层、上采样块和高斯卷积层；融合模块实现逐元素相加的功能。
第一分支，其中卷积层个数为34，残差块个数为3：Stem块中包括顺次连接的第一卷积层、第二卷积层、第三卷积层、最大池化层；第一残差块中包括顺次连接的第四卷积层、第一非线性激活层、第五卷积层；第二残差块中包括顺次连接的第六卷积层、第二非线性激活层、第七卷积层；第三残差块中包括顺次连接的第八卷积层、第三非线性激活层、第九卷积层；空间频率注意力模块包括顺次连接的上下文空间注意力模块、分解频率注意力模块和卷积层，其中，上下文空间注意力模块包括并行排布的第一瓶颈结构、第二瓶颈结构及与其连接的第四非线性激活层、第三瓶颈结构、第五非线性激活层，其中，瓶颈结构包括多个卷积层，head网络包括并行排布的第三分支、第四分支、第五分支，第三分支包括顺次连接的第十卷积层、第十一卷积层，第四分支包括顺次连接的第十二卷积层、第十三卷积层，第五分支包括顺次连接的第十四卷积层、第十五卷积层，具体参数为：第一卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层的卷积核大小为3*3，步长为2，第二卷积层、第三卷积层、第十二卷积层的卷积核大小为3*3，步长为1，第十卷积层的卷积核大小为1*1，第十一卷积层、第十三卷积层、第十五卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5，第十四卷积层的卷积核大小为5*5，第一转置卷积层、第二转置卷积层的卷积核大小为3*3，步长为2，第一非线性激活层、第二非线性激活层、第三非线性激活层使用ReLU函数实现，第四非线性激活层、第五非线性激活层使用Sigmoid函数实现；
上下文空间注意力模块(CSA)：由于背景特征有利于重建小目标的信息，因此将像素信息聚合为背景特征是非常必要的。CSA模块负责聚合像素级特征，通过融合低级别和高级别特征来形成上下文特征；具体而言，特征融合过程是在低级特征的指导下进行的，因为低级特征富含小目标的特征；本发明引入了一种注意力机制来描述前景和背景像素之间的相关性，通过借助于低层特征和相关描述，可以更好地描述红外目标的特征，以便于后续的检测和分割。该过程可以描述为：
ac＝Cat([alow,ahigh]) (1)
aca1＝Conv(ReLU(Conv(GAP((ac))))) (2)
aca2＝Conv(ReLU(Conv(GMP((ac))))) (3)
aca＝Sigmoid(aca1+aca2)·ac (4)
aatt＝Sigmoid(Conv(ReLU(Conv((aca))))) (5)
其中ac表示高层和低层特征的连接，aca1表示通过全局平均池之后计算的频道关注特征，aca2表示通过全局最大池化后计算的通道关注特征，aca表示频道关注后的关注特征，aatt表示空间注意力图，以突出低级别特征和高级别特征之间的相关性。
分解频率注意力模块(DFA)：DFA模块负责通过将低级特征和来自CSA的融合特征作为输入来生成频率特征。频率特征对于红外小目标的检测至关重要，因为小目标总是具有清晰的轮廓，这会在频率特征中产生高频分量。不幸的是，输入中的噪声也可能在频域中产生高频响应。为了区分有噪声的小目标，本发明提出了DFA来突出有用的目标特征。具体而言，通过DCT变换将输入特征分解为频域中的低频部分和高频部分；然后，通过在高频和低频部分中选择顶部k个频率分量并在其上应用单独的卷积块来产生频率关注；最后，使用频率注意图来调制高频和低频部分，以获得最终的关注特征。2D DCT变换可以描述为：
Figure BDA0003931053250000061
其中，h∈{0,1,···,H-1}，w∈{0,1,···,W-1}，x2d∈RH×W是输入特征，f2d∈RH×W是2D DCT变换后的频谱，然后，上述过程可以描述为：
ain＝Cat(alow,as) (7)
Figure BDA0003931053250000062
Figure BDA0003931053250000063
其中，DFA的输入ain表示沿着通道维度方向分成n部分，表示为
Figure BDA0003931053250000064
[u',v']和[u”,v”]分别表示低频和高频分量的二维指数，
Figure BDA0003931053250000065
和
Figure BDA0003931053250000066
分别表示DCT变换后的
Figure BDA0003931053250000067
维向量，然后，将2D变换结果连接起来，以获得低频和高频特征：
Figure BDA0003931053250000068
Figure BDA0003931053250000069
其中，alf∈RC，ahf∈RC，然后，分解的频率注意力可以定义为：
DFlf＝Sigmoid(Conv(ReLU(Conv(alf)))) (12)
DFhf＝Sigmoid(Conv(ReLU(Conv(ahf)))) (13)
af＝Conv(Cat([DFlf,DFhf])) (14)
其中，DFlf和DFhf分别指低频和高频特征的注意力图。实验结果表明，DFA模块可以在不同通道上的注意力帮助下保留更多的对象细节。
第二分支，其中卷积层个数为8；眼球状增强模块包括顺次连接的第十六卷积层、第十七卷积层、上采样块和高斯卷积层；head网络包括并行排布的第六分支、第七分支、第八分支，第六分支包括顺次连接的第十八卷积层、第十九卷积层，第七分支包括顺次连接的第二十卷积层、第二十一卷积层，第八分支包括顺次连接的第二十二卷积层、第二十三卷积层，具体参数为：第十六卷积层、第十七卷积层、第二十卷积层的卷积核大小为3*3，第十八卷积层的卷积核大小为1*1，第十九卷积层、第二十一卷积层、第二十三卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5，第二十二卷积层的卷积核大小为5*5；
眼球状增强模块(EEM)：EEM旨在通过从新的角度细化目标的特征来提高检测和分割性能，在训练过程中由于下采样，小的红外目标很容易被忽略，本发明通过使用EEM尽可能地抑制背景信息来保留小目标信息；EEM尝试通过多尺度特征融合从CMD中细化小红外目标的粗表示，其中低分辨率特征逐渐编码为高分辨率特征。然而，由于目标的尺寸较小，上采样过程很容易导致背景和目标的混叠和重叠。为了解决这个问题，每次上采样后，卷积被用作滤波器以消除混叠效应。该过程可以描述为：
xup＝Upsample(Conv(x1))+x2 (15)
xs＝Conv(Conv(Upsample((Conv(xup)))) (16)
其中，x1和x2表示CMD生成的特征，xup表示多尺度特征融合的输出，xs表示超分辨率重建后的高分辨率特征图，然后，通过高斯卷积核和残差xres将xs分解为边缘表示xedge，本发明利用边缘表示xedge和残差表示xres来全面捕获原始输入图像中的有用信息，并进一步添加卷积来过滤低频噪声。该过程可以描述为：
xedge＝Upsample((Conv(GSC(xs))) (17)
xres＝Upsample(Conv(xs))-xedge (18)
其中GSC表示高斯卷积核的函数。然后获得增强的输出xe：
xe＝xedge·x+xres·x (19)
其中，x是原始输入红外图像。
步骤3)对红外小目标检测网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的目标检测网络模型为Os，并令s＝0，Os＝O；
(3b)将从训练样本集R1中随机有放回选取的l个训练样本作为红外小目标检测模型O的输入：
(3b1)将l个红外图像样本输入第一分支，Stem块对每个红外图像进行逐层特征提取，得到特征图x1，第一残差块从特征图x1中提取局部特征x2，第二残差块对局部特征x2进行细化，第三残差块对细化后的特征x3进行进一步细化，得到特征图x4，第一转置卷积层对特征图x4进行上采样，得到全局特征x5，第一空间频率注意力模块从全局特征x5提取l个高级特征图x6，第二转置卷积层对特征图x6进行上采样，得到特征图x7，第二空间频率注意力模块从特征图x7提取l个高级特征x8，head网络将特征图x8经过归一化后，得到l个归一化后的特征图x9；
(3b2)同时将l个红外图像样本，第一、第二空间频率注意力模块特征图x6、x8作为第二分支中的眼球状增强模块的输入，得到细化的特征图x10，head网络将特征图x10归一化后，得到l个归一化后特征图x11；
(3b3)通过融合模块将第一分支得到的特征图x8与第二分支得到的特征图x11进行逐元素相加，实现第二分支的结果补充细化第一分支的结果，得到l个训练样本的目标检测结果。
(3c)对基于双流增强网络的红外模型进行参数更新，得到本次迭代的网络模型；
(3d)判断s≥S是否成立，若是，得到训练好的目标检测网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
步骤4)获取红外图像目标检测结果：
将测试样本集E1作为训练好的目标检测网络模型O*的输入进行前向传播，得到所有测试样本对应的红外小目标检测结果。
本发明的技术效果可以通过以下仿真实验做进一步的说明
仿真条件与内容：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。在IRSTD-1k数据集和NUAA-SIRST数据集上进行了实验。NUAA-SIRST包含427张红外图像，而IRSTD-1k包含1000张红外图像。对于每个数据集，以6：4的比例将其分为训练集和测试集。
现有技术在IRSTD-1k数据集上的交并比(IoU)为76.2％，本发明在IRSTD-1k数据集上的交并比为77.7％，结果列于表1，现有技术在NUAA-SIRST数据集上的交并比(IoU)为75.6％，本发明在NUAA-SIRST数据集上的交并比为77.2％，结果列于表2，相对于现有技术，检测的准确度有显著提高。
表1
方法 现有技术 本发明
交并比 76.2％ 77.7％
表2
方法 现有技术 本发明
交并比 75.6％ 77.2％

Claims (4)

1.一种基于双流增强网络的红外小目标检测方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K幅红外图像，并对每幅红外图像中的目标进行标注，再将M幅红外图像及其对应的标签组成训练样本集R1，将剩余的K-M幅红外图像及其对应的标签组成测试样本集E1，其中K≥1000，
Figure FDA0003931053240000011
(2)构建基于双流增强网络的红外小目标检测模型O：
构建包括并行排布第一分支和第二分支双流增强网络，以及与该网络级联融合模块的红外小目标检测网络O，其中：
第一分支包括顺次连接的Stem块、多个级联的残差块、第一转置卷积层、第一空间频率注意力模块、第二转置卷积层、第二空间频率注意力模块、head网络；其中，Stem块包括多个卷积层及级联的池化层；残差块包括顺次级联的卷积层、非线性激活层、卷积层；空间频率注意力模块包括顺次级联的上下文空间注意力模块、分解频率注意力模块、卷积层；head网络包括多个卷积层；
第二分支包括顺次连接的眼球状增强模块、head网络；其中，眼球状增强模块包括顺次连接的多个级联卷积层、上采样块和高斯卷积层，眼球状增强模块的输入端还与第一分支的第一空间频率注意力模块、第二空间频率注意力模块的输出端连接；
(3)对红外小目标检测模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的红外小目标检测模型为Os，Os中可学习的权值、偏置参数分别为ws、bs，并令s＝0，Os＝O；
(3b)将从训练样本集R1中随机有放回选取的l个训练样本作为红外小目标检测模型O的输入，第一分支对每个训练样本进行红外目标重建，得到l个小目标；同时第二分支对每个训练样本进行红外小目标细节增强，得到l个小目标细节；融合模块通过每个小目标细节增强的结果对对应的小目标重建结果进行补充细化，得到l个训练样本的红外小目标检测结果，其中，l≥1000；
(3c)利用Dice损失函数LDice与交叉熵损失函数LCE，并通过生成的l个目标检测结果和与其对应的的l个标签计算Os的损失值LDC，再通过链式法则分别计算LDC对网络中的权值参数ωs及偏置参数bs的偏导
Figure FDA0003931053240000021
和
Figure FDA0003931053240000022
然后根据
Figure FDA0003931053240000023
对ωs、bs进行更新，得到本次迭代的网络模型Os；
(3d)判断s≥S是否成立，若是，得到训练好的红外小目标检测模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取红外图像目标检测结果：
将测试样本集E1作为训练好的红外小目标检测模型O*的输入进行前向传播，得到所有测试样本对应的红外小目标检测结果。
2.根据权利要求1所述的基于双流增强网络的红外小目标检测方法，其特征在于，步骤(2)中所述的基于双流增强网络模型O，其中：
第一分支，其中卷积层个数为34，残差块个数为3；Stem块的具体结构包括顺次连接的第一卷积层、第二卷积层、第三卷积层、最大池化层；第一残差块的具体结构包括顺次连接的第四卷积层、第一非线性激活层、第五卷积层；第二残差块的具体结构包括顺次连接的第六卷积层、第二非线性激活层、第七卷积层；第三残差块的具体结构包括顺次连接的第八卷积层、第三非线性激活层、第九卷积层；空间频率注意力模块的具体结构包括顺次连接的上下文空间注意力模块、分解频率注意力模块和卷积层，其中，上下文空间注意力模块包括并行排布的第一瓶颈结构、第二瓶颈结构及与其连接的第四非线性激活层、第三瓶颈结构、第五非线性激活层，其中，瓶颈结构包括多个卷积层，head网络包括并行排布的第三分支、第四分支、第五分支，第三分支包括顺次连接的第十卷积层、第十一卷积层，第四分支包括顺次连接的第十二卷积层、第十三卷积层，第五分支包括顺次连接的第十四卷积层、第十五卷积层，具体参数为：第一卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层的卷积核大小为3*3，步长为2，第二卷积层、第三卷积层、第十二卷积层的卷积核大小为3*3，步长为1，第十卷积层的卷积核大小为1*1，第十一卷积层、第十三卷积层、第十五卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5，第十四卷积层的卷积核大小为5*5，第一转置卷积层、第二转置卷积层的卷积核大小为3*3，步长为2，第一非线性激活层、第二非线性激活层、第三非线性激活层使用ReLU函数实现，第四非线性激活层、第五非线性激活层使用Sigmoid函数实现；
第二分支，其中卷积层个数为8；眼球状增强模块的具体结构包括顺次连接的第十六卷积层、第十七卷积层、上采样块和高斯卷积层；head网络的具体结构包括并行排布的第六分支、第七分支、第八分支，第六分支包括顺次连接的第十八卷积层、第十九卷积层，第七分支包括顺次连接的第二十卷积层、第二十一卷积层，第八分支包括顺次连接的第二十二卷积层、第二十三卷积层，具体参数为：第十六卷积层、第十七卷积层、第二十卷积层的卷积核大小为3*3，第十八卷积层的卷积核大小为1*1，第十九卷积层、第二十一卷积层、第二十三卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5，第二十二卷积层的卷积核大小为5*5。
3.根据权利要求1所述的基于双流增强网络的红外小目标检测方法，其特征在于，步骤(3b)中所述的l个训练样本的红外小目标检测结果，其获取过程的具体实现步骤为：
(3b1)将l个红外图像样本输入第一分支,第一分支中的Stem块对每个红外图像进行逐层特征提取，得到特征图x1，第一残差块从特征图x1中提取局部特征x2，第二残差块对局部特征x2进行细化，第三残差块对细化后的特征x3进行进一步细化，得到特征图x4，第一转置卷积层对特征图x4进行上采样，得到全局特征x5，第一空间频率注意力模块从全局特征x5提取l个高级特征图x6，第二转置卷积层对特征图x6进行上采样，得到特征图x7，第二空间频率注意力模块从特征图x7提取l个高级特征x8，head网络将特征图x8经过归一化后，得到l个归一化后的特征图x9；
(3b2)同时将l个红外图像样本，第一、第二空间频率注意力模块的特征图x6、x8作为第二分支中的眼球状增强模块的输入，分别用每个特征x6和每个特征x8细化每个红外图像样本，得到细化的特征图x10，head网络将特征图x10归一化后，得到l个归一化后特征图x11；
(3b3)通过融合模块将第一分支得到的特征图x8与第二分支得到的特征图x11进行逐元素相加，实现第二分支的结果补充细化第一分支的结果，得到l个训练样本的目标检测结果。
4.根据权利要求1所述的基于双流增强网络的红外小目标检测方法，其特征在于，步骤(3c)中所述的计算损失值LDC的表达式，以及根据
Figure FDA0003931053240000041
对ωs、bs进行更新的更新公式分别为：
LDC＝λDiceLDice+λCELCE
Figure FDA0003931053240000042
Figure FDA0003931053240000043
Figure FDA0003931053240000044
Figure FDA0003931053240000045
其中，pm为属于标签的像素值的预测概率，rm表示输入图像中每个像素的真实值，λDice和λCE为权值系数，ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率。
CN202211388623.1A 2022-11-08 2022-11-08 基于双流增强网络的红外小目标检测方法 Pending CN115565034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211388623.1A CN115565034A (zh) 2022-11-08 2022-11-08 基于双流增强网络的红外小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211388623.1A CN115565034A (zh) 2022-11-08 2022-11-08 基于双流增强网络的红外小目标检测方法

Publications (1)

Publication Number Publication Date
CN115565034A true CN115565034A (zh) 2023-01-03

Family

ID=84768366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211388623.1A Pending CN115565034A (zh) 2022-11-08 2022-11-08 基于双流增强网络的红外小目标检测方法

Country Status (1)

Country Link
CN (1) CN115565034A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法
CN118229961A (zh) * 2024-04-10 2024-06-21 湖南君领科技有限公司 红外目标检测方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702876A (zh) * 2023-04-27 2023-09-05 贵州大学 一种基于预处理的图像对抗防御方法
CN116702876B (zh) * 2023-04-27 2024-04-12 贵州大学 一种基于预处理的图像对抗防御方法
CN118229961A (zh) * 2024-04-10 2024-06-21 湖南君领科技有限公司 红外目标检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Zhou et al. Split depth-wise separable graph-convolution network for road extraction in complex environments from high-resolution remote-sensing images
Wang et al. Understanding convolution for semantic segmentation
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
Li et al. Survey of single image super‐resolution reconstruction
CN111062386B (zh) 基于深度金字塔注意力和特征融合的自然场景文本检测方法
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
CN106339998A (zh) 基于对比度金字塔变换的多聚焦图像融合方法
Han et al. Multi-level U-net network for image super-resolution reconstruction
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN113222819A (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
Hsu et al. Pedestrian detection using multi-scale structure-enhanced super-resolution
Chaudhary et al. Satellite imagery analysis for road segmentation using U-Net architecture
CN117252890A (zh) 颈动脉斑块分割方法、装置、设备及介质
Patel et al. A novel approach for semantic segmentation of automatic road network extractions from remote sensing images by modified UNet
Tomar et al. Attentive exfeat based deep generative adversarial network for noise robust face super-resolution
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN111598841B (zh) 基于正则化稠密连接特征金字塔的实例显著性检测方法
Dadon et al. Ddnerf: Depth distribution neural radiance fields
CN115861207A (zh) 一种轻量化的医学图像分割方法和系统
Yue et al. Remote-sensing image super-resolution using classifier-based generative adversarial networks
CN113496228B (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination