CN114863097A - 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 - Google Patents
一种基于注意力机制卷积神经网络的红外弱小目标检测方法 Download PDFInfo
- Publication number
- CN114863097A CN114863097A CN202210354670.8A CN202210354670A CN114863097A CN 114863097 A CN114863097 A CN 114863097A CN 202210354670 A CN202210354670 A CN 202210354670A CN 114863097 A CN114863097 A CN 114863097A
- Authority
- CN
- China
- Prior art keywords
- convolution
- features
- network
- feature
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 230000002708 enhancing effect Effects 0.000 claims abstract description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000331449 Vincetoxicum pycnostelma Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012443 analytical study Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000191 radiation effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于注意力机制卷积神经网络的红外弱小目标检测方法；步骤一：搭建基于注意力机制的卷积神经网络；首先使用骨干网络对输入图像进行特征提取；提取的三层特征经过注意力模块进行特征增强；随后通过扩大感受野模块进行感受野增强；然后通过特征融合模块进行高低级特征融合；最后通过全卷积网络逐像素预测，得到全图像像素级别的概率预测图；步骤二：构造损失函数对网络进行训练；利用得到的预测结果与像素级标注图像进行损失计算，以实现对网络参数的反馈训练；输出：用训练好的神经网络处理红外图像；在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
Description
技术领域
本发明涉及一种基于注意力机制卷积神经网络的红外弱小目标检测方法，属于数字图像处理和计算机视觉领域，主要涉及深度学习和目标检测技术，在各类基于图像的应用系统中有广阔的应用前景。
背景技术
红外弱小目标检测技术被广泛应用于精确制导、反导弹技术、空间碎片搜索等领域。在红外预警系统的实际运用中，弱小目标检测算法的稳定性、准确性和实时性决定了这一系统的可靠性和实用性。在实际应用中，各种物体存在的不同结构有不同的辐射强度分布，同时受温度、气候等因素影响，使得红外图像背景复杂。比如在空天背景下，卷云、带状云、絮团等会干扰对小目标的检测。在山地背景下，由于地面存在树木、建筑等，背景的辐射将变得更为复杂。在海天背景下，海面的波浪不断变化，使得红外辐射极不稳定；而海面光线反射等现象也造成辐射效果的复杂变化，这些都会对检测造成干扰。因此，在复杂背景下快速准确检测弱小目标是一项具有挑战性和研究意义的任务。
一些早期的研究方法通过背景估计得到目标：通过滤波、形态学等方法得到背景，再通过原图与背景之差得到目标。基于最大-中值滤波和最大-均值滤波的方法(参见文献：迪什潘德孟等，用于小目标检测的最大-中值和最大-均值滤波器，国际光学工程学会光学科学、工程和仪器国际研讨会论文集，1999:74-83.(Deshpande S D,Meng H E,Venkateswarlu R,et al.Max-mean and max-median filters for detection of smalltargets[C]//SPIE's International Symposium on Optical Science,Engineering,andInstrumentation.International Society for Optics and Photonics,1999:74-83.))是一种经典的小目标检测方法，通过选择当前像素邻域下某些特定方向位置的中值或者均值来替代当前操作的像素，以此滤除小目标；但对于高斯白噪声较为敏感，容易造成虚警。一些基于形态学的经典小目标检测方法(参见文献：白相志等，新顶帽变换及其在红外弱小目标检测应用中的分析研究，模式识别，2010：43(6)：2145-2156.(Bai X,Zhou F.Analysisof new top-hat transformation and the application for infrared dim smalltarget detection[J].Pattern Recognition,2010,43(6):2145-2156.))利用顶帽变换增强目标抑制背景。形态学运算简单快速，但在处理复杂场景时，容易受到强烈边缘等干扰从而虚警过高；同时形态学算子的尺寸也大多固定，不能自适应地根据场景调整。一些研究利用弱小目标灰度分布差异性突出的特点，通过设计测度增强目标、抑制背景，从而实现检测(参见文献：邓贺等，基于局部权重差异度量的红外小目标检测方法，美国电气电子工程师学会地理与遥感汇刊，2016,54(7):4204-4214.(Deng H,Sun X,Liu M,et al.SmallInfrared Target Detection Based on Weighted Local Difference Measure[J].IEEETransactions on Geoscience and Remote Sensing,2016,54(7):4204-4214.))。这类方法通常运行速度较快，但假设比较单一，在复杂环境下鲁棒性较弱。近年，根据弱小目标分布较少的稀疏特点，一些基于稀疏表示的检测方法被提出(参见文献：高陈强等，用在单幅图像中检测小目标的红外分块图像模型，美国电气电子工程师学会图像处理汇刊，2013,22(12):4996-5009.(Gao C,Meng D,Yang Y,et al.Infrared patch-image model forsmall target detection in a single image[J].IEEE Transactions on ImageProcessing,2013,22(12):4996-5009.))，但基于优化理论的模型相对复杂，造成计算量过大，实用性较差。
近年来，深度学习技术在红外弱小目标检测领域得到了发展。应用于该领域的神经网络方法主要是从一般物体的检测网络中发展而来，根据提取特征的次数主要分为一阶段检测算法和多阶段检测算法。一阶段检测算法在检测过程中只对目标提取一次特征，此类算法检测速率高，但精度相对低一点，主要有SSD，YOLO系列等。多阶段检测算法主要以R-CNN系列网络为代表，目前具有代表性的两阶段检测网络是Faster R-CNN(参见文献：任少卿等，更快的R-CNN：基于区域提案网络的实时目标检测，美国电气与电子工程师协会模式分析与机器智能学报，2017，1137-1149.(Ren S,He K,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2017,39(6):1137-1149.))，其主要思想是先寻找可能存在目标的区域，通过锚盒机制来得到筛选后的候选区域，然后通过参数共享，统一分类和回归，进而得到最终的检测结果。Liu等人提出一种基于相关滤波器的多层卷积网络，将检测问题视为二分类问题，级联多个弱分类器并得到相对准确的结果(参见文献：刘强等，用于热红外物体跟踪的深度卷积神经网络，系统知识基础，2017,134：189-198.(Liu Q,Lu X,He Z,et al.Deep convolutional neural networksfor thermal infrared object tracking[J].Knowledge-Based Systems,2017,134:189-198.))。Deng等人考虑到成像系统本身存在的噪声，提出了一种由变换、局部卷积和全卷积三种结构组成的多尺度卷积神经网络，对于成像系统的噪声具有很强的鲁棒性(参见文献：邓璐等，用于空间红外点物体判别的多尺度卷积神经网络，美国电气与电子工程师协会方法，2019,7:28113-28123.(Deng Q,Lu H,Tao H,et al.Multi-scale convolutionalneural networks for space infrared point objects discrimination[J].IEEEAccess,2019,7:28113-28123.))。
然而，当前的深度学习方法多针对于传统的大目标检测，未考虑弱小目标的尺寸等特征和复杂背景存在的干扰，导致在弱小目标检测中表现不佳，出现漏检错检现象。本发明认为弱小目标的尺寸分布是网络设计和特征提取时需考虑的重要信息，为了实现快速且有效的弱小目标检测，由检测目标的特性出发设计深度学习网络模型，本发明提出了一种基于注意力机制卷积神经网络的红外弱小目标检测方法。
发明内容
1、目的：弱小目标检测是红外预警与制导系统中的重要环节，现有的检测方法在简单背景下能较有效地检测目标，但在复杂环境中可能会因为干扰过大出现无法检测出目标或虚警过高的现象，且检测实时性较差。为了解决上述问题并弥补传统方法的不足，本发明提出了一种基于注意力机制卷积神经网络的红外弱小目标检测方法，结合特征融合模块、扩大感受野模块、注意力模块，实现高精度快速检测。模型根据红外弱小目标图像的特性进行设计，在提高检测精度、降低虚警率以及运行时间上有了明显的改善。
2、技术方案：为了实现低虚警率的快速精确检测，本发明的整体思路是构建轻量级网络框架保证检测速度，结合扩大感受野模块、注意力模块、特征融合模块增强对目标特征提取的能力，搭建一个针对红外弱小目标的神经网络框架；根据损失函数训练模型至接近收敛；最后，使用训练好的模型进行测试，得到检测结果。本发明的算法技术思路主要体现在以下方面：
1)针对目标尺寸分布位于3×3～5×5之间的特性，设计轻量级网络，提高对目标特征的提取效率；
2)设计注意力模块，提高网络的特征提取效率，在空间上更关注目标可能出现的区域，在特征通道上更关注有区分度的特征；
3)设计扩大感受野模块，与网络框架结合，实现更大感受野下的特征提取；
4)设计特征融合模块，针对弱小目标特点，融合目标的低级特征和高级语义特征，实现精度更高的分割检测效果。
本发明涉及一种基于注意力机制卷积神经网络的红外弱小目标检测方法，该方法具体步骤如下：
步骤一：搭建基于注意力机制的卷积神经网络。首先使用骨干网络对输入图像进行特征提取；提取的三层特征经过注意力模块进行特征增强；随后通过扩大感受野模块进行感受野增强；然后通过特征融合模块进行高低级特征融合；最后通过全卷积网络逐像素预测，得到全图像像素级别的概率预测图。
步骤二：构造损失函数对网络进行训练。利用得到的预测结果与像素级标注图像进行损失计算，以实现对网络参数的反馈训练。
输出：用训练好的神经网络处理红外图像。在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
其中，所述步骤一具体如下：
1.1：构建骨干网络对输入图像进行特征提取。骨干网络主要由三个残差块单元构成，每个残差块单元由不同尺度的卷积单元与残差块组成，以提取不同尺度的特征。输入图像首先经过一个卷积核大小为3×3，步长为1的卷积单元，生成通道数为16的特征图；接着依次通过3个残差块单元，生成通道数为32、64、128的三组特征图。
1.2：注意力模块。本发明设计了针对弱小目标特征的注意力模块，考虑到浅层特征保留了更多的构造目标边界的细节信息，深层特征保留了更多的定位目标语义的信息，对不同层特征进行区分处理，以增强与小目标相关的特征信息。首先，针对三层特征的感受野不同，将空间注意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7×7、5×5、3×3。同时，由于浅层特征图包含着更多的纹理细节信息，因此浅层特征的处理首先应用通道注意力机制，接着应用空间注意力机制。然而对于深层特征，由于其体现着更多的语义信息，处理时首先应用空间注意力机制，然后再应用通道注意力机制。
1.3：扩大感受野模块。在卷积神经网络中，网络每一层输出特征图上的单像素点能映射出的输入图像大小被定义为感受野，上下文信息对于目标的识别与检测具有十分重要的意义，因此，对特征图进行扩大感受野操作是一种常见的提高检测精度的手段。扩大感受野方法主要有三种：(1)增加池化层，但池化过程会造成部分信息损失，导致检测的准确度。(2)增加卷积核的大小，但这将相应增加卷积层的参数。(3)增加卷积层的个数，但这可能导致梯度消失的问题。本发明综合考虑以上三种情况，设计感受野模块以适应红外弱小目标检测任务。考虑到本发明中由骨干网络得到的特征图并未经过特别深层的卷积处理，其感受野大小适中，本发明设计4个分支结构，使用1×1、3×3、5×5卷积，合理扩大感受野。首先对处理后的前三个分支进行拼接操作，对拼接后的特征信息再进行1×1卷积降维，最后与第四个分支相加，得到扩大了感受野后的特征图。
1.4：特征融合模块。综合考虑红外弱小目标各层特征图表征的不同信息，本发明增加了代表更多语义信息的深层特征在最终特征图中的比重，即在对各层特征进行融合后，再与进行特征融合中原有的深层特征进行逐点加和操作，以增强图像的语义信息。对于深层特征，本发明在两次卷积操作之间，增加了自适应平均池化的操作，有利于在前后通道数不改变的前提下，在特征信息中保留更多的背景信息。然后将处理后的深层特征与原有的浅层特征相乘，同理，处理后的浅层特征也与原有的深层特征相乘，接着将两者结果进行拼接。最后，将拼接后的特征与原有的深层特征进行加法操作。在整个网络中，一共提取了三个尺度的特征，首先在最深层的两层特征之间进行特征融合操作，然后将融合的结果与浅层特征再次进行同样的特征融合操作，以得到最终应用于结果预测的特征图。
1.5：通过全卷积网络进行检测。将融合后的特征利用全卷积网络(FCN)逐像素预测，得到全图像像素级别的概率预测图。
其中，所述步骤二具体如下：
2.1：损失函数由两部分构成：交并比(IOU)损失与虚警率(FA)损失，L＝LIOU+LFA。交并比是指产生的预测区域与真实目标区域的交叠率，即是指两者的交集和并集的比值。我们训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确。由此，定义交并比损失
其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。虚警率是指错判为目标的背景区域占预测区域的比例。由此，定义虚警率损失
其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算。将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算损失。
2.2:本发明采用AdaGrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4，训练中自适应更新学习率，通过梯度反向传播调整网络参数，使网络参数向损失函数降低的方向优化，300轮训练后损失函数接近收敛。
3、优点及功效：本发明提出一种基于注意力机制卷积神经网络的红外弱小目标检测方法，从红外弱小目标的尺度分布特性出发，设计一种轻量级网络框架；通过注意力机制模块，对不同层特征区分处理，以增强与小目标相关的特征信息；通过扩大感受野模块，合理扩大针对红外弱小目标的网络感受野，提高检测精度；通过特征融合模块，增加了代表更多语义信息的深层特征在最终特征图中的比重，更好地保留小目标高级特征。模型的设计符合红外弱小目标图像的特性，在提高检测精度、降低虚警率以及运行时间上有了较为明显的改善，具有广阔的实用前景。
附图说明
图1为本发明提出的基于注意力机制卷积神经网络的红外弱小目标检测方法的原理框图。
图2为注意力模块的基本结构。
图3为扩大感受野模块的基本结构。
图4为特征融合模块的基本结构。
图5a-5h是展示了本发明在实际场景中的检测结果；其中，图5a、5b、5e、5f是原始红外图像，小目标由白色方框标记出；图5c、5d、5g、5h是本发明方法的检测结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明提出了一种利用深度学习的红外弱小目标检测方法，原理框图如图1所示，具体实施步骤如下：
步骤一：搭建基于注意力机制的卷积神经网络，网络的基本结构如图1所示；
步骤二：构造损失函数对网络进行训练；
输出：用训练好的神经网络处理红外图像。在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
其中，所述步骤一具体如下：
1.1：构建骨干网络对输入图像进行特征提取。骨干网络主要由三个残差块单元构成，每个残差块单元由不同尺度的卷积单元与残差块组成，以提取不同尺度的特征。每个卷积单元由卷积层，批量归一化层、LeakyReLu操作组合而成。输入图像(设宽w，长h)首先经过一个卷积核大小为3×3，步长为1的卷积单元，生成通道数为16的特征图F(宽w，长h)；接着依次通过3个残差块单元，生成通道数为32、64、128的三组特征图F1、F2、F3。F通过第一个残差块单元生成特征图F1(宽
长
)，随后F1送入第二个残差块单元生成下一尺度特征图F2(宽
长
)，随后F2送入第三个残差块单元生成F3(宽
长
)。每个残差块单元先使用1次卷积核大小为3×3，步长为2的卷积单元，目的是对图像进行下采样；再经过2个残差块提取特征，得到该尺度的特征图；每个残差块由2个卷积单元组成，卷积核大小为1×1、步长为1，第一个卷积单元将特征图通道数降为原有一半，第二个卷积单元恢复原特征图通道数，与输入进行残差连接。本发明使用的骨干网络参数如表1所示，表中仅列出卷积与残差连接操作，批量归一化层、LeakyReLu操作忽略。
表1骨干网络参数设置
1.2：注意力模块。本发明设计了针对弱小目标特征的注意力模块，考虑到浅层特征保留了更多的构造目标边界的细节信息，深层特征保留了更多的定位目标语义的信息，对不同层特征进行区分处理，以增强与小目标相关的特征信息。首先，针对1.1中提取的三层特征F1、F2、F3的感受野不同，将空间注意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7×7、5×5、3×3。同时，由于浅层特征图包含更多的纹理细节信息，因此浅层特征(F1、F2)的处理首先应用通道注意力机制，接着应用空间注意力机制。然而对于深层特征(F3)，由于其体现着更多的语义信息，处理时首先应用空间注意力机制，然后再应用通道注意力机制。具体模块设计如图2所示。
1.3：扩大感受野模块。本发明针对红外弱小目标检测任务设计感受野模块，考虑由骨干网络得到的特征图并未经过特别深层的卷积处理，其感受野大小适中，本发明设计4个分支结构，使用1×1、3×3、5×5卷积，合理扩大感受野。首先，卷积层、ReLu操作、批量归一化层构成卷积单元；第一分支使用1×1卷积单元，第二分支依次使用1×1卷积单元、1×3卷积单元、3×1卷积单元、3×3膨胀卷积单元，第三分支依次使用1×1卷积单元、1×5卷积单元、5×1卷积单元、3×3膨胀卷积单元，第四分支使用1×1卷积单元。原始特征图
分别经过四个分支，对前三个分支的输出结果在通道维度上进行拼接操作，对拼接后的通道数增加的特征图使用1×1卷积降维，使通道数等于原始输入通道数。最后将前三分支拼接后降维的结果与第四个分支进行逐点加和操作，得到扩大感受野后的特征图
具体模块设计如图3所示。
1.4：特征融合模块。综合考虑红外弱小目标各层特征图表征的不同信息，本发明增加了代表更多语义信息的深层特征在最终特征图中的比重，即在对深层和浅层两组特征进行融合后，再与原有的深层特征进行逐点加和操作，以增强图像的语义信息。特征融合模块的具体实现方式如图4所示。从结构示意图可以看到，对扩大感受野后的由浅及深三层特征
第一步在最深层的两层特征
之间进行特征融合操作：先对其中较深层特征
使用卷积核大小为1×1、步长为1的卷积单元进行上采样，使特征
通道数与
保持相同，之后使用自适应平均池化操作，有利于在特征信息中保留更多的背景信息，然后使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；对其中较低层特征
使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征
相乘，处理后的浅层特征也与原有的深层特征
相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征
进行加法操作，至此完成
与
特征的融合操作。第二步，将第一步融合的结果
与最浅层特征
再次进行特征融合操作：先对其中较深层特征
使用卷积核大小为1×1、步长为1的卷积单元进行上采样，使特征
通道数与
保持相同，之后使用自适应平均池化操作，然后使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；对其中较低层特征
使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征
相乘，处理后的浅层特征也与原有的深层特征
相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征
进行加法操作，至此完成第一步得到的特征
与
特征的融合操作，得到最终应用于结果预测的特征图。
1.5：通过全卷积网络进行检测。将融合后的特征利用全卷积网络(FCN)逐像素预测，融合特征经过3×3卷积单元后通道数降至原始的四分之一，再经过1×1卷积单元降维通道数为1，输出全图像像素级别的概率预测图。
其中，所述步骤二具体如下：
2.1：损失函数由两部分构成：交并比(IOU)损失与虚警率(FA)损失，L＝LIOU+LFA。交并比是指产生的预测区域与真实目标区域的交叠率，是指两者的交集和并集的比值。训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确。由此，定义交并比损失
其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。虚警率是指错判为目标的背景区域占预测区域的比例。由此，定义虚警率损失
其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算。给出以上损失函数定义后，将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算损失。
2.2：本发明采用AdaGrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4，训练中自适应更新学习率。每次训练根据损失函数通过梯度反向传播调整网络参数，使网络参数向损失函数降低的方向优化，300轮训练后损失函数接近收敛。在该过程中，使用梯度下降法进行反向传播，通过求导链式法则，将损失函数对某一网络参数求偏导来进行参数更新：
其中θi为反向传播前的网络参数，θ′i为反向传播更新后的网络参数，η为学习率，L为损失函数。
图5a-是本发明在实际红外场景中的应用，其中，图5a、5b、5e、5f是在原始红外图像中，小目标的位置用白框标出，图5c、5d、5g、5h为相应的检测结果。用于实验的图像来自于不同的红外场景，其中的小目标大多数非常暗淡和微小，但实验结果不仅仅有效地在低虚警率下检测出目标，而且在运算时间上相比于其他方法有较大优势，实现了快速准确检测的目标，这充分说明本发明的有效性，并可广泛应用于各类红外弱小目标检测系统，具有广阔的市场前景与应用价值。
Claims (9)
1.一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：该方法具体步骤如下：
步骤一：搭建基于注意力机制的卷积神经网络；首先使用骨干网络对输入图像进行特征提取；提取的三层特征经过注意力模块进行特征增强；随后通过扩大感受野模块进行感受野增强；然后通过特征融合模块进行高低级特征融合；最后通过全卷积网络逐像素预测，得到全图像像素级别的概率预测图；
步骤二：构造损失函数对网络进行训练；利用得到的预测结果与像素级标注图像进行损失计算，以实现对网络参数的反馈训练；
输出：用训练好的神经网络处理红外图像；在使用训练数据对注意力机制卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
2.根据权利要求1所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤一中，具体包括如下步骤：
1.1：构建骨干网络对输入图像进行特征提取；骨干网络由三个残差块单元构成，每个残差块单元由不同尺度的卷积单元与残差块组成，以提取不同尺度的特征；输入图像首先经过一个卷积核大小为3×3，步长为1的卷积单元，生成通道数为16的特征图；接着依次通过3个残差块单元，生成通道数为32、64、128的三组特征图；
1.2：注意力模块；针对弱小目标特征的注意力模块，考虑到浅层特征保留了更多的构造目标边界的细节信息，深层特征保留了更多的定位目标语义的信息，对不同层特征进行区分处理，以增强与小目标相关的特征信息；首先，针对三层特征的感受野不同，将空间注意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7×7、5×5、3×3；同时，由于浅层特征图包含着更多的纹理细节信息，因此浅层特征的处理首先应用通道注意力机制，接着应用空间注意力机制；然而对于深层特征，由于其体现着更多的语义信息，处理时首先应用空间注意力机制，然后再应用通道注意力机制；
1.3：扩大感受野模块；设计4个分支结构，使用1×1、3×3、5×5卷积，合理扩大感受野；首先对处理后的前三个分支进行拼接操作，对拼接后的特征信息再进行1×1卷积降维，最后与第四个分支相加，得到扩大了感受野后的特征图；
1.4：特征融合模块；综合考虑红外弱小目标各层特征图表征的不同信息，增加了代表更多语义信息的深层特征在最终特征图中的比重，即在对各层特征进行融合后，再与进行特征融合中原有的深层特征进行逐点加和操作，以增强图像的语义信息；对于深层特征，在两次卷积操作之间，增加了自适应平均池化的操作，有利于在前后通道数不改变的前提下，在特征信息中保留更多的背景信息；然后将处理后的深层特征与原有的浅层特征相乘，同理，处理后的浅层特征也与原有的深层特征相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的深层特征进行加法操作；在整个网络中，一共提取了三个尺度的特征，首先在最深层的两层特征之间进行特征融合操作，然后将融合的结果与浅层特征再次进行同样的特征融合操作，以得到最终应用于结果预测的特征图；
1.5：通过全卷积网络进行检测；将融合后的特征利用全卷积网络FCN逐像素预测，得到全图像像素级别的概率预测图。
3.根据权利要求2所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤1.1中：每个卷积单元由卷积层，批量归一化层、LeakyReLu操作组合而成；三组特征图F1、F2、F3；F通过第一个残差块单元生成特征图F1(宽
长
随后F1送入第二个残差块单元生成下一尺度特征图F2(宽
长
随后F2送入第三个残差块单元生成F3(宽
长
每个残差块单元先使用1次卷积核大小为3×3，步长为2的卷积单元，目的是对图像进行下采样；再经过2个残差块提取特征，得到该尺度的特征图；每个残差块由2个卷积单元组成，卷积核大小为1×1、步长为1，第一个卷积单元将特征图通道数降为原有一半，第二个卷积单元恢复原特征图通道数，与输入进行残差连接。
4.根据权利要求2所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤1.3中，首先，卷积层、ReLu操作、批量归一化层构成卷积单元；第一分支使用1×1卷积单元，第二分支依次使用1×1卷积单元、1×3卷积单元、3×1卷积单元、3×3膨胀卷积单元，第三分支依次使用1×1卷积单元、1×5卷积单元、5×1卷积单元、3×3膨胀卷积单元，第四分支使用1×1卷积单元；原始特征图
分别经过四个分支，对前三个分支的输出结果在通道维度上进行拼接操作，对拼接后的通道数增加的特征图使用1×1卷积降维，使通道数等于原始输入通道数；最后将前三分支拼接后降维的结果与第四个分支进行逐点加和操作，得到扩大感受野后的特征图
5.根据权利要求3所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤1.4中，特征融合模块的具体实现方式为：对扩大感受野后的由浅及深三层特征
第一步在最深层的两层特征
之间进行特征融合操作：先对其中较深层特征
使用卷积核大小为1×1、步长为1的卷积单元进行上采样，使特征
通道数与
保持相同，之后使用自适应平均池化操作，有利于在特征信息中保留更多的背景信息，然后使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；对其中较低层特征
使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征
相乘，处理后的浅层特征也与原有的深层特征
相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征
进行加法操作，至此完成
与
特征的融合操作；第二步，将第一步融合的结果
与最浅层特征
再次进行特征融合操作：先对其中较深层特征
使用卷积核大小为1×1、步长为1的卷积单元进行上采样，使特征
通道数与
保持相同，之后使用自适应平均池化操作，然后使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；对其中较低层特征
使用两个卷积核大小为1×1、步长为1的卷积单元进行处理；将处理后的较深层特征与原有的较浅层特征
相乘，处理后的浅层特征也与原有的深层特征
相乘，接着将两者结果进行拼接；最后，将拼接后的特征与原有的较深层特征
进行加法操作，至此完成第一步得到的特征
与
特征的融合操作，得到最终应用于结果预测的特征图。
6.根据权利要求2或5所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤1.5中，融合特征经过3×3卷积单元后通道数降至原始的四分之一，再经过1×1卷积单元降维通道数为1，输出全图像像素级别的概率预测图。
7.根据权利要求1所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤二中，还包括具体如下：
2.1：损失函数由两部分构成：交并比IOU损失与虚警率FA损失，L＝LIOU+LFA；交并比是指产生的预测区域与真实目标区域的交叠率，是指两者的交集和并集的比值；训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1；交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确；由此，定义交并比损失
其中area(predict)为预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算；虚警率是指错判为目标的背景区域占预测区域的比例；由此，定义虚警率损失
，其中area(predict)为预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算；
2.2:采用AdaGrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4，训练中自适应更新学习率，通过梯度反向传播调整网络参数，使网络参数向损失函数降低的方向优化，300轮训练后损失函数接近收敛。
8.根据权利要求7所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤2.1中，给出以上损失函数定义后，将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算损失。
9.根据权利要求7所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方法，其特征在于：在步骤2.2中，使用梯度下降法进行反向传播，通过求导链式法则，将损失函数对某一网络参数求偏导来进行参数更新：
其中θi为反向传播前的网络参数，θ′i为反向传播更新后的网络参数，η为学习率，L为损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354670.8A CN114863097A (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354670.8A CN114863097A (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114863097A true CN114863097A (zh) | 2022-08-05 |
Family
ID=82630297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210354670.8A Pending CN114863097A (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863097A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187603A (zh) * | 2022-09-13 | 2022-10-14 | 国网浙江省电力有限公司 | 一种基于深度神经网络的电力设备检测方法及装置 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115631452A (zh) * | 2022-11-15 | 2023-01-20 | 中国科学院空天信息创新研究院 | 智能红外弱小目标检测方法、装置、电子设备及介质 |
| CN116503800A (zh) * | 2023-04-20 | 2023-07-28 | 南京航空航天大学 | 一种军事敏感区域迭代反馈红外目标检测模型建立方法 |
| CN116740135A (zh) * | 2023-05-18 | 2023-09-12 | 中国科学院空天信息创新研究院 | 红外弱小目标跟踪方法、装置、电子设备及存储介质 |
| CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN113591968A (zh) * | 2021-07-27 | 2021-11-02 | 中国人民解放军国防科技大学 | 一种基于非对称注意力特征融合的红外弱小目标检测方法 |
| CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
-
2022
- 2022-04-06 CN CN202210354670.8A patent/CN114863097A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN113591968A (zh) * | 2021-07-27 | 2021-11-02 | 中国人民解放军国防科技大学 | 一种基于非对称注意力特征融合的红外弱小目标检测方法 |
| CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187603A (zh) * | 2022-09-13 | 2022-10-14 | 国网浙江省电力有限公司 | 一种基于深度神经网络的电力设备检测方法及装置 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115631452A (zh) * | 2022-11-15 | 2023-01-20 | 中国科学院空天信息创新研究院 | 智能红外弱小目标检测方法、装置、电子设备及介质 |
| CN116503800A (zh) * | 2023-04-20 | 2023-07-28 | 南京航空航天大学 | 一种军事敏感区域迭代反馈红外目标检测模型建立方法 |
| CN116503800B (zh) * | 2023-04-20 | 2024-01-23 | 南京航空航天大学 | 一种军事敏感区域迭代反馈红外目标检测模型建立方法 |
| CN116740135A (zh) * | 2023-05-18 | 2023-09-12 | 中国科学院空天信息创新研究院 | 红外弱小目标跟踪方法、装置、电子设备及存储介质 |
| CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
| CN116862252B (zh) * | 2023-06-13 | 2024-04-26 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114863097A (zh) | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 | |
| CN112818903B (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
| CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
| CN112686207B (zh) | 一种基于区域信息增强的城市街道场景目标检测方法 | |
| CN111738206B (zh) | 基于CenterNet的用于无人机巡检的挖掘机检测方法 | |
| CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
| Xia et al. | PANDA: Parallel asymmetric network with double attention for cloud and its shadow detection | |
| CN105528575A (zh) | 基于上下文推理的天空检测算法 | |
| CN114202743A (zh) | 自动驾驶场景下基于改进faster-RCNN的小目标检测方法 | |
| CN114821018A (zh) | 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法 | |
| CN112991350A (zh) | 一种基于模态差异缩减的rgb-t图像语义分割方法 | |
| Fan et al. | Infrared small target detection based on region proposal and CNN classifier | |
| Han et al. | A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection | |
| CN116486102A (zh) | 一种基于混合空间调制特征卷积神经网络的红外弱小目标检测方法 | |
| Tao et al. | An adaptive frame selection network with enhanced dilated convolution for video smoke recognition | |
| Chen et al. | A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface | |
| CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
| CN109409224B (zh) | 一种自然场景火焰检测的方法 | |
| CN116433721A (zh) | 一种基于生成伪融合特征的室外rgb-t目标跟踪算法 | |
| CN115984568A (zh) | 一种基于YOLOv3网络的雾霾环境下目标检测方法 | |
| CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
| CN113361475A (zh) | 一种基于多阶段特征融合信息复用的多光谱行人检测方法 | |
| Roh et al. | Fire image classification based on convolutional neural network for smart fire detection | |
| Bendre et al. | Natural disaster analytics using high resolution satellite images | |
| Nataprawira et al. | Pedestrian Detection in Different Lighting Conditions Using Deep Neural Networks. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |