CN113591968A - 一种基于非对称注意力特征融合的红外弱小目标检测方法 - Google Patents
一种基于非对称注意力特征融合的红外弱小目标检测方法 Download PDFInfo
- Publication number
- CN113591968A CN113591968A CN202110853817.3A CN202110853817A CN113591968A CN 113591968 A CN113591968 A CN 113591968A CN 202110853817 A CN202110853817 A CN 202110853817A CN 113591968 A CN113591968 A CN 113591968A
- Authority
- CN
- China
- Prior art keywords
- feature
- attention
- model
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 18
- 238000002474 experimental method Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000002922 simulated annealing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于非对称注意力特征融合的红外弱小目标检测方法，其包括：步骤S1：数据预处理及数据集划分；即，对包含弱小目标的红外图像数据集数据进行处理；步骤S2：建立具有非对称注意力特征融合模块AAFF、残差模块Res、基础卷积网络Conv的轻量级深度网络AAFFU‑Net模型；步骤S3：采用训练数据集和标注信息对所述的轻量级深度网络AAFFU‑Net模型进行训练以及调参，并结合验证集验证模型的性能并保存模型；利用保存后的模型进行红外弱小目标的检测。本发明具有能够提升网络模型检测红外弱小目标的性能、计算复杂度低，且可靠性更高等优点。
Description
技术领域
本发明主要涉及到计算机视觉和图像处理技术领域，特指一种基于非对称注意力特征融合的红外弱小目标检测方法。
背景技术
红外成像技术在安防、监控、精确跟踪制导和遥感等许多领域都得到了迅速发展和广泛的应用。“红外弱小目标”是指在红外图像中，目标由于光学成像距离远，大气特性和背景温度噪声的影响等因素导致目标成像空间分辨率有限，只有2x2到9x9像素，不到整个图像的0.15％，信噪比低，缺少纹理和形状特征。“红外弱小目标”检测是泄漏和缺陷检测、医学分析细胞计数、预警系统、无人机巡航、红外寻的制导防空等民用和军事应用的关键技术。由于小目标分辨率低、缺乏纹理和形状信息以及环境和背景噪声等因素的影响，红外图像中的小目标通常淹没在复杂的背景杂波中，红外图像中的小目标检测被认为是一个充满挑战和富有吸引力的关键技术难题。
现有技术中，“红外弱小目标”的检测方法主要分为单帧检测和多帧检测。由于多帧检测算法通常比单帧检测算法耗时更多，且多帧检测算法一般假设背景为静态，难以应用到红外小目标实时检测。
传统的单帧检测方法主要包括二维最小均方(Two dimensional least meansquare，TDLMS)滤波算法、最大均值和最大中值滤波算法(Max-Mean/Max-Median filter)、顶帽变换方法(Top-hat filter)等基于背景空间一致性的方法；其主要是通过滤波的方式增强目标并抑制背景杂波，但是这种方法容易受到背景中的杂波和噪声的影响，检测鲁棒性差。
之后，有从业者提出一种基于人眼视觉系统(human visual system，HVS)的小目标检测方法，其主要是通过构建不同的局部对比测度来区分目标和背景。局部对比测量方法(local contrast measure，LCM)，新型局部对比度测量(novel local contrastmeasure，NLCM)，新型加权图像熵图方法(novel weighted image entropy map，NWIE)，多尺度块拼接的对比测量方法(multiscale patch-based contrast measure，MPCM)。该方法主要通过局部区域内构造一个内部窗口及其邻近窗口，计算内部窗口与邻近窗口的对比，增强局部目标特征。通过在整个图像上滑动内部窗口，最后采用自适应阈值分割来实现目标的检测。然而，这些算法容易受到边缘和噪声等因素的影响，造成误检。
近年来，随着深度学习在计算机视觉领域取得的成功，深度学习算法利用多层神经网络模型和大量训练数据，通过多次迭代运算实现对输入数据的深层特征提取与学习，卷积神经网络(convolutional neural networks，CNN)引入到红外弱小目标检测中。在红外弱小目标检测的课题中，发展出了基于U-Net网络和语义约束模块相结合的红外小目标语义分割深度学习方法，基于产生式对抗网络(Generative Adversarial Network，GAN)的目标检测，利用卷积神经网络中非对称调制模块在红外小目标检测中获得更丰富的语义信息和空间细节编码以及注意局部对比度网络(Attentional Local Contrast Networks，ALCNet)。在红外弱小目标检测的任务中，卷积神经网络在提取弱小目标特征，抑制背景杂波噪声表现出巨大的优势，降低了红外弱小目标检测的虚警率，提高检测精度和性能。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够提升网络模型检测红外弱小目标的性能、计算复杂度低，且可靠性更高的基于非对称注意力特征融合的红外弱小目标检测方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于非对称注意力特征融合的红外弱小目标检测方法，其包括：
步骤S1：数据预处理及数据集划分；即，对包含弱小目标的红外图像数据集数据进行处理；
步骤S2：建立具有非对称注意力特征融合模块AAFF、残差模块Res、基础卷积网络Conv的轻量级深度网络AAFFU-Net模型；
步骤S3：采用训练数据集和标注信息对所述的轻量级深度网络AAFFU-Net模型进行训练以及调参，并结合验证集验证模型的性能并保存模型；利用保存后的模型进行红外弱小目标的检测。
作为本发明的进一步改进：所述步骤S1中对数据进行处理包括如下步骤：
步骤S11：将数据集划分为训练集、验证集、测试集，并且所述数据集按照5∶2∶3的比例划分训练数据集、验证数据集和测试数据集；
步骤S12：采用基于图像增强方法进行图像数据扩充；
步骤S13：将数据集进行归一化处理，修改成统一尺寸作为网络模型的输入尺寸。
作为本发明的进一步改进：所述步骤S12中，所述基于图像增强方法进行数据扩充包括：
(1)颜色空间转换：对原始RGB图像进行转化为HSV图像的颜色空间转换；
(2)图像翻转：对图像分别进行水平翻转和垂直翻转；
(3)图像旋转：对图像进行随机角度的旋转。
作为本发明的进一步改进：所述轻量级深度网络AAFFU-Net模型包括基础骨干网络和非对称注意力特征融合模块，所述基础骨干网络包括残差网络Resnet-20作为骨干网络的U-Net网络，所述基础骨干网络的作用是从输入的原始图片中提取不同网络层次的特征并进行特征结果的转化，保留精细的浅层特征和丰富的深层语义信息，输出检测结果图；所述非对称注意力特征融合模块的作用是通过同层特征间的空间和通道信息交流的同时利用自下而上的全局通道注意路径实现低层精细特征对高层语义信息的指导，突出弱小目标的特征来强化模型的特征学习能力和目标检测的性能。
作为本发明的进一步改进：所述步骤S2中，轻量级深度网络AAFFU-Net模型包含七个卷积阶段Stage：
Conv-1采用卷积核大小3×3，输出特征16维，输出尺寸为480×480；
Stage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
UpStage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
Stage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
UpStage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
Bottleneck采用3×3的卷积核大小进行4次的残差连接操作，输出特征64维，输出尺寸为120×120；
Predict采用1×1的卷积核大小进行操作，输出特征1维，输出尺寸为480×480。
其中，将来自Bottleneck进行上采样后的特征图与Stage-2的输出特征图跳跃连接经过AAFF2模块处理之后的输出特征图作为UpStage-2的输入特征图，将来自UpStage-2进行上采样后的特征图与Stage-1的输出特征图跳跃连接经过AAFF1模块处理之后的输出特征图作为UpStage-1的输入特征图。
作为本发明的进一步改进：将来自Bottleneck进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y2_1；将来自Stage-2输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X2_1；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y2_1相乘得到特征图Y2_2，接下来将得到的特征图Y2_2与特征图X2_1相加，得到最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-2的输入；
将来自UpStage-2进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y1_1；将来自Stage-1输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X1_1；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y1_1相乘得到特征图Y1_2，接下来将得到的特征图Y1_2与特征图X1_1相加，得到最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-1的输入。
作为本发明的进一步改进：混洗注意SA模块对图像的处理过程包括：将输入的特征地图分成组，并使用混洗单元将通道注意和空间注意整合到每个组的一个块中；之后，所有的子特征被聚合，并利用“通道混洗”算子来实现不同子特征之间的信息通信；最后，对深层的卷积特征进行模拟退火算法的操作。
作为本发明的进一步改进：所述步骤S3中轻量级深度网络AAFFU-Net模型进行训练以及调参过程包括：
步骤S31：调参的具体操作为：通过模型的测试结果以及损失函数的变化对训练参数进行调整；
步骤S32：所述损失函数选择为soft-IoU损失函数；
步骤S33：采用Adam作为优化器训练轻量级深度网络模型的权重参数，权重初始化方式采用“He初始化”，学习率设置为0.05，当轻量级深度网络达到预先设定的epoch时，模型训练完毕，得到训练好的轻量级深度网络模型。
作为本发明的进一步改进：还包括步骤S4：采用测试集输入保存的红外弱小目标检测网络模型测试，将已经标注的标签数据同经过模型对全部测试图像的检测结果进行对比分析，并使用设计好的测试指标筛选出检测性能最好的检测模型。
作为本发明的进一步改进：还包括步骤S5：将训练集、验证集、测试集，输入传统目标检测模型FPN、U-Net、ACM-U-Net、TBC-Net、ALCNet，进行对比实验；统计对比实验的数据结果，对各个模型的检测精度进行比较，获得轻量级深度网络AAFFU-Net的检测结果和性能数据。
与现有技术相比，本发明的优点在于：
1、本发明的基于非对称注意力特征融合的红外弱小目标检测方法，以U-Net为基础网络，建立轻量级检测网络(AAFFU-Net)模型。该模型通过端到端的方式学习红外图像的弱小目标特征。为了提升模型的特征提取和学习能力，本发明采取自下而上的全局通道注意力路径实现跨层特征融合，突出目标的细微细节。并在网络的编码和解码阶段加入混洗注意(Shuffle Attention，SA)模块关注模型相同层之间的空间和通道特征信息。最后，本发明对所提出的AAFFU-Net方法在红外弱小目标的数据集上进行了评估。综合实验结果表明，该方法具有较好的检测精度和较快的检测速度。
2、本发明的基于非对称注意力特征融合的红外弱小目标检测方法，针对红外小目标的信噪比低，所占像素少的问题，采用基于非对称注意力特征融合的轻量级检测模型(AAFFU-Net)，提升了网络模型检测红外弱小目标的性能。在U-Net的基础上引入自下而上的全局通道注意力和混洗注意模块，设计出高级语义信息和低层细节的多尺度特征融合的非对称注意力特征融合模块AAFF。本发明具有较好的鲁棒性和场景适应性，具体表现为该方法能够对天空、丛林和海洋等复杂背景中的红外弱小目标检测表现出良好的性能，并且本发明提出的方法计算复杂度低，且可靠性更高。
附图说明
图1是本发明方法的流程示意图。
图2是本发明在具体应用实例中所采用的深度网络AAFFU-Net模型的结构原理示意图。
图3是本发明在具体应用实例中非对称注意力特征融合模块结构原理示意图；其中(a)为非对称注意力特征融合AAFF模块结构示意图，(b)为非对称注意力特征融合AAFF模块混洗注意SA结构示意图。
图4是本发明在具体应用实例中AAFFU-Net的骨干网络残差模块Res结构原理示意图。
图5是本发明在具体应用实例中的检测结果示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示，本发明的基于非对称注意力特征融合的红外弱小目标检测方法，包括：
步骤S1：数据预处理及数据集划分；即，对包含弱小目标的红外图像数据集数据进行处理；
步骤S2：建立具有非对称注意力特征融合模块AAFF、残差模块Res、基础卷积网络Conv的轻量级深度网络AAFFU-Net模型；
步骤S3：采用训练数据集和标注信息对所述的轻量级深度网络AAFFU-Net模型进行训练以及调参，并结合验证集验证模型的性能并保存模型；利用保存后的模型进行红外弱小目标的检测。
作为较佳的实施例，本发明进一步还可以包括步骤S4：采用测试集输入保存的红外弱小目标检测网络模型测试，将已经标注的标签数据同经过模型对全部测试图像的检测结果进行对比分析，并使用设计好的测试指标筛选出检测性能最好的检测模型。
作为较佳的实施例，本发明进一步还可以包括步骤S5：将训练集、验证集、测试集，输入传统目标检测模型FPN、U-Net、ACM-U-Net、TBC-Net、ALCNet，进行对比实验；统计对比实验的数据结果，对各个模型的检测精度进行比较，获得轻量级深度网络AAFFU-Net的检测结果和性能数据。
在具体应用实例中，所述步骤S1中对数据进行处理具体包括如下步骤：
步骤S11：将数据集划分为训练集、验证集、测试集，并且所述数据集按照5∶2∶3的比例划分训练数据集、验证数据集和测试数据集。
步骤S12：采用基于图像增强方法进行图像数据扩充；
具体地，所述基于图像增强方法进行数据扩充包括：
(1)颜色空间转换：对原始RGB图像进行转化为HSV图像的颜色空间转换；
(2)图像翻转：对图像分别进行水平翻转和垂直翻转；
(3)图像旋转：对图像进行随机角度的旋转；
步骤S13：将数据集进行归一化处理，修改成统一尺寸(480×480)作为网络模型的输入尺寸。
如图2所示，本发明的具体应用实例，在步骤S2中，所述轻量级深度网络AAFFU-Net模型主要包括基础骨干网络和非对称注意力特征融合模块(Asymmetric AttentionalFeature Fusion，AAFF，以下简称AAFF模块)两部分，所述基础骨干网络包括残差网络Resnet-20作为骨干网络的U-Net网络，所述基础骨干网络的作用是从输入的原始图片中提取不同网络层次的特征并进行特征结果的转化，保留精细的浅层特征和丰富的深层语义信息，输出检测结果图。所述AAFF模块的作用是通过同层特征间的空间和通道信息交流的同时利用自下而上的全局通道注意路径实现低层精细特征对高层语义信息的指导，突出弱小目标的特征来强化模型的特征学习能力和目标检测的性能。
所述步骤S2中包括如下步骤：
步骤S21：轻量级深度网络AAFFU-Net模型包含七个卷积阶段(Stage)：
Conv-1采用卷积核大小3×3，输出特征16维，输出尺寸为480×480；
Stage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
UpStage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
Stage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
UpStage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
Bottleneck采用3×3的卷积核大小进行4次的残差连接操作，输出特征64维，输出尺寸为120×120；
Predict采用1×1的卷积核大小进行操作，输出特征1维，输出尺寸为480×480。
其中，将来自Bottleneck进行上采样后的特征图与Stage-2的输出特征图跳跃连接经过AAFF2模块处理之后的输出特征图作为UpStage-2的输入特征图，将来自UpStage-2进行上采样后的特征图与Stage-1的输出特征图跳跃连接经过AAFF1模块处理之后的输出特征图作为UpStage-1的输入特征图。
步骤S22：参见图3中(a)所示为非对称注意力特征融合AAFF模块结构示意图。将来自Bottleneck进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y2_1；将来自Stage-2输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X2_1；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y2_1相乘得到特征图Y2_2，接下来将得到的特征图Y2_2与特征图X2_1相加，这样就得到了最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-2的输入。
将来自UpStage-2进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y1_1；将来自Stage-1输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X1_1；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y1_1相乘得到特征图Y1_2，接下来将得到的特征图Y1_2与特征图X1_1相加，这样就得到了最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-1的输入。
参见图3中(b)所示为非对称注意力特征融合AAFF模块混洗注意SA结构示意图。
混洗注意SA模块对图像的处理过程包括：
将输入的特征地图分成组，并使用混洗单元将通道注意和空间注意整合到每个组的一个块中；之后，所有的子特征被聚合，并利用“通道混洗”算子来实现不同子特征之间的信息通信；最后，对深层的卷积特征进行模拟退火算法的操作。
进一步地，对于给定的特征图X∈RC×H×W，其中C、H、W分别表示通道数、图像高度和宽度，混洗单元首先沿着通道维度将X分成G个组，即X＝[X1，...，XG]，Xk∈Rc/G×H×W，其中每个子特征Xk在训练过程中逐渐捕获特定的语义响应。然后，通过关注度模块为每个子特征生成相应的权重系数。具体来说，在每个关注单元的开始，Xk的输入沿着通道维度被分成两个分支，即Xk1，Xk2∈RC/2G×H×W。如图3中(b)所示，一个分支利用通道之间的相互关系来生成通道关注图，而另一个分支则利用特征的空间关系来生成空间关注图，这样模型就可以集中于“什么”和“哪里”是有意义的。
具体地，通过简单地使用全局平均池化(Global average pooling，GAP)来嵌入全局信息来生成通道统计，通道注意力的最终输出：
其中W1∈RC/2G×1×1和b1∈RC/2G×1×1是用于缩放和移位的参数。
具体地，与通道注意不同，空间注意关注的是“在哪里”是一个信息性的部分，它是对通道注意的补充。首先，本发明在Xk2上使用群组规范(Group Norm，GN)来获得空间统计信息。然后，采用FC(·)来增强X′k2的表示能力。空间注意力的最终输出是通过以下方式获得的X′k2＝σ(W2·GN(Xk2)+b2)·Xk2
其中w2和b2为形状为RC/2G×1×1的参数。
然后，将两个分支连接起来，使通道数与输入数相同，即X′k＝[X′k1，X′k2]∈RC /G×H×W。
具体地，分别经过空间注意和通道注意混洗之后的所有子特征都被聚集；最后，类似于ShuffleNetv2网络，采用一种“通道洗牌”算子来实现跨组信息沿通道维度的流动，最终通道混洗注意模块的输出与输入特征的大小相同。由于ShuffleNetv2网络的结构不是本发明的改进要点，因此本发明对此不做过多赘述，ShuffleNetv2网络的具体结构可参见文章：Ma，Ningning，X.Zhang，Hai-Tao Zheng and Jian Sun.“ShuffleNet V2：PracticalGuidelines for Efficient CNN Architecture Design.”ECCV(2018).
在具体应用实例中，所述步骤S3中轻量级深度网络AAFFU-Net模型进行训练以及调参过程包括如下步骤：
步骤S31：所述步骤S3中调参的具体操作为：通过模型的测试结果以及损失函数的变化对训练参数进行调整。
步骤832：优选的，所述损失函数需要处理红外弱小目标与背景之间的极度类不平衡的问题，所述损失函数选择为soft-IoU损失函数。
优选的，所述soft-IoU损失函数的定义为：
其中：
Si，j是网络的预测结果图。
xi，j是红外图像的标注图。
步骤S33：采用Adam作为优化器训练轻量级深度网络模型的权重参数，权重初始化方式采用“He初始化”，学习率设置为0.05，当轻量级深度网络达到预先设定的epoch时，模型训练完毕，得到训练好的轻量级深度网络模型。
在具体应用实例中，所述步骤S4中的测试指标包括：
步骤S41：交并比(intersection-over-union，IoU)、归一化交并比(normalizedintersection-over-union，nIoU)和CPU运算时间。
优选的，所述交并比(intersection-over-union，IoU)、归一化交并比(normalized intersection-over-union，nIoU)的定义为：
其中：
TP表示：被判定为正样本，实际上也是正样本的；
FP表示：被判定为正样本但是实际上是负样本的；
FN表示：被判定为负样本但实际上是正样本的。
N表示：样本总数。
优选的，所述CPU运算时间的定义为：
实验模型对图像进行测试的消耗时间。
其中，IoU 即intersection-over-union，nIoU 即 normalized intersection-over-union，作为红外弱小目标检测中衡量检测精度的指标，精确度越高，IoU和nIoU的值就相应越大，运算速度越快，则该值相应越小。
在具体应用实例中，所述步骤S5中的测试指标包括：与传统目标检测模型的对比实验，对各个模型的检测精度进行比较，获得轻量级深度网络EAAU-Net的检测结果和性能数据包括：
步骤S51：选取深度学习目标检测模型FPN、U-Net、ACM-U-Net、TBC-Net、ALCNet，作为对比实验的对比网络；
步骤S52：设置相同的实验数据集，相同的实验参数和相同的实验硬件及软件环境，保证对比网络模型的实验可对比性。
步骤S53：具体地，不同网络模型的实验结果比较：
在一个具体的实施例中，实施使用到的硬件环境为：
CPU：Intel I9-10900X
GPU：TITAN RTX GPU
RAM：32G
Hard disk：2TB
编程语言：Python
深度学习框架：Pytorch
实施例使用SIRST公开数据集训练和测试红外弱小目标检测模型，SIRST[Dai，Y.，Wu，Y.，Zhou，F.，&Barnard，K.(2020).Asymmetric Contextual Modulation for InfraredSmall Target Detection.ArXiv，abs/2009.14530.]数据集是由Dai等人建立的单帧红外弱小目标图像数据集，其中包含目标极其昏暗，掩埋在背景中等复杂条件下的红外弱小目标图像。
在该实施例中，本发明的轻量级红外弱小目标检测模型进行了评估，并于目标最先进的方法进行了比较，其中包括基于深度学习的FPN、U-Net、TBC-Net、ACM-FPN、ACM-U-Net和ALCNet。实验是在公开的红外图像数据集SIRST上进行的。表1为7种方法的对比实验结果，可以看出本发明提出的基于非对称注意力特征融合的轻量级检测网络(AAFFU-Net)在红外弱小目标检测的精确度表现最为优异，模型的运算速度表现良好，取得了令人满意的预测结果。在对比的过程中，实验的参数设置采用了与之前实验相同的设置。
表1 7种方法的对比实验结果
| 算法 | IoU | nIoU | CPU运算时间(s) |
| FPN | 0.721 | 0.704 | 0.075 |
| U-Net | 0.736 | 0.723 | 0.144 |
| TBC-Net | 0.734 | 0.713 | 0.049 |
| ACM-FPN | 0.736 | 0.722 | 0.067 |
| ACM-U-Net | 0.745 | 0.727 | 0.156 |
| ALCNet | 0.757 | 0.728 | 0.378 |
| 本发明方法 | 0.771 | 0.746 | 0.179 |
参见图5，是本发明在一个实施例中的可视化的实验结果，从图中可以看出，在复杂的背景中弱小目标仍然能够被检测出来，实验结果表明，本发明的方法用于红外弱小目标检测的有效性，具有较强的环境适应性和鲁棒性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，包括：
步骤S1：数据预处理及数据集划分；对包含弱小目标的红外图像数据集数据进行处理；
步骤S2：建立具有非对称注意力特征融合模块AAFF、残差模块Res、基础卷积网络Conv的轻量级深度网络AAFFU-Net模型；
步骤S3：采用训练数据集和标注信息对所述的轻量级深度网络AAFFU-Net模型进行训练以及调参，结合验证集验证模型的性能并保存模型；利用保存后的模型进行红外弱小目标的检测。
2.根据权利要求1所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，所述步骤S1中对数据进行处理包括如下步骤：
步骤S11：将数据集划分为训练集、验证集、测试集，并且所述数据集按照5∶2∶3的比例划分训练数据集、验证数据集和测试数据集；
步骤S12：采用基于图像增强方法进行图像数据扩充；
步骤S13：将数据集进行归一化处理，修改成统一尺寸作为网络模型的输入尺寸。
3.根据权利要求2所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，所述步骤S12中，所述基于图像增强方法进行数据扩充包括：
(1)颜色空间转换：对原始RGB图像进行转化为HSV图像的颜色空间转换；
(2)图像翻转：对图像分别进行水平翻转和垂直翻转；
(3)图像旋转：对图像进行随机角度的旋转。
4.根据权利要求1所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，所述轻量级深度网络AAFFU-Net模型包括基础骨干网络和非对称注意力特征融合模块，所述基础骨干网络包括残差网络Resnet-20作为骨干网络的U-Net网络，所述基础骨干网络的作用是从输入的原始图片中提取不同网络层次的特征并进行特征结果的转化，保留精细的浅层特征和丰富的深层语义信息，输出检测结果图；所述非对称注意力特征融合模块的作用是通过同层特征间的空间和通道信息交流的同时利用自下而上的全局通道注意路径实现低层精细特征对高层语义信息的指导，突出弱小目标的特征来强化模型的特征学习能力和目标检测的性能。
5.根据权利要求4所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，所述步骤S2中，轻量级深度网络AAFFU-Net模型包含七个卷积阶段Stage：
Conv-1采用卷积核大小3×3，输出特征16维，输出尺寸为480×480；
Stage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
UpStage-1采用3×3的卷积核大小进行4次的残差连接操作，输出特征16维，输出尺寸为480×480；
Stage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
UpStage-2采用3×3的卷积核大小进行4次的残差连接操作，输出特征32维，输出尺寸为240×240；
Bottleneck采用3×3的卷积核大小进行4次的残差连接操作，输出特征64维，输出尺寸为120×120；
Predict采用1×1的卷积核大小进行操作，输出特征1维，输出尺寸为480×480；
其中，将来自Bottleneck进行上采样后的特征图与Stage-2的输出特征图跳跃连接经过AAFF2模块处理之后的输出特征图作为UpStage-2的输入特征图，将来自UpStage-2进行上采样后的特征图与Stage-1的输出特征图跳跃连接经过AAFF1模块处理之后的输出特征图作为UpStage-1的输入特征图。
6.根据权利要求5所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，将来自Bottleneck进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y2_1；将来自Stage-2输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X21；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y21相乘得到特征图Y2_2，接下来将得到的特征图Y2_2与特征图X21相加，得到最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-2的输入；
将来自UpStage-2进行上采样后的特征图作为AAFF模块的深层特征Y的输入，并将其进行混洗注意模块SA的操作得到深层空间和通道混洗特征图Y1_1；将来自Stage-1输出的跳跃连接特征图作为AAFF模块的浅层特征X的输入，并将其进行混洗注意模块的操作得到浅层空间和通道混洗特征图X1_1；将AAFF模块的浅层特征X经过全局平均池化和两次全连接操作后，再经过激活函数激活后得到的数值结果与高层次的特征图Y1_1相乘得到特征图Y1_2，接下来将得到的特征图Y1_2与特征图X1_1相加，得到最终的融合多尺度注意机制的特征图，并将融合后的多尺度注意机制的特征进行基础卷积Conv操作之后作为UpStage-1的输入。
7.根据权利要求5所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，混洗注意SA模块对图像的处理过程包括：将输入的特征地图分成组，并使用混洗单元将通道注意和空间注意整合到每个组的一个块中；之后，所有的子特征被聚合，并利用“通道混洗”算子来实现不同子特征之间的信息通信；最后，对深层的卷积特征进行模拟退火算法的操作。
8.根据权利要求1-7中任意一项所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，所述步骤S3中轻量级深度网络AAFFU-Net模型进行训练以及调参过程包括：
步骤S31：调参的具体操作为：通过模型的测试结果以及损失函数的变化对训练参数进行调整；
步骤S32：所述损失函数选择为soft-IoU损失函数；
步骤S33：采用Adam作为优化器训练轻量级深度网络模型的权重参数，权重初始化方式采用“He初始化”，学习率设置为0.05，当轻量级深度网络达到预先设定的epoch时，模型训练完毕，得到训练好的轻量级深度网络模型。
9.根据权利要求1-7中任意一项所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，还包括步骤S4：采用测试集输入保存的红外弱小目标检测网络模型测试，将已经标注的标签数据同经过模型对全部测试图像的检测结果进行对比分析，并使用设计好的测试指标筛选出检测性能最好的检测模型。
10.根据权利要求1-7中任意一项所述的基于非对称注意力特征融合的红外弱小目标检测方法，其特征在于，还包括步骤S5：将训练集、验证集、测试集，输入传统目标检测模型FPN、U-Net、ACM-U-Net、TBC-Net、ALCNet，进行对比实验；统计对比实验的数据结果，对各个模型的检测精度进行比较，获得轻量级深度网络AAFFU-Net的检测结果和性能数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853817.3A CN113591968A (zh) | 2021-07-27 | 2021-07-27 | 一种基于非对称注意力特征融合的红外弱小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853817.3A CN113591968A (zh) | 2021-07-27 | 2021-07-27 | 一种基于非对称注意力特征融合的红外弱小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591968A true CN113591968A (zh) | 2021-11-02 |
Family
ID=78250730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110853817.3A Pending CN113591968A (zh) | 2021-07-27 | 2021-07-27 | 一种基于非对称注意力特征融合的红外弱小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591968A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372968A (zh) * | 2021-12-31 | 2022-04-19 | 江南大学 | 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 |
| CN114399728A (zh) * | 2021-12-17 | 2022-04-26 | 燕山大学 | 一种雾天场景人群计数方法 |
| CN114821018A (zh) * | 2022-04-11 | 2022-07-29 | 北京航空航天大学 | 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法 |
| CN114842012A (zh) * | 2022-07-04 | 2022-08-02 | 武汉科技大学 | 基于位置意识u型网络的医学图像小目标检测方法及装置 |
| CN114863097A (zh) * | 2022-04-06 | 2022-08-05 | 北京航空航天大学 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
| CN114862844A (zh) * | 2022-06-13 | 2022-08-05 | 合肥工业大学 | 一种基于特征融合的红外小目标检测方法 |
| CN114973390A (zh) * | 2022-05-30 | 2022-08-30 | 西北工业大学 | 结合眼动注意力机制的复杂背景红外微弱目标检测方法 |
| CN115205327A (zh) * | 2022-05-18 | 2022-10-18 | 哈尔滨工业大学 | 一种融合历史库信息的红外小目标跟踪方法 |
| CN115471782A (zh) * | 2022-09-22 | 2022-12-13 | 中国人民解放军国防科技大学 | 一种面向无人艇的红外舰船目标检测方法及装置 |
| CN115631452A (zh) * | 2022-11-15 | 2023-01-20 | 中国科学院空天信息创新研究院 | 智能红外弱小目标检测方法、装置、电子设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232214A (zh) * | 2020-10-16 | 2021-01-15 | 天津大学 | 一种基于深度特征融合和注意力机制的实时目标检测方法 |
-
2021
- 2021-07-27 CN CN202110853817.3A patent/CN113591968A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232214A (zh) * | 2020-10-16 | 2021-01-15 | 天津大学 | 一种基于深度特征融合和注意力机制的实时目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| QING-LONG ZHANG等: "SA-NET：SHUFFLE ATTENTION FOR DEEP CONVOLUTIONAL NEURAL NETWORKS", 2021 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)), pages 2235 - 2238 * |
| YIMIAN DAI等: "Asymmetric Contextual Modulation for Infrared Small Target Detection", 2021 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION, pages 949 - 956 * |
| 徐鹏程;刘本永;: "基于图像增强和深层CNN学习的交互行为识别", 通信技术, no. 03, pages 702 - 705 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399728A (zh) * | 2021-12-17 | 2022-04-26 | 燕山大学 | 一种雾天场景人群计数方法 |
| CN114399728B (zh) * | 2021-12-17 | 2023-12-05 | 燕山大学 | 一种雾天场景人群计数方法 |
| CN114372968A (zh) * | 2021-12-31 | 2022-04-19 | 江南大学 | 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 |
| CN114863097A (zh) * | 2022-04-06 | 2022-08-05 | 北京航空航天大学 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
| CN114821018A (zh) * | 2022-04-11 | 2022-07-29 | 北京航空航天大学 | 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法 |
| CN115205327A (zh) * | 2022-05-18 | 2022-10-18 | 哈尔滨工业大学 | 一种融合历史库信息的红外小目标跟踪方法 |
| CN114973390A (zh) * | 2022-05-30 | 2022-08-30 | 西北工业大学 | 结合眼动注意力机制的复杂背景红外微弱目标检测方法 |
| CN114973390B (zh) * | 2022-05-30 | 2024-03-12 | 西北工业大学 | 结合眼动注意力机制的复杂背景红外微弱目标检测方法 |
| CN114862844B (zh) * | 2022-06-13 | 2023-08-08 | 合肥工业大学 | 一种基于特征融合的红外小目标检测方法 |
| CN114862844A (zh) * | 2022-06-13 | 2022-08-05 | 合肥工业大学 | 一种基于特征融合的红外小目标检测方法 |
| CN114842012A (zh) * | 2022-07-04 | 2022-08-02 | 武汉科技大学 | 基于位置意识u型网络的医学图像小目标检测方法及装置 |
| CN115471782A (zh) * | 2022-09-22 | 2022-12-13 | 中国人民解放军国防科技大学 | 一种面向无人艇的红外舰船目标检测方法及装置 |
| CN115631452B (zh) * | 2022-11-15 | 2023-03-10 | 中国科学院空天信息创新研究院 | 智能红外弱小目标检测方法、装置、电子设备及介质 |
| CN115631452A (zh) * | 2022-11-15 | 2023-01-20 | 中国科学院空天信息创新研究院 | 智能红外弱小目标检测方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN106960206B (zh) | 字符识别方法和字符识别系统 | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN113822383A (zh) | 一种基于多域注意力机制的无人机检测方法及系统 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| Wang et al. | A robust approach for scene text detection and tracking in video | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| Xu et al. | COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences | |
| CN112861808B (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| CN114266952A (zh) | 基于深监督的实时语义分割方法 | |
| CN112070181B (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN114170422A (zh) | 一种煤矿井下图像语义分割方法 | |
| CN116778346A (zh) | 一种基于改进自注意力机制的管线识别方法及系统 | |
| Kim et al. | Learning to Focus and Track Extreme Climate Events. | |
| CN115861810A (zh) | 一种基于多头注意力和自监督学习的遥感图像变化检测方法及系统 | |
| CN112800932B (zh) | 海上背景下显著船舶目标的检测方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |