CN116433532B - 一种基于注意力引导滤波的红外偏振图像融合去噪方法 - Google Patents

一种基于注意力引导滤波的红外偏振图像融合去噪方法 Download PDF

Info

Publication number
CN116433532B
CN116433532B CN202310503630.XA CN202310503630A CN116433532B CN 116433532 B CN116433532 B CN 116433532B CN 202310503630 A CN202310503630 A CN 202310503630A CN 116433532 B CN116433532 B CN 116433532B
Authority
CN
China
Prior art keywords
image
infrared
polarization
nth
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310503630.XA
Other languages
English (en)
Other versions
CN116433532A (zh
Inventor
齐美彬
李坤袁
庄硕
张可
刘一敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310503630.XA priority Critical patent/CN116433532B/zh
Publication of CN116433532A publication Critical patent/CN116433532A/zh
Application granted granted Critical
Publication of CN116433532B publication Critical patent/CN116433532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于注意力引导滤波的红外偏振图像融合去噪方法，其步骤包括：1、改进红外偏振图像的输入方式，获取扩展后的偏振度与偏振距离图像；2、构建基于注意力引导滤波的红外偏振融合去噪网络；3、建立输入的红外偏振图像与融合图像之间的损失函数；4、用红外偏振图像对该网络进行训练，并用训练后的模型对待处理的红外偏振图像进行融合去噪。本发明改进了红外偏振图像的输入方式，有效融合了偏振图像中的显著性信息，抑制背景噪声，同时构建了基于注意力引导滤波的融合网络，从而能保留红外偏振目标的边缘轮廓特征，并能进一步降低背景噪声干扰。

Description

一种基于注意力引导滤波的红外偏振图像融合去噪方法
技术领域
本发明属于计算机视觉、图像预处理和分析领域，具体的说是一种基于注意力引导滤波的红外偏振图像融合去噪方法。
背景技术
红外成像技术可以利用红外辐射强度来探测目标，当目标和背景之间的红外辐射差异较小，红外成像难以实现有效的目标探测。此外，随着红外伪装和干扰技术的发展，红外探测的难度也进一步加大。偏振是光的固有属性，它提供了物体的一些独特信息，如表面光滑度、三维法线和材料组成。目标的红外偏振特性与物体表面材料、粗糙度和理化性质有关，通过红外偏振图像可以有效识别隐藏在自然背景中的人造目标。由于成像机制的差异，红外强度和偏振图像可以反映不同的特征，并且彼此可以包含同一场景下具有互补和判别性的信息。红外强度图像中的细节特征和偏振度图像中的显著性目标信息应该在融合后的图像中得到保留甚至增强。通过结合红外强度和偏振信息进行红外偏振图像融合的研究，在空间探测、军事侦察、救灾搜索等诸多领域具有广阔的应用前景。
传统的图像融合算法通常在空间域或变换域进行活动水平测量，并手动设计融合规则以实现图像融合。多尺度变换、基于显著性、低秩表示和稀疏表示是其中代表性的方法。这些方法一般使用相同的变换或表示从源图像中提取特征，但未能考虑不同源图像之间特征分布的差异。其次，人工设计的活动水平测量和融合规则不能适应复杂的融合场景，为了提高融合性能，算法的复杂度也在增加。
随着深度学习的广泛应用，更多的深度神经网络融合方法被应用于图像融合，CNN已经成为图像融合的骨干网络，以解决传统方法的不足。当前基于自编码器、基于ResNet和基于生成对抗网络的融合框架，在一些特定的融合任务中取得了良好的效果。近年来，Transformer通过自我注意机制来对全局语义信息进行建模，其在自然语言处理和计算机视觉任务中表现出显著优势。当前图像融合领域也引入了Transformer来获取全局依赖性，并显示出较好的融合性能。
尽管目前基于深度学习的融合方法已经取得了显著进展，但现有的红外偏振图像融合方法仍存在着不足之处：
1、复杂的采集环境和照明条件会导致偏振度图像中包含大量噪声，现有的融合方法通常直接对红外强度与偏振度图像进行融合，未能考虑融合过程中的噪声干扰。
2、当前基于深度学习的融合网络虽然能够提取深层次的语义信息，但难以有效地区分不同的红外偏振参量在融合结果中的特征分布，导致融合后的图像包含大量噪声。
3、与改进网络结构相比，目前的方法未能获取有效的红外偏振先验信息，对红外强度与偏振图像采用相同的损失约束，降低了深度学习网络在复杂背景环境下的融合性能。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于注意力引导滤波的红外偏振图像融合去噪方法，以期能有效融合偏振图像中的显著性信息，并抑制背景噪声，从而能保留红外偏振目标的边缘轮廓特征，并进一步降低背景噪声干扰。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于注意力引导滤波的红外偏振图像融合去噪方法的特点是按如下步骤进行：
步骤1、获取红外偏振图像；
步骤1.1、分别获取N组包含0°，45°，90°，135°方向的红外偏振图像，并计算对应的N组偏振Stokes矢量{{I1,Q1,U1}...,{In,Qn,Un},...,{IN,QN,UN}}，从而得到红外强度图像集合{I1,...,In,...,IN}和偏振角图像集合{A1,...,An,...,AN}，其中，In表示第n张红外强度图像，即第n组偏振Stokes矢量的第一分量，Qn和Un分别表示第n组偏振Stokes矢量的第二和第三分量，An表示第n张偏振角图像，且
步骤1.2、计算第n张扩展后的红外偏振度图像从而得到扩展后的红外偏振度图像集合{ρ1,...,ρn,...,ρN}；
步骤1.3、通过式(1)获取第n张红外目标的偏振敏感度图像R(φ,ρn)，并得到第n张红外背景的偏振敏感度图像R′(φ,ρn)＝(1-ρn)R(φ,ρn)，其中，φ表示偏振方向角，且φ∈{0,π/4,π/2,3π/4}；
根据式(2)得到第n张红外目标图像的第一、二和三偏振敏感度激活值PT1n,PT2n,PT3n、以及第n张红外背景图像的第一、二和三偏振敏感度激活值PB1n,PB2n,PB3n；
通过式(3)计算第n张红外偏振距离图像Dn，从而得到红外偏振距离图像集合{D1,...,Dn,...,DN}；
式(3)中，SP表示偏振灵敏度常数；
步骤2、构建基于注意力引导滤波的红外偏振图像融合去噪网络，包括：红外强度编码模块IEN、红外偏振编码模块PEN、偏振显著性特征融合模块PSA、注意力引导滤波模块AGF和上采样解码模块UpDE；并将第n张红外强度图像In、扩展后红外偏振度图像ρn与红外偏振距离图像Dn输入到所述红外偏振图像融合去噪网络中，从而得到第n张融合去噪后的红外偏振图像Fn；
步骤3、将第n张红外强度图像In作为引导图，分别对第n张扩展后红外偏振度图像ρn与红外偏振距离图像Dn进行导向滤波，从而得到第n张引导滤波后的偏振度图像GPn与偏振距离图像GDn；
利用式(5)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的强度损失
式(5)中，LossMWSSIM表示多尺度结构相似性损失；
利用式(6)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的梯度损失
式(6)中，表示梯度运算，|·|表示取绝对值；
利用式(7)计算第n张融合去噪后的红外偏振图像Fn与第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn之间的联合损失
式(7)中，W,H为第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn的宽和高；||·||表示MAE平均绝对误差损失；
利用式(8)构建第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的总损失函数Ln：
式(8)中，λ1,λ2,λ3为三个加权系数；
步骤4、基于红外强度图像集合{I1,...,In,...,IN}、扩展后红外偏振度图像集合{ρ1,...,ρn,...,ρN}以及红外偏振距离图像集合{D1,...,Dn,...,DN}，利用梯度下降算法对融合网络进行训练，并计算总损失函数Ln以更新网络参数，当训练迭代次数达到设定的次数时，停止训练，从而得到训练后的红外偏振图像融合模型，用于实现对红外强度与偏振度图像的融合。
本发明所述的一种基于注意力引导滤波的红外偏振图像融合去噪方法的特点也在于，所述步骤2是按如下步骤进行：
步骤2.1、所述红外强度编码模块IEN由M个SwinTransformer层组成，并将第n张红外强度图像In输入到所述红外强度编码模块IEN中，经过M个SwinTransformer层的处理后，输出特征张量集合{ISTLresn,1,…,ISTLresn,m,…,ISTLresn,M}，其中，ISTLresn,m表示第n张红外强度图像In在第m个SwinTransformer层输出的特征张量；
步骤2.2、所述红外偏振编码模块PEN也是由M个SwinTransformer层组成，并将第n张扩展后的红外偏振度图像ρn与红外偏振距离图像Dn分别输入到红外偏振编码模块PEN中，经过M个SwinTransformer层的处理后，相应得到红外偏振编码模块PEN输出的特征张量集合{PSTLresn,1,…,PSTLresn,m,…,PSTLresn,M}与{PSTLresdn,1,…,PSTLresdn,m,…,PSTLresdn,M}；其中，PSTLresn,m表示第n张扩展后的红外偏振度图像ρn在第m个SwinTransformer层输出的特征张量，PSTLresdn,m表示第n张红外偏振距离图像Dn在第m个SwinTransformer层输出的特征张量；
步骤2.3、所述偏振显著性特征融合模块PSA由M个通道注意力融合块组成，每个通道注意力融合块均是由两路分支组成，其中，第一支路依次包括全局平均池化层、Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；第二支路依次包括Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；
将特征张量PSTLresn,m和PSTLresdn,m在通道维串接后输入到第m个通道注意力融合块中，并经过两路分支的处理，相应输出的两个特征张量再相加，并经过Sigmoid层的处理后，再与特征张量PSTLresn,m和PSTLresdn,m进行残差连接，得到第n张扩展后的红外偏振度图像ρn与偏振距离图像Dn的第m个融合后偏振特征张量FPresn,m，从而得到偏振特征张量集合{FPresn,1,…,FPresn,m,…,FPresn,M}；
步骤2.4、所述注意力引导滤波模块AGF由M个滤波块组成，每个滤波块依次包含：SwinTransformer层、Cross-Attention交互注意力层；
将特征张量ISTLresn,m与FPresn,m输入到第m个滤波块中，并分别经过SwinTransformer层的处理后，得到两个初始滤波权重WIn,m与WFn,m，再将特征张量ISTLresn,m与FPresn,m经过Cross-Attention交互注意力层的处理后，得到注意力权重AIn,m与AFn,m，从而通过式(4)得到最终的滤波器权重Wn,m；
Wn,m＝AIn,m·WIn,m+AFn,m·WFn,m (4)
用滤波器权重Wn,m对串接后的特征张量ISTLresn,m与FPresn,m进行张量点乘操作，得到第m个注意力引导滤波后的特征张量AGFresn,m，从而得到引导滤波后的特征张量集合{AGFresn,1,…,AGFresn,m,…,AGFresn,M}；
步骤2.5、所述上采样解码模块UpDE由M个上采样解码块组成，每个上采样解码块均包含上采样层和SwinTransformer层；
将第m个特征张量AGFresn,m与第m-1个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m-1拼接后，输入到第m个上采样解码块中进行处理，得到第m个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m，并与第m+1个特征张量AGFresn,m+1拼接后，再输入第m+1个上采样解码块中进行处理，当m＝1时，令Fn,m-1＝0；将m＝M时的第n张融合去噪后的红外偏振图像记为Fn，从而得到融合后的红外偏振图像集合{F1,…,Fn,…,FN}。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述红外偏振图像融合去噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述红外偏振图像融合去噪方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明设计了一种基于注意力引导滤波的红外偏振图像融合网络，并改进了红外偏振图像的输入，通过对红外偏振图像进行自适应动态滤波，从而在抑制噪声的同时保留偏振显著性目标特征。因此，本发明相较于网络架构的改进，能够根据红外偏振成像机制分析图像分布特征，并获取相应的先验信息，以抑制融合图像中的噪声干扰，提升了融合性能。
2、本发明为了降低红外偏振图像融合过程中的噪声干扰，通过偏振角对原始的红外偏振度图像进行扩展，并引入了偏振距离模型，设计了基于偏振显著性特征融合的输入框架，以抑制背景干扰，突出显著性目标。
3、不同于现有方法直接对红外强度与偏振图像进行串接或点乘的融合操作，本发明基于SwinTransformer的交互注意力机制，构建了一种注意力引导滤波网络，并将红外强度图像作为引导图，实现红外强度图像的背景细节与偏振图像中显著性目标的有效融合，从而能够保留目标的边缘轮廓信息，并抑制背景噪声干扰。
附图说明
图1为本发明中红外偏振图像融合去噪方法流程图；
图2为本发明中红外强度与偏振度图像对比结果图；
图3为本发明中红外偏振图像融合去噪网络总结构图；
图4为本发明中偏振显著性特征融合模块中通道注意力融合块的结构图；
图5为本发明中注意力引导滤波模块中单个滤波块的结构图；
图6为本发明方法和其他图像融合方法的对比结果图。
具体实施方式
本实施例中，一种基于注意力引导滤波的红外偏振图像融合去噪方法，是通过偏振角对偏振度进行扩展，抑制背景噪声干扰，并引入了偏振距离模型获取偏振显著性目标特征。此外，根据红外强度和偏振图像特征分布的差异，构建了一个基于注意力引导滤波的融合网络，利用SwinTransformer的交互注意力机制来实现红外强度与偏振图像的融合，进一步降低融合图像中的噪声。具体的说，如图1所示，是按如下步骤进行：
步骤1、获取红外偏振图像；
步骤1.1、分别获取N组包含0°，45°，90°，135°方向的红外偏振图像，并计算对应的N组偏振Stokes矢量{{I1,Q1,U1}...,{In,Qn,Un},...,{IN,QN,UN}}，从而得到红外强度图像集合{I1,...,In,...,IN}和偏振角图像集合{A1,...,An,...,AN}，其中，In表示第n张红外强度图像，即第n组偏振Stokes矢量的第一分量，Qn和Un分别表示第n组偏振Stokes矢量的第二和第三分量，An表示第n张偏振角图像，且
步骤1.2、计算第n张扩展后的红外偏振度图像从而得到扩展后的红外偏振度图像集合{ρ1,...,ρn,...,ρN}；在本实施例中，红外偏振度图像在成像过程中易受噪声干扰，如图2所示，相比红外强度图像，偏振度图像背景区域包含大量噪声，本发明通过偏振角对偏振度进行扩展来抑制背景噪声；
步骤1.3、通过式(1)获取第n张红外目标的偏振敏感度图像R(φ,ρn)，并得到第n张红外背景的偏振敏感度图像R′(φ,ρn)＝(1-ρn)R(φ,ρn)，其中，φ表示偏振方向角，且φ∈{0,π/4,π/2,3π/4}，
根据式(2)得到第n张红外目标图像的第一、二和三偏振敏感度激活值PT1n,PT2n,PT3n、以及第n张红外背景图像的第一、二和三偏振敏感度激活值PB1n,PB2n,PB3n；
通过式(3)计算第n张红外偏振距离图像Dn，从而得到红外偏振距离图像集合{D1,...,Dn,...,DN}；
式(3)中，SP表示偏振灵敏度常数；本实施例中，偏振灵敏度SP为10；本发明中引入了偏振距离模型来获取红外偏振度图像中显著性目标区域，并且用扩展后的偏振度ρ来代替原始的偏振度图像；
步骤2、构建基于注意力引导滤波的红外偏振图像融合去噪网络，网络结构如图3所示，包括：红外强度编码模块IEN、红外偏振编码模块PEN、偏振显著性特征融合模块PSA、注意力引导滤波模块AGF和上采样解码模块UpDE；并将第n张红外强度图像In、扩展后红外偏振度图像ρn与红外偏振距离图像Dn输入到红外偏振图像融合去噪网络中；
步骤2.1、红外强度编码模块IEN由M个SwinTransformer层组成，并将第n张红外强度图像In输入到红外强度编码模块IEN中，经过M个SwinTransformer层的处理后，输出特征张量集合{ISTLresn,1,…,ISTLresn,m,…,ISTLresn,M}，其中，ISTLresn,m表示第n张红外强度图像In在第m个SwinTransformer层输出的特征张量；本实施例中，M＝4；
步骤2.2、所述红外偏振编码模块PEN也是由M个SwinTransformer层组成，并将第n张扩展后的红外偏振度图像ρn与红外偏振距离图像Dn分别输入到红外偏振编码模块PEN中，经过M个SwinTransformer层的处理后，相应得到红外偏振编码模块PEN输出的特征张量集合{PSTLresn,1,…,PSTLresn,m,…,PSTLresn,M}与{PSTLresdn,1,…,PSTLresdn,m,…,PSTLresdn,M}；其中，PSTLresn,m表示第n张扩展后的红外偏振度图像ρn在第m个SwinTransformer层输出的特征张量，PSTLresdn,m表示第n张红外偏振距离图像Dn在第m个SwinTransformer层输出的特征张量；本实施例中，扩展后的红外偏振度与偏振距离图像通过同一编码模块进行处理，共享权重，从而能够获取公共的显著性目标特征；
步骤2.3、所述偏振显著性特征融合模块PSA由M个通道注意力融合块组成，如图4所示，每个通道注意力融合块均是由两路分支组成，其中，第一支路依次包括全局平均池化层、Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；第二支路依次包括Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；本实施例中，输入偏振显著性特征融合模块前后的特征张量尺寸保持一致；
将特征张量PSTLresn,m和PSTLresdn,m在通道维串接后输入到第m个通道注意力融合块中，并经过两路分支的处理，相应输出的两个特征张量再相加，并经过Sigmoid层的处理后，再与特征张量PSTLresn,m和PSTLresdn,m进行残差连接，得到第n张扩展后的红外偏振度图像ρn与偏振距离图像Dn的第m个融合后偏振特征张量FPresn,m，从而得到偏振特征张量集合{FPresn,1,…,FPresn,m,…,FPresn,M}；
步骤2.4、所述注意力引导滤波模块AGF由M个滤波块组成，滤波块结构如图5所示，每个滤波块依次包含：SwinTransformer层、Cross-Attention交互注意力层；在本实施例中，考虑到红外偏振度图像中的噪声会干扰融合后的红外偏振图像，而红外强度图像的背景区域受噪声干扰较小，因此本发明采用基于注意力引导滤波的方式，将红外强度图像作为引导图对红外偏振图像进行融合滤波，实现红外强度图像的背景与偏振显著性目标区域的融合；
将特征张量ISTLresn,m与FPresn,m输入到第m个滤波块中，并分别经过SwinTransformer层的处理后，得到两个初始滤波权重WIn,m与WFn,m，再将特征张量ISTLresn,m与FPresn,m经过Cross-Attention交互注意力层的处理后，得到注意力权重AIn,m与AFn,m，从而通过式(4)得到最终的滤波器权重Wn,m；
Wn,m＝AIn,m·WIn,m+AFn,m·WFn,m (4)
用滤波器权重Wn,m对串接后的特征张量ISTLresn,m与FPresn,m进行张量点乘操作，得到第m个注意力引导滤波后的特征张量AGFresn,m，从而得到引导滤波后的特征张量集合{AGFresn,1,…,AGFresn,m,…,AGFresn,M}；
步骤2.5、所述上采样解码模块UpDE由M个上采样解码块组成，每个上采样解码块均包含上采样层和SwinTransformer层；
将第m个特征张量AGFresn,m与第m-1个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m-1拼接后，输入到第m个上采样解码块中进行处理，得到第m个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m，并与第m+1个特征张量AGFresn,m+1拼接后，再输入第m+1个上采样解码块中进行处理，当m＝1时，令Fn,m-1＝0；将m＝M时的第n张融合去噪后的红外偏振图像记为Fn，从而得到融合后的红外偏振图像集合{F1,…,Fn,…,FN}；本实施例中，引导滤波后的特征张量输入到对应上采样解码块中，该操作与U-Net网络上采样解码过程相似；
步骤3、将第n张红外强度图像In作为引导图，分别对第n张扩展后红外偏振度图像ρn与红外偏振距离图像Dn进行导向滤波，从而得到第n张引导滤波后的偏振度图像GPn与偏振距离图像GDn；本实施例中，为了适应注意力引导滤波结构，本发明在损失函数部分使用红外强度图像作为引导图对红外偏振图像进行滤波，再基于多尺度结构相似性计算损失，从而提升网络的融合性能；
利用式(5)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的强度损失
式(5)中，LossMWSSIM表示多尺度结构相似性损失；
利用式(6)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的梯度损失
式(6)中，表示梯度运算，|·|表示取绝对值；
利用式(7)计算第n张融合去噪后的红外偏振图像Fn与第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn之间的联合损失
式(7)中，W,H为第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn的宽和高；||·||表示MAE平均绝对误差损失；
利用式(8)构建第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的总损失函数Ln：
式(8)中，λ1,λ2,λ3为三个加权系数；本实施例中，加权系数分别为λ1＝1，λ2＝0.5，λ3＝0.1；
步骤4、基于红外强度图像集合{I1,...,In,...,IN}、扩展后红外偏振度图像集合{ρ1,...,ρn,...,ρN}以及红外偏振距离图像集合{D1,...,Dn,...,DN}，利用梯度下降算法对融合网络进行训练，并计算总损失函数Ln以更新网络参数，当训练迭代次数达到设定的次数时，停止训练，从而得到训练后的红外偏振图像融合模型，用于实现对红外强度与偏振度图像的融合。本实施例中，采用RMSProp优化器，随机提取LDDRS红外偏振道路场景数据集中1690组数据用于训练，211组用于验证，212组用于测试，迭代300次后停止训练；
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
图6显示了本发明与其他方法在噪声条件下的定性对比结果。可以看出，无论是传统的融合方法NSST和MDLatLRR，还是基于CNN(RFN-Nest、DIDFusion、U2Fusion、PFNet、SeAFusion)和Transformer(SwinFusion、TIPFNet)的融合方法都不能有效抑制噪声背景干扰。这些方法主要侧重于加强融合网络，从红外强度与偏振度图像中提取更多有用的信息。然而，这些方法未能有效分析红外偏振图像中背景和显著性目标的分布差异。特别是当偏振度图像受到噪声的严重干扰时，现有方法很难区分红外强度与偏振图像对融合结果的贡献，导致融合后的图像含有大量的噪声干扰。本发明改进了红外偏振图像的输入，并构建了一个基于注意力引导滤波的融合网络。图6中的结果表明，我们的方法可以有效地抑制红外偏振图像中的背景噪声干扰，同时保留了场景中目标的边缘轮廓信息。

Claims (3)

1.一种基于注意力引导滤波的红外偏振图像融合去噪方法，其特征是按如下步骤进行：
步骤1、获取红外偏振图像；
步骤1.1、分别获取N组包含0°，45°，90°，135°方向的红外偏振图像，并计算对应的N组偏振Stokes矢量{{I1,Q1,U1}...,{In,Qn,Un},...,{IN,QN,UN}}，从而得到红外强度图像集合{I1,...,In,...,IN}和偏振角图像集合{A1,...,An,...,AN}，其中，In表示第n张红外强度图像，即第n组偏振Stokes矢量的第一分量，Qn和Un分别表示第n组偏振Stokes矢量的第二和第三分量，An表示第n张偏振角图像，且
步骤1.2、计算第n张扩展后的红外偏振度图像从而得到扩展后的红外偏振度图像集合{ρ1,...,ρn,...,ρN}；
步骤1.3、通过式(1)获取第n张红外目标的偏振敏感度图像R(φ,ρn)，并得到第n张红外背景的偏振敏感度图像R′(φ,ρn)＝(1-ρn)R(φ,ρn)，其中，φ表示偏振方向角，且φ∈{0,π/4,π/2,3π/4}；
根据式(2)得到第n张红外目标图像的第一、二和三偏振敏感度激活值PT1n,PT2n,PT3n、以及第n张红外背景图像的第一、二和三偏振敏感度激活值PB1n,PB2n,PB3n；
通过式(3)计算第n张红外偏振距离图像Dn，从而得到红外偏振距离图像集合{D1,...,Dn,...,DN}；
式(3)中，SP表示偏振灵敏度常数；
步骤2、构建基于注意力引导滤波的红外偏振图像融合去噪网络，包括：红外强度编码模块IEN、红外偏振编码模块PEN、偏振显著性特征融合模块PSA、注意力引导滤波模块AGF和上采样解码模块UpDE；并将第n张红外强度图像In、扩展后红外偏振度图像ρn与红外偏振距离图像Dn输入到所述红外偏振图像融合去噪网络中，从而得到第n张融合去噪后的红外偏振图像Fn；
步骤2.1、所述红外强度编码模块IEN由M个SwinTransformer层组成，并将第n张红外强度图像In输入到所述红外强度编码模块IEN中，经过M个SwinTransformer层的处理后，输出特征张量集合{ISTLresn,1,…,ISTLresn,m,…,ISTLresn,M}，其中，ISTLresn,m表示第n张红外强度图像In在第m个SwinTransformer层输出的特征张量；
步骤2.2、所述红外偏振编码模块PEN也是由M个SwinTransformer层组成，并将第n张扩展后的红外偏振度图像ρn与红外偏振距离图像Dn分别输入到红外偏振编码模块PEN中，经过M个SwinTransformer层的处理后，相应得到红外偏振编码模块PEN输出的特征张量集合{PSTLresn,1,…,PSTLresn,m,…,PSTLresn,M}与{PSTLresdn,1,…,PSTLresdn,m,…,PSTLresdn,M}；其中，PSTLresn,m表示第n张扩展后的红外偏振度图像ρn在第m个SwinTransformer层输出的特征张量，PSTLresdn,m表示第n张红外偏振距离图像Dn在第m个SwinTransformer层输出的特征张量；
步骤2.3、所述偏振显著性特征融合模块PSA由M个通道注意力融合块组成，每个通道注意力融合块均是由两路分支组成，其中，第一支路依次包括全局平均池化层、Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；第二支路依次包括Point-wise卷积层、BN层、Relu层、Point-wise卷积层、BN层；
将特征张量PSTLresn,m和PSTLresdn,m在通道维串接后输入到第m个通道注意力融合块中，并经过两路分支的处理，相应输出的两个特征张量再相加，并经过Sigmoid层的处理后，再与特征张量PSTLresn,m和PSTLresdn,m进行残差连接，得到第n张扩展后的红外偏振度图像ρn与偏振距离图像Dn的第m个融合后偏振特征张量FPresn,m，从而得到偏振特征张量集合{FPresn,1,…,FPresn,m,…,FPresn,M}；
步骤2.4、所述注意力引导滤波模块AGF由M个滤波块组成，每个滤波块依次包含：SwinTransformer层、Cross-Attention交互注意力层；
将特征张量ISTLresn,m与FPresn,m输入到第m个滤波块中，并分别经过SwinTransformer层的处理后，得到两个初始滤波权重WIn,m与WFn,m，再将特征张量ISTLresn,m与FPresn,m经过Cross-Attention交互注意力层的处理后，得到注意力权重AIn,m与AFn,m，从而通过式(4)得到最终的滤波器权重Wn,m；
Wn,m＝AIn,m·WIn,m+AFn,m·WFn,m (4)
用滤波器权重Wn,m对串接后的特征张量ISTLresn,m与FPresn,m进行张量点乘操作，得到第m个注意力引导滤波后的特征张量AGFresn,m，从而得到引导滤波后的特征张量集合{AGFresn,1,…,AGFresn,m,…,AGFresn,M}；
步骤2.5、所述上采样解码模块UpDE由M个上采样解码块组成，每个上采样解码块均包含上采样层和SwinTransformer层；
将第m个特征张量AGFresn,m与第m-1个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m-1拼接后，输入到第m个上采样解码块中进行处理，得到第m个上采样解码块输出的第n张融合去噪后的红外偏振图像Fn,m，并与第m+1个特征张量AGFresn,m+1拼接后，再输入第m+1个上采样解码块中进行处理，当m＝1时，令Fn,m-1＝0；将m＝M时的第n张融合去噪后的红外偏振图像记为Fn，从而得到融合后的红外偏振图像集合{F1,…,Fn,…,FN}；
步骤3、将第n张红外强度图像In作为引导图，分别对第n张扩展后红外偏振度图像ρn与红外偏振距离图像Dn进行导向滤波，从而得到第n张引导滤波后的偏振度图像GPn与偏振距离图像GDn；
利用式(5)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的强度损失
式(5)中，LossMWSSIM表示多尺度结构相似性损失；
利用式(6)计算第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的梯度损失
式(6)中，表示梯度运算，|·|表示取绝对值；
利用式(7)计算第n张融合去噪后的红外偏振图像Fn与第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn之间的联合损失
式(7)中，W,H为第n张引导滤波后的偏振度图像GPn、偏振距离图像GDn的宽和高；||·||表示MAE平均绝对误差损失；
利用式(8)构建第n张红外强度图像In、引导滤波后的偏振度图像GPn、偏振距离图像GDn与第n张融合去噪后的红外偏振图像Fn之间的总损失函数Ln：
式(8)中，λ1,λ2,λ3为三个加权系数；
步骤4、基于红外强度图像集合{I1,...,In,...,IN}、扩展后红外偏振度图像集合{ρ1,...,ρn,...,ρN}以及红外偏振距离图像集合{D1,...,Dn,...,DN}，利用梯度下降算法对融合网络进行训练，并计算总损失函数Ln以更新网络参数，当训练迭代次数达到设定的次数时，停止训练，从而得到训练后的红外偏振图像融合模型，用于实现对红外强度与偏振度图像的融合。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述红外偏振图像融合去噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述红外偏振图像融合去噪方法的步骤。
CN202310503630.XA 2023-05-06 2023-05-06 一种基于注意力引导滤波的红外偏振图像融合去噪方法 Active CN116433532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310503630.XA CN116433532B (zh) 2023-05-06 2023-05-06 一种基于注意力引导滤波的红外偏振图像融合去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310503630.XA CN116433532B (zh) 2023-05-06 2023-05-06 一种基于注意力引导滤波的红外偏振图像融合去噪方法

Publications (2)

Publication Number Publication Date
CN116433532A CN116433532A (zh) 2023-07-14
CN116433532B true CN116433532B (zh) 2023-09-26

Family

ID=87085537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310503630.XA Active CN116433532B (zh) 2023-05-06 2023-05-06 一种基于注意力引导滤波的红外偏振图像融合去噪方法

Country Status (1)

Country Link
CN (1) CN116433532B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754384A (zh) * 2018-12-18 2019-05-14 电子科技大学 一种非制冷红外分焦平面阵列的红外偏振图像融合方法
KR20210058683A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 깊이 맵 생성 방법 및 장치
CN114241511A (zh) * 2021-10-21 2022-03-25 西安科技大学 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN114429428A (zh) * 2022-01-06 2022-05-03 天津大学 基于注意力机制的偏振图像去噪方法
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
WO2022204666A1 (en) * 2021-03-25 2022-09-29 Sri International Polarized image enhancement using deep neural networks
WO2023284656A1 (zh) * 2021-07-16 2023-01-19 合肥工业大学 一种基于红外偏振的无人机检测方法及系统
CN115861608A (zh) * 2022-10-26 2023-03-28 中国人民解放军陆军工程大学 一种基于光强与偏振线索的伪装目标分割方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022004162A (es) * 2019-10-07 2022-07-12 Boston Polarimetrics Inc Sistemas y metodos para el aumento de sistemas de sensores y sistemas de formacion de imagenes con polarizacion.
KR20230116068A (ko) * 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754384A (zh) * 2018-12-18 2019-05-14 电子科技大学 一种非制冷红外分焦平面阵列的红外偏振图像融合方法
KR20210058683A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 깊이 맵 생성 방법 및 장치
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
WO2022204666A1 (en) * 2021-03-25 2022-09-29 Sri International Polarized image enhancement using deep neural networks
WO2023284656A1 (zh) * 2021-07-16 2023-01-19 合肥工业大学 一种基于红外偏振的无人机检测方法及系统
CN114241511A (zh) * 2021-10-21 2022-03-25 西安科技大学 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN114429428A (zh) * 2022-01-06 2022-05-03 天津大学 基于注意力机制的偏振图像去噪方法
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN115861608A (zh) * 2022-10-26 2023-03-28 中国人民解放军陆军工程大学 一种基于光强与偏振线索的伪装目标分割方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FTC-Net: Fusion of Transformer and CNN Features for Infrared Small Target Detection;Meibin Qi;IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing;全文 *
基于小波变换和引导滤波的多聚焦图像融合;朱世松;瞿佩云;;测控技术(第09期);全文 *
基于拉普拉斯金字塔的红外光强与偏振图像融合;牛继勇;岳振;徐永贵;;红外(第11期);全文 *
基于深度学习的多角度遥感影像云检测方法;李佳欣;赵鹏;方薇;宋尚香;;大气与环境光学学报(第05期);全文 *
红外偏振舰船目标自适应尺度局部对比度检测;宫剑;吕俊伟;刘亮;仇荣超;孙超;;光学精密工程(第01期);全文 *

Also Published As

Publication number Publication date
CN116433532A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US10593021B1 (en) Motion deblurring using neural network architectures
CN109948796B (zh) 自编码器学习方法、装置、计算机设备及存储介质
CN109934815B (zh) 一种结合atv约束的张量恢复红外弱小目标检测方法
Le Meur et al. Examplar-based inpainting based on local geometry
Lefkimmiatis et al. Poisson image reconstruction with Hessian Schatten-norm regularization
Zosso et al. A primal-dual projected gradient algorithm for efficient Beltrami regularization
CN107067367A (zh) 一种图像超分辨重建处理方法
CN110796625A (zh) 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法
Wang et al. Learning from noisy data: An unsupervised random denoising method for seismic data using model-based deep learning
Ni et al. Example-driven manifold priors for image deconvolution
Li et al. A deep learning method for denoising based on a fast and flexible convolutional neural network
CN111968047A (zh) 一种基于生成式对抗网络的自适应光学图像盲复原方法
CN109887050A (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
CN114545494B (zh) 基于稀疏约束的无监督地震数据重建方法及装置
Jiang et al. A new nonlocal means based framework for mixed noise removal
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
CN116433532B (zh) 一种基于注意力引导滤波的红外偏振图像融合去噪方法
CN117291850A (zh) 一种基于可学习低秩表示的红外偏振图像融合增强方法
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network
CN112862729B (zh) 一种基于特征曲线指导的遥感图像去噪方法
CN114937217A (zh) 一种基于半监督自编码器的航拍目标检测方法及电子设备
CN113487491A (zh) 一种基于稀疏性与非局部均值自相似性的图像复原方法
He et al. Interpretable deep attention prior for image restoration and enhancement
Wang et al. Remote sensing image denoising algorithm based on improved Transformer network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant