CN117576536B - 一种含雾图像融合模型和方法 - Google Patents

一种含雾图像融合模型和方法 Download PDF

Info

Publication number
CN117576536B
CN117576536B CN202410076413.1A CN202410076413A CN117576536B CN 117576536 B CN117576536 B CN 117576536B CN 202410076413 A CN202410076413 A CN 202410076413A CN 117576536 B CN117576536 B CN 117576536B
Authority
CN
China
Prior art keywords
image
feature
sparse
features
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410076413.1A
Other languages
English (en)
Other versions
CN117576536A (zh
Inventor
李小松
黎熹来
刘洋
王晓磐
陈健伸
谭海曙
程晓琦
易鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202410076413.1A priority Critical patent/CN117576536B/zh
Publication of CN117576536A publication Critical patent/CN117576536A/zh
Application granted granted Critical
Publication of CN117576536B publication Critical patent/CN117576536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域，公开了一种含雾图像融合模型和方法，先利用去雾模块对可见光图像进行去雾处理，然后利用低秩表示模块对去雾后的可见光图像和红外光图像进行分解得到低秩全局特征和稀疏局部特征，再用稀疏Transformer模块强大的全局上下文理解能力高效地重建图像低阶全局细节，并通过稀疏特征预测模块从各源图像的稀疏成分中提取独特的私有特征，最终融合重建得到的低阶全局细节和提取到的私有特征，形成融合图像；从而能够先恢复可见光图像在雾霾干扰下丢失的场景信息再与红外光图像进行融合，在进行图像融合的同时实现去雾效果，并提高融合图像的质量。

Description

一种含雾图像融合模型和方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种含雾图像融合模型和方法。
背景技术
红外光图像和可见光图像融合可以整合两种模态图像的互补和显著的特征信息，从而实现对目标场景进行更全面的解释，从而更好地服务于多种高级视觉任务（如语义分割、目标检测、视频监控、无人驾驶等）。
有时候，目标场景会存在雾霾，导致拍摄的可见光图像受到大气雾霾干扰而引入雾霾像素，会导致融合后的融合图像存在关键场景细节的信息缺失，针对该问题，现有的融合算法（如基于生成对抗网络的算法、基于自编码器的算法和算法展开模型）主要通过利用红外数据的互补属性来改善可见光谱内的信息缺失，然而，在雾霾干扰较严重的情况下，这种补偿方法的有效性会降低，会由于过度依赖从红外数据中提取的特征，导致融合后的融合图像在亮度和对比度方面出现明显下降。
可见，现有技术有待改进和提高。
发明内容
本申请的目的在于提供一种含雾图像融合模型和方法，能够先恢复可见光图像在雾霾干扰下丢失的场景信息再与红外光图像进行融合，在进行图像融合的同时实现去雾效果，从而提高融合图像的质量。
第一方面，本申请提供了一种含雾图像融合模型，用于对配准的可见光图像和红外光图像进行融合处理，包括第一输入层、第二输入层、去雾模块、两个低秩表示模块、第一稀疏Transformer模块、稀疏特征预测模块和输出层；
所述第一输入层、所述去雾模块和第一个所述低秩表示模块依次连接，所述第一输入层用于输入可见光图像，所述去雾模块用于对所述可见光图像进行去雾处理，第一个所述低秩表示模块用于提取去雾处理后的可见光图像中的稀疏局部特征和低秩全局特征，记为第一稀疏局部特征和第一低秩全局特征；
所述第二输入层与第二个所述低秩表示模块连接，所述第二输入层用于输入红外光图像，第二个所述低秩表示模块用于提取所述红外光图像的稀疏局部特征和低秩全局特征，记为第二稀疏局部特征和第二低秩全局特征；
两个所述低秩表示模块的稀疏局部特征输出端级联后与所述稀疏特征预测模块连接，两个所述低秩表示模块的低秩全局特征输出端级联后与所述第一稀疏Transformer模块连接；所述稀疏特征预测模块用于融合所述第一稀疏局部特征和所述第二稀疏局部特征，得到第一融合特征，所述第一稀疏Transformer模块用于融合所述第一低秩全局特征和所述第二低秩全局特征得到第二融合特征；
所述第一稀疏Transformer模块和所述稀疏特征预测模块均与所述输出层连接，所述第一融合特征和所述第二融合特征相加后输出至所述输出层。
该含雾图像融合模型先利用去雾模块对可见光图像进行去雾处理，然后利用低秩表示模块对去雾后的可见光图像和红外光图像进行分解得到低秩全局特征和稀疏局部特征，再用稀疏Transformer模块强大的全局上下文理解能力高效地重建图像低阶全局细节，并通过稀疏特征预测模块从各源图像的稀疏成分中提取独特的私有特征，最终融合重建得到的低阶全局细节和提取到的私有特征，形成融合图像；从而能够先恢复可见光图像在雾霾干扰下丢失的场景信息再与红外光图像进行融合，在进行图像融合的同时实现去雾效果，并提高融合图像的质量。
优选地，所述去雾模块为堆叠有五个第二稀疏Transformer模块的U-Net 骨干网络，所述U-Net 骨干网络的两侧嵌入有物理感知无雾特征预测块。
在U-Net骨干网络中叠五个第二稀疏Transformer模块可以有效提取雾霾信息在空间分布的有用特征，在U-Net 骨干网络的两侧嵌入物理感知无雾特征预测块，有助于恢复图像清晰的细节信息。
优选地，所述物理感知无雾特征预测块用于提取输入图像特征的大气光特征和透射特征，并执行以下运算以把所述输入图像特征转换为无雾图像特征：
；
其中，为所述输入图像特征，/>为所述输入图像特征的透射特征，/>为所述输入图像特征的大气光特征，/>为哈达玛乘积，/>为所述无雾图像特征。
该物理感知无雾特征预测块综合考虑图像的大气光特征和透射特征进行除雾处理，是一种以实现起雾的物理机制和大气散射模型的转换为指导而构建的模型，具有良好的除雾和恢复含雾图像清晰细节的性能。
优选地，所述第二稀疏Transformer模块包括依次连接的第一结构和第二结构；
所述第一结构包括依次连接的归一化层和Top-k稀疏注意网络，所述第一结构的输入端与对应的归一化层的输入端和所述Top-k稀疏注意网络的输出端连接，所述第一结构的输入特征与所述Top-k稀疏注意网络的输出特征相加作为所述第一结构的输出特征；
所述第二结构包括依次连接的归一化层和混合尺度前馈网络，所述第二结构的输入端与对应的归一化层的输入端和所述混合尺度前馈网络的输出端连接，所述第二结构的输入特征与所述混合尺度前馈网络的输出特征相加作为所述第二结构的输出特征。
优选地，所述物理感知无雾特征预测块利用全局平均池化消除所述输入图像特征的特征空间内的冗余信息，从而提取得到所述大气光特征。
优选地，所述物理感知无雾特征预测块提取所述输入图像特征的深度特征和照度特征后，基于以下模型提取所述输入图像特征的透射特征：
；
其中，i为特征序号，为所述输入图像特征的第i个深度特征，/>为所述输入图像特征的第i个照度特征，/>为对应于/>的滤波函数，/>为对应于/>的滤波函数，/>为卷积算子。
优选地，所述去雾模块基于以下第一总损失函数进行单独训练得到：
；
其中，为第一总损失函数，/>为语义损失，/>为去雾结果与对应参考结果之间的结构相似性损失，/>为去雾结果与对应参考结果之间的/>范数损失。
优选地，所述稀疏特征预测模块基于以下模型融合所述第一稀疏局部特征和所述第二稀疏局部特征：
；
其中，为所述第一融合特征，j为特征序号，/>为第j个所述第一稀疏局部特征，为第j个所述第二稀疏局部特征，/>为对应于/>的稀疏滤波函数，/>为对应于/>的稀疏滤波函数，/>为卷积算子。
优选地，所述含雾图像融合模型在保持所述去雾模块的模型参数固定的情况下，基于以下第二总损失函数进行训练得到：
；
其中，为所述第二总损失函数，/>为融合结果与对应参考结果之间的/>范数损失，/>为融合结果与对应参考结果之间的结构相似性损失，/>为梯度损失。
第二方面，本申请提供了一种含雾图像融合方法，基于前文所述的含雾图像融合模型，包括步骤：
A1.获取配准的可见光图像和红外光图像；
A2.把所述可见光图像输入所述含雾图像融合模型的第一输入层，并把所述红外光图像输入所述含雾图像融合模型的第二输入层，获得所述含雾图像融合模型输出的融合图像。
有益效果：本申请提供含雾图像融合模型和方法，先利用去雾模块对可见光图像进行去雾处理，然后利用低秩表示模块对去雾后的可见光图像和红外光图像进行分解得到低秩全局特征和稀疏局部特征，再用稀疏Transformer模块强大的全局上下文理解能力高效地重建图像低阶全局细节，并通过稀疏特征预测模块从各源图像的稀疏成分中提取独特的私有特征，最终融合重建得到的低阶全局细节和提取到的私有特征，形成融合图像；从而能够先恢复可见光图像在雾霾干扰下丢失的场景信息再与红外光图像进行融合，在进行图像融合的同时实现去雾效果，并提高融合图像的质量。
附图说明
图1为本申请实施例提供的含雾图像融合模型的原理图。
图2为去雾模块的结构示意图。
图3为物理感知无雾特征预测块的结构示意图。
图4为混合尺度前馈网络的结构示意图。
图5为Top-k稀疏注意网络的结构示意图。
图6为本申请实施例提供的含雾图像融合方法的流程图。
图7为融合结果对比图。
标号说明：1、第一输入层；2、第二输入层；3、去雾模块；4、低秩表示模块；5、第一稀疏Transformer模块；6、稀疏特征预测模块；7、输出层；8、第二稀疏Transformer模块；9、物理感知无雾特征预测块；10、滤波器模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种含雾图像融合模型，用于对配准的可见光图像和红外光图像进行融合处理，包括第一输入层1、第二输入层2、去雾模块3、两个低秩表示模块4（即图中的LLRR模块）、第一稀疏Transformer模块5（即图1中的STB模块）、稀疏特征预测模块6（即图中的SFB模块）和输出层7；
第一输入层1、去雾模块3和第一个低秩表示模块4依次连接，第一输入层1用于输入可见光图像，去雾模块3用于对可见光图像进行去雾处理，第一个低秩表示模块4用于提取去雾处理后的可见光图像中的稀疏局部特征和低秩全局特征，记为第一稀疏局部特征（即图中的Sx）和第一低秩全局特征（即图1的Lx）；
第二输入层2与第二个低秩表示模块4连接，第二输入层2用于输入红外光图像，第二个低秩表示模块4用于提取红外光图像的稀疏局部特征和低秩全局特征，记为第二稀疏局部特征（即图中的Sy）和第二低秩全局特征（即图中的Ly）；
两个低秩表示模块4的稀疏局部特征输出端级联后与稀疏特征预测模块6连接，两个低秩表示模块4的低秩全局特征输出端级联后与第一稀疏Transformer模块5连接；稀疏特征预测模块6用于融合第一稀疏局部特征和第二稀疏局部特征，得到第一融合特征（即图1中的C2），第一稀疏Transformer模块5用于融合第一低秩全局特征和第二低秩全局特征得到第二融合特征（即图1中的C1）；
第一稀疏Transformer模块5和稀疏特征预测模块6均与输出层7连接，第一融合特征和第二融合特征相加后输出至输出层7。
该含雾图像融合模型先利用去雾模块3对可见光图像进行去雾处理，然后利用低秩表示模块4对去雾后的可见光图像和红外光图像进行分解得到低秩全局特征和稀疏局部特征，再用稀疏Transformer模块强大的全局上下文理解能力高效地重建图像低阶全局细节，并通过稀疏特征预测模块6从各源图像的稀疏成分中提取独特的私有特征，最终融合重建得到的低阶全局细节和提取到的私有特征，形成融合图像；从而能够先恢复可见光图像在雾霾干扰下丢失的场景信息再与红外光图像进行融合，在进行图像融合的同时实现去雾效果，并提高融合图像的质量。
其中，LLRR模块为现有技术，此处不对其进行详述。
具体地，见图2，去雾模块3为堆叠有五个第二稀疏Transformer模块8（即图2中的STB模块，其中，第二稀疏Transformer模块8的结构与第一稀疏Transformer模块5的结构相同，因此均为STB模块）的U-Net 骨干网络，U-Net 骨干网络的两侧嵌入有物理感知无雾特征预测块9（即图2中的PFB模块）。
在U-Net骨干网络中叠五个第二稀疏Transformer模块8可以有效提取雾霾信息在空间分布的有用特征，在U-Net 骨干网络的两侧嵌入物理感知无雾特征预测块9，有助于恢复图像清晰的细节信息。
优选地，物理感知无雾特征预测块9用于提取输入图像特征（即输入物理感知无雾特征预测块9的图像特征）的大气光特征和透射特征，并执行以下运算以把输入图像特征转换为无雾图像特征：
；
其中，为输入图像特征，/>为输入图像特征的透射特征，/>为输入图像特征的大气光特征，/>为哈达玛乘积，/>为无雾图像特征（该无雾图像特征是指经过物理感知无雾特征预测块9处理后输出的图像特征）。
该物理感知无雾特征预测块9综合考虑图像的大气光特征和透射特征进行除雾处理，是一种以实现起雾的物理机制和大气散射模型的转换为指导而构建的模型，具有良好的除雾和恢复含雾图像清晰细节的性能。
其中，基于大气光均匀性假设（即假设大气光是均匀的），物理感知无雾特征预测块9利用全局平均池化消除输入图像特征的特征空间内的冗余信息，从而提取得到大气光特征。
其中，物理感知无雾特征预测块9提取输入图像特征的深度特征和照度特征后，基于以下模型提取输入图像特征的透射特征：
；
其中，i为特征序号，为输入图像特征的第i个深度特征，/>为输入图像特征的第i个照度特征，/>为对应于/>的滤波函数，/>为对应于/>的滤波函数，/>为卷积算子。
具体地，见图3，PFB模块包括第一分支和第二分支；第一分支包括依次连接的全局池化层（即图3中的GAP层）、1×1卷积层（即图中的1×1Conv）、ReLU激活层、1×1卷积层和sigmoid激活层，全局池化层的输入端与PFB模块的输入端连接；第二分支包括深度特征预测模块（即图3中的DFB模块）和照度特征预测模块（即图3中的IFB模块），深度特征预测模块和照度特征预测模块的输入端均与PFB模块的输入端连接，深度特征预测模块和照度特征预测模块的输出端级联后与滤波器模块10、3×3卷积层、ReLU激活层、3×3卷积层和sigmoid激活层依次连接；深度特征预测模块用于计算输入图像特征的深度特征，照度特征预测模块用于计算输入图像特征的照度特征，第一分支的输出特征为输入图像特征的大气光特征，第二分支的输出特征为输入图像特征的透射特征/>，把第二分支的输出特征与PFB模块的输入图像特征相乘作为第一分量，对第二分支的输出特征进行以下运算：/>，用以与第一分支的输出特征相乘作为第二分量，把第一分量和第二分量相加作为PFB模块的输出特征。其中，GAP层、DFB模块和IFB模块均为现有技术，此处不对其结构进行详述。
进一步地，见图2，去雾模块3还包括位于前端的物理感知无雾特征预测块9前侧并与前端的物理感知无雾特征预测块9连接的3×3卷积层（即图中的3×3Conv），以及位于后端的物理感知无雾特征预测块9后侧并与后端的物理感知无雾特征预测块9连接的3×3卷积层。
进一步地，见图2，第二稀疏Transformer模块8（以及第一稀疏Transformer模块5）包括依次连接的第一结构和第二结构；
第一结构包括依次连接的归一化层（即图中的LN层）和Top-k稀疏注意网络（即图中的TKSA网络），第一结构的输入端与对应的归一化层的输入端和Top-k稀疏注意网络的输出端连接，第一结构的输入特征与Top-k稀疏注意网络的输出特征相加作为第一结构的输出特征；
第二结构包括依次连接的归一化层和混合尺度前馈网络（即图中的MSFN网络），第二结构的输入端与对应的归一化层的输入端和混合尺度前馈网络的输出端连接，第二结构的输入特征与混合尺度前馈网络的输出特征相加作为第二结构的输出特征。
本申请中的STB模块的编码过程可以用以下公式表示：
；
；
其中，为第一结构的输出特征，/>为STB模块的输入特征，/>为STB模块的输出特征，/>表示归一化函数，/>表示TKSA网络的处理函数，/>表示MSFN网络的处理函数。
具体地，见图5，TKSA网络包括与TKSA网络的输入端连接的归一化层（即图中LN层）和分别连接于该归一化层输出端的第一注意力通道、第二注意力通道和第三注意力通道，第一注意力通道、第二注意力通道和第三注意力通道均包括依次连接的一个1×1卷积层（即图中的1×1Conv）、3×3深度卷积层（即图中的3×3Dw-Conv）和Reshape层，第一注意力通道和第二注意力通道的输出端相乘后与Mask层、一个Top-k网络、Scatter层和Softmax激活层依次连接，第三注意力通道的输出端与Softmax激活层相乘后与另一个Top-k网络和另一个1×1卷积层依次连接，该另一个1×1卷积层的输出端与TKSA网络的输入端相加后作为TKSA网络的输出端。
图5中，Q为第一注意力通道的输出特征，K为第二注意力通道的输出特征，V为第三注意力通道的输出特征。该TKSA网络的特征融合过程可以表示为：
；
其中，表示K的转置，/>表示1×1卷积，/>为TKSA网络的输入特征，为/>函数，/>为可学习的Top-k选择算子，/>为可选温度因子，且，/>，C为通道维数，k为可调参数，用于动态控制稀疏度的大小。
具体地，见图4，MSFN网络包括：与MSFN网络的输入端连接的归一化层（即图中LN层），由1×1卷积层、3×3深度卷积层和ReLU激活层依次连接而成的第一单元，由1×1卷积层、5×5深度卷积层和ReLU激活层依次连接而成的第二单元，由3×3深度卷积层和ReLU激活层依次连接而成的第三单元，由5×5深度卷积层和ReLU激活层依次连接而成的第四单元，以及独立的1×1卷积层（此处的独立，是相对于第一单元和第二单元中的1×1卷积层而言，仅是为了方便描述所采用的限定，并非对该1×1卷积层的结构或功能的限定）；归一化层的输出端分别与第一单元和第二单元的输入端连接，第一单元和第二单元的输出端级联后分别与第三单元和第四单元的输入端连接，第三单元和第四单元的输出端级联后与该独立的1×1卷积层的输入端连接，该独立的1×1卷积层的输出端与MSFN网络的输入端相加后作为MSFN网络的输出端。
该MSFN网络的特征融合过程可以表示为：
；
；
；
；
其中，为MSFN网络的输入特征，/>为/>经归一化处理和1×1卷积后的特征，/>为3×3深度卷积，/>为5×5深度卷积，σ（）为ReLU激活函数，[·] 表示通道级联，/>为第一单元的输出特征，/>为第二单元的输出特征，/>为第三单元的输出特征，为第四单元的输出特征，/>为MSFN网络的输出特征。
在一些优选实施方式中，对去雾模块3进行单独训练，再冻结去雾模块3的模型参数，并对整个含雾图像融合模型进行训练，可以提高模型训练效率，并保证去雾效果。
其中，去雾模块3基于以下第一总损失函数进行单独训练得到（即对去雾模块3进行单独训练时，以第一总损失函数作为损失函数）：
；
其中，为第一总损失函数，/>为语义损失，/>为去雾结果与对应参考结果之间的结构相似性损失，/>为去雾结果与对应参考结果之间的/>范数损失。去雾结果即去雾模块3的输出结果，对应参考结果即与去雾结果对应的给定真值。
其中，语义损失为：，/>为语义损失，/>为利用深度估算法（此为现有技术）对去雾结果进行估算得到的深度估计图，/>为利用深度估算法对去雾结果对应的参考结果进行估算得到的深度估计图，/>表示/>范数。深度估计可以提供图像中不同物体与摄像机之间距离关系的重要信息。含雾图像的场景中缺乏基本的深度信息，而图像去雾的目的是还原图像中清晰的细节和图像的原始场景深度。为此，我们引入了深度估计算法来构建图像去雾的语义损失，从而使我们的模型能够更准确地还原场景的深度结构。
优选地，在单独训练去雾模块3时，可以先固定PFB模块中的IFB模块的模型参数，并根据以下公式更新PFB模块中的DFB模块的模型参数，以得到DFB模块的最优模型参数：
；
其中，是特征响应/>的堆叠，K’是滤波器模块10中对应于深度特征的滤波器数量（也等于滤波器模块10中对应于照度特征的滤波器数量），/>为第m次迭代前的/>（m为迭代次数），/>为第m次迭代后的/>，/>和/>为与对应于深度特征的滤波器相关的可学习卷积层，/>代表预设的软阈值算子。
在确定DFB模块的最优模型参数后，固定DFB模块的模型参数，并根据以下公式更新IFB模块的模型参数，得到IFB模块的最优模型参数：
；
其中，是特征响应/>堆叠，/>为第n次迭代前的/>，/>为第n次迭代后的/>（n为迭代次数），/>和/>是与对应于照度特征的滤波器相关的可学习卷积层。
先固定IFB模块的模型参数并更新DFB模块的模型参数，再固定DFB模块的模型参数并更新IFB模块的模型参数，与同时进行IFB模块和DFB模块的模型参数更新相比，训练效率更高。
具体地，稀疏特征预测模块6基于以下模型融合第一稀疏局部特征和第二稀疏局部特征：
；
其中，为第一融合特征，j为特征序号，/>为第j个第一稀疏局部特征，/>为第j个第二稀疏局部特征，/>为对应于/>的稀疏滤波函数，/>为对应于/>的稀疏滤波函数，为卷积算子。
优选地，含雾图像融合模型在保持去雾模块3的模型参数固定的情况下，基于以下第二总损失函数进行训练得到（即在冻结去雾模块3的模型参数的情况下，以第二总损失函数作为损失函数进行训练）：
；
其中，为第二总损失函数，/>为融合结果与对应参考结果之间的/>范数损失，/>为融合结果与对应参考结果之间的结构相似性损失，/>为梯度损失。
采用上述第二总损失函数，旨在通过量化结构相似性和保留纹理细节来综合评估和优化生成结果，从而最大限度地减少生成图像与真实图像之间的局部和全局差异。
其中，在对含雾图像融合模型进行整体训练时，可以根据以下公式更新SFB模块的模型参数：
；
；
其中，和/>分别是特征响应/>和/>的堆叠，/>和/>分别是第p次迭代前的/>和/>（p为迭代次数），/>和/>分别是第p次迭代后的/>和/>，/>、/>、/>和是SFB模块的可学习的卷积层，/>是红外光图像，/>是可见光图像。
参考图6，本申请提供了一种含雾图像融合方法，基于前文的含雾图像融合模型，包括步骤：
A1.获取配准的可见光图像和红外光图像；
A2.把可见光图像输入含雾图像融合模型的第一输入层1，并把红外光图像输入含雾图像融合模型的第二输入层2，获得含雾图像融合模型输出的融合图像。
利用本申请的含雾图像融合方法与现有的几种图像融合方法进行对比，对比结果如图7所示。
图中，IR图和VIS图分别是待融合的红外光图像和可见光图像；
CDDFuse图是利用基于多尺度结构分解和生物视觉的红外-可见图像融合的感知框架得到的融合图像；
LRRNet图是利用基于深度多尺度特征集成的图像融合边缘注意引导方法得到的融合图像；
ReCoNet图是利用基于语义感知的实时红外和可见光图像融合网络得到的融合图像；
SeaFusion图是利用基于与感知一致的生成对抗网络的图像融合方法得到的融合图像；
TarDAL图是利用强化检测的图像融合网络得到的融合图像；
TGfuse图是利用统一的无监督的图像融合网络得到的融合图像；
Proposed图是利用本申请的含雾图像融合方法得到的融合图像。
从图7中可以看到，待融合的可见光图像具有比较浓厚的雾霾，在此情况下，本申请的图像融合方法的融合图像显示出明显的去雾性能，色彩失真很少，具有明显的去毛刺性能和很少的色彩失真；而其它方法的融合图像则存在明显的纹理模糊和场景混乱问题；可见，本申请的含雾图像融合模型对红外图像的目标信息和可见光图像中的纹理信息提取能力较强，在有雾条件下能有效保持良好的融合性能，本申请的含雾图像融合方法能够拥有比上述几种对比方法更佳优异的融合性能。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种含雾图像融合模型，用于对配准的可见光图像和红外光图像进行融合处理，其特征在于，包括第一输入层（1）、第二输入层（2）、去雾模块（3）、两个低秩表示模块（4）、第一稀疏Transformer模块（5）、稀疏特征预测模块（6）和输出层（7）；
所述第一输入层（1）、所述去雾模块（3）和第一个所述低秩表示模块（4）依次连接，所述第一输入层（1）用于输入可见光图像，所述去雾模块（3）用于对所述可见光图像进行去雾处理，第一个所述低秩表示模块（4）用于提取去雾处理后的可见光图像中的稀疏局部特征和低秩全局特征，记为第一稀疏局部特征和第一低秩全局特征；
所述第二输入层（2）与第二个所述低秩表示模块（4）连接，所述第二输入层（2）用于输入红外光图像，第二个所述低秩表示模块（4）用于提取所述红外光图像的稀疏局部特征和低秩全局特征，记为第二稀疏局部特征和第二低秩全局特征；
两个所述低秩表示模块（4）的稀疏局部特征输出端级联后与所述稀疏特征预测模块（6）连接，两个所述低秩表示模块（4）的低秩全局特征输出端级联后与所述第一稀疏Transformer模块（5）连接；所述稀疏特征预测模块（6）用于融合所述第一稀疏局部特征和所述第二稀疏局部特征，得到第一融合特征，所述第一稀疏Transformer模块（5）用于融合所述第一低秩全局特征和所述第二低秩全局特征得到第二融合特征；
所述第一稀疏Transformer模块（5）和所述稀疏特征预测模块（6）均与所述输出层（7）连接，所述第一融合特征和所述第二融合特征相加后输出至所述输出层（7）；
所述去雾模块（3）为堆叠有五个第二稀疏Transformer模块（8）的U-Net骨干网络，所述U-Net骨干网络的两侧嵌入有物理感知无雾特征预测块（9）；
所述物理感知无雾特征预测块（9）用于提取输入图像特征的大气光特征和透射特征，并执行以下运算以把所述输入图像特征转换为无雾图像特征：
；
其中，为所述输入图像特征，/>为所述输入图像特征的透射特征，/>为所述输入图像特征的大气光特征，/>为哈达玛乘积，/>为所述无雾图像特征；
所述物理感知无雾特征预测块（9）提取所述输入图像特征的深度特征和照度特征后，基于以下模型提取所述输入图像特征的透射特征：
；
其中，i为特征序号，为所述输入图像特征的第i个深度特征，/>为所述输入图像特征的第i个照度特征，/>为对应于/>的滤波函数，/>为对应于/>的滤波函数，/>为卷积算子。
2.根据权利要求1所述的含雾图像融合模型，其特征在于，所述第二稀疏Transformer模块（8）包括依次连接的第一结构和第二结构；
所述第一结构包括依次连接的归一化层和Top-k稀疏注意网络，所述第一结构的输入端与对应的归一化层的输入端和所述Top-k稀疏注意网络的输出端连接，所述第一结构的输入特征与所述Top-k稀疏注意网络的输出特征相加作为所述第一结构的输出特征；
所述第二结构包括依次连接的归一化层和混合尺度前馈网络，所述第二结构的输入端与对应的归一化层的输入端和所述混合尺度前馈网络的输出端连接，所述第二结构的输入特征与所述混合尺度前馈网络的输出特征相加作为所述第二结构的输出特征。
3.根据权利要求1所述的含雾图像融合模型，其特征在于，所述物理感知无雾特征预测块（9）利用全局平均池化消除所述输入图像特征的特征空间内的冗余信息，从而提取得到所述大气光特征。
4.根据权利要求1所述的含雾图像融合模型，其特征在于，所述去雾模块（3）基于以下第一总损失函数进行单独训练得到：
；
其中，为第一总损失函数，/>为语义损失，/>为去雾结果与对应参考结果之间的结构相似性损失，/>为去雾结果与对应参考结果之间的/>范数损失。
5.根据权利要求1所述的含雾图像融合模型，其特征在于，所述稀疏特征预测模块（6）基于以下模型融合所述第一稀疏局部特征和所述第二稀疏局部特征：
；
其中，为所述第一融合特征，j为特征序号，/>为第j个所述第一稀疏局部特征，/>为第j个所述第二稀疏局部特征，/>为对应于/>的稀疏滤波函数，/>为对应于/>的稀疏滤波函数，/>为卷积算子。
6.根据权利要求4所述的含雾图像融合模型，其特征在于，所述含雾图像融合模型在保持所述去雾模块（3）的模型参数固定的情况下，基于以下第二总损失函数进行训练得到：
；
其中，为所述第二总损失函数，/>为融合结果与对应参考结果之间的/>范数损失，/>为融合结果与对应参考结果之间的结构相似性损失，/>为梯度损失。
7.一种含雾图像融合方法，其特征在于，基于权利要求1-6任一项所述的含雾图像融合模型，包括步骤：
A1.获取配准的可见光图像和红外光图像；
A2.把所述可见光图像输入所述含雾图像融合模型的第一输入层（1），并把所述红外光图像输入所述含雾图像融合模型的第二输入层（2），获得所述含雾图像融合模型输出的融合图像。
CN202410076413.1A 2024-01-18 2024-01-18 一种含雾图像融合模型和方法 Active CN117576536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410076413.1A CN117576536B (zh) 2024-01-18 2024-01-18 一种含雾图像融合模型和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410076413.1A CN117576536B (zh) 2024-01-18 2024-01-18 一种含雾图像融合模型和方法

Publications (2)

Publication Number Publication Date
CN117576536A CN117576536A (zh) 2024-02-20
CN117576536B true CN117576536B (zh) 2024-04-23

Family

ID=89886801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410076413.1A Active CN117576536B (zh) 2024-01-18 2024-01-18 一种含雾图像融合模型和方法

Country Status (1)

Country Link
CN (1) CN117576536B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN115631108A (zh) * 2022-10-27 2023-01-20 西安星舟志屹智能科技有限公司 一种基于rgbd的图像去雾方法及相关设备
CN116542864A (zh) * 2023-01-09 2023-08-04 北京航空航天大学 一种基于全局和局部双分支网络无人机图像去雾方法
CN116797488A (zh) * 2023-07-07 2023-09-22 大连民族大学 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN117078553A (zh) * 2023-08-25 2023-11-17 杭州智元研究院有限公司 一种基于多尺度深度学习的图像去雾方法
CN117291850A (zh) * 2023-08-07 2023-12-26 合肥工业大学 一种基于可学习低秩表示的红外偏振图像融合增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184028A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Dehazing using localized auto white balance
US11528435B2 (en) * 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN115631108A (zh) * 2022-10-27 2023-01-20 西安星舟志屹智能科技有限公司 一种基于rgbd的图像去雾方法及相关设备
CN116542864A (zh) * 2023-01-09 2023-08-04 北京航空航天大学 一种基于全局和局部双分支网络无人机图像去雾方法
CN116797488A (zh) * 2023-07-07 2023-09-22 大连民族大学 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN117291850A (zh) * 2023-08-07 2023-12-26 合肥工业大学 一种基于可学习低秩表示的红外偏振图像融合增强方法
CN117078553A (zh) * 2023-08-25 2023-11-17 杭州智元研究院有限公司 一种基于多尺度深度学习的图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
cbfm：contrast balance infrared and visible image fusion based on contrast-preserving guided filter;Xilai Li 等;《remote sensing》;20230607;第1-18页 *
基于多尺度邻域技术的多聚焦图像融合研究;李小松;《中国优秀硕士学位论文全文数据库》;20170215;第I138-3386页 *

Also Published As

Publication number Publication date
CN117576536A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN109472818B (zh) 一种基于深度神经网络的图像去雾方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN109584188B (zh) 一种基于卷积神经网络的图像去雾方法
CN111915531A (zh) 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN110349093B (zh) 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法
CN113793275A (zh) 一种Swin Unet低照度图像增强方法
CN113887349A (zh) 一种基于图像和点云融合网络的道路区域图像识别方法
Kim et al. Adaptive patch based convolutional neural network for robust dehazing
Mehra et al. TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing
CN114219732A (zh) 基于天空区域分割和透射率细化的图像去雾方法及系统
Yu et al. Udepth: Fast monocular depth estimation for visually-guided underwater robots
CN110807744A (zh) 一种基于卷积神经网络的图像去雾方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN115689932A (zh) 一种基于深度神经网络的图像去雾方法
CN111598814A (zh) 基于极端散射通道的单图像去雾方法
CN117576536B (zh) 一种含雾图像融合模型和方法
Ling et al. Learning deep transmission network for efficient image dehazing
CN112712482A (zh) 一种基于线性学习模型的图像去雾方法
CN110738624A (zh) 一种区域自适应的图像去雾系统及方法
CN112767275B (zh) 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN115861113A (zh) 一种基于融合深度图与特征掩膜的半监督去雾方法
CN115937021A (zh) 基于频率域特征分离和迭代优化大气光的偏振去雾方法
Revanth et al. A Framework For Single Image Dehazing Using DWT Based Cross Bilateral Filter Fusion of Generative and ASM Models
CN114140347A (zh) 一种基于暗通道先验的无人机航拍图像去雾与增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant