CN114862710A - 红外和可见光图像融合方法及装置 - Google Patents

红外和可见光图像融合方法及装置 Download PDF

Info

Publication number
CN114862710A
CN114862710A CN202210454565.1A CN202210454565A CN114862710A CN 114862710 A CN114862710 A CN 114862710A CN 202210454565 A CN202210454565 A CN 202210454565A CN 114862710 A CN114862710 A CN 114862710A
Authority
CN
China
Prior art keywords
layer
fusion
image
detail
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454565.1A
Other languages
English (en)
Inventor
马晓琳
李爱华
李永科
冀鲸宇
林志龙
邢娜
张玉华
王长龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN202210454565.1A priority Critical patent/CN114862710A/zh
Publication of CN114862710A publication Critical patent/CN114862710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供了一种红外和可见光图像融合方法及装置，其中，方法包括：利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；基于构造的结构‑纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；通过重构三层预融合层获取融合图像。不仅能有效地处理含噪图像的融合问题，而且对于无噪图像也具有较好的融合性能。

Description

红外和可见光图像融合方法及装置
技术领域
本文件涉及图像融合技术领域，尤其涉及一种红外和可见光图像融合方法及装置。
背景技术
近年来，无人机凭借其高灵活度、低成本以及易操作等优势在多个领域发挥着越来越重要的作用，在军事上，其常用于执行战场侦察及态势监控等任务。然而，随着战场实际需要的多样化及复杂化，单一成像传感器受限于自身的物理成像原理，只能感知部分目标或战场信息，很难完成多种目标背景下的探测和识别任务。因此，通过融合多种传感器图像数据以实现不同传感器数据之间的互补，可以得到更加直观、可靠和全面的目标或场景，进而为后续特征提取、目标识别和检测等任务提供强有力的数据支持，便于做出更加合理的决策。
图像融合大多是在像素级进行研究，其中，依据图像表示和融合过程的不同，图像融合大致可以分为四类：基于空间域的方法，基于变换域的方法，基于神经网络的方法和基于字典学习的方法。当前许多图像融合方法大都假设源图像无噪声，对噪声扰动情况的研究较少。然而，由于成像设备、拍摄环境等诸多因素的影响，在实际任务中获取的图像不可避免的存在噪声，直接进行图像融合时源图像中的噪声和细节信息可能被同等处理，导致融合效果不佳。针对噪声图像的融合，通常采用先融合后去噪或先去噪后融合的分步方法，即将去噪算法和融合算法相结合，实现融合去噪。然而，从效率和聚变性能的角度来看，分步推进的方式可能不是最好的选择。
为解决这一问题，出现了一些同步融合去噪方法。其中基于稀疏表示(SparseRepresentation，SR)的方法可同时解决图像融合和去噪两个问题。现有技术中心提出了一种有效的基于SR的图像去噪算法，该方法建立了噪声标准差与稀疏重建误差之间的联系，能够以参数自适应的方式有效地实现图像去噪。随后，一些学者提出了基于SR的联合图像去噪融合算法，实现了融合与去噪的同步。为了进一步提高融合性能，解决融合耗时长的问题，提出了一种自适应SR方法用于图像融合和去噪，该方法根据训练样本的梯度特征对多个特征字典进行预训练，再根据图像梯度特征自适应选择合适的字典，可以有效地实现图像的融合和去噪。现有技术中还通过引入核局部回归权值进行特征聚类，设计了一种基于字典学习的多模态图像融合方法，该方法能有效地抑制噪声产生，且融合降噪性能良好。为降低直接用SR处理的噪声源图像去噪时可能会对图像的边缘信息造成的损伤，此外，还提出了一种基于稀疏低秩字典学习的医学图像融合方法。在该方法中，源图像被看作是粗尺度和细尺度分量的叠加，有效的解决了上述问题。然而，以上研究不能同时兼顾无噪声和有噪声的图像融合，是目前亟需解决的问题。
发明内容
本发明的目的在于提供一种红外和可见光图像融合方法及装置，旨在解决现有技术中的上述问题。
本发明提供一种红外和可见光图像融合方法，包括：
利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
通过重构三层预融合层获取融合图像。
本发明提供一种红外和可见光图像融合装置，包括：
第一分解模块，用于利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
第二分解模块，用于基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
预融合模块，用于使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
融合模块，用于通过重构三层预融合层获取融合图像。
采用本发明实施例，不仅能有效地处理含噪图像的融合问题，而且对于无噪图像也具有较好的融合性能。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的红外和可见光图像融合方法的流程图；
图2是本发明实施例的图像结构-纹理分解的示意图；
图3是本发明实施例的融合去噪方法结构图；
图4是本发明实施例的在第二和第四行输入图像中加入σ＝30的高斯白噪声的三尺度分解图像的示意图；
图5是本发明实施例的细节层融合过程的示意图；
图6是本发明实施例的五对源图像的示意图；
图7是本发明实施例的不同C值在细节层融合和去噪的结果(噪声水平20)的示意图；
图8是本发明实施例的无噪声红外可见光灰度图像融合结果的示意图；
图9是本发明实施例的无噪声红外可见光彩色图像融合结果的示意图；
图10是本发明实施例的含噪声红外可见光灰度图像融合结果的示意图；
图11是本发明实施例的含噪声红外可见光彩色图像融合结果的示意图；
图12是本发明实施例的红外和可见光图像融合装置的示意图。
具体实施方式
为提高噪声源图像的处理效果，本发明实施例提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合方法及装置。利用滚动引导滤波器将源图像进行基础层和细节层分解，根据图像特征自适应确定最大稀疏重构误差参数,从而同时实现对细节分量的融合和去噪；构造结构-纹理分解模型，将基础层再次分解，以充分利用基础分量中的细节和能量，并使用不同的融合规则对结构层和纹理层融合，最终通过重构细节、基础结构和基础纹理层来得到融合图像。实验结果表明，本发明实施例不仅能有效地处理含噪图像的融合问题，而且对于无噪图像也具有较好的融合性能。
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
方法实施例
根据本发明实施例，提供了一种红外和可见光图像融合方法，图1是本发明实施例的红外和可见光图像融合方法的流程图，如图1所示，根据本发明实施例的红外和可见光图像融合方法具体包括：
步骤101，利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
步骤102，基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
步骤103，使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
步骤104，通过重构三层预融合层获取融合图像。
在步骤101中，利用滚动引导滤波器将源图像进行基础层和细节层分解具体包括：
根据公式1和公式2对源图像进行基础和细节分解，通过求解
Figure BDA0003616754370000051
得到图像In的细节层
Figure BDA0003616754370000052
Figure BDA0003616754370000053
Figure BDA0003616754370000054
其中In是第n个源图像，n∈{1，2，...，N}，
Figure BDA0003616754370000055
表示In的基础层。
在步骤102中，基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层具体包括：
根据公式3和公式4，基于结构-纹理分解模型对
Figure BDA0003616754370000061
进行分解，得到基础结构层
Figure BDA0003616754370000062
和基础纹理层
Figure BDA0003616754370000063
Figure BDA0003616754370000064
Figure BDA0003616754370000065
其中，
Figure BDA0003616754370000066
和λ分别为标度参数和平滑参数。
在步骤103中，使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合具体包括：
基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合；
采用主成分分析方法对基础纹理层进行预融合。
其中，基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合具体包括：
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8×8大小的块，构建最终的训练集，采用KSVD算法得到字典D；
对每个源图像取8×8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法OMP生成细节层SR系数：
Figure BDA0003616754370000067
Figure BDA0003616754370000068
其中，
Figure BDA0003616754370000069
为源图像In的第k个小块，
Figure BDA00036167543700000610
为对应的稀疏向量。
Figure BDA00036167543700000611
为最大稀疏重构误差，σ为高斯标准差，C＞0是在σ＞0时控制
Figure BDA00036167543700000612
的参数；
采用“绝对值-最大”方案生成融合稀疏系数：
Figure BDA0003616754370000071
融合细节矢量
Figure BDA0003616754370000072
由下线性表示得到：
Figure BDA0003616754370000073
将每个
Figure BDA0003616754370000074
重塑为8×8的小块，然后根据初始位置进行排列，得到预融合的细节层；
其中，采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合具体包括：
构造VSM，设置IP代表图像I中的一个像素p的强度值，像素p的显著值V(p)被定义为
Figure BDA0003616754370000075
其中，N表示I中的像素总数，j代表像素强度，Mi代表强度等于j的像素数，L 表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
然后将V(p)归一化到[0，1]；
设V1和V2分别表示不同源图像的VSMs，
Figure BDA0003616754370000076
和
Figure BDA0003616754370000077
表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像Fb，s：
Figure BDA0003616754370000078
其中，权重Wb被定义为：
Figure BDA0003616754370000079
其中，采用主成分分析方法对基础纹理层进行预融合具体包括：
将可见光和红外图像的基础纹理图像
Figure BDA00036167543700000710
和
Figure BDA00036167543700000711
作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵C；
计算C的特征值λ1，λ2以及相对应的特征向量
Figure BDA0003616754370000081
和
Figure BDA0003616754370000082
从两个特征值中找出最大的特征值，即λmax＝max(λ1，λ2)，将相对应于λmax的特征向量作为最大特征向量φmax，计算出对应于φmax的主成分P1和P2，并将其值归一化：
Figure BDA0003616754370000083
Figure BDA0003616754370000084
将主成分P1和P2作为权重，融合为最终的基础纹理层的预融合图像Fb，t：
Figure BDA0003616754370000085
在步骤104中，通过重构三层预融合层获取融合图像具体包括：
根据公式15后去最终的融合图像F为：
F＝Fd+Fb，s+Fb，t 公式15。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
本发明实施例提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合方法，利用SR能够充分利用基于空间域的方法在融合性能和计算效率方面的优点，处理图像融合中的噪声问题，并构建了一种三尺度分解模型，通过滚动引导滤波将图像分解为基础分量和细节分量，再通过结构-纹理分解对基础层进行处理，有效提取基础分量中的详细纹理信息，以提高融合图像表达细节信息的能力。
下面首先对上述涉及到的关键理论进行详细说明。
1、滚动引导滤波(Rolling guidance filter，RGF)：
RGF它具有尺度感知和边缘保持的特性。因此，其不仅对噪声的去除能力较好，而且能够维持源图像的结构和边缘特性。RGF包括两个主要步骤：小结构去除和边缘恢复。
第一步是利用高斯滤波器去除小结构。从输入图像I中过滤的图像G可表示为：
G＝Gaussian(I，σs) (1)
其中Gaussian(I，σs)表示以标准差σs作为尺度参数的高斯滤波。该过滤器可以去除规模小于规模空间理论中的σs的结构。
第二步是使用引导滤波器进行迭代边缘恢复，因为它具有较高的计算效率和良好的边缘保持特性。该步骤是一个恢复的图像Jt迭代更新的过程，且初始图像J1是高斯平滑图像G。第t次迭代可以表示为
Figure BDA0003616754370000091
式中
Figure BDA0003616754370000092
为引导滤波，其中I，σs即Eq.(1)中的参数，Jt为引导图像，σr控制距离权值。在我们的方法中，我们设σr＝0.05。RGF是结合Eq.(1) 和Eq.(2)来完成的，可以简单表示为
u＝RGF(I，σs，σr，T) (3)
其中T为迭代次数，u为滤波输出。
2、结构-纹理分解
在结构-纹理分解中，图像I可以分解为I＝S+T，即看作是结构成分S和纹理成分T的叠加。在结构-纹理分解模型中，结构成分主要由一些非重复的边缘和平滑的能量区域组成，而纹理成分则是重复的振荡信息和噪声。为此，定义了结构纹理的局部特征，并提出了区间梯度算子。将离散信号I中的像素p的区间梯度滤波器(Interval Gradient Filter，IGF)定义为
Figure BDA0003616754370000093
其可以表示为
Figure BDA0003616754370000094
式中Ω是中心像素p附近的区域，
Figure BDA0003616754370000095
和
Figure BDA0003616754370000096
分别是左、右剪切一维高斯函数，其中
Figure BDA0003616754370000101
Figure BDA0003616754370000102
式中
Figure BDA0003616754370000103
为剪切指数加权函数，
Figure BDA0003616754370000104
为标度参数。
Figure BDA0003616754370000105
定义kr和kl是标准化系数，表示为
Figure BDA0003616754370000106
Figure BDA0003616754370000107
与传统的正向微分不同，区间梯度测量的是像素左右两边的加权平均差值。为了获得结构信息，结构区域中不应该存在纹理信息，结构区域的局部窗口Ω(p)只能包含增加或减少的信息，不能包含重复的纹理。
将输入信号I的梯度细化为如下的区间梯度
Figure BDA0003616754370000108
其中
Figure BDA0003616754370000109
为标度梯度，ωp为标度权值，表示为：
Figure BDA00036167543700001010
其中ε为小常数，通常设置为10-4。
为了消除信号中残留的振荡信号，得到输入信号的结构分量，在引导滤波的基础上，由回归梯度得到临时滤波结果
Figure BDA00036167543700001011
其中Np表示I中的像素数，I0为I中的最小值(最左)。通过求解式(13)可得到一维信号引导滤波的最优系数ap和bp。
Figure BDA0003616754370000111
Figure BDA0003616754370000112
其中ωn表示高斯权值，
Figure BDA0003616754370000113
为式(5)中定义的标度参数，λ表示平滑参数，系数ap和bp定义为：
Figure BDA0003616754370000114
Figure BDA0003616754370000115
得到系数ap和bp后，可通过
Figure BDA0003616754370000116
得到信号I的结构分量。
对于二维图像信号，利用一维信号在x和y方向上交替的区间梯度滤波，以迭代的方式收敛得到最终图像的结构层。由图2中图像放大的区域可以看出，几乎所有的振动和重复信息都被保留到了纹理层，而亮度和弱边缘信息则被保留到了结构层。
3、三尺度分解和稀疏表示模型：
为解决在去噪的同时有效保留细节的问题，构建一种新的图像融合模型，如图3所示。与传统的双尺度分解方案不同，为了更好地去噪和利用基础层的有用信息，首先利用RGF将源图像分解为基础和细节分量，此时大部分细节和外部噪声都能被有效地保留到细节层中，基础层则包含残差细节和能量；然后对基础层进行结构-纹理分解，最终源图像被分解为细节、基础结构和基础纹理三个分量。根据每一层的特点，采用三种已建立的融合规则生成各层的预融合。其中，对于细节层的融合，通过建立稀疏重构误差与噪声标准差之间的联系，有效实现融合去噪；对于基础结构层，采用基于视觉显著图(Visual saliencymap，VSM)的加权平均技术进行预融合；对于基础纹理层，采用主成分分析方法进行预融合。最后，通过重构三层预融合层得到融合结果。
分解模型：
为了有针对性地去除附着在图像细节层上的噪声，首先对源图像进行基础和细节分解：
Figure BDA0003616754370000121
其中In是第n个源像，n∈{1，2，...，N}，
Figure BDA0003616754370000122
表示In的基础层，通过求解
Figure BDA0003616754370000123
得到图像In的细节层
Figure BDA0003616754370000124
Figure BDA0003616754370000125
对于基础层融合通常采用绝对值-最大或平均的方法，但这些方法产生的融合结果可能会由于对比度降低和边缘退化而变差。但对图像进行多次分解仍不能将图像基础、细节信息很好地分离，且多次分解必然会增加重构过程的复杂性，导致结果不佳。为解决此问题，引入结构-纹理分解模型对
Figure BDA0003616754370000126
进行分解，得到其结构层
Figure BDA0003616754370000127
Figure BDA0003616754370000128
其中，
Figure BDA0003616754370000129
和λ分别为标度参数和平滑参数。
Figure BDA00036167543700001210
的纹理层可以通过以下方式生成：
Figure BDA00036167543700001211
经过上述操作，得到图像的细节层、基础结构层和基础纹理层。
图4中的每一组图像包含一个无噪声图像和相应的噪声图像，这两组图像验证了提出的三尺度分解方法的有效性，特别是对于有噪声的输入图像。由图4可知：
(1)通过RGF进行分解，大部分噪声和细节保留到细节层。同时，可以看到基础层仍然包含一定的细节信息。
(2)经过结构-纹理分解处理后，结构层几乎不包含局部振荡信息，局部区域通常只包含强度信息或少数明显的边缘结构。
(3)无噪声和噪声图像产生的结构和纹理层非常相似，即噪声信息几乎完全存在于细节层中。
融合规则：
根据三个部分的特点，本发明实时提供了三种不同的融合规则。
1、细节层融合：
基于SR的方法可以很好地实现细节层的融合去噪。包括两个步骤：字典学习和稀疏系数生成。在第一阶段，通过式(14)的滚动引导滤波器生成训练数据的细节层，从细节图像中收集8×8大小的块，构建最终的训练集，采用 KSVD算法可以得到过完备字典D。在第二阶段，对每个源图像取8×8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法 (Orthogonal Matching Pursuit，OMP)生成细节层SR系数：
Figure BDA0003616754370000141
式中
Figure BDA0003616754370000142
为源图像In的第k个小块，
Figure BDA0003616754370000143
为对应的稀疏向量。
Figure BDA0003616754370000144
为最大稀疏重构误差，定义为
Figure BDA0003616754370000145
其中σ为高斯标准差，C＞0是在σ＞0时控制
Figure BDA0003616754370000146
的参数。然后采用“绝对值- 最大”方案生成融合稀疏系数：
Figure BDA0003616754370000147
融合细节矢量
Figure BDA0003616754370000148
可由以下线性表示得到：
Figure BDA0003616754370000149
将每个
Figure BDA00036167543700001410
重塑为8×8的小块，然后根据初始位置进行排列，得到融合细节层，图4为细节层稀疏表示融合过程。
2、基础结构层融合：
由于基础结构层来自源图像的基础分量，因此该层包含的细节较少，如图 5第四列的图像所示。因此，采用基于(Visual saliency map)VSM的加权平均技术融合基础结构层Fb，s。
本发明实施例采用方法构造VSM，让IP代表图像I中的一个像素p的强度值。像素p的显著值V(p)被定义为
Figure BDA0003616754370000151
式中N表示I中的像素总数，j代表像素强度，Mj代表强度等于j的像素数，L 表示灰度级数(本发明实施例优选为256)。如果两个像素有相同的强度值，其显著值是相等的。然后将V(p)归一化到[0，1]。
设V1和V2分别表示不同源图像的VSMs，
Figure BDA0003616754370000152
和
Figure BDA0003616754370000153
表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层融合图像
Figure BDA0003616754370000154
式中权重Wb被定义为
Figure BDA0003616754370000155
3、基础纹理层融合
与基础结构层相比，基础纹理层包含了视觉上重要的信息或图像特征，如边缘、直线和轮廓等活动信息，能够反映出原始基础图像的主要细节。因此，采用主成分分析方法来有效检测这些特征。
将可见光和红外图像的基础纹理图像
Figure BDA0003616754370000156
和
Figure BDA0003616754370000157
作为矩阵γ的列向量。再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵C。
计算C的特征值λ1，λ2以及相对应的特征向量
Figure BDA0003616754370000158
和
Figure BDA0003616754370000159
从两个特征值中找出最大的特征值，即λmax＝max(λ1，λ2)。将相对应于λmax的特征向量作为最大特征向量φmax。计算出对应于φmax的主成分P1和P2，并将其值归一化：
Figure BDA00036167543700001510
Figure BDA00036167543700001511
这些主成分P1和P2作为权重，融合为最终的基础纹理图像Fb，t
Figure BDA0003616754370000161
得到这三个预融合分量后，最终的融合图像F为：
F＝Fd+Fb，s+Fb，t (31)
下面进行实验分析和结果的详细说明。
1、实验设置
实验中使用的五对源图像，图像源可从公共网站http：//imagefusion.org/获得。如图6所示。并且选择了五个近期的方法，包括ADF、FPDE、GTF、IFEVIP、 TIF，将其在同样的实验环境下进行对比验证，采用熵EN、边缘信息保留度 QAB/F、Chen-Blum提出的指标QCB、互信息MI、Wang等人提出的指标QW、Yang 等提出的指标QY6个指标对融合结果进行定量评价。
2、参数设置
此处主要对式(22)中的自由参数C进行分析。由于模型中的去噪过程仅针对细节分量，为直观分析不同C下的融合去噪性能，仅对细节融合结果进行分析，如图7所示。以图7中(a1，a2)、(b1，b2)两对图像为例，分别加入σ＝20的高斯噪声，生成不同C的融合图像。
对于(a1)和(a2)图像融合，可以看出：①当C＜0.0035，融合细节层的噪声图像相对明显[图7(a3-a7)]，特别是当C是远远低于0.0035，去噪效果有限；②当 C＝0.0035时，大部分噪声已经消除；③当C＞0.0035时，噪声很难发现，但此时，融合的细节层遇到了过平滑效应。因此，C＝0.0035是一个明显的分界值，从细节保护角度来看，C＝0.0035可达到该图像对融合的最佳视觉效果。因此，对于灰度图像的融合，C的最佳值为0.0035。
对于(b1)和(b2)图像融合，可以看出：①当C＜0.002时，融合细节层中很容易看到一些噪声[图7(b3-b4)]；②当C＝0.002时，噪声得到大大降低和抑制，同时细部保存较好[图7(b5)]；③当C＞0.002时，去噪性能较好，但图7(b6-b10) 中的细节或多或少被破坏，一些细微的边缘被平滑。随着C的增加，更多的细节被遗漏了[对比图7(b6-b10)]。因此，综合考虑融合和去噪的性能，对于彩色图像融合，C的最佳值为0.002。
此外，式(22)中的参数P设为0.001，式(19)区间梯度滤波参数设为
Figure BDA0003616754370000171
式(17)中RGF的参数T设为4，σs设置为3。
3、无噪声图像融合与评价
图8为三对无噪声红外与可见光灰度图像融合示例，图9为两对红外可见光彩色图像融合示例，其中图8(a1，b1，c1)和图9(a1，b1)为红外图像，图8(a2，b2，c2) 和图9(a2，b2)为可见光图像；图8(a3-a8，b3-b8，c3-c8)和图9(a3-a8，b3-b8)为不同方法得到的融合结果。
从图8可以看出，ADF、FPDE和GTF方法得到的融合图像与所提出的方法得到的结果图相比对比度更低；IFEVIP方法保持了良好的对比度，但视觉效果过于增强，导致图8(a6)误差明显；TIF方法存在内部特征模糊的现象。因此，在融合结果中，本发明实施例可以有效地分离出不同图像的分量信息，结合各自的融合规则可将源图像的有用信息传递到融合图像中，在对比度和细节保持方面获得了最佳的视觉性能。
图9展示了两组红外/可见光彩色图像融合，可以看出，ADF、FPDE、GTF 方法的亮度明显低于IFEVIP和TIF方法，但TIF方法存在噪声效应，IFEVIP 方法引入了伪影。FPDE和GTF方法虽然结构得到了较好的保存，但细节相对弱化和丢失。总体上看，图9(a8)和(b8)中的亮度、结构和细节与其他方法相比表现出了更好的性能，这意味着所提方法可以产生更优的视觉效果。除主观视觉分析外，对上述融合结果进行定量评价，结果如表1所示。根据表中数据可以看出，本发明实施例的客观评价显著高于其他方法，特别是对于指标EN、QCB和QY总是表现得更优。在所有的量化评估中，只有个别地方不是最佳的，但这并不影响本文方法的优势。
综上，对于无噪声图像融合，本文方法在主观和客观上都具有良好的表现。
表1无噪声图像融合结果定量指标
Figure BDA0003616754370000172
Figure BDA0003616754370000181
图10为一对含噪声红外与可见光灰度图像融合示例，图11为一对含噪声红外可见光彩色图像融合示例，其中(a1-a2,b1-b2,c1-c2)分别为加入10级、20 级和30级高斯噪声的扰动源图像，(a3-a8,b3-b8,c3-c8)为不同方法得到的融合结果。
从图10、图11含噪声图像融合结果可以看出：
①当高斯噪声水平为10时，ADF、FPDE和IFEVIP方法的去噪能力有限，其融合结果不能很好地保留有用信息；GTF和TIF方法能在一定程度上有效去噪，但不能保护源图像的亮度，这两种方法可以在噪声环境下进行融合，但会引入一些不相关的信息，从而导致不真实的视觉效果。与其他方法相比，本文方法在细节保持方面具有最好的融合能力，同时融合结果中噪声显著降低，具有良好的去噪性能。
②当噪声水平达到20时，ADF、FPDE、IFEVIP和TIF方法产生的融合结果的结构会受到严重的破坏，大量明显的误差信息会被引入融合结果中。GTF 方法在一定程度上抑制了噪声，但出现了对比度降低和过度平滑现象。相比之下，本文提出的方法不仅能将源图像的细节、亮度和结构保留到融合图像中，而且能有效地消除噪声，具有良好的去噪性能。
③当噪声等级为30时，ADF、FPDE、GTF、IFEVIP和TIF方法中的细节和小结构被破坏，并且均存在噪声。通过对比，本文方法不仅保留了对比度和结构，而且有效、适当地去噪，从而获得了更好的融合性能。
基于以上主观分析，本文方法可以有效地实现图像融合和去噪的同步进行，并且相比于一些最新的方法产生更好的视觉效果。
不同方法产生的噪声融合结果的客观评价如表2、3、4所示。与五种先进的图像融合方法相比，该方法能得到更好的定量评价，与无噪声图像融合客观评价结果基本一致，这验证了所提方法的有效性和优越性。
综上，对于含噪声图像融合，本文方法在主观和客观上都具有良好的表现。
表2 σ＝10时图像融合结果定量指标
Figure BDA0003616754370000191
表3 σ＝20时图像融合结果定量指标
Figure BDA0003616754370000192
表4 σ＝30时图像融合结果定量指标
Figure BDA0003616754370000201
综上所述，本发明实时提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合去噪方法，充分利用RGF滤波器和SR方法的优点。采用稀疏表示对细节层图像进行融合，自适应得到融合的细节层图像，通过结构-纹理分解有效利用基础分量中的潜在细节。该方法易于实现，可以兼顾无噪声图像融合和含噪声图像融合。需要说明的是，本发明实施例只讨论两个源图像的情况，在实际应用中可以将所提出的方法推广到两个以上源图像的融合问题中。
装置实施例
根据本发明实施例，提供了一种红外和可见光图像融合装置，图12是本发明实施例的红外和可见光图像融合装置的示意图，如图12所示，根据本发明实施例的红外和可见光图像融合装置具体包括：
第一分解模块120，用于利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
第二分解模块122，用于基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
预融合模块124，用于使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
融合模块126，用于通过重构三层预融合层获取融合图像。
所述第一分解模块120具体用于：
根据公式1和公式2对源图像进行基础和细节分解，通过求解
Figure BDA0003616754370000211
得到图像In的细节层
Figure BDA0003616754370000212
Figure BDA0003616754370000213
Figure BDA0003616754370000214
其中In是第n个源图像，n∈{1，2，...，N}，
Figure BDA0003616754370000215
表示In的基础层；
所述第二分解模块122具体用于：
根据公式3和公式4，基于结构-纹理分解模型对
Figure BDA0003616754370000216
进行分解，得到基础结构层
Figure BDA0003616754370000217
和基础纹理层
Figure BDA0003616754370000218
Figure BDA0003616754370000219
Figure BDA00036167543700002110
其中，
Figure BDA00036167543700002111
和λ分别为标度参数和平滑参数；
所述预融合模块124具体用于：
基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合；
采用主成分分析方法对基础纹理层进行预融合。
所述预融合模块124具体用于：
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8×8大小的块，构建最终的训练集，采用KSVD算法得到字典D；
对每个源图像取8×8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法OMP生成细节层SR系数：
Figure BDA00036167543700002112
Figure BDA00036167543700002113
其中，
Figure BDA00036167543700002114
为源图像In的第k个小块，
Figure BDA00036167543700002115
为对应的稀疏向量。
Figure BDA00036167543700002116
为最大稀疏重构误差，σ为高斯标准差，C＞0是在σ＞0时控制
Figure BDA00036167543700002117
的参数；
采用“绝对值-最大”方案生成融合稀疏系数：
Figure BDA0003616754370000221
融合细节矢量
Figure BDA0003616754370000222
由下线性表示得到：
Figure BDA0003616754370000223
将每个
Figure BDA0003616754370000224
重塑为8×8的小块，然后根据初始位置进行排列，得到预融合的细节层；
构造VSM，设置IP代表图像I中的一个像素p的强度值，像素p的显著值V(p) 被定义为
Figure BDA0003616754370000225
其中，N表示I中的像素总数，j代表像素强度，Mj代表强度等于j的像素数， L表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
然后将V(p)归一化到[0，1]；
设V1和V2分别表示不同源图像的VSMs，
Figure BDA0003616754370000226
和
Figure BDA0003616754370000227
表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像Fb，s：
Figure BDA0003616754370000228
其中，权重Wb被定义为：
Figure BDA0003616754370000229
将可见光和红外图像的基础纹理图像
Figure BDA00036167543700002210
和
Figure BDA00036167543700002211
作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵C；
计算C的特征值λ1，λ2以及相对应的特征向量
Figure BDA00036167543700002212
和
Figure BDA00036167543700002213
从两个特征值中找出最大的特征值，即λmax＝max(λ1，λ2)，将相对应于λmax的特征向量作为最大特征向量φmax，计算出对应于φmax的主成分P1和P2，并将其值归一化：
Figure BDA0003616754370000231
Figure BDA0003616754370000232
将主成分P1和P2作为权重，融合为最终的基础纹理层的预融合图像Fb，t：
Figure BDA0003616754370000233
融合模块具126体用于：
根据公式15后去最终的融合图像F为：
F＝Fd+Fb，s+Fb，t 公式15。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种红外和可见光图像融合方法，其特征在于，包括：
利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
通过重构三层预融合层获取融合图像。
2.根据权利要求1所述的方法，其特征在于，利用滚动引导滤波器将源图像进行基础层和细节层分解具体包括：
根据公式1和公式2对源图像进行基础和细节分解，通过求解
Figure FDA0003616754360000011
得到图像In的细节层
Figure FDA0003616754360000012
Figure FDA0003616754360000013
Figure FDA0003616754360000014
其中In是第n个源图像，n∈{1，2，...，N}，
Figure FDA0003616754360000015
表示In的基础层。
3.根据权利要求1所述的方法，其特征在于，基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层具体包括：
根据公式3和公式4，基于结构-纹理分解模型对
Figure FDA0003616754360000016
进行分解，得到基础结构层
Figure FDA0003616754360000017
和基础纹理层
Figure FDA0003616754360000018
Figure FDA0003616754360000019
Figure FDA00036167543600000110
其中，
Figure FDA00036167543600000111
和λ分别为标度参数和平滑参数。
4.根据权利要求1所述的方法，其特征在于，使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合具体包括：
基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合；
采用主成分分析方法对基础纹理层进行预融合。
5.根据权利要求4所述的方法，其特征在于，
基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合具体包括：
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8×8大小的块，构建最终的训练集，采用KSVD算法得到字典D；
对每个源图像取8×8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法OMP生成细节层SR系数：
Figure FDA0003616754360000021
Figure FDA0003616754360000022
其中，
Figure FDA0003616754360000023
为源图像In的第k个小块，
Figure FDA0003616754360000024
为对应的稀疏向量。
Figure FDA0003616754360000025
为最大稀疏重构误差，σ为高斯标准差，C＞0是在σ＞0时控制
Figure FDA0003616754360000026
的参数；
采用“绝对值-最大”方案生成融合稀疏系数：
Figure FDA0003616754360000027
融合细节矢量
Figure FDA0003616754360000028
由下线性表示得到：
Figure FDA0003616754360000029
将每个
Figure FDA00036167543600000210
重塑为8×8的小块，然后根据初始位置进行排列，得到预融合的细节层；
采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合具体包括：
构造VSM，设置IP代表图像I中的一个像素p的强度值，像素p的显著值V(p)被定义为
Figure FDA0003616754360000031
其中，N表示I中的像素总数，j代表像素强度，Mj代表强度等于j的像素数，L表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
然后将V(p)归一化到[0,1]；
设V1和V2分别表示不同源图像的VSMs，
Figure FDA0003616754360000032
和
Figure FDA0003616754360000033
表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像Fb，s：
Figure FDA0003616754360000034
其中，权重Wb被定义为：
Figure FDA0003616754360000035
采用主成分分析方法对基础纹理层进行预融合具体包括：
将可见光和红外图像的基础纹理图像
Figure FDA0003616754360000036
和
Figure FDA0003616754360000037
作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵C；
计算C的特征值λ1，λ2以及相对应的特征向量
Figure FDA0003616754360000038
和
Figure FDA0003616754360000039
从两个特征值中找出最大的特征值，即λmax＝max(λ1，λ2)，将相对应于λmax的特征向量作为最大特征向量φmax，计算出对应于φmax的主成分P1和P2，并将其值归一化：
Figure FDA00036167543600000310
Figure FDA00036167543600000311
将主成分P1和P2作为权重，融合为最终的基础纹理层的预融合图像Fb，t：
Figure FDA00036167543600000312
6.根据权利要求5所述的方法，其特征在于，通过重构三层预融合层获取融合图像具体包括：
根据公式15后去最终的融合图像F为：
F＝Fd+Fb，s+Fb，t 公式15。
7.一种红外和可见光图像融合装置，其特征在于，包括：
第一分解模块，用于利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
第二分解模块，用于基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
预融合模块，用于使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
融合模块，用于通过重构三层预融合层获取融合图像。
8.根据权利要求7所述的装置，其特征在于，
所述第一分解模块具体用于：
根据公式1和公式2对源图像进行基础和细节分解，通过求解
Figure FDA0003616754360000041
得到图像In的细节层
Figure FDA0003616754360000042
Figure FDA0003616754360000043
Figure FDA0003616754360000044
其中In是第n个源图像，n∈{1，2，...，N}，
Figure FDA0003616754360000045
表示In的基础层；
所述第二分解模块具体用于：
根据公式3和公式4，基于结构-纹理分解模型对
Figure FDA0003616754360000046
进行分解，得到基础结构层
Figure FDA0003616754360000047
和基础纹理层
Figure FDA0003616754360000048
Figure FDA0003616754360000049
Figure FDA00036167543600000410
其中，
Figure FDA00036167543600000411
和λ分别为标度参数和平滑参数；
所述预融合模块具体用于：
基于SR方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
采用基于视觉显著图VSM的加权平均技术对基础结构层进行预融合；
采用主成分分析方法对基础纹理层进行预融合。
9.根据权利要求8所述的装置，其特征在于，所述所述预融合模块具体用于：
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8×8大小的块，构建最终的训练集，采用KSVD算法得到字典D；
对每个源图像取8×8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法OMP生成细节层SR系数：
Figure FDA0003616754360000051
Figure FDA0003616754360000052
其中，
Figure FDA0003616754360000053
为源图像In的第k个小块，
Figure FDA0003616754360000054
为对应的稀疏向量。
Figure FDA0003616754360000055
为最大稀疏重构误差，σ为高斯标准差，C＞0是在σ＞0时控制
Figure FDA0003616754360000056
的参数；
采用“绝对值-最大”方案生成融合稀疏系数：
Figure FDA0003616754360000057
融合细节矢量
Figure FDA0003616754360000058
由下线性表示得到：
Figure FDA0003616754360000059
将每个
Figure FDA00036167543600000510
重塑为8×8的小块，然后根据初始位置进行排列，得到预融合的细节层；
构造VSM，设置IP代表图像I中的一个像素p的强度值，像素p的显著值V(p)被定义为
Figure FDA00036167543600000511
其中，N表示I中的像素总数，j代表像素强度，Mj代表强度等于j的像素数，L表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
然后将V(p)归一化到[0,1]；
设V1和V2分别表示不同源图像的VSMs，
Figure FDA0003616754360000061
和
Figure FDA0003616754360000062
表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像Fb，s：
Figure FDA0003616754360000063
其中，权重Wb被定义为：
Figure FDA0003616754360000064
将可见光和红外图像的基础纹理图像
Figure FDA0003616754360000065
和
Figure FDA0003616754360000066
作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵C；
计算C的特征值λ1，λ2以及相对应的特征向量
Figure FDA0003616754360000067
和
Figure FDA0003616754360000068
从两个特征值中找出最大的特征值，即λmax＝max(λ1，λ2)，将相对应于λmax的特征向量作为最大特征向量φmax，计算出对应于φmax的主成分P1和P2，并将其值归一化：
Figure FDA0003616754360000069
Figure FDA00036167543600000610
将主成分P1和P2作为权重，融合为最终的基础纹理层的预融合图像Fb，t：
Figure FDA00036167543600000611
10.根据权利要求9所述的装置，其特征在于，所述融合模块具体用于：
根据公式15后去最终的融合图像F为：
F＝Fd+Fb，s+Fb，t 公式15。
CN202210454565.1A 2022-04-26 2022-04-26 红外和可见光图像融合方法及装置 Pending CN114862710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454565.1A CN114862710A (zh) 2022-04-26 2022-04-26 红外和可见光图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454565.1A CN114862710A (zh) 2022-04-26 2022-04-26 红外和可见光图像融合方法及装置

Publications (1)

Publication Number Publication Date
CN114862710A true CN114862710A (zh) 2022-08-05

Family

ID=82633242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454565.1A Pending CN114862710A (zh) 2022-04-26 2022-04-26 红外和可见光图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN114862710A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082968A (zh) * 2022-08-23 2022-09-20 天津瑞津智能科技有限公司 基于红外光和可见光融合的行为识别方法及终端设备
CN116503454A (zh) * 2023-06-27 2023-07-28 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082968A (zh) * 2022-08-23 2022-09-20 天津瑞津智能科技有限公司 基于红外光和可见光融合的行为识别方法及终端设备
CN116503454A (zh) * 2023-06-27 2023-07-28 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质
CN116503454B (zh) * 2023-06-27 2023-10-20 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
Zhang et al. Fast depth image denoising and enhancement using a deep convolutional network
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
Varghese et al. Video denoising based on a spatiotemporal Gaussian scale mixture model
Rajkumar et al. A comparative analysis on image quality assessment for real time satellite images
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN114862710A (zh) 红外和可见光图像融合方法及装置
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN108932699B (zh) 基于变换域的三维匹配调和滤波图像去噪方法
CN111340716A (zh) 一种改进双重判别对抗网络模型的图像去模糊方法
Student Study of image fusion-techniques method and applications
Dou et al. Asymmetric CycleGan for unpaired NIR-to-RGB face image translation
Rai et al. Robust face hallucination algorithm using motion blur embedded nearest proximate patch representation
He et al. Structure-preserving texture smoothing via scale-aware bilateral total variation
Verma et al. FCNN: fusion-based underwater image enhancement using multilayer convolution neural network
TRIVEDI et al. MOSAICFUSION: Merging modalities with Partial differential equation and Discrete cosine transformation
Trivedi et al. Hybrid Model for Infrared and Visible Image Fusion
Wang et al. Rapid nighttime haze removal with color-gray layer decomposition
Shuang et al. Algorithms for improving the quality of underwater optical images: A comprehensive review
Tun et al. Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising
Kugu Satellite image denoising using Bilateral Filter with SPEA2 optimized parameters
Weligampola et al. A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination