CN115115556A - 一种基于域变换滤波器与稀疏表示的图像融合方法及系统 - Google Patents

一种基于域变换滤波器与稀疏表示的图像融合方法及系统 Download PDF

Info

Publication number
CN115115556A
CN115115556A CN202210679965.2A CN202210679965A CN115115556A CN 115115556 A CN115115556 A CN 115115556A CN 202210679965 A CN202210679965 A CN 202210679965A CN 115115556 A CN115115556 A CN 115115556A
Authority
CN
China
Prior art keywords
image
low
frequency sub
coefficient
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210679965.2A
Other languages
English (en)
Inventor
李小松
黎熹来
谭海曙
王茗祎
伍雁雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202210679965.2A priority Critical patent/CN115115556A/zh
Publication of CN115115556A publication Critical patent/CN115115556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于域变换滤波器与稀疏表示的图像融合方法及系统，该方法包括：获取对应的可见光图像和红外图像；基于低通滤波器分别对可见光图像和红外图像进行分解；基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；将融合高频子带系数和融合低频子带系数叠加，得到融合图像。该系统包括：获取模块、分解模块、第一融合模块、第二融合模块和系数叠加模块。通过使用本发明，能够在不引入错误信息的前提下，有效地保留了源图像中的聚焦信息。本发明作为可广泛应用于图像融合领域。

Description

一种基于域变换滤波器与稀疏表示的图像融合方法及系统
技术领域
本发明涉及图像融合领域，尤其涉及一种基于域变换滤波器与稀疏表示的图像融合方法及系统。
背景技术
由于成像机制的不同，图像传感器所获得的单个图像包含的信息往往不能充分反映场景特征。为了对场景做全面解释，一种可行的思路是将不同场景图像进行综合，在此需求下产生了多源图像融合技术。而红外与可见光图像融合是该技术的重要分支。红外成像传感器可以捕捉物体发出的热辐射，使热物体在黑暗或不利天气条件能被感知。但红外图像通常缺乏足够的场景背景信息，可见光图像包含较多场景的细节和纹理信息。红外与可见光图像的融合可以将红外热源和可见光细节信息进行综合，对场景做更全面解释。近年来，红外与可见光图像融合在军事侦察、资源探测、安防监控、自动目标识别等领域备受重视。
空间域方法对图像融合来说是一项有效的方法。它直接充分利用像素的信息，通过寻找图像斑块或像素的权值来解决融合问题，能够根据一定的参与率计算规则直接确定源图像的像素权重。并且近年来空间域图像增强技术—边缘保持滤波算法在图像处理中也变得越来越普遍。但一般的滤波器对图像的边缘检测效率低下，还会丢失源图像中的某些细节。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于域变换滤波器与稀疏表示的图像融合方法及系统，能够在不引入错误信息的前提下，有效地保留了源图像中的聚焦信息。
本发明所采用的第一技术方案是：一种基于域变换滤波器与稀疏表示的图像融合方法，包括以下步骤：
根据源图像获取对应的可见光图像和红外图像；
基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
进一步，所述基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数这一步骤，其具体包括：
对可见光图像高频子带系数和红外图像高频子带系数进行滑窗取块处理，得到对应的图像块集；
将图像块集中的图像块拉成列向量，得到稀疏系数向量；
基于OMP算法对稀疏系数向量进行优化求解并融合，得到融合的稀疏向量；
结合融合的稀疏向量和预设的过完备字典，得到融合的列向量；
将融合的列向量重构并插入对应的原始位置，得到融合高频子带系数。
进一步，所述将融合的列向量重构并插入对应的原始位置，得到融合高频子带系数这一步骤，公式表示如下：
Figure RE-GDA0003818423810000021
上式中，
Figure RE-GDA0003818423810000022
表示融合高频子带系数，Fk表示重构后的第k个图像补丁，K表示补丁数量。
进一步，还包括对预设的过完备字典进行预训练，具体步骤包括：
选取图像作为训练样本；
基于多尺度细节增强技术对训练样本进行预处理，得到预处理后样本；
基于滑动窗口技术对预处理后样本进行处理，收集图像补丁并构建训练集；
基于K-SVD算法，根据训练集训练过完备字典，得到预设的过完备字典。
进一步，所述基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数这一步骤，其具体包括：
将可见光图像低频子带系数和红外图像低频子带系数进行归一化，得到归一化后图像；
利用滚动引导滤波器对归一化后图像进行处理，得到滤波结果；
对滤波结果进行迭代更新，得到迭代结果；
检测迭代结果的结构并生成初始决策图；
引入均值滤波器对初始决策图进行判断，并根据判断结果返回数值，得到显著结构图像；
基于迭代的域变换滤波器对显著结构图像进行滤波处理，得到对应的域变换滤波输出；
根据域变换滤波输出将可见光图像低频子带系数和红外图像低频子带系数进行融合，得到融合低频子带系数。
进一步，所述利用滚动引导滤波器对归一化后图像进行处理，得到滤波结果这一步骤，公式表示如下：
Figure RE-GDA0003818423810000031
上式中，GA(m)表示可见光低频子带系数
Figure RE-GDA0003818423810000032
在中心像素m处的高斯滤波，
Figure RE-GDA0003818423810000033
Figure RE-GDA0003818423810000034
表示归一化，S表示m处相邻像素的集合，n表示领域像素，结构尺度参数
Figure RE-GDA0003818423810000035
定义为高斯核的最小标准差。
进一步，所述根据域变换滤波输出将可见光图像低频子带系数和红外图像低频子带系数进行融合，得到融合低频子带系数这一步骤，公式表示如下：
Figure RE-GDA0003818423810000036
上式中，
Figure RE-GDA0003818423810000037
表示融合低频子带系数，LT表示迭代T次后的域变换滤波输出，
Figure RE-GDA0003818423810000038
表示可见光低频子带系数，
Figure RE-GDA0003818423810000039
表示红外光低频子带系数。
本发明所采用的第二技术方案是：一种基于域变换滤波器与稀疏表示的图像融合系统，包括：
获取模块，用于根据源图像获取对应的可见光图像和红外图像；
分解模块，基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
第一融合模块，基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
第二融合模块，基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
系数叠加模块，用于将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
本发明方法及系统的有益效果是：本发明利用低通滤波器对图像进行分解，用稀疏表示的方法融合高频图像，然后使用改进的域变换滤波器将小尺度的细节从源图像传输到融合的输出中，本发明缩小了基于稀疏域和基于空间域方法之间的差距，在不引入错误信息的前提下，有效地保留了多聚焦源图像中的聚焦信息。
附图说明
图1是本发明一种基于域变换滤波器与稀疏表示的图像融合方法的步骤流程图；
图2是本发明方法的数据流向示意图；
图3是本发明一种基于域变换滤波器与稀疏表示的图像融合系统的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，本发明提供了一种基于域变换滤波器与稀疏表示的图像融合方法，该方法包括以下步骤：
S1、根据源图像获取对应的可见光图像和红外图像；
S2、基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
还包括对预设的过完备字典进行预训练：
首先随机选取出8张图片作为训练字典的样本，利用多尺度细节增强技术对样本进行预处理，首先求解由以下离散梯度算子组成的低通滤波器优化函数得到图像的低频信息与高频信息层：
Figure RE-GDA0003818423810000041
其中hc代表第c个源图像，hb是hc的低频分量，gp＝[-1,1]和gq＝[-1,1]T分别为垂直方向和水平方法的梯度算子，*表示卷积操作。β为控制低通滤波器的正则化参数。
然后利用该低通滤波器对图像进行多重分解，提取不同层次的高频信息，最后将它们合并到源图像中。
Figure RE-GDA0003818423810000042
Figure RE-GDA0003818423810000043
Figure RE-GDA0003818423810000044
是经多尺度细节增强后的图像，
Figure RE-GDA0003818423810000045
代表图像hc的第l层的高频信息。
之后我们选取多尺度细节增强处理后的图片作为训练数据,利用滑动窗口技术，在图像中收集大小为8×8的补丁，构建最终的训练集，利用K-SVD算法得到过完备字典D。
S3、基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
S3.1、对可见光图像高频子带系数和红外图像高频子带系数进行滑窗取块处理，得到对应的图像块集；
S3.2、将图像块集中的图像块拉成列向量，得到稀疏系数向量；
S3.3、基于OMP算法对稀疏系数向量进行优化求解并融合，得到融合的稀疏向量；
S3.4、结合融合的稀疏向量和预设的过完备字典，得到融合的列向量；
S3.5、将融合的列向量重构并插入对应的原始位置，得到融合高频子带系数。
具体地，对于稀疏表示阶段，我们可以大致分为三个步骤：滑窗取块及块向量化，稀疏编码和稀疏向量融合：
在第一个阶段，我们先对每一个源图像进行取块处理，从上到下，从左到右取8个8×8 的补丁。然后对每一个补丁进行归一化处理，最后将每个图像块拉成对应的列向量
Figure RE-GDA0003818423810000051
Figure RE-GDA0003818423810000052
k和n分别代表图像块和源图像的数量。
Figure RE-GDA0003818423810000053
代表图像Id,l的第k层图像块的列向量。
在稀疏编码阶段，我们采用OMP算法对高频图像的稀疏系数向量
Figure RE-GDA0003818423810000054
进行优化求解。
Figure RE-GDA0003818423810000055
其中
Figure RE-GDA0003818423810000056
y是稀疏系数向量
Figure RE-GDA0003818423810000057
在稀疏向量融合阶段，我们首先利用“绝对值最大”融合规则得到融合的稀疏向量
Figure RE-GDA0003818423810000058
Figure RE-GDA0003818423810000059
通过结合D和
Figure RE-GDA00038184238100000510
可以得到融合图像的第k层图像块的列向量
Figure RE-GDA00038184238100000511
Figure RE-GDA00038184238100000512
将所有列向量
Figure RE-GDA00038184238100000513
重构成图像补丁Fk，然后将每个Fk插入其相应的原始位置，最终得到融合的高频图像
Figure RE-GDA00038184238100000514
Figure RE-GDA00038184238100000515
S4、基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
S4.1、将可见光图像低频子带系数和红外图像低频子带系数进行归一化，得到归一化后图像；
S4.2、利用滚动引导滤波器对归一化后图像进行处理，得到滤波结果；
S4.3、对滤波结果进行迭代更新，得到迭代结果；
S4.4、检测迭代结果的结构并生成初始决策图；
S4.5、引入均值滤波器对初始决策图进行判断，并根据判断结果返回数值，得到显著结构图像；
S4.6、基于迭代的域变换滤波器对显著结构图像进行滤波处理，得到对应的域变换滤波输出；
S4.7、根据域变换滤波输出将可见光图像低频子带系数和红外图像低频子带系数进行融合，得到融合低频子带系数。
具体地，根据可见光域红外图像的低频子带系数的特征，我们设计了一种基于域变换滤波的低频融合规则，使融合的低频图像有效且快速地保留了源图像中主要结构，实现如下：
对于可见光与红外光的低频图像
Figure RE-GDA0003818423810000061
和
Figure RE-GDA0003818423810000062
首先将它们的强度归一化为[0,1]的范围。假设每个强度在[0,255]范围内的低频图像Ib有8位，则Ib归一化为：
Figure RE-GDA0003818423810000063
S是[0,1]范围内归一化图像，需要注意的是，本实施例提及到的低频图像和高频图像与低频子带系数和高频自带系数并无区别。
之后我们利用滚动引导滤波器对可见光与红外光的低频图像
Figure RE-GDA0003818423810000064
和
Figure RE-GDA0003818423810000065
处理，图像
Figure RE-GDA0003818423810000066
和
Figure RE-GDA0003818423810000067
在中心像素m处的高斯滤波可以表示为：
Figure RE-GDA0003818423810000068
Figure RE-GDA0003818423810000069
其中
Figure RE-GDA00038184238100000610
为归一化，S是m处相邻像素的集合，n表示领域像素，结构尺度参数
Figure RE-GDA00038184238100000611
可以定义为高斯核的最小标准差，GA和GB分别是图像
Figure RE-GDA00038184238100000612
和
Figure RE-GDA00038184238100000613
的输出结果。
之后我们对图像G进行迭代地更新，
Figure RE-GDA00038184238100000614
和
Figure RE-GDA00038184238100000615
最初分别设为GA和GB，这是高斯滤波的输出。将KN+1表示为第N次迭代的结果，迭代处理可以定义如下：
Figure RE-GDA00038184238100000616
Figure RE-GDA0003818423810000071
Figure RE-GDA0003818423810000072
用于归一化，S是m的相邻像素的集合，
Figure RE-GDA0003818423810000073
和
Figure RE-GDA0003818423810000074
分别控制域权重和范围权重，m和n分别代表中心像素和领域像素。之后我们利用绝对值近似梯度幅值的方法来检测迭代结果K的结构
Figure RE-GDA0003818423810000075
其中x和y是空间域坐标，它们的数字差异是：
Figure RE-GDA0003818423810000076
通过比较KA和KB的大小，我们可以得到一个决策图：
D＝WA-WB
其中WA和WB分别为图像KA和KB的大小。
然后引入了均值滤波器处理图像D：
Figure RE-GDA0003818423810000077
显著性结构LA是一个二进制矩阵:
Figure RE-GDA0003818423810000078
其中，如果
Figure RE-GDA0003818423810000079
对应元素为正值，则函数步骤(·)为LA的一个元素返回1，否则它返回0。最后利用迭代的域变换滤波器，对显著结构图像LA进行滤波处理：
Figure RE-GDA00038184238100000710
其中t代表迭代次数。域变换滤波器迭代T次之后输出用LT来表示。最后通过以下式子得到融合的低频成分：
Figure RE-GDA00038184238100000711
Figure RE-GDA00038184238100000712
代表低频融合成分，
Figure RE-GDA00038184238100000713
和
Figure RE-GDA00038184238100000714
分别代表可见光图像与红外图像的低频成分。
S5、将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
进一步作为本方法优选实施例，步骤S3中的稀疏表示的模型定义如下：
对于一个信号y＝(y1,y2,…yn),y∈Re，SR理论的基本假设是，y可以近似表示为在冗余字典D∈Re×f(e<f)中一组基本信号
Figure RE-GDA00038184238100000715
的线性组合，信号y可以表示为：
Figure RE-GDA00038184238100000716
其中α＝(α1,α2,…αN)是未知的稀疏系数向量，di是D的一个原子。由于字典是冗余的，所以向量α不是唯一的，因此提出了SR模型作为一种确定非零向量最少的解向量α的方法。该方法用数学公式表达如下：
Figure RE-GDA0003818423810000081
其中||·||0表示计算非零项数的范数，ε>0是一个容错量。上述公式用贪心近似方法OMP 来求解。
进一步作为本方法优选实施例，步骤S4中右边：
定一个输入图像I和制导图像T，对于像素p的双边滤波器的输出为：
Figure RE-GDA0003818423810000082
其中Ωp为以像素p为中心的滑动窗口，
Figure RE-GDA0003818423810000083
为空间缩放参数，
Figure RE-GDA0003818423810000084
为范围缩放参数，Up为归一化项：
Figure RE-GDA0003818423810000085
距离度量可以由
Figure RE-GDA0003818423810000086
中的幂项来定义：
Figure RE-GDA0003818423810000087
然后转换和重写为：
Figure RE-GDA0003818423810000088
变换信号δp的导数定义为：
Figure RE-GDA0003818423810000089
其中δ'p表示δp的导数，T'p是Tp的导数。然后在变换域中定义一个距离δpq：
Figure RE-GDA0003818423810000091
因为该域变换滤波器具有两个输入图像Ip和Tp，并且含有两个参数σs和σr，最终生成单个输出Lp，一般可以定义为：
Lp＝DTF(lp,Tp,σs,σr)
如图3所示，一种基于域变换滤波器与稀疏表示的图像融合系统，包括：
获取模块，用于根据源图像获取对应的可见光图像和红外图像；
分解模块，基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
第一融合模块，基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
第二融合模块，基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
系数叠加模块，用于将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种基于域变换滤波器与稀疏表示的图像融合装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于域变换滤波器与稀疏表示的图像融合方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种基于域变换滤波器与稀疏表示的图像融合方法。
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，包括以下步骤：
根据源图像获取对应的可见光图像和红外图像；
基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
2.根据权利要求1所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，所述基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数这一步骤，其具体包括：
对可见光图像高频子带系数和红外图像高频子带系数进行滑窗取块处理，得到对应的图像块集；
将图像块集中的图像块拉成列向量，得到稀疏系数向量；
基于OMP算法对稀疏系数向量进行优化求解并融合，得到融合的稀疏向量；
结合融合的稀疏向量和预设的过完备字典，得到融合的列向量；
将融合的列向量重构并插入对应的原始位置，得到融合高频子带系数。
3.根据权利要求2所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，所述将融合的列向量重构并插入对应的原始位置，得到融合高频子带系数这一步骤，公式表示如下：
Figure FDA0003695937010000011
上式中，
Figure FDA0003695937010000012
表示融合高频子带系数，Fk表示重构后的第k个图像补丁，K表示补丁数量。
4.根据权利要求2所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，还包括对预设的过完备字典进行预训练，具体步骤包括：
选取图像作为训练样本；
基于多尺度细节增强技术对训练样本进行预处理，得到预处理后样本；
基于滑动窗口技术对预处理后样本进行处理，收集图像补丁并构建训练集；
基于K-SVD算法，根据训练集训练过完备字典，得到预设的过完备字典。
5.根据权利要求1所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，所述基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数这一步骤，其具体包括：
将可见光图像低频子带系数和红外图像低频子带系数进行归一化，得到归一化后图像；
利用滚动引导滤波器对归一化后图像进行处理，得到滤波结果；
对滤波结果进行迭代更新，得到迭代结果；
检测迭代结果的结构并生成初始决策图；
引入均值滤波器对初始决策图进行判断，并根据判断结果返回数值，得到显著结构图像；
基于迭代的域变换滤波器对显著结构图像进行滤波处理，得到对应的域变换滤波输出；
根据域变换滤波输出将可见光图像低频子带系数和红外图像低频子带系数进行融合，得到融合低频子带系数。
6.根据权利要求5所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，所述利用滚动引导滤波器对归一化后图像进行处理，得到滤波结果这一步骤，公式表示如下：
Figure FDA0003695937010000021
上式中，GA(m)表示可见光低频子带系数
Figure FDA0003695937010000022
在中心像素m处的高斯滤波，
Figure FDA0003695937010000023
表示归一化，S表示m处相邻像素的集合，n表示领域像素，结构尺度参数
Figure FDA0003695937010000024
定义为高斯核的最小标准差。
7.根据权利要求5所述一种基于域变换滤波器与稀疏表示的图像融合方法，其特征在于，所述根据域变换滤波输出将可见光图像低频子带系数和红外图像低频子带系数进行融合，得到融合低频子带系数这一步骤，公式表示如下：
Figure FDA0003695937010000025
上式中，
Figure FDA0003695937010000026
表示融合低频子带系数，LT表示迭代T次后的域变换滤波输出，
Figure FDA0003695937010000027
表示可见光低频子带系数，
Figure FDA0003695937010000028
表示红外光低频子带系数。
8.一种基于域变换滤波器与稀疏表示的图像融合系统，其特征在于，包括：
获取模块，用于根据源图像获取对应的可见光图像和红外图像；
分解模块，基于低通滤波器分别对可见光图像和红外图像进行分解，得到可见光图像高频子带系数、可见光图像低频子带系数、红外图像高频子带系数和红外图像低频子带系数；
第一融合模块，基于稀疏表示策略，根据可见光图像高频子带系数和红外图像高频子带系数计算融合高频子带系数；
第二融合模块，基于域变换滤波的低频融合规则，根据可见光图像低频子带系数和红外图像低频子带系数计算融合低频子带系数；
系数叠加模块，用于将融合高频子带系数和融合低频子带系数叠加，得到融合图像。
CN202210679965.2A 2022-06-15 2022-06-15 一种基于域变换滤波器与稀疏表示的图像融合方法及系统 Pending CN115115556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210679965.2A CN115115556A (zh) 2022-06-15 2022-06-15 一种基于域变换滤波器与稀疏表示的图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210679965.2A CN115115556A (zh) 2022-06-15 2022-06-15 一种基于域变换滤波器与稀疏表示的图像融合方法及系统

Publications (1)

Publication Number Publication Date
CN115115556A true CN115115556A (zh) 2022-09-27

Family

ID=83329079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210679965.2A Pending CN115115556A (zh) 2022-06-15 2022-06-15 一种基于域变换滤波器与稀疏表示的图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN115115556A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503454A (zh) * 2023-06-27 2023-07-28 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统
CN117218048A (zh) * 2023-11-07 2023-12-12 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503454A (zh) * 2023-06-27 2023-07-28 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质
CN116503454B (zh) * 2023-06-27 2023-10-20 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统
CN117011196B (zh) * 2023-08-10 2024-04-19 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统
CN117218048A (zh) * 2023-11-07 2023-12-12 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法
CN117218048B (zh) * 2023-11-07 2024-03-08 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法

Similar Documents

Publication Publication Date Title
CN115115556A (zh) 一种基于域变换滤波器与稀疏表示的图像融合方法及系统
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
Ma et al. Multi-scale decomposition based fusion of infrared and visible image via total variation and saliency analysis
Zi et al. Thin cloud removal for multispectral remote sensing images using convolutional neural networks combined with an imaging model
Gao et al. Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering
Raza et al. IR-MSDNet: Infrared and visible image fusion based on infrared features and multiscale dense network
CN113808036B (zh) 基于Retinex模型的低照度图像增强与去噪方法
CN113658057A (zh) 一种Swin Transformer微光图像增强方法
Naganuma et al. A general destriping framework for remote sensing images using flatness constraint
Liu et al. Multigraph-based low-rank tensor approximation for hyperspectral image restoration
Han et al. Edge-preserving filtering-based dehazing for remote sensing images
CN111738937A (zh) 一种基于张量分解的总变分遥感图像去条带方法
Yu et al. Two-stage image decomposition and color regulator for low-light image enhancement
Zhu et al. Infrared and visible image fusion based on convolutional sparse representation and guided filtering
Smadi et al. Smart pansharpening approach using kernel‐based image filtering
Yang et al. LatLRR-CNN: An infrared and visible image fusion method combining latent low-rank representation and CNN
Zhang et al. Infrared polarization image fusion via multi-scale sparse representation and pulse coupled neural network
Wang et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT
CN117058019A (zh) 一种基于金字塔增强网络的低光照下目标检测方法
Singh et al. Frn: fusion and recalibration network for low-light image enhancement
Fu et al. Deep Decomposition Network for Image Processing: A Case Study for Visible and Infrared Image Fusion
Wu et al. Algorithm Development of Cloud Removal from Solar Images Based on Pix2Pix Network.
Sabre et al. Wavelet Decomposition and Alpha Stable Fusion
Chen et al. Infrared and visible image fusion based on rolling guided filter and ResNet101

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination