CN112950518A - 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 - Google Patents
基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 Download PDFInfo
- Publication number
- CN112950518A CN112950518A CN202110294273.1A CN202110294273A CN112950518A CN 112950518 A CN112950518 A CN 112950518A CN 202110294273 A CN202110294273 A CN 202110294273A CN 112950518 A CN112950518 A CN 112950518A
- Authority
- CN
- China
- Prior art keywords
- image
- rank
- low
- sublayer
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 61
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 40
- 238000005096 rolling process Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- ZKLPARSLTMPFCP-UHFFFAOYSA-N Cetirizine Chemical group C1CN(CCOCC(=O)O)CCN1C(C=1C=CC(Cl)=CC=1)C1=CC=CC=C1 ZKLPARSLTMPFCP-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到对应的低秩子层和显著性子层；再分别对两个低秩子层进行多尺度分解，提取细节层，加权合并后得到增强图层；利用基于改进的视觉显著映射的加权引导图像滤波算法对两个低秩子层进行融合，得到低秩子层融合图像；利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层进行融合，得到显著性子层融合图像；增强图层、低秩子层融合图像和显著性子层融合图像相加重构后得到最终的融合图像。本发明能够保留源图像丰富的细节信息，同时还提高了融合图像的清晰度、对比度，融合性能良好。
Description
技术领域
本发明涉及图像融合技术领域，特别是涉及一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法及系统。
背景技术
由于单一图像传感器无法获得更加全面丰富的场景信息，存在一定的局限性，因此，人们倾向于利用多个传感器捕获图像进行图像融合，即通过一定算法提取和整合来自同一场景、同一时刻多幅图像的有效信息进行多方位融合，以获取良好的视觉效果和丰富的细节信息。因此，图像融合在军事、计算机视觉、遥感探测、医学成像等领域皆掀起研究热潮，具有非常广泛、重要的应用价值。其中，红外与可见光图像融合是图像融合领域研究的基础，因此红外图像与可见光图像融合成为研究的重点与热点。
红外成像与可见光成像的机理不同，两种图像具有不同的特性。可见光图像的空间分辨率较高、背景信息丰富，它们适合于人类的视觉感知。但易受光照差、烟雾，恶劣天气条件影响。红外图像依据探测器不同，能够感知不同波段的热辐射，具有较强的夜视、透雾能力，但分辨率低。于是，人们利用其互补信息弥补各自成像的不足进行图像融合，使得融合图像信息更丰富、可理解性更好。
目前，图像融合算法大体包括以下几大类：基于空间域的融合、基于多尺度变换(MST)的融合、基于边缘保持滤波器的融合、基于稀疏表示的融合、基于神经网络的融合。其中，最早出现的是加权平均、主成分分析等基于空间域的融合方法。研究最广泛的是基于多尺度变换域的融合算法，典型的方法包括离散小波变换(DWT)、双树复小波变换(DT-CWT)、曲线变换(CVT)、非下采样轮廓波变换(NSCT)等。除此之外，基于边缘保持滤波器、稀疏表示和神经网络的方法及其他方法也逐渐被引入图像融合领域。
Jiayi Ma等人提出了一种基于梯度转移和总变差最小化的红外与可见光图像融合(“Infrared and visible image fusion via gradient transfer and totalvariation minimization”,Information Fusion,2016,31:100-109.)，称为梯度转移融合(GTF)。该图像融合方法将融合问题表示为l1-TV最小化问题，其中数据保真项保持红外图像的主要强度分布，正则化项保持可见光图像的梯度变化，使得融合后的图像看上去像是具有较高分辨率的红外图像，目标清晰可见，但却丢失一部分源图像的细节纹理信息，同时存在伪影。
Y.Liu等人提出了一种基于卷积稀疏表示的图像融合(“Image fusion withconvolutional sparse representation”,IEEE Signal Process.Lett.,vol.23,no.12,pp.1882–1886,Dec.2016.)。该图像融合方法利用两尺度图像分解得到了基础层和细节层，采用最大值策略和平均策略对不同图像类型的基础层进行融合，利用细节层的卷积稀疏表示对加权融合结果进行编码，该方法改善了传统稀疏表示融合方法中保留重要细节的能力，但边缘区域存在几个伪影。
H.Li等人提出一种基于字典学习和低秩表示的多聚焦图像融合(“Multi-focusimage fusion using dictionary learning and low-rank representation,”inProc.Int.Conf.Image Graph.Cham,Switzerland:Springer,2017,pp.675–686.)，使用低秩表示进行特征提取，但在局部结构保存能力上具有一定局限性，在此基础上进行了一些性能和结构的改进，提出了一种新的基于潜在低秩表示(LatLRR)的图像融合方法，采用加权平均策略对低秩部分进行融合，通过求和策略对显著性部分进行简单的融合，但正因为简单的加权融合策略，使得源图像信息未被充分利用，融合图像的视觉效果还有待提升。
已有的一些文献提出了一定的融合方法(如前文所述)，但这些传统融合方法的融合图像仍存在对比度较低，清晰度不够，细节纹理丰富性不足等问题，从而导致视觉效果不佳。因此，提供一种具有良好融合性能的红外图像与可见光图像融合方法是极其重要的。
发明内容
为解决现有的红外图像与可见光图像融合方法的融合图像的视觉效果一般，仍存在对比度较低，清晰度不够，细节纹理丰富性不足等问题，本发明提供一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法。
为实现上述目的，本发明采取如下的技术方案：
一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，包括以下步骤：
步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到所述红外图像的低秩子层IR_lrr和显著性子层IR_sal以及所述可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal；
步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像；
将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像ID_IR，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像ID_VIS，再将图像ID_IR和图像ID_VIS输入到CNN网络中，得到相应的权重映射；
根据所述权重映射对图像ID_IR和图像ID_VIS进行加权合并，得到增强图层Df；
步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像Bf；
步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像Sf；
步骤5：将增强图层Df、低秩子层融合图像Bf和显著性子层融合图像Sf进行相加重构，得到最终的融合图像F＝Bf+Df+Sf。
本发明涉及一种通过潜在低秩表示嵌套滚动引导图像滤波增强来实现红外图像和可见光图像融合的方法，该方法以潜在低秩表示作为图像分解工具，以具有边缘感知的多尺度滚动引导图像滤波作为图像增强手段，对低秩图像进行多尺度感知分解，提取细节层信息，获得增强图层，解决图像融合过程中对比度损失、融合图像清晰度较低的问题，并且以基于改进的视觉显著映射的加权引导图像滤波算法和基于金字塔分解的区域能量特征自适应加权算法作为子层融合规则，使得最终融合图像不仅保留了源图像丰富的细节信息，还提高了融合图像的清晰度、对比度，在信息的丰富性上、对比度、清晰度上做出了贡献，在视觉效果和客观观评价方面均优于其他融合方法，展现了良好的融合性能，为获得更清晰的场景信息和更好的目标特征提供了强有力保障。
附图说明
图1为本发明实施例提出的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法的流程图；
图2为基于滚动引导图像滤波的多尺度分解的过程示意图；
图3为滚动引导图像滤波的过程示意图；
图4为仿真实验中待融合的三组红外与可见光图像对；
图5为针对第(1)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图；
图6为针对第(2)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图；
图7为针对第(3)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
本发明所提出的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法的整体流程图如图1所示，主要包括图像分解、增强图层获取、低秩子层融合、显著性子层融合和最终图像融合步骤。
步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到红外图像的低秩子层IR_lrr和显著性子层IR_sal以及可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal。
在本步骤中，首先选取一对待融合的红外和可见光图像对，利用潜在低秩表示将图像对进行分解，分解公式如下：
s.t.,X＝XZ+LX+E (1)
其中，X是源图像数据矩阵，Z、L分别是低秩系数矩阵和显著系数矩阵，E是稀疏噪声部分，λ为常数，本实施例中λ可以取0.6。
利用增广拉格朗日乘子法求解满足分解公式(1)的最小优化问题，求解后得到低秩部分(XZ)、显著性部分(LZ)和稀疏噪声部分(E)。抛弃稀疏噪声部分，获得红外图像分解后的低秩子层IR_lrr、显著性子层IR_sal及可见光图像分解后的低秩子层VIS_lrr、显著性子层VIS_sal。
步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，提取更多细节层，得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的多个细节层图像；然后将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像ID_IR，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像ID_VIS，再将图像ID_IR和图像ID_VIS输入到CNN网络中，得到相应的权重映射；根据权重映射对图像ID_IR和图像ID_VIS进行加权合并，得到增强图层Df。
在本步骤中，基于滚动引导图像滤波的多尺度分解的过程为：
ID j＝IB j-1-IB j＝IB j-1-RGIF(IB j-1,σs j,σr,T)，j＝1,2...,N (2)
其中，ID j为多尺度分解后的第j层的细节层图像，RGIF(·)表示滚动引导图像滤波的迭代引导滤波算子，T代表迭代次数，σr滤波窗口半径，
为第j层的正则化参数，N为多尺度分解的层数。IB为经RGIF分解后的基础层图像，IB j为多尺度分解第j层的基础层图像，特别说明，IB 0为未经分解的首次输入图像，即为IB1 0＝VIS_lrr,IB20＝IR_lrr。可选地，本实施例中迭代次数T＝4，多尺度分解的层数N＝4，滤波窗口半径σr＝0.02，正则化参数σs第一次取3，多尺度分解过程时，依次变成原来的2倍，即
低秩子层IR_lrr和低秩子层VIS_lrr通过4次多尺度分解，分别得到4个细节层图像，分别记为ID1 1,ID1 2,ID1 3,ID1 4，ID2 1,ID2 2,ID2 3,ID2 4，多尺度分解提取4个细节层图像的过程如图2所示，需要指出的是，图2仅示出了对低秩子层VIS_lrr进行4次多尺度分解得到4个细节层图像ID1 1,ID1 2,ID1 3,ID1 4的过程。
将获得的ID1 1,ID1 2,ID1 3,ID1 4、ID2 1,ID2 2,ID2 3,ID2 4分别进行相加处理，即
随后将图像ID_IR和图像ID_VIS输入到CNN网络中得到相对应的权重映射D(i,j)(参见：Y.Liu,X.Chen,J.Cheng,H.Peng,andZ.Wang,“Multi-focusimagefusionwithadeepconvolutionalneuralnetwork,”
InformationFusion,vol.36,pp.191–207,2017.)，根据权重映射D(i,j)对图像ID_IR和图像ID_VIS进行加权合并，即可得到增强图层Df：
Df＝D(i,j)ID_IR(i,j)+(1-D(i,j))ID_VIS(i,j) (3)
参见图3，滚动引导图像滤波的迭代引导滤波算子RGIF(·)的计算过程如下：
步骤21：RGIF过程的第一步是利用高斯滤波器对当前的输入图像I进行小结构平滑，并且高斯滤波器的输出图像G作为下一步的引导图像，具体公式如下：
其中，
为归一化因子，m为n周围的像素，Sn是n像素点周围的像素集合，Im表示输入图像中的m像素点的灰度值，σs为标准差。经高斯滤波输出后的图像将作为下一步的引导图像。
步骤22：RGIF过程的第二步是采用引导图像滤波(GuidedImageFiltering,GIF)进行边缘恢复，引导图像滤波的关键是引导图像G与滤波输出图像之间的局部线性关系，具体公式如下：
qi＝akGi+bk，i∈ωk (5)
其中ak，bk是线性系数常数，ωk是以引导图像G中的像素k为中心、半径为σr的滤波窗口。为了确定线性系数，使输出图像q与步骤21的输入图像I之间的差异最小化，保证引导图像G与引导图像滤波后的输出图像q之间的局部线性关系，利用成本函数确定线性系数的最优解，即最小化成本函数E(ak,bk)：
其中，σs是惩罚较大ak的正则化参数。通过求解可得：
其中，μk和δk 2是引导图像G在局部窗口的平均值和方差，|ω|是局部滤波窗口ωk的像素数，
是输入图像在局部滤波窗口中的平均值。于是，我们可以得到经引导图像滤波后的输出图像q。
步骤23：将步骤22中得到的经引导图像滤波后的输出图像q作为下一步引导图像滤波的引导图像，输入图像依旧为I，经反复迭代T次后，可得到滚动引导图像滤波RGIF的输出图像为：
IB＝RGIF(I,σs,σr,T) (9)
其中，IB为经滚动引导图像滤波后的基础层图像。
本发明中增强图层Df的获取方法不局限于利用滚动引导图像滤波，还可以利用其他保边滤波器(例如加权引导滤波、加权最小二乘法滤波器等)实现增强图层的获取。
步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像Bf。
步骤3具体包括如下步骤：
步骤31：首先，利用公式(10)确定低秩子层IR_lrr和低秩子层VIS_lrr中每个像素的显著性值，从而得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的视觉显著性映射图。若图像I中p像素的强度值为Ip，则p像素的显著性值V(p)为：
其中，W为图像I的总像素数。
步骤32：将步骤31得到的两幅显著性映射图进行逐像素的显著性值大小比较，并且显著性值较大的像素的初始权重映射值设置为1，即若Vir(i,j)＞Vvis(i,j)，则初始权重映射Pir(i,j)＝1，Pvis(i,j)＝0，反之，若Vir(i,j)＜Vvis(i,j)，则初始权重映射Pir(i,j)＝0，Pvis(i,j)＝1。完成两幅显著性映射图中全部像素的比较之后，便得到两幅显著性映射图各自对应的初始权重映射图。
步骤33：分别以低秩子层IR_lrr和低秩子层VIS_lrr作为引导图像，以其对应的初始权重映射图作为输入图像，利用引导图像滤波算法分别对初始权重映射图进行优化，得到对应的最终权重图wir和wvis，具体公式如下：
参数ε、r分别为正则化参数和局部窗口半径，在本实施例中，参数ε、r分别赋值为45和0.1，GIFr,ε(·)为步骤22中的引导图像滤波。
步骤34：利用逐像素加权融合策略对步骤33得到的最终权重图wir和wvis进行融合，融合后得到低秩子层融合图像Bf，其公式如下：
Bf＝wirIR_lrr(i,j)+wvisVIS_lrr(i,j) (12)
步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像Sf。
步骤4具体包括如下步骤：
步骤41：分别对显著性子层IR_sal和显著性子层VIS_sal进行拉普拉斯金字塔分解，得到对应的分解层LA l和分解层LB l，具体公式如下：
LA l＝laplacian(IR_Sal)
LB l＝laplacian(VIS_Sal) (13)
其中，LA l和LB l分别表示显著性子层IR_sal、显著性子层VIS_sal部分的拉普拉斯金字塔分解，l表示分解层次。在本实施例中，l赋值为8。
步骤42：针对每个分解层LA l和LB l，计算以某一像素(m,n)为中心的局部能量特征，得到对应的局部能量特征EA l和局部能量特征EB l，计算公式如下：
其中，w是区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量，在本实施例中，区域窗口w的是大小为3×3，且
步骤43：通过定义一个类似于两个局部窗口的协方差，来表征局部能量特征EA l和局部能量特征EB l之间的能量相似度MAB l(m,n)，即：
比较能量相似度MAB l(m,n)和阈值th之间的大小，及各分解层的局部能量特征EA l、EB l之间的大小，以根据比较结果确定融合系数。融合系数的确定规则如下所示：
其中，w1、w2分别为局部能量特征EA l、局部能量特征EB l对应的融合系数。在本实施例中，阈值th赋值为0.6。
步骤44：根据步骤43确定的融合系数，利用公式(17)所示的加权公式对分解层LA l和分解层LB l进行加权融合，得到每层的分解层融合图像LF l(m,n)，最后通过拉普拉斯逆变换重建显著性子层融合图像Sf。
LF l(m,n)＝w1LA l(m,n)+w2LB l(m,n) (17)
步骤5：将步骤2获得的增强图层Df、步骤3获得的低秩子层融合图像Bf、步骤4获得的显著性子层融合图像Sf进行相加重构，得到最终的融合图像F＝Bf+Df+Sf。
本实施例提供一种通过潜在低秩表示嵌套滚动引导图像滤波增强来实现红外图像和可见光图像融合的方法，该方法以潜在低秩表示作为图像分解工具，以具有边缘感知的多尺度滚动引导图像滤波作为图像增强手段，对低秩图像进行多尺度感知分解，提取细节层信息，获得增强图层，解决图像融合过程中对比度损失、融合图像清晰度较低的问题，并且以基于改进的视觉显著映射的加权引导图像滤波算法和基于金字塔分解的区域能量特征自适应加权算法作为子层融合规则，使得最终融合图像不仅保留了源图像丰富的细节信息，还提高了融合图像的清晰度、对比度，在信息的丰富性上、对比度、清晰度上做出了贡献，在视觉效果和客观观评价方面均优于其他融合方法，展现了良好的融合性能，为获得更清晰的场景信息和更好的目标特征提供了强有力保障。
为进一步证明本发明所提出的图像融合方法的有效性，本发明进行了相关仿真实验。本发明实验仿真平台是在Intel Core i7-10510U CPU，8GB运行内存，64位Windows10系统上实现的；编程环境为MATLAB2014b。
为了测试本发明的有效性，我们在公开可用的TNO数据集中对3组红外与可见光图像对进行了实验，3组红外与可见光图像对如图4所示。选取了经典流行的五种融合方法进行比较，从主观和客观评价方法分别进行分析。这些方法包括：a)交叉双边滤波器融合方法(CBF)(参见：B.K.ShreyamshaKumar,“Image fusion based on pixel signifificanceusing cross bilateral fifilter,”Signal,Image Video Process.,vol.9,no.5,pp.1193–1204,Jul.2015.)；b)基于卷积稀疏表示(ConvSR)的方法(参见：Y.Liu,X.Chen,R.K.Ward,and Z.Jane Wang,“Image fusion with convolutional sparserepresentation,”IEEE Signal Process.Lett.,vol.23,no.12,pp.1882–1886,Dec.2016.)；c)基于多分辨率奇异值分解(MSVD)的方法(参见：NaiduV P S.Image FusionTechnique using Multi-resolution SingularValue Decomposition[J].DefenceScience Journal,2011,61(5):479-484.)；d)基于梯度转移融合方法(GTF)(参见：JiayiMa,Chen Chen,Chang Li,Jun Huang.Infrared and visible image fusion viagradient transfer and total variation minimization[J].Information Fusion,2016,31:100-109.)；e)基于双数复小波(DTCWT)的方法(参见：Lewis J J,Robert J.O’Callaghan,Nikolov S G,et al.Pixel-and region-based image fusion with complexwavelets[J].Information Fusion,2007,8(2):119-130)。
从主观方面来看，针对第(1)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图5所示，其中图5(a)为CBF方法的融合图像，图5(b)为ConvSR方法的融合图像，图5(c)为MSVD方法的融合图像，图5(d)为GTF方法的融合图像，图5(e)为DTCWT方法的融合图像，图5(f)为本发明方法的融合图像。从图5中可以看出，图5(a)方法产生较多伪影，影响图像的视觉效果；图5(d)方法融合后的图像中，布条背景过于黯淡，物体边缘信息较为模糊，融合图像整体感觉不符合人类视觉感受。从图像中的垃圾桶、窗户等细节可以看出，图5(b)、图5(c)、图5(e)、图5(f)方法都有效保留了细节信息，但图5(b)、图5(c)、图5(e)方法融合的图像对比度有待提升。通过对比分析可知，本发明的图像融合方法有效保留了细节信息，对比度信息，融合图像较为清晰，具有良好的视觉效果。
针对第(2)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图6所示，其中图6(a)为CBF方法的融合图像，图6(b)为ConvSR方法的融合图像，图6(c)为MSVD方法的融合图像，图6(d)为GTF方法的融合图像，图6(e)为DTCWT方法的融合图像，图6(f)为本发明方法的融合图像。从图6中可以清晰地看出，图6(a)方法产生严重的伪影，对视觉效果产生严重影响；图6(b)、图6(e)方法融合的树冠产生了少量的伪影，可以清晰的看出树冠的轮廓边缘有些许的白影；图6(d)方法融合的目标图像比较明显，但是图像过于模糊，导致图像轮廓边界不清，纹理细节信息保留较差，同时融合图像天空背景过于偏黑，一定程度上影响获取信息的错误；图6(c)方法在树冠、人及玻璃门的轮廓边缘处产生了小光晕；此外，图6(b)、图6(c)、图6(e)方法的融合图像对比度信息明显低于本发明融合方法，视觉效果不佳。再次通过比对各方法中灌木丛及玻璃门融合效果，可明显的看出本发明融合图像的灌木丛更为清晰，玻璃门处光线分明，具有良好可视性。
针对第(3)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图7所示，其中图7(a)为CBF方法的融合图像，图7(b)为ConvSR方法的融合图像，图7(c)为MSVD方法的融合图像，图7(d)为GTF方法的融合图像，图7(e)为DTCWT方法的融合图像，图7(f)为本发明方法的融合图像。从图7的行军图中，针对行军图的士兵及小车的融合情况看，图7(c)方法不同程度的丢失轮胎纹理细节；同样的，士兵在轮廓边缘处存在模糊的现象；除此之外，我们比对山坡上树林的融合效果，图7(a)方法融合的树林偏上的部分几乎与图像背景融为一体，很难确定树林的边缘图；
图7(b)方法的树林边缘也存在边界不清情况；图7(c)、7(d)方法融合的树林虽然与图像背景存在界限，但是树林间的纹理边缘较模糊，信息不够丰富，观感上不佳；图7(e)方法存在些许伪影可见；本发明融合方法的树林具有较为清晰的纹路，可清晰看见树林之间的觥筹交错，图像整体具有较好的对比度。
从客观评价方法来看，选取5种不同类型的评价指标定量评估算法的优劣性，分别是互信息(MI)；多尺度结构相似度(MS-SSIM)；标准差(SD)；基于相似性度量的边缘(Qabf)及视觉保真度VIF。MI反映了融合图像包含源图像的信息量程度；MS-SSIM衡量融合图像和源图像之间的整体结构相似度；SD反映了图像的对比度或者清晰度；Qabf是测量了从源图像到融合图像的边缘信息多少；VIF度量描绘的时融合图像的信息保真度，与人类视觉系统一致。以上各个指标，其值越大，代表融合效果越好。图4所示三组红外与可见光图像对在不同方法下的客观评价值如表1、表2、表3所示。
从表1、表2、表3总结可知，针对三组图像对，本发明的融合方法在MI、MS_SSIM、SD、VIF指标上均高于其他融合方法，因此，融合图像包含更多源图像的信息量，图像对比度明显，看起来更加清晰，更符合人类视觉感受。而在Qabf指标中，本发明的融合方法与其他融合方法相比处于中上等水平，说明融合图像的边缘信息保存良好。
表1
表2
表3
综上所述，本发明的红外和可见光图像融合方法可以更好的保留细节信息，在图像整体的清晰度及对比度上具有明显的优势，比其他方法的融合效果更好，更有利于增强图像的可理解性。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，包括以下步骤：
步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到所述红外图像的低秩子层IR_lrr和显著性子层IR_sal以及所述可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal；
步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像；
将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像ID_IR，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像ID_VIS，再将图像ID_IR和图像ID_VIS输入到CNN网络中，得到相应的权重映射；
根据所述权重映射对图像ID_IR和图像ID_VIS进行加权合并，得到增强图层Df；
步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像Bf；
步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像Sf；
步骤5：将增强图层Df、低秩子层融合图像Bf和显著性子层融合图像Sf进行相加重构，得到最终的融合图像F＝Bf+Df+Sf。
2.根据权利要求1所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像的过程包括以下步骤：
按照如下的基于滚动引导图像滤波的多尺度分解公式分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解：
ID j＝IB j-1-IB j＝IB j-1-RGIF(IB j-1,σs j,σr,T)，j＝1,2...,N (2)
其中，ID j为多尺度分解后的第j层的细节层图像，IB j为多尺度分解第j层的基础层图像，IB 0为未经分解的首次输入图像，RGIF(·)表示滚动引导图像滤波的迭代引导滤波算子，
为第j层的正则化参数，σr为滤波窗口半径，T为迭代次数，N为多尺度分解的层数；
滚动引导图像滤波的迭代引导滤波算子RGIF(·)的计算过程如下：
利用高斯滤波器对当前的输入图像I进行小结构平滑，并且高斯滤波器的输出图像G作为下一步的引导图像；
为保证引导图像G与引导图像滤波后的输出图像之间的局部线性关系，求解输入图像I与引导图像滤波后的输出图像q之间的成本函数的最优解，确定最优线性系数，并根据所述最优线性系数得到引导图像滤波后的输出图像q，该图像将作为下一步引导图像滤波的引导图像，此时，输入图像仍然为I，反复迭代T次后得到经过滚动引导图像滤波的基础层图像IB＝RGIF(I,σs,σr,T)。
3.根据权利要求2所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，
迭代次数T＝4，多尺度分解的层数N＝4，滤波窗口半径σr＝0.02，正则化参数
4.根据权利要求1或2所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，步骤3包括以下步骤：
步骤31：确定低秩子层IR_lrr和低秩子层VIS_lrr中每个像素的显著性值，得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的视觉显著性映射图；
步骤32：将步骤31得到的两幅视觉显著性映射图进行逐像素的显著性值大小比较，显著性值较大的像素的初始权重映射值设置为1，反之设置为0，完成全部像素的比较之后得到对应的初始权重映射图；
步骤33：分别以低秩子层IR_lrr和低秩子层VIS_lrr作为引导图像，以其对应的初始权重映射图作为输入图像，利用引导图像滤波算法分别对初始权重映射图进行优化，得到对应的最终权重图；
步骤34：利用逐像素加权融合策略对步骤33得到的最终权重图进行融合，融合后得到低秩子层融合图像Bf。
5.根据权利要求1或2所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，步骤4包括以下步骤：
步骤41：分别对显著性子层IR_sal和显著性子层VIS_sal进行拉普拉斯金字塔分解，得到对应的分解层LA l和分解层LB l；
步骤42：分别计算分解层LA l和分解层LB l中以某一像素(m,n)为中心的局部能量特征，得到对应的局部能量特征EA l和局部能量特征EB l；
步骤43：计算局部能量特征EA l和局部能量特征EB l之间的能量相似度MAB l(m,n)，并将能量相似度MAB l(m,n)与阈值th进行比较以及对局部能量特征EA l和局部能量特征EB l进行比较，根据比较结果确定融合系数；
步骤44：根据步骤43确定的融合系数对分解层LA l和分解层LB l进行加权融合，得到分解层融合图像LF l(m,n)，最后通过拉普拉斯逆变换重建显著性子层融合图像Sf。
6.根据权利要求5所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，局部能量特征EA l和局部能量特征EB l的计算公式如下：
其中，w为区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量。
7.根据权利要求5所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，能量相似度MAB l(m,n)的计算公式如下：
其中，w为区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量。
8.根据权利要求6或7所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，
区域窗口w的是大小为3×3，且
9.根据权利要求5或6所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，按照如下规则确定融合系数：
其中，w1、w2分别为局部能量特征EA l、局部能量特征EB l对应的融合系数。
10.根据权利要求9所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，
阈值th的值为0.6。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294273.1A CN112950518B (zh) | 2021-03-19 | 2021-03-19 | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294273.1A CN112950518B (zh) | 2021-03-19 | 2021-03-19 | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950518A true CN112950518A (zh) | 2021-06-11 |
| CN112950518B CN112950518B (zh) | 2022-10-04 |
Family
ID=76226627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110294273.1A Active CN112950518B (zh) | 2021-03-19 | 2021-03-19 | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950518B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269704A (zh) * | 2021-06-29 | 2021-08-17 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN113706432A (zh) * | 2021-09-23 | 2021-11-26 | 北京化工大学 | 保留输入图像纹理细节的多源图像融合方法和系统 |
| CN113763368A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件多类型损伤检测特征分析方法 |
| CN113793318A (zh) * | 2021-09-13 | 2021-12-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多区域复杂损伤缺陷特征综合分析方法 |
| CN114092369A (zh) * | 2021-11-19 | 2022-02-25 | 中国直升机设计研究所 | 基于视觉显著映射与最小二乘优化的图像融合方法 |
| CN114255302A (zh) * | 2022-03-01 | 2022-03-29 | 北京瞭望神州科技有限公司 | 一种智慧国土数据处理一体机 |
| CN114708178A (zh) * | 2022-03-30 | 2022-07-05 | 北京理工大学 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
| CN110148104A (zh) * | 2019-05-14 | 2019-08-20 | 西安电子科技大学 | 基于显著性分析与低秩表示的红外与可见光图像融合方法 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
| CN111462025A (zh) * | 2020-02-26 | 2020-07-28 | 宁波大学 | 基于多尺度低秩矩阵分解的红外与可见光图像融合方法 |
-
2021
- 2021-03-19 CN CN202110294273.1A patent/CN112950518B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
| CN110148104A (zh) * | 2019-05-14 | 2019-08-20 | 西安电子科技大学 | 基于显著性分析与低秩表示的红外与可见光图像融合方法 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
| CN111462025A (zh) * | 2020-02-26 | 2020-07-28 | 宁波大学 | 基于多尺度低秩矩阵分解的红外与可见光图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| CE GAO等: "Improving the Performance of Infrared and Visible Image Fusion Based on Latent Low-Rank Representation Nested With Rolling Guided Image Filtering", 《IEEE ACCESS》 * |
| ZHENGYUAN XU等: "LatLRR-FCNs: Latent Low-Rank Representation With Fully Convolutional Networks for Medical Image Fusion", 《FRONTIERS IN NEUROSCIENCE》 * |
| 李春艳等: "EMF深度学习可见光/红外图像融合算法", 《理论与方法》 * |
| 江泽涛等: "基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法", 《光子学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269704A (zh) * | 2021-06-29 | 2021-08-17 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN113269704B (zh) * | 2021-06-29 | 2022-07-29 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN113763368A (zh) * | 2021-09-13 | 2021-12-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件多类型损伤检测特征分析方法 |
| CN113793318A (zh) * | 2021-09-13 | 2021-12-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多区域复杂损伤缺陷特征综合分析方法 |
| CN113793318B (zh) * | 2021-09-13 | 2023-04-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多区域复杂损伤缺陷特征综合分析方法 |
| CN113763368B (zh) * | 2021-09-13 | 2023-06-23 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸试件多类型损伤检测特征分析方法 |
| CN113706432A (zh) * | 2021-09-23 | 2021-11-26 | 北京化工大学 | 保留输入图像纹理细节的多源图像融合方法和系统 |
| CN113706432B (zh) * | 2021-09-23 | 2024-04-30 | 北京化工大学 | 保留输入图像纹理细节的多源图像融合方法和系统 |
| CN114092369A (zh) * | 2021-11-19 | 2022-02-25 | 中国直升机设计研究所 | 基于视觉显著映射与最小二乘优化的图像融合方法 |
| CN114255302A (zh) * | 2022-03-01 | 2022-03-29 | 北京瞭望神州科技有限公司 | 一种智慧国土数据处理一体机 |
| CN114255302B (zh) * | 2022-03-01 | 2022-05-13 | 北京瞭望神州科技有限公司 | 一种智慧国土数据处理一体机 |
| CN114708178A (zh) * | 2022-03-30 | 2022-07-05 | 北京理工大学 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950518B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950518B (zh) | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 | |
| Wang et al. | Adaptive image enhancement method for correcting low-illumination images | |
| Li et al. | Infrared and visible image fusion using dual discriminators generative adversarial networks with Wasserstein distance | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| Gao et al. | Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering | |
| CN111179208B (zh) | 基于显著图与卷积神经网络的红外-可见光图像融合方法 | |
| CN106327459A (zh) | 基于udct和pcnn的可见光与红外图像融合算法 | |
| CN112215787B (zh) | 基于显著度分析及自适应滤波器的红外和可见光图像融合方法 | |
| Song et al. | Triple-discriminator generative adversarial network for infrared and visible image fusion | |
| Kang et al. | Fog model-based hyperspectral image defogging | |
| CN113298147B (zh) | 基于区域能量和直觉模糊集的图像融合方法及装置 | |
| CN111507913B (zh) | 一种基于纹理特征的图像融合算法 | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| CN113837974A (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| Chen et al. | Infrared and visible image fusion based on relative total variation decomposition | |
| Tang et al. | MdedFusion: A multi-level detail enhancement decomposition method for infrared and visible image fusion | |
| Duan et al. | Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features | |
| Zhao et al. | Infrared and visible image fusion method based on rolling guidance filter and NSST | |
| Zhang et al. | Infrared and visible image fusion with hybrid image filtering | |
| Lu et al. | A novel infrared and visible image fusion method based on multi-level saliency integration | |
| Li et al. | Infrared and visible image fusion based on domain transform filtering and sparse representation | |
| Liu et al. | Multi-scale saliency measure and orthogonal space for visible and infrared image fusion | |
| Liu et al. | TSE_Fuse: Two stage enhancement method using attention mechanism and feature-linking model for infrared and visible image fusion | |
| Zhang et al. | Infrared and visible image fusion with entropy-based adaptive fusion module and mask-guided convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |