CN111915546A

CN111915546A - 红外和可见光图像融合方法、系统、计算机设备及应用

Info

Publication number: CN111915546A
Application number: CN202010793875.7A
Authority: CN
Inventors: 郝帅
Original assignee: Xian University of Science and Technology
Current assignee: Xian University of Science and Technology
Priority date: 2020-08-04
Filing date: 2020-08-04
Publication date: 2020-11-10

Abstract

本发明属于图像融合技术领域，公开了一种红外和可见光图像融合方法、系统、计算机设备及应用，对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；将融合后的细节层和基础层通过线性重构得到最终的融合图像。通过大量实验表明，相比于4种融合算法，本发明所提出的算法无论从主观判断，还是从客观评价指标都具有更好的融合效果，为了使融合图像具有较高的清晰度的同时，具有更加丰富的细节信息和轮廓纹理。

Description

红外和可见光图像融合方法、系统、计算机设备及应用

技术领域

本发明属于图像融合技术领域，尤其涉及一种红外和可见光图像融合方法、系统、计算机设备及应用。

背景技术

图像融合技术一直是计算机视觉领域中的研究热点。图像融合主要是将同一场景中多幅图像的互补信息按照一定的融合策略生成单幅图像，从而增强图像中目标细节表达的能力，便于后续图像处理。目前，图像融合技术已经在测绘遥感[1]、人脸识别[2]、医学成像[3]、军事侦察[4]、输电线路故障检测[5]等领域得到了广泛的应用。红外图像和可见光图像是图像融合中研究最为广泛的两类图像[6]。红外图像可以根据目标和背景热辐射差异来区分目标和背景，受光照以及天气条件影响较小[7]。然而，红外图像相比于可见光图像，对场景的细节表达能力往往不足。可见光图像具有较强的细节分辨能力，但受光照变化影响严重。目前常用的图像融合方法多数将可见光图像的信息进行最大程度的保留，而当光照严重影响可见光图像的成像质量时，如何针对红外图像的较低分辨率，对红外图像的信息量进行最大程度的提取和融合，是目前研究的热点问题。

图像超分辨率重构是对一幅或多幅具有互补信息的低分辨率图像进行处理，从而获得分辨率相对较高的重构图像。由于传统红外图像分辨率较低，且高分辨率红外图像的获取受到了硬件性能的限制[8]，实现红外图像的超分辨率重构可以有效地提高红外图像的分辨率。目前，基于学习的图像超分辨率方法主要有字典学习法和深度学习法。在基于深度学习方法中，基于卷积神经网络(Convolutional neural network，CNN)的SR重建算法，在完成重建的同时也能够较好的提高图像分辨率[9]。廖小华等人[10]在改进的卷积神经网络红外图像超分辨率算法一文中指出，采用卷积神经网络超分辨率算法能够提取图像多种特征，进而实现图像重构。王旺等人[11]提出，采用基于卷积神经网络的图像超分辨率处理，能够使图像观感更加锐利清晰、包含更多丰富的细节。然而，肖进胜等人在改进的基于卷积神经网络的图像超分辨率算法[12]一文中指出，现有的基于卷积神经网络的图像超分辨率算法依然存在图像纹理模糊的问题。

为了使融合图像具有更好的边缘轮廓表达能力，众多学者利用滤波的方法增强图像融合效果。如朱浩然等人[13]提出了基于迭代导向滤波的图像融合算法，Kumar[14]采用交叉双边滤波进行图像融合，赵程等人[15]提出了基于滚动导向滤波和混合多尺度分解的红外与可见光图像融合方法，涂超平等人[16]提出了基于各向异性热扩散方程的多聚焦图像融合算法。上述方法思想都是先将源图像分解为基础层和细节层，然后利用不同的融合策略生成融合图像。张雪等人[17]在研究中指出，相比于上述滤波融合方法，基于各向异性扩散的方法能够更好的保留图像边缘信息，而且图像具有较好的去噪能力。但目前针对各向异性扩散模型提出的改进方式大多都是针对扩散方程本身提出的，目前算法中，针对各向异性扩散模型提出的改进方式大多都是针对扩散方程或扩散函数本身提出的，而不是根据图像的特征信息和纹理进行提取和利用，忽略了图像的自身特征信息，可能造成图像细节部分的丢失或模糊。

通过上述分析，现有技术存在的问题及缺陷为：目前针对各向异性扩散模型提出的改进方式大多都是针对扩散方程本身提出的，忽略了图像的自身特征信息，造成图像细节部分的丢失或模糊。

解决以上问题及缺陷的难度为：热红外图像由于受热红外传感器自身特性影响，相比于可见光图像在目标细节分辨能力上相对较差。为此，如何提升热红外图像的细节分辨力是一个难题；超分辨算法虽然是解决上述问题的一个有效途径，然而如何设计一种模型简单、精度高、速度快的超分辨算法是一个难题；此外，热红外图像和可见光图像融合时，如何设计一种有效的融合策略使得融合图像具有良好的细节表达能力，符合人类视觉认知标准是一个难题。

解决以上问题及缺陷的意义为：对较低分辨率图像进行超分辨率重构，能够提高图像清晰度，改善图像视觉效果，能够充分利用红外图像中包含的信息。进行融合时在边缘和非边缘区域实现不同层次的扩散，细节信息和边缘纹理信息都能够得到保留。对融合中间基础层进行自适应显著度的提取，能够对图像中信息有选择性的利用，更加突出图像中特征信息明显的区域，最后可以得到清晰度较高，视觉效果较好的融合图像。

发明内容

针对现有技术存在的问题，本发明提供了一种红外和可见光图像融合方法、系统、计算机设备及应用。

本发明是这样实现的，一种红外和可见光图像融合方法，所述红外和可见光图像融合方法包括：

对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；

对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；

利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；

将融合后的细节层和基础层通过线性重构得到最终的融合图像。

进一步，所述红外和可见光图像融合方法的融合策略，高分辨率红外融合图像为I_IR(x，y)，尺寸为m₂×n₂，可见光融合图像记为I_VIS(x，y)，尺寸为m₁×n₁，AD(·)表示对图像进行各项异性扩散，I_IR(x，y)和I_VIS(x，y)经过各项异性扩散得到的基础层图像

和

分别表示为：

细节层图像

和

由图像I_IR(x，y)、I_VIS(x，y)分别减去对应的基础层

得到：

提取可见光图像尺寸m₁×n₁，赋值于高分辨率红外图像I_IR(x，y)扩散后得到的基础层

和细节层

使基础层

和细节层

的大小都为m₁×n₁；

细节层利用KL变换获取最大特征向量的方法进行融合，将细节层

和

置为列向量并记为X，求取X的协方差矩阵C_XX，C_XX的特征向量记为：

求取特征值σ₁和σ₂，并找出其最大特征值σ_max，记作：

σ_max＝max(σ₁，σ₂)；

σ_max相对应的特征向量为ξ_max，计算出融合权重系数D₁、D₂：

最后得到的融合细节层

表示为：

在对基础层图像进行融合时，将

和的显著度记为

表示为：

式中：x₀和y₀表示像素点在图像中的位置，Mean_IR(x，y)为

图像内所有像素点的平均值，图像

计算出的显著度记为

和

的权重分别为W_IR和W_VIS，其计算式为：

W_VIS＝1-W_IR；

基础层融合图像

的表达式：

进一步，所述红外和可见光图像融合方法的线性融合重构基础层

和细节层

利用加权平均方法重构出融合图像I_F：

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

本发明的另一目的在于提供一种运行所述红外和可见光图像融合方法的红外和可见光图像融合系统，所述红外和可见光图像融合系统包括：

红外图像重构模块，用于对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；

红外图像预处理模块，用于对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；

细节层和基础层融合模块，用于利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；

线性重构模块，用于将融合后的细节层和基础层通过线性重构得到最终的融合图像。

本发明的另一目的在于提供一种图像融合系统，所述图像融合系统搭载所述的红外和可见光图像融合系统。

本发明的另一目的在于提供一种计算机视觉控制系统，所述计算机视觉控制系统搭载所述的红外和可见光图像融合系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：针对利用传统方法进行红外与可见光图像融合时易出现边缘模糊以及细节分辨能力弱等问题，本发明提出一种基于基于超分辨率图像重构和各向异性扩散的红外和可见光图像融合算法。首先，对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；其次，对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；然后，利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；最后，将融合后的细节层和基础层通过线性重构得到最终的融合图像。为了验证所提出算法的优势，将其与4种融合算法进行比较。通过大量实验表明，相比于4种融合算法，本发明所提出的算法无论从主观判断，还是从客观评价指标都具有更好的融合效果。

综上所述，为了使融合图像具有较高的清晰度的同时，具有更加丰富的细节信息和轮廓纹理，本发明提出一种基于超分辨率和各向异性扩散的红外和可见光图像融合算法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的红外和可见光图像融合方法流程图。

图2是本发明实施例提供的红外和可见光图像融合系统的结构示意图；

图2中：1、红外图像重构模块；2、红外图像预处理模块；3、细节层和基础层融合模块；4、线性重构模块。

图3是本发明实施例提供的三层网络模型的超分辨率重建框架示意图。

图4是本发明实施例提供的红外和可见光图像融合方法实现流程图。

图5是本发明实施例提供的融合结果图像示意图；

图5中：(a)红外源图像；(b)可见光源图像；(c)重构红外图像；(d)重构红外图像基础层；(e)重构红外图像细节层；(f)可见光图像基础层；(g)可见光图像细节层；(h)融合基础层；(i)融合细节层；(j)融合结果。

图6是本发明实施例提供的图像融合结果比较示意图。

图6中：(a)红外源图像；(b)可见光源图像；(c)本发明算法；(d)MSVD；(e)DWT；(f)TSD；(g)RP。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种红外和可见光图像融合方法、系统、计算机设备及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的红外和可见光图像融合方法包括以下步骤：

S101：对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；

S102：对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；

S103：利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；

S104：将融合后的细节层和基础层通过线性重构得到最终的融合图像。

本发明提供的红外和可见光图像融合方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的红外和可见光图像融合方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的红外和可见光图像融合系统包括：

红外图像重构模块1，用于对原始红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像；

红外图像预处理模块2，用于对可见光和高分辨率的红外图像各自进行各向异性扩散，得到相应的基础层和细节层；

细节层和基础层融合模块3，用于利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合；

线性重构模块4，用于将融合后的细节层和基础层通过线性重构得到最终的融合图像。

下面结合附图对本发明的技术方案作进一步的描述。

1、基于卷积神经网络的图像超分辨率算法，如图3所示。

利用卷积神经网络进行图像处理，不仅能有效减少网络的训练参数，简单化神经网络，而且具有很强的适应性。采用超分辨率卷积神经网络结构由三层卷积层构成，分别为特征提取、非线性映射和高分辨率图像重构。

首先，对原始低分辨率图像I进行特征提取，获取图像块，多个图像块可作为一组高维向量组，向量组组成的特征映射的大小与向量组的维度相同，由此得到的图像特征F₁(I)表示为：

F₁(I)＝max(0，W₁*I+B₁)(1)

式中：I原始低分辨率图像，*表示卷积运算，B₁为神经元的偏置向量，W₁为卷积核。本发明中，W₁的取值为：

W₁＝c×f₁×f₁×n₁(2)

式中：c是输入图像的通道数，本实验中只对I通道进行处理，c的取值为c＝1。卷积得到的特征图再经过ReLU激活函数max(0，X)进行处理。f₁为单个滤波器的空间大小尺寸，n₁为卷积核的数量，B₁是一个n₁维向量，其中每个元素都与W₁相关联。

在特征提取阶段，对每个图像块提取一个n₁维的特征，在对其进行非线性映射时，把n₁维的特征向量映射到n₂维，即特征向量从低分辨率空间映射到高分辨率空间，输出的高维特征向量为F₂(I)，表示为：

F₂(I)＝max(0，W₂*F₁+B₂)(3)

式中：W₂表示卷积核，f₂为滤波器的空间大小尺寸，B₂为n₂维的向量，每个输出的n₂维向量都表示一个高分辨率的图像块。映射过程使用了n₂个1×1的卷积核，即W₂的大小可表示为：

W₂＝n₁×f₂×f₂×n₂(4)

在进行高分辨率图像重构时，利用之前得到的所有高分辨率图像块，通过对预测的重叠的高分辨率图像块进行平均操作，来生成最终的高分辨率图像。平均化处理中利用的每一个卷积核的位置，都是高分辨率尺图像块的“扁平”的向量形式。通过卷积层得到最后的超分辨率重构图像F₃(I)可表示为：

F₃(I)＝W₃*F₂(I)+B₃(5)

式中：B₃是一个c维向量，W₃为卷积核，W₃中包含了c个滤波器，则W₃尺寸大小为：

W₃＝n₂×f₃×f₃×c(6)

W₃可视为一个均值滤波器，图像的重构过程是一个线性操作过程。

2、各向异性扩散

通过各向异性扩散可将给定的图像保留常规比例下的特性，并借助偏微分方程可以保存边缘轮廓信息，获取区域边界清晰的图像。为此，本发明通过各向异性扩散来增强图像的细节表达能力。

各向异性扩散方程可以表示如下：

式中：c(x，y，t)表示扩散速率，Δ表示拉普拉斯算符，

表示空间变量的梯度算子，t表示时间，I_t表示一个随时间t变化的图像。将公式(7)利用拉普拉斯算子进行离散化可得到迭代方程：

式中：

为在t+1尺度下的图像，且其分辨率取决于前一幅图像

λ为稳定常数，当

可保证迭代系统的稳定。Ω_N，Ω_S，Ω_E和Ω_W表示北、南、东、西的助记符下标，沿四个方向的局部图像梯度可以表示为：

同理，沿北、南、西、东四个方向上的传导系数可以定义为：

式中：g(·)为使细节平滑与边缘保持之间的一个边缘停止函数。为了使图像具有丰富的细节以及边缘信息，本发明选择函数如下：

式中：K表示边缘导热系数。

3、基于超分辨率图像重构和各向异性扩散的红外和可见光图像融合算法

3.1融合流程

本发明所提出的算法的计算过程如下：

(1)对源红外图像进行基于卷积神经网络的超分辨率重构，获得重构后高分辨率的红外图像。

(2)对可见光和高分辨率的红外图像通过各向异性扩散得到相应的基础层和细节层。

(3)利用KL变换获取最大特征向量对细节层进行融合，利用显著度自适应提取对基础层进行融合。

(4)细节层和基础层通过线性平均重构出最终融合图像。

整个算法的流程图如图4所示。

3.2融合策略

对可见光和高分辨率的红外图像通过各向异性扩散得到相应的基础层和细节层。假设高分辨率红外融合图像为I_IR(x，y)，尺寸为m₂×n₂，可见光融合图像记为I_VIS(x，y)，尺寸为m₁×n₁，AD(·)表示对图像进行各项异性扩散，I_IR(x，y)和I_VIS(x，y)经过各项异性扩散得到的基础层图像

和

分别表示为：

细节层图像

和

由图像I_IR(x，y)、I_VIS(x，y)分别减去对应的基础层

得到，即：

和细节层

使基础层

和细节层

的大小都为m₁×n₁。

细节层利用KL变换获取最大特征向量的方法进行融合。将细节层

和

求取特征值σ₁和σ₂，并找出其最大特征值σ_max，记作：

σ_max＝max(σ₁，σ₂) (15)

假定σ_max相对应的特征向量为ξ_max，由此可计算出融合权重系数D₁、D₂，如公式(16)所示：

最后得到的融合细节层

可以表示为：

在对基础层图像进行融合时，将

的显著度记为

表示为：

式中：x₀和y₀表示像素点在图像中的位置，Mean_IR(x，y)为

图像内所有像素点的平均值。同理，按照公式(18)和(19)，图像

计算出的显著度记为

设

和

的权重分别为W_IR和W_VIS，其计算式为：

W_VIS＝1-W_IR (21)

因此，基础层融合图像

的表达式如公式(22)所示：

3.3线性融合重构

最终基础层

和细节层

利用加权平均方法重构出融合图像I_F，如公式(23)所示：

下面结合仿真对本发明的技术效果作详细的描述。

为了验证本发明所提出融合算法(简记为proposed)的优势，本发明选取多尺度奇异值分解(MSVD)算法、离散小波变换(DWT)、双尺度显著性融合(TSD)、低通金字塔(RP)算法进行比较，分别从主观和客观两个方面来对算法的性能进行评估。本算法的运行环境为戴尔笔记本电脑(型号为灵越7380)，使用的是MATLAB R2019a。所用图像来自于数据库https：//figshare.com/articles/TN_Image_Fusion_Dataset/1008029。

1、本发明随机选取6组典型的红外与可见光图像用于融合，进行主观评价，融合结果如图6所示。

由图5第一组图像可以看出，图(d)(e)图像对比度较低，融合结果不清晰，图(f)和图(g)虽然较为清晰，但对比度和清晰度没有本发明算法得到的融合结果好。在第二组图像中，图(d)对比度最低，图(g)树木纹理边缘不容易观察，图(e)(f)虽然保留了房屋轮廓边缘，但视觉效果较差，而本发明算法的融合图像在标注部分内能较为清晰的看到房屋边缘和人物轮廓，能够保留更多的树木纹理信息。在第三组图像中，图(d)(e)较为模糊，图(f)和图(g)纹理信息相对丰富，但本发明算法图(c)明显提高了图像清晰度，在标注的部分内更好地保留了树木细节信息，并且更好的突出了图像中的掩体。在第四组图像中，四种方法的融合图像都能获得含有丰富细节信息的融合图像，而图(e)(f)图像清晰度较低，图(g)图像对比度较差，本发明算法在图(c)标注的部分内，可以明显看出树木细节信息更加丰富，有着良好的视觉效果。在第五组图像中，四种方法的融合图像都能将人物较为清楚的表示出来，但本发明算法在图(c)标注的部分内能够较好地保留源图像的人物边缘和沟渠轮廓，具有更好的图像清晰度。在第六组图像中，图(d)对比度较低，图(g)树木信息较为丰富但并未突出房屋主体，图(e)(f)虽然获得较为丰富的纹理信息，但图像较为模糊，而图(c)在保留更多细节信息的同时，图像最为清晰，具有较好的视觉效果。根据以上6组图像的对比实验，可以看出，相比于其他4种融合算法，本算法能够将图中的人的轮廓、树木以及房屋等区域的边缘信息较好的保留下来，同时更加清晰的显示图中含有的细节信息。

2、为了客观的对本算法做出比较和评价，选择图像交叉熵(cross entropy，CE)、图像互信息(mutual information，MI)、香农熵(Shannon Entropy，EN)、特征相似度(Feature SIMilarity，FSIM)、图像方差(The variance，VA)和图像强度标准差(standarddeviation，SD)作为信息融合性能的客观评价指标。其中，CE表示融合后的两幅图像与原始图像的交叉熵。交叉熵越小，图像间的差异越小，融合效果越好；MI表示融合后的图像与原始图像之间相互信息的计算，MI值越大，两幅图像的相似度越高；EN反映图像所含的信息量的丰富程度，数值越大表明获得的融合图像包含信息量越大；FSIM用于评价图像间相似度，数值越大说明融合图像与源图像在某些特征方面更相似；VA表示计算了图像的灰度方差，VA值越大，图像对比度越高；SD计算了图像标准差，反映了灰度相对于灰度均值的离散程度，标准差越大，则灰度级分布越分散，图像反差越大，可得到更多的信息量。利用进行主观评价的六幅测试图，对各算法进行客观评价，评价结果分别如表1-表6所示。

表1第1组融合实验客观评价结果

表2第2组融合实验客观评价结果

表3第3组融合实验客观评价结果

表4第4组融合实验客观评价结果

表5第5组融合实验客观评价结果

表6第6组融合实验客观评价结果

通过表1到表6可以看出，本发明提出算法的CE值在三组中都能保持最优数值，且其余三组均与最优数值最为接近，并且通过实验中MI数值能够看出，六组数据都可获得最优数值，表明本算法融合后的图像与原始图像最为相似。通过比较六组的EN数值，本算法均能保持最优数值，表明本算法可保留图像中更多的信息量。同时，通过六组的FSIM指标可以看出，其中三组中本算法可以获得最优数值，表明本算法相较于其他算法，融合图像的特征相似度与原始图像较好。通过六组的VA数值和SD能够看出，本算法都能够获得最优数值，说明本算法获得的融合图像既包含更多的信息量，又具有较高的图像对比度，视觉效果更好。

通过主观评价与客观评价的对比分析，可以发现本发明算法的融合效果优于其他五种融合方法，本发明算法获得的融合图像具有更高的清晰度，并且能够从源图像中提取更多轮廓、细节及纹理等信息，既增强了对比度，又可获得较好的视觉效果。

本发明提出了一种基于超分辨率和各向异性扩散的红外和可见光图像融合算法。通过与五种经典融合算法主观分析和客观评价指标的比较发现，所提出的算法具有如下两大优势：

(1)所提出的算法方法能够实现对红外图像的超分辨率重构，并且能够提高融合图像的清晰度和对比度，获得良好的视觉效果。

(2)所提出的算法可以在保证对原始图像边缘区域信息充分保留的同时，使融合图像含有更丰富的细节信息。

[1]尹振鹤，朱辉生.基于二代Curvelet变换与近似度制约规则的遥感图像融合算法[J].电子测量与仪器学报，2019(4)：42-49.

YIN Zhen-he，ZHU Hui-sheng.Remote sensing image fusion algorithm basedon second-generation Curvelet transform and approximation control rules[J].Journal of Electronic Measurement and Instrument，2019(4)：42-49.

[2]阮小利，王顺芳.基于多分辨率局部与全局特征融合的人脸识别[J].计算机工程与设计，2018，39(09)：237-241.

RUAN Xiao-li，WANG Shun-fang.Face recognition based on multi-resolution local and global feature fusion[J].Computer Engineering andDesign，2018，39(09)：237-241.

[3]El-Hoseny，Heba M，El Kareh，Zeinab Z，Mohamed，Wael A，et al.An optimalwavelet-based multi-modality medical image fusion approach based on modifiedcentral force optimization and histogram matching[J].Multimedia Tools&Applications，2019，78(18)：26373-26397.

[4]Martinsen G，Hosket J，Pinkus A.Correlating military operators′visual demands with multi-spectral image fusion[J].Proceedings of Spie theInternational Society for Optical Engineering，2008，6968.

[5]田时舜，庞飞龙，周跃等，基于DM8148的双谱段电晕检测系统设计[J].半导体光电，2015，036(003)：513-517.

TIAN Shi-shun，PANG Fei-long，ZHOU Yue，et al.Design of Dual-spectrumCorona Detection System Based on DM8148[J].Semiconductor Optoelectronics，2015，036(003)：513-517.

[6]李海超，李成龙，汤进等，热红外与可见光图像融合算法研究[J].计算机科学与探索，2016，10(3)：407-412.

LI Hai-chao，LI Cheng-long，TANG Jin，et al.Research on fusion algorithmfor thermal and visible images[J].Journal of Frontiers of Computer Scienceand Technology，2016，10(3)：407-412.

[7]XU Hui，ZHANG Jun-ju，YUAN Yi-hui，et al.Detection probability ofinfrared and visible image fusion system[J].Optics&Precision Engineering，2013，21(12)：3205-3213.

[8]邵保泰，汤心溢，金璐，等.基于生成对抗网络的单帧红外图像超分辨算法[J].红外与毫米波学报，2018，v.37(04)：45-50.

SHAO Bao-tai，TANG Xin-yi，JIN Lu，et al.Single-frame infrared imagesuper-resolution algorithm based on generative adversarial networks[J].Journal of Infrared and Millimeter Waves，2018，v.37(04)：45-50.

[9]黄允允.基于卷积神经网络的图像超分辨率算法研究[D].2019.

HUANG Yun-yun.Research on image super-resolution algorithm based onconvolutional neural network[D].2019.

[10]廖小华，陈念年，蒋勇，等.改进的卷积神经网络红外图像超分辨率算法[J].红外技术，2020，42(1).

LIAO Xiao-hua，CHEN Nian-nian，JIANG Yong，et al.Improved convolutionalneural network infrared image super-resolution algorithm[J].InfraredTechnology，2020，42(1).

[11]王旺，徐俊武，李颖先.改进的基于卷积神经网络的图像超分辨率方法[J].计算机应用与软件，2019，36(03)：220-224

[11]WANG Wang，XU Jun-wu，LI Ying-xian.Improved image super-resolutionmethod based on convolutional neural network[J].Computer Applications andSoftware，2019，36(03)：220-224

[12]肖进胜，刘恩雨，朱力，等.改进的基于卷积神经网络的图像超分辨率算法[J].光学学报，2017(03)：103-111.

XIAO Jin-sheng，LIU En-yu，ZHU Li，et al.Improved image super-resolutionalgorithm based on convolutional neural network[J].Acta Optics，2017(03)：103-111.

[13]朱浩然，刘云清，张文颖.基于迭代导向滤波与多视觉权重信息的红外与可见光图像融合[J].光子学报，2019，48(03)：190-200.

ZHU Hao-ran，LIU Yun-qing，ZHANG Wen-ying.Infrared and visible imagefusion based on iterative guided filtering and multi-visual weightinformation[J].Acta Photonica Sinica，2019，48(03)：190-200.

[14]Shreyamsha K，B.K.Image fusion based on pixel significance usingcross bilateral filter[J].Signal Image&Video Processing，2015，9(5)：1193-1204.

[15]赵程，黄永东.基于滚动导向滤波和混合多尺度分解的红外与可见光图像融合方法[J].激光与光电子学进展，2019，56(14)：98-112.

ZHAO Cheng，HUANG Yong-dong.Infrared and visible light image fusionmethod based on rolling guided filtering and mixed multi-scale decomposition[J].Laser&Optoelectronics Progress，2019，56(14)：98-112.

[16]涂超平，肖进胜，杜康华等.基于各向异性热扩散方程的多聚焦图像融合算法[J].电子学报，2015，43(6)：1192-1199.

TU Chao-ping，XIAO Jin-sheng，DU Kang-hua，et al.Multi-focus imagefusion algorithm based on anisotropic thermal diffusion equation[J].ActaElectronica Sinica，2015，43(6)：1192-1199.

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

1.一种红外和可见光图像融合方法，其特征在于，所述红外和可见光图像融合方法包括：

2.如权利要求1所述的红外和可见光图像融合方法，其特征在于，所述红外和可见光图像融合方法的融合策略，高分辨率红外融合图像为I_IR(x，y)，尺寸为m₂×n₂，可见光融合图像记为I_VIS(x，y)，尺寸为m₁×n₁，AD(·)表示对图像进行各项异性扩散，I_IR(x，y)和I_VIS(x，y)经过各项异性扩散得到的基础层图像