CN112184608B - 一种基于特征转移的红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于特征转移的红外与可见光图像融合方法，包括步骤：1)基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；2)根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。与现有技术相比，本发明使融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，具有更高的总体对比度和信噪比，融合后可获得更为自然的融合图像。

Description

一种基于特征转移的红外与可见光图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于特征转移的红外与可见光图像融合方法。

背景技术

可见光相机通常能够感应波长在380nm～780nm之间的可见光波段，因而可见光图像具有较高的对比度、空间分辨率和丰富的细节信息，也更加符合人眼成像系统的感知，但是，另一方面，可见光成像十分依赖良好的成像环境，光照差、烟雾和其他一些障碍均能轻易地对可见光成像造成显著的影响。对此有学者注意到，波长范围在0.75μm～1000μm之间的红外传感器既不受天气影响，可全天候工作，又具有较强的抗扰能力，而其成像模糊和较低的空间分辨率的缺点则恰恰可以通过可见光成像进行补足，因此将红外图像与可见光图像进行融合所得到的融合图像实现了二者的优势互补，从而获得了可见光图像的边缘纹理等清晰的细节信息，以及红外图像中表示热力场的局部均匀、稳定的像素信息，更加有利于增强人类视觉感知和图像的后续处理。

利用红外与可见光图像融合技术，即使在微光条件下，人们也可以通过两种传感器得到显著的热源目标和丰富的背景细节信息，这种优异的性能广泛地应用在了军事侦察、安防监控、辅助医学诊断以及电力巡检等工业领域，且各领域的研究人员提出了各种融合算法，致力于得到一幅符合如下准则的融合图像：

(1)源图像中的有用信息在融合图像中实现最大程度的保留并且对重复、冗余信息进行有选择的融合或去除；

(2)融合图像中不能造成噪声、伪影等人为产生的图块；

(3)融合算法要具备一定的可靠性和鲁棒性；

目前为止，融合算法根据其采用的理论的不同，通常可以分为七类，即多尺度变换，稀疏表示，神经网络，子空间，基于显著性度量，混合模型和其他方法。实际上，众多的融合算法大体可归结为三种类型的融合层级：像素级图像融合、特征级图像融合和决策级图像融合，其中，像素级图像融合算法作为最底层的融合方法，在融合的准确性和鲁棒性以及对细节的处理上均具有其他两种方法不可比拟的优势，也是目前研究最多的一个层级。由于传统图像融合方法在多尺度分解并采取不同的融合策略上是可取的，然而其融合策略往往是在一定的尺度图像中不加以区分地采用全局统一的融合手段(包括统一的变换方式或描述机制等)，这导致了融合算法很难顾及到尺度信息与图像特征之间的关系，体现在实际中，呈现出图像局部融合质量高，而其他区域的融合效果不甚理想，即区域特征融合效果并不令人满意。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于特征转移的红外与可见光图像融合方法，该方法可针对性地利用红外热目标所在区域的热辐射特征和可见光图像背景所在区域的细节特征通过模糊提升的方式去除冗余，然后将提升后的图像特征进行转移融合，使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，具有更高的总体对比度和信噪比。

本发明的目的可以通过以下技术方案来实现：

一种基于特征转移的红外与可见光图像融合方法，该方法的具体步骤如下：

S1：基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；具体地：

11)基于模糊区域规则，采用K均值聚类法分别将原始红外图像、可见光图像分割为若干基本区域；基本区域的基本特征为：依据聚类算法形成的区域，其内部像素具有最小的强度水平差异，而区域之间整体的像素强度差异较大。

12)将所有基本区域按区域属性分为目标区域、过渡区域和背景区域；所述目标区域包括占比最多的热目标区域，所述背景区域包括可见光图像中的边缘、线条细节信息，所述过渡区域为不含有实质性内容信息的区域。

13)建立隶属度函数，将三种不同属性的区域进行模糊化，确定基本区域的属性隶属值。

14)将三种不同属性的区域通过FPDE进行分解，获得源图像的基础层。

15)从源图像中减去FPDE求解的基础层，获取保留更多边缘和纹理细节的细节层。

16)以原始红外图像、可见光图像的区域像素索引为基准，对两幅源图像经过模糊空间下的模糊区域规则和尺度空间下的FPDE分别进行区域划分和层图分解的交叉操作，获取目标区域、背景区域和过渡区域的基础层图和细节层图。

17)筛选各区域层图中的主要特征信息、次要特征信息，并去除冗余特征信息，进而保留用以进行转移融合的特征信息。

进一步地，步骤13)的具体内容为：

假设采用K均值聚类法将红外图像分割为三个基本区域R₁、R₂、R₃，对论域U{R₁,R₂,R₃}进行模糊映射：γ_i,j(·):U→[0,1]，γ_i,j为隶属度函数，其表达式为：

式中：λ_O＝L_min，λ_T＝(L_max-L_min)/2，λ_B＝L_max分别代表三种区域属性：目标区域、过渡区域和背景区域，β_min、α_max和θ_i分别为基本区域R_i中的像素强度最小值、最大值和均值，γ_i,j为区域R_i对区域属性j_i＝λ_i(i＝1,2,3)的隶属值。

区域模糊空间和尺度空间交叉下的区域层图中，将红外目标区域的基础层图，记为将可见光背景区域的细节层图/>作为主要特征信息，将可见光目标区域的基础层图/>和红外背景区域的细节层图/>中作为次要特征信息，用以补充主要特征信息，对过渡区域不做特殊处理，其余的区域层图视为冗余特征信息进行去除处理，进而保留用以进行转移融合的特征信息。

S2：根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。具体步骤包括：

21)将特征提升后的图像作为待融合图像，并进行向量化；

22)从特征提升后的图像推导出转移模型，其中，转移模型中要求融合图像最大程度接近红外提升图像的像素分布，而其梯度特征与可见光提升图像类似；

融合后图像由内部参数a_j、b_j在有条件约束下的优化取值以及正则化参数ξ的共同作用下获取，其中，内部参数a_j、b_j控制融合图像与源图像的特征相似性，正则化参数ξ负责平衡两者取值，通过滑动窗口的方式进行滚动计算，将特征提升后的图像中的主要特征信息转移至融合图像。

23)通过滑动窗口的方式计算模型参数，根据在每一个窗口下计算的模型参数实现局部的图像转移融合，最终生成整幅融合图像。

将提升图像的主要特征信息和次要特征信息/>进行特征转移融合，对过渡区域层图的特征/>采用平均策略法进行融合，最终的融合图像S由/>与/>的转移融合和/>平均融合获取。最终图像S的表达式为：

式中，FTF为特征转移融合，AVR为平均策略法。

本发明提供的基于特征转移的红外与可见光图像融合方法，相较于现有技术至少包括如下有益效果：

一、本发明在视觉上明显提高了融合图像可视性，通过将图像在模糊规则阶段中判定为目标区域，利用该判别，使得特征转移阶段保留该区域中更多的红外特征，因而该方法使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，总体对比度得到提高；

二、在本发明中，模糊区域规则与FPDE的交叉获得的区域层图中，目标区域的细节层图红外信息易被显著化，降低红外目标区域的像素稳定性，且该区域中细节信息并不丰富，这两方面使得该区域层图对获得高质量的融合图像并无有效帮助，因而有针对性地去除了此“冗余”特征信息对主特征和转移模型造成的干扰，使得红外图像中主要的热目标特征和可见光图像中主要的细节特征得以显著化，进而使得噪声方面，融合图像具有更高的信噪比；

三、本发明基于已有的四阶偏微分方程，提高了原有FPDE的自适应平滑分解能力，通过引入新的扩散系数控制演化强度，对边缘细节提供更好的保护；

四、本发明基于图像生成模型导出转移融合模型，具有比以往方法更加准确的图像描述机制，主要表现在，以往的融合决策通常对待融合图像全局采取统一的变换方式或描述机制，而本发明中将图像特征的描述精确到像素信息和细节信息，因而融合模型易获得更为自然的融合图像；

附图说明

图1为本发明基于特征转移的红外与可见光图像融合方法的图像处理过程示意图；

图2为实施例中使用本发明融合方法的中间过程图像，其中，子图(a)、(b)、(f)分别表示红外图像、可见光图像和融合后图像，子图(c)为执行分割后的图像，子图(d)为红外提升图像，子图(e)为可见光提升图像；

图3为实施例中基于特征转移的红外与可见光图像融合方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明涉及一种基于特征转移的红外与可见光图像融合方法，用以融合原始红外图像和可见光图像以辅助决策，包括如下步骤内容：

步骤一、基于模糊区域规则和基于纵向尺度空间的四阶偏微分方程(Fourthorder partial differential equation，FPDE)进行图像特征提升

1)模糊区域规则由区域分割和模糊判定两个基本步骤构成，具体如下：

区域分割技术。

由于红外成像的局部同质性、稳定性，这使得红外源图像十分利于进行区域分割，对此，使用一种无监督学习方式——K均值聚类的方法将红外图像分割为三个基本区域：R₁、R₂、R₃，分割结果反映在分割图像中，R₁代表黑色区域，R₂代表灰色区域，R₃代表白色区域，区域划分的索引同样适用于可见光图像。基本区域的基本特征为：依据聚类算法形成的区域，其内部像素具有最小的强度水平差异，而区域之间整体的像素强度差异则较大，实际中，该阈值通常与聚类区域数和迭代步数相关，通常根据经验确定，为现有技术，在此不过多赘述。

2)区域模糊判定。

对论域U{R₁,R₂,R₃}进行模糊映射，完成对区域模糊现象的定量描述，简单来说，三个基本区域的区域特征是不那么清晰的，例如R₃区域中既包含热目标又存在可见的细节信息，而这两种特征信息在同一区域下，到底哪一个对该区域而言更重要是未知的，因此使用式(1)的方式解决这个问题。

将红外图像分割为三个基本区域：R₁、R₂、R₃，分别代表三种不同的图像区域，然后对论域U{R₁,R₂,R₃}进行模糊映射：γ_i,j(·):U→[0,1]，其中，γ为隶属度函数：

其中，λ_O＝β_min，λ_T＝(α_max-β_min)/2，λ_B＝α_max，代表三种区域属性：目标区域、过渡区域、背景区域，β_min、α_max和θ_i为基本区域R_i中的像素强度最小值、最大值和均值，γ_i,j为区域R_i对区域属性j_i＝λ_i(i＝1,2,3)的隶属值。

目标区域包括占比最多的热目标区域，背景区域包括可见光图像中的边缘、线条细节信息，过渡区域为不含有实质性内容信息的区域。

3)将后将分割后的三种不同属性的区域进行基于FPDE的分解，得到基础层图和细节层图。

经能量泛函和演化方程获得的四阶偏微分方程表示如下：

其中，f为给定的源图像强度函数，u_xx和u_yy为x方向和y方向上的二阶偏微分，表示在求解区域的边界/>上的单位法向量，φ₁和φ₂是扩散函数，为避免边缘特征丢失，设计为使用边缘检测算子控制演化强度。

为像素强度的差异梯度，系数k调节边缘的对比度，从而控制对边缘特征的检测性能，避免对细节特征造成的破坏，因而提出的四阶偏微分方程具有更好的自适应能力。

对于源图像I_n(x,y)，经过FPDE，可以得到信噪比更大，即灰度特征更突出的基础层图B_n(x,y)：

B_n(x,y)＝FPDE(I_n(x,y)),(n＝1,2) (4)

同时，细节层图D_n(x,y)中的边缘纹理特征也变得更为完整和丰富：

D_n(x,y)＝I_n(x,y)-B_n(x,y),(n＝1,2) (5)

4)图像特征模糊提升

图像模糊提升的意义在于去除冗余特征信息，完成主要特征信息的保留和突出。经过模糊区域规则和FPDE，源图像V、I分为多个区域尺度层图，然而，并不是所有的区域和层图都是必要的，通常希望更多的保护热目标的灰度特征和一些可见光细节特征，红外目标区域的基础层图和可见光背景区域的细节层图/>最符合预期要求，因而是主要特征信息。另外，可见光目标区域的基础层图/>和红外背景区域的细节层图/>中作为主要特征信息的补充，是次要特征信息，而过渡区域通常不做特殊处理，除此之外的区域层图可视为冗余特征信息，对主要特征信息易造成干扰，进行去除。因此，突出主要特征、去除冗余特征可视为对对原始图像的一种图像级优化提升，初步去除部分冗余特征信息，从而加强主要特征，即源图像通过优化提升可转为一组局部特征感更强的提升图，利于直接进行下一阶段特征的转移融合。

模糊区域规则与FPDE的交叉获得的区域层图中，目标区域的细节层图红外信息易被显著化，降低红外目标区域的像素稳定性，且该区域中细节信息并不丰富，这两方面使得该区域层图对获得高质量的融合图像并无有效帮助。

步骤二、特征转移融合

由于涉及到求解融合图像，暂将待求量F称为真实场景，将大小为M×N的两幅源图像和真实场景F分别向量化表示为其中，u为红外图像，v表示可见光图像，转移的基本策略之一是融合图像保持红外图像的灰度特征，即应有：

min(||F-u||₂) (6)

式中，||·||表示L₂范数。上式的最小化过程保证了融合图像在像素强度上与红外图像的近似程度。

此外，与红外图像相比，可见光图像中的细节特征应该尽可能转移至F，因此，由如下的图像生成模型可以推导出细节特征的转移模型：

其中，i表示传感器类型，j表示像素位置，α_i(j)为传感器的敏感系数，通常有α_i(j)∈{-1,0,1}，F(j)代表真实场景，z_i(j)为可观测到的传感器图像，w_k为以j为中心的h*h的窗口，ε_i(j)为图像失真项，一般使用K项零均值的高斯混合分布近似其分布模型。

这里，z_i(j)＝v_i(j)，隐式地选择了可见光传感器，因此，上式简化为：

式(9)式揭示了由真实场景生成可见光图像的像素关系，进一步，两边分别使用一阶梯度算子可以得到

由此可以看到，真实场景的梯度与传感器图像梯度有着紧密的生成关系，因此，该生成模型实现了以梯度为边缘检测算子的纹理特征跟随，确保F从v中获取尽量多的纹理特征。继续推导可以得到显式的转移模型：

其中，a_j＝1/α(j)，b_j＝-ε(j)/α(j)，由式(9)到式(11)的过程引入了与图像有关的系数a_j、b_j，在检测到边缘时，系数a_j增大，细节特征信息更充分地映射到融合图像中，保持边缘细节，这对可见光图像、高频层图和背景区域等十分有效；而对于红外图像、低频层图和目标区域等平坦区域，系数a_j减小，细节特征的转移能力减弱，灰度特征信息更多地映射到F中，保持灰度特征，此时转移对应的是包含了重要灰度特征信息的红外图像、低频层图和目标区域。当对F的灰度特征优化至与u相近时，其局部细节特征同时获得了与v相近的细节结构，由此得到a_j、b_j优化的损失函数，通过计算a_j、b_j，特征转移模型可以完全被确定，因此，综合式(6)和式(11)，得到a_j、b_j优化模型，用于获取最佳的a_j、b_j(最小时的a_j、b_j为最优)：

式中，表示最优a_j、b_j。||·||表示L₂范数，ξ是对较大的a_j进行惩罚的正则系数，第一项中系数a_j、b_j约束真实场景F与红外图像u的灰度特征相似性，并且a_j对F和V之间的局部细节特征相似性进行调节，通常对式(12)求导，并令导数为零求取上式的极值a_k、b_k。

b_k＝1-a_k (14)

式中，N为窗口中的像素点数，a_j在约束项的约束下将逐渐接近于设定阈值a₀，因此，a₀的选择将对细节特征的转移产生间接的影响，这里，在顾及噪声影响的情况下给出了a₀的选择公式：

a₀(k)＝1-exp(-η·τ_v(k)) (15)

其中，

其中，η为控制噪声抑制度的正向参数，σ_v,2(k)和σ_v,10(k)分别为可见光图像中以像素k位置为中心像素的5×5和10×10窗口的方差，τ_v(k)值的大小反映了图像局部细节特征的丰富度。

简单来讲，特征转移融合阶段将提升图像的主要特征信息和次要特征信息/>使用FTF(Feature Transfer，特征转移融合)的方法转移并融合局部主特征和次特征；而过渡区域层图/>由于其特征的非显著性，仅需采用简单的平均策略进行融合，而不会对融合结果造成明显的影响，因此，若将上述特征转移融合记为FTF(FeatureTransfer，特征转移融合)，则最终的融合图像S可由/>与/>的转移融合和平均融合得到，表示如下：

式中，AVR为简单的平均策略。

根据本发明方法进行融合的中间图像如图2所示，图中，“房屋”在模糊规则阶段中判定为目标区域，通过该判别，使得特征转移阶段保留该区域中更多的红外特征，因而该方法使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，总体对比度得到提高。

本发明在视觉上明显提高了融合图像可视性，通过将图像在模糊规则阶段中判定为目标区域，利用该判别，使得特征转移阶段保留该区域中更多的红外特征，因而该方法使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，总体对比度得到提高；利用模糊区域规则与FPDE的交叉获得的区域层图中，目标区域的细节层图红外信息易被显著化，降低红外目标区域的像素稳定性，且该区域中细节信息并不丰富，这两方面使得该区域层图对获得高质量的融合图像并无有效帮助，因而有针对性地去除了此“冗余”特征信息对主特征和转移模型造成的干扰，使得红外图像中主要的热目标特征和可见光图像中主要的细节特征得以显著化，进而使得噪声方面，融合图像具有更高的信噪比。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于特征转移的红外与可见光图像融合方法，其特征在于，包括下列步骤：

1)基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；

2)根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合；

步骤1)的具体内容为：

11)基于模糊区域规则，采用K均值聚类法分别将原始红外图像、可见光图像分割为若干基本区域；

12)将所有基本区域按区域属性分为目标区域、过渡区域和背景区域；

13)建立隶属度函数，将三种不同属性的区域进行模糊化，确定基本区域的属性隶属值；

14)将三种不同属性的区域通过FPDE进行分解，获得源图像的基础层；

15)从源图像中减去FPDE求解的基础层，获取保留更多边缘和纹理细节的细节层；

16)以原始红外图像、可见光图像的区域像素索引为基准，对两幅源图像经过模糊空间下的模糊区域规则和尺度空间下的FPDE分别进行区域划分和层图分解的交叉操作，获取目标区域、背景区域和过渡区域的基础层图和细节层图；

17)筛选各区域层图中的主要特征信息、次要特征信息，并去除冗余特征信息，进而保留用以进行转移融合的特征信息；

步骤2)具体包括以下步骤：

21)将特征提升后的图像作为待融合图像，并进行向量化；

22)从特征提升后的图像推导出转移模型，其中，转移模型中要求融合图像接近红外提升图像的像素分布，而其梯度特征与可见光提升图像接近；

23)通过滑动窗口的方式计算模型参数，根据在每一个窗口下计算的模型参数实现局部的图像转移融合，最终生成整幅融合图像；

步骤22)中，具体包括以下步骤：

融合后图像由内部参数a_j、b_j在有条件约束下的优化取值以及正则化参数ξ的共同作用下获取，其中，内部参数a_j、b_j控制融合图像与源图像的特征相似性，正则化参数ξ负责平衡两者取值，通过滑动窗口的方式进行滚动计算，将特征提升后的图像中的主要特征信息转移至融合图像。

2.根据权利要求1所述的基于特征转移的红外与可见光图像融合方法，其特征在于，步骤13)的具体内容为：

假设采用K均值聚类法将红外图像分割为三个基本区域R₁、R₂、R₃，对论域U{R₁,R₂,R₃}进行模糊映射：γ_i,j(·):U→[0,1]，γ_i,j为隶属度函数，其表达式为：

式中：λ_O＝L_min，λ_T＝(L_max-L_min)/2，λ_B＝L_max分别代表三种区域属性：目标区域、过渡区域和背景区域；β_min、α_max和θ_i分别为基本区域R_i中的像素强度最小值、最大值和均值，γ_i,j为区域R_i对区域属性j_i＝λ_i(i＝1,2,3)的隶属值。

3.根据权利要求1所述的基于特征转移的红外与可见光图像融合方法，其特征在于，区域模糊空间和尺度空间交叉下的区域层图中，将红外目标区域的基础层图，记为将可见光背景区域的细节层图/>作为主要特征信息，将可见光目标区域的基础层图/>和红外背景区域的细节层图/>中作为次要特征信息，用以补充主要特征信息，对过渡区域不做特殊处理，其余的区域层图视为冗余特征信息进行去除处理，进而保留用以进行转移融合的特征信息。

4.根据权利要求1所述的基于特征转移的红外与可见光图像融合方法，其特征在于，所述基本区域的基本特征为：依据聚类算法形成的区域，其内部像素具有最小的强度水平差异，而区域之间整体的像素强度差异较大；所述目标区域包括占比最多的热目标区域，所述背景区域包括可见光图像中的边缘、线条细节信息，所述过渡区域为不含有实质性内容信息的区域。