CN114387195A - 一种基于非全局预增强的红外图像与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于非全局预增强的红外图像与可见光图像融合方法，在红外光背景弱能量条件下，考虑图像局部空间的形态学，采用更适合红外图像结构的模糊处理方法，将图像分解为目标区域，过渡区域以及背景区域，对背景区域进行基于FPDE算法的直方图增强，通过重构得到一幅增强图像。针对红外光与可见光图像各特征之间的差异设计了一种基于期望值最大算法和主成分分析的混杂融合策略。与现有技术相比，本发明具有更好的融合性能。

Description

一种基于非全局预增强的红外图像与可见光图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于非全局预增强的红外图像与可见光图像融合方法。

背景技术

可见光相机通常能够感应波长在380nm～780nm之间的可见光波段，因而可见光图像具有较高的对比度、空间分辨率和丰富的细节信息，也更加符合人眼成像系统的感知，然而另一方面，可见光成像十分依赖良好的成像环境，光照差、烟雾和其他一些障碍均能轻易地对可见光成像造成显著的影响。

在学术界，多年来研究人员基于不同的数学理论提出了各种融合算法。图像融合将多源传感器采集到的关于同一目标的源图像经过算法处理，最大程度提取人们感兴趣的信息，综合成一幅利用率高的增强图像。图像融合的目的是将来自红外光传感器和可见光传感器的两组源图像，通过融合算法分配不同的权重，得到一幅真实场景图像，最终的图像包含来自源图像中人类最感兴趣的信息，即可见光源图像提供人眼可以感知到的信息，红外源图像提供具有高热辐射的互补信息。红外光与可见光图像融合是应用最广泛的一个分支，主要被应用于军事监测、医学成像系统和无人驾驶领域等。其关键问题是如何最大限度地融合来自不同传感器的信息，使融合后的单一图像可以产生最真实场景的效果。因此，图像融合技术的关键是让融合后的图像最大程度反映源图像的互补信息。

为了实现这一目标，国内外的学者提出了许多图像融合方法，根据这些算法的理论，主要可以划分为非多尺度方法和多尺度方法。基于多尺度变换的方法主要考虑图像的层次分布，比如Durga等人提出的基于四阶偏微分方程(FPDE)的图像融合算法，通过FPDE算法将图像分为高频部分和低频部分，高频部分包含图像中边缘等细节信息，低频部分包括背景信息。进而验证了基于主成分分析算法(PCA)的融合策略更适合高频区域的处理，低频区域采用平均权重可以更快的完成融合任务。此外还有Li等人提出了基于潜在低秩分解的图像融合算法(MDlatLRR)，小波变换，引导滤波，非下采样shearlet变换等算法应用在图像融合领域。基于多尺度变换的方法的共同点是在源图像提取变换域中感兴趣的特征，将图像分解为不同尺度的子图像，对这些子图像采用适合的融合决策，重构得到真实场景图像。与其对应的是基于非多尺度的图像融合方法，例如Liu等人提出的基于稀疏表示算法的图像融合方法(JSR)，通过一种显著性检测模型，从源图像中获得冗余区域和互补信息，通过稀疏系数计算出的显著图来引导图像融合。随着深度学习的快速发展，将深度学习算法与图像融合技术结合成为了研究热点，Li等人提出的级联卷积神经网络Densefuse算法，利用一种由卷积层、融合层和密集块组成的编码网络提取图像的特征信息，再由解码网络重构得到融合后图像，其中每层的输出跳跃输入至下一层。类似的基于深度学习框架的图像融合算法还有ResNet，CNN，VggML，IFCNN。此外，许多学者开创性的将对抗生成网络应用在图像融合任务，比如FusionGAN，DDcGAN，MFF-GAN等。

由于在红外图像和可见光图像之间亮度响应存在巨大差异，光强较低的区域通常具有极低的对比度，当它们的亮度不互补时，来自红外图像的细节可能会降低可见光图像中的原始感知信息，直接对两幅图像进行融合会使融合后的图像在非互补区域的可见度较差，因此对红外光图像信息进行对比度增强来说是非常必要的。例如在无人驾驶领域，夜间道路的坑、树及某些障碍在可见光图像中可能不会清晰的反映出来，这就需要红外光的协助，但是这些物体的热辐射信息并不会很强，所以为了以帮助辅助驾驶在恶劣的照明条件下更准确的避让，提高融合图像的可见度是很有必要的。

到目前为止，许多学者已经提出了各种非线性增强算法来解决图像在某些场景下对比度低的问题。然而，虽然红外光图像的背景区域对比度低，但是显著区域对比度很高，并不需要强化。若对整幅红外光图像采用全局统一式强化规则，强化后的某些区域会过度曝光，且红外光纹理部分会产生光晕现象。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于非全局预增强的红外图像与可见光图像融合方法。

本发明的目的可以通过以下技术方案来实现：

一种基于非全局预增强的红外图像与可见光图像融合方法，该方法包括下列步骤：

S1：基于FRFCM算法，对红外图像进行掩膜处理，获取红外图像的背景区域图像以及细节图像，并对可见光图像进行映射运算，获取可见光的目标区域。具体地：

基于FRFCM算法，采用无监督学习方式将红外图像分割为背景区域、过渡区域和细节部分三个基本区域，将背景区域的掩膜图像与红外源图像在像素级相乘，得到红外图像背景区域的提取图像，利用红外源图像与背景区域进行减法运算，获取目标区域的提取图像；利用原始红外的目标区域对可见光图像映射，将红外图像的背景区域的掩膜图像与可见光图像在像素级相乘，获取可见光图像背景区域的提取图像，将其与可见光源图像相减获取目标区域的提取图像。

S2：基于FPDE的二值化直方图对红外图像的背景区域进行增强处理。具体内容为：

采用FPDE作为引导分解算法，将原始红外图像分为基础层图像和细节层图像：

IR_b＝FPDE(IR_original)

IR_d＝IR_original-IR_b

式中，FPDE为对源图像做低通滤波的函数，IR_original为原始红外图像，IR_b为基础层图像，IR_d为细节层图像；

按照下式对基础层图像IR_b根据门限进行直方图二值化处理：

G＝(S_max-S_min)*β+S_min

式中，G为二值化直方图门限，S_max和S_min分别为基础层图像的直方图中的最大值与最小值，β为范围为0到1的参数，决定图像中无效像素值的比例。

S3：对可见光源图像和增强后的红外图像，分别根据人类对图像局部变换敏感的视觉特性，建立相应的FPDE能量泛函，将各图像分解为高频细节区域与低频背景区域。

S4：对低频的可见光图像和低频的红外图像获取低频分量的融合结果。具体地：

首先建立图像融合模型：

S_N(X,j)＝α(X,j)S_N(F,j)+β(X,j)+ε(X,j)

式中，X＝A或B表示红外传感器标记或可见光传感器标记；j＝(x,y)表示原图像X的像素点位置；S_N(F,j)为融合后的低频图像在j处的像素值；α(X,j)＝±1或0为传感器的分布系数，表示各个传感器的参与积极程度；ε(X,j)表示随机噪声，服从K项混合高斯分布的概率密度函数：

式中，λ_k,X(j)为K项高斯分布的权值，用以表征分布特征倾向于某种高斯分布的程度，

为各项高斯分布的方差；

将完全观测数据Y_c定义为：

Y_c＝{(S_N(X,l),k(X,l)):X＝AorB；l＝1,…,L}

式中，k(X,l)表示在高斯混合分布密度函数中，产生S_N的附加随机噪声的项，待估计参数的综合F记为：

其边缘概率密度函数为：

式中，h_c(S_N(X,l),k(X,l)|F)为在参数条件F下对不完全数据Y_c的边缘概率密度函数；采用每次更新后的参数S′_N(F,l)、α′(X)、λ′_k,X、σ′_k,X和β′)X)重复步骤S1～S4，当参数值收敛到一个确定小的范围，停止迭代并进行下一个窗口区域的计算；当扫描完低频分量所有的像素点位置时，获取低频分量的融合结果S′_N(F,l)。

S5：对高频的可见光图像和高频的红外图像获取高频分量的融合结果。即将高频的可见光图像与高频红外光图像进行PCA变换，并根据向量特征值排序依次得到主分量，再将高频图像与进行直方图匹配，通过相加得到融合后的高频图像。

具体地，从高频的可见光图像和高频的红外图像的窗口中提取像素并拼接一个维数为MN*2的数组X，计算均值向量，即数组数学期望，其被定义为：

其中，K＝M×N，由协方差定义公式C_x＝E{(x-m_x)(x-m_x)^T}可得，对于M矢量作随机抽样，并求其协方差矩阵得：

设e_i和λ_i(i＝1,2,...，N)为C_x的特征向量和对应的特征值，其逆序排列，使得λ_j≥λ_j+1，j＝1，2，...n-1；构造一个矩阵A，使其第一行为C的最大特征值对应的特征向量，最后一行为C的最小特征值对应的特征向量；经过主成分变换后的Y中向量的期望为0；随后通过A和C_x求得y的协方差矩阵：

C_y＝A·C_x·A^T

找出C_y最大特征值λ_max＝max(λ₁，λ₂)，将λ_max对应的特征向量作为最大的特征向量e_max，通过下式对e_max的主成分分量P₁和P₂进行归一化：

利用主成分分析确定的权值得到亮度方差最大的融合图像，即高频融合图像D_fuse：

S6：将获取的低频分量的融合结果与高频分量的融合结果进行重构，获取最终的融合图像。

本发明提供的基于非全局预增强的红外图像与可见光图像融合方法，相较于现有技术至少包括如下有益效果：

本发明在红外光背景弱能量条件下，考虑图像局部空间的形态学，采用更适合红外图像结构的模糊处理方法，将图像分解为目标区域，过渡区域以及背景区域，对背景区域进行基于FPDE算法的直方图增强，通过重构得到一幅增强图像；红外图像的背景区域的增强效果显著，且不存在部分区域过度曝光的问题，也没有出现红外光纹理部分产生光晕的现象；由于靠近低通的高频分量的频率较低，若对两幅源图像的不同区域直接融合，将导致边缘信息丢失或损失高频细小特征，且融合后图像整体不自然。此外低频分量对图像细节的表达能力较差，融合时会产生图像畸变等现象。基于此，针对红外光与可见光图像各特征之间的差异设计了一种基于期望值最大算法和主成分分析的混杂融合策略，与现有其他融合方法相比，具有更好的融合性能。

附图说明

图1为实施例中本发明基于非全局预增强的红外图像与可见光图像融合方法的流程框图；

图2为实施例中可视化红外光背景增强过程，其中(a)列为4组IR源图像，(b)列、(c)列为模糊分解过程，(d)列、(e)列为增强过程，(f)列为最终强化图像。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明提供一种基于非全局预增强的红外图像与可见光图像融合方法，该方法主要分为两个阶段：首先，通过FRFCM的方法对红外光图像中的区域特征模糊化，从而可以将背景区域和目标区域划分为两部分，然后将红外光源图像中低频背景信息基于FPDE和直方图进行强化，细节区域保持原有的灰度。进而可以更好的兼顾红外图像和可见光图像间的结构差异，在保留红外的热辐射信息的同时，最大程度融入可见光的细节信息。

由于可见光图像对比度低，无法直接用FRFCM提取出与红外图像对应的目标区域，因此本发明对红外图像进行掩膜处理，然后与可见光图像进行映射运算，得到可见光的目标区域，如图1所示，本发明方法具体包括以下步骤：

1、预融合图像的生成：

虽然传统的FCM在无相似信息干扰图像的分类效果很好，但它们只考虑像素的灰度信息，会导致属于路灯、树木等其他与目标相似的区域将被FCM错误分类。为了解决过度分割的问题，FRFCM(基于形态学重建和过滤改进的FCM算法)模型在聚类之前引入局部空间信息分割，对图像的分布特性进行优化，给目标函数增加了非局部空间约束，使图像的直方图分布更有利于聚类，可以抑制这类相似背景的干扰。将红外图像分割参数设置为clustering number c＝2，即把图像分为两类。进而，通过二值化的方法对红外源图像中高能量的显著目标区域和低能量的背景区域进行掩膜，对于不同的i∈c，设置0或者1。i＝1代表背景区域，比如天空，地面，树木等热辐射较低的区域，这部分的像素值设置为0。i＝2代表目标区域，比如人，路灯等一些热辐射较高的区域，这部分的像素值设置为1，这一区域的灰度均值比背景区域的灰度均值高。

然后，将背景区域的掩膜图像与红外光源图像在像素级相乘，可以得到红外图像背景区域的提取图像

用红外源图像与背景区域

进行减法运算，得到目标区域的提取图像

由于可见光图像的目标热辐射较低，若直接对其分割，会丢失大部分细节。因此利用原始红外的目标区域对可见光图像映射，将红外光的背景区域的掩膜图像与可见光图像像素级相乘，得到可见光图像背景区域的提取图像

并与源图像相减获得目标区域的提取图像

在映射过程中，可见光图像的显著目标区域和背景区域通过掩膜被反转，实现对源图像的分割。

基于FCM的背景特征建模过程具体如下：

红外图像IR可以被表示为X＝{x₁,x₂,...,x_N}，其中，x_j为样本元素，即第j个像素点的灰度值。N是红外图像X中的总像素数。在划分为i类模糊隶属度的条件下，可以用数学规划的方法求解满足要求的聚类结果，定义目标函数J_FRFCM为：

其中c个子集表示为V＝{v₁,v₂,...,v_c}，

为隶属度划分矩阵，

表示红外图像中像素x_i的灰度值l对应第i类的模糊隶属度；||ξ_l-v_k||²为ξ_l到样本中心v_k的欧氏距离。参数m是每个模糊隶属度上的加权指数，用于确定分类结果的模糊度，它决定分类结果的模糊程度，m∈[1，∞)，其值越大分类越模糊。

在FRFCM的分类任务下一般取m＝2。γ_l为图像中灰度值等于l的个数，且

ξ_l为线性加权图像(linearly-weighted sum image)因子，由原始图像及其局部邻域平均图像预先形成的，表示为：

其中，x_l代表像素位置l处的像素值(l＝1,2,3...,q)，N_R代表x_l的邻域L*L窗口像素的集合，α是一个很关键的参数，用来权衡图像与其对应的均值滤波图像之间的关系，当α＝0时，参数ξ_l无效，等同于传统的FCM。当α→∞时，获得的聚类为FCM经过中值滤波后的结果。对于上述数学规划问题，采用拉格朗日乘数法得到最小值。通过引入参数λ_j(j＝1,2,3...,r)，将目标函数与约束条件组合成新的函数：

其中，

代表隶属度矩阵。反复迭代更新聚类中心，同时更新隶属度矩阵。直到更新后的隶属度矩阵和先前矩阵满足ε＝0.0001时，算法停止迭代，最大迭代次数为100次。在此过程中目标函数J一直在变化，同时

和v_i也在更新。当J逐渐趋向稳定值的时候就认为算法收敛，此时得到群集中心和隶属度矩阵。本发明将红外图像分割为三个基本区域：R₁、R₂、R₃，分割结果反映在分割图像中，R₁代表黑色区域(背景区域)，R₂代表灰色区域(过渡区域)，R₃代表白色区域(细节部分)。通过与源图像做乘运算，可以得到背景区域的图像以及细节图像。

2、细节区域分解：

从视觉角度分析，图像中低频分量包含了背景信息，这部分的图像主要提供与源图像近似的特征，称为近似图像。高频分量的纹理信息主要提供细节或边缘的梯度组成，称为细节图像。由于靠近低通的高频分量的频率较低，若对两幅源图像的不同区域直接融合，将导致边缘信息丢失或损失高频细小特征，且融合后图像整体不自然。此外低频分量对图像细节的表达能力较差，融合时会产生图像畸变等现象。因此需要对增强后的IR图像(红外图像)和VIS源图像(可见光图像)，根据人类对图像局部变换敏感的视觉特性，建立相应的FPDE能量泛函，将图像分解为高频细节区域与低频背景区域。

与一般的频域数字图像处理工具不同，基于偏微分方程的方法(PDE)是将图像视为连续的对象。通过对图像进行无穷小运算的迭代，可以使图像的分解更加准确。FPDE方法的基本思想是在保持源图像的原有信息的基础上，对图像进行平滑化，达到某种程度的最优化。根据人类对图像局部变换敏感的视觉特性，建立相应的能量泛函，进而将图像分解过程转化为求能量泛函极小的问题。首先，为了找到能量泛函的极小值，在Ω集下的连续图像空间中建立能量泛函。进而，源图像经过边保留分解过程被分解得到近似图像(SAVIS，SAIR)。

本发明提出使用基于四阶偏微分方程(FPDE)的二值化直方图处理来自适应增强红外图像的背景区域。由于FPDE具有良好的平滑和边缘保持特性，且具有很好的实时性。采用FPDE作为引导分解算法，将原始红外图像分为基础层图像和细节层图像：

IR_b＝FPDE(IR_original)

IR_d＝IR_original-IR_b

上方两个公式中，FPDE为对源图像做低通滤波的函数，IR_original代表原始图像，IR_b为基础层图像，IR_d为细节层图像。基础层IR_b图像包含原始图像较为丰富的场景信息。对红外光背景区域IR_b二值化直方图门限G，如下式所示：

G＝(S_max-S_min)*β+S_min

式中，S_max和S_min分别为基础层图像直方图中的最大值与最小值。β是范围为0到1的参数，决定图像中无效像素值的比例。通常认为95％置信区间内的灰度值为有效的，其余5％灰度值为无效，因此上式中的β值设置为0.05。

图2示出了本发明可视化红外光背景增强过程。其中(a)列为4组IR源图像，(b)、(c)为模糊分解过程，(d)、(e)为增强过程，(f)为最终强化图像。根据图2可知，红外图像的背景区域的增强效果显著，且不存在部分区域过度曝光的问题，也没有出现红外光纹理部分产生光晕的现象。

3、融合策略：

由于背景和目标区域的图像结构不同，若直接进行融合会导致部分信息丢失，所以针对FPDE分解后的图像，制定适合图像结构，且快速的融合策略。对于目标区域，要考虑如何最大程度的保持红外光图像的高亮度信息，同时融入可见光图像的纹理细节信息。基于统计模型的图像融合方法能够降低噪声对融合结果的影响，增强融合图像的信噪比，因此这种算法可以减少可见光图像的噪声干扰，且不会造成明显的人为处理痕迹，所以这种统计模型非常适合作为目标区域的融合策略。然而，图像的统计特性近似服从高斯混合模型，如果将图像的通频带部分信号模拟成噪声，容易造成融合结果中高频信息的损失。所以假定图像的统计分布为非高斯分布的(高斯混合分布)。同时根据不同的传感器对场景的偏移不同，在图像的形成模型中加入成像传感器的偏移参数。以像素j为中心的5×5邻域大小的窗口，即整幅图像的处理通过滑动窗口的方式进行。将得到的新参数重新代入预融合图像的生成步骤以及细节区域分解步骤进行迭代。上述迭代过程中，当参数收敛趋于稳定，确定低频分量融合得到的目标区域图像。对于红外光与可见光图像背景区域中高频分量的融合，选取采用一种基于主成分分析(PCA)算法。主成分分析的降维处理方式应用在图像处理上往往容易获得大尺度下的纹理和细节信息。因此，将PCA应用于背景区域的融合，可以很好地对背景区域中的细节、线条和边缘进行捕捉，从而保留图像的主要的细节信息。

具体地，首先，本发明建立图像融合模型如下：

S_N(X,j)＝α(X，j)S_N(F，j)+β(X，j)+ε(X，j)

其中X＝A或B表示红外或可见光传感器标记；j＝(x,y)表示原图像X的像素点位置。S_N(F，j)为融合后的低频图像在j处的像素值，是个待估计参数；α(X，j)＝±1或0是指传感器的分布系数，表示各个传感器的参与积极程度。ε(X,j)表示随机噪声，服从K项混合高斯分布的概率密度函数：

其中，λ_k,X(j)是K项高斯分布的权值，用以表征分布特征倾向于某种高斯分布的程度，

是各项高斯分布的方差。σ_k,X(j)是各项高斯分布的标准差。

将完全观测数据Y_c定义如下：

Y_c＝{(S_N(X,l),k(X,l)):X＝AorB；l＝1，…，L}

其中，k(X,l)表示在高斯混合分布密度函数中，产生S_N的附加随机噪声的项。待估计参数的综合F记为：

其边缘概率密度函数为：

其中，h_c(S_N(X，l)，k(X,l)|F)是在参数条件F下对不完全数据Y_c的边缘概率密度函数。使用每次更新后的参数S′_N(F，l)、α′(X)、λ′_k，X、σ′_k，X和β′(X)重复计算预融合图像的生成步骤以及细节区域分解步骤。当参数值收敛到一个确定小的范围，停止迭代并进行下一个窗口区域的计算。当扫描完低频分量所有的像素点位置时，也就求得了低频分量的融合结果S′_N(F,l)。

通过计算出相对原样本极少的主分量，替换掉原样本的全部维度，尽可能地对原数据进行表示，而且彼此之间互不相关，进而实现数据的降维，将高频的可见光图像S_VIS·D(i，j)与高频红外光图像S_IR·D(i,j)进行PCA变换，并根据向量特征值排序依次得到主分量P₁,P₂，再将高频图像与P₁,P₂进行直方图匹配，通过相加得到融合后的高频图像。具体地：

首先，从两种高频图像的窗口中提取像素并拼接一个维数为MN*2的数组X，然后计算均值向量，也就是数组数学期望，其被定义为：

其中，K＝M×N。由协方差定义公式C_x＝E{(x-m_x)(x-m_x)^T}可得，对于M矢量作随机抽样，并求其协方差矩阵得：

设e_i和λ_i(i＝1,2,...,N)是C_x的特征向量和对应的特征值，其逆序排列，使得λ_j≥λ_j+1,j＝1,2,...n-1。构造一个矩阵A，使其第一行为C的最大特征值对应的特征向量，最后一行为C的最小特征值对应的特征向量。经过主成分变换后的Y中向量的期望为0。接下来通过A和C_x求得y的协方差矩阵：

C_y＝A·C_x·A^T

找出C_y最大特征值λ_max＝max(λ₁,λ₂)，将λ_max对应的特征向量看作是最大的特征向量e_max，通过下列式子对e_max的主成分分量P₁和P₂进行归一化：

利用主成分分析确定的权值可以得到一幅亮度方差最大的融合图像，即高频融合图像D_fuse：

将按照上述方法得到的低频融合图像与高频融合图像重构后，获取最终增强的融合图像。

本发明在红外光背景弱能量条件下，考虑图像局部空间的形态学，采用更适合红外图像结构的模糊处理方法，将图像分解为目标区域，过渡区域以及背景区域，对背景区域进行基于FPDE算法的直方图增强，通过重构得到一幅增强图像；红外图像的背景区域的增强效果显著，且不存在部分区域过度曝光的问题，也没有出现红外光纹理部分产生光晕的现象；由于靠近低通的高频分量的频率较低，若对两幅源图像的不同区域直接融合，将导致边缘信息丢失或损失高频细小特征，且融合后图像整体不自然。此外低频分量对图像细节的表达能力较差，融合时会产生图像畸变等现象。基于此，针对红外光与可见光图像各特征之间的差异设计了一种基于期望值最大算法和主成分分析的混杂融合策略，与现有其他融合方法相比，具有更好的融合性能。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，包括下列步骤：

1)基于FRFCM算法，对红外图像进行掩膜处理，获取红外图像的背景区域图像以及细节图像，并对可见光图像进行映射运算，获取可见光的目标区域；

2)基于FPDE的二值化直方图对红外图像的背景区域进行增强处理；

3)对可见光源图像和增强后的红外图像，分别根据人类对图像局部变换敏感的视觉特性，建立相应的FPDE能量泛函，将各图像分解为高频细节区域与低频背景区域；

4)对低频的可见光图像和低频的红外图像获取低频分量的融合结果；

5)对高频的可见光图像和高频的红外图像获取高频分量的融合结果；

6)将获取的低频分量的融合结果与高频分量的融合结果进行重构，获取最终的融合图像。

2.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤1)的具体内容为：

基于FRFCM算法，采用无监督学习方式将红外图像分割为背景区域、过渡区域和细节部分三个基本区域，将背景区域的掩膜图像与红外源图像在像素级相乘，得到红外图像背景区域的提取图像，利用红外源图像与背景区域进行减法运算，获取目标区域的提取图像；利用原始红外的目标区域对可见光图像映射，将红外图像的背景区域的掩膜图像与可见光图像在像素级相乘，获取可见光图像背景区域的提取图像，将其与可见光源图像相减获取目标区域的提取图像。

3.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，基于FPDE的二值化直方图对红外图像的背景区域进行增强处理的具体内容为：

采用FPDE作为引导分解算法，将原始红外图像分为基础层图像和细节层图像：

IR_b＝FPDE(IR_original)

IR_d＝IR_original-IR_b

式中，FPDE为对源图像做低通滤波的函数，IR_original为原始红外图像，IR_b为基础层图像，IR_d为细节层图像；

按照下式对基础层图像IR_b根据门限进行直方图二值化处理：

G＝(S_max-S_min)*β+S_min

式中，G为二值化直方图门限，S_max和S_min分别为基础层图像的直方图中的最大值与最小值，β为范围为0到1的参数，决定图像中无效像素值的比例。

4.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤4)的具体内容为：

首先建立图像融合模型：

S_N(X,j)＝α(X,j)S_N(F,j)+β(X,j)+ε(X,j)

式中，X＝A或B表示红外传感器标记或可见光传感器标记；j＝(x,y)表示原图像X的像素点位置；S_N(F,j)为融合后的低频图像在j处的像素值；α(X,j)＝±1或0为传感器的分布系数，表示各个传感器的参与积极程度；ε(X,j)表示随机噪声，服从K项混合高斯分布的概率密度函数：

式中，λ_k,X(j)为K项高斯分布的权值，用以表征分布特征倾向于某种高斯分布的程度，

为各项高斯分布的方差；

将完全观测数据Y_c定义为：

Y_c＝{(S_N(X,l),k(X,l)):X＝AorB；l＝1,…,L}

式中，k(X,l)表示在高斯混合分布密度函数中，产生S_N的附加随机噪声的项，待估计参数的综合F记为：

其边缘概率密度函数为：

式中，h_c(S_N(X,l),k(X,l)|F)为在参数条件F下对不完全数据Y_c的边缘概率密度函数；采用每次更新后的参数S′_N(F,l)、α′(X)、λ′_k,X、σ′_k,X和β′(X)重复步骤1)～步骤4)，当参数值收敛到一个确定小的范围，停止迭代并进行下一个窗口区域的计算；当扫描完低频分量所有的像素点位置时，获取低频分量的融合结果S′_N(F,l)。

5.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤5)中，将高频的可见光图像与高频红外光图像进行PCA变换，并根据向量特征值排序依次得到主分量，再将高频图像与进行直方图匹配，通过相加得到融合后的高频图像。

6.根据权利要求5所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤5)的具体内容为：

从高频的可见光图像和高频的红外图像的窗口中提取像素并拼接一个维数为MN*2的数组X，计算均值向量，即数组数学期望，其被定义为：

其中，K＝M×N，由协方差定义公式C_x＝E{(x-m_x)(x-m_x)^T}可得，对于M矢量作随机抽样，并求其协方差矩阵得：

设e_i和λ_i(i＝1,2,...,N)为C_x的特征向量和对应的特征值，其逆序排列，使得λ_j≥λ_j+1,j＝1,2,...n-1；构造一个矩阵A，使其第一行为C的最大特征值对应的特征向量，最后一行为C的最小特征值对应的特征向量；经过主成分变换后的Y中向量的期望为0；随后通过A和C_x求得y的协方差矩阵：

C_y＝A·C_x·A^T

找出C_y最大特征值λ_max＝max(λ₁,λ₂)，将λ_max对应的特征向量作为最大的特征向量e_max，通过下式对e_max的主成分分量P₁和P₂进行归一化：

利用主成分分析确定的权值得到亮度方差最大的融合图像，即高频融合图像D_fuse：

Images