CN108986057A - 一种基于四阶偏微分和期望值最大的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于四阶偏微分和期望值最大的图像融合方法，该方法采用四阶偏微分方程将已配准的源图像进行分解，得到近似图像和细节图像，对近似图像采用基于PCA的融合规则来得到高频分量，对细节图像采用基于EM的融合规则来得到低频分量，最后通过组合最终的高频分量和低频分量来重构得到最终的融合结果。与现有技术相比，本发明所获得的融合图像在主观视觉及客观评价指标上具有更高的质量，能够获得更好的融合效果。

Description

一种基于四阶偏微分和期望值最大的图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于四阶偏微分和期望值最大的图像融合方法。

背景技术

多源图像融合技术可明显地改善单一传感器的不足，它能够综合利用来自不同传感器采集到的多特征图像，提高结果图像的清晰度及信息包含量，输出一幅适合计算机进一步分析和处理的融合图像，更符合人类的视觉感受。融合方法根据多尺度融合技术进一步被分为三大类别，分别是基于金字塔变换、小波变换和边缘保留分解的方法。过去的融合算法大多基于拉普拉斯金字塔、梯度金字塔、小波变换等，在图像分解过程中不能有效的保留源图像边缘信息和局部特征。而基于偏微分方程的图像融合方法不仅能够处理重要的几何信息，还能很好的保持图像的局部特征，但基于二阶偏微分方程的融合方法很容易产生块状效应或伪轮廓，视觉效果不够明显，不利于其在更多领域的广泛应用。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于四阶偏微分和期望值最大的图像融合方法。

本发明的目的可以通过以下技术方案来实现：

一种基于四阶偏微分和期望值最大的图像融合方法，该方法包括以下步骤：

一、对源图像进行基于FPDE的分解，获取近似图像和细节图像；

101)将源图像S_VI和S_IR分别进行基于FPDE的分解，FPDE过程保留源图像的低频成分作为近似图像

在Ω集下的连续图像空间中建立以下能量泛函E(u)：

式中，u为源图像的强度函数；

建立梯度下降函数对能量泛函进行求解，对源图像的强度函数u执行FPDE进程：

式中，为扩散系数分布函数，为拉普拉斯算子，c为扩散系数；

对梯度下降函数采用迭代方法进行数值求解，由求解得到的图像强度获取相应的近似图像求解公式为：

式中，为在n+1次迭代和在(i，j)像素位置处的较粗分辨率的图像强度，取决于其先前的n次尺度图像强度Δt为步长，为对图像空间网格大小为h的函数执行的拉普拉斯算子。

102)从源图像中减去近似图像来计算得到细节图像即：

二、采用PCA方法对近似图像进行融合，获取融合后的高频分量：

201)将细节图像作为矩阵γ的列向量；

202)将矩阵γ的每一列作为变量，每一行作为观察值，获取协方差矩阵C_γγ；

203)计算特征值λ₁、λ₂和C_γγ的特征向量和

204)找出最大特征值λ_max，将λ_max对应的特征向量作为最大特征向量φ_max，对φ_max的主成分分量P₁和P₂进行归一化；

205)将主成分分量P₁和P₂作为权重进行细节图像信息融合，获取高频分量S^A。

三、采用EM算法对细节图像进行融合，获取融合后的低频分量：

301)建立与传感器的敏感系数、噪声、成像传感器的偏移有关的低频融合的图像模型；

图像模型的表达式为：

I_X(j)＝α_X(j)Z(j)+β_x(j)+ε_X(j)

式中：X为待处理细节图像，j为在低频带中的像素位置，I_X(j)为图像X在第j个像素处的低频带，α_X(j)＝±1或0为传感器选择因子，Z(j)为第j个像素的最佳融合低频带，β_X(j)为传感器的偏移变量，ε_X(j)为随机噪声。

302)初始化模型参数；

假设真实场景为S，初始化S为：

式中，l为初始化后的像素位置；

传感器的偏移量为：

式中，L为各传感器的局部窗口，L＝h×h。

303)计算模型的高斯分布第k项的条件概率密度：

式中，λ_k,X为k项高斯分布的权重，为高斯分布的方差，λ_p,X、为模型参数。

304)利用高斯分布第k项的条件概率密度更新图像模型参数；

更新传感器选择因子α_X，在{-1，0，1}中选择使极大似然函数Q值最大的α_X值：

式中，K为高斯分布的项数。

305)根据更新参数后的图像模型获取最佳低频分量S^D。

四、将融合得到的高频分量和低频分量进行组合，获取重构的融合图像S_F。

S_F＝S^A+S^D

与现有技术相比，本发明将源图像进行分解，在不同尺度上描述图像并获取融合图像，通过对近似图像采用基于PCA的融合规则进行融合，对细节图像采用基于期望值最大的融合规则进行融合，并对融合后的高、低频分量进行组合，能有效的保留源图像边缘信息和局部特征，获取的最终图像能反映更丰富的细节信息，具有更好的视觉效果，有利于推动在军事和夜视等多个领域的应用。

附图说明

图1为本发明方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，本发明涉及一种基于四阶偏微分和期望值最大的图像融合方法，该方法对两个视觉源进行有效融合，具体包括以下步骤：

S1：将每一幅源图像分别进行基于FPDE的分解，得到近似图像和细节图像，具体包括以下步骤：

步骤1-1：将源图像S_VI和S_IR分别进行基于FPDE(fourth-order partialdifferential equation，四阶偏微分方程)的分解，FPDE过程保留源图像的低频成分作为近似图像

的表达式分别为：

获取的具体过程为：

首先在Ω集下的连续图像空间中建立以下能量泛函：

建立如下式的梯度下降函数来求解：

式中，是对源图像的强度函数u执行的FPDE进程。

表示扩散系数分布函数，扩散系数分布函数被称为“边界处停止平滑函数”，用来保持边缘。是拉普拉斯算子，c是扩散系数，一般取为：

其中，b为常数，m为变量。

对式(4)采用以下迭代方法进行数值求解：

式中，为在n+1次迭代和在(i，j)像素位置处的较粗分辨率的图像强度，取决于其先前的n次尺度图像强度Δt是步长，是对图像空间网格大小为h的函数执行的拉普拉斯算子。由图像强度获取近似图像

步骤1-2：从源图像中减去近似图像来计算得到细节图像

细节图像的计算公式为：

S2：对近似图像采用PCA(Principal Component Analysis，主分量分析)方法进行融合，得到融合后的高频分量S^A；PCA融合按照以下步骤操作：

步骤2-1：将看做矩阵γ的列向量；

步骤2-2：将γ的每一列看做是变量，每一行看做是观察值，找出它的协方差矩阵C_γγ；

步骤2-3：计算特征值λ₁、λ₂和C_γγ的特征向量和

步骤2-4：找出最大特征值λ_max，将λ_max对应的特征向量看做是最大的特征向量φ_max，对φ_max的主成分分量P1和P2进行归一化；

步骤2-5：将这些主成分分量P1和P2做为权重来融合细节图像信息，得到最终的高频分量S^A。

S3：对细节图像采用EM算法(Expectation Maximization Algorithm，期望值最大算法)得到融合后的低频分量S^D：

步骤3-1：建立与传感器的敏感系数、噪声、成像传感器的偏移有关的低频融合的图像模型，模型的表达式为：

I_X(j)＝α_X(j)Z(j)+β_X(j)+ε_X(j) (8)

式中：X为1或2，表示待处理细节图像1或2；j表示在低频带中的像素位置；I_X(j)表示图像X在第j个像素处的低频带，α_X(j)＝±1或0表示传感器选择因子；Z(j)表示第j个像素的最佳融合低频带；β_X(j)是传感器的偏移变量，即图像的偏差，反映了低频图像的平均值；ε_X(j)是随机噪声。

步骤3-2：初始化模型参数；

假设真实场景为S，初始化S为

式中，l表示初始化后的像素位置。

传感器的偏移量为：

式中，L＝h×h，为各传感器的局部窗口。

步骤3-3：计算条件概率密度，即计算在参数以及待处理细节图像给定的情况下，混合高斯分布第k项的条件概率密度：

式中，λ_k,x为k项高斯分布的权重，为高斯分布的方差，λ_p,X、为模型参数。

步骤3-4：更新参数α_X，在{-1，0，1}中选择使极大似然函数Q值最大的α_X值：

式中，K为高斯分布的项数。

步骤3-5：根据步骤3-2、步骤3-4确定的相关参数，由式(8)、(9)估算出更新后的场景S，即为最佳低频分量S^D。

S4：将低频分量S^D和高频分量S^A进行组合，得到重构的最终融合图像S_F。

S_F＝S^A+S^D (13)

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，该方法包括以下步骤：

1)对源图像进行基于FPDE的分解，获取近似图像和细节图像；

2)采用PCA方法对近似图像进行融合，获取融合后的高频分量；

3)采用EM算法对细节图像进行融合，获取融合后的低频分量；

4)将融合得到的高频分量和低频分量进行组合，获取重构的融合图像。

2.根据权利要求1所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤1)具体包括以下步骤：

101)将源图像S_VI和S_IR分别进行基于FPDE的分解，FPDE过程保留源图像的低频成分作为近似图像

102)从源图像中减去近似图像来计算得到细节图像

3.根据权利要求2所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤101)的具体内容为：

在Ω集下的连续图像空间中建立以下能量泛函E(u)：

E(u)＝∫_Ωf(|▽²u|)dxdy

式中，u为源图像的强度函数；

建立梯度下降函数对能量泛函进行求解，对源图像的强度函数u执行FPDE进程：

式中，c(|▽²u|)为扩散系数分布函数，▽²为拉普拉斯算子，c为扩散系数；

对梯度下降函数采用迭代方法进行数值求解，由求解得到的图像强度获取相应的近似图像求解公式为：

式中，为在n+1次迭代和在(i，j)像素位置处的较粗分辨率的图像强度，取决于其先前的n次尺度图像强度Δt为步长，为对图像空间网格大小为h的函数执行的拉普拉斯算子。

4.根据权利要求3所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤102)中，细节图像的计算公式为：

5.根据权利要求4所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤2)具体包括以下步骤：

201)将细节图像作为矩阵γ的列向量；

202)将矩阵γ的每一列作为变量，每一行作为观察值，获取协方差矩阵C_γγ；

203)计算特征值λ₁、λ₂和C_γγ的特征向量和

204)找出最大特征值λ_max，将λ_max对应的特征向量作为最大特征向量φ_max，对φ_max的主成分分量P₁和P₂进行归一化；

205)将主成分分量P₁和P₂作为权重进行细节图像信息融合，获取高频分量S^A。

6.根据权利要求5所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤3)具体包括以下步骤：

301)建立与传感器的敏感系数、噪声、成像传感器的偏移有关的低频融合的图像模型；

302)初始化模型参数；

303)计算模型的高斯分布第k项的条件概率密度；

304)利用高斯分布第k项的条件概率密度更新图像模型参数；

305)根据更新参数后的图像模型获取低频分量S^D。

7.根据权利要求6所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤301)中，图像模型的表达式为：

I_X(j)＝α_X(j)Z(j)+β_X(j)+ε_X(j)

式中：X为待处理细节图像，j为在低频带中的像素位置，I_X(j)为图像X在第j个像素处的低频带，α_X(j)＝±1或0为传感器选择因子，Z(j)为第j个像素的最佳融合低频带，β_X(j)为传感器的偏移变量，ε_X(j)为随机噪声。

8.根据权利要求7所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤302)的具体内容为：

假设真实场景为S，初始化S为：

式中，l为初始化后的像素位置；

传感器的偏移量为：

式中，L为各传感器的局部窗口。

9.根据权利要求8所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤303)中，高斯分布第k项的条件概率密度的表达式为：

式中，λ_k,X为k项高斯分布的权重，为高斯分布的方差，λ_p,X、为模型参数。

10.根据权利要求9所述的一种基于四阶偏微分和期望值最大的图像融合方法，其特征在于，步骤304)的具体内容为：

更新传感器选择因子α_X，在{-1，0，1}中选择使极大似然函数Q值最大的α_X值，Q的表达式为：

式中，K为高斯分布的项数。