CN112102216B

CN112102216B - 自适应权重的全变差图像融合方法

Info

Publication number: CN112102216B
Application number: CN202010967783.6A
Authority: CN
Inventors: 闵莉花; 罗群女; 张俊康; 崔强
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2022-08-12
Anticipated expiration: 2040-09-15
Also published as: CN112102216A

Abstract

本发明为解决基于固定权重的变分融合方法存在易丢失诸如对比度、纹理等细节特征的问题，提出了一种自适应权重的全变差图像融合方法，属于图像处理的技术领域。通过Legendre‑Fenchel变换将本发明模型转换为鞍点问题，进而在原始对偶算法框架下数值求解该模型，并对融合模型利用MATLAB进行仿真实验，得到融合图像，用峰值信噪比、结构相似度、交叉熵作为评价指标，其中峰值信噪比和结构相似度的数值与图像融合效果成正比，为值越大，图像融合效果越好，而交叉熵为值越小，图像融合效果越好。本发明能最大限度地保留输入图像的细节信息和亮度信息，与其他方法相比较，得到更为精确的融合结果。

Description

自适应权重的全变差图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自适应权重的全变差图像融合方法。

背景技术

随着不同成像技术的发展，图像融合已成为近二十年来的一个重要课题。它是将一个场景的两个或多个源图像融合成一个复合图像，使融合的图像包含更详细的视觉信息。根据融合信息的不同程度，图像融合方法通常分为像素级方法，特征级方法和决策级方法。

在像素级方法中，获取融合图像的一个简单方法是使用输入源图像的像素加权平均，但为了从输入源图像中提取更多有用的信息，近年来变分方法在处理图像融合问题时被广泛应用，比如：Wang等人提出了一种基于TV正则项和加权数据保真项的多聚焦图像融合与去噪的变分模型，该模型通过计算源图像的局部平均梯度模量得到权函数，但该模型融合后的图像存在人工伪影。基于此，Pock等人引入了广义总变分(TGV)正则项和加权Huber范数的保真项用于图像融合。最近，Wang和Yang提出了一种新的基于梯度权函数的二阶TGV多聚焦图像和医学图像融合的方法。尽管该方法能够有效保留源图像更多的细节信息，但融合结果仍会产生人工伪影。注意到，上述方法中使用的权函数仅仅是基于源图像计算所得，因此在融合过程中，不可避免地会丢失对比度、亮度等其他细节信息。

发明内容

针对现有技术的不足，本发明的目的是提供了一种自适应权重的全变差图像融合方法，通过全变差图像融合模型对所述的源图像进行融合，得到对应的图像融合结果，再用峰值信噪比、结构相似度、交叉熵作为评价指标，其中峰值信噪比和结构相似度的数值与图像融合效果成正比，为值越大，图像融合效果越好，而交叉熵为值越小，图像融合效果越好，最大限度地保留输入图像的细节信息和亮度信息，得到更为精确的融合结果。

本发明提供一种自适合权重的全变差图像融合方法，所述方法包括如下步骤：

步骤一：获取输入的待融合源图像。

步骤二：基于输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型。

步骤三：采用所构建的全变差图像融合模型对所述的源图像进行融合，得到对应的图像融合结果，再用峰值信噪比(PSNR)、结构相似度(SSIM)、交叉熵(CE)作为评价指标，其中峰值信噪比和结构相似度的数值与图像融合效果成正比，为值越大，图像融合效果越好，而交叉熵为值越小，图像融合效果越好。

进一步地，在构建自适应权重的全变差图像融合模型过程中，包括：基于方差最大化方法，引入输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型。

进一步地，所述自适应权重的全变差图像融合模型为：

其中，u表示融合图像，f_i表示源图像，g表示源图像的平均亮度，K表示所有源图像的局部协方差矩阵，w表示权重函数，m表示所有源图像的局部均值，α₁∫_Ω|Du|表示融合图像u的全变差正则项，

为数据保真项，∫_Ω|Dw|表示权重函数的全变差正则项，

和

分别保证了融合后图像的方差最大以及保留了源图像的平均亮度，

是为了保证变量w的函数凸性。

进一步地，所述的自适应权重的全变差图像融合模型的最优解是采用原始对偶算法求解得到。

进一步地，所述采用原始对偶算法求解得到全变差图像融合模型的最优解，包括：

通过使用Legendre-Fenchel变换，将全变差图像融合模型转换为极大极小化(min-max)问题；

使用原始对偶算法迭代求解极大极小化问题的局部最优解，作为所述全变差图像融合模型的最优解；

在原始对偶框架下，提出了一种向前向后分裂算法去求解关于权重函数w的子问题。

进一步地，所述步骤三中评价指标峰值信噪比(PSNR)为

进一步地，所述步骤三中评价指标结构相似度(SSIM)为

其中，u₀和u分别为原始图像和融合后图像，

和μ_u是相对应的均值，

是u₀的方差，

是u的方差，

是u₀和u的协方差，c₁和c₂是常数。进一步地，所述步骤三中评价指标交叉熵(CE)为

其中，l为图像灰度水平，p_i为灰度值i在原始图像中的概率分布，q_i为灰度值i在融合后图像中的概率分布。

进一步地，本发明所用的软件为MATLAB。

进一步地，本发明所进行实验所需的配置为：处理器：Intel(R)Core(TM)i5-5200UCPU@2.20GHz2.20GHz；内存：4.00GB；系统类型：64位操作系统，基于x64的处理器。

本发明的有益效果是：通过全变差图像融合模型对所述的源图像进行融合，得到对应的图像融合结果，再用峰值信噪比、结构相似度、交叉熵作为评价指标，其中峰值信噪比和结构相似度的数值与图像融合效果成正比，为值越大，图像融合效果越好，而交叉熵为值越小，图像融合效果越好，最大限度地保留输入图像的细节信息和亮度信息，得到更为精确的融合结果。

附图说明

图1是本发明的流程示意图。

图2是本发明的源图像desk图。

图3是本发明的图2源图像经过各模型融合后的图像及其原始图像。

图4是本发明的源图像Cookies图。

图5是本发明的图4图像经过各模型融合后的图像及其原始图像。

图6是本发明的源合成图像1。

图7是本发明的图6源图像经过各模型融合后的图像及其原始图像。

图8是本发明的源合成图像2。

图9是本发明的图8源图像经过各模型融合后的图像及其原始图像。

图10是本发明的源合成图像3。

图11是本发明的图10源图像经过各模型融合后的图像及其原始图像。

图12是本发明的源图像lab图。

图13是本发明的图12源图像经过各模型融合后的图像。

图14是本发明的图12放大融合后图像的高亮区域图。

图15是本发明的源图像flower图。

图16是本发明的图15源图像经过各模型融合后的图像。

图17是本发明的图15放大融合后图像的高亮区域图。

图18是本发明的源图像book图。

图19是本发明的图18源图像经过各模型融合后的图像。

图20是本发明的图18放大融合后图像的高亮区域图。

图21是本发明的标准差为5的高斯白噪声源图像desk。

图22是本发明的图21源图像经过各模型融合后的图像及其原始图像。

图23是本发明的标准差为10的高斯白噪声源图像desk。

图24是本发明的图23源图像经过各模型融合后的图像及其原始图像。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。如图1所示，本实施例提供了一种自适应权重的全变差图像融合方法，该方法包含：1)基于输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型，2)选取五对多聚焦源图像、三对真实源图像以及两对标准差分别为5和10的加性噪声源图像进行MATLAB仿真实验，3)选择峰值信噪比(PSNR)、结构相似度(SSIM)、交叉熵(CE)作为评价指标。

本发明具体步骤如下：

图1是本发明实施例的一种基于自适应权重的全变差图像融合方法的流程示意图。参见图1，一种图像融合方法，具体可以包括如下的步骤：

步骤1、获取输入的源图像。

在具体实施中，所述输入的源图像为待融合的原始输入图像。

步骤2、基于输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型。

具体地，对每一个像素点位置x:＝(x₁,x₂)∈Ω，令

w(x)＝:(w₁(x),w₂(x),…,w_n(x))，像素点x的邻域N_r(x)定义为：

N_r(x):＝{(y₁,y₂)||x₁-y₁|,|x₂-y₂|≤r}，

其中r为正数，然后对于所有的x∈Ω，基于邻域N_r(x)，在像素位置x处的所有源图像的协方差矩阵和均值分别定义为：

m(x):＝(m₁(x),m₂(x),…,m_n(x))，

对每一个x∈Ω，融合图像u(x)的局部方差和局部亮度可以表示为：

Ab_r(u(x))＝Ab_r(w₁(x)f₁(x)+w₂(x)f₂(x)+…w_n(x)f_n(x))

＝w₁(x)m₁(x)+w₂(x)m₂(x)+…+w_n(x)m_n(x)

＝m(x)w^T(x).，

为了从源图像f₁,…,f_n到融合图像u保留尽可能多的有用信息，以及保持源图像的平均亮度，在融合过程中，要保证w(x)K(x)w(x)^T达到局部最大，而m(x)w(x)^T-g达到局部最小，其中

基于此，得到最终的自适应权重的全变差图像融合模型，即：

为数据保真项，∫_Ω|Dw|表示权重函数的全变差正则项，

和

是为了保证变量w的函数凸性。

在构建得到上述的模型之后，需要计算出所构建的全变差图像融合模型的最优解。在本发明一实施例中，采用原始对偶算法求解得到所构建的全变差图像融合模型的最优解，即通过使用Legendre-Fenchel变换将全变差图像融合模型转换为极大极小化问题，再使用原始对偶算法迭代求解极大极小化问题的局部最优解，作为所述全变差图像融合模型的最优解，其中，关于权重函数w的子问题求解提出了一种向前向后分裂算法。

具体地：

通过引入Legendre-Fenchel变换，可以将上述的全变差图像融合模型改写成极大极小化问题：

其中

p,z作为对偶变量，满足下面两个约束：

P＝{p∈C^2MN|||p||_∞≤α₁},Z＝{z∈C^2nMN|||z||_∞≤1} (3)，

接下来，在原始对偶算法框架下求解模型(2)子问题确定最优解，具体流程如下：

首先，执行参数的初始化，即令k＝0，

p⁰＝0，z⁰＝0，τ₁,τ₂,σ₁,σ₂＞0。

重复执行多次迭代，直至满足预设的迭代终止条件：

其中，u^k表示第k次迭代得到的融合结果，u^k+1表示第k+1次迭代得到的融合结果，ε表示预设的常数。

在重复执行多次迭代的过程中，对于每一次迭代，即在第k次迭代中：首先，对于给定的w^k,u^k，采用如下的公式计算p^k+1,z^k+1：

其中I_P和I_Z是示性函数，分别定义为：

分别用Proj_P(p)和Proj_Z(z)表示凸集P和Z上的欧氏投影，最后求得p^k+1,z^k+1分别为：

其中

当求解w^k+1时，对于给定的p^k+1,z^k+1,u^k，通过求解下列方程来计算w^k+1：

令：

则

其中

I_W是在W上的示性函数。

为简单起见，令

则问题(11)重新定义为：

对该方程(13)利用向前向后分裂方法求解出近似解，具体流程如下：

首先，执行参数的初始化，即令

重复执行多次迭代，直至满足预设的迭代终止条件：

其中，w^k表示第k次迭代得到的权重函数，w^k+1表示第k+1次迭代得到的权重函数，ε表示预设的常数。

其中，在重复执行多次迭代的过程中，对于每一次迭代，即在第k次迭代中：

当给定w^k时，求解下列方程来计算

利用计算出的

由以下公式计算

通过投影，可得：

求解得到w^k+1后，再求解u^k+1时，对于给定的w^k+1,p^k+1,z^k+1，首先要解出

需要解决下面的问题：

很容易求得：

其中

然后更新u^k+1通过等式：

当求解得到u^k+1时，对于给出的p^k+1,z^k+1,u^k+1,w^k+1，由以下公式计算出

步骤3、采用所构建的全变差图像融合模型对所述的源图像进行融合，得到对应的图像融合结果，再用峰值信噪比、结构相似度、交叉熵作为评价指标并得到其数值结果。

1)峰值信噪比(PSNR)

2)结构相似度(SSIM)

其中，u₀和u分别为原始图像和融合后图像，

和μ_u是相对应的均值，

是u₀的方差，

是u的方差，

是u₀和u的协方差，c₁和c₂是常数。

3)交叉熵(CE)

三个评价指标中，峰值信噪比和结构相似度的的数值越大，融合效果越好，交叉熵的数值越小，融合效果越好。

下面结合实施例具体说明本发明的效果：

本实施例对五对多聚焦源图像(desk、Cookies、sample1、sample2、sample3)、三对真实源图像(lab、flower、book)以及带有均值为0，标准差分别为5和10的噪声源图像desk进行MATLAB仿真实验，实验所用的电脑配置为：处理器：Intel(R)Core(TM)i5-5200UCPU@2.20GHz2.20GHz；内存：4.00GB；系统类型：64位操作系统，基于x64的处理器。将本实施例模型与TV模型、TGV模型、Wang模型进行比较，用峰值信噪比、结构相似度、交叉熵进行融合效果评价，结果如表1-表2所示。

表1五对多聚焦源图像融合效果比较

表2噪声源图像desk融合效果比较

从表中的数据结果来看：将本发明提出的模型与TV模型、TGV模型、Wang模型，分别对不同源图像进行融合，发现融合后的图像的峰值信噪比、结构相似度均明显提高，交叉熵均显著减小，说明本发明所提模型确实能得到更为精确的融合结果。

图3为源图像经过各模型融合后的图像及其原始图像：

(a)为TV模型融合结果，(b)为TGV模型融合结果，(c)为Wang模型融合结果，(d)为本发明模型的融合结果，(e)为原始图像。

图5为源图像经过各模型融合后的图像及其原始图像：

图7为源图像经过各模型融合后的图像及其原始图像：

图9为源图像经过各模型融合后的图像及其原始图像：

图11为源图像经过各模型融合后的图像及其原始图像：

图13为源图像经过各模型融合后的图像：

(a)为TV模型融合结果，(b)为TGV模型融合结果，(c)为Wang模型融合结果，(d)为本发明模型的融合结果。

图14为放大融合后图像的高亮区域：

图16为源图像经过各模型融合后的图像：

图17为放大融合后图像的高亮区域：

图19为源图像经过各模型融合后的图像：

图20为放大融合后图像的高亮区域：

图22为源图像经过各模型融合后的图像及其原始图像：

图24为源图像经过各模型融合后的图像及其原始图像：

综上所述，本发明提出的方法是一个有效的图像融合模型，最大限度地保留了输入图像的细节信息和亮度信息。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims

1.一种自适应权重的全变差图像融合方法，其特征在于：所述方法包括以下步骤：

步骤一：获取输入的待融合源图像；

步骤二：基于输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型；

步骤三：采用所构建的全变差图像融合模型对所述的源图像进行融合，得到对应的图像融合结果，再用峰值信噪比、结构相似度、交叉熵作为评价指标，其中峰值信噪比和结构相似度的数值与图像融合效果成正比，为值越大，图像融合效果越好，而交叉熵为值越小，图像融合效果越好；

所述全变差图像融合模型为：

，

为数据保真项，∫_Ω|Dw|表示权重函数的全变差正则项，

和

是为了保证关于变量w的函数的凸性。

2.如权利要求1所述的自适应权重的全变差图像融合方法，其特征在于：在构建自适应权重的全变差图像融合模型过程中，包括：基于方差最大化方法，引入输入图像的协方差信息和亮度信息，构建自适应权重的全变差图像融合模型。

3.如权利要求2所述的自适应权重的全变差图像融合方法，其特征在于：所述自适应权重的全变差图像融合模型的最优解是采用原始对偶算法求解得到。

4.如权利要求2所述的自适应权重的全变差图像融合方法，其特征在于：采用原始对偶算法求解得到全变差图像融合模型的最优解，包括以下内容：通过使用Legendre-Fenchel变换，将全变差图像融合模型转换为极大极小化(min-max)问题；使用原始对偶算法迭代求解该问题的局部最优解，作为所述全变差图像融合模型的最优解；在原始对偶框架下，提出了一种向前向后分裂算法去求解关于权重函数w的子问题。

5.如权利要求1或3或4所述的自适应权重的全变差图像融合方法，其特征在于：所述步骤三中评价指标峰值信噪比为

6.如权利要求1或3或4所述的自适应权重的全变差图像融合方法，其特征在于：所述步骤三中评价指标结构相似度为

其中，u₀和u分别为原始图像和融合后图像，

和μ_u是相对应的均值，

是u₀的方差，

是u的方差，

是u₀和u的协方差，c₁和c₂是常数。

7.如权利要求1或3或4所述的自适应权重的全变差图像融合方法，其特征在于：所述步骤三中评价指标交叉熵为