CN109255773A - 基于全变分的异分辨率红外与可见光图像融合方法及系统 - Google Patents

Abstract

本发明公开了一种基于全变分的异分辨率红外与可见光图像融合方法及系统，包括建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系；根据源图像，求解所构建的全变分模型的最优解，得到图像融合结果。本发明针对原始红外图像和可见光图像分辨率不同的情况建模，得到的融合图像分辨率高，纹理细节清晰，同时保留了红外图像用像素强度分布凸出热目标的特性，融合结果便于人眼对热目标的判别，视觉效果好。

Description

基于全变分的异分辨率红外与可见光图像融合方法及系统

技术领域

本发明涉及图像融合技术领域，具体地说，本发明涉及一种基于全变分模型的异分辨率红外与可见光图像融合技术方案。

背景技术

图像融合的基本目标是将不同传感器获得的图像组合，生成有助于后续处理或帮助做出决策的信息图像。其中，红外与可见光的组合能够呈现几乎所有物体固有的性质。红外图像通过反射的热辐射成像，不受环境光线影响，可以克服障碍物发现目标，但由于硬件设备和应用环境的限制，红外图像常伴随着分辨率低、噪声大、细节模糊等问题，提高红外图像的分辨率成本高且难度大；可见光图像利用反射光成像，外观信息丰富，但在光线条件差时，目标信息丢失严重。

在过去几十年里，学者们研究了很多算法用于红外与可见光图像的融合，主要可分为像素级、特征级和决策级等三种类别。然而算法普遍要求待融合的红外与可见光图像具备相同的分辨率，在现实情况下，红外图像的分辨率通常要低于对应的可见光图像。此时，若用现有算法进行融合，就不可避免地要重采样源图像。一种方式是下采样可见光图像，但是从信息论的角度看，下采样过程中丢失的高质量纹理信息无法由图像处理恢复；另一种方式是上采样红外图像，但这会引入噪声和不确定性。此外，现有融合算法通常仅关注融合源图像的细节，从而无法充分融合由像素灰度表征的红外热辐射信息。因此，如何在原始可见光与红外图像分辨率不同时，最大程度地融合源图像，并使热目标在融合图像中突出，一直以来是个难题。

发明内容

针对现有融合方法无法处理多分辨率图像融合的缺陷，本发明提供了一种可实现不同分辨率红外与可见光图像融合的技术方案，经本发明融合得到的图像分辨率高，热目标依旧突出，细节清晰，计算成本低，能有效降低获取高分辨率红外与可见光融合图像的成本。

本发明的技术方案提供一种基于全变分的异分辨率红外与可见光图像融合方法，包括以下步骤，

步骤1，建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括执行以下子步骤，步骤1.1，设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比；建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为的m×n融合图像，ψ表示下采样算子；

步骤1.2，针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数；

步骤1.3，对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值；

步骤2，求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下子步骤，

步骤2.1，初始化，包括令t₁＝1，Y₁＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第1次迭代时的给定点，L为ψ^T(ψY_K-R)的Lipschitz常数，ψ^T定义下采样算子ψ的逆运算，令当前迭代次数K为1；

步骤2.2，令中间变量W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是第K次迭代时的给定点；

步骤2.3，求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像；

步骤2.4，用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

步骤2.5，计算用于下一次迭代过程的第K+1次迭代时的给定点Y_K+1，采用的公式如下，

步骤2.6，判别迭代结束条件，满足条件时，最后一次迭代过程中求得的X_K作为求得的融合图像X；否则，返回执行步骤2.2。

而且，步骤2.3包括以下子步骤，

步骤2.3.1，初始化，包括令初始步长令当前迭代次数η为1，(U₁,T₁)＝(R₀,S₀)＝(0,0)，其中U₁,T₁,R₀,S₀是对偶中间变量U_η,T_η,R_η-1,S_η-1的初始值；

步骤2.3.2，计算第η次迭代过程中的矩阵对(R_η,S_η)的值，计算过程如下，

其中，是投影算子；

步骤2.3.3，用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下，

步骤2.3.4，计算用于下一次迭代过程的对偶中间变量U_η+1和T_η+1的值，公式如下，

步骤2.3.5，判别迭代结束条件，当迭代次数η达到最大迭代次数H_v时，结束迭代，当前的作为步骤2.3要求的最优解；迭代次数η没达到最大迭代次数H_v时，返回执行步骤2.3.3。

而且，步骤2.3.2中，投影算子定义如下，

对于矩阵对(A,B)，其中，A′和B′通过如下方式求得，

其中，是线性算子，A_i,j和B_i,j分别表示示例矩阵A和B在第i行第j列的值，A′_i,j和B′_i,j分别表示A′和B′在第i行第j列的值。

而且，步骤2.6中，所述迭代结束条件是，迭代次数K达到预设的最大迭代次数H_u。

本发明还提供一种基于全变分的异分辨率红外与可见光图像融合系统，包括以下模块，

第一模块，用于建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括以下单元，第一单元，用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比；建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为的m×n融合图像，ψ表示下采样算子；

第二单元，用于针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数；

第三单元，用于对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值；

第二模块，用于求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下单元，

第一单元，用于初始化，包括令t₁＝1，Y₁＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第1次迭代时的给定点，L为ψ^T(ψY_K-R)的Lipschitz常数，ψ^T定义下采样算子ψ的逆运算，令当前迭代次数K为1；

第二单元，用于令中间变量W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是第K次迭代时的给定点；

第三单元，用于求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像；

第四单元，用于用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

第五单元，用于计算用于下一次迭代过程的第K+1次迭代时的给定点Y_K+1，采用的公式如下，

第六单元，用于判别迭代结束条件，满足条件时，最后一次迭代过程中求得的X_K作为求得的融合图像X；否则，命令第二单元工作。

而且，第二模块的第三单元包括以下子单元，

第一子单元，用于初始化，包括令初始步长令当前迭代次数η为1，(U₁,T₁)＝(R₀,S₀)＝(0,0)，其中U₁,T₁,R₀,S₀是对偶中间变量U_η,T_η,R_η-1,S_η-1的初始值；

第二子单元，用于计算第η次迭代过程中的矩阵对(R_η,S_η)的值，计算过程如下，

其中，是投影算子；

第三子单元，用于用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下，

第四子单元，用于计算用于下一次迭代过程的对偶中间变量U_η+1和T_η+1的值，公式如下，

第五子单元，用于判别迭代结束条件，当迭代次数η达到最大迭代次数H_v时，结束迭代，当前的作为要求的最优解；迭代次数η没达到最大迭代次数H_v时，命令第三子单元工作。

而且，第二子单元中，投影算子定义如下，

对于矩阵对(A,B)，其中，A′和B′通过如下方式求得，

其中，是线性算子，A_i,j和B_i,j分别表示示例矩阵A和B在第i行第j列的值，A′_i,j和B′_i,j分别表示A′和B′在第i行第j列的值。

而且，第六单元中，所述迭代结束条件是，迭代次数K达到预设的最大迭代次数H_u。

本发明具有以下优点：

1、本发明针对异分辨率的红外与可见光图像提出了一种基于全变分模型融合方法。与其他融合方法相比，此方法得到的融合图像分辨率高，纹理细节清晰，且不同于以往融合方法仅致力于保留更多的信息，本发明提出的算法还考虑了信息的特征性及表征的意义，保留了红外图像用像素强度分布凸出热目标的特性，融合结果便于人眼对热目标的判别，视觉效果好。

2、本发明提出的融合方法中包含正则化参数，通过调节此参数可以支持用户主观调节融合图像与可见光图像/红外图像间的相似性。

具体实施方式

下面结合实施例对本发明技术方案进行进一步详细说明。

本发明公开了一种基于全变分模型的异分辨率红外与可见光图像融合方法，包括以下步骤：分别建立融合图像与源图像间的对应关系模型，由此得到融合问题的数学模型；根据源图像对，求解构建的全变分模型的最优解。本发明的融合方法得到的融合图像分辨率高，纹理细节清晰，在凸显热目标方面有优势，视觉效果好。

本发明实施例所提供基于全变分模型的异分辨率红外与可见光图像融合方法包括以下步骤：

步骤1，建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括以下过程，

设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比，并为常数，例如，若可见光图像的分辨率为2.4m，红外图像的分辨率为1.2m，则c＝2，实施例中c＝2；

步骤1.1，建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为m×n的融合图像，ψ表示下采样算子，下采样利用最邻近插值方式实现，||·||_F表示Frobenius范数(弗罗贝尼乌斯范数)，其定义为M_i,j表示图像M第i行、第j列的值；

实施例中，下采样优选采用了最邻近插值方式，具体实施时也可以采用双线性插值和双三次插值等插值方式。

步骤1.2，针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数，其定义为

，其中，M表示大小为m×n的图像，M_i,j表示图像M第i行、第j列的值，M_i+1,j表示图像M第i+1行、第j列的值，M_i,j+1表示图像M第i行、第j+1列的值，M_i,n表示图像M第i行、第n列的值，M_i+1,n表示图像M第i+1行、第n列的值，M_m,j表示图像M第m行、第j列的值，M_m,j+1表示图像M第m行、第j+1列的值；

步骤1.3，对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值，具体实施时，λ根据融合需求自主选择，当λ较小时，融合图像更接近红外图像，当λ较大时，融合图像更接近可见光图像，一般在20～200取值，实施例中取50，在大多数情况下可以使融合图像达到较好的视觉效果；

步骤2，求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下子步骤，

步骤2.1，初始化，包括给λ和L赋值，令t₁＝1，Y₁＝ψ^TR，X₀＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第一次迭代时的给定点，初始化为上采样后的红外图像，L为中间变量ψ^T(ψY_K-R)的Lipschitz常数(利普希茨常数)，ψ^T定义下采样算子ψ的逆运算，X₀表示为融合图像设定的初始值，令当前迭代次数K为1，；实施例中，λ取50，L取1；

其中，ψ^T(ψY_K-R)是对于引入二阶估计模型，在给定点Y_K，对二阶估计模型求极小值点时运用的中间变量。

步骤2.2，令W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是大小为m×n的矩阵，当迭代次数K大于1时，Y_K可由步骤2.5计算得到；

Y_K表示第K次迭代过程中近似二阶估计模型的起始点，用以计算近似二阶估计模型的极小值点X_K；

对于这个函数，本发明引入了二阶估计模型，在指定给定点的情况下，求该二阶估计模型的极小值点；再以前两次迭代过程的极小值点经过线性运算，作为给定点，求取下一次迭代过程中的二阶估计模型的极小值点。Y_K即表示上述过程的第K-2和K-1次迭代过程得到的极小值点X_K-1和X_K-2经过线性运算得到的点，也即第K次迭代过程中求二阶估计模型极小值点时依赖的给定点。

将Y_K作为给定点，可以求取二阶估计模型的极小值点，求解过程中，因为是求取极小值点，所以与常数项无关，忽略目标函数中的常数项，可以得到化简后的目标函数，W为化简后的目标函数中引入的中间变量。

步骤2.3，求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像，即所述最优化问题的最优解；

步骤2.4，用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

这种更新方式，使每次的迭代依赖于前两次的迭代结果，而不仅是前一次的迭代结果，提高了收敛速度。

步骤2.5，计算用于下一次迭代过程的Y_K+1的值，采用的公式如下，

步骤2.6，判别迭代结束条件，当迭代次数K达到最大迭代次数H_u时，结束迭代，最后一次迭代过程中求得的X_K即为求得的融合图像X；当迭代次数K没达到最大迭代次数H_u时，返回执行步骤2.2，具体实施时，最大迭代次数H_u一般在30～200取值，实施例中取H_u＝50

进一步地，实施例中步骤2.3包括以下子步骤，

步骤2.3.1，初始化，包括令初始步长令当前迭代次数η为1，(U₁,T₁)＝(R₀,S₀)＝(0,0)，这里的U₁,T₁,R₀,S₀是对偶中间变量U_η,T_η,R_η-1,S_η-1的初始值，因为(U₂,T₂)的求解依赖(R₁,S₁)和(R₀,S₀)，而(R₁,S₁)可以通过(U₁,T₁)求得，所以初始赋值时，只需要给(U₁,T₁)和(R₀,S₀)赋值；

由于是非平滑的，为了解决这个受限的问题，本发明引入了对偶方法，U_η,T_η,R_η-1,S_η-1是为解决对偶问题引入的对偶中间变量。

步骤2.3.2，计算第η次迭代过程中的矩阵对(R_η,S_η)的值，计算过程如下，

其中，是用来确保和|S_m,j|≤1的投影算子，其定义如下，

对于矩阵对(A,B)，其中，A′和B′通过如下方式求得，

其中，是线性算子，定义为：若则C_i,j＝A_i,j-A_i-1,j+B_i,j-B_i,j-1，相应的逆运算符为：定义为：若则A_i,j＝C_i,j-C_i+1,j，B_i,j＝C_i,j-C_i,j+1；

A_i,j和B_i,j分别表示示例矩阵A和B在第i行、第j列的值；C_i,j表示对矩阵对(A,B)用算子进行运算后得到的结果矩阵在第i行、第j列的值；

为了确保A和B在对应位置元素的绝对值和平方和均不超过1，对A和B分别进行投影运算，得到A′和B′，A′_i,j和B′_i,j分别表示A′和B′在第i行、第j列的值。

R_i,j和S_i,j分别表示矩阵R和矩阵S在第i行、第j列的元素的值，R_i,n表示矩阵R在第i行、第n列的元素的值，S_m,j表示矩阵S在第m行和第j列的元素的值。

步骤2.3.3，用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下，

步骤2.3.4，计算用于下一次迭代过程的对偶中间变量U_η+1和T_η+1的值，采用的公式如下，

步骤2.3.5，判别迭代结束条件，当迭代次数η达到此步骤的最大迭代次数H_v时，结束迭代，当前的即为步骤2.3要求的最优解；迭代次数η没达到最大迭代次数H_v时，返回执行步骤2.3.3；具体实施时，最大迭代次数H_v一般在6～20取值，实施例中取H_v＝8。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明实施例还提供一种基于全变分的异分辨率红外与可见光图像融合系统，包括以下模块，

第一模块，用于建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括以下单元，第一单元，用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比；建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为的m×n融合图像，ψ表示下采样算子；

第二单元，用于针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数；

第三单元，用于对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值；

第二模块，用于求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下单元，

第一单元，用于初始化，包括令t₁＝1，Y₁＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第1次迭代时的给定点，L为ψ^T(ψY_K-R)的Lipschitz常数，ψ^T定义下采样算子ψ的逆运算，令当前迭代次数K为1；

第二单元，用于令中间变量W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是第K次迭代时的给定点；

第三单元，用于求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像；

第四单元，用于用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

第五单元，用于计算用于下一次迭代过程的第K+1次迭代时的给定点Y_K+1，采用的公式如下，

第六单元，用于判别迭代结束条件，满足条件时，最后一次迭代过程中求得的X_K作为求得的融合图像X；否则，命令第二单元工作。

各单元具体实现可参见相应步骤，本发明不予赘述。

经实验对比，未经融合的原始红外图像大小为310x225，图像分辨率低，噪声大，但热目标(行人)突出，原始可见光图像大小为620x450，图像分辨率高，纹理细节清晰，但难以发现热目标(行人)。

经过本发明融合方法处理得到的融合图像。可以看到，图像清晰度高，噪声显著减少，对比度强，热目标(行人)突显。

经过传统拉普拉斯金字塔融合方法(LP)处理得到的融合图像。可以看到，虽然热目标可以辨识，但是融合图像中，噪声较为强烈，图像模糊。

经过定向离散余弦变换和PCA方法(DDCTPCA)处理得到的融合图像。可以看到，图像对比度较弱，热目标不够突出，噪声明显。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种基于全变分的异分辨率红外与可见光图像融合方法，其特征在于：包括以下步骤，

步骤1，建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括执行以下子步骤，

步骤1.1，设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比；建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为的m×n融合图像，ψ表示下采样算子；

步骤1.2，针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数；

步骤1.3，对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值；

步骤2，求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下子步骤，

步骤2.1，初始化，包括令t₁＝1，Y₁＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第1次迭代时的给定点，L为ψ^T(ψY_K-R)的Lipschitz常数，ψ^T定义下采样算子ψ的逆运算，令当前迭代次数K为1；

步骤2.2，令中间变量W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是第K次迭代时的给定点；

步骤2.3，求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像；

步骤2.4，用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

步骤2.5，计算用于下一次迭代过程的第K+1次迭代时的给定点Y_K+1，采用的公式如下，

步骤2.6，判别迭代结束条件，满足条件时，最后一次迭代过程中求得的X_K作为求得的融合图像X；否则，返回执行步骤2.2。

2.根据权利要求1所述基于全变分模型的异分辨率红外与可见光图像融合方法，其特征在于：步骤2.3包括以下子步骤，

步骤2.3.1，初始化，包括令初始步长令当前迭代次数η为1，(U₁,T₁)＝(R₀,S₀)＝(0,0)，其中U₁,T₁,R₀,S₀是对偶中间变量U_η,T_η,R_η-1,S_η-1的初始值；

步骤2.3.2，计算第η次迭代过程中的矩阵对(R_η,S_η)的值，计算过程如下，

其中，是投影算子；

步骤2.3.3，用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下，

步骤2.3.4，计算用于下一次迭代过程的对偶中间变量U_η+1和T_η+1的值，公式如下，

步骤2.3.5，判别迭代结束条件，当迭代次数η达到最大迭代次数H_v时，结束迭代，当前的作为步骤2.3要求的最优解；迭代次数η没达到最大迭代次数H_v时，返回执行步骤2.3.3。

3.根据权利要求2所述基于全变分模型的异分辨率红外与可见光图像融合方法，其特征在于：步骤2.3.2中，投影算子定义如下，

对于矩阵对(A,B)，其中，A′和B′通过如下方式求得，

其中，是线性算子，A_i,j和B_i,j分别表示示例矩阵A和B在第i行第j列的值，A′_i,j和B′_i,j分别表示A′和B′在第i行第j列的值。

4.根据权利要求1或2或3所述基于全变分模型的异分辨率红外与可见光图像融合方法，其特征在于：步骤2.6中，所述迭代结束条件是，迭代次数K达到预设的最大迭代次数H_u。

5.一种基于全变分的异分辨率红外与可见光图像融合系统，其特征在于：包括以下模块，

第一模块，用于建立图像融合的全变分模型，用数据保真度项和正则化项分别约束融合图像和红外图像、融合图像和可见光图像之间的关系，包括以下单元，

第一单元，用于设两幅待融合图像分别为大小为m×n的可见光图像V和大小为的红外图像R，其中，c是原始可见光图像分辨率与红外图像分辨率之比；建立融合图像与原始红外图像间对应关系的模型，实现如下，

其中，ε₁(X)为数据保真度项，X表示待求的大小为的m×n融合图像，ψ表示下采样算子；第二单元，用于针对融合图像与原始可见光图像之间的梯度约束关系，建立如下的数学模型，

其中，ε₂(X)为正则化项，表示离散各向同性全变分范数；

第三单元，用于对数据保真度项ε₁(X)和正则化项ε₂(X)，引入正参数λ控制两项的比重，得到图像融合的全变分模型，

其中，ε(X)为能量函数，表示使能量函数ε(X)取得最小值时的变量X的取值；

第二模块，用于求解构建的图像融合的全变分模型的最优解，得到图像融合结果，包括以下单元，

第一单元，用于初始化，包括令t₁＝1，Y₁＝ψ^TR，其中，t₁表示第1次迭代时的步长，Y₁表示第1次迭代时的给定点，L为ψ^T(ψY_K-R)的Lipschitz常数，ψ^T定义下采样算子ψ的逆运算，令当前迭代次数K为1；

第二单元，用于令中间变量W＝Y_K-ψ^T(ψY_K-R)/L，其中，Y_K是第K次迭代时的给定点；

第三单元，用于求解如下最优化问题，

其中，P为随机变量，是大小为m×n的矩阵，X_K表示在第K次迭代中求得的融合图像；

第四单元，用于用第K次迭代过程的步长t_K更新下一次迭代过程的步长t_K+1，更新公式如下，

第五单元，用于计算用于下一次迭代过程的第K+1次迭代时的给定点Y_K+1，采用的公式如下，

第六单元，用于判别迭代结束条件，满足条件时，最后一次迭代过程中求得的X_K作为求得的融合图像X；否则，命令第二单元工作。

6.根据权利要求5所述基于全变分模型的异分辨率红外与可见光图像融合系统，其特征在于：第二模块的第三单元包括以下子单元，

第一子单元，用于初始化，包括令初始步长令当前迭代次数η为1，(U₁,T₁)＝(R₀,S₀)＝(0,0)，其中U₁,T₁,R₀,S₀是对偶中间变量U_η,T_η,R_η-1,S_η-1的初始值；

第二子单元，用于计算第η次迭代过程中的矩阵对(R_η,S_η)的值，计算过程如下，

其中，是投影算子；

第三子单元，用于用第η次迭代过程的步长更新下一次迭代过程的步长更新公式如下，

第四子单元，用于计算用于下一次迭代过程的对偶中间变量U_η+1和T_η+1的值，公式如下，

第五子单元，用于判别迭代结束条件，当迭代次数η达到最大迭代次数H_v时，结束迭代，当前的作为要求的最优解；迭代次数η没达到最大迭代次数H_v时，命令第三子单元工作。

7.根据权利要求6所述基于全变分模型的异分辨率红外与可见光图像融合系统，其特征在于：第二子单元中，投影算子定义如下，

对于矩阵对(A,B)，其中，A′和B′通过如下方式求得，

其中，是线性算子，A_i,j和B_i,j分别表示示例矩阵A和B在第i行第j列的值，A′_i,j和B′_i,j分别表示A′和B′在第i行第j列的值。

8.根据权利要求5或6或7所述基于全变分模型的异分辨率红外与可见光图像融合系统，其特征在于：第六单元中，所述迭代结束条件是，迭代次数K达到预设的最大迭代次数H_u。