CN106981058A - 一种基于稀疏字典的光学与红外图像融合方法及系统 - Google Patents

Abstract

本发明提供一种基于稀疏字典的光学与红外图像融合方法及系统，包括对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K‑SVD法得到低频子带的稀疏字典；对待融合图像进行NSCT变换，利用低频子带字典对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；引入四阶相关系数，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。本发明中的方法比现有经典融合方法效果更好，可用于可见光与红外图像的融合，以充分提取两者中的信息，达到更好的融合效果。

Description

一种基于稀疏字典的光学与红外图像融合方法及系统

技术领域

本发明属于图像处理领域，涉及一种对红外与可见光图像进行融合的方法及系统。

背景技术

随着传感器技术的进步和各种测绘遥感技术的发展，可见光传感器获得的图像仅仅只是多源图像信息中的一种，如今我们可以用红外、雷达等多种传感器去获得不同种类的图像信息。为了更好地表达目标场景的特点，可以对不同传感器得到的图像进行融合，从而集成多源图像之间的互补信息，生成完整、可靠和有效的综合信息，以此增强目标场景的清晰度与目标辨别能力，获得对同一场景更完整的认识。

不同种类的传感器应用于不同的领域，但都获得了普遍的运用。通过对传感器获得的图像采取一定的方法实施融合操作，就可以得到满足特定需求的融合图像。这样做能够合并各传感器的图像信息，使得融合图像包含更丰富的信息，特别是细节信息，远远强于任何单个传感器直接获取的图像。同时，多源图像的融合能够显著地增强成像传感器的系统机能。

近些年来，国内外的学者提出了很多图像融合的算法，大部分算法可分为以下两类：基于多分辨率分析的图像融合方法与基于稀疏表示的图像融合方法。然而，现有的多分辨率图像融合算法存在低频系数不稀疏的问题，导致了对低频系数直接进行融合效果并不好。除此之外，基于稀疏表示的图像融合方法都是在单尺度下对图像的数据进行表示然后融合，无法有效地在对图像进行稀疏表示的同时进行多分辨率的分析。

发明内容

为实现上述目的，本发明的技术方案包括图像的多分辨率分析技术和稀疏表达技术，在这些技术的支持下，本发明能够对不同传感器获得的同一场景的可见光和红外图像进行有效地融合。

本发明技术方案提供一种基于稀疏字典的光学与红外图像融合方法，包括以下步骤，

步骤a，对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K-SVD法得到低频子带的稀疏字典，记为低频子带字典D；所述训练图像集为混合了红外图像与可见光图像的图像数据集；

步骤b，对待融合图像进行NSCT变换，利用步骤a所得低频子带字典D对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；所述待融合图像包括同一幅场景的红外图像以及可见光图像；

步骤c，引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；

步骤d，对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。

而且，步骤a实现方式如下，

对训练图像集中每一幅训练图像I_t(t＝1，2，...，T)进行NSCT变换，T表示参与训练的图像的数目，t为训练图像的标号；设经过G级NSCT分解后得到低频子带和高频子带，其中l_g为尺度g下的方向分解级数；

对所有训练图像的低频子带L_t(t＝1，2，...，T)用滑动窗口策略分解成大小为的块，依次转换为长度为n的列向量后拼接成矩阵Ψ_t∈R^n×L(t＝1，2，...，T)，R为实数，L表示每个低频子带分块的总数；再将矩阵合并成训练数据集Ψ＝[Ψ₁，Ψ₂，...Ψ_T]；

用稀疏K-SVD算法求解如下目标方程，

其中，Φ为基字典，而Γ则是子带分解系数的稀疏表示，a_j与γ_i分别表示矩阵A和Γ中的列向量，j和i分别代表矩阵A和Γ中的列号；||·||₀表示向量的零范数；在约束条件中，x和y分别代表目标原子的稀疏度和目标训练样本的稀疏度；根据低频子带字典的稀疏表示系数A，进一步得到低频子带字典D＝ΦA。

而且，步骤b实现方式如下，

首先，设step指滑窗每次移动的距离，K表示待融合图像的数目，P、Q为图像的行数和列数，pq代表整幅图像能划分出的图像块的数量；

对第k幅待融合图像经过NSCT变换，得到低频子带；对待融合图像I_k∈R^P×Q的低频子带系数L_k(k＝1，2，...，K)以步长为大小为从左上到右下依次分块，转换成为列向量，依次横向拼接为矩阵其中第k幅待融合图像I_k中第i块的列向量记为并对各个待融合图像第i块的低频子带的稀疏表示系数按照下式进行求解；

其中，Ψ(I_k)是由第k幅待融合图像经过NSCT变换后得到的低频子带组成的矩阵；ε表示容许误；γ表示图像分解出的所有图像块的稀疏表示系数；

其次，融合图像的第i块低频子带稀疏表示系数为所有待融合图像第i块相应系数中活动性最大的系数如下，

其中，表示第k幅待融合图像I_k中第i块低频子带的稀疏表示系数活动性，，其中，k^*代表符合约束条件的待融合图像标号；

遍历所有待融合图像经NSCT变换后的低频子带，得到融合图像低频子带稀疏表示系数的集合融合图像的低频子带系数向量集为Ψ ^F＝D×Γ^F，其中Ψ ^F∈R^n×pq；

最后，将Ψ ^F中的每一向量恢复成原始的矩阵块，相应得到融合图像的低频系数。

本发明相应提供一种基于稀疏字典的光学与红外图像融合系统，包括以下模块，

第一模块，用于对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K-SVD法得到低频子带的稀疏字典，记为低频子带字典D；所述训练图像集为混合了红外图像与可见光图像的图像数据集；

第二模块，用于对待融合图像进行NSCT变换，利用第一模块所得低频子带字典D对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；所述待融合图像包括同一幅场景的红外图像以及可见光图像；

第三模块，用于引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；

第四模块，用于对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。

而且，第一模块工作实现方式如下，

对训练图像集中每一幅训练图像，I_t(t＝1，2，...，T)进行NSCT变换，T表示参与训练的图像的数目，t为训练图像的标号；设经过G级NSCT分解后得到低频子带和高频子带，其中l_g为尺度g下的方向分解级数；

对所有训练图像的低频子带L_t(t＝1，2，...，T)用滑动窗口策略分解成大小为的块，依次转换为长度为n的列向量后拼接成矩阵Ψ_t∈R^n×L(t＝1，2，...，T)，R为实数，L表示每个低频子带分块的总数；再将矩阵合并成训练数据集Ψ＝[Ψ₁，Ψ₂，...Ψ_T]；

用稀疏K-SVD算法求解如下目标方程，

其中，Φ为基字典，而Γ则是子带分解系数的稀疏表示，a_j与γ_i分别表示矩阵A和Γ中的列向量，j和i分别代表矩阵A和Γ中的列号；||·||₀表示向量的零范数；在约束条件中，x和y分别代表目标原子的稀疏度和目标训练样本的稀疏度；根据低频子带字典的稀疏表示系数A，进一步得到低频子带字典D＝ΦA。

而且，第二模块工作实现方式如下，

首先，设step指滑窗每次移动的距离，K表示待融合图像的数目，P、Q为图像的行数和列数，pq代表整幅图像能划分出的图像块的数量；

对第k幅待融合图像经过NSCT变换，得到低频子带；对待融合图像I_k∈R^P×Q的低频子带系数L_k(k＝1，2，...，K)以步长为大小为从左上到右下依次分块，转换成为列向量，依次横向拼接为矩阵其中第k幅待融合图像I_k中第i块的列向量记为并对各个待融合图像第i块的低频子带的稀疏表示系数按照下式进行求解；

其中，Ψ(I_k)是由第k幅待融合图像经过NSCT变换后得到的低频子带组成的矩阵；ε表示容许误；γ表示图像分解出的所有图像块的稀疏表示系数；

其次，融合图像的第i块低频子带稀疏表示系数为所有待融合图像第i块相应系数中活动性最大的系数如下，

其中，表示第k幅待融合图像I_k中第i块低频子带的稀疏表示系数活动性，，其中，k^*代表符合约束条件的待融合图像标号；

遍历所有待融合图像经NSCT变换后的低频子带，得到融合图像低频子带稀疏表示系数的集合融合图像的低频子带系数向量集为Ψ ^F＝D×Γ^F，其中Ψ ^F∈R^n×pq；

最后，将Ψ ^F中的每一向量恢复成原始的矩阵块，相应得到融合图像的低频系数。

本发明结合两种图像融合方法的优势，设计了一种基于NSCT与稀疏K-SVD字典的基于稀疏字典的光学与红外图像融合方法和系统。通过多分辨分析方法中的NSCT变换(Nonsubsampled Contourlet Transform)得到源图像在不同尺度上的表达来展现图像的细节，结合稀疏K-SVD(Sparse K-means Singular Value Decomposition)字典对不稀疏的低频部分进行更稀疏的表示来提取图像显著的特征，利用高频系数的四阶相关系数充分考虑邻域的相关性以对高频部分进行更好地融合。因此，本发明提供了一种红外与可见光图像的融合方法，可以对不同传感器得到的图像进行融合，从而集成不同源图像之间的互补信息，生成完整、可靠和有效的综合信息，以此增强目标场景的清晰度与目标辨别能力，获得对同一场景更完整的认识。本发明有广泛地应用前景，具有重要的技术价值。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实例并参照附图，对本发明进一步详细说明。

本发明的实施例采用红外与可见光图像。可见光图像具备高清晰度低噪声，细节信息丰富的特点，但其传感器易受天气的影响，使成像效果不稳定。红外图像能够反映场景中的热辐射差异，其传感器具备一定的穿透力，并且能够实现全天候成像。因此，将同一场景下的可见光与红外图像进行融合，可以获得更清晰丰富的场景信息和更透彻的热目标信息，提高目标的辨识度。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。

如图1，本发明优选实施例的多源图像融合方法包括：

步骤a，低频子带字典的学习：对训练图像集中的每一幅图像均进行NSCT变换，提取其低频部分利用稀疏K-SVD法得到低频子带的稀疏字典。

由于本发明中的方法涉及到图像的多尺度变换，并且仅对图像变换后的不稀疏的低频部分进行稀疏表示，因此需要训练适应低频特征的字典。

训练图像时，使用的是混合了红外与可见光图像的图像数据集，可取多个场景的红外图像和可见光图像。实施例提出采用以下方式实现训练：

1)对每一幅训练图像I_t(t＝1，2，...，T)进行NSCT变换，T表示参与训练的图像的数目，t为训练图像的标号。经过G级NSCT分解后每幅训练图像可得到1个低频子带和个高频子带，其中l_g为尺度g下的方向分解级数。)具体实施时，本领域技术人员可以预设G的取值。

2)在进行字典的训练之前，需要对基字典Φ初始化。优选地，初始化为DCT字典(离散余弦变换字典。

3)由于源图像的局部信息在像素级图像融合中发挥了重要的作用，同时为了保持图像融合中较好的平移不变性。因此引入了滑动窗口策略将源图像转化为一个个图像块，向量化后再进行处理。对所有训练图像的低频子带L_t(t＝1，2，...，T)用滑动窗口策略分解成大小为 的块；并依次转换为长度为n的列向量后拼接成矩阵Ψ_t∈R^n×L(t＝1，2，...，T)，R为实数，L表示每个低频子带分块的总数；再将这些矩阵合并成训练数据集Ψ＝[Ψ₁，Ψ₂，...Ψ_T]。

4)最后用稀疏K-SVD算法求解式(4)的目标方程：

其中，Φ为基字典，A是低频子带字典的稀疏表示系数，而Γ则是子带分解系数的稀疏表示，a_j与γ_i分别表示矩阵A和Γ中的列向量，j和i分别代表矩阵A和Γ中的列号。||·||₀表示向量的零范数，即向量中的非零元素个数。在约束条件中，x和y分别代表目标原子的稀疏度和目标训练样本的稀疏度。根据低频子带字典的稀疏表示系数A，进一步可得到低频子带字典D＝ΦA。

步骤b，对待融合图像同样进行NSCT变换，利用步骤a中训练得到的字典对待融合图像的低频部分进行稀疏系数，对稀疏系数融合后经过字典重构即可得到融合后的低频系数：

待融合图像是同一幅场景的不同数据源影像，至少包括一幅红外图像以及一幅可见光图像，具体实施时还可以包括更多不同数据源影像，例如远红外图像。

利用步骤a中得到的NSCT低频子带字典D，待融合图像NSCT低频子带的稀疏表示系数可由式(5)得到：

其中，Ψ(I_k)是由第k幅待融合图像经过NSCT变换后得到的低频子带组成的矩阵。ε表示容许误差，是一个正的极小的常数，具体实施时本领域技术人员可预设取值。||·||_F表示矩阵的Frobenius范数，式(5)中涉及2范数。γ表示该幅图像分解出的所有图像块的稀疏表示系数。

矩阵Ψ(I_k)的提取方式为，首先，对第k幅待融合图像经过NSCT变换，同样采用G级NSCT分解，得到低频子带和高频子带；对待融合图像I_k∈R^P×Q的低频子带系数L_k(k＝1，2，...，K)以步长为大小为的块，从左上到右下依次分块，再将这些块拉直转换成为列向量，依次横向拼接为矩阵其中第k幅待融合图像I_k中第i块的列向量记为并对各个待融合图像第i块的低频子带的稀疏表示系数按照式(5)进行求解。其中，step指滑窗每次移动的距离，K表示待融合图像的数目，采用一幅红外图像以及一幅可见光图像时K＝2，具体实施时可以采用更多不同数据源影像。其中，P、Q为图像的行数和列数。p、q代表按行或者按列最多能分出的图像块的数目，因此相乘即可得到整幅图像能划分出的图像块的数量。

其次，融合图像的第i块低频子带稀疏表示系数为所有源图像(待融合图像)第i块相应系数中活动性最大的系数如式(6)所示：

其中，表示第k幅待融合图像I_k中第i块低频子带的稀疏表示系数活动性，其能够反映该区域中图像显著特征的强弱。为了能在融合图像中继承更多的源图像显著特征，对于稀疏系数的融合策略采取目前较为常用的活动性最大原则。其中，k^*代表符合约束条件的待融合图像标号，则代表各个待融合图像第i块的低频子带的稀疏表示系数和第k^*个稀疏表示系数。

遍历所有待融合图像经NSCT变换后的低频子带，得到融合图像低频子带稀疏表示系数的集合则融合图像的低频子带系数向量集为Ψ ^F＝D×Γ^F，其中Ψ ^F∈R^{n ×pq}。

最后，将Ψ ^F中的每一向量恢复成原始的矩阵块，再将矩阵块按照一开始的顺序依次放回并进行累加。最终融合图像的低频子带系数中每个位置的系数值为对应位置处的各个矩阵块累加后系数值的平均值。

步骤c，引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数：

对第k幅待融合图像经过NSCT变换，同样采用G级NSCT分解，每幅图像可以得到1个低频子带和个高频子带，其中l_g为尺度g下的方向分解级数。

由于高频系数表示的是图像的细节特征，因此常见的融合方式是对像素点系数取模值并取其较大的一边的融合策略。但该方法忽略了邻域间的相关性，融合图像会有一定程度的模糊度。为了获得更好的融合效果，引入四阶相关系数计算图像邻域内高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，其中匹配度算子F的计算式如式(7)：

式中和表示邻域窗口内子带系数的值，μ_inf、μ_vis分别代表和的均值，M′×N′为邻域大小，(m+m′，n+n′)表示以像素(m，n)为中心的滑动窗口内的任意一点。具体实施时，本领域技术人员可预设邻域大小，例如区域窗口大小为3×3。。

计算出区域匹配度F，然后设定一个阈值th，比较两者的大小。具体实施时本领域技术人员可预设th取值。

当F＜th时，说明两者的匹配度低，需同时保留两者的有用信息。为更好的综合图像的冗余信息和互补信息，引入加权系数R，来选择合适的高频系数，计算式如式(8)：

其中，和表示红外与可见光图像子带系数的值，表示融合图像子带系数的值，而

当F≥th时，说明两者的匹配度高，采用绝对值值取大法的策略选取融合后高频系数，其计算式如公式(9)所示：

式中分别表示红外与可见光图像相应的高频系数的绝对值。

步骤d，对融合后的低频系数与高频系数进行NSCT逆变换，即可得到融合后的图像：

经过步骤b与步骤c分别可以得到融合后的低频系数与高频系数，对这两者进行NSCT逆变换，即可得到融合后的图像。

综上所述，本发明提出的基于NSCT与稀疏K-SVD字典的图像融合方法，首先通过NSCT变换得到图像的一个低频子带和若干个高频子带，然后根据训练图像用稀疏K-SVD方法训练出能够表现低频子带系数特征的稀疏字典，对待融合图像的低频部分进行稀疏表示，通过融合稀疏系数来得到融合后的低频子带系数。四阶相关系数计算图像邻域内高频子带系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略。最后对融合后的低频子带和高频子带使用NSCT逆变换即可得到融合后的图像。具体实施时，可由本领域技术人员采用计算机软件技术实现以上流程的自动运行。

具体实施时，还可以采用模块化方式提供相应系统。本发明实施例提供一种基于稀疏字典的光学与红外图像融合系统，包括以下模块，

第一模块，用于对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K-SVD法得到低频子带的稀疏字典，记为低频子带字典D；所述训练图像集为混合了红外图像与可见光图像的图像数据集；

第二模块，用于对待融合图像进行NSCT变换，利用第一模块所得低频子带字典D对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；所述待融合图像包括同一幅场景的红外图像以及可见光图像；

第三模块，用于引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；

第四模块，用于对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。

各模块实现可参见相应步骤，本发明不予赘述。

以下通过实验来验证本发明的有效性。

以红外与可见光图像为实验对象，为证明本发明方法(NSCT_SK_SVD)在红外与可见光图像上的增强效果，实验采用基于NSCT和基于稀疏表示的图像融合算法进行对比，同时也比较了不同字典对融合效果的影响。这些方法是：(1)利用NSCT进行的图像融合(NSCT)；(2)利用DCT固定字典进行稀疏表示的图像融合(DCT_SR)；(3)利用K-SVD方法训练得到的字典进行的图像融合(K_SVD_SR)；(4)利用稀疏K-SVD方法训练得到的字典进行的图像融合(SK_SVD_SR)；(5)利用NSCT和DCT固定字典进行的图像融合(NSCT_DCT)；(6)利用NSCT和K-SVD方法得到的字典进行的图像融合(NSCT_K_SVD)。

实验中NSCT方法分解层数为4，其中NSCT域的方向分解级数G分别为“1，2，3，4”，拉普拉斯滤波器选择“9-7”塔形分解，方向滤波器选用“pkva”滤波器。进行图像的稀疏表示时用到的字典由随机从50幅图像中选取50000个图像块训练得到。图像块大小和字典大小分别采用目前较为常见的大小8×8和64×256，基字典初始化为DCT字典。目标原子的稀疏度和目标训练样本的稀疏度分别为10和20，容许误差为ε＝0.1，滑窗移动步距step＝1，区域匹配度阈值th＝0.9，区域窗口大小为3×3。

为了更加客观评价本方法相比于其他方法具有的优越性，实验主要采用Q_w、Q_E、平均梯度(AG)和空间频率(SF)等4种常用的融合质量评价指标对融合后的图像进行质量评价。其中，Q_w是源图像与融合图像窗口加权的融合质量评价，Q_E从局部反映了融合图像融合源图像边缘的情况，这两个指标的值均在[0，1]之间，越接近1表明融合质量越好。平均梯度AG能够描述图像质量改善的大小，它可以较好描述图像的清晰程度，还说明了图像的细节与纹理之间的变换特征。空间频率SF能够说明了图像在空间域的总体活跃程度，也是一种细节对比特征。AG和SF的值越大，说明融合结果越好。

实验结果：

(1)实验结果客观评价结果如下：

表1基于稀疏字典的光学与红外图像融合客观质量评价结果

融合方法	Qw	QE	AG	SF
					NSCT	0.7173	0.2880	2.8693	8.1097
DCT_SR	0.6167	0.2283	1.9195	6.7989
					K_SVD_SR	0.6183	0.2117	1.9296	6.7354
S_KSVD_SR	0.6143	0.2322	1.9180	6.6627
					NSCT_DCT	0.7172	0.2890	2.8704	8.1130
NSCT_K_SVD	0.7191	0.2497	2.8860	8.1311
					NSCT_SK_SVD	0.7209	0.2963	2.9064	8.1459

从融合图像的客观质量评价结果上分析：

表1中本发明的方法在四项指标上均超过对比的三种方法。说明本发明方法得到的融合图像细节信息明显、边缘信息丰富，并较好地保留了源图像的边缘信息。

(2)按照所述实验内容的实验结果主观评价如下：

从视觉上分析，NSCT方法得到的融合图像虽然整合了源图像各自的清晰部分，但是整体效果不佳。基于稀疏表示的方法得到的结果平滑了源图像的边缘与纹理，导致了部分信息的损失。相比于其他方法，本发明的方法进一步保留了源图像的显著特征，并将图像中的船只与行人清晰地显示出来。

Claims (6)

1.一种基于稀疏字典的光学与红外图像融合方法，其特征在于：包括以下步骤，

步骤a，对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K-SVD法得到低频子带的稀疏字典，记为低频子带字典D；所述训练图像集为混合了红外图像与可见光图像的图像数据集；

步骤b，对待融合图像进行NSCT变换，利用步骤a所得低频子带字典D对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；所述待融合图像包括同一幅场景的红外图像以及可见光图像；

步骤c，引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；

步骤d，对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。

2.根据权利要求1所述基于稀疏字典的光学与红外图像融合方法，其特征在于：步骤a实现方式如下，

对训练图像集中每一幅训练图像I_t(t＝1,2,…,T)进行NSCT变换，T表示参与训练的图像的数目，t为训练图像的标号；设经过G级NSCT分解后得到低频子带和高频子带，其中l_g为尺度g下的方向分解级数；

对所有训练图像的低频子带L_t(t＝1,2,…,T)用滑动窗口策略分解成大小为的块，依次转换为长度为n的列向量后拼接成矩阵Ψ_t∈R^n×L(t＝1,2,…,T)，R为实数，L表示每个低频子带分块的总数；再将矩阵合并成训练数据集Ψ＝[Ψ₁,Ψ₂,…Ψ_T]；

用稀疏K-SVD算法求解如下目标方程，

$\begin{array}{cc}\arg \underset{A,\mathrm{\Γ}}{min}\left|\right|\underset{\‾}{\mathrm{\Ψ}}-\mathrm{\Φ}A\mathrm{\Γ}|{|}_F^2& s.t.\left\{\begin{array}{c}\∀i\left|\right|{\mathrm{\γ}}_i|{|}_0\≤y\\ \∀j\left|\right|a_j|{|}_0\≤x,|\left|{\mathrm{\Φa}}_j\right|{|}_2=1\end{array}\right.\end{array}$

其中，Φ为基字典，而Γ则是子带分解系数的稀疏表示，a_j与γ_i分别表示矩阵A和Γ中的列向量，j和i分别代表矩阵A和Γ中的列号；‖·‖₀表示向量的零范数；在约束条件中，x和y分别代表目标原子的稀疏度和目标训练样本的稀疏度；根据低频子带字典的稀疏表示系数A，进一步得到低频子带字典D＝ΦA。

3.根据权利要求1所述基于稀疏字典的光学与红外图像融合方法，其特征在于：步骤b实现方式如下，

首先，设step指滑窗每次移动的距离，K表示待融合图像的数目，P、Q为图像的行数和列数，pq代表整幅图像能划分出的图像块的数量；

对第k幅待融合图像经过NSCT变换，得到低频子带；对待融合图像I_k∈R^P×Q的低频子带系数L_k(k＝1,2,…,K)以步长为大小为从左上到右下依次分块，转换成为列向量，依次横向拼接为矩阵其中第k幅待融合图像I_k中第i块的列向量记为并对各个待融合图像第i块的低频子带的稀疏表示系数按照下式进行求解；

$\begin{array}{cc}\underset{\mathrm{\γ}}{min}\left|\right|{\mathrm{\γ}}_i^k|{|}_0& s.t.\left|\right|\underset{\‾}{\mathrm{\Ψ}}\left(I_k\right)-D\mathrm{\Γ}|{|}_F^2\≤\mathrm{\ϵ}\end{array}$

其中，Ψ(I_k)是由第k幅待融合图像经过NSCT变换后得到的低频子带组成的矩阵；ε表示容许误；γ表示图像分解出的所有图像块的稀疏表示系数；

其次，融合图像的第i块低频子带稀疏表示系数为所有待融合图像第i块相应系数中活动性最大的系数如下，

${\mathrm{\γ}}_i^f={\mathrm{\γ}}_{k^{*}},k^{*}=\underset{k=1,2,...,K}{\mathrm{argmax}}\left(\right|\left|{\mathrm{\γ}}_i^k\right|{|}_1)$

其中，表示第k幅待融合图像I_k中第i块低频子带的稀疏表示系数活动性，，其中，k^*代表符合约束条件的待融合图像标号；

遍历所有待融合图像经NSCT变换后的低频子带，得到融合图像低频子带稀疏表示系数的集合融合图像的低频子带系数向量集为Ψ ^F＝D×Γ^F，其中Ψ ^F∈R^n×pq；

最后，将Ψ ^F中的每一向量恢复成原始的矩阵块，相应得到融合图像的低频系数。

4.一种基于稀疏字典的光学与红外图像融合系统，其特征在于：包括以下模块，

第一模块，用于对训练图像集中的每一幅图像均进行NSCT变换，提取低频部分利用稀疏K-SVD法得到低频子带的稀疏字典，记为低频子带字典D；所述训练图像集为混合了红外图像与可见光图像的图像数据集；

第二模块，用于对待融合图像进行NSCT变换，利用第一模块所得低频子带字典D对待融合图像的低频部分进行稀疏表示，对稀疏系数融合后经过字典重构得到融合后的低频系数；所述待融合图像包括同一幅场景的红外图像以及可见光图像；

第三模块，用于引入四阶相关系数计算邻域内多源图像的高频系数的匹配度，通过比较匹配度算子和阈值大小来选择不同的高频融合策略，得到融合后的高频系数；

第四模块，用于对融合后的低频系数与高频系数进行NSCT逆变换，得到融合后的图像。

5.根据权利要求4所述基于稀疏字典的光学与红外图像融合系统，其特征在于：第一模块工作实现方式如下，

对训练图像集中每一幅训练图像I_t(t＝1,2,…,T)进行NSCT变换，T表示参与训练的图像的数目，t为训练图像的标号；设经过G级NSCT分解后得到低频子带和高频子带，其中l_g为尺度g下的方向分解级数；

对所有训练图像的低频子带L_t(t＝1,2,…,T)用滑动窗口策略分解成大小为的块，依次转换为长度为n的列向量后拼接成矩阵Ψ_t∈R^n×L(t＝1,2,…,T)，R为实数，L表示每个低频子带分块的总数；再将矩阵合并成训练数据集Ψ＝[Ψ₁,Ψ₂,…Ψ_T]；

用稀疏K-SVD算法求解如下目标方程，

$\begin{array}{cc}\arg \underset{A,\mathrm{\Γ}}{min}\left|\right|\underset{\‾}{\mathrm{\Ψ}}-\mathrm{\Φ}A\mathrm{\Γ}|{|}_F^2& s.t.\left\{\begin{array}{c}\∀i\left|\right|{\mathrm{\γ}}_i|{|}_0\≤y\\ \∀j\left|\right|a_j|{|}_0\≤x,|\left|{\mathrm{\Φa}}_j\right|{|}_2=1\end{array}\right.\end{array}$

其中，Φ为基字典，而Γ则是子带分解系数的稀疏表示，a_j与γ_i分别表示矩阵A和Γ中的列向量，j和i分别代表矩阵A和Γ中的列号；‖·‖₀表示向量的零范数；在约束条件中，x和y分别代表目标原子的稀疏度和目标训练样本的稀疏度；根据低频子带字典的稀疏表示系数A，进一步得到低频子带字典D＝ΦA。

6.根据权利要求4所述基于稀疏字典的光学与红外图像融合系统，其特征在于：第二模块工作实现方式如下，

首先，设step指滑窗每次移动的距离，K表示待融合图像的数目，P、Q为图像的行数和列数，pq代表整幅图像能划分出的图像块的数量；

对第k幅待融合图像经过NSCT变换，得到低频子带；对待融合图像I_k∈R^P×Q的低频子带系数L_k(k＝1,2,…,K)以步长为大小为从左上到右下依次分块，转换成为列向量，依次横向拼接为矩阵其中第k幅待融合图像I_k中第i块的列向量记为并对各个待融合图像第i块的低频子带的稀疏表示系数按照下式进行求解；

$\begin{array}{cc}\underset{\mathrm{\γ}}{min}\left|\right|{\mathrm{\γ}}_i^k|{|}_0& s.t.\left|\right|\underset{\‾}{\mathrm{\Ψ}}\left(I_k\right)-D\mathrm{\Γ}|{|}_F^2\≤\mathrm{\ϵ}\end{array}$

其中，Ψ(I_k)是由第k幅待融合图像经过NSCT变换后得到的低频子带组成的矩阵；ε表示容许误；γ表示图像分解出的所有图像块的稀疏表示系数；

其次，融合图像的第i块低频子带稀疏表示系数为所有待融合图像第i块相应系数中活动性最大的系数如下，

${\mathrm{\γ}}_i^f={\mathrm{\γ}}_{k^{*}},k^{*}=\underset{k=1,2,...,K}{\mathrm{argmax}}\left(\right|\left|{\mathrm{\γ}}_i^k\right|{|}_1)$

其中，表示第k幅待融合图像I_k中第i块低频子带的稀疏表示系数活动性，，其中，k^*代表符合约束条件的待融合图像标号；

遍历所有待融合图像经NSCT变换后的低频子带，得到融合图像低频子带稀疏表示系数的集合融合图像的低频子带系数向量集为Ψ ^F＝D×Γ^F，其中Ψ ^F∈R^n×pq；

最后，将Ψ ^F中的每一向量恢复成原始的矩阵块，相应得到融合图像的低频系数。