CN106683066A - 一种基于联合稀疏模型的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于联合稀疏模型的图像融合方法，首先使用已学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分。然后对得到的两类稀疏系数使用所设计的融合规则，获得融合后的稀疏系数。最后使用融合后的稀疏系数和字典重建图像。仿真实验结果表明，本发明提高了红外与可见光图像的融合效果。

Description

一种基于联合稀疏模型的图像融合方法

技术领域

本发明属于图像融合技术领域，尤其涉及一种基于联合稀疏模型的图像融合方法。

背景技术

随着传感器技术的飞速发展，传感器的灵敏度及分辨率等诸多性能得到大幅度提升。较单传感器而言，多传感器获取的数据信息更具可靠性、互补性和冗余性。因此，多传感器图像融合成为图像理解和计算机视觉领域中一项备受关注的新兴技术。目前，图像融合技术已广泛应用于军事侦察、遥感、社会安全和医疗诊断等重要领域。作为数字图像融合一个非常重要的组成部分，红外图像和可见光图像的融合技术得到国内外学者的重视，是数字图像融合的重要研究领域。通常可见光图像利用场景中的目标反射成像，成像轮廓清晰，背景自然逼真，但当光线弱或有遮挡时，目标信息往往不容易被观察到。而红外图像是对场景实现热辐射成像，其不受光照条件影响，通常包含了可见光图像捕捉不到的重要目标信息，但它分辨率较低，辨识困难。将可见光和红外图像融合可以充分利用两种传感器的优点，得到背景和目标都清晰的图像，弥补单传感器图像的不足。多传感器图像融合可分为像素级融合、特征级融合和决策级融合。其中，像素级图像融合方法因具有较高的保真度而获得广泛应用。但是随着传感器技术的发展，图像的尺寸越来越大，从而在存储和计算方面给像素级融合带来了极大挑战，图像尺寸大影响融合算法的存储和计算速度。

综上所述，现有的多传感器图像融合存在图像尺寸大导致融合的存储和计算速度低。

发明内容

本发明的目的在于提供一种基于联合稀疏模型的图像融合方法，旨在解决现有的多传感器图像融合存在图像尺寸大导致融合的存储和计算速度低的问题。

本发明是这样实现的，一种基于联合稀疏模型的图像融合方法，所述基于联合稀疏模型的图像融合方法包括以下步骤：

步骤一，使用已学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分；

步骤二，对得到的两类稀疏系数使用所设计的融合规则，获得融合后的稀疏系数；

步骤三，使用融合后的稀疏系数和字典重建图像。

进一步，所述联合稀疏表示的字典D∈R^Jm×(J+1)n表示为：

其中J表示传感器的数量，图像的维度为m×n。冗余字典D_c∈R^m×n和D_j∈R^m×n分别是信号公共部分和专有部分的稀疏表示字典。

转化为下式求解稀疏表示系数：

进一步，所述融合规则为：

其中，τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)，

m_A,m_B分别表示源图像每块的均值；源图像x_A和x_B分别减去m_A和m_B得到 和分别为稀疏表示系数矩阵S^C和的第i列，为融合图像的稀疏系数矩阵s_F的第i列；K是图像块的总个数。

进一步，所述基于联合稀疏模型的图像融合方法具体步骤如下：

1)图像融合是对两幅已经配准的灰度源进行融合，将滑窗技术作用于源图像X_A,X_B上，使两幅图像分别变成为大小为的图像块，然后将划分好的图像块变成n维列向量形式；

2)对源图像j(j＝A,B)的i图像块首先减去它们的均值得到减去均值后的图像块然后通过求解式得到一个共同稀疏系数和两个不同稀疏系数

3)根据融合规则，将所获得的稀疏系数带入到式得到融合后的系数

4)通过得到融合后的图像X_F的i图像块

5)使用变换方法将获得的变成大小为的图像块；通过加权平均处理得到融合图像X_F。

本发明提供的基于联合稀疏模型的图像融合方法，首先使用已学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分。然后对得到的两类稀疏系数使用所设计的融合规则，获得融合后的稀疏系数。最后使用融合后的稀疏系数和字典重建图像。仿真实验结果表明，本发明提高了红外与可见光图像的融合效果。

附图说明

图1是本发明实施例提供的基于联合稀疏模型的图像融合方法流程图。

图2是本发明实施例提供的基于联合稀疏模型的图像融合算法流程图。

图3是本发明实施例提供的红外与可见光源图像示意图。

图4是本发明实施例提供的各算法作用在a1组图像的融合结果图；

图中：(a)DWT的融合图像；(b)DTCWT的融合图像；(e)NSCT的融合图像；(i)本发明的融合图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于联合稀疏模型的图像融合方法包括以下步骤：

S101:使用已学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分；

S102:对得到的两类稀疏系数使用所设计的融合规则，获得融合后的稀疏系数；

S103:使用融合后的稀疏系数和字典重建图像。

下面结合具体实施例对本发明的应用原理作进一步的描述。

1原理方法

1.1联合稀疏模型

Baron D等人提出的基于联合稀疏表示模型的分布式压缩感知理论认为，不同传感器在同一地点接收到的信号可以由共同稀疏表示部分和专有稀疏表示部分组成，即：

x_j＝z_c+z_j,j∈{1,2,3,...,J} (1)

式(1)中，x_j表示第j个传感器接收到的信号，z_c∈R^m是信号的专有部分。假设冗余字典D_c∈R^m×n和D_j∈R^m×n分别是信号公共部分和专有部分的稀疏表示字典，那么信号的公共部分和专有部分可以分别表示为：

z_c＝D_cα_c，z_j＝D_jα_j (2)

式(2)中，α_c∈Rⁿ是信号共有的稀疏系数，α_j∈Rⁿ是第j个信号的专有部分的稀疏系数。于是，将信号几何的矩阵形式表示如下：

X＝DΛ (3)

式(3)中，是信号的集合，信号的稀疏系数为联合稀疏表示的字典D∈R^Jm×(J+1)n可以表示为：

上式问题可以转化为下式求解稀疏表示系数：

使用ROMP方法解决公式(5)的求解问题。ROMP算法的基本步骤如下：

输入：观测向量Y∈R^M，稀疏度K。

输出：索引集I∈{1,2,…,d}，重构出的K稀疏向量估计值Θ＝[θ₁,θ₂,…θ_N]^T。

初始化：残差Q＝Y，索引集I＝Φ。

循环下列步骤L次(或者直到|I|＝2L为止)，这里L取值等于稀疏度K。

(1)找出Θ＝Φ^TY中幅度最大的L个非零值，并将这L个角标构成集合J，若非零元素个素少于L，则仅将所有这些元素角标构成集合J。

(2)找出J的子集使得对于所有角标i及j∈J₀，满足|θ_i|＜2|θ_j|；然后在所有J₀中，选出能量最大(即最大)所对应的那个子集。

(3)将上述选定的那个子集J₀加入到索引集中：I←I∪J₀，同时更新残差Q：

Q＝Y-ΦΘ；

经过L次迭代，就可以获取Θ的估计值，通过X＝ΨΘ可重构出原信号X。

1.2字典学习

目前主要有两种方法构造字典:分析变换方法和学习方法。使用K-SVD算法学习字典。釆用USC-SIPI图像库作为训练图像集。

1.3融合规则

红外与可见光图像融合方法的核心和难点问题是确定各个待融合单元的融合规则，其优劣将直接影响融合图像的质量。在压缩感知领域，绝大多数方法对低频系数和高频系数的融合均采用同一规则——加权平均法或者绝对值取大法。这样处理的缺点是得到的采样值中高低频系数混在一起，不易区分，为了克服这一缺点，本发明设计了如下融合规则：

其中，τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)，

m_A,m_B分别表示源图像每块的均值。源图像x_A和x_B分别减去m_A和m_B得到 和分别为稀疏表示系数矩阵S^C和的第i列，为融合图像的稀疏系数矩阵s_F的第i列。K是图像块的总个数。

1.4基于联合稀疏模型的图像融合方法

本发明认为同一场景下获取的红外图像和光学图像均可由共有稀疏表示和专有稀疏表示两部分组成。共有稀疏表示部分可以看作红外图像和可见光图像所具有的相同的空间结构，如道路，树林，农田等的形状特征。由于树木等对可见光光波传输的阻挡，在光学图像中不存在的目标影像会在红外图像上出现目标区域，这些区域则可以看作红外图像的专有部分。为了方便描述，我们假设两个几何已配准的灰度源图像为本发明设计如下的融合方法，流程图如图2所示。算法具体步骤如下：

1)将滑窗技术作用于源图像X_A,X_B上，使两幅图像分别变成为大小为的图像块，然后将划分好的图像块变成n维列向量形式。

2)对源图像j(j＝A,B)的i图像块首先减去它们的均值得到减去均值后的图像块然后通过求解式得到一个共同稀疏系数和两个不同稀疏系数

3)根据融合规则，将所获得的稀疏系数带入到式(6)得到融合后的系数

4)通过得到融合后的图像X_F的i图像块

5)使用与第一步相同的变换方法将获得的(大小为n×1)变成大小为的图像块。滑窗技术导致出现了图像块与块之间有重叠，最后，通过加权平均处理得到融合图像X_F。

下面结合实验对本发明的应用效果作详细的描述。

1实验结果与比较

为证明所提算法具有较优的融合效果，本发明将所提出方法与基于多分辨率分析融合算法(DWT，DTCWT,NSCT)分别作用于这些图像。1.1节描述了各个方法的参数设置。所有的实验在MATLAB R2012b平台运行，计算机性能为3.20-GHz CPU和2.00-GB RAM。

1.1实验数据，为图3。

1.1.1实验参数设置

实验中，各算法的参数设置如下：

多分辨率图像融合方法：实验中DWT的小波基选择‘db1’；DTCWT的第一层和其余层的滤波器分别选择‘LeGall 5-3’和‘Qshift-06’；基于DWT和DTCWT融合方法的分解层数都设为4；基于NSCT融合方法，金字塔滤波器采用“pyrexc”滤波器，方向滤波器釆用“vk”滤波器。NSCT变换每层从粗到精的方向分解层数为{4，8，8，16}。

本发明所提方法：本发明采用“滑窗”策略将图像块在过完备冗余字典下进行稀疏表示。在实验中选取的图像块大小为8×8；训练字典时，稀疏度T设置为5，字典D的大小为64×256，迭代次数为180。停止误差ε＝0.001；β＝1。

1.1.2实验结果及分析

(1)部分红外与可见光图像融合结果及分析

表1表示的是a1组图像融合后的客观评价指标结果。

表1客观评价指标

从表1可以看出，对于a1组图像，本发明的各项评价指标都是最优的，比如，标准差为117.1862，该指标最大表明本发明得到的融合图像灰度分散程度较高。Q⁰,Q^W,Q^E分别为0.59131，0.908345，0.631646。这三个指标越大，表明本发明获得的融合图像与源图像越相似，并且总体显著性较高，更加突出融合图像的边缘信息。图4显示的是所有算法的融合结果图。图中分别是DWT，DTCWT，NSCT，本发明的融合结果图。从图4可以看出，本发明不仅可以较优的融合红外和可见光信息，而且融合后的图像的边缘信息更加突出。并且，亮度略高于其余方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于联合稀疏模型的图像融合方法，其特征在于，所述基于联合稀疏模型的图像融合方法包括以下步骤：

步骤一，使用已学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分；

步骤二，对得到的两类稀疏系数使用所设计的融合规则，获得融合后的稀疏系数；

步骤三，使用融合后的稀疏系数和字典重建图像。

2.如权利要求1所述的基于联合稀疏模型的图像融合方法，其特征在于，所述联合稀疏表示的字典D∈R^Jm×(J+1)n表示为：

其中J表示传感器的数量，图像的维度为m×n。冗余字典D_c∈R^m×n和D_j∈R^m×n分别是信号公共部分和专有部分的稀疏表示字典；

转化为下式求解稀疏表示系数：

3.如权利要求1所述的基于联合稀疏模型的图像融合方法，其特征在于，所述融合规则为：

$s_{F_i}=s_i^C+\underset{i=1}{\overset{K}{\Σ}}({\mathrm{\τ}}_2{s}_{i,A}^U+(1-{\mathrm{\τ}}_2\left)s_{i,B}^U\right)+{\mathrm{\τ}}_1{m}_A+(1-{\mathrm{\τ}}_1)m_B;$

其中，τ₁＝1/(1+exp{-β(||m_A||₂-||m_B||₂)}),(β＞0)，

m_A,m_B分别表示源图像每块的均值；源图像x_A和x_B分别减去m_A和m_B得到 和分别为稀疏表示系数矩阵S^C和的第i列，为融合图像的稀疏系数矩阵s_F的第i列；K是图像块的总个数。

4.如权利要求1所述的基于联合稀疏模型的图像融合方法，其特征在于，所述基于联合稀疏模型的图像融合方法具体步骤如下：

1)将滑窗技术作用于源图像X_A,X_B上，使两幅图像分别变成为大小为的图像块，然后将划分好的图像块变成n维列向量形式；

2)对源图像j(j＝A,B)的i图像块首先减去它们的均值得到减去均值后的图像块然后通过求解式得到一个共同稀疏系数和两个不同稀疏系数

3)根据融合规则，将所获得的稀疏系数带入到式得到融合后的系数

4)通过得到融合后的图像X_F的i图像块

5)使用变换方法将获得的变成大小为的图像块；通过加权平均处理得到融合图像X_F。