CN104809714A - 基于多形态稀疏表示的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于多形态稀疏表示的图像融合方法，其实施步骤如下：（1）利用基于频率调谐的显著性检测方法（Frequency-tuned Salient Region Detection,FT）提取红外图像的边缘成分，并采用Curvelet基对所得红外图像边缘成分进行稀疏表示。（2）由离散小波变换（Discrete Wavelet Transform,DWT）、离散余弦变换（Discrete Cosine Transform,DCT）构成多形态稀疏基，并利用其对可见光图像进行稀疏表示，得到图像光滑成分和纹理成分的稀疏系数。（3）将红外图像边缘成分、可见光图像光滑成分及纹理成分的稀疏系数融合。（4）对融合后的稀疏系数进行逆变换，得到最终的融合图像。本发明在减少图像数据量的同时，较充分地保留了图像的边缘信息和纹理信息，极大地提升了融合图像的质量。

Description

基于多形态稀疏表示的图像融合方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于形态学成分分析原理，利用多形态稀疏基对红外图像和可见光图像分别进行稀疏表示并融合的方法。

背景技术

可见光图像是物体的反射图像，对比度较高，含有丰富的细节信息，适于人眼观察；但在低照度天气条件下，可见光图像容易丢失细节信息，且在目标与背景色度差异较小时，容易丢失目标。而红外图像是物体自身的辐射所产生的图像，受光照条件的影响较小，但红外图像对比度较低，对目标细节的反映能力也比较差，不符合人眼视觉习惯。因此，利用这两种图像所具有的互补特性，将其进行融合，可以实现不同光照条件下的高质量图像输出。

图像融合是指对多源信道所采集的同一目标图像数据进行处理，并最大限度地提取各自信道中的有用信息，最后综合成高质量的图像。

近年来，为在保证图像融合质量的同时减少图像的数据量，基于稀疏表示的图像融合算法得到了广泛的研究与应用。由于红外图像和可见光图像均包含光滑、边缘和纹理三种成分，且这三种成分在两类图像中所占比重不同，单一的基函数无法同时对其进行最优表示，因此非常有必要研究基于多形态稀疏表示的图像融合方法，通过对图像光滑成分、纹理成分和边缘成分更精确的描述，最终得到高质量的融合图像。

发明内容

本发明提供一种基于多形态稀疏表示的图像融合方法，该方法所得融合图像质量较高。本发明借鉴MCA理论，构建了多形态稀疏基，并利用其对可见光图像进行了形态学分离，得到其光滑成分和纹理成分的稀疏系数，然后将红外图像边缘成分的稀疏系数、可见光图像光滑成分以及纹理成分的稀疏系数融合，再对所得到的融合系数进行逆变换，得到最终的融合图像。

本发明采用的技术方案为：基于多形态稀疏表示的图像融合方法，其实施步骤如下：

(1)利用FT算法对红外图像进行显著性检测，获得其边缘成分X_E；

为了有效地检测图像边缘，FT算法利用DoG滤波器作为算法的带通滤波器。其中：

$\mathrm{DoG}(x,y)=\frac{1}{2\mathrm{\π}}[\frac{1}{{\mathrm{\σ}}_1^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_1^2}}-\frac{1}{{\mathrm{\σ}}_2^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_2^2}}]=G(x,y,{\mathrm{\σ}}_1)-G(x,y,{\mathrm{\σ}}_2)$

其中，σ₁和σ₂表示高斯标准差，且σ₁＞σ₂。

假设σ₁＝ρσ，σ₂＝σ，并将N个窄带的DoG滤波器叠加。即：

$\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}(G\left(x,y,{\mathrm{\ρ}}^{n+1}\mathrm{\σ}\right)-G(x,y,{\mathrm{\ρ}}^n\mathrm{\σ}))=G(x,y,\mathrm{\σ}{\mathrm{\ρ}}^N)-G(x,y,\mathrm{\σ})$

对于任意的整数N≥0，标准差的比K＝ρ^N。本文中ρ取经验值1.6。

为获取红外图像的边缘信息，利用FT算法求解图像的显著图S，即：

S(x,y)＝|I_μ-I_ωhc(x,y)|

上式中I_μ表示图像I的像素平均值，I_ωhc(x,y)表示高斯模糊图像。

(2)采用Curvelet变换对红外图像的边缘成分进行稀疏表示，求得稀疏系数

本发明中采用基于Wrapping算法的Curvelet变换，其实现过程如下：

①对原始图像做二维FFT变换，得到频域内的变换结果其中：-n/2≤n₁≤n/2，-n/2≤n₂≤n/2；

②将Curvelet的局部化区域U_j,l[n₁,n₂]与相乘；

③对第②步所得结果进行Wrapping操作，其中：

④对第③步所得结果进行二维IFFT变换，可得到离散Curvelet的系数C^D(j,k,l)，其中：j为尺度参数，k为方向参数，l为位置参数。

(3)采用DWT和DCT构成的多形态稀疏基对可见光图像进行形态学分离，得到可见光图像光滑成分的稀疏系数及纹理成分的稀疏系数

本发明为降低小波运算的复杂度，设置小波滤波器分解端长度为9，重构端长度为7，将CDF9/7小波作为本文的稀疏基。

小波基函数分解端有限长度滤波器函数

重构端的滤波器函数

由于DCT变换具有振荡特性，且方向信息丰富，其对图像纹理有较好的稀疏表示效果。因此，本发明利用DCT变换作为纹理部分的稀疏基。

二维DCT变换可以看成是进行了两次一维的DCT变换，其过程如下：

$F(u,v)=c\left(u\right)c\left(v\right)\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j)\cos \left[\frac{(i+0.5)\mathrm{\π}}{N}u\right]\cos \left[\frac{(j+0.5)\mathrm{\π}}{N}v\right]$

其中， $c\left(u\right)=\left\{\begin{array}{c}\sqrt{\frac{1}{N}},u=0\\ \sqrt{\frac{2}{N}},u\≠0\end{array}\right.,c\left(v\right)=\left\{\begin{array}{c}\sqrt{\frac{1}{N}},v=0\\ \sqrt{\frac{2}{N}},v\≠0\end{array}\right.,$ F(u,v)表示矩阵f的DCT系数，c(u)，c(v)是保证DCT变换矩阵为正交矩阵所添加的系数。

DCT逆变换的公式如下：

$f(i,j)=\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}c\left(u\right)c\left(v\right)F(u,v)\cos \left[\frac{(i+0.5)\mathrm{\π}}{N}u\right]\cos \left[\frac{(j+0.5)\mathrm{\π}}{N}v\right]$

其中， $c\left(u\right)=\left\{\begin{array}{c}\sqrt{\frac{1}{N}},u=0\\ \sqrt{\frac{2}{N}},u\≠0\end{array}\right.,c\left(v\right)=\left\{\begin{array}{c}\sqrt{\frac{1}{N}},v=0\\ \sqrt{\frac{2}{N}},v\≠0\end{array}\right.,$ f(i,j)为DCT逆变换得到的重构矩阵。

将DCT变换应用于图像处理过程时，一般将图像分成8×8或者更大的子块。图像子块越大，算法的复杂度也就越高，块效应也越小。因此，本文折中采用8×8的子块对图像进行分块处理。

(4)在重构端将以及融合，并通过逆变换得到最终的融合图像。

本发明提出了一种基于多形态稀疏表示的图像融合方法。本发明的有益效果是：将多形态稀疏表示方法应用到图像融合过程中，充分保留了图像的边缘、纹理等细节信息，融合图像的质量较高。

附图说明

图1为本发明的总流程图。

图2是红外源图像和可见光源图像。

图3是本发明与现有三种融合算法对图2源图像进行融合的结果图。

具体实施方式

设置迭代次数NoI＝100。

输入可见光源图像X。

利用所构建的多形态稀疏基对可见光源图像进行多形态稀疏表示。

初始化系数矩阵：α_S＝α_T＝0。

迭代程序开始：

假定纹理成分X_T固定，更新光滑成分X_S；

计算残差：R＝X-X_T；

计算光滑成分稀疏系数：α_S＝D_SR；

软阈值算法： ${\widetilde{\mathrm{\α}}}_S=\mathrm{SoftThresh}\left({\mathrm{\α}}_S\right);$

更新光滑成分：

假定光滑成分X_S固定，更新纹理成分X_T；

计算残差：R＝X-X_S；

计算纹理成分稀疏系数：α_T＝D_TR；

软阈值算法： ${\widetilde{\mathrm{\α}}}_T=\mathrm{SoftThresh}\left({\mathrm{\α}}_T\right);$

更新纹理部分：

迭代程序结束。

提取可见光图像光滑成分和纹理成分的稀疏系数作为融合图像光滑成分和纹理成分的稀疏系数。

提取红外图像边缘成分的稀疏系数作为融合图像边缘成分的稀疏系数。

对上述所得到的系数进行融合后，再逆变换，从而生成融合图像。

本发明的实验效果可以通过仿真实验具体说明：

1实验条件

本发明利用主频为2.66GHZ的图像处理工作站，并在matlab2013a环境下进行了实验仿真。

2实验内容

将本发明算法与基于DCT的图像融合方法(DCT-MAV)、基于DWT的图像融合方法(DWT-MEAN-MAV)以及基于Curvelet的图像融合方法(Curvelet-MEAN-MAV)进行了对比实验。其中，DCT-MAV采用绝对值最大法；而DWT-MEAN-MAV与Curvelet-MEAN-MAV对低频分量取平均值，对高频分量取最大绝对值。

3实验结果

图2(a)为可见光源图像，图2(b)为红外源图像。图3(a)为采用DCT-MAV方法得到的融合图像，图3(b)为采用DWT-MEAN-MAV方法得到的融合图像，图3(c)采用Curvelet-MEAN-MAV方法得到的融合图像，图3(d)为本发明得到的融合图像。

由图3可以看出，采用DWT-MEAN-MAV方法融合所得图像总体上较平滑、细节信息不清晰；采用DCT-MAV方法融合所得图像分辨率较高，但因红外图像贡献的纹理信息较多，图像边缘较为模糊，图像中人物不突出；采用Curvelet-MEAN-MAV方法融合所得图像中树木、房顶轮廓较清晰，但人物等感兴趣区域表现得不明显；而采用本文方法所得到的融合图像在树木、房顶及护栏处比其它三种方法所得到的图像清晰，且在感兴趣区域和重点目标的检测上表现得更突出。

表1为几种融合方法对图像融合的客观评价。

从表1的数据可以看出：

本发明所得融合图像的MI值最大，表明融合图像与源图像最为接近；

本发明所得融合图像的Q^AB/F值与Curvelet-MEAN-MAV所得的Q^AB/F值相当，但大于利用DCT-MAV和DWT-MEAN-MAV所得的值，表明融合图像中包含了较多源图像的边缘细节信息；

本发明所得融合图像的PSNR最高，表明所得图像中的有用信息最多，且抗噪声能力较强。

上述实验表明，本发明利用红外图像与可见光图像所具有的互补特性，并将其进行融合，可以实现不同光照条件下的高质量图像输出，且运算复杂度低。

Claims (3)

1.一种基于多形态稀疏表示的图像融合方法，其特征在于，包括如下步骤：

(1)利用FT算法提取红外图像的边缘成分，并利用Curvelet基对其进行稀疏表示；

(2)借鉴形态学成分分析(Morphological Component Analysis,MCA)理论，利用DWT和DCT构建的多形态稀疏基对可见光图像进行形态学分离，得到其光滑成分和纹理成分的稀疏系数；

(3)将红外图像边缘成分、可见光图像光滑成分及纹理成分的稀疏系数融合；

(4)对第(3)步中所得融合后的稀疏系数进行逆变换，得到最终的融合图像。

2.根据权利要求1所述的基于多形态稀疏表示的图像融合方法，其特征在于所述步骤(2)中利用所构建的多形态稀疏基对可见光图像进行形态学分离，并得到可见光图像光滑成分、纹理成分的稀疏系数；具体是指：在可见光图像的处理过程中，先设定相应的迭代次数，再利用形态学分离方法对其进行迭代分离；为减少稀疏系数中非零值的个数，本发明利用阈值法对稀疏系数进行了处理；由于硬阈值函数的不连续性，利用其对稀疏系数进行处理可能会导致吉布斯现象，进而降低图像形态学分离的质量；因此，本发明利用软阈值法对稀疏系数进行处理，处理后的稀疏系数为：

$\widetilde{\mathrm{\α}}=\mathrm{SoftThresh}\left(\mathrm{\α}\right)=\mathrm{sign}\left(\mathrm{\α}\right)\×(\mathrm{abs}\left(\mathrm{\α}\right)-\mathrm{delta})\×(\mathrm{abs}\left(\mathrm{\α}\right)>\mathrm{delta})$

其中：α为原始稀疏系数；delta为经验值，设定为0.3；

形态学分离的具体过程为：

—————————————————————————————————————————————

输入：可见光图像X；

构建稀疏字典Φ＝[Φ_S,Φ_T]，其中：Φ_S为DWT稀疏基，Φ_T为DCT稀疏基；

采用D_S,D_T分别表示与Φ_S,Φ_T相对应的变换算子；

设置迭代次数为NoI；

初始化稀疏系数矩阵：α_S＝α_T＝0，其中：α_S为图像光滑成分的稀疏系数矩阵，α_T为图像纹理成分的稀疏系数矩阵；

迭代过程：

For t＝1:NoI

①假定纹理成分X_T固定，更新光滑成分X_S：

计算残差：R＝X-X_T；

计算光滑成分稀疏系数：α_S＝D_SR；

采用软阈值算法： ${\widetilde{\mathrm{\α}}}_S=\mathrm{SoftThresh}\left({\mathrm{\α}}_S\right);$

更新光滑部分： $X_S={\mathrm{\Φ}}_S{\widetilde{\mathrm{\α}}}_S;$

②假定光滑成分X_S固定，更新纹理成分X_T：

计算残差：R＝X-X_S；

计算纹理成分稀疏系数：α_T＝D_TR；

采用软阈值算法： ${\widetilde{\mathrm{\α}}}_T=\mathrm{SoftThresh}\left({\mathrm{\α}}_T\right);$

更新纹理成分： $X_T={\mathrm{\Φ}}_T{\widetilde{\mathrm{\α}}}_T;$

End for

输出：稀疏系数

—————————————————————————————————————————————

3.根据权利要求1所述的基于多形态稀疏表示的图像融合方法，其特征在于所述步骤(3)中对图像各形态成分的稀疏系数进行融合；具体是指：提取可见光图像光滑成分、纹理成分的稀疏系数分别作为融合图像光滑成分、纹理成分的稀疏系数，即：

${\mathrm{\α}}_S^F={\mathrm{\α}}_S^V;$

其中，为融合图像光滑成分的稀疏系数，为可见光图像光滑成分的稀疏系数；

${\mathrm{\α}}_T^F={\mathrm{\α}}_T^V;$

其中，为融合图像纹理成分的稀疏系数，为可见光图像纹理成分的稀疏系数；

提取红外图像边缘成分的稀疏系数作为融合图像边缘成分的稀疏系数，即

${\mathrm{\α}}_E^F={\mathrm{\α}}_E^I;$

其中，为融合图像边缘成分的稀疏系数，为红外图像边缘成分的稀疏系数。