CN102254314A - 基于压缩感知的可见光和红外图像融合方法 - Google Patents

Abstract

本发明公开了一种基于压缩感知的可见光和红外图像融合方法，主要解决现有的可见光和红外传感器难以同时获取目标和场景均清晰的问题。其实现步骤为：(1)对输入的可见光和红外图像进行单层小波分解；(2)对小波分解后的低频子带系数进行融合，对高频子带系数进行观测；(3)对高频子带系数观测值进行融合；(4)对融合后的高频子带系数观测值进行重构，得到融合后的高频子带系数；(5)对融合后的低频子带系数和高频子带系数进行小波逆变换，得到融合后的图像。本发明对可见光和红外图像能同时获取目标和场景均清晰的融合图像，且处理速度快，效果好，可用于目标识别，跟踪前的预处理。

Description

基于压缩感知的可见光和红外图像融合方法

技术领域

本发明属于图像处理技术领域，涉及图像融合技术，具体地说是一种结合了压缩感知理论的可见光和红外图像融合方法。用于对图像进行进一步的分析、理解以及目标的检测、识别或跟踪前的图像预处理。

背景技术

图像融合作为一个新兴的科研领域有着广阔的发展前景。它通过提取和综合来自多个传感器图像的信息，获得对同一场景或目标的更为准确、全面、可靠的图像描述，以便对图像进行进一步的分析、理解以及目标的检测、识别或跟踪。从二十世纪八十年代初至今，多传感器图像融合已引起了世界范围内的广泛兴趣和研究热潮，它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。经过将近三十年的发展，图像融合技术的研究已经形成了一定的规模，国内外已开发出多种融合系统，但这并不表明该项技术已经完善。从目前的情况来看，图像融合技术还存在许多理论和技术方面的问题有待解决。尤其需要指出的是图像融合技术在国内所进行的研究相对于国际上的研究工作起步较晚，还处于落后状态。因此迫切需要进行广泛深入的基础理论和基础技术的研究。

随着信息技术的飞速发展，人们对信息的需求与日俱增。在这种背景下，传统的图像融合方法，比如基于多尺度变换的融合方法，参见文章《Region based multisensor imagefusion using generalized Gaussian distribution》，in Int.Workshop on NonlinearSign.and Image Process.Sep.2007，需要处理的数据量十分可观，这就造成了对信号采样、传输和存储的巨大压力，如何缓解这种压力又能有效提取承载在信号中的有用信息是信号与信息处理中急需解决的问题之一。近几年来国际上出现的压缩感知理论CS为缓解这些压力提供了解决方法。压缩感知理论CS不需要对信号进行完全采样，在采样时也不需要知道信号的任何先验信息，因而减少了恢复的数据量，一定程度上缓解了传输和存储的巨大压力。目前，学者们已经在模拟-信息采样、合成孔径雷达成像、遥感成像、核磁共振成像、人脸识别、信源编码等诸多领域对压缩感知展开了广泛的应用研究。最近几年国内也掀起了压缩感知的研究热潮。但是将压缩感知理论用在图像融合上的研究还很少。学者T.Wan等人率先将压缩感知的理论用于图像融合的尝试，参见文章《Compressive ImageFusion》，in Proc.IEEE Int.Conf.Image Process，pp.1308-1311，2008.该方法采用观测值绝对值取大的融合规则，效果不尽人意。此后X.Li等人对它进行了改进，提出了基于压缩感知的可见光和红外图像融合方法，参见文章《Efficient fusion for infrared and visible imagesbased on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.该方法采用图像观测值标准差加权的融合规则，融合效果和T.Wan等人的方法相比有了一定的提高，但是效果提高不是很明显且算法收敛的速度比较慢。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出了一种基于压缩感知的可见光和红外图像融合方法，以减少数据量，降低计算复杂度，并在降低复杂度的同时提高图像融合的效果。

实现本发明目的的技术关键是利用压缩感知对信号的不完全采样来减少数据量，利用快速沃尔什哈达马变换矩阵来降低计算复杂度，整个处理过程分为四大部分，首先对可见光图像和红外图像进行一层小波分解，再对分解后的低频子带系数采用低频融合规则进行融合，对每个高频子带系数进行观测，然后对每个高频子带系数观测值进行融合，并对融合后的每个高频子带系数观测值进行重构，得到融合后的高频子带系数，最后对融合后的低频子带系数和高频子带系数进行小波逆变换得到融合的图像，其具体步骤包括如下：

(1)对输入的可见光图像A和红外图像B进行小波分解，得到两幅图像的低频子带系数x_A和x_B以及三个方向的高频子带系数

ε＝1，2，3；

(2)对可见光图像A和红外图像B的低频子带系数x_A和x_B进行融合，得到融合后的低频子带系数x；

$x=x_A+x_B-\frac{{\stackrel{\‾}{x}}_A+{\stackrel{\‾}{x}}_B}{2}$

其中，x_A，x_B分别为可见光图像A和红外图像B的低频子带系数，

分别为低频子带系数的均值，x为融合后的低频子带系数；

(3)对可见光图像A和红外图像B的三个方向的高频子带

和ε＝1，2，3用观测矩阵进行观测，得到两幅图像三个方向高频子带系数的观测值

和

(4)对可见光图像A和红外图像B的三个方向的高频子带系数观测值

和

ε＝1，2，3进行融合，得到融合后的高频子带系数的观测值z^ε：

(4a)计算可见光图像A和红外图像B的三个方向的高频子带系数观测值的融合权值

和

$w_A^{\mathrm{\ϵ}}=\frac{\left|z_A^{\mathrm{\ϵ}}\right|}{\left|z_A^{\mathrm{\ϵ}}\right|+\left|z_B^{\mathrm{\ϵ}}\right|}$

$w_B^{\mathrm{\ϵ}}=1-w_A^{\mathrm{\ϵ}}$

(4b)对可见光图像A和红外图像B的三个方向高频子带系数观测值进行加权融合，得到融合后的高频子带系数的观测值z^ε：

$z^{\mathrm{\ϵ}}=w_A^{\mathrm{\ϵ}}{z}_A^{\mathrm{\ϵ}}+w_B^{\mathrm{\ϵ}}{z}_B^{\mathrm{\ϵ}}$

其中，

分别为可见光图像A和红外图像B第ε，ε＝1，2，3方向高频子带系数的观测值，

分别为可见光图像A和红外图像B第ε方向高频子带系数观测值的融合权值，|·|为取变量的绝对值，z^ε为第ε方向高频子带系数观测值的融合值；

(5)对可见光图像A和红外图像B融合后的高频子带系数观测值z^ε，ε＝1，2，3进行重构，得到融合后的三个高频子带系数g^ε，ε＝1，2，3；

(6)对融合后的低频子带系数x和三个高频子带系数g^ε，ε＝1，2，3进行小波逆变换得到融合后的图像F。

本发明与现有的技术相比具有以下优点：

1、本发明由于采用快速沃尔什哈达马变换矩阵对信号进行了降维观测，与传统的图像融合方法相比，不需要预先假设图像的任何先验信息，且图像经过观测后，减小了图像数据量，节约了存储空间；

2、本发明由于观测矩阵采用了快速沃尔什哈达马变换，算法的运行速度要比现有的压缩感知图像融合方法要快；

3、本发明由于对图像只进行了一层小波分解，所以能更好地保留图像的能量信息。

实验证明，本发明对可见光和红外图像融合问题，融合结果的视觉效果较好，算法收敛速度也较快。

附图说明

图1是本发明的整体实现流程图；

图2是本发明使用的三组可见光图像和红外图像的源图像；

图3是用本发明与现有两种融合算法对可见光和红外Tree-1图像进行融合的结果图；

图4是用本发明与现有两种融合算法对可见光和红外Tree-2图像进行融合的结果图；

图5是用本发明与现有两种融合算法对可见光和红外Sea图像进行融合的结果图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，对输入的可见光图像A和红外图像B进行小波分解，得到两幅图像的低频子带系数x_A和x_B以及三个方向的高频子带系数

ε＝1，2，3。

小波分解将图像分解为高频子带系数和低频子带系数，高频子带系数可以认为是稀疏的，但低频子带系数是原图像不同尺度下的逼近信号，不能认为是稀疏的，而将低频子带系数与高频子带系数一起与测量矩阵Φ相乘则会破坏了低频逼近分量系数之间的相关性，导致图像重构效果变差，所以我们对图像先进行小波分解，然后对分解得到的高频子带系数和低频子带系数分开处理，这样能获得更好的图像重构效果。实验中采用的小波为双正交滤波器CDF 9/7小波，分解层数为1层，但不局限于小波变换，例如可以用离散余弦DCT变换，傅里叶FT变换，得到可见光图像A和红外图像B这两幅图像的低频子带系数x_A和x_B以及三个方向的高频子带系数

ε＝1，2，3。

步骤2，对见光图像A和红外图像B小波分解后的子带低频系数x_A和x_B进行融合。

由于小波变换后图像低频子带系数对图像重构起到了很重要的作用，因此只对原图像进行单层小波变换，能更好地保留图像的能量信息，然后只对第一层高频子带系数进行测量，对低频逼近子带则保留小波分解的系数，这样一方面可以有效减少重构图像所需的数据量，另一方面可以十分有效的提高重构图像质量。

低频子带系数融合过程如下：

(2a)计算可见光图像A和红外图像B小波分解后的低频子带系数x_A和x_B的均值

和

${\stackrel{\‾}{x}}_I=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{x}_{\mathrm{Ij}}$

其中，x_Ij为见光图像A和红外图像B低频子带中第j个小波系数，I＝A，B，j＝1，2ΛM，M为低频子带中小波系数的总数目；

(2b)对可见光图像A和红外图像B小波分解后的低频子带系数x_A和x_B进行加权融合，得到融合后的低频子带系数；

$x=x_A+x_B-\frac{{\stackrel{\‾}{x}}_A+{\stackrel{\‾}{x}}_B}{2}$

其中，

分别为可见光图像A和红外图像B低频子带系数的均值。

步骤3，对可见光图像A和红外图像B高频子带系数

和

ε＝1，2，3进行压缩感知CS观测。

(3a)将大小均为N×N的可见光图A和红外图像B的三个方向的高频子带系数

ε＝1，2，3排成三个列向量，每个列向量大小均为

(3b)采用快速沃尔什哈达马观测矩阵对三个方向的高频子带系数列向量进行计算，得到大小为M×1的各个高频子带系数列向量的观测值

$z_I^{\mathrm{\ϵ}}=\mathrm{\Φ}{y}_I^{\mathrm{\ϵ}}$

其中，Φ为快速沃尔什哈达马观测矩阵，大小为

I＝A，B，ε＝1，2，3为可见光图像A和红外图像B的三个大小均为

的高频子带系数的列向量。

本实例采用的快速沃尔什哈达马观测矩阵是一种结合了克罗内克积“Kroneckerproduct”理论的快速沃尔什哈达马变换矩阵，它的计算复杂度为O(NlogN)，远低于一般的复杂度为O(N²)的快速沃尔什哈达马变换矩阵。算法的详细内容参见Chengbo Li《AnEfficient Algorithm For Total Variation Regularization with Applications to the Single PixelCamera and Compressive Sensing》，Master of Arts，in Rice University，Houston，Texas，September.2009.

步骤4，对可见光图像A和红外图像B的三个方向的高频子带系数观测值和

ε＝1，2，3进行融合，得到融合后的高频子带系数的观测值z^ε。

在传统的小波图像融合方法中，小波分解后的高频子带系数中，系数的值越大，它包含图像的信息量就越多。由于压缩感知CS对图像信号的观测过程是一个线性的过程，所以可以认为图像信号的高频子带系数通过观测后仍保留着这种关系。所以可以认为绝对值大的高频子带系数的观测值包含的图像信息量就大，加权融合的时候取的融合权值也应大。可见光图像A和红外图像B的三个方向的高频子带

和

ε＝1，2，3的融合过程按如下步骤进行：

(4a)计算可见光图像A和红外图像B的三个方向的高频子带系数观测值的融合权值

和

$w_A^{\mathrm{\ϵ}}=\frac{\left|z_A^{\mathrm{\ϵ}}\right|}{\left|z_A^{\mathrm{\ϵ}}\right|+\left|z_B^{\mathrm{\ϵ}}\right|}$

$w_B^{\mathrm{\ϵ}}=1-w_A^{\mathrm{\ϵ}}$

(4b)对可见光图像A和红外图像B的三个方向高频子带系数观测值进行加权融合，得到融合后的高频子带系数的观测值z^ε：

$z^{\mathrm{\ϵ}}=w_A^{\mathrm{\ϵ}}{z}_A^{\mathrm{\ϵ}}+w_B^{\mathrm{\ϵ}}{z}_B^{\mathrm{\ϵ}}$

其中，分别为可见光图像A和红外图像B第ε，ε＝1，2，3方向高频子带系数的观测值，

分别为可见光图像A和红外图像B第ε方向高频子带系数观测值的融合权值，|·|为取变量的绝对值，z^ε为第ε方向高频子带系数观测值的融合值。

步骤5，对可见光图像A和红外图像B融合后的高频子带系数观测值z^ε，ε＝1，2，3采用TVAL3算法进行重构，得到融合后的三个高频子带系数g^ε，ε＝1，2，3。

TVAL3算法的全称为Total Variation Minimization by Augmented Lagrangian andAlternating Direction Algorithms，该算法是基于全变差最小化的Matlab程序包，程序来源于http://www.caam.rice.edu/～optimization/L1/TVAL3/.

利用TVAL3算法对高频子带系数观测值重构的核心是求解优化问题：

min∑|Dα|，st.Aα＝b

其中，D为信号的稀疏变换，α为信号的稀疏形式，A为观测矩阵，b为观测值。

详细的求解过程参见Chengbo Li《An Efficient Algorithm For Total VariationRegularization with Applications to the Single Pixel Camera and Compressive Sensing》，Masterof Arts，in Rice University，Houston，Texas，September.2009.

利用TVAL3算法对可见光图像A和红外图像B融合后的高频子带系数观测值z^ε，ε＝1，2，3重构后，得到融合后的小波高频子带系数g^ε，ε＝1，2，3。

步骤6，对可见光图像A和红外图像B融合后的低频子带系数x和高频子带系数g^ε，ε＝1，2，3进行小波逆变换。

可见光图像A和红外图像B融合后的低频子带系数和三个方向的高频子带系数是列向量的形式，将其变成

矩阵形式，然后组合成一幅大小为N×N的小波系数矩阵，最后对小波系数矩阵进行小波逆变换就得到融合后的图像。

本发明的效果可以通过仿真实验具体说明：

1.实验条件

实验所用微机CPU为Intel Core(TM)2 Duo 2.33GHz内存2GB，编程平台是Matlab7.0.1。实验中采用的图像数据为三组已配准的可见光和红外图像，大小均为256×256，图像来源于图像融合网站http://www.imagefusion.org/，第一组为Tree-1图像，如图2(a)和图2(b)，其中图2(a)为红外图像，图2(b)为可见光图像，第二组为Tree-2图像，如图2(c)和图2(d)，其中图2(c)为红外图像，图2(d)为可见光图像，第三组为Sea图像，如图2(e)和图2(f)，其中图2(e)为红外图像，图2(f)为可见光图像。

2.实验内容

实验1，用本发明的方法和现有的两种融合方法对Tree-1图像进行融合实验，两篇文章的采样率均为0.4，本发明的高频采样率为0.2，用于图像恢复的数据量占图像总数据量的40％，融合结果如图3，其中图3(a)为文章《Compressive Image Fusion》，in Proc.IEEEInt.Conf.Image Process，pp.1308-1311，2008.融合结果图，图3(b)为文章《Efficient fusionfor infrared and visible images based on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.的融合结果图，图3(c)为本发明的融合结果图。

从图3可见，本发明的融合方法比现有的两种融合方法视觉效果要好，目标和场景都较清晰，文章《Compressive Image Fusion》，in Proc.IEEE Int.Conf.Image Process，pp.1308-1311，2008的融合方法的融合结果存在大量的噪声，场景比较模糊，文章《Efficientfusion for infrared and visible images based on compressive sensing principle》，in IET.ImageProcess.，Vol.5，Iss.2，pp.141-147，2011.融合方法的融合结果和本发明方法相比对比度较低，目标不清晰。

实验2，用本发明的方法和现有的两种融合方法对Tree-2图像进行融合实验，两篇文章的采样率均为0.4，本发明的高频采样率为0.2，用于图像恢复的数据量占图像总数据量的40％，融合结果如图3，其中图4(a)为文章《Compressive Image Fusion》，in Proc.IEEEInt.Conf.Image Process，pp.1308-1311，2008.融合结果图，图4(b)为文章《Efficient fusionfor infrared and visible images based on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.的融合结果图，图4(c)为本发明的融合结果图。

从图4可见，本发明的融合方法比现有的两种融合方法视觉效果要好，目标和场景都较清晰，文章《Compressive Image Fusion》，in Proc.IEEE Int.Conf.Image Process，pp.1308-1311，2008的融合方法的融合结果存在大量的噪声和带状条纹，文章《Efficient fusionfor infrared and visible images based on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.融合方法的融合结果和本发明方法相比对比度较低，目标不够清晰。

实验3，用本发明的方法和现有的两种融合方法对Sea图像进行融合实验，两篇文章的采样率均为0.4，本发明的高频采样率为0.2，用于图像恢复的数据量占图像总数据量的40％，融合结果如图3，其中图5(a)为文章《Compressive Image Fusion》，in Proc.IEEEInt.Conf.Image Process，pp.1308-1311，2008.融合结果图，图5(b)为文章《Efficient fusionfor infrared and visible images based on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.的融合结果图，图5(c)为本发明的融合结果图。

从图5可见，本发明的融合方法和现有两篇文章融合方法相比，视觉效果要好，目标和场景都较清晰，两幅源图像的信息都能很好地融合在一起，文章《Compressive ImageFusion》，in Proc.IEEE Int.Conf.Image Process，pp.1308-1311，2008的融合方法的融合结果存在大量带状条纹和噪声，文章《Efficient fusion for infrared and visible images based oncompressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.融合方法的融合结果和本发明方法目标对比度低，不清晰。

将本发明的融合方法与文章《Compressive Image Fusion》，in Proc.IEEE Int.Conf.ImageProcess，pp.1308-1311，2008.的融合方法以及文章《Efficient fusion for infrared and visibleimages based on compressive sensing principle》，in IET.Image Process.，Vol.5，Iss.2，pp.141-147，2011.的融合方法在六种图像评价指标上进行比较，来评价本发明的效果。三种融合方法在三组可见光图像和红外图像上的融合定性评价指标如表1：

表1、可见光图像和红外图像融合定性评价指标

表1中：

CS-MAV表示文章T.Wan，N.Canagarajah，A.Achim，“Compressive Image Fusion，”inProc.IEEE Int.Conf.Image Process，pp.1308-1311，2008的融合方法。

CS-SD表示文章X.Li，S.-Y.Qin，“Efficient fusion for infrared and visible images basedon compressive sensing principle，”in IET Image Process.，Vol.5，Iss.2，pp.141-147，2011的融合方法。

IE表示信息熵，AG表示平均梯度，MI表示互信息，Q表示边缘保持度，CC表示相关系数，T表示图像恢复时间，单位为秒(s)。

从表1可见，本发明的方法在多项指标上比所述两篇文章的方法要高，其它指标也比较接近；在时间复杂度上，本发明的方法需要的图像重构时间远低于所述两篇文章的融合方法。

上述实验证明，本发明提出的基于压缩感知的可见光和红外图像融合方法对可见光和红外图像融合问题能取得较好的视觉效果，且计算复杂度也较低。

Claims (4)

1.一种基于压缩感知的可见光和红外图像融合方法，包括如下步骤：

(1)对输入的可见光图像A和红外图像B进行小波分解，得到两幅图像的低频子带系数x_A和x_B以及三个方向的高频子带系数

ε＝1，2，3；

(2)对可见光图像A和红外图像B的低频子带系数x_A和x_B进行融合，得到融合后的低频子带系数x；

$x=x_A+x_B-\frac{{\stackrel{\‾}{x}}_A+{\stackrel{\‾}{x}}_B}{2}$

其中，x_A，x_B分别为可见光图像A和红外图像B的低频子带系数，

分别为低频子带系数的均值，x为融合后的低频子带系数；

(3)对可见光图像A和红外图像B的三个方向的高频子带和

ε＝1，2，3用观测矩阵进行观测，得到两幅图像三个方向高频子带系数的观测值

和

(4)对可见光图像A和红外图像B的三个方向的高频子带系数观测值

和

ε＝1，2，3进行融合，得到融合后的高频子带系数的观测值z^ε：

(4a)计算可见光图像A和红外图像B的三个方向的高频子带系数观测值的融合权值

和

$w_A^{\mathrm{\ϵ}}=\frac{\left|z_A^{\mathrm{\ϵ}}\right|}{\left|z_A^{\mathrm{\ϵ}}\right|+\left|z_B^{\mathrm{\ϵ}}\right|}$

$w_B^{\mathrm{\ϵ}}=1-w_A^{\mathrm{\ϵ}}$

(4b)对可见光图像A和红外图像B的三个方向高频子带系数观测值进行加权融合，得到融合后的高频子带系数的观测值z^ε：

$z^{\mathrm{\ϵ}}=w_A^{\mathrm{\ϵ}}{z}_A^{\mathrm{\ϵ}}+w_B^{\mathrm{\ϵ}}{z}_B^{\mathrm{\ϵ}}$

其中，

分别为可见光图像A和红外图像B第ε，ε＝1，2，3方向高频子带系数的观测值，

分别为可见光图像A和红外图像B第ε方向高频子带系数观测值的融合权值，|·|为取变量的绝对值，z^ε为第ε方向高频子带系数观测值的融合值；

(5)对可见光图像A和红外图像B融合后的高频子带系数观测值z^ε，ε＝1，2，3进行重构，得到融合后的三个高频子带系数g^ε，ε＝1，2，3；

(6)对融合后的低频子带系数x和三个高频子带系数g^ε，ε＝1，2，3进行小波逆变换得到融合后的图像F。

2.根据权利要求1所述的基于压缩感知的可见光和红外图像融合方法，其中步骤(1)所述的对输入的可见光图像A和红外图像B进行小波分解，采用双正交滤波器CDF 9/7小波，分解层数为1层。

3.根据权利要求1所述的基于压缩感知的可见光和红外图像融合方法，其中步骤(3)所述的对可见光图像A和红外图像B的三个方向的高频子带

和

ε＝1，2，3进行观测，按如下步骤进行：

(3a)将大小均为N×N的可见光图A和红外图像B的三个方向的高频子带系数

ε＝1，2，3排成三个列向量，每个列向量大小均为

(3b)采用快速沃尔什哈达马观测矩阵对三个方向的高频子带系数列向量进行计算，得到大小为M×1的各个高频子带系数列向量的观测值

$z_I^{\mathrm{\ϵ}}=\mathrm{\Φ}{y}_I^{\mathrm{\ϵ}}$

其中，Φ为快速沃尔什哈达马观测矩阵，大小为

I＝A，B，ε＝1，2，3为可见光图像A和红外图像B的三个大小均为的高频子带系数的列向量。

4.根据权利要求1所述的基于压缩感知的可见光和红外图像融合方法，其中步骤(5)所述的对可见光图像A和红外图像B融合后的高频子带系数观测值z^ε，ε＝1，2，3进行重构，采用“Total Variation Minimization by AugmentedLagrangian and Alternating Direction Algorithms”算法重构。

Images