CN104021537A - 一种基于稀疏表示的红外与可见光图像融合方法 - Google Patents

Abstract

本发明提供了一种基于稀疏表示的红外与可见光图像融合方法，首先对图像进行分块处理，然后训练字典，并对两幅源图像分别求解其稀疏系数，然后采用模值取大规则得到融合图像的稀疏系数，最后重构得到融合结果图像。本方法能够自适应于红外与可见光图像的自身特点，提取的源图像表示系数具有较传统方法更优秀的稀疏性与特征保持性，更能反映信号的本质特征与内在结构。因此，能有效提高红外与可见光图像的融合效果。

Description

一种基于稀疏表示的红外与可见光图像融合方法

技术领域

本发明涉及图像融合领域。 

背景技术

红外与可见光的图像融合是图像融合领域的重要组成部分，该技术在医学成像、遥感成像、机器视觉、安全监控等领域有广阔的应用前景。 

目前红外与可见光图像的融合方法主要有：基于数字加权的方法、基于金字塔分解的方法、基于小波变换的方法以及相继提出的基于脊波(Ridgelet)、曲波(Curvelet)、轮廓波(Contourlet)变换等的多尺度几何分析方法。 

基于数字加权的方法直接通过区域的划分将源图像通过加权或取大取小运算得到融合图像，具有方法简单，速度快的优点，但是融合结果对比度和信噪比较低，不能突出红外图像的目标。从1993年Peter J.Burt等人发表在IEEE上的“Enhanced Image Capture Through Fusion”一文中可以看到，基于塔型分解的方法可以提高图像整体的清晰度和信息量，但它会将无信息价值但变化幅度剧烈的大梯度值像素融合到结果中去，从而影响了图像的融合效果。随后，小波变换被广泛应用于红外与可见光图像融合中，由2004年Gonzalo Pajares等人发表在Pattern Recognition Society上的“Awavelet-based image fusion tutorial”一文可见，其主要是通过将红外与可见光图像分解到不同尺度与不同方向，从而有针对性地突出图像的重要特征与细节信息，然而，此类方法仅对信号的点奇异性具有良好的时空局部性特点，而对于图像信号中的直线或曲线奇异性，小波系数并不是最稀疏的。由此，基于各种不同的多尺度分析工具的融合方法相继提出，如脊波、曲波、轮廓波以及非下采样的轮廓波(NSCT)，并取得了优于小波变换的图像融合效果；但此类方法的基函数是固定的，对于复杂多样的图像信号而言，并不是最优的图像表示模型。因此，近几年，新的基于稀疏表示的图像模型成为研究热点并开始应用于图像融合等图像处理领域。如，严春满等人就于2012年在中国图像图形学报上发表论文“自适应字典学习的多聚焦图像融合”，文章针对多焦距图像融合问题，提出一种自适应字典学习的图像融合方法，利用稀疏表示理论自适应学习一组字典，对源图像减去均值并求解其稀疏表示系数，最后按照分解系数的显著性选择融合系数。此方法将稀疏表示理论引入图像融合领域，表现出了较优越的 融合效果。然而，由于其采用了去均值的处理，虽然能较好的评价图像区域的变换程度，但是在最后融合阶段仍需要加入去除的均值，因此存在信息损失问题。 

如前所述，传统的对于红外与可见光图像融合方法由于基函数是固定的，对于复杂多样的图像信号而言，并不是最优的图像表示模型。而新的基于稀疏表示的图像模型中由于采用了去均值的处理，而存在一定的信息损失问题。 

发明内容

为了克服现有技术的不足，本发明提供一种针对红外与可见光图像的基于稀疏表示的图像融合方法：首先对图像进行分块处理，然后训练字典，并对两幅源图像分别求解其稀疏系数，然后采用模值取大规则得到融合图像的稀疏系数，最后重构得到融合结果图像。本方法能够自适应于源图像(红外与可见光图像)的自身特点，提取的源图像表示系数具有较传统方法更优秀的稀疏性与特征保持性，更能反映信号的本质特征与内在结构。因此，能有效提高红外与可见光图像的融合效果。 

本发明解决其技术问题所采用的技术方案包括以下步骤： 

(1)将可见光图像与红外图像配准后利用滑窗技术分成的小块，将小块排成可见光图像块V₁及红外图像块V₂，构成样本集V＝[V₁，V₂]；所述N取为64。 

(2)从样本集V中随机取P个样本构成训练样本V_train，训练样本V_train的大小为N×P，然后随机初始化一个大小为N×M的字典D，采用经典的K-SVD迭代方法，用训练样本V_train训练字典D；所述的P＝5000。 

(3)用训练好的字典D分别求解可见光图像块V₁及红外图像块V₂的稀疏分解系数，获得可见光稀疏系数矩阵S₁及红外稀疏系数矩阵S₂； 

(4)逐列比较可见光稀疏系数矩阵S₁和红外稀疏系数矩阵S₂对应位置上的列向量绝对值之和，将绝对值之和大的列向量作为融合的稀疏系数S_F对应位置的列向量； 

(5)用融合的稀疏系数S_F与训练好的字典D的乘积实现块重构V_F＝DS_F，并按照步骤(1)分块时的顺序进行排列，获得融合结果图像I_F。 

本发明的有益效果是：以稀疏字典为基础，对融合源图像分别训练得到稀疏系数，再通过“模值取大”规则得到融合的稀疏系数，进而重构融合图像得到融合结果。融合图像包括了可见光与红外图像的不同特征信息：即很好地保留了红外图像的目标信息与可见光图像的细节、轮廓等背景信息，提高了目标的识别能力，有利于后续处理系统对信息的提取与使用。 

附图说明

图1是本发明的图像融合流程图； 

图2是红外可见光图像及几种方法的融合结果；其中，(a)：可见光图像；(b)：红外图像；(c)：DWT方法；(d)：GP方法；(e)：ADL方法；(f)：本发明方法SR。 

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。 

稀疏表示

作为一种新兴的图像模型，图像的稀疏表示其基本思想是使用超完备字典对图像进行稀疏表示，即，使用超完备的冗余基函数取代传统的小波基与固定基函数，选择基函数中的最佳m项组合完成图像的稀疏表示，从而揭示图像的主要结构与本质属性。超完备图像稀疏表示的基本思想最早由Mallat提出，字典中的元素称为原子，图像由原子的线性组合来表示。其中原子的数目比信号的维数大，由此产生了冗余。由于这种超完备性，就有很多表示信号的方法，其中具有最少系数(最稀疏)的表示是最简单的，也被认为是最优的一种表示方法。超完备字典能使图像信号在变换域足够稀疏,相对于小波基或固定基，更容易对图像进行稀疏表示。 

图像的稀疏表示可以表示为如下的形式： 

min_s||s||₀subjectto||v-Ds||≤ε  (1) 

其中，v∈R^N为待表示图像，D∈R^N×M(N＜M）是超完备字典(也称之为超完备原子库)，s为信号的表示，ε为逼近误差，||·||₀为I₀范数，它表示向量中非零元素的个数。然而，当D冗余时，问题(1)是一个NP-hard问题，许多学者已经提出了多种有效的稀疏分解方法。最常用的方法主要有两类，即贪婪寻踪法和凸松驰法，贪婪寻踪法主要有MP(匹配追踪),OMP(正交匹配追踪)及它们的变体，BP(基追踪)是最常用的凸松驰方法之一。OMP由于其简单性和有效性得到了广泛的应用，它的基本思想是一次选择一个与信号的残余量最相关的原子(即字典矩阵的列)对信号进行表示，直到停止条件满足，它只需有限次迭代即可以得到最优解。在本文中，我们将采用OMP算法进行稀疏表示。 

在红外与可见光图像融合领域，两个关键问题分别是：如何有效地提取源图像中的信息；如何融合提取出的信息。这两个问题的解决都与如何有效地表示图像信号有紧密的联系。稀疏表示理论即提供了这样一种更符合HVS(Human Visual System，人 类视觉系统)表示信号的方式，能够用尽可能简洁稀疏的方式表示图像，表示系数中较少的非零分量揭示了图像信号的主要结构与本质属性，从而能为融合处理带来很大的便利。超完备稀疏表示理论的优越性主要得益于稀疏表示的两点特性：字典的超完备性和表达系数的稀疏性。超完备性保证了字典内容更加丰富,其中超完备字典中的原子不仅可以是傅立叶变换、小波变换，离散余弦变换、脊波、曲波、带波、轮廓波等变换的基函数，还可以是这几种变换基的任意组合以适应不同类型的待处理信号。另外，超完备字典还可以根据不同的图像类型以及不同图像处理任务通过样本学习得到。稀疏性使得稀疏表示能够更加准确地、自适应地选择与待处理信号最相关的原子，增强图像融合方法的自适应能力。 

源图像的稀疏表示

稀疏表示作为一种优越的信号表示工具，能够有效地提取图像的内在结构信息，但由于图像维数通常较大，处理起来不方便，并且稀疏表示应用于图像时是全局性的，而图像融合是处理图像的局部信息，因此不能直接将其应用于图像融合，本发明采用滑窗技术解决这个问题。 

首先，定义一个的滑窗，按照顺序将每一个源图像I分为的图像块，图像块对应的向量长度与超完备字典中原子的长度相同。其次，将第k幅源图像的所有图像块拉直转化为向量，并构造矩阵V_k。进而，用表示V_k的第j列，根据稀疏表示理论将表示为： 

$v_{k_j}={\mathrm{\Σ}}_{m=1}^M{s}_{k_j\left(m\right)}{d}_m---\left(2\right)$

其中，d_m为超完备原子库D＝[d_1...d_m...d_M]中的第m个原子。为稀疏系数，即，稀疏向量为对应的稀疏系数，进而计算矩阵V_k所有列向量的稀疏系数，则可以构造稀疏矩阵S_k。由此可以得到源图像在超完备字典库上的一组稀疏表示系数，这组稀疏表示系数由于其字典具备超完备性、表达系数具备稀疏性，因此能够表征融合源图像的本质信息，为后续的融合处理带来便利。 

融合规则

根据稀疏表示理论，每一个稀疏系数对应于超完备原子库中的一个原子。因此， 源图像稀疏表示系数的活跃度可以用对应系数的绝对值来表示。在实际融合过程中，基于以下融合目的：最大化保留源红外图像的目标信息以及可见光图像的纹理、边缘信息，本发明采用选择选绝对值最大法融合红外与可见光图像。 

首先，稀疏向量表示对应的稀疏系数，稀疏向量的活跃度其计算公式如下式(3)所示： 

$A_{k_j}={\left|\right|s_{k_j}\left|\right|}_1---\left(3\right)$

其次，根据稀疏向量的活跃度融合源图像对应的稀疏矩阵，融合规则如下式(4)所示： 

$s_{F_j}=s_{k_j^{*}},k_j^{*}=\arg {\max }_{k_j}\left(A_{k_j}\right)---\left(4\right)$

然后，由融合的稀疏系数构造融合图像对应的向量矩阵V_F，如(5)式所示： 

V_F＝DS_F      (5) 

最后，由融合图像对应的向量矩阵V_F重构融合图像I_F。 

融合步骤

对红外图像和可见光图像而言，其具体融合步骤如下： 

(1)图像分块首先将可见光图像与红外图像配准，然后读入配准好的源图像(红外与可见光图像)，再利用滑窗技术将源图像分成的小块，这里N根据经验值，一般取为64。将取出的小块排成可见光图像块V₁及红外图像块V₂，由V₁及V₂构成样本集V，V＝[V₁，V₂]。 

(2)字典学习从样本集V中随机取P个样本构成新的训练样本V_train，这里的P可以根据情况随意选择，本发明中取P＝5000，训练样本V_train的大小为N×P，然后随机初始化一个大小为N×M的字典D，采用经典的K-SVD迭代方法，用训练样本V_train训练字典D。 

(3)稀疏编码将可见光图像块V₁及红外图像块V₂用训练好的字典D分别求解它们的稀疏分解系数，获得可见光稀疏系数矩阵S₁及红外稀疏系数矩阵S₂。 

(4)融合本发明以“模值取大”为融合规则，即逐列比较可见光稀疏系数矩阵S₁和红外稀疏系数矩阵S₂对应位置上的列向量绝对值之和，将绝对值之和大的列向量作为融合的稀疏系数S_F对应位置的列向量。 

(5)图像块重构用融合的稀疏系数S_F与训练好的字典D的乘积实现块重构，即V_F＝DS_F，并按照分块时的顺序进行排列，获得融合结果图像I_F。 

无污损图像的融合实例

本实例的图像取自图像融合数据库，并将本发明方法与经典的DWT(离散小波变换)、GP(梯度金字塔)和ADL(自适应字典学习)方法比较。其中，样本大小P＝5000，字典尺寸N＝64，M＝256，即字典D大小为64×256，取块步骤中选择滑动窗方法，取步长为1。各对比方法的分解级数均选为3，DWT和GP融合规则均为高频取大，低频取平均，ADL融合规则为“模值取大”。本发明算法用SR表示。 

由于本发明没有标准融合结果，因此实例的客观评价指标选择平均梯度、边缘强度、信息熵以及细节保持度进行评价，其中，平均梯度即图像的清晰度，用来评价融合图像对细节对比的表达能力；边缘强度用来评价融合图像的边缘信息；信息熵用来评价融合图像中所含的信息量；细节保持度用来评价融合图像对细节的保持能力。各评价指标都是越大越好。 

图2(a)、(b)分别为融合源图像，即，可见光图像和红外图像。由图2(a)可知，场景中间的栅栏处存在人物目标，且该目标的颜色与背景颜色很接近，因此很难分辨，而根据图2(b)，此人物目标在红外图像中却明显可见。此外，可见光图像中房屋、栅栏等细节信息较为清晰可见，而红外图像中的房屋边缘轮廓、栅栏等则不清晰。 

图2(c)、(d)、(e)、(f)是不同融合方法的融合结果图像，其中，(c)、(d)分别是DWT和GP方法的融合结果，这两种方法得到的图像能够分辨人物目标和房屋、栅栏等目标与背景信息，但细节相对模糊，而(e)、(f)分别是ADL和本发明融合方法SR的融合结果图像，可以看出融合图像中，无论是人物目标，还是道路、栅栏、屋檐等背景信息都清晰可见，且本发明的道路、栅栏等细节信息更为清楚，目视效果最好。 

为了更加客观地对比各个方法的优缺点，根据红外与可见光图像融合的目的：最大化保留源红外图像的目标信息以及可见光图像的纹理、边缘信息，我们选择客观评价指标：平均梯度、边缘强度、信息熵以及细节保持度来衡量融合结果图像的质量，客观评价结果如表1所示。 

表1不同融合方法结果的客观指标 

分析表1数据可知：本发明方法在平均梯度和边缘强度这两项指标上优势明显，主要因为本发明方法利用稀疏表示能有效提取源图像的特征，并采用选取活动水平最大的融合规则将源图像最显著的特征融合到融合图像中。在信息熵指标上略低于DWT方法，但在视觉效果上优于DWT方法，这是因为DWT这类方法不适合分析图像中的线状奇异性信号，从而融合结果图像中易引入虚假信息，该虚假信息对信息熵也具有一定的贡献，但此“贡献”并非源于融合源图像，所以不能准确评判融合结果的优劣，而应将信息熵与其它指标结合起来共同衡量融合结果的优劣。在细节保持度上略低于ADL方法的主要原因是由于ADL是采用训练字典时先去均值，图像重构时再加均值的方法。综合上述主客观几项指标来看，本发明融合效果最优。 

Claims (3)

1.一种基于稀疏表示的红外与可见光图像融合方法，其特征在于包括下述步骤：

(1)将可见光图像与红外图像配准后利用滑窗技术分成的小块，将小块排成可见光图像块V₁及红外图像块V₂，构成样本集V＝[V₁，V₂]；

(2)从样本集V中随机取P个样本构成训练样本V_train，训练样本V_train的大小为N×P，然后随机初始化一个大小为N×M的字典D，采用经典的K-SVD迭代方法，用训练样本V_train训练字典D；

(3)用训练好的字典D分别求解可见光图像块V₁及红外图像块V₂的稀疏分解系数，获得可见光稀疏系数矩阵S₁及红外稀疏系数矩阵S₂；

(4)逐列比较可见光稀疏系数矩阵S₁和红外稀疏系数矩阵S₂对应位置上的列向量绝对值之和，将绝对值之和大的列向量作为融合的稀疏系数S_F对应位置的列向量；

(5)用融合的稀疏系数S_F与训练好的字典D的乘积实现块重构V_F＝DS_F，并按照步骤(1)分块时的顺序进行排列，获得融合结果图像I_F。

2.根据权利要求1所述的基于稀疏表示的红外与可见光图像融合方法，其特征在于：所述N取为64。

3.根据权利要求1所述的基于稀疏表示的红外与可见光图像融合方法，其特征在于：所述的P＝5000。