CN103729836B - 基于多尺度变换和可能性理论的多波段图像融合方法 - Google Patents

Abstract

本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为基于多尺度变换和可能性理论的多波段图像融合方法，本方法按如下步骤进行：对多波段图像分别进行支持度变换，得到低频图像和支持度序列图像；用四叉树法分解灰度值最分散的最后一层低频成分图像；以四叉树分解结果为依据分别分解其它波段图像的最后一层低频成分图像；采用析取模式分别融合多波段低频成分对应的块图像，得到低频融合块图像；拼接融合的达到块图像，获得低频融合图像；对低频融合图像和用取大法合成的支持度序列图像进行支持度逆变换得到最终的合成图像，该合成图像的边缘强度、对比度、熵得到有效提升，同时，运行时间极大下降。

Description

基于多尺度变换和可能性理论的多波段图像融合方法

技术领域

本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为基于多尺度变换和可能性理论的多波段图像融合方法。

背景技术

多波段成像是灾害监测、故障诊断、工业监控和深空探测的重要手段，目的是利用不同波段探测结果的差异性和互补性，来获得对场景更全面准确的认识。如红外长波探测时穿透烟雾的能力比中波和可见光强；红外中波在高湿度条件下探测的能力优于其它波段；而可见光图像的目标边缘清晰、纹理分明程度则明显优于红外图像。然而，尽管多波段探测可以获得丰富的场景信息，但要识别目标通常还需要决策者在多路探测图像中频繁切换并迅速综合各路信息，这很容易导致误判、漏判和错判。所以，常常通过拼接图像来综合信息，但拼接并不能从根本上减轻认知负荷。因此，图像融合已成为多波段探测的关键技术。

有代表性的多波段图像融合方法主要有，(1)借鉴双波段图像融合方法、通过两两序贯式加权进行像素级融合，该类方法成熟、易用，而且像素级融合准确性高，能够提供直观和全面的场景信息；缺点是有些差异信息经过多次序贯式融合会被削弱，同时像素级融合数据量大，对处理设备要求高，探测波段越多，这些缺点就越明显，尤其是大数据背景下，该类融合方法必然面临严重挑战；(2)将目标的轮廓、角点等特征与基准图像融合，利用特征进行融合，可以极大减小数据量，凸显目标；但融合的细节信息、纹理信息不够丰富直观。另外，这些融合算法通常都很复杂，不利于后续硬件化等处理。

新近，文献“Multi-focusimagefusionusingamorphology-basedfocusmeasureinaquad-treestructure”(InformationFusion14(2013)136–146)提出了基于四叉树分解融合多聚焦图像的方法，其创新之处是对经典四叉树法的分解标准由灰度值差异改为边缘强度；文献“一种多聚焦图像融合方法”(专利申请号201310369954.5)，同样是对多聚焦图像，采用了先用PCA稀疏、融合再用四叉树法分解的方法，解决了图像块不能自适应划分的问题。基于四叉树方法的好处是考虑了图像间的局部差异，但两文献都是根据两幅多聚焦图像对应块之间目标边缘清晰程度的差异进行判别，再选取清晰的部分合成融合图像。实际上，除了多聚焦图像，其他异源异类图像之间通常并不具有“边缘清晰与否”的明显差异，所以，上述方法并不适用。特别是对多波段图像而言，源图像两两之间的差异并不相同，究竟选哪一个作为分解判据就成了问题。

为此，需要有一种方法来专门解决多波段图像融合中序贯式融合所导致原图像间差异性降低的问题、特征级融合效果的细节和纹理信息较差的问题、四叉树分解融合使用范围有限和图像融合研究中普遍存在的算法较为复杂的问题。

发明内容

本发明为了解决多波段图像融合中序贯式融合所导致原图像间差异性降低的问题、特征级融合效果的细节和纹理信息较差的问题、四叉树分解融合使用范围有限和普遍存在的融合算法较为复杂的问题，提供了一种基于多尺度变换和可能性理论的多波段图像融合方法。

本发明是采用如下的技术方案实现的：基于多尺度变换和可能性理论的多波段图像融合方法，包括以下步骤：

分别用支持度变换分解多波段图像，每个波段图像都分解得到低频成分图像和支持度序列图像；

选择所有波段图像的最后一层低频成分图像中灰度值最分散的一幅图像进行四叉树分解，该图像分解后获得位置不同、大小不同的图像块；

以上述图像经四叉树分解所得到的图像块的大小、位置为标准，分解其余波段图像的最后一层低频成分图像；

对每一个波段图像的最后一层低频成分图像中的各个图像块依次求灰度均值；

基于可能性理论的析取融合规则依次融合多波段图像的最后一层低频成分图像分解所得到的位置、大小相同的图像块：

式中，P_n表示第n个低频融合图像块；A_n,B_n,C_n，…分别代表不同波段图像的最后一层低频成分图像的第n个图像块的均值；U是论域；n＝1,2,…N；F_n是按析取规则得到的图像块；∨表示析取；

由上述融合得到的所有图像块按原位置拼接成最后一层低频融合图像P′_F：P′_F＝{P_n}；

采用灰度值取大法融合每层对应的多波段图像的支持度序列图像，得到第j层的支持度序列融合图像S_Fj：S_Fj＝f_max(S_Aj，S_Bj，S_Cj，…)，式中，j＝1,2,…，S_Aj、S_Bj、S_Cj…分别为不同波段图像的第j层支持度序列图像；

对最后一层低频融合图像P′_F和支持度序列融合图像S_Fj用支持度逆变换融合，得到最终的融合图像P，

支持度变换是一种非采样的二值冗余变换，是在最小二乘支持向量机基础上提出的一种新的图像多尺度变换方法，支持度变换后得到的图像的支持度矩阵是与图像显示相关的信息，可以很好地表征图像的细节特征信息，具有平移不变性、不会产生振铃效应、运算速度快的优点，因此本发明优选了支持度变换分解多波段图像，得到低频成分图像和支持度序列图像；四叉树分解其优点是可以对灰度相近的块图像采用适宜的规则进行处理，但是，通常情况下，目标的边缘通常与小块对应，因此，目标的边缘区域的分块较多，速度较慢，为此，本发明将支持度变换和四叉树分解组合起来，运用到图像融合中，先用支持度变换法提取了目标的边缘信息(通常与高频信息相对应)，再用四叉树分解目标的纹理区域信息(通常与低频信息相对应)，可以极大降低分解块数，从而提高运行速度；以图像块的灰度均值为判断依据，采用可能性理论中多源信息融合的析取规则，通过整块选取图像块，来保留多波段对应块图像之间的差异，改变了序贯式加权融合导致原图像间差异性降低的现象；支持度变换可以很好地表征图像的细节特征信息，解决了特征级融合效果的细节和纹理信息较差的问题，本方法不针对特定的源图像，解决了四叉树分解融合使用范围有限的问题；同时本方法算法简单合理，对设备的要求低。

上述基于多尺度变换和可能性理论的多波段图像融合方法，四叉树分解的分解阈值取值范围是0.08-0.16，一般情况下，四叉树分解的分解阈值T取值范围在0-1之间，通常T取值越小，分解越精细，但速度越慢；T取值越大，则速度越快、融合结果马赛克效应越明显，本发明将分解阈值T的取值范围优选为0.08-0.16，不仅可以获得较好的融合效果，还能保证具有较快的分解速度。

上述基于多尺度变换和可能性理论的多波段图像融合方法，支持度变换的分解层数是3-5层，可以获得较好的融合效果。

上述的基于多尺度变换和可能性理论的多波段图像融合方法，融合图像P进行彩色融合，灰度图像经过彩色融合后，信息量增加，能迅速识别出目标。

附图2-6为多波段图像的实例，其中，图2为可见光图像，图3为红外中波图像，图4红外长波图像，图5四叉树融合图像，图6为本方法的灰度融合图像，；各图像的相关数据对比如下表：

从表中可以看出：本方法与单一的四叉树融合相比边缘强度、对比度、熵都有明显提高，同时运行时间却极大下降。

附图说明

图1为本发明的流程图。

图2为可见光图像。

图3为红外中波图像。

图4为红外长波图像。

图5为四叉树融合图像。

图6为本发明的融合图像。

具体实施方式

基于多尺度变换和可能性理论的多波段图像融合方法，包括以下步骤：

分别用支持度变换分解多波段图像，每个波段图像都分解得到低频成分图像和支持度序列图像；

选择所有波段图像的最后一层低频成分图像中灰度值最分散的一幅图像进行四叉树分解，该图像分解后获得位置不同、大小不同的图像块；

以上述图像经四叉树分解所得到的图像块的大小、位置为标准，分解其余波段图像的最后一层低频成分图像；

对每一个波段图像的最后一层低频成分图像中的各个图像块依次求灰度均值；

基于可能性理论的析取融合规则依次融合多波段图像的最后一层低频成分图像分解所得到的位置、大小相同的图像块：

式中，P_n表示第n个低频融合图像块；A_n,B_n,C_n，…分别代表不同波段图像的最后一层低频成分图像的第n个图像块的均值；U是论域；n＝1,2,…N；F_n是按析取规则得到的图像块；∨表示析取；

由上述融合得到的所有图像块按原位置拼接成最后一层低频融合图像P′_F：P′_F＝{P_n}；

采用灰度值取大法融合每层对应的多波段图像的支持度序列图像，得到第j层的支持度序列融合图像S_Fj：S_Fj＝f_max(S_Aj，S_Bj，S_Cj，…)，式中，j＝1,2,…，S_Aj、S_Bj、S_Cj…分别为不同波段图像的第j层支持度序列图像；

对最后一层低频融合图像P′_F和支持度序列融合图像S_Fj用支持度逆变换融合，得到最终的融合图像P，

上述的基于多尺度变换和可能性理论的多波段图像融合方法，四叉树分解的分解阈值取值范围是0.08-0.16。

上述的基于多尺度变换和可能性理论的多波段图像融合方法，支持度变换的分解层数是3-5层。

上述的基于多尺度变换和可能性理论的多波段图像融合方法，融合图像_P进行彩色融合，多波段探测给灰度图像的彩色融合提供了条件，通过以下简单的通道映射即可获得彩色融合图像： $\left\{\begin{array}{c}r=\left|P-B\right|\\ g=P\\ b=\left|C-P\right|\end{array}\right.,$ 式中，r、g、b分别为RGB颜色空间的三个通道，C和B是除四叉树分解波段以外从其余波段图像中选择的图像标准差最大的两幅，其中，C的标准差大于B。

Claims (4)

1.基于多尺度变换和可能性理论的多波段图像融合方法，其特征在于包括以下步骤：

分别用支持度变换分解多波段图像，每个波段图像都分解得到低频成分图像和支持度序列图像；

选择所有波段图像的最后一层低频成分图像中灰度值最分散的一幅图像进行四叉树分解，该图像分解后获得位置不同、大小不同的图像块；

以上述图像经四叉树分解所得到的图像块的大小、位置为标准，分解其余波段图像的最后一层低频成分图像；

对每一个波段图像的最后一层低频成分图像中的各个图像块依次求灰度均值；

基于可能性理论的析取融合规则依次融合多波段图像的最后一层低频成分图像分解所得到的位置、大小相同的图像块：

式中，p_n表示第n个低频融合图像块；A_n，B_n，C_n，…分别代表不同波段图像的最后一层低频成分图像的第n个图像块的均值；U是论域；n＝1，2,...，N，N为最后一层低频成分图像分解为图像块的块数；F_n是按析取规则得到的图像块；∨表示析取；

由上述融合得到的所有图像块按原位置拼接成最后一层低频融合图像P′_F：P′_F＝{P_n}；

采用灰度值取大法融合每层对应的多波段图像的支持度序列图像，得到第j层的支持度序列融合图像S_Fj：S_Fj＝f_max(S_Aj,S_Bj,S_Cj,...)，式中，j＝1，2，…，S_Aj、S_Bj、S_Cj…分别为不同波段图像的第j层支持度序列图像，f_max表示对不同波段图像的支持度序列图像对应像素位置灰度值取大；

对最后一层低频融合图像P′_F和支持度序列融合图像S_Fj用支持度逆变换融合，得到最终的融合图像P，r表示支持度序列图像的分解层数。

2.根据权利要求1所述的基于多尺度变换和可能性理论的多波段图像融合方法，其特征在于四叉树分解的分解阈值取值范围是0.08-0.16。

3.根据权利要求1或2所述的基于多尺度变换和可能性理论的多波段图像融合方法，其特征在于支持度变换的分解层数是3-5层。

4.根据权利要求1或2所述的基于多尺度变换和可能性理论的多波段图像融合方法，其特征在于融合图像P进行彩色融合。