CN102651124A - 基于冗余字典稀疏表示和评价指标的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于冗余字典稀疏表示和评价指标的图像融合方法，主要解决传统融合方法中融合图像的信息损失较大、细节不够丰富的问题。其实现过程是：输入两幅待融合图像，把待融合图像分块；用冗余字典分别对图像块进行稀疏表示，得到图像块的原子；计算原子的一范数，并根据得到的一范数的值对原子进行选择，得到融合后的原子；对融合后的原子进行图像表示得到融合后的图像块；计算融合后图像块的信息熵或空间频率，用信息熵或空间频率最大的图像块组成最终的融合图像。本发明方法和传统的小波融合方法相比具有融合图像的信息损失更少，细节更丰富的优点，可用于图像处理、计算机视觉、遥感、医学图像处理及军事领域。

Description

基于冗余字典稀疏表示和评价指标的图像融合方法

技术领域

本发明属于图像处理技术领域，特别涉及图像的融合，可用于图像处理、计算机视觉、遥感、医学图像处理及军事等领域。

背景技术

图像融合(Image Fusion)是指将多源信道上所得到的多幅关于同一目标或区域的图像数据，经过图像处理和计算机技术等方法，最佳地提取各个信道中的重要信息，最后得到一幅融合了各个信道重要信息的高质量图像，以提高图像信息的利用率、可靠性和改善计算机解译精度、提升原图像的空间分辨率和光谱分辨率，有利于进行监测。在不利的环境条件下或者当一个图像传感器不足以提供用于目标识别或场景描述的足够信息时，通过对多幅图像进行融合，获得比较满意的图像效果。融合后的图像对场景或对象的描述比任何单一原图像都要更加全面和精确。融合图像更符合人和机器的视觉特性，有利于诸如目标识别和特征提取的图像处理。

传统的图像融合方法主要有三种：像素级融合、特征级融合和决策级融合。其中：

像素级图像融合方法，是在图像严格配准的条件下，对多源图像直接进行信息融合处理。在像素级融合方法中，近年来普遍使用基于图像稀疏表示的方法。图像的稀疏表示作为图像的一种表示方式，是指图像线性展开中大部分基函数的系数的绝对值都接近于零，只有少数基函数具有较大的非零系数，并且用有限的大系数能表示出图像的大部分，稀疏表示中如果信息信号越稀疏，恢复信号就越准确。目前传统的固定正交基的稀疏表示方法如小波方法有时不足以捕获信号的多种特征，信号不够稀疏，因此融合后的图像不够准确、信息不够丰富。

特征级图像融合方法，是通过检测图像中的边缘、纹理和方向等特征信息，提取图像中的细节特征然后再进行融合操作，融合结果能最大限度地给出决策者所需要的特征信息，缺点是是融合精度没有像素级融合方法高。

决策级图像融合方法，是从图像中挖掘语义信息，再进行融合操作，优点是具有良好的实时性和容错性，缺点是预处理代价高，信息损失最多。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于冗余字典稀疏表示和评价指标的图像融合方法，以减少融合图像的信息损失，提高融合图像的精度。

实现本发明目的的技术方案是：充分利用稀疏表示理论和冗余字典的优点，结合基于评价标准的融合规则，通过少量的稀疏表示后的原子及其系数来进行融合，具体步骤包括如下：

(1)输入待融合图像A和B，对待融合图像A和B用滑窗间隔为m的滑动窗口自上到下，自左到右的进行分块，分成l块大小为n×n的局部图像块其中：i表示第i个分块，i＝{1，2，...，l}，n根据带融合图像大小选定，m取值为能被n整除的正整数；

(2)分别对图像块用冗余脊波字典T进行稀疏度为k的稀疏表示，得到稀疏表示后的两组原子

和

及其对应的系数向量

(3)计算系数向量

对应的一范数

$c_i^A=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left|y_{\mathrm{ij}}^A\right|,i=\{\mathrm{1,2},...,l\},$

$c_i^B=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left|y_{\mathrm{ij}}^B\right|,i=\{\mathrm{1,2},...,l\},$

其中l为图像块的数量；

(4)分别将系数向量

从大到小排序，并根据

和

的大小选择融合后的原子z_ij，j＝{1，2，...，k}；

(5)计算融合后的图像块：f_ij＝T*z_ij，j＝{1，2，...，k}，对融合后的图像块，计算其信息熵或者空间频率，选取信息熵或者空间频率最大的图像块，其中，T为冗余脊波字典，z_ij为融合后的原子；

(6)根据得到的信息熵或者空间频率最大的图像块，对每个像素点进行累加，再除以累加的次数，得到该像素点的融合结果值，最后得到最终的融合结果图像。

本发明与现有方法相比具有如下优点：

1)本发明由于采用了滑窗分块的方法，对图像块进行稀疏表示，使得计算复杂度降低；

2)本发明由于使用冗余字典来对图像进行稀疏表示，使得图像表示更为稀疏，融合后的图像更为精确；

3)本发明由于只选取信息熵或者空间频率最大的图像块，使得融合后的图像信息量更为丰富。

附图说明

图1是本发明的流程图；

图2是待融合的头颅医学图像；

图3是用本发明和现有的小波融合方法对图2的融合结果；

图4是待融合的遥感图像；

图5是用本发明和现有的小波融合方法对图4的融合结果；

图6是待融合的脑部医学图像；

图7是用本发明和现有的小波融合方法对图6的融合结果。

具体实施方式

参照图1，本发明的具体实施过程如下：

步骤一，输入待融合图像A和B，对待融合图像A和B用滑窗间隔为m的滑动窗口自上到下，自左到右的进行分块，分成l块大小为n×n的局部图像块

其中：i表示第i个分块，i＝{1，2，...，l}，n根据带融合图像大小选定，m取值为能被n整除的正整数。

步骤二，分别对图像块

用冗余脊波字典T进行稀疏度为k的稀疏表示，得到稀疏表示后的两组原子

和

及其对应的系数向量

步骤三，计算系数向量

对应的一范数

$c_i^A=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left|y_{\mathrm{ij}}^A\right|,i=\{\mathrm{1,2},...,l\},$

$c_i^B=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left|y_{\mathrm{ij}}^B\right|,i=\{\mathrm{1,2},...,l\},$

其中l为图像块的数量。

步骤四，分别将系数向量

从大到小排序，并根据

和

的大小按照如下规则选择融合后的原子z_ij，j＝{1，2，...，k}：

(4a)若

则融合后的原子选取

前w_i个原子和

的前(k-w_i)个原子，当选取得到的原子中有相同的原子时，保留系数绝对值大的原子，删除系数绝对值小的原子；然后再从

剩下的原子中选择系数绝对值最大的原子加入到融合后的原子中，再检查融合后的原子，如果其中还有相同的原子，继续删除系数绝对值小的原子，直到选取的原子中没有相同的原子；

(4b)若

则融合后的原子选取

前w_i个原子和的前(k-w_i)个原子，当选取得到的原子中有相同的原子时，保留系数绝对值大的原子，删除系数绝对值小的原子；然后再从剩下的原子中选择其中系数绝对值最大的原子加入到融合后的原子中，再检查融合后的原子，如果其中还有相同的原子，继续删除系数绝对值小的原子，直到选取的原子中没有相同的原子；

其中，w_i＝{1，2，3，...，k}。

步骤五，对融合后的原子z_ij，j＝{1，2，...，k}进行图像表示，计算融合后图像块的像素向量：f_ij＝T*z_ij，j＝{1，2，...，k}，其中，T为冗余脊波字典，z_ij为融合后的原子。

步骤六，将f_ij转换成像素矩阵g_ij，分别统计像素矩阵g_ij中灰度值为t的像素的个数S_t、像素的总数量S和像素的最大灰度值L，其中t＝{0，1，...，L-1}，根据统计得到的数据，计算融合后图像块的信息熵或者空间频率：

选择信息熵或者空间频率最大的图像块。

步骤七，根据得到的信息熵或者空间频率最大的图像块，对每个像素点进行累加，再除以累加的次数，得到该像素点的融合结果值，最后得到最终的融合结果图像。

本发明的优点由以下仿真的数据和图像进一步说明。

1.仿真条件

1)选取六幅待融合图像：med1、med2，remote1、remote2，medA、medB来测试融合效果，如图2、图4和图6所示，其中：图2(a)为头颅医学CT图像med1，图2(b)为头颅医学MRI图像med2，图4(a)为近红外遥感图像remote1，图4(b)为可见光遥感图像remote2，图6(a)为脑部医学CT图像medA，图6(b)为脑部医学MRI图像medB；

2)仿真试验的对比方法使用传统的小波融合方法；

3)仿真试验中的稀疏度取值为36。

2.仿真内容和仿真结果

仿真一，用本发明方法与现有的小波方法对图2进行融合的仿真实验，结果如图3所示，其中：图3(a)是小波方法得到的结果图，图3(b)是本发明得到的结果图。

从图3中可以看出，本发明融合出的图像的颅骨比较清晰，亮度高，脑组织结构细节信息比较突出，可以提供更为准确的医学诊断。

将用本发明方法和现有的小波方法对图2进行融合的性能参数进行对比，如表1所示。

表1用本发明与现有的小波方法进行融合的性能参数对比

从表1中可以看出，本发明的图像融合结果的标准差大于对比方法的标准差，说明本发明的图像融合结果灰度级分布更分散，图像的反差更大，可以看出更多的信息；本发明的均方根误差小于对比方法的均方根误差，说明本发明的融合方法从原图像中获取的信息更为丰富，细节表现力强。

仿真二，用本发明方法与现有的小波方法对图4进行融合的仿真实验，结果如图5所示，其中：图5(a)是小波方法得到的结果图，图5(b)是本发明得到的结果图。

从图5可以看出，本发明的融合结果信息更为丰富，效果明显优于对比方法。

将用本发明方法和现有的小波方法对图4进行融合的性能参数进行对比，如表2所示。

表2用本发明与现有的小波方法进行融合的性能参数对比

从表2中可以看出，本发明的图像融合结果的标准差大于对比方法的标准差，说明本发明的图像融合结果反差更大，从中可以了解到更多的信息；本发明的图像融合结果的信息熵大于对比方法融合图像的信息熵，说明本发明的融合方法从原图像中获取的信息更为丰富。

仿真三，用本发明方法与现有的小波方法对图6进行融合的仿真实验，结果如图7所示，其中：图7(a)是小波方法得到的结果图，图7(b)是本发明得到的结果图。

从图7可以看出，本发明的图像融合结果细节信息更为丰富，轮廓更为清楚，图像融合效果更好，更有利于医学诊断。

综上所述，本发明能够很好的融合医学图像和遥感图像，与现有小波方法相比，本发明的结果图像不仅细节信息更为丰富，而且亮度更高，更为清晰。

Claims (3)

1.一种基于冗余字典稀疏表示和评价指标的图像融合方法，包括如下步骤：

(1)输入待融合图像A和B，对待融合图像A和B用滑窗间隔为m的滑动窗口自上到下，自左到右的进行分块，分成l块大小为n×n的局部图像块 

其中：i表示第i个分块，i＝{1，2，...，l}，n根据带融合图像大小选定，m取值为能被n整除的正整数；

(2)分别对图像块 用冗余脊波字典T进行稀疏度为k的稀疏表示，得到稀疏表示后的两组原子 

和 

及其对应的系数向量 

(3)计算系数向量 

对应的一范数 

其中l为图像块的数量；

(4)分别将系数向量 从大到小排序，并根据 

和 

的大小选择融合后的原子z_ij，j＝{1，2，...，k}；

(5)计算融合后的图像块：f_ij＝T*z_ij，j＝{1，2，...，k}，对融合后的图像块，计算其信息熵或者空间频率，选取信息熵或者空间频率最大的图像块，其中，T为冗余脊波字典，z_ij为融合后的原子；

(6)根据得到的信息熵或者空间频率最大的图像块，对每个像素点进行累加，再除以累加的次数，得到该像素点的融合结果值，最后得到最终的融合结果图像。

2.根据权利要求1所述的方法，其中步骤(4)所述的根据 

和 的大小选择融合后的原子z_ij，j＝{1，2，...，k}，按如下步骤进行：

(4a)若 

则融合后的原子选取 

前w_i个原子和 

的前(k-w_i)个原子， 当选取得到的原子中有相同的原子时，保留系数绝对值大的原子，删除系数绝对值小的原子，然后再从 

剩下的原子中选择系数绝对值最大的原子加入到融合后的原子中，再检查融合后的原子，如果其中还有相同的原子，继续删除系数绝对值小的原子，直到选取的原子中没有相同的原子；

(4b)若 

则融合后的原子选取 

前w_i个原子和 的前(k-w_i)个原子，当选取得到的原子中有相同的原子时，保留系数绝对值大的原子，删除系数绝对值小的原子，然后再从 剩下的原子中选择其中系数绝对值最大的原子加入到融合后的原子中，再检查融合后的原子，如果其中还有相同的原子，继续删除系数绝对值小的原子，直到选取的原子中没有相同的原子；

其中，w_i＝{1，2，3，...，k}。

3.根据权利要求1所述的方法，其中步骤(5)所述的对融合后的图像块，计算其信息熵或者空间频率，按如下步骤进行：

(5a)将融合后的图像块f_ij变换成大小为n×n的像素矩阵；

(5b)利用得到的像素矩阵，利用如下公式计算融合后图像块的信息熵：

其中，t表示灰度值，S_t表示灰度值为t的像素个数，S表示整个图像块的像素个数，L为图像块中像素灰度的最大值；

(5c)利用得到的像素矩阵，利用如下公式计算融合后图像块的空间频率：

其中，SF为图像块的空间频率，RF为图像块的行频率，CF为图像块的列频率，M×N为图像大小，U(i，j)为图像在行坐标为i，列坐标为j点处的像素值。

Images