CN103065291A - 基于提升小波变换和像素区域相关性的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于提升小波变换和像素区域相关性的图像融合方法，包括以下步骤：提升小波变换；低频子带融合系数的计算；高频子带融合系数的计算；低频、高频子带的系数融合；小波逆变换。本发明对于低频子带的每个系数，根据其自相关特征，通过比较其协方差相关系数来确定融合系数。对于高频子带的每个系数，根据其所在子带内系数分布的方向特征，以及其所在同一方向子带间的系数分布的四叉树结构特征，通过比较其子带内方向邻域的匹配度和子带间四叉树结构的匹配度，从而确定其融合系数。测试结果表明本发明的融合方法适用于多聚焦图像和医学图像的融合。

Description

基于提升小波变换和像素区域相关性的图像融合方法

技术领域

本发明属于数字图像处理方法，尤其涉及一种可提高多聚焦图像和医学图像融合质量的基于提升小波变换和像素区域相关性的图像融合方法。

背景技术

图像融合是以图像为研究对象的信息融合，它是把对同一目标或场景经不同传感器获得的不同图像，或者经同一传感器通过不同的成像方式或在不同时间获得的不同图像，融合成一幅图像的过程。与原图像相比，新的图像能反映多重原始图像的信息，是对目标和场景的综合描述，进而更适合视觉感知或计算机处理。图像融合作为一门综合了传感器、信号处理、图像处理和人工智能等技术的新兴学科，其应用领域遍及机场导航、对地观测、智能交通、地理信息系统、安全监控、医疗诊断等众多领域。

图像融合通常可分为三种类型，即像素级图像融合、特征级图像融合和决策级图像融合。像素级融合是直接作用于图像像素点的最底层融合，它不仅有简单快速的特点，也是特征级图像融合和决策级图像融合的基础。因此，对于像素级图像融合的研究具有很好的应用价值和理论意义。

自上世纪90年代以来，由于小波变换在图像处理领域的广泛应用，众多学者对基于小波的像素级图像融合算法展开了广泛的研究。小波变换是一种多分辨率、多尺度的时频局部化分析工具，符合人眼视觉系统处理图像信号的特点，它不仅可以提取不同尺度上的显著特征，而且能够利用人眼对不同方向的高频分量具有不同分辨率这一特性，获得视觉效果更佳的融合图像。因此，小波变换用于图像融合的可行性得到了广泛的认同，并且被成功地应用于图像融合领域。

对于图像融合方法，融合规则和融合算子的选择是当前研究的热点和难点。按照融合规则和融合算子的不同，现有多种基于小波的图像融合方法，如加权平均的图像融合方法和区域图像融合方法等。前者通过对小波变换后的低频子带系数和高频子带系数进行加权得出融合系数，简单直观、适合实时处理。但是，其不足之处在于：只是将待融合系数进行孤立的加权处理，却忽略了相邻小波系数间的区域相关性，进而导致融合精度的降低；后者对于待融合图像的低频子带小波系数采用加权平均的融合规则，而对于高频子带系数则通过对系数区域特征的比较和判断，进而确定高频融合系数。这类方法有效地利用了同一子带内小波系数的局部相关性，相比于加权平均的图像融合方法具有较强的捕捉高频子带边缘系数的能力，取得了较好的融合效果。但是还存在着以下不足：第一，图像经小波变换后的低频系数集中了原图像的大部分能量，对低频系数采用加权平均融合规则会影响融合图像的质量；第二，所有高频子带的待融合系数均通过比较高频系数的区域特征来确定融合系数，然而各个高频子带内的相邻系数分布呈现出明显的方向特征，若融合过程中对八邻域系数同等对待，难免也会降低融合精度。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种可提高多聚焦图像和医学图像融合质量的基于提升小波变换和像素区域相关性的图像融合方法。

本发明的技术解决方案是：一种基于提升小波变换和像素区域相关性的图像融合方法，其特征在于按如下步骤进行：

a. 将待融合的两幅图像分别进行相同级数的提升方案小波变换；

b. 获得低频子带的所有融合系数：

b.1对于每个待融合的低频系数，计算每幅待融合图像对应位置上低频系数的八邻域方差                                                

：

 b.2计算待融合系数对应的

和沿着水平方向的一步相关系数

：

，

b.3计算待融合系数对应的

和沿着竖直方向的一步相关系数

：

 b.4计算待融合系数对应的

和沿着对角线方向的一步相关系数

：

，

 b.5计算待融合系数的一步自相关系数

：

 b.6比较待融合系数的一步自相关系数

的大小，最终确定融合系数

：

b.7遍历所有低频子带系数，重复执行b.1~b.6，最终获得低频子带的所有融合系数； 

c. 获得高频子带的所有融合系数：

c.1对于高频子带的每一个系数，按照方向模板，用下述公式计算待融合系数的方向邻域匹配度：

，

，

其中，

表示图像

中以

为中心、沿着

方向的方向邻域能量，

表示待融合图像以

为中心的方向邻域的匹配度；

c.2对于高频子带的每一个系数，利用如下公式计算待融合系数所在四叉树结构的匹配度：

，

，

其中，

表示图像k中所在的四叉树T的能量，M _T （x，y）表示待融合图像

所在四叉树的匹配度；

c.3对于待融合图像高频子带的同一位置的系数，比较其方向邻域匹配度和四叉树结构的匹配度的大小，进而确定融合算子，即若方向邻域的匹配度大，则转入c.4；若四叉树结构的匹配度大，则执行转入c.5；

c.4设匹配度阈值为。若，则

；

否则，

，其中，

c.5设匹配度阈值为

,若

，则

；

否则，，其中，

c.6按照上述步骤，重复执行b.1~b.5，最终获得高频子带的所有融合系数f(x,y)；

d．按低频子带融合规则对b步骤所获得的低频子带的所有融合系数进行融合，进而获得低频子带融合系数；按高频子带融合规则对c步骤所获得的高频子带的所有融合系数进行融合，获得高频子带融合系数；

e. 对所得到的低频子带融合系数和高频子带融合系数进行提升方案小波的逆变换，进而获得融合图像。

本发明首先对于每个低频系数，通过比较其协方差相关系数，进而确定融合系数；其次，对于每个高频系数，根据其所在子带内系数分布的方向特征，以及其所在同一方向子带间的系数分布的四叉树结构特征，通过比较其子带内方向邻域的匹配度和子带间树型结构的匹配度，进而自适应地选取融合规则确定融合系数。实验结果表明，用信息熵、平均梯度、峰值信噪比和均方根误差等标准来评价，本发明对于多聚焦图像和医学图像可获得比现有方法更高的融合质量。

与现有技术相比，本发明具有以下有益效果：第一，由于利用了待融合低频系数的自相关特性，与加权平均融合规则相比，本发明的融合规则能更准确、有效地确定低频融合系数；第二，通过结合高频系数的方向特征和树型结构特征，本发明的高频系数融合规则比传统融合规则获得更丰富、视觉质量更高的纹理细节。

附图说明

图1为本发明实施例所用

方向模板图。

图2为本发明实施例的总体过程图。

图3为本发明实施例与现有技术多聚焦图像融合结果比较示意图。

图4为本发明实施例与现有技术医学图像融合结果比较示意图。

具体实施方式

如图2所示：

a. 将待融合的两幅图像（原始图像1和原始图像2）分别进行相同级数的提升方案小波变换；

b. 获得低频子带的所有融合系数：

b.1对于每个待融合的低频系数，计算每幅待融合图像对应位置上低频系数的八邻域方差：

b.2计算待融合系数对应的和沿着水平方向的一步相关系数

₁：

，

b.3计算待融合系数对应的

和沿着竖直方向的一步相关系数

₂：

 b.4计算待融合系数对应的

和沿着对角线方向的一步相关系数

₃：

，

 b.5计算待融合系数的一步自相关系数

：

 b.6比较待融合系数的一步自相关系数

的大小，最终确定融合系数

：

 b.7遍历所有低频子带系数，重复执行重复执行b.1~b.6，最终获得低频子带的所有融合系数； 

 c. 获得低频子带的所有融合系数：

c.1对于高频子带的每一个系数，按照附图1所示的方向模板，用下述公式计算待融合系数的方向邻域匹配度：

，

，

其中，

表示图像中以为中心、沿着

方向的方向邻域能量，

表示待融合图像以

为中心的

方向邻域的匹配度；

c.2对于高频子带的每一个系数，利用如下公式计算待融合系数所在四叉树结构的匹配度：

，

，

其中，表示图像k中

所在的四叉树T的能量，M _T (x,y)表示待融合图像

所在四叉树的匹配度;

c.3对于待融合图像高频子带的同一位置的系数，比较其方向邻域匹配度和四叉树结构的匹配度的大小，进而确定融合算子，即若方向邻域的匹配度大，则转入c.4；若四叉树结构的匹配度大，则执行转入c.5；

c.4设匹配度阈值为

。若

，则

；

否则，

，其中，

c.5设匹配度阈值为

,若

，则

；

否则，

，其中，

c.6按照上述步骤，重复执行b.1~b.5，最终获得高频子带融合系数f(x,y)；

d．按低频子带融合规则对b步骤所获得的低频子带的所有融合系数进行融合，进而获得低频子带融合系数低频子带的融合）；按高频子带融合规则对c步骤所获得的高频子带的所有融合系数进行融合，获得高频子带融合系数（对各方向高频子带的融合）；

e. 对所得到的低频子带融合系数和高频子带融合系数进行提升方案小波的逆变换，进而获得融合图像。

本发明系统测试参数设置和测试结果：

本发明选取了Daubechies 9/7双正交小波的低通滤波器，设置

=0.95。测试图像包括聚焦点不同的两幅Lena标准图像(256×256像素)、Clock标准图像(512×512像素)和Pepsi标准图像(512×512像素)。对测试结果用信息熵、清晰度、峰值信噪比(PSNR)和均方根误差(RMSE)对融合结果加以定量评价，并与基于加权平均的图像融合方法和基于区域能量的图像融合方法的结果进行比较。图3和图5为多聚焦图像和医学图像的融合结果图像。

本发明实施例与现有技术的多聚焦图像融合结果的定量分析如表1。

                                                 表1

 本发明实施例与现有技术的医学图像融合结果的定量分析如表2。

                                               表2

。

Claims (1)

1.一种基于提升小波变换和像素区域相关性的图像融合方法，其特征在于按如下步骤进行：

a. 将待融合的两幅图像分别进行相同级数的提升方案小波变换；

b. 获得低频子带的所有融合系数：

b.1对于每个待融合的低频系数，计算每幅待融合图像对应位置上低频系数的八邻域方差                                               

：

b.2计算待融合系数对应的

和沿着水平方向的一步相关系数

₁：

，

b.3计算待融合系数对应的

和沿着竖直方向的一步相关系数 ₂：

b.4计算待融合系数对应的

和沿着对角线方向的一步相关系数

₃：

，

b.5计算待融合系数的一步自相关系数

：

b.6比较待融合系数的一步自相关系数

的大小，最终确定融合系数

：

b.7遍历所有低频子带系数，重复执行b.1~b.6，最终获得低频子带的所有融合系数； 

c. 获得高频子带的所有融合系数：

c.1对于高频子带的每一个系数，按照方向模板，用下述公式计算待融合系数的方向邻域匹配度：

，

，

其中，表示图像k中以（x，y）为中心、沿着

方向的方向邻域能量，

表示待融合图像以

为中心的

方向邻域的匹配度；

c.2对于高频子带的每一个系数，利用如下公式计算待融合系数所在四叉树结构的匹配度：

，

，

其中，

表示图像k中

所在的四叉树T的能量，M _T （x，y）表示待融合图像

所在四叉树的匹配度；

c.3对于待融合图像高频子带的同一位置的系数，比较其方向邻域匹配度和四叉树结构的匹配度的大小，进而确定融合算子，即若方向邻域的匹配度大，则转入c.4；若四叉树结构的匹配度大，则执行转入c.5；

c.4设匹配度阈值为

；

若

，则

；

否则，

，其中，

c.5设匹配度阈值为

,若

，则

；

否则，

，其中，

c.6按照上述步骤，重复执行b.1~b.5，最终获得高频子带的所有融合系数f（x，y）；

d．按低频子带融合规则对b步骤所获得的低频子带的所有融合系数进行融合，进而获得低频子带融合系数；按高频子带融合规则对c步骤所获得的高频子带的所有融合系数进行融合，获得高频子带融合系数；

e. 对所得到的低频子带融合系数和高频子带融合系数进行提升方案小波的逆变换，进而获得融合图像。

Images