CN102063713B - 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 - Google Patents

Abstract

本发明涉及一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法。首先利用小波变换对图像进行多尺度分解，获得图像在不同分辨率和不同方向下的低频和高频信息；然后根据低频和高频信息的各自特性，采用不用的融合规则进行处理，其中，对低频子图像采用基于邻域归一化梯度的融合方法，克服了传统的低频分量融合方法忽略边缘信息的缺点，对高频子图像采用基于邻域标准差的融合方法，可以最大限度的保留图像的细节信息；最后进行小波重构得到融合图像。本发明克服了传统的融合算法存在的边缘失真现象，使融合后的图像质量和清晰度均有明显提高，可以应用于各类军用或民用的多聚焦图像融合系统。

Description

基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法

技术领域

本发明涉及一种多聚焦图像融合方法，属于信息融合领域，可以应用于各类军用或民用的多聚焦图像融合系统。

背景技术

多聚焦图像融合是指因镜头聚焦不同而形成的多个图像通过一定处理，得到目标聚焦都清晰的结果图像。目前，常用的多聚焦图像融合方法主要分为变换域与空间域两大类方法。基于变换域的常用图像融合方法主要采用拉普拉斯金字塔和小波变换等。由于金字塔形分解结构中不同分辨率的细节信息彼此相关，算法稳定性较差。而经正交小波变换得到的各子带数据分别落在相互正交的子空间中，所以不同分辨率、不同子空间的细节信息相关性减小，因此基于小波变换的图像融合技术能克服金字塔形分解融合技术的不足。

目前，人们对基于小波变换的多聚焦图像融合方法的研究主要集中在高频分量融合规则的选择上，而对低频分量融合规则的研究则较少。由于图像的低频分量集中了图像的主要能量，反映图像的近似和平均特性，因此对低频分量融合规则的研究将直接影响到融合图像的质量和清晰度。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

本发明的思想在于：首先采用小波变换对源图像进行多尺度分解，得到低频和高频子图像；然后根据低频和高频子图像的各自特性，采用不用的融合规则进行处理，其中，对低频子图像采用基于邻域归一化梯度的方法得到低频融合系数，对高频子图像采用基于邻域标准差的方法得到高频融合系数；最后进行小波重构得到融合图像。

技术方案

一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：预处理：采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准，并利用线性变换方法将两幅源图像的灰度范围映射到一个一致的灰度区间，得到预处理后的两幅图像A和B；所述的一致的灰度区间为[0，1]或[0，255]；

步骤2：小波变换：利用Mallat算法对预处理后的两幅图像A和B分别进行小波变换，其中，对预处理后的图像A进行小波变换得到小波变换系数对预处理后的图像B进行小波变换得到小波变换系数

所述的L^A和L^B分别表示预处理后的两幅图像A和B的低频子图像；所述的

和

分别表示预处理后的两幅图像A和B在尺度t下p方向的高频子图像；所述的t为小波变换的分解尺度，为大于等于1的整数；所述的p表示每个分解尺度下的不同方向，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向；

步骤3：融合处理：采用基于邻域归一化梯度的方法对低频子图像L^A和L^B进行融合处理，得到低频融合图像L^F；采用基于邻域标准差的方法对高频子图像

和

进行融合处理，得到高频融合子图像

所述的基于邻域归一化梯度的融合处理方法具体为：

$L^F(i,j)=\left\{\begin{array}{cc}{L}^A(i,j)& L^B(i,j)=0\\ L^B(i,j)& L^A(i,j)=0\\ L^A(i,j)& G^A(i,j)\&GreaterEqual;G^B(i,j)\\ L^B(i,j)& G^A(i,j)<G^B(i,j)\end{array}\right.$

其中，(i，j)表示图像中像素点的位置为i行j列，i＝1，…，P，j＝1，…，Q，P为低频子图像的总行数，Q为低频子图像的总列数；L^F(i，j)表示位于低频融合图像L^F第i行j列像素点的值；G^A(i，j)和G^B(i，j)分别表示低频子图像L^A和L^B中以(i，j)像素为中心的M×N大小邻域内所有像素值的归一化梯度平方和，计算公式分别为

$G^A(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{\left[\frac{|L^A(i+m,j+n)-L^A(i,j)|}{L^A(i,j)}\right]}^2$

$G^B(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{\left[\frac{|L^B(i+m,j+n)-L^B(i,j)|}{L^B(i,j)}\right]}^2$

所述的基于邻域标准差的融合处理方法为：

$H_{p,t}^F(i,j)=\left\{\begin{array}{cc}{H}_{p,t}^A(i,j)& {\mathrm{\&sigma;}}_{p,t}^A(i,j)\&GreaterEqual;{\mathrm{\&sigma;}}_{p,t}^B(i,j)\\ H_{p,t}^B(i,j)& {\mathrm{\&sigma;}}_{p,t}^A(i,j)<{\mathrm{\&sigma;}}_{p,t}^B(i,j)\end{array}\right.$

其中，为位于高频融合子图像

第i行j列像素点的值；

和

分别为高频子图像

和

中以(i，j)像素为中心的

大小邻域内所有像素值的标准差；

所述的M×N和

大小邻域为大小为3×3、5×5、7×7等的正方形区域；

步骤4：小波重构：将融合处理后得到的低频融合图像L^F和高频融合子图像

进行小波逆变换，得到最终的融合结果图像。

有益效果

本发明提出的基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法，首先利用小波变换对图像进行多尺度分解，获得图像在不同分辨率和不同方向下的低频和高频信息；然后根据低频和高频信息的各自特性，采用不用的融合规则进行处理，其中，对低频子图像采用基于邻域归一化梯度的融合方法，克服了传统的低频分量融合方法忽略边缘信息的缺点，能够在很大程度上改善融合效果，对高频子图像采用基于邻域标准差的融合方法，可以最大限度的保留图像的细节信息；最后进行小波重构得到融合图像。因此，将小波变换和图像的邻域归一化梯度和邻域标准差等邻域特征相结合，可以大大提高融合后图像的质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。

附图说明

图1：本发明方法的基本流程图

图2：多聚焦图像融合方法示意图

图3：使用本方法完成多聚焦图像融合的例子

(a)聚焦于左侧的源图像

(b)聚焦于右侧的源图像

(c)基于小波变换和局部熵方法的多聚焦融合图像

(d)基于小波变换和区域能量方法的多聚焦融合图像

(e)基于邻域归一化梯度和邻域标准差方法的多聚焦融合图像

(f)理想融合图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：AMD Athlon(tm)2.60G计算机、2.0GB内存、128M显卡，运行的软件环境是：Matlab7.0和Windows XP。我们用Matlab软件实现了本发明提出的方法。该实验所用的两幅灰度图像和理想图像取自于www.imagefusion.org。

本发明具体实施如下：

1、预处理：首先采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准；然后，进行图像的灰度调整，使两幅图像的灰度范围均处于一个一致的灰度区间[0，255]内，得到预处理后的两幅图像A和B；

设原始图像的灰度区间为[a₁，a₂]，则灰度调整公式为：

$\tilde{a}=255\&times;\frac{a-a_1}{a_2-a_1}---\left(1\right)$

其中，a和

分别为灰度调整前后像素的灰度值。

2、小波变换：利用Mallat算法对预处理后的两幅图像A和B分别进行三层离散小波变换，小波函数采用′db6′小波，其中，对预处理后的图像A进行小波变换得到离散小波变换系数

对预处理后的图像B进行小波变换得到离散小波变换系数

L^A和L^B分别表示预处理后的两幅图像A和B的低频子图像，

和

分别表示预处理后的两幅图像A和B在尺度t下p方向的高频子图像，这里，t＝1，2，3，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向。

二进离散小波变换公式为：

$\mathrm{Wf}(2^j,b)=2^{-j/2}{\&Integral;}_{-\&infin;}^{+\&infin;}f\left(t\right){\mathrm{\&psi;}}^{*}\left(2^{-j}(t-b)\right)\mathrm{dt}---\left(2\right)$

其中，f(t)表示二维图像，ψ(2^-j(t-b))为小波基函数，b为平移因子。

3、融合处理：对低频子图像L^A和L^B采用基于邻域归一化梯度的方法得到低频融合图像L^F，对高频子图像

和

采用基于邻域标准差的方法进行融合得到高频融合子图像

具体为：

a.低频子图像的融合处理

低频子图像的融合处理采用基于邻域归一化梯度的融合处理方法，就是对低频子图像L^A和L^B分别设定大小为M×N的邻域，并分别在各自的图像中求出以像素点(i，j)为中心、大小为M×N的邻域内所有像素值的归一化梯度平方和G^A(i，j)和G^B(i，j)，然后选取邻域归一化梯度平方和较大的源图像的低频系数作为融合后的低频子图像中对应位置像素点的值L^F(i，j)。可以用数学模型表示为：

$L^F(i,j)=\left\{\begin{array}{cc}{L}^A(i,j)& L^B(i,j)=0\\ L^B(i,j)& L^A(i,j)=0\\ L^A(i,j)& G^A(i,j)\&GreaterEqual;G^B(i,j)\\ L^B(i,j)& G^A(i,j)<G^B(i,j)\end{array}\right.---\left(3\right)$

其中，(i，j)表示图像中像素点的位置为i行j列，i＝1，…，P，j＝1，…，Q，P为低频子图像的总行数，Q为低频子图像的总列数；L^F(i，j)表示位于低频融合图像L^F第i行j列像素点的值；G^A(i，j)和G^B(i，j)分别表示低频子图像L^A和L^B中以(i，j)像素为中心的M×N大小邻域内所有像素值的归一化梯度平方和，计算公式分别为

$G^A(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{\left[\frac{|L^A(i+m,j+n)-L^A(i,j)|}{L^A(i,j)}\right]}^2---\left(4\right)$

$G^B(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{\left[\frac{|L^B(i+m,j+n)-L^B(i,j)|}{L^B(i,j)}\right]}^2---\left(5\right)$

其中，M×N邻域的大小为3×3、5×5、7×7等，即满足M＝N，且M和N的取值为大于3的奇数。本实施例中，M×N邻域的大小取为3×3。

b.高频子图像的融合处理

高频子图像的融合处理采用基于邻域标准差的融合处理方法，就是对各尺度各方向下的高频子图像

和

分别设定大小为

的邻域，并分别在各自的图像中计算以像素点(i，j)为中心、大小为

的邻域内所有像素值的均值

和

以及相应的标准差

和

然后选取邻域标准差较大的源图像的高频系数作为融合后的高频子图像中对应位置像素点的值

可以用数学模型表示为：

$H_{p,t}^F(i,j)=\left\{\begin{array}{cc}{H}_{p,t}^A(i,j)& {\mathrm{\&sigma;}}_{p,t}^A(i,j)\&GreaterEqual;{\mathrm{\&sigma;}}_{p,t}^B(i,j)\\ H_{p,t}^B(i,j)& {\mathrm{\&sigma;}}_{p,t}^A(i,j)<{\mathrm{\&sigma;}}_{p,t}^B(i,j)\end{array}\right.---\left(6\right)$

其中，

为位于高频融合子图像第i行j列像素点的值；

和分别为高频子图像和

中以(i，j)像素为中心的大小邻域内所有像素值的标准差，计算公式分别为：

${\mathrm{\&sigma;}}_{p,t}^A(i,j)={\left(\frac{1}{\tilde{M}\&times;\tilde{N}}\underset{m=-(\tilde{M}-1)/2}{\overset{(\tilde{M}-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(\tilde{N}-1)/2}{\overset{(\tilde{N}-1)/2}{\mathrm{\&Sigma;}}}{|H_{p,t}^A(i+m,j+n)-{\mathrm{\&mu;}}_{p,t}^A(i,j)|}^2\right)}^{1/2}---\left(7\right)$

${\mathrm{\&sigma;}}_{p,t}^B(i,j)={\left(\frac{1}{\tilde{M}\&times;\tilde{N}}\underset{m=-(\tilde{M}-1)/2}{\overset{(\tilde{M}-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(\tilde{N}-1)/2}{\overset{(\tilde{N}-1)/2}{\mathrm{\&Sigma;}}}{|H_{p,t}^B(i+m,j+n)-{\mathrm{\&mu;}}_{p,t}^B(i,j)|}^2\right)}^{1/2}---\left(8\right)$

其中，

和分别为高频子图像

和

中以(i，j)像素为中心的

大小邻域内所有像素值的均值，计算公式分别为：

${\mathrm{\&mu;}}_{p,t}^A(i,j)=\frac{1}{\tilde{M}\&times;\tilde{N}}\underset{m=-(\tilde{M}-1)/2}{\overset{(\tilde{M}-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(\tilde{N}-1)/2}{\overset{(\tilde{N}-1)/2}{\mathrm{\&Sigma;}}}{H}_{p,t}^A(i+m,j+n)---\left(9\right)$

${\mathrm{\&mu;}}_{p,t}^B(i,j)=\frac{1}{\tilde{M}\&times;\tilde{N}}\underset{m=-(\tilde{M}-1)/2}{\overset{(\tilde{M}-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(\tilde{N}-1)/2}{\overset{(\tilde{N}-1)/2}{\mathrm{\&Sigma;}}}{H}_{p,t}^B(i+m,j+n)---\left(10\right)$

其中，邻域的大小也为3×3、5×5、7×7等，即满足且

和

的取值为大于3的奇数。本实施例中，邻域的大小取为3×3。

具体计算时，分别对不同分解尺度t(t＝1，2，3)下不同p方向(p＝1，2，3)的高频子图像

和

按上述过程进行计算得到其融合后的高频子带图像

如对分解尺度1下1方向(水平方向)的高频子图像

和

按上述过程进行计算得到其融合后的高频子带图像

等。

4、小波重构：将融合处理后得到的低频图像L^F和高频子图像

进行离散小波逆变换，得到最终的融合结果图像。

二进离散小波逆变换的公式为：

$f\left(t\right)=\underset{j\&Element;Z}{\mathrm{\&Sigma;}}{\&Integral;}_{-\&infin;}^{+\&infin;}\mathrm{Wf}(2^j,b)\mathrm{\&psi;}\left(2^{-j}(t-b)\right)\mathrm{db}---\left(11\right)$

其中，Wf(2^j，b)为二进离散小波变换系数，ψ(2^-j(t-b))为小波基函数，b为平移因子。

图3为待融合的多聚焦图像和融合处理后的图像。将本发明所得的融合结果与其他融合方法所得的融合结果进行对比，评价结果如表1所示。图像均方根误差的大小表明融合图像与理想图像的接近程度，均方根误差越小，说明融合图像与理想图像越接近，融合效果越好；图像信息熵的大小反映了融合图像中所包含的平均信息量的大小，熵值越大，所含信息量越大；峰值信噪比越高，说明融合效果和质量越好。

表1融合结果评价

融合图像	均方根误差	信息熵	峰值信噪比
				(c)图	7.7856	7.3789	30.4098
(d)图	7.5963	7.4302	30.5346
				(e)图	6.6128	7.4413	31.7346

Claims (2)

1.一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：预处理：采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准，并利用线性变换方法将两幅源图像的灰度范围映射到一个一致的灰度区间，得到预处理后的两幅图像A和B；

步骤2：小波变换：利用Mallat算法对预处理后的两幅图像A和B分别进行小波变换，其中，对预处理后的图像A进行小波变换得到小波变换系数 对预处理后的图像B进行小波变换得到小波变换系数 

所述的L^A和L^B分别表示预处理后的两幅图像A和B的低频子图像；所述的 

和 

分别表示预处理后的两幅图像A和B在尺度t下p方向的高频子图像；所述的t为小波变换的分解尺度，为大于等于1的整数；所述的p表示每个分解尺度下的不同方向，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向；

步骤3：融合处理：采用基于邻域归一化梯度的方法对低频子图像L^A和L^B进行融合处理，得到低频融合图像L^F；采用基于邻域标准差的方法对高频子图像 

和 

进行融合处理，得到高频融合子图像 

所述的基于邻域归一化梯度的融合处理方法具体为：

其中，(i，j)表示图像中像素点的位置为i行j列，i＝1，…，P，j＝1，…，Q，P为低频子图像的总行数，Q为低频子图像的总列数；L^F(i，j)表示位于低频融合图像L^F第i行j列像素点的值；G^A(i，j)和G^B(i，j)分别表示低频子图像L^A和L^B中以(i，j)像素为中心的M×N大小邻域内所有像素值的归一化梯度平方和，计算公式分别为

所述的基于邻域标准差的融合处理方法为：

其中， 

为位于高频融合子图像 

第i行j列像素点的值； 

和 分别为高频子图像 

和 

中以(i，j)像素为中心的 

大小邻域内所有像素值的标准差；

所述的M×N和 

大小邻域为大小为3×3、5×5、7×7的正方形区域；

步骤4：小波重构：将融合处理后得到的低频融合图像L^F和高频融合子图像 

进行小波逆变换，得到最终的融合结果图像。

2.根据权利要求1所述的一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法，其特征在于：所述的一致的灰度区间为[0，1]或[0，255]。 

Images