发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法,能够提高融合后的图像质量,达到理想的实用效果。
本发明的思想在于:首先采用小波变换对源图像进行多尺度分解,得到低频和高频子图像;然后根据低频和高频子图像的各自特性,采用不用的融合规则进行处理,其中,对低频子图像采用基于邻域归一化梯度的方法得到低频融合系数,对高频子图像采用基于邻域标准差的方法得到高频融合系数;最后进行小波重构得到融合图像。
技术方案
一种基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法,其特征在于步骤如下:
步骤1:预处理:采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准,并利用线性变换方法将两幅源图像的灰度范围映射到一个一致的灰度区间,得到预处理后的两幅图像A和B;所述的一致的灰度区间为[0,1]或[0,255];
步骤2:小波变换:利用Mallat算法对预处理后的两幅图像A和B分别进行小波变换,其中,对预处理后的图像A进行小波变换得到小波变换系数
对预处理后的图像B进行小波变换得到小波变换系数
所述的L
A和L
B分别表示预处理后的两幅图像A和B的低频子图像;所述的
和
分别表示预处理后的两幅图像A和B在尺度t下p方向的高频子图像;所述的t为小波变换的分解尺度,为大于等于1的整数;所述的p表示每个分解尺度下的不同方向,p=1,2,3,p=1表示水平方向,p=2表示垂直方向,p=3表示对角方向;
步骤3:融合处理:采用基于邻域归一化梯度的方法对低频子图像L
A和L
B进行融合处理,得到低频融合图像L
F;采用基于邻域标准差的方法对高频子图像
和
进行融合处理,得到高频融合子图像
所述的基于邻域归一化梯度的融合处理方法具体为:
其中,(i,j)表示图像中像素点的位置为i行j列,i=1,…,P,j=1,…,Q,P为低频子图像的总行数,Q为低频子图像的总列数;LF(i,j)表示位于低频融合图像LF第i行j列像素点的值;GA(i,j)和GB(i,j)分别表示低频子图像LA和LB中以(i,j)像素为中心的M×N大小邻域内所有像素值的归一化梯度平方和,计算公式分别为
所述的基于邻域标准差的融合处理方法为:
其中,
为位于高频融合子图像
第i行j列像素点的值;
和
分别为高频子图像
和
中以(i,j)像素为中心的
大小邻域内所有像素值的标准差;
所述的M×N和
大小邻域为大小为3×3、5×5、7×7等的正方形区域;
步骤4:小波重构:将融合处理后得到的低频融合图像L
F和高频融合子图像
进行小波逆变换,得到最终的融合结果图像。
有益效果
本发明提出的基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法,首先利用小波变换对图像进行多尺度分解,获得图像在不同分辨率和不同方向下的低频和高频信息;然后根据低频和高频信息的各自特性,采用不用的融合规则进行处理,其中,对低频子图像采用基于邻域归一化梯度的融合方法,克服了传统的低频分量融合方法忽略边缘信息的缺点,能够在很大程度上改善融合效果,对高频子图像采用基于邻域标准差的融合方法,可以最大限度的保留图像的细节信息;最后进行小波重构得到融合图像。因此,将小波变换和图像的邻域归一化梯度和邻域标准差等邻域特征相结合,可以大大提高融合后图像的质量,对于应用系统的后续处理和图像显示具有重要意义和实用价值。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
用于实施的硬件环境是:AMD Athlon(tm)2.60G计算机、2.0GB内存、128M显卡,运行的软件环境是:Matlab7.0和Windows XP。我们用Matlab软件实现了本发明提出的方法。该实验所用的两幅灰度图像和理想图像取自于www.imagefusion.org。
本发明具体实施如下:
1、预处理:首先采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准;然后,进行图像的灰度调整,使两幅图像的灰度范围均处于一个一致的灰度区间[0,255]内,得到预处理后的两幅图像A和B;
设原始图像的灰度区间为[a1,a2],则灰度调整公式为:
2、小波变换:利用Mallat算法对预处理后的两幅图像A和B分别进行三层离散小波变换,小波函数采用′db6′小波,其中,对预处理后的图像A进行小波变换得到离散小波变换系数
对预处理后的图像B进行小波变换得到离散小波变换系数
L
A和L
B分别表示预处理后的两幅图像A和B的低频子图像,
和
分别表示预处理后的两幅图像A和B在尺度t下p方向的高频子图像,这里,t=1,2,3,p=1,2,3,p=1表示水平方向,p=2表示垂直方向,p=3表示对角方向。
二进离散小波变换公式为:
其中,f(t)表示二维图像,ψ(2-j(t-b))为小波基函数,b为平移因子。
3、融合处理:对低频子图像L
A和L
B采用基于邻域归一化梯度的方法得到低频融合图像L
F,对高频子图像
和
采用基于邻域标准差的方法进行融合得到高频融合子图像
具体为:
a.低频子图像的融合处理
低频子图像的融合处理采用基于邻域归一化梯度的融合处理方法,就是对低频子图像LA和LB分别设定大小为M×N的邻域,并分别在各自的图像中求出以像素点(i,j)为中心、大小为M×N的邻域内所有像素值的归一化梯度平方和GA(i,j)和GB(i,j),然后选取邻域归一化梯度平方和较大的源图像的低频系数作为融合后的低频子图像中对应位置像素点的值LF(i,j)。可以用数学模型表示为:
其中,(i,j)表示图像中像素点的位置为i行j列,i=1,…,P,j=1,…,Q,P为低频子图像的总行数,Q为低频子图像的总列数;LF(i,j)表示位于低频融合图像LF第i行j列像素点的值;GA(i,j)和GB(i,j)分别表示低频子图像LA和LB中以(i,j)像素为中心的M×N大小邻域内所有像素值的归一化梯度平方和,计算公式分别为
其中,M×N邻域的大小为3×3、5×5、7×7等,即满足M=N,且M和N的取值为大于3的奇数。本实施例中,M×N邻域的大小取为3×3。
b.高频子图像的融合处理
高频子图像的融合处理采用基于邻域标准差的融合处理方法,就是对各尺度各方向下的高频子图像
和
分别设定大小为
的邻域,并分别在各自的图像中计算以像素点(i,j)为中心、大小为
的邻域内所有像素值的均值
和
以及相应的标准差
和
然后选取邻域标准差较大的源图像的高频系数作为融合后的高频子图像中对应位置像素点的值
可以用数学模型表示为:
其中,
为位于高频融合子图像
第i行j列像素点的值;
和
分别为高频子图像
和
中以(i,j)像素为中心的
大小邻域内所有像素值的标准差,计算公式分别为:
其中,
和
分别为高频子图像
和
中以(i,j)像素为中心的
大小邻域内所有像素值的均值,计算公式分别为:
其中,
邻域的大小也为3×3、5×5、7×7等,即满足
且
和
的取值为大于3的奇数。本实施例中,
邻域的大小取为3×3。
具体计算时,分别对不同分解尺度t(t=1,2,3)下不同p方向(p=1,2,3)的高频子图像
和
按上述过程进行计算得到其融合后的高频子带图像
如对分解尺度1下1方向(水平方向)的高频子图像
和
按上述过程进行计算得到其融合后的高频子带图像
等。
4、小波重构:将融合处理后得到的低频图像L
F和高频子图像
进行离散小波逆变换,得到最终的融合结果图像。
二进离散小波逆变换的公式为:
其中,Wf(2j,b)为二进离散小波变换系数,ψ(2-j(t-b))为小波基函数,b为平移因子。
图3为待融合的多聚焦图像和融合处理后的图像。将本发明所得的融合结果与其他融合方法所得的融合结果进行对比,评价结果如表1所示。图像均方根误差的大小表明融合图像与理想图像的接近程度,均方根误差越小,说明融合图像与理想图像越接近,融合效果越好;图像信息熵的大小反映了融合图像中所包含的平均信息量的大小,熵值越大,所含信息量越大;峰值信噪比越高,说明融合效果和质量越好。
表1融合结果评价
(c)图 |
7.7856 |
7.3789 |
30.4098 |
(d)图 |
7.5963 |
7.4302 |
30.5346 |
(e)图 |
6.6128 |
7.4413 |
31.7346 |