CN1251145C - 综合边缘和纹理信息的金字塔图像融合方法 - Google Patents

Abstract

一种综合边缘和纹理信息的金字塔图像融合方法，首先建立基于边缘和纹理特征的金字塔结构，考虑二项高斯滤波器和纹理提取滤波器以及边缘提取滤波器之间的线性关系，采用奇异值分解法求出纹理和边缘图像的对应系数，然后利用各尺度图像的这些特征，对分解后图像的各层进行表示，最后采用基于相似性测度和显著性测度的融合策略进行融合。本发明使融合后的图像质量得到大幅度地提高，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。

Description

综合边缘和纹理信息的金字塔图像融合方法

技术领域：

本发明涉及一种综合边缘和纹理信息的金字塔图像融合方法，是信息融合领域中的一项金字塔图像融合方法，在光学成像、目标监视、安全检查等系统中均可有广泛应用。

背景技术：

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术，近年来已成为一种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

最简单的图像融合方法是将原图像进行加权平均。这种方法的优点是简单，实时性好，但是与此同时带来的负面影响是降低了图像的对比度。图像金字塔分解技术与人类视觉系统中观察事物的过程十分相似，图像的金字塔分解技术包括图像的小波变换、多速滤波器表示以及金字塔变换。其中，基于金字塔变化的融合方法可能成为最有希望的融合方法。尽管小波在图像表示中展现了很多优越性，如在正交性表示、方向敏感性以及降噪性能方面都超过了金字塔分解方法。但是由于小波存在不对称性导致的在位移不变性方面的性能较差，从而影响了图像融合的效果。因此开发一种新的基于金字塔分解的金字塔图像融合方法，来避免由于小波所造成的位移不变性差的缺点，弥补传统金字塔结构的金字塔图像融合方法在提取纹理特征以及边缘特征方面的不足，显得十分必要。

发明内容：

本发明的目的在于针对现有金字塔图像融合技术存在的不足，提供一种综合边缘和纹理信息的金字塔图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

为实现这样的目的，本发明技术方案的创新点在于将传统的图像金字塔分解拓展到基于纹理和边缘信息的金字塔分解方法，并基于这样一种金字塔表示对图像进行融合。本发明通过高斯滤波获得原始图像的金字塔分解，考虑二项高斯滤波器和纹理提取滤波器以及边缘提取滤波器之间的线性关系，采用奇异值分解法求出纹理和边缘图像的对应系数。利用各尺度图像的这些特征信息，对分解后图像的各层进行表示。融合过程通过计算出两幅图像的各纹理和边缘图像对的相似性测度和显著性测度，根据显著性测度大小采用合适的融合策略(选大或加权平均)，通过这样的融合策略得到一组纹理和边缘的金字塔表示的图像，最后经过重构得到最终融合后的图像。

本发明的综合边缘和纹理信息的金字塔图像融合方法包括如下具体步骤：

1.求取进行边缘和纹理金字塔分解所要满足的条件，也就是要构造一种基于边缘和纹理特征的金字塔结构。在二项高斯滤波器与纹理提取滤波器、边缘提取滤波器之间建立一个具有待定系数的恒等式；通过奇异值分解计算出这些待定系数t_i和c_i。t_i是纹理滤波器的系数，c_i是边缘提取滤波器的系数。满足这样的关系式是为了保证图像分解后能够完全重构，也就是基于边缘和纹理信息金字塔分解的重构条件。

2.得到了基于边缘和纹理信息的金字塔的结构后，基于这样的结构，就可以对图像进行分解了。将待融合图像分别经过纹理提取滤波器和边缘提取滤波器进行滤波，得到一层纹理图像和边缘图像；此外，待融合图像还要和二项高斯滤波器进行滤波，得到图像的低通分量，作为下一层分解的输入图像，这个图像再与边缘提取滤波器和边缘提取滤波器进行滤波，就得到下一层的纹理和边缘图像。这样以此类推，迭代n次，就可以得到图像n层纹理和边缘信息表示的金字塔表示。

3.分别将两幅待融合的图像进行上述的操作，得到图像的两组金字塔表示形式。将分解后两幅图像的各层对应起来，计算每一对应层的相似性测度和显著性测度。相似性测度越大说明两幅图像对应层、对应位置的特征越相似；显著性测度是通过相似性测度计算得到的，它的值越大，说明特征的相似性程度越小。为了保证融合能够充分表现出待融合图像的特征，当显著性测度大于某一个阈值的时候选择特征比较显著的那个像素，当显著性测度小于这一阈值，融合策略采用加权平均的方式，得到融合后图像的纹理和边缘信息的金字塔表示。

4.将得到的融合后图像的纹理和边缘信息的金字塔表示，从最顶层开始，一层一层进行重构。最顶层的M×M低通图像G_n通过插值，首先得到2M×2M的插值图像；下一层的纹理和边缘信息表示层分别乘上步骤1得到的纹理滤波器系数t_i和边缘提取滤波器的系数c_i进行求和，再与顶层的插值图像求和，得到下一层的低通图像G_n-1；反复迭代，直至得到G₀，它就是重构图像，也就是所求的融合后的图像。

本发明的图像融合方法具有如下有益效果：

在对图像基于边缘和纹理信息进行金字塔展开后，图像在各尺度上能够充分反映出所具有的边缘和纹理特征。在基于这样的金字塔分解的每一个层次上进行图像融合，可以使得融合后图像充分反映出原图像所具有的特征，这些特征也正是图像后续的识别工作所必须的。采用综合纹理和边缘信息的金字塔图像融合方法大大提高了融合后图像质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。

附图说明：

图1为本发明的综合边缘和纹理信息的金字塔图像融合方法流程示意图。

如图1所示，本发明的方法首先将两幅待融合图像进行基于边缘和纹理信息的金字塔分解，再根据各金字塔层次上特征的显著性和相似性条件进行融合，得到融合后图像的金字塔表示，然后再应用基于边缘和纹理信息的金字塔反变换，重构出融合图像。

图2为本发明采用的对图像进行基于边缘和纹理信息金字塔分解和重构的结构示意图。

图2展现的是针对一幅图像进行一层金字塔分解的过程。首先，将图像分别与边缘和纹理滤波器卷积，得到边缘和纹理信息表示形式。图像与二项高斯滤波器进行滤波得到一层分解金字塔的顶部。重构图像是通过将这些图像进行简单求和得到的。

图3是本发明实施例中的可见光和红外图像、部分边缘和纹理图像以及融合结果。

图3中，(a)表示的是可见光图像，(c)表示的是(a)所提供的部分和纹理信息；(b)表示的是前视红外图像，(d)表示的是(b)所提供的部分边缘和纹理信息；(e)表示的是融合后图像的部分边缘和纹理信息；(f)为基于边缘和纹理金字塔重构后的最终的融合图像。

图4是采用本发明的方法分别对合成孔径雷达SAR和红外图像的融合结果。

具体实施方式：

以下结合附图和实施例对本发明的技术方案作进一步描述。

本发明的实施例中，待融合的两幅图像分别是图3(a)表示的可见光图像和图3(b)表示的前视红外图像，采用的综合边缘和纹理信息的金字塔图像融合方法按图1所示流程进行，采用的金字塔分解和重构的结构如图2所示。各部分具体实施细节如下：

1.建立基于边缘和纹理信息金字塔分解和重构的结构

将图像分解成综合纹理和边缘信息的金字塔表示需要满足重构条件，如公式(1)所示：

$(1-{\stackrel{\·}{w}}_{\mathrm{new}})=\underset{i=1}{\overset{25}{\mathrm{\Σ}}}{t}_i{T}_i*T_i+\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{c}_i{D}_i*D_i---\left(1\right)$

式中的t_i和c_i为待定系数，这可以通过奇异值分解方法求得；T_i为Laws纹理提取滤波器，D_i为边缘提取滤波器。建立基于边缘和纹理信息金字塔分解和重构的结构，主要任务就是求这些待定系数。

Laws纹理提取的五个核向量如下所示：

l₅＝[1 4 6 4 1]

e₅＝[-1 -2 0 2 1]

s₅＝[-1 0 2 0 -1]

u₅＝[-1 2 0 -2 1]

r₅＝[1 -4 6 -4 1]

T_i就是通过这些核向量经过交叉卷积以及自卷积后，再经过卷积扩维得到的25个9×9的滤波器。

四个边缘提取滤波器如下：

$d_1=\left[\begin{array}{ccc}0& 0& 0\\ 1& -2& 1\\ 0& 0& 0\end{array}\right];d_2=\left[\begin{array}{ccc}0& 0& 0.5\\ 0& -1& 0\\ 0.5& 0& 0\end{array}\right];d_3=\left[\begin{array}{ccc}0& 1& 0\\ 0& -2& 0\\ 0& 1& 0\end{array}\right];d_4=\left[\begin{array}{ccc}0.5& 0& 0\\ 0& -1& 0\\ 0& 0& 0.5\end{array}\right]$

与纹理提取滤波器的处理相似，它们通过卷积扩维得到四个边缘提取滤波器D_i。对等式(1)进行奇异值分解的方法求取待定系数。就得到了金字塔分解和重构的结构。图2所示的为单一图像进行一层金字塔分解和重构的示意图。

2.图像的金字塔分解过程

边缘提取滤波器与纹理提取滤波器共同组成    29个特征提取滤波器F_l(l＝1，2，...，29)。金字塔分解过程可采用公式(2)：(2)

$L_{\mathrm{kl}}=f_l(F_l*F_l)*[G_k+{\stackrel{\·}{w}}_{\mathrm{new}}*G_k]$

其中，F_l和f_l分别为特征提取滤波器和其相应的系数；

是分解后的特征图像。

分解结果如图3中所示：3(c)为3(a)可见光图像金字塔分解后的部分特征内容，3(d)为3(b)前视红外图像金字塔分解后的部分特征内容。

3.各层图像的融合处理

图像分解成基于纹理和边缘的金字塔形式后，融合方法采用基于相似性测度和显著性测度进行融合的策略。标记第k层第l方向的图像为L_kl。

首先计算两幅图像金字塔分解系数的活性测度，设两组分解系数的显著性测度分别为 和

采用基于窗口的测度，窗口大小为3×3，窗口模板系数为：

$a=\left[\begin{array}{ccc}1& 1& 1\\ 1& 8& 1\\ 1& 1& 1\end{array}\right]\frac{1}{16}$

则显著性测度为

$S\left(\stackrel{\→}{p}\right)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\α}(s,t){\stackrel{\→}{L}}_{\mathrm{kl}}{(m+s,n+t,k,l)}^2$

相似性测度为

$M_{\mathrm{AB}}\left(\stackrel{\→}{p}\right)\frac{2\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\α}(s,t){\stackrel{\→}{L}}_{\mathrm{kl}}^A(m+s,n+t,k,l){\stackrel{\→}{L}}_{\mathrm{kl}}^B(m+s,n+t,k,l)}{S_A^2\left(\stackrel{\→}{p}\right)+S_B^2\left(\stackrel{\→}{p}\right)}$

如果相似性测度M_AB≥α，则 ${\mathrm{\ω}}_A=\frac{1}{2}-\frac{1}{2}\left(\frac{1-M_{\mathrm{AB}}}{1-\mathrm{\β}}\right)$ 且ω_B＝1-ω_A

如果相似性测度M_AB＜α，则

且ω_B＝1-ω_A

最后得融合策略：

${\stackrel{\→}{L}}_{\mathrm{kl}}^F\left(\stackrel{\→}{p}\right)={\mathrm{\ω}}_A\left(\stackrel{\→}{p}\right){\stackrel{\→}{L}}_{\mathrm{kl}}^A\left(\stackrel{\→}{p}\right)+{\mathrm{\ω}}_B\left(\stackrel{\→}{p}\right){\stackrel{\→}{L}}_{\mathrm{kl}}^B\left(\stackrel{\→}{p}\right)---\left(3\right)$

图3(e)为融合后图像的金字塔表示。

4.融合后图像基于纹理和边缘信息的金字塔重构

利用公式(3)所求出的 求基于纹理和边缘的金字塔反变换即可得到融合图像。最顶层图像G_n表示的是图像的低通信息，将这部分图像进行插值处理，得到2M×2M的图像。这与该低通的图像的下一层纹理和边缘信息图像的维数是相等的。考虑步骤1得到的系数t_i和c_i是通过满足重构条件得到的，这里必须将纹理和边缘图像乘以该系数，然后加上最顶层图像(低通图像)的插值结果，从而得到低通图像G_n-1。图3(f)为可见光与前视红外图像的最终融合结果。

表1、表2分别为可见光/前视红外图像以及合成孔径雷达/前视红外图像的融合结果指标评价指标。从表中可以看出，当采用纹理特征时，融合性能已经超过了传统的金字塔方法；采用综合边缘和纹理特征后，所得到的融合效果要好于前两种方法。

表1：可见光图像和前视红外图像的融合结果指标评价

分解层数	传统金字塔分解方法		基于纹理的金字塔分解方法		本发明采用的金字塔方法
								OM	熵值	OM	熵值	OM	熵值
1	0.5022	4.9599	0.5632	4.9726	0.5667	4.9727
							2	0.5617	4.9633	0.5944	4.9750	0.5981	4.9751
3	0.5963	4.9631	0.6110	4.9740	0.6148	4.9739
							4	0.6172	4.9614	0.6191	4.9748	0.6232	4.9747
5	0.6280	4.9666	0.6213	4.9796	0.6253	4.9794
							6	0.6303	4.9824	0.6220	4.9768	0.6260	4.9775

表2：合成孔径雷达图像和前视红外图像的融合结果指标评价

分解层数	传统金字塔分解方法		基于纹理的金字塔分解方法		本发明采用的金字塔方法
								OM	熵值	OM	熵值	OM	熵值
1	0.3948	4.5884	0.4447	4.6865	0.4464	4.6866
							2	0.4393	4.6097	0.4574	4.7100	0.4591	4.7110
3	0.4509	4.6236	0.4597	4.7202	0.4616	4.7200
							4	0.4532	4.6321	0.4602	4.7310	0.4621	4.7320
5	0.4537	4.6448	0.4604	4.7446	0.4622	4.7447
							6	0.4538	4.6644	0.4604	4.7769	0.4623	4.7780

Claims (1)

1、一种综合边缘和纹理信息的金字塔图像融合方法，其特征在于包括如下具体步骤：

1)建立基于边缘和纹理特征的金字塔结构：在二项高斯滤波器与纹理提取滤波器、边缘提取滤波器之间建立一个具有待定系数的恒等式，通过奇异值分解计算出纹理滤波器和边缘提取滤波器的待定系数；

2)基于边缘和纹理特征的金字塔结构对图像进行分解，将待融合图像分别经过纹理提取滤波器和边缘提取滤波器进行滤波，得到一层纹理图像和边缘图像，待融合图像还要和二项高斯滤波器进行滤波，得到图像的低通分量，作为下一层分解的输入图像，这个图像再与纹理滤波器和边缘提取滤波器进行滤波，得到下一层的纹理和边缘图像，以此类推迭代n次，得到图像n层纹理和边缘信息表示的金字塔表示；

3)将两幅待融合图像的金字塔表示形式的各层对应起来，计算每一对应层的相似性测度和显著性测度，当显著性测度大于某一个阈值的时候选择特征比较显著的那个像素，当显著性测度小于这一阈值，融合策略采用加权平均的方式，得到融合后图像的纹理和边缘信息的金字塔表示；

4)将得到的融合后图像的纹理和边缘信息的金字塔表示，从最顶层开始，一层一层进行重构，最顶层的低通图像通过插值，首先得到插值图像，下一层的纹理和边缘信息表示层分别乘上纹理滤波器系数和边缘提取滤波器的系数进行求和，再与顶层的插值图像求和，得到下一层的低通图像，反复迭代，直至得到重构图像，也就是所求的融合后的图像。

Images