CN1177298C

CN1177298C - 基于块分割的多聚焦图像融合方法

Info

Publication number: CN1177298C
Application number: CNB021370559A
Authority: CN
Inventors: 敬忠良; 李建勋; 王宏
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2002-09-19
Filing date: 2002-09-19
Publication date: 2004-11-24
Anticipated expiration: 2022-09-19
Also published as: CN1402191A

Abstract

一种基于块分割的多聚焦图像融合方法，在将多聚焦输入原图像分割成若干个大小相等的块区域的基础上，对每个块区域求取其局部对比度来反映图像聚焦清晰区域与聚焦模糊区域之间的差异。利用块区域局部对比度将整个图像划分成清晰区域和模糊区域，再将清晰区域与模糊区域相邻的所有块区域划为边界区域，得到图像的三个不同的区域划分并以图像区域标记图的形式进行表示。对于清晰区域和模糊区域，直接选取清晰块区域作为融合后的相应块区域，对于边界区域，采用基于对比度的像素选取融合方法进行融合处理。本发明使融合后的图像质量得到大幅度地提高，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。

Description

基于块分割的多聚焦图像融合方法

技术领域：

本发明涉及一种基于块分割的多聚焦图像融合方法，是信息融合领域中的一项多聚焦图像信息融合方法，在光学成像、目标监视、安全检查等系统中均有广泛应用。

背景技术：

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

作为图像融合研究内容之一的多聚焦图像融合，它是指在相同的成像条件下，镜头聚焦目标不同的多个图像，通过图像融合可得到一个所有目标都聚焦清晰的融合后图像。在处理多聚焦图像的融合方法中，具有代表性的方法是多分辨图像融合方法。其基本思想就是在将输入原图像分解得到不同分辨率表示的基础上，分别对它们进行融合运算得到一个融合的图像多分辨率表示，经多分辨率重构获得融合后图像。然而采用多分辨率图像融合方法对多聚焦原图像进行融合处理所得到的融合结果，与原图像的清晰区域相比，其对应区域的图像质量有所降低；而与原图像的模糊区域相比，其对应区域的图像质量得到提高，这也就是说，多分辨率图像融合方法通过降低图像清晰区域的图像质量来提升图像模糊区域的图像质量以得到目标均“清晰”的融合结果。其融合结果与理想融合结果存在一定程度的偏差，并造成图像中一些边缘信息的丢失。

发明内容：

本发明的目的在于针对现有技术存在的不足，提供一种基于块分割的多聚焦图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

为实现这样的目的，本发明技术方案的创新点在于将图像进行区域划分并作相应的融合处理。在将多聚焦输入原图像分割成若干个大小相等的块区域的基础上，在对输入原图像进行非降采样小波分解后，得到图像的低频分量、垂直高频分量、水平高频分量以及对角线高频分量的基础上，以块区域内各点的高频分量与低频分量之比的绝对值之和求得的平均值作为该区域的局部对比度。以此反映图像聚焦清晰区域与聚焦模糊区域之间的差异。在进行图像的各区域划分时，首先利用块区域局部对比度将整个图像划分成清晰区域和模糊区域，然后再将清晰区域与模糊区域相邻的所有块区域划为边界区域，以此得到图像的三个不同的区域划分并以图像区域标记图的形式进行表示。对于清晰区域和模糊区域，由于输入原图像在这两个区域是互补的，在进行融合处理时，直接选取清晰块区域作为融合后的相应块区域。对于边界区域，首先求取其中每一个像素所处的邻域内的低频分量，以像素点的高频分量与低频分量之比的绝对值之和为像素点的对比度，最后选取输入图像边界区域内相应像素点其邻域内的各点对比度之和较大的像素值为融合后该点的像素值，如此采用这种基于像素选取的方法处理边界区域。

本发明的一种基于块分割的多聚焦图像融合方法包括如下具体步骤：

1.在将多聚焦输入原图像分割成若干个大小相等的块区域后，计算图像块区域的局部对比度。在对输入原图像进行非降采样小波分解后，得到图像的低频分量、垂直高频分量、水平高频分量以及对角线高频分量，然后将块区域内各点的高频分量与低频分量之比的绝对值之和求得的平均值作为该区域的局部对比度。以此来反映输入原图像块区域的模糊和清晰程度的不同。通过块区域的局部对比度大小来区别块区域的清晰程度。块区域的清晰程度越高，其局部对比度越大，反之，块区域越模糊，其对比度越小。另外也可采用块区域的平均梯度或它包含的信息熵的大小来区别块区域的清晰程度。

2.通过比较输入图像相对应块区域对比度的大小，可将整个图像划分成清晰区域和模糊区域。块区域对比度大的为清晰块区域；对比度小的为模糊块区域。然而，由于实际成像等因素的影响，使得个别块区域会出现错误的划分。为此作如下处理：

1).根据输入图像的大小，使得图像块区域的选取不宜太小，一般为32*32、32*16、16*32、16*16；

2).对图像按块区域进行逐行扫描，找出尚未归属的块区域；

3).以该区域为中心检索其周围的相邻像素，同属一类块类型的将它们合并；

4).以新合并的区域为中心，执行步骤2)，检索新区域的邻域，直到区域不能进行扩张；

5).返回步骤1)，直到未发现没有归属的块区域；

6).对得到各区域计算其所包含块的数量，当小于一定个数(3或5)时，改变该区域内块区域的所属类型，认为是这些块区域为错误选取的块区域；当大于一定个数时，该区域内块区域的所属类型不发生变化。

然后再将清晰区域与模糊区域相邻的所有块区域划为边界区域，以此得到图像的三个不同的区域划分。通过上述处理后，就可得到融合所需的图像区域标记图。

3.在得到图像区域标记图后，可针对不同类型的区域分别进行图像块的融合处理。对于清晰区域和模糊区域，由于输入原图像在这两个区域是互补的，即图像A的清晰区域对应图像B的模糊区域，反之，图像A的模糊区域对应图像B的清晰区域。在进行融合处理时，直接选取清晰块区域作为融合后的相应块区域。对于边界区域，提出了基于对比度的像素选取融合方法进行融合处理。具体如下：

1).对边界区域中的每一个像素点，求取其所处的邻域内的低频分量；

2).获得该像素点的对比度。该像素点的高频分量与低频分量之比的绝对值之和为该像素点的对比度；

3).选取输入图像中边界区域内相应像素点邻域内的各点对比度之和较大的像素值为融合后该点的像素值。

4).考虑相邻像素的相关性，对图像中的任一像素，若其相邻的像素均选自另一输入原图像，那么该像素的选取将与相邻像素的选取相同。

本发明的图像融合方法具有如下有益效果；

在对图像区域划分的基础上，针对不同的区域进行不同的融合处理。对于清晰区域和模糊区域，直接选取清晰区域作为融合后相应的区域，这使得融合后的这部分区域，未引入任何偏差，能够得到最优的图像效果：对于图像的边界区域，采用基于对比度的像素选取融合方法进行融合处理，这样能够很好地保留图像的边缘信息，同时与图像的清晰区域结合地自然、平滑，整个融合后图像更接近于理想的融合结果。采用基于块分割的多聚焦图像融合方法大大提高了融合后图像质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。

附图说明：

图1为本发明基于块分割的多聚焦图像融合方法示意图。

如图所示，在将多聚焦输入原图像分割成若干个大小相等的块区域的基础上，通过比较输入图像相对应块区域对比度的大小，可将整个图像划分成清晰区域、模糊区域和边界区域。在得到图像区域标记图后，针对不同类型的区域分别进行图像块的融合处理。

图2为聚焦不同的块区域图像对照图。

其中，图2(a)，图2(b)为第一组对照图；图2(c)，图2(d)为第二组对照图；图2(e)，图2(f)为第三组对照图；图2(g)，图2(h)为第四组对照图。

图3为图像融合结果对照。

其中，图3(a)，图3(b)为输入原图像；图3(c)为块区域大小为32*32的融合后图像；图3(d)为块区域大小为16*16的融合后图像；图3(e)为拉普拉斯金字塔算法融合后图像；图3(f)为离散小波变换算法融合后图像。

具体实施方式：

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

图1为本发明提出的一种基于块分割多聚焦图像融合方法的融合方法示意图。各部分具体实施细节如下：

1.图像块区域的局部对比度

将多聚焦输入原图像分割成若干个大小相等的块后，采用块区域局部对比度来反映图像聚焦清晰区域与聚焦模糊区域之间的差异。

图像对比度D的定义：

D＝(L-L_B)/L_B (1)

其中，L为图像的局部亮度，它相当于图像局部灰度；L_B为图像的局部背景亮度，它相当于图像局部低频分量；那么L-L_B相当于图像局部高频分量。这里利用小波分解来得到图像块区域局部对比度。假设原图像为f，在对图像f进行小波分解时，不进行滤波后下采样，以确保分解后的图像分量与原图像大小保持不变，以便于图像分析。设A_1f、D_1f、D_2f和D_3f分别为图像的低频分量、垂直高频分量、水平高频分量以及对角线高频分量。图像的块区域局部对比度C_i可定义为：

C_{i} = \frac{1}{n_{i}} (\underset{(m, n) &Element; i}{Σ} | \frac{D_{1 f} (m, n)}{A_{1 f} (m, n)} | + \underset{(m, n) &Element; i}{Σ} | \frac{D_{2 f} (m, n)}{A_{1 f} (m, n)} | + \underset{(m, n) &Element; i}{Σ} | \frac{D_{3 f} (m, n)}{A_{1 f} (m, n)} |) - - - - (2)

其中i为图像块；n_i为图像块中的像素数；

图2给出了四组聚焦不同的块区域图，表1给出其相应的对比度结果。

表1：图像块的对比度结果

	第一组	第二组	第三组	第四组
	第一组	第二组	第三组	第四组	块对比度	0.0604	0.0886	0.0465	0.1464	清晰块
0.0187	0.0286	0.0239	0.0421	模糊块		0.0604	0.0886	0.0465	0.1464	清晰块

2.图像各区域的划分

设C_i ^X为图像X的第i块区域的局部对比度；I_i ^X(x，y)为图像X的第i块区域内的像素灰度值。那么对图像A有：

同理，对于图像B有：

对于灰度值等于0的块区域，其表示为模糊块区域；灰度值等于1的块区域表示为清晰块区域。将清晰块与模糊块相邻的这些块区域将其灰度值变为2，定为边界块区域。由此，能够得到一幅图像区域标记图。就一般情况而言，若如此来划分区域，边界块区域绝大多数分布在清晰区域与模糊区域的交界处，但是由于实际成像等因素的影响，使得个别边界块区域分布在清晰区域和模糊区域中，区域划分不理想。为此，需要进行某些处理之后，再来确定边界区域。

首先对图像块的大小进行选取时，从大量的仿真中可知，图像块不宜选取得太小(相对于整个图像而言)，否则会增加边界块区域在清晰区域和模糊区域中的存在，出现块的错误选取，融合后图像会有明显的块效应；若图像块选取太大，那么边界区域会变大，这会影响图像的融合结果，使得其融合效果不能有较大幅度的提高。图像块的大小一般选取为：32*32、32*16、16*32、16*16。

若整个图像中的任何一个块区域或相连的若干个同类块区域它们的所有相邻块区域均为另一类块区域，那么规定这样的块区域或若干相连同类块区域的类型发生改变，将变成相邻块区域的类型。那么也就是说，只有超过一定个数的相连同类块区域才能构成一类区域，否则将被认为是选取错误的块区域。选取相邻的块区域的个数为不超过3(或5)，超过3(或5)块的相连块区域就被认为是一个区域。这样通过上述处理后，就可得到融合所需的图像区域标记图。

3.块区域的融合处理

在得到图像区域标记图后，可针对不同类型的区域分别进行图像块的融合处理。

对于清晰区域和模糊区域，由于输入原图像在这两个区域是互补的，即图像A的清晰区域对应图像B的模糊区域，反之，图像A的模糊区域对应图像B的清晰区域。在进行融合处理时，直接选取清晰块区域作为融合后的相应块区域。

对于边界区域，在计算图像块区域的局部对比度时的小波分解基础上提出了基于对比度的像素选取融合方法进行处理。

第一步：对边界区域中的每一个像素点，求取其所处的邻域内的低频分量A_Z。

A_{Z} = \frac{1}{n_{Z}} \underset{(m, n) &Element; Z}{Σ} A_{1 f} (m, n) - - - - (5)

其中，n_Z为邻域Z内的像素个数；A_1f(m，n)为(m，n)像素点的低频分量。

第二步：获得(m，n)像素点的对比度。

C_{i} (m, n) = \frac{| D_{1 f} (m, n) | + | D_{2 f} (m, n) | + | D_{3 f} (m, n) |}{A_{Z}}

i＝A或B (6)

其中，D_1f(m，n)、D_2f(m，n)和D_3f(m，n)分别为(m，n)像素点的垂直高频分量、水平高频分量以及对角线高频分量。

第三步：基于对比度进行像素的选取。

其中，F(m，n)为融合后选取的像素值；I_A(m，n)，I_B(m，n)为输入原图像的像素值；X为(m，n)的邻域。

第四步：考虑相邻像素的相关性，对图像中的任一像素，若其相邻的像素均选自另一输入原图像，那么该像素的选取将与相邻像素的选取相同。

图3所示为基于块分割多聚焦图像融合方法与小波变换融合方法及拉普拉斯金字塔融合方法的融合结果对照；表2为相应的融合结果性能评价。

表2：图像融合结果指标评价

P	32*32	32*16	16*32	16*16	LP	DWT
P	32*32	32*16	16*32	16*16	LP	DWT	平均误差	0.6791	0..6776	0.7.051	0.7082	1.8973	2.4380
共有信息	6.3063	6.3245	6.2718	6.2793	3.6716	3.8991	平均误差	0.6791	0..6776	0.7.051	0.7082	1.8973	2.4380

Claims

1、一种基于块分割的多聚焦图像融合方法，其特征在于包括如下具体步骤：

1)在将多聚焦输入原图像分割成若干个大小相等的块区域后，对图像进行非降采样小波分解，获取图像的低频分量、垂直高频分量、水平高频分量以及对角线高频分量，将块区域内各点的高频分量与低频分量之比的绝对值之和求得的平均值作为该区域的局部对比度；

2)通过比较输入图像相对应块区域对比度的大小，将整个图像划分成清晰区域和模糊区域，块区域对比度大的为清晰块区域，对比度小的为模糊块区域，然后再将清晰区域与模糊区域相邻的所有块区域划为边界区域，以此得到图像的三个不同的区域划分，通过限制图像块区域的大小及规定只有超过一定个数的相连同类块区域才能构成一类区域的方法来消除错误选取的图像块区域，得到融合所需的图像区域标记图；

3)进行块区域的融合处理，对于清晰区域和模糊区域，由于输入原图像在这两个区域是互补的，因此直接选取清晰块区域作为融合后的相应块区域，对于边界区域，在计算图像块区域的局部对比度时的小波分解基础上，求取其中每一个像素所处的邻域内的低频分量，以像素点的高频分量与低频分量之比的绝对值之和为像素点的对比度，最后选取输入图像边界区域内相应像素点其邻域内的各点对比度之和较大的像素值为融合后该点的像素值。