CN106971383A - 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 - Google Patents

Abstract

本发明请求保护一种基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，涉及数字图像处理、机器视觉的技术领域。具体步骤为：1)对需要融合的多幅图像进行分块处理，得到r个m×n的图像块；2)分别对每个图像块归一化，再分别对归一化后的块进行离散Tchebichef多项式变换，得到对应的离散Tchebichef多项式变换系数；3)以高阶变换系数的能量和低阶变换系数的能量的比值作为聚焦评价函数，根据聚焦评价值最大的融合规则融合多幅输入图像；4)将融合后的图像进行一致性验证，得到最终融合后的图像。本方法建立了图像离散Tchebichef多项式变换系数与图像聚焦程度的联系，在节省融合时间的同时，有效地提高了图像的融合效果。

Description

基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融 合方法

技术领域

本发明涉及数字图像处理、机器视觉的技术领域，具体是一种基于离散Tchebichef多项式变换系数和聚焦评价的多聚焦图像融合方法。

背景技术

图像是人类社会中常用的信息载体。研究表明，人类获取的视觉图像信息 在人类接受的信息中的比重近80％。由此可见，视觉信息对于人类的重要性， 而图像正是人类获取视觉信息的主要途径。从20世纪60年代起，随着计算机 技术的不断提高和普及，数字图像处理在国内外迅速发展，广泛用于科学研究、 工农业生产、生物医学工程、航空航天、军事、工业、机器人产业等领域，在 人类的生活中发挥着越来越重要的作用。

所谓数字图像处理就是利用数字计算机或者其他数字硬件，将图像信号转 换成数字信号并利用计算机对其进行处理，以提高图像的实用性，满足人的视 觉心理和应用需求。总的来说，数字图像处理主要包括：(1)图像变换；(2) 图像压缩编码：(3)图像增强和复原；(4)图像分割；(5)图像融合等。在实 际应用中，根据不同的情况采取相应的措施以满足人类的视觉需求。

图像融合是图像处理中的一个热点研究领域，其目的是分析每幅待融合图 像的特征，采用合适的融合策略对这些特征进行融合，最终得到更符合人或计 算机视觉，而且更适合进一步图像处理需要的图像。多聚焦图像融合是把多次 拍摄得到的分别对不同目标聚焦的多幅图像进行融合，从而得到各个目标都清 晰的一幅图像。多聚焦图像融合能有效提高图像信息的利用率和系统对目标探 测识别的可靠性。

本发明所提出的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像 融合方法，通过分析图像高频和低频信息与多项式变换系数的相关性，建立起 离散Tchebichef多项式变换系数与图像聚焦程度之间的联系，首次将离散 Tchebichef多项式变换系数作为图像块聚焦程度评价应用到多聚焦图像融合中 来，是离散Tchebichef变换在图像处理领域应用的突破和创新。结果表明相较 于用灰度值方差函数，图像梯度二阶导数，图像拉普拉斯变换的能量系数等传 统的图像聚焦评价函数作多聚焦图像融合，本发明提出的方法对图像聚焦程度 的评价非常准确，高斯噪声和椒盐噪声等环境下也表现出足够的鲁棒性，可以 在多聚焦图像融合中取得理想的效果。另外，本发明提出的图像块的聚焦评价 方法只需要计算其离散Tchebichef多项式变换的低阶变换系数，为多聚焦图像 融合的过程节省了时间。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高融合效果、节省了融 合时间的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法。 本发明的技术方案如下：

一种基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法， 其包括以下步骤：

1)对待融合的多幅图像进行均匀分块处理，得到r个m×n的图像块，r表 示图像块的个数，m表示图像块的宽，n表示图像块的高；2)分别对每个图 像块归一化，再分别对归一化后的图像块进行离散Tchebichef多项式变换， 得到对应的离散Tchebichef多项式变换系数；3)以高阶变换系数的能量和 低阶变换系数的能量的比值作为聚焦评价函数，根据聚焦评价值最大的融合 规则融合多幅输入图像；4)将融合后的图像进行一致性验证，得到最终融 合后的图像。

进一步的，所述步骤2)中分别对每个图像块归一化的步骤为：f_k代表归一 化后的图像块函数，x表示函数的横坐标，y表示函数的纵坐标，m表示图像块 的宽，n表示图像块的高，k表示第k个图像块，r表示图像分块的个数。

对于图像块f_k(x,y)，x≤m，y≤n，k≤r，其归一化定义为：

进一步的，上述步骤2)中根据离散Tchebichef多项式变换，得到图像中每 个块对应的Tchebichef变换系数具体包括：

离散Tchebichef多项式变换公式如下：

其中，为m×n待融合的归一化后的图像块，T_s,t为离散Tchebichef多项式 变换系数；C_s为离散Tchebichef多项式行变换矩阵，大小为s×m，每一行为某 一阶数的离散Tchebichef多项式表示，共s阶；C_t为离散Tchebichef多项式列变 换矩阵，大小为n×t，每一列为某一阶数的离散Tchebichef多项式表示，共t阶； 离散Tchebichef多项式变换的逆变换公式如下，其中C'为C的转置：

f＝C_s'*T_s,t*C_t' (3)

进一步的，当离散Tchebichef多项式变换矩阵为典型的8×8矩阵时，离散Tchebichef多项式变换矩阵系数如下：

进一步的，所述步骤3)中以高阶变换系数的能量和低阶变换系数的能量的 比值作为聚焦评价函数，根据聚焦评价值最大的融合规则融合多幅输入图像的 步骤包括：经过离散Tchebichef多项式变换后的矩阵定义为 高阶变换系数与低阶变换系数的定义为：

其中‘\’代表从中除去剩下的部分，聚焦评价函数定义为

其中||F||＝F₁ ²+F₂ ²+…+F_n ²代表能量，根据高阶变换系数与低阶变换系数的关系，以 及帕斯瓦尔定理，聚焦评价函数简化为：

进一步的，所述步骤4)中融合后的图像进行一致性验证采用的是多数筛选 法，即如果合成图像中的某个像素来自于图像A,而这个像素邻域内的其他像 素来自于图像B的居多，则将其修正为来自图像B，邻域可以选用d×d的模 板，其中d>1；包括步骤：将对应图像块的聚焦评价函数值进行比较，创建 一个决策图w记录特征比较结果；

采用一个d×d的滤波器获得最终的决策图R:

最后，根据决策图R进行融合。

本发明的优点及有益效果如下：

本发明通过分析图像的高频信息和低频信息与离散Tchebichef多项式变换 系数的相关性，结合多聚焦图像融合算法，提出基于离散Tchebichef多项式变 换和聚焦评价的多聚焦图像融合方法，步骤如下：1)对需要融合的多幅图像 进行分块处理，得到r个m×n的图像块；2)分别对每个图像块归一化，再分别 对归一化后的块进行离散Tchebichef多项式变换，得到对应的离散Tchebichef 多项式变换系数；3)以高阶变换系数的能量和低阶变换系数的能量的比值作为 聚焦评价函数，根据聚焦评价值最大的融合规则融合多幅输入图像；4)将融合 后的图像进行一致性验证，得到最终融合后的图像。

实际应用中，本发明在步骤2中只需要计算图像块的离散Tchebichef多项 式变换的低阶系数。根据低阶系数和高阶系数的关系，在步骤3中，直接通过 低阶系数得到聚焦评价函数，为多聚焦图像融合的过程节省了时间。图像块的 离散Tchebichef变换低频系数与高频噪声相关性非常低，可以在噪声环境下表 现出良好的鲁棒性。步骤4中的一致性验证可以进一步提升融合效果。相较于 传统的图像评价函数，本发明提出的基于离散Tchebichef变换的图像聚焦评价 方法对图像聚焦程度的评价非常准确，对不同的聚焦程度表现出良好的区分度。 结果表明，本发明提出的方法应用于多聚焦图像融合中可以得到理想的效果。

附图说明

图1是本发明提供优选实施例融合方案的流程图；

图2是待融合图像组1；

图3是融合图像组1后的图像；

图4是待融合图像组2；

图5是融合图像组2后的图像；

图6是M＝N＝50，核函数Φ_2,2图像；

图7是M＝N＝50，核函数Φ_10,10图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

下面结合附图对本发明的技术方案进行详细说明：

如图1所示，一种基于离散Tchebichef多项式变换和聚焦评价的多聚焦图 像融合方法，包括如下步骤：

第一步：首先将需要融合的多幅图像进行分块处理并按公式归一化，得到r 个m×n的图像块，通常可选择8×8或4×4；

第二步：对每个图像块分别进行离散Tchebichef多项式变换，得到对应的 离散Tchebichef多项式变换系数，记变换系数的坐标为(i,j)，其中 i+j≤p(s+t-2≥p≥1)的变换系数为低阶变换系数，其余的为高阶变换系数；

第三步：通过快速计算公式，以离散Tchebichef多项式变换系数来计算聚 焦评价函数M_T，然后比较多幅输入的多聚焦图像对应的图像块的M_T值大小， 根据M_T值最大的融合原则融合多幅输入图像；

第四步：将融合后的图像进行一致性验证，消除块效应，最后得到融合后 的图像。

为了验证本发明的效果，进行了如下实验：

在一台计算机上进行验证实验，该计算机的配置为i5处理器(3GHz)和16G 内存，平台为MATLAB 2014b。

实验方法：

在本实验过程中，所选用的图像是柯达图像数据库中的图像，待融合的2 幅图像分别为同一场景下不同部位聚焦的图像。通过本发明提出的基于离散 Tchebichef多项式变换和聚焦评价的图像融合方法，对2幅多聚焦图像进行融合， 得到最后的融合后的清晰图像。

图2：待融合的图像组1(左边图像为豹脚部聚焦而头部、身体散焦图像， 右图为脚部散焦而头部、身体聚焦图像)：

图3为融合后的图像：

图4：待融合的图像组2(其中左图右半部热气球聚焦，左侧热气球散焦， 有图左侧热气球聚焦，右半部热气球散焦)：

图5为融合图像组2后的图像：

图像的聚焦程度M_T与离散Tchebichef多项式变换系数之间关系的详细说明

对于大小为M×N图像灰度函数f(x,y)，其(m+n)阶离散Tchebichef多项式变 换系数的定义如下：

其中为归一化的离散Tchebichef多项式。

相关性是函数之间相似性的度量，两个离散空间函数r(x,y)和s(x,y)定义如 下：

其中*代表共轭转置。

如果让

然后有

T_m,n可以理解为图像f(x,y)和变换核函数之间的关系。换句话说，离散Tchebichef多项式变换系数就是图像和对应的变换核函数之间相关性的度 量。定义下面是其在m＝n＝2时和m＝n＝10的图像：

图6为M＝N＝50，核函数Φ_2,2图像

图7为M＝N＝50，核函数Φ_10,10图像

从图6中可以看出，变换核函数Φ_2,2的曲线变化平缓，所以T_2,2是图像低频信息 的度量。从图7中可以看出，变换核函数Φ_10,10的曲线变化剧烈，所以T_10,10体现的 是图像相对高频信息的度量。

实际中，对于两个图像块f₁(x,y)和f₂(x,y)，如果f₂(x,y)的模糊程度大于 f₁(x,y)，那么

于是

由此可见，由图像块的离散Tchebichef多项式变换系数得到图像块的聚焦评价，进而实现多聚焦图像融合是客观而有效的。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，包括以下步骤：

1)对待融合的多幅图像进行均匀分块处理，得到r个m×n的图像块，r表示图像块的个数，m表示图像块的宽，n表示图像块的高；2)分别对每个图像块归一化，再分别对归一化后的图像块进行离散Tchebichef多项式变换，得到对应的离散Tchebichef多项式变换系数；3)以高阶变换系数的能量和低阶变换系数的能量的比值作为聚焦评价函数，根据聚焦评价值最大的融合规则融合多幅输入图像；4)将融合后的图像进行一致性验证，得到最终融合后的图像。

2.根据权利要求1所述的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，所述步骤2)中分别对每个图像块归一化的步骤为：f_k代表归一化后的图像块函数，x表示函数的横坐标，y表示函数的纵坐标，m表示图像块的宽，n表示图像块的高，k表示第k个图像块，r表示图像分块的个数，

对于图像块f_k(x,y)，x≤m，y≤n，k≤r，其归一化定义为：

${\tilde{f}}_k(x,y)=\frac{f_k(x,y)}{\sqrt{{\Σ}_{x=0}^{m-1}{\Σ}_{y=0}^{n-1}{\[f_k(x,y)\]}^2}}---\left(1\right).$

3.根据权利要求2所述的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，上述步骤2)中根据离散Tchebichef多项式变换，得到图像中每个块对应的Tchebichef变换系数具体包括：

离散Tchebichef多项式变换公式如下：

$T_{s,t}=T(\tilde{f};m,n)=C_s*\tilde{f}*C_t---\left(2\right)$

其中，为m×n待融合的归一化后的图像块，T_s,t为离散Tchebichef多项式变换系数；C_s为离散Tchebichef多项式行变换矩阵，大小为s×m，每一行为某一阶数的离散Tchebichef多项式表示，共s阶；C_t为离散Tchebichef多项式列变换矩阵，大小为n×t，每一列为某一阶数的离散Tchebichef多项式表示，共t阶；离散Tchebichef多项式变换的逆变换公式如下，其中C'为C的转置：

f＝C_s'*T_s,t*C_t' (3)。

4.根据权利要求3所述的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，当离散Tchebichef多项式变换矩阵为典型的8×8矩阵时，离散Tchebichef多项式变换矩阵系数如下：

$C=\left[\begin{array}{cccccccc}0.3536& 0.3536& 0.3536& 0.3536& 0.3536& 0.3536& 0.3536& 0.3536\\ -0.5401& -0.3858& -0.2315& -0.0772& 0.0772& 0.2315& 0.3858& 0.5401\\ 0.5401& 0.0772& -0.2315& -0.3858& -0.3835& -0.2315& 0.0772& 0.5401\\ -0.4308& 0.3077& 0.4308& 0.1846& -0.1846& -0.4308& -0.3077& 0.4308\\ 0.2820& -0.5238& -0.1209& 0.3626& 0.3626& -0.1209& -0.5238& 0.2820\\ -0.1498& 0.4922& -0.3638& -0.3210& 0.3210& 0.3638& -0.4922& 0.1498\\ 0.0615& -0.3077& 0.5539& -0.3077& -0.3077& 0.5539& -0.3077& 0.0615\\ -0.0171& 0.1195& -0.3585& 0.5974& -0.5974& 0.3585& -0.1195& 0.0171\end{array}\right].$

5.根据权利要求3所述的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，所述步骤3)中以高阶变换系数的能量和低阶变换系数的能量的比值作为聚焦评价函数，根据聚焦评价值最大的融合规则融合多幅输入图像的步骤包括：经过离散Tchebichef多项式变换后的矩阵定义为高阶变换系数与低阶变换系数的定义为：

$\begin{array}{c}L(\tilde{f};p)=\left\{T_{i,j}\right|i+j\≤p\},\\ H(\tilde{f};p)=T\left(\tilde{f}\right)\backslash L(\tilde{f};p),s+t-2\≥p\≥1\end{array}---\left(4\right)$

其中‘\’代表从中除去剩下的部分，聚焦评价函数定义为

$M_T=\frac{\left|\right|H(\tilde{f};p)\left|\right|}{\left|\right|L(\tilde{f};p)\left|\right|}---\left(5\right)$

其中代表能量，根据高阶变换系数与低阶变换系数的关系，以及帕斯瓦尔定理，聚焦评价函数简化为：

$M_T=\frac{\left|\right|\tilde{f}\left|\right|-\left|\right|L(\tilde{f};p)\left|\right|}{\left|\right|L(\tilde{f};p)\left|\right|}=\frac{1-\left|\right|L(\tilde{f};p)\left|\right|}{\left|\right|L(\tilde{f};p)\left|\right|}---\left(6\right).$

6.根据权利要求1-5之一所述的基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法，其特征在于，所述步骤4)中融合后的图像进行一致性验证采用的是多数筛选法，即如果合成图像中的某个像素来自于图像A,而这个像素邻域内的其他像素来自于图像B的居多，则将其修正为来自图像B，邻域可以选用d×d的模板，其中d>1；包括步骤：将对应图像块的聚焦评价函数值进行比较，创建一个决策图w记录特征比较结果；

采用一个d×d的滤波器获得最终的决策图R:

最后，根据决策图R进行融合。