CN111724334A - 多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种多聚焦图像融合方法，所述方法包括如下步骤：将DTCWT变换与NSDFB相结合得到M‑DTCWT变换；对多聚焦图像进行M‑DTCWT变换，分解得到低频子带和高频子带；将字典学习DL与模糊逻辑相结合得到ADL方法；对分解后的多聚焦图像的低频子带采取基于自适应字典学习ADL方法的融合策略得到融合后的低频子带；对分解后的多聚焦图像的高频子带采取SML的融合策略得到融合后的高频子带；对融合后的低频子带以及融合后的高频子带进行逆M‑DTCWT变换得到融合图像。所述方法不仅能够实现多聚焦图像的融合，而且融合后的图像视觉效果良好的同时具有丰富的纹理信息和诸多的细节特征。

Description

多聚焦图像融合方法

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种结合多方向DTCWT和自适应字典学习的多聚焦图像融合方法。

背景技术

近几年来，许多学者对多聚焦图像融合方法进行了大量研究，在对图像融合时如何将原始图像低高频信息中所含有的图像细节与纹理整合到融合图像中成为了研究热点与难点。传统的小波变换虽能高效处理和分析一维分段连续信号，但由一维小波通过张量积而形成的二维小波基不满足各向异性的尺度关系，小波变换无法精确地表述图像边缘信息，基于小波变换融合的图像容易产生细节成分模糊现象。双树复小波变换(DTCWT)能同时满足正交、紧支、对称等对信号处理十分重要的特性，被广泛应用于图像融合领域。现有技术之一在DTCWT变换域对低频和高频小波系数采用不同的融合方法，对低频系数采用取平均的方法，而对高频系数采用边缘梯度对比的方法。该方法能够很好保存图像的边缘和细节信息。但DTCWT是对传统的小波的扩展，仍不能解决类似于小波变换无法在方向上精确地表述图像边缘信息的问题。此外另一现有技术还提出了一种非下采样轮廓波变换(nonsubsampled contourlet transform，NSCT)方法，由于同时具有灵活的多分辨率和多方向性表示的优点，相对小波变换来说，能够更好地从多方向上表示图像的边缘信息。然而，NSCT变换中的尺度分解部分会产生大量的冗余数据使得这些融合方法具有较高的时间复杂度。

发明内容

本发明所要解决的技术问题是如何提供一种不仅能够实现多聚焦图像的融合，而且融合后的图像视觉效果良好的同时具有丰富的纹理信息和诸多的细节特征的多聚焦图像融合方法。

为解决上述技术问题，本发明所采取的技术方案是：一种多聚焦图像融合方法，其特征在于包括如下步骤：

将双树复小波DTCWT变换与非下采样滤波器组NSDFB相结合得到多方向双树复小波M-DTCWT变换；

对多聚焦图像进行多方向双树复小波M-DTCWT变换，分解得到多聚焦图像的低频子带和高频子带；

将字典学习DL与模糊逻辑相结合得到自适应字典学习ADL方法；

对分解后的多聚焦图像的低频子带采取基于自适应字典学习ADL方法的融合策略得到融合后的低频子带；

对分解后的多聚焦图像的高频子带采取基于改进拉普拉斯能量和函数SML的融合策略得到融合后的高频子带；

对融合后的低频子带以及融合后的高频子带进行逆多方向双树复小波M-DTCWT变换得到融合图像。

进一步的技术方案在于，得到多方向双树复小波M-DTCWT变换的方法如下：

设双树复小波DTCWT变换的基函数为

则图像f(x,y)的双树复小波DTCWT变换可表示为：

其中，θ∈{±15°,±45°,±75°}，n∈Z²，m为分解尺度，双树复小波DTCWT变换分解后会产生2个低频子带与6个高频子带，在进行下一级的尺度分解时将2个低频子带合并为1个低频子带；

对双树复小波DTCWT变换分解后的高频子带采样NSDFB滤波器组进行多方向分解；将分布在同方向上的奇异点合成为一个系数，也称为方向分解：

式中

为上一级尺度变换系数空间R^M×N的基；

设

为非下采样方向滤波器第l方向子带基函数，其中

为上采样矩阵，结合式(1)与(2)得到第j尺度上的M-DTCWT的变换：

其中0≤k≤2^l,n∈Z²,m∈Z²。

进一步的技术方案在于，得到融合后的低频子带的方法如下：

将分解后得到的低频子带进行8*8分块构建字典样本，对样本训练得到过完备字典D；

对分解后得到的低频子带进行OMP算法的稀疏表示得到稀疏系数X_k(k＝A,B)；

X＝argmin||X||_os.t,||S-DX||₂＜ε (4)

其中，S为源图像，D为过完备字典，X代表稀疏后系数；

通过模糊逻辑算法对稀疏系数X_A,X_B进行自适应融合得到融合稀疏系数X_F：

X_F＝w_A×X_A+w_B×X_B (5)

其中：

w_B＝1-w_A，μ表示稀疏系数X_A的均值，σ²表示稀疏系数X_A的方差；

将融合后的稀疏系数X_F与字典D相乘得到融合后低频子带L_F；

L_F＝X_F×D (6)。

进一步的技术方案在于，得到融合后的高频子带的方法如下：

设图像A和图像B经多方向双树复小波M-DTCWT变换分解后的高频系数分别为

其中c和f分别表示分解的尺度和方向，(x,y)为像素坐标；

计算拉普拉斯能量ML：

计算改进拉普拉斯能量和函数(SML)：

对高频系数采用SML取大规则融合：

其中

为c尺度和f方向上的高频融合系数，即融合后的高频子带。

进一步的技术方案在于，所述方法还包括：通过图像采集设备进行图像采集的步骤。

采用上述技术方案所产生的有益效果在于：所述方法结合了DTCWT冗余度较小优势与NSDFB多方向分解优势，可对图像进行更稀疏的分解。可以自适应选取低频子带的融合系数。显著提高了在此方法的基础上对多聚焦图像的融合效果，不仅能够实现多聚焦图像的融合，而且融合后的图像视觉效果良好的同时具有丰富的纹理信息和诸多的细节特征

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2是本发明实施例中M-DTCWT的分解图；

图3是本发明实施例中融合框架图；

图4a-图4h为本发明实施例中待融合的多聚焦图；

图5a-图5d为通过所述方法进行融合后的效果图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1所述，本发明实施例公开了一种多聚焦图像融合方法，包括如下步骤：

S101：将双树复小波DTCWT变换与非下采样滤波器组NSDFB相结合得到多方向双树复小波M-DTCWT变换；

S102：对多聚焦图像进行多方向双树复小波M-DTCWT变换，分解得到多聚焦图像的低频子带和高频子带；

S103：将字典学习DL与模糊逻辑相结合得到自适应字典学习ADL方法；

S104：对分解后的多聚焦图像的低频子带采取基于自适应字典学习ADL方法的融合策略得到融合后的低频子带；

S105：对分解后的多聚焦图像的高频子带采取基于改进拉普拉斯能量和函数SML的融合策略得到融合后的高频子带；

S106：对融合后的低频子带以及融合后的高频子带进行逆多方向双树复小波M-DTCWT变换得到融合图像。

下面结合具体内容对上述步骤进行说明：

1)对待融合图像进行多方向双树复小波M-DTCWT分解：

其中，图2是M-DTCWT分解原理图，根据图2首先对图像进行多尺度的DTCWT分解。

设双树复小波DTCWT变换的基函数为

则图像f(x,y)的双树复小波DTCWT变换可表示为：

其中，θ∈{±15°,±45°,±75°}，n∈Z²，m为分解尺度。DTCWT分解后会产生2个低频子带与6个高频子带，在进行下一级的尺度分解时一般将2个低频子带合并为1个低频子带，有利于下一级的尺度分解。

其次对双树复小波DTCWT变换后的高频子带采样NSDFB滤波器组进行多方向分解。NSDFB滤波器组是在等效易位原理的基础上，利用互补扇形滤波器作为基本模块的非下采样方向滤波器组。将分布在同方向上的奇异点合成为一个系数，也称为方向分解。

式中

为上一级尺度变换系数空间R^M×N的基。

设

为非下采样方向滤波器第l方向子带基函数，其中

为上采样矩阵，结合式(1)与(2)得到第j尺度上的M-DTCWT的变换：

其中0≤k≤2^l,n∈Z²,m∈Z²。

2)确定低频融合系数(得到融合后的低频子带)：

图3为所述方法的融合框架，首先对低频系数进行融合。

第一步：将分解后得到的低频子带进行8*8分块构建字典样本，对样本训练得到过完备字典D。此外，由于稀疏表示中的字典D决定了源信号稀疏分解后系数的稀疏性，因此本步骤利用源图像低频子带的分块样本训练获得过完备字典，此字典具有较强的适应性。

第二步：对分解后得到的低频子带进行OMP算法的稀疏表示得到稀疏系数X_k(k＝A,B)；

X＝argmin||X||_os.t,||S-DX||₂＜ε (4)

其中，i为源图像，D为过完备字典，X代表稀疏后系数。

第三步：通过模糊逻辑算法对稀疏系数X_A,X_B进行自适应融合得到融合稀疏系数X_F：

X_F＝w_A×X_A+w_B×X_B (5)

其中：

w_B＝1-w_A，μ表示稀疏系数X_A的均值，σ²表示稀疏系数X_A的方差；

第四步：将融合后的稀疏系数X_F与字典D相乘得到融合后低频子带L_F。

L_F＝X_F×D (6)

3)确定高频融合系数(得到融合后的高频子带)：

根据图3融合框架，对高频系数进行融合。

设图像A和图像B经M-DTCWT分解后的高频系数分别为

和

其中c和f分别表示分解的尺度和方向，(i,j)为像素坐标。

第一步：计算拉普拉斯能量(ML)。

第二步：计算改进拉普拉斯能量和函数(SML)。

第三步：对高频系数采用SML取大规则融合。

其中

为c尺度和f方向上的高频融合系数，即融合后的高频子带。

4)确定融合图像

对低频融合系数L_F和高频融合系数

进行逆M-DTCWT得到最终融合图像O_F。

图4a-图4h为三组多聚焦图像测试数据，其中图4a、图4c、图4e、图4g为右聚焦图，图4b、图4d、图4f、图4h为左聚焦图，图5a-图5d显示了通过此方法对图像进行融合的效果。由此可以看出，经此方法进行融合后的多聚焦图像，视觉效果良好消除了单一聚焦下的模糊现象将两幅原始图像的信息有效的结合到了一副图像中，同时具有两幅图像的纹理信息和诸多的细节特征。

Claims (5)

1.一种多聚焦图像融合方法，其特征在于包括如下步骤：

将双树复小波DTCWT变换与非下采样滤波器组NSDFB相结合得到多方向双树复小波M-DTCWT变换；

对多聚焦图像进行多方向双树复小波M-DTCWT变换，分解得到多聚焦图像的低频子带和高频子带；

将字典学习DL与模糊逻辑相结合得到自适应字典学习ADL方法；

对分解后的多聚焦图像的低频子带采取基于自适应字典学习ADL方法的融合策略得到融合后的低频子带；

对分解后的多聚焦图像的高频子带采取基于改进拉普拉斯能量和函数SML的融合策略得到融合后的高频子带；

对融合后的低频子带以及融合后的高频子带进行逆多方向双树复小波M-DTCWT变换得到融合图像。

2.如权利与要求1所述的多聚焦图像融合方法，其特征在于，得到多方向双树复小波M-DTCWT变换的方法如下：

设双树复小波DTCWT变换的基函数为

则图像f(x,y)的双树复小波DTCWT变换可表示为：

其中，θ∈{±15°,±45°,±75°}，n∈Z²，m为分解尺度，双树复小波DTCWT变换分解后会产生2个低频子带与6个高频子带，在进行下一级的尺度分解时将2个低频子带合并为1个低频子带；

对双树复小波DTCWT变换分解后的高频子带采样NSDFB滤波器组进行多方向分解；将分布在同方向上的奇异点合成为一个系数，也称为方向分解：

式中

为上一级尺度变换系数空间R^M×N的基；

设

为非下采样方向滤波器第l方向子带基函数，其中

为上采样矩阵，结合式(1)与(2)得到第j尺度上的M-DTCWT的变换：

其中0≤k≤2^l,n∈Z²,m∈Z²。

3.如权利与要求1所述的多聚焦图像融合方法，其特征在于，得到融合后的低频子带的方法如下：

将分解后得到的低频子带进行8*8分块构建字典样本，对样本训练得到过完备字典D；

对分解后得到的低频子带进行OMP算法的稀疏表示得到稀疏系数X_k(k＝A,B)；

X＝argmin||X||_os.t,||S-DX||₂＜ε (4)

其中，S为源图像，D为过完备字典，X代表稀疏后系数；

通过模糊逻辑算法对稀疏系数X_A,X_B进行自适应融合得到融合稀疏系数X_F：

X_F＝w_A×X_A+w_B×X_B (5)

其中：

w_B＝1-w_A，μ表示稀疏系数X_A的均值，σ²表示稀疏系数X_A的方差；

将融合后的稀疏系数X_F与字典D相乘得到融合后低频子带L_F；

L_F＝X_F×D (6)。

4.如权利与要求1所述的多聚焦图像融合方法，其特征在于，得到融合后的高频子带的方法如下：

设图像A和图像B经多方向双树复小波M-DTCWT变换分解后的高频系数分别为

其中c和f分别表示分解的尺度和方向，(x,y)为像素坐标；

计算拉普拉斯能量ML：

计算改进拉普拉斯能量和函数(SML)：

对高频系数采用SML取大规则融合：

其中

为c尺度和f方向上的高频融合系数，即融合后的高频子带。

5.如权利要求1所述的多聚焦图像融合方法，其特征在于，所述方法还包括：

通过图像采集设备进行图像采集的步骤。

Images