CN110443775A

CN110443775A - 基于卷积神经网络的离散小波变换域多聚焦图像融合方法

Info

Publication number: CN110443775A
Application number: CN201910534050.0A
Authority: CN
Inventors: 李雄飞; 于爽; 张小利; 张维轩; 王泽宇
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2019-11-12
Anticipated expiration: 2039-06-20
Also published as: CN110443775B

Abstract

本发明属于多聚焦图像融合技术领域，具体涉及基于卷积神经网络的离散小波变换域多聚焦图像融合方法；该方法包括以下步骤：首先，使用离散小波变换将每个源图像分解为一个低频子带和多个高频子带；第二，将它们输入到不同的卷积神经网络中，以便获得不同的权重图；第三，通过执行一系列处理后重新定义决策图；第四，根据它们的决策图，将频率子带分别融合；最后，通过逆DWT获得融合图像；是一种能够将多聚焦图像融合在一起，获得“全焦点”图像的融合方法，解决了多聚焦图像融合的问题，其融合效果优于传统融合方法，适应性更强，可以高效率的融合多聚焦图像。

Description

基于卷积神经网络的离散小波变换域多聚焦图像融合方法

技术领域

本发明属于多聚焦图像融合技术领域，具体涉及基于卷积神经网络的离散小波变换域多聚焦图像融合方法。

背景技术

由于镜头的景深有限，因此很难获得所有物体都“聚焦”的图像。这种现象可能会对人类观察和进一步的图像处理造成负面影响。当数码设备关聚焦于同一场景中的不同目标时，我们可以获得一组清晰区域的分布不同的图像。这些图像称为多聚焦图像。一种获得“全焦点”图像的方式是多聚焦图像融合。

多聚焦图像融合是图像融合的重要分支，已广泛应用于医学图像处理、遥感和目标检测等各个领域。现今，已有的各种算法大致可以分为以下两类：

第一类是基于空域的方法：这类方法通常从空域中的源图像中选择聚焦图像部分以构建融合图像。就这种方法而言，最简单的模型是将源图像取平均，但是这种模型可能会导致边界效应。为了解决这个问题，已经提出了一些基于区域的方法，其中源图像被分割成块，并且每组块使用基于清晰度度量的方法进行融合。如果图像块部分聚焦同时部分散焦，则使用传统算法在融合图像中获得聚焦区域几乎是不可能的。此外，融合图像的效果与块的大小相关。该领域的另一种经典方法是检测聚焦区域，将这些区域组合成融合图像。这些方法的优点在于可以成功地挑选出聚焦区域内的像素作为融合图像的像素。但是，由于无法准确地辨别聚焦区域的边界，因此可能导致融合图像聚焦区域中的边界存在模糊的现象。另外，由于源图像类型的限制，基于空间域的方法在融合颜色和纹理图像方面表现不佳。

另一类是基于变换域的方法。在这些算法中，通常有三个步骤：图像分解、系数融合和图像重建。多尺度变换(MST)是此类别中非常流行的方法，MST中有许多经典方法，如拉普拉斯金字塔，离散小波变换(DWT)，抽取采样滤波器(FSD)层次金字塔，双树复小波变换(DTCWT)，和非下采样轮廓波变换(NSCT)。这些方法可以克服空间域方法难以克服的伪影和边界效应的问题。然而，MST中的这些方法具有一些缺点，例如，它们对传感器噪声敏感并且缺乏方向感。

尽管基于变换域的方法不受源图像类型的限制，但它需要人工设计的融合规则。就现有方法而言，每个融合规则都有一定的局限性。这些规则根据某些指标选择系数，但每个指标都有其重点和局限性。因此，融合图像的质量主要受到无法很好地选择融合系数的限制。如果有方法可以自适应地选择特征和融合规则，则一定会对提高融合图像的质量产生积极影响。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，利用了卷积神经网络(简称CNN)的端到端方法，是一种能够将多聚焦图像融合在一起，获得“全焦点”图像的融合方法，解决了多聚焦图像融合的问题，其融合效果优于传统融合方法，适应性更强，可以高效率的融合多聚焦图像。

基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，包括以下步骤：

步骤一，使用离散小波变换将每个源图像分解为一个低频子带和多个高频子带；

步骤二，基于卷积神经网络的性质，构建一种卷积神经网络，该网络分为两个分支，网络的输入是一对频率子带，输出为概率分布；

利用ImageNet中的Pen类图像对构建的卷积神经网络进行训练，首先将Pen类图像分割成块后应用高斯模糊，使每个图像块都有对应的清晰块和模糊块，再将得到的清晰块和模糊块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-High网络模型和CNN-Low网络模型；

再将源图像的高频子带数据代入得到的CNN-High网络模型，得到关于源图像的高频子带权重图；

同理，将源图像的低频子带数据代入得到的CNN-Low网络模型，得到关于源图像的低频子带权重图；

步骤三，在步骤二得到的权重图上通过修正的拉普拉斯和算法即SML算法运算获得决策图，得到对应子带的决策图；

步骤四，根据决策图，将不同频率子带分别融合，得到融合子带FS_k(k＝{LL，LH，HL，HH})；

其中FS为融合子带，k是一个参数，对应的是各个频率的融合子带，当k＝LL时，FS_k就是指低频的融合子带，当k＝LH时，FS_k就是指横向为低频、纵向为高频的融合子带，当k＝HL时，FS_k就是指横向为高频、纵向为低频的融合子带，当k＝HH时，FS_k就是指横向为高频、纵向为高频的融合子带；

步骤五，通过逆离散小波变换对融合子带FS_k(k＝{LL，LH，HL，HH})进行重构，获得融合图像F。

所述步骤一中，使用2维离散小波变换的如下分解公式将不同的源图像分别分解为一个低频子带和3个高频子带：

其中，I代表源图像，I_LL表示源图像的低频子带，I_LH表示源图像的横向为低频、纵向为高频的子带，I_HL表示源图像的横向为高频、纵向为低频的子带，I_HH表示源图像的横向和纵向均为高频的子带，M、N代表图像尺寸的宽和长，(m，n)表示各子带中像素的空间坐标，H、D、V分别代表源图像水平、垂直和对角线所在的方向；(x，y)为小波函数中的不同尺度和不同位置，为小波基底，分别代表源图像水平方向H、对角线方向V和垂直方向D的不同尺度、不同位置的小波函数。

所述的步骤二中构建一种卷积神经网络，其构建过程为：

网络分为两个分支，网络的输入是一对频率子带，用{P_A，P_B}表示，P_A为源图像A的频率子带，P_B为源图像B的频率子带，将P_A和P_B分别输入网络的两个分支中；

网络中每个分支的第一层均由96个卷积核组成，每个卷积核的大小被设计为11*11，步长为4；

P_A和P_B分别经过了两个分支的第一层卷积后，再分别经过两个分支的第二层卷积，两个分支的第二层均由256个卷积核组成，每个卷积核的大小被设计为5*5，步长为4；

P_A和P_B分别经过了两个分支的第二层卷积后，再分别经过两个分支的第三层卷积，两个分支第三层均由256个卷积核组成，每个卷积核的大小被设计为2*2，步长为2；

P_A和P_B分别经过了两个分支的第三层卷积后，再分别经过两个分支的第四层卷积，两个分支第四层均由384个卷积核组成，每个卷积核的大小被设计为3*3，步长为2；

P_A和P_B分别经过两个分支的第四层卷积后，第五层作为连接层，将网络的两个分支合并；

第六层是全连接层，将前一层的数据输出转换为256维特征向量，目的是提取图像特征；

在第六层和第七层之间，利用dropout机制避免过拟合，阈值设置为0.5；

第七层也是全连接层，充当分类器，最后将图像块分为两类，输出为概率分布，即将P_A和P_B以概率分布的形式进行分类；

每个分支中的每层数据输出都由ReLU激活函数处理；

在每个分支的第二层和第四层均使用填充技术填充像素点，每个分支第二层的像素点填充大小设置为2，每个分支第四层的像素点填充大小设置为1；

由于构建的卷积神经网络为端到端的结构，输出结果即为输入参数的权重图。

所述步骤三中，采用SML算法计算决策图的公式如下：

其中，TH₁为小于0.5的阈值，将S(x，y)函数定义如下：

ML_D(m，n)＝|2D(m，n)-D(m-step，n)-D(m+step，n)|+

|2D(m，n)-D(m，n-step)-D(m，n+step)|

其中DM_k(m，n)是指频率子带k在(m，n)处的决策图，W_k是指频率子带k的权重图，A_k(m，n)指源图像A的对应频率子带在坐标(m，n)处的像素点，B_k(m，n)指源图像B的对应频率子带在坐标(m，n)处的像素点，S(A_k(m，n)，B_k(m，n))是指根据源图像A和源图像B生成的决策图，是指对源图像A对应频率子带的权重图应用SML算法的结果，是指对源图像B对应频率子带的权重图应用SML算法的结果，D指的是被SML处理的图像，即源图像A或源图像B；

P和Q均为参数，用于计算测量的窗口大小，窗口大小计算公式为：(2P+1)×(2Q+1)；

p和q都是变量；

SML_D(m，n)表示图像D中位于(m，n)处的SML值；ML_D(m，n)表示图像D中(m，n)处修改后的拉普拉斯值即ML值；在本文中，步长step总是等于1。

所述步骤四中，根据决策图，对不同频率子带分别融合，以得到融合好的融合子带，该步骤中融合使用的公式为：

FS_k＝A_k×DM_k+B_k×(1-DM_k)k＝{LL，LH，HL，HH}

其中k是一个参数，对应的是各个频率的融合子带。

当k＝LL时，FS_k就是指低频的融合子带，A_k是指源图像A的低频子带，B_k是指源图像B的低频子带，DM_k是指低频子带的决策图；

当k＝LH时，FS_k就是指横向为低频、纵向为高频的融合子带，A_k是指源图像A的横向为低频、纵向为高频的子带，B_k是指源图像B的横向为低频、纵向为高频的子带，DM_k是指横向为低频、纵向为高频的子带的决策图；

当k＝HL时，FS_k就是指横向为高频、纵向为低频的融合子带，A_k是指源图像A的横向为高频、纵向为低频的子带，B_k是指源图像B的横向为高频、纵向为低频的子带，DM_k是指横向为高频、纵向为低频的子带的决策图；

当k＝HH时，FS_k就是指横向为高频、纵向为高频的融合子带；A_k是指源图像A的横向为高频、纵向为高频的子带，B_k是指源图像B的横向为高频、纵向为高频的子带，DM_k是指横向为高频、纵向为高频的子带的决策图。

所述步骤五中，利用逆离散小波变换，对步骤四得到的融合后的融合频率子带FS_k(k＝{LL，LH，HL，HH})进行重构，得到融合图像F，其中重构公式如下所示：

其中，F(x，y)为(x，y)处的融合图像结果，FS_LL指低频的融合子带，FS_LH指横向为低频、纵向为高频的融合子带，FS_HL指横向为高频、纵向为低频的融合子带，FS_HH指横向为高频、纵向为高频的融合子带。

本发明的有益效果：

(1)通过一种在DWT域中使用CNN的新型多聚焦图像融合算法获得了更清晰的融合图像。

(2)设计了一种用于融合的CNN的新结构，减轻了人为设计参数的负担。

(3)用SML算法用于校正决策图，使得决策图更加准确。

(4)本方法能够较好地处理多聚焦图像，可以将聚焦区域不同的照片融合成全聚焦图像，并且可以在融合图像中保留更多边缘和细节信息。

附图说明

图1是本发明的流程图。

图2是本发明实施例中构建的卷积神经网络的网络模型结构。

图3是本发明实施例中示例图像所产生的低频子带的决策图DM_LL。

图4是本发明实施例中示例图像所产生的横向为低频、纵向为高频子带的决策图DM_LH。

图5是本发明实施例中示例图像所产生的横向为高频、纵向为低频子带的决策图DM_HL。

图6是本发明实施例中示例图像所产生的横向为高频、纵向为高频子带的决策图DM_HH。

图7是本发明实施例中的源图像A。

图8是本发明实施例中的源图像B。

图9是本发明实施例中得到的融合图像F。

具体实施方式

实施例1

基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，所采用的技术方案包括如下步骤：如图1所示，

步骤一，使用离散小波变换将源图像A和源图像B分别分解为一个低频子带和3个高频子带，即：

源图像和源图像

其中，LL表示低频子带，LH表示横向为低频、纵向为高频的子带，HL表示横向为高频、纵向为低频的子带，HH表示横向为高频、纵向为高频的子带，A_LL和B_LL分别为源图像A的低频子带和源图像B的低频子带，A_LH表示源图像A的横向为低频、纵向为高频的子带，A_HL表示源图像A的横向为高频、纵向为低频的子带，A_HH表示源图像A的横向为高频、纵向为高频的子带，B_LH表示源图像B的横向为低频、纵向为高频的子带，B_HL表示源图像B的横向为高频、纵向为低频的子带，B_HH表示源图像B的横向为高频、纵向为高频的子带，DWT是离散小波变换的简称；

步骤二，基于卷积神经网络的性质，构造一种卷积神经网络，如图2所示，该网络分为两个分支，网络的输入是一对频率子带，输出为概率分布；

利用ImageNet中的Pen类图像对构建的卷积神经网络进行训练，首先将Pen类图像分割成块后应用高斯模糊，使每个图像块都有对应的清晰块和模糊块，再将两个图像块的清晰块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-High网络模型，再将两个图像块的模糊块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-Low网络模型；

具体地说：

将A_LL和B_LL分别输入到CNN-Low中，分别得到A_LL的权重图和B_LL的权重图

将A_LH，A_HL，A_HH，B_LH，B_HL和B_HH分别输入到网络模型CNN-High中，分别得到A_LH的权重图A_HL的权重图A_HH的权重图B_LH的权重图B_HL的权重图和B_HH的权重图

步骤三，将源图像A和源图像B对应子带的权重图通过修正的拉普拉斯和算法即SML算法运算，得到对应子带的决策图，即：{A_LL，B_LL}→DM_LL，{A_LH，B_LH}→DM_LH，{A_HL，B_HL}→DM_HL，{A_HH，B_HH}→DM_HH；其中DM是指DecionMap即决策图，DM_LL是指低频子带的决策图，DM_LH是指横向为低频、纵向为高频子带的决策图，DM_HL是指横向为高频、纵向为低频子带的决策图，DM_HH是指横向为高频、纵向为高频子带的决策图；

该决策图为二值化图像，所有像素点非0即1，该步骤获得的决策图如图3至图6所示。

步骤四，利用步骤三中的决策图，分别将不同频率的子带融合，得到融合子带FS_k(k＝{LL，LH，HL，HH})；其中FS为融合子带，k是一个参数，对应的是各个频率的融合子带，当k＝LL时，FS_k就是指低频的融合子带，当k＝LH时，FS_k就是指横向为低频、纵向为高频的融合子带，当k＝HL时，FS_k就是指横向为高频、纵向为低频的融合子带，当k＝HH时，FS_k就是指横向为高频、纵向为高频的融合子带；

所述步骤一中，使用2维离散小波变换的如下分解公式将源图像A和源图像B分别分解为一个低频子带和3个高频子带：

其中，I代表源图像，I_LL表示I的低频子带，I_LH表示源图像的横向为低频、纵向为高频的子带，I_HL表示源图像的横向为高频、纵向为低频的子带，I_HH表示源图像的横向和纵向均为高频的子带，M、N代表图像尺寸的宽和长，(m，n)表示各子带中像素的空间坐标，H、D、V分别代表源图像水平、垂直和对角线所在的方向；(x，y)为小波函数中的不同尺度和不同位置，为小波基底，分别代表源图像水平方向H、对角线方向V和垂直方向D的不同尺度、不同位置的小波函数。

所述步骤二中，构建一种卷积神经网络，该网络模型结构如图2所示：

该网络的构建过程为：网络分为两个分支，网络的输入是一对频率子带，用{P_A，P_B}表示，P_A为源图像A的频率子带，P_B为源图像B的频率子带，其中由于P_A和P_B都是彩色图像块，其图像大小均为128*128，P_A和P_B分别输入网络的两个分支中；

网络中每个分支的第一层均由96个卷积核组成，每个卷积核的大小被设计为11*11，步长被设置为4，随着卷积核尺寸的增大，接收域变大，获得的信息量也越来越丰富；

P_A和P_B分别经过了两个分支的第一层11*11的卷积后，分别生成图像大小为30*30的96幅图像，图像的像素大小计算公式为：(128-11)/4+1≈30，此时步长为4；

网络中每个分支的第二层均由256个卷积核组成，每个卷积核的大小被设计为5*5，步长被设置为4，P_A和P_B分别经过了两个分支的第二层5*5的卷积后，分别生成图像大小为30*30的256幅图像，图像的像素大小计算公式为：(128-5)/4+1≈30；

网络中每个分支的第三层均由256个卷积核组成，每个卷积核的大小被设计为2*2，步长被设置为2，P_A和P_B分别经过了两个分支的第三层2*2的卷积后，分别生成图像大小为15*15的256幅图像，图像的像素大小计算公式为：(30-2)/2+1＝15；

网络中每个分支的第四层均由384个卷积核组成，每个卷积核的大小被设计为3*3，步长被设置为2，P_A和P_B分别经过了两个分支的第四层3*3的卷积后，分别生成图像大小为15*15的384幅图像，图像的像素大小计算公式为：(30-3)/2+1≈15；

步长和卷积核的调整是在设计这个网络的过程中，通过优化选择的，步长是由大变小，意味着前几层的网络粗糙的学习，后面学习的仔细。在第四层，之所以步长会为2，是想得到一个与第四层输入图像相同大小的图像，所以此时步长并没有变小，而是取2。

此外，每个分支中每层的数据输出都由一个激活函数来处理，本网络中使用的是名为ReLU的激活函数，激活函数的主要目的是将模型中一个节点的输入信号转换成一个输出信号，该输出信号被用作堆叠中下一个卷积层的输入；

为了避免最后几层图像的尺寸太小，在每个分支的第二层和第四层均使用填充技术填充像素点，使图像拥有理想的尺寸，每个分支第二层的像素点填充大小设置为2，每个分支第四层的像素点填充大小设置为1；

第五层是一个连接层，它的作用是合并网络的两个分支，P_A和P_B经过第四层后，两个分支分别生成图像大小为15*15的384幅图像，第五层将它们合并成图像大小相同的768幅图像；

训练上述构建出的卷积神经网络，具体过程如下：

训练该卷积神经网络所使用的数据来自ImageNet中的Pen类图像，(选择这种类型的图像是因为它与多焦点图像中的聚焦区域相似)，将这些图像分割成块后应用高斯模糊，其目的是使每个图像块都有对应的清晰块和模糊块；再将两个图像块的清晰块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-High网络模型，再将两个图像块的模糊块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-Low网络模型；

由于该网络为端到端的结构，输出结果即为输入参数的权重图：即其中W_LL为低频子带的权重图，W_HL为横向为高频、纵向为低频的子带的权重图，W_LH为横向为低频、纵向为高频的子带的权重图，W_HH为横向为高频、纵向为高频的子带的权重图。

所述步骤三中，采用SML算法计算决策图DM的公式如下：

其中，TH₁为小于0.5的阈值，将S(x，y)函数定义如下：

ML_D(m，n)＝|2D(m，n)-D(m-step，n)-D(m+step，n)|+

|2D(m，n)-D(m，n-step)-D(m，n+step)|

P和Q均为参数，用于计算测量的窗口大小，窗口大小计算公式为：(2P+1)×(2Q+1)；p和q都是变量；

SML_D(m，n)表示图像D中位于(m，n)处的SML值；ML_D(m，n)表示图像D中(m，n)处修改后的拉普拉斯值即ML值；在本文中，SML算法涉及到的步长step总是等于1。

所述步骤四中，根据它们的决策图，对不同频率子带分别融合，以得到融合好的融合子带，该步骤中融合使用的公式为：

FS_k＝A_k×DM_k+B_k×(1-DM_k)k＝{LL，LH，HL，HH}

其中k是一个参数，对应的是各个频率的融合子带，当k＝LL时，FS_k就是指低频的融合子带，A_k是指源图像A的低频子带，B_k是指源图像B的低频子带，DM_k是指低频子带的决策图；

当k＝HH时，FS_k就是指横向为高频、纵向为高频的融合子带；A_k是指源图像A的横向为高频、纵向为高频的子带，B_k是指源图像B的横向为高频、纵向为高频的子带，DM_k是指横向为高频、纵向为高频的子带的决策图；

所述步骤五中，利用逆离散小波变换，对步骤四得到的融合后的融合频率子带FS_k(k＝{LL，LHHL，HH})进行重构，得到融合图像F，其中重构公式如下所示：

其中，F(x，y)为(x，y)处的融合图像结果，FS_LL指低频的融合子带，FS_LH指横向为低频、纵向为高频的融合子带，FS_HL指横向为高频、纵向为低频的融合子带，FS_HH指横向为高频、纵向为高频的融合子带，为小波基底，分别代表源图像水平方向H、对角线方向V和垂直方向D不同尺度、不同位置的小波函数。

可以看出，这些图像符合我们的训练需求，以及多聚焦图像本身的特点。

Claims

1.基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，所述步骤一中，使用2维离散小波变换的如下分解公式将不同的源图像分别分解为一个低频子带和3个高频子带：

3.根据权利要求2所述的基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，所述的步骤二中构建一种卷积神经网络，其构建过程为：

每个分支中的每层数据输出都由ReLU激活函数处理；

4.根据权利要求3所述的基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，所述步骤三中，采用SML算法计算决策图的公式如下：

其中，TH₁为小于0.5的阈值，将S(x，y)函数定义如下：

ML_D(m，n)＝|2D(m，n)-D(m-step，n)-D(m+step，n)|+

|2D(m，n)-D(m，n-step)-D(m，n+step)|

5.根据权利要求4所述的基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，所述步骤四中，根据决策图，对不同频率子带分别融合，以得到融合好的融合子带，该步骤中融合使用的公式为：

FS_k＝A_k×DM_k+B_k×(1-DM_k) k＝{LL，LH，HL，HH}

其中K是一个参数，对应的是各个频率的融合子带。

6.根据权利要求5所述的基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，所述步骤五中，利用逆离散小波变换，对步骤四得到的融合后的融合频率子带FS_k(k＝{LL，LH，HL，HH})进行重构，得到融合图像F，其中重构公式如下所示：