CN110148083A - 基于快速bemd和深度学习的图像融合方法 - Google Patents

Abstract

基于快速BEMD和深度学习的图像融合方法，属于图像处理技术领域。本发明使用快速BEMD对待融合图像进行多尺度分解得到频率从高到低的二维经验模态分解分量(Bidimensional Empirical Mode Component,BEMC)，对各分量分别进行融合，最后经过BEMD重构可获取融合结果图。利用深度学习可提取图像特征的特点，设计了一种基于深度学习的图像融合规则。实验表明基于该融合方法的融合结果图具有最佳的视觉效果，满足人眼的视觉感知。

Description

基于快速BEMD和深度学习的图像融合方法

技术领域

本发明涉及图像处理技术领域，特别是涉及基于快速BEMD和深度学习的图像融合方法。

背景技术

图像融合的目的在于利用信息分析手段在特定条件下对不同时间或者空间的图像进行处理，综合多源图像的互补信息，剔除冗余信息，从而得到满足特定应用场景的图像。近年来，图像融合的理论研究迅速发展，图像融合的方法主要分为六大类，分别为多尺度分析法、神经网络法、稀疏表示法、子空间法、图像显著法和混合法。基于多尺度分析的图像融合方法假设图像可分解为多个不同空间尺度的子图像，对子图像分别进行融合。基于神经网络的图像融合方法模仿人脑处理神经信息的感知行为，具有良好的容错性和抗噪能力。基于稀疏表示的图像融合方法假设图像可由一组超完备基线性表示，根据稀疏系数和完备基进行融合。基于子空间的图像融合方法将图像从高维空间映射到低维空间或者子空间，在子空间内进行融合，可降低存储空间和提高处理速度。基于图像显著性的融合方法利用人眼对于物体或者局部明显区域敏感的特点，可保证显著的目标或者区域在融合结果图中的完整性。混合图像融合方法结合了各个方法的优点，进一步改善融合效果。

基于多尺度分析的图像融合算法是研究的热点，图像多尺度分析的方法主要有金字塔变换、小波变换、二维经验模态分解等等。金字塔分解的各尺度之间存在相关性，使得图像融合效果不理想。小波变换是一种正交分解的方法，可提取图像低频信息和水平、垂直、对角三个方向的高频信息，小波变换具有方向性和时频特征，小波变换的关键在于小波函数的选取和预先定义的滤波器，不同的应用场景需要选取不同的小波函数和滤波器，没有统一的标准进行相关选择。同时小波变换存在信号能量泄漏，在边缘处的能量和频率会出现较严重的失真，在图像融合中会出现边缘效应。

二维经验模态分解是由一种对图像信号进行自适应多尺度分析的方法，适用于处理非线性非平稳的图像信号。BEMD根据图像信号特征对图像进行自适应分解得到一系列的高频分量和低频分量，各分量之间具有较强的局部正交性，能够有效地表示图像的特征信息。传统的BEMD算法存在计算量大、分解效率低下等弊端，快速BEMD算法不仅运行速度快，而且也能够获取较好的图像分解效果，可应用于图像融合。

发明内容

为了解决上述存在的问题，本发明提供基于快速BEMD和深度学习的图像融合方法，使用快速BEMD对待融合的两幅图像进行多尺度分解，可获取多个二维经验模态分解分量。再对两幅图像相同尺度的分量采用基于深度学习的图像融合规则进行融合，综合进行BEMD重构可得到融合结果图。采用该融合方法可获得满足人眼视觉系统的的融合结果图，便于进一步的图像处理，为达此目的，本发明提供基于快速BEMD和深度学习的图像融合方法，所述基于快速BEMD和深度学习的图像融合方法的待融合图像的多尺度分析和图像的融合规则，方法包括如下步骤：

(1)先采用快速BEMD算法对待融合图像进行多尺度分解，获取一系列频率从高到低的二维经验模态分解分量；

(2)再利用基于深度学习的图像融合规则，对相应的二维本征模态分解分量进行融合。

作为本发明进一步改进，所述步骤(1)具体步骤如下，先采用快速BEMD算法对待融合图像进行多尺度分解，可获取二维经验模态分解分量，快速BEMD算法的具体步骤为：

步骤2.1：快速BEMD算法对图像进行分解可生成频率从高到底的二维本征模态分量和一个残余分量，二维本征模态分量和残余分量合称为二维经验模态分解分量(BEMC)，不同的BIMF反映了图像在不同尺度上的细节信息，残余分量表示图像的轮廓信息，假设源图像为f(x,y)，BIMF_i(x,y)表示第i个二维本征模态函数，R(x,y)表示残余分量，BEMC_i(x,y)表示图像的第i个经验模态分解分量，初始化i＝1，h_i(x,y)表示快速BEMD第i次分解的中间量，h₁(x,y)＝f(x,y)；

步骤2.2：快速BEMD采用基于顺序统计滤波器即均值滤波器的包络曲面估计法，通过窗函数法获得h_i(x,y)的局部极值大点集m_max(x,y)和局部极小值点集m_min(x,y)，局部极大值点严格大于其邻域点，局部极小值点严格小于其邻域点，根据局部极值点集分别确定邻域极大距离矩阵d_adj-max和邻域极小距离矩阵d_adj-min，由d_adj-max、d_adj-min确定顺序统计滤波器的窗长w_en-g，窗长有四种选择方式，分别定义为Type-1、Type-2、Type-3、Type-4，如下所示：

w_en-g＝d₁＝min{min{d_adj-max},min{d_adj-min}}

w_en-g＝d₂＝max{min{d_adj-max},min{d_adj-min}}

w_en-g＝d₃＝min{max{d_adj-max},max{d_adj-min}}

w_en-g＝d₄＝max{max{d_adj-max},max{d_adj-min}}

在快速BEMD分解图像的过程中，空间中极值点的距离越来越大，即空间域中的分辨率越来越大，顺序统计滤波器的窗长会越来越长，曲面拟合会引入更多的误差。利用自适应领域限制法，根据Type4的窗口宽度w，对其进行自适应缩小调整之后获得w_en，将w_en作为顺序统计滤波器窗长，w_en计算公式如下所示：

w_en＝w/i

步骤2.3：采用均值滤波器生成h_i(x,y)的均值包络曲面，h_i(x,y)表示快速BEMD第i次分解过程的中间量，如下式所示：

Z_xy表示以点(x,y)为中心，大小为w_en×w_en的方形区域，e_mean-i在点(x,y)的值表示h_i在Z_xy区域内的均值。根据均值包络曲面，计算第i个BIMF：

BIMF_i(x,y)＝h_i(x,y)-e_mean-i(x,y)

计算新的中间变量h_i+1(x,y)＝h_i(x,y)-BIMF_i(x,y)，如果h_i+1(x,y)中的极值点个数小于下限值或分解尺度达到了BIMF要求的上限，那么R(x,y)＝h_i(x,y)，结束分解过程；否则i＝i+1，返回步骤2.2。

步骤2.4图像f(x,y)经过I次分解，最终分解结果为：

作为本发明进一步改进，所述步骤(2)具体步骤如下，利用基于深度学习的图像融合规则，对各分量分别进行融合，设计方法为：

采用在ImageNet数据集上预训练的VGG-19作为特征提取网络，VGG-19包含有19层卷积/全连接层，每层输出均可作为输入图像的特征图，根据不同类型的特征确定图像的融合权重，突出图像中的显著信息，可获得更可靠的融合结果，选用Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层输出的特征图确定候选融合权重；

假设输入图像为BEMC_i,表示第i个二维经验模态分解成分，特征图为F_i ^k,c，表示VGG-19第k个选定层输出的第c个特征图，k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层，c∈{1,2,...,C}，C表示选定层的特征图总数，C＝64×2^k-1。每层输出的多张特征图，采用L1范数为处理多张特征图生成一张具有代表性的特征图，实现方法如下式所示：

F_i ^k(x,y)＝||V_i ^k，1:C(x,y)||₁

V_i ^k，1:C(x,y)表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，F_i ^k为第k个选定层具有代表性的特征图；

根据待融合图像A的和图像B的采用基于窗口局部能量融合规则确定初始融合权重窗口大小设为3或者5，在卷积神经网络中，池化操作是下采样的过程，VGG-19网络中，第k个选定层输出的特征图大小相比于网络输入图像大小缩小了2^k倍，采用上采样操作使得融合权重矩阵大小与输入图像大小一致，最终候选融合权重如下式所示：

对于根据4对选定层的特征图确定了4对候选融合权重k∈{1,2,3,4}，对融合权重矩阵取算术平均可得到最终的融合权重w_A-i(x,y)、w_B-i(x,y)，如下式所示：

待融合图像A的和图像B的的融合结果可由下式获得：

本发明基于快速BEMD和深度学习的图像融合方法，可以生成符合人眼视觉系统的融合结果图。本发明采用快速BEMD对待融合图像进行自适应分解，对相应尺度的分量利用基于深度学习的融合规则。本发明适用于红外图像与可见光图像的融合场景，红外图像可反映出目标的轮廓，可见光图像具有丰富的光谱信息。采用本发明方案融合红外图像与可见光图像，可丰富图像细节和光谱信息，提高分辨率，使人产生更完整的场景感知。

附图说明

图1为本发明基于快速BEMD和深度学习的图像融合方法框图；

图2为本发明VGG-19网络结构图；

图3为本发明基于深度学习的融合规则的框图；

图4为本发明源图像和融合结果图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于快速BEMD和深度学习的图像融合方法，使用快速BEMD对待融合的两幅图像进行多尺度分解，可获取多个二维经验模态分解分量。再对两幅图像相同尺度的分量采用基于深度学习的图像融合规则进行融合，综合进行BEMD重构可得到融合结果图。采用该融合方法可获得满足人眼视觉系统的的融合结果图，便于进一步的图像处理。

下面基于PC机(Intel(R)Core(TM)i5-7200U CPU 2.70GHz)上的MATLAB 2017工具，以OCTEC图像为例，图1为本发明基于快速BEMD和深度学习的图像融合方法框图，图2为VGG-19网络结构图，图3为基于深度学习的融合规则的框图，图4为源图像和融合结果图，图4(a)为可见光图像，图4(b)为红外图像，结合附图对本发明基于快速BEMD和深度学习的图像融合方案的具体实施方式作进一步详细说明。

步骤1：对待融合图像进行预处理，对彩色的可见光图像进行颜色空间转换，从RGB颜色空间转换到HIS颜色空间，得到亮度分量I(x,y)。根据I(x,y)灰度值的分布，对红外图像IR(x,y)灰度值进行线性变换得到New_IR(x,y),假设红外图像灰度值的分布范围为[Min_IR,Max_IR]，可见光图像I分量值分布范围为[Min_I,Max_I]，可对红外图像的灰度值进行如下的简单线性变换：

步骤2：用快速BEMD同时分解红外图像的New_IR(x,y)和可见光图像的I(x,y)，表示快速BEMD第i次分解红外图像的中间量，表示快速BEMD第i次分解可见光图像的中间量，初始化i＝1，

步骤3：通过窗函数法分别获得和的局部极值大点集和局部极小值点集根据局部极值点集分别确定邻域极大距离矩阵和邻域极小距离矩阵由初步确定顺序统计滤波器的窗长由初步确定顺序统计滤波器的窗长采用Type4的方式确定顺序统计滤波器窗长：

因需控制两幅图像相应分量的尺度一致，于是统一两幅图像的顺序统计滤波器窗长，采用极大值准则：

采用自适应邻域限制法对顺序统计滤波器窗长w_en-g进行自适应缩小调整，获得最终的w_en：

w_en＝w_en-g/i

步骤4：采用均值滤波器生成和的均值包络曲面，如下式所示：

根据均值包络曲面，计算分别计算红外图像和可见光图像的第i个BIMF：

计算新的中间变量：

如果和中的极值点个数总和小于下限值或分解尺度达到了BIMF要求的上限，那么结束分解过程；否则i＝i+1，返回步骤3。

步骤5：红外图像和可见光图像经过K次分解，最终分解结果为：

步骤6：采用在ImageNet数据集上预训练的VGG-19作为特征提取网络，图2展示了VGG-19的网络结构图，选用Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层输出的特征图确定候选融合权重。VGG-19网络输入BEMC_i,特征图为表示VGG-19第k个选定层输出的第c个特征图，k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层，c∈{1,2,...,C}，C表示选定层的特征图总数，C＝64×2^k-1。每层输出的多张特征图，采用L1范数为处理多张特征图生成一张具有代表性的特征图，实现方法如下式所示：

F_i ^k(x,y)＝||V_i ^k，1:C(x,y)||₁

V_i ^k，1:C(x,y)表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，F_i ^k为第k个选定层具有代表性的特征图。

根据BIMF_i ^New_IR(x,y)的和BIMF_i ^I(x,y)的采用基于窗口局部能量融合规则确定初始融合权重窗口大小设为3。采用上采样操作使得融合权重矩阵大小与输入图像大小一致，最终候选融合权重如下式所示：

对于根据4对选定层的特征图确定了4对候选融合权重k∈{1,2,3,4}，对融合权重矩阵取算术平均可得到最终的融合权重w_{New_IR-i}(x,y)、w_I-i(x,y)，如下式所示：

红外图像的和可见光图像的的融合结果可由下式获得：

步骤7：根据融合结果进行快速BEMD重构，可获得融合的亮度分量：

步骤8：最后根据融合的亮度分量F_I(x,y)，进行HIS逆变换到RGB颜色空间,获得融合结果图。图4(c)为图4(a)与图4(c)的融合结果图，可显示出烟雾中的人物，同时色彩分布均匀，边界连贯，最大程度地保留了可见光图像的色彩信息和红外图像的边缘轮廓，有较好的视觉效果。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (3)

1.基于快速BEMD和深度学习的图像融合方法，其特征在于：所述基于快速BEMD和深度学习的图像融合方法的待融合图像的多尺度分析和图像的融合规则，方法包括如下步骤：

(1)先采用快速BEMD算法对待融合图像进行多尺度分解，获取一系列频率从高到低的二维经验模态分解分量；

(2)再利用基于深度学习的图像融合规则，对相应的二维本征模态分解分量进行融合。

2.根据权利要求1所述的基于快速BEMD和深度学习的图像融合方法，其特征在于：所述步骤(1)具体步骤如下，先采用快速BEMD算法对待融合图像进行多尺度分解，可获取二维经验模态分解分量，快速BEMD算法的具体步骤为：

步骤2.1：快速BEMD算法对图像进行分解可生成频率从高到底的二维本征模态分量和一个残余分量，二维本征模态分量和残余分量合称为二维经验模态分解分量(BEMC)，不同的BIMF反映了图像在不同尺度上的细节信息，残余分量表示图像的轮廓信息，假设源图像为f(x,y)，BIMF_i(x,y)表示第i个二维本征模态函数，R(x,y)表示残余分量，BEMC_i(x,y)表示图像的第i个经验模态分解分量，初始化i＝1，h_i(x,y)表示快速BEMD第i次分解的中间量，h₁(x,y)＝f(x,y)；

步骤2.2：快速BEMD采用基于顺序统计滤波器即均值滤波器的包络曲面估计法，通过窗函数法获得h_i(x,y)的局部极值大点集m_max(x,y)和局部极小值点集m_min(x,y)，局部极大值点严格大于其邻域点，局部极小值点严格小于其邻域点，根据局部极值点集分别确定邻域极大距离矩阵d_adj-max和邻域极小距离矩阵d_adj-min，由d_adj-max、d_adj-min确定顺序统计滤波器的窗长w_en-g，窗长有四种选择方式，分别定义为Type-1、Type-2、Type-3、Type-4，如下所示：

w_en-g＝d₁＝min{min{d_adj-max},min{d_adj-min}}

w_en-g＝d₂＝max{min{d_adj-max},min{d_adj-min}}

w_en-g＝d₃＝min{max{d_adj-max},max{d_adj-min}}

w_en-g＝d₄＝max{max{d_adj-max},max{d_adj-min}}

在快速BEMD分解图像的过程中，空间中极值点的距离越来越大，即空间域中的分辨率越来越大，顺序统计滤波器的窗长会越来越长，曲面拟合会引入更多的误差。利用自适应领域限制法，根据Type4的窗口宽度w，对其进行自适应缩小调整之后获得w_en，将w_en作为顺序统计滤波器窗长，w_en计算公式如下所示：

w_en＝w/i

步骤2.3：采用均值滤波器生成h_i(x,y)的均值包络曲面，h_i(x,y)表示快速BEMD第i次分解过程的中间量，如下式所示：

Z_xy表示以点(x,y)为中心，大小为w_en×w_en的方形区域，e_mean-i在点(x,y)的值表示h_i在Z_xy区域内的均值。根据均值包络曲面，计算第i个BIMF：

BIMF_i(x,y)＝h_i(x,y)-e_mean-i(x,y)

计算新的中间变量h_i+1(x,y)＝h_i(x,y)-BIMF_i(x,y)，如果h_i+1(x,y)中的极值点个数小于下限值或分解尺度达到了BIMF要求的上限，那么R(x,y)＝h_i(x,y)，结束分解过程；否则i＝i+1，返回步骤2.2。

步骤2.4图像f(x,y)经过I次分解，最终分解结果为：

3.根据权利要求1所述的基于快速BEMD和深度学习的图像融合方法，其特征在于：所述步骤(2)具体步骤如下，利用基于深度学习的图像融合规则，对各分量分别进行融合，设计方法为：

采用在ImageNet数据集上预训练的VGG-19作为特征提取网络，VGG-19包含有19层卷积/全连接层，每层输出均可作为输入图像的特征图，根据不同类型的特征确定图像的融合权重，突出图像中的显著信息，可获得更可靠的融合结果，选用Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层输出的特征图确定候选融合权重；

假设输入图像为BEMC_i,表示第i个二维经验模态分解成分，特征图为F_i ^k,c，表示VGG-19第k个选定层输出的第c个特征图，k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层，c∈{1,2,...,C}，C表示选定层的特征图总数，C＝64×2^k-1。每层输出的多张特征图，采用L1范数为处理多张特征图生成一张具有代表性的特征图，实现方法如下式所示：

F_i ^k(x,y)＝||V_i ^k，1:C(x,y)||₁

V_i ^k，1:C(x,y)表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，F_i ^k为第k个选定层具有代表性的特征图；

根据待融合图像A的和图像B的采用基于窗口局部能量融合规则确定初始融合权重窗口大小设为3或者5，在卷积神经网络中，池化操作是下采样的过程，VGG-19网络中，第k个选定层输出的特征图大小相比于网络输入图像大小缩小了2^k倍，采用上采样操作使得融合权重矩阵大小与输入图像大小一致，最终候选融合权重如下式所示：

对于根据4对选定层的特征图确定了4对候选融合权重k∈{1,2,3,4}，对融合权重矩阵取算术平均可得到最终的融合权重w_A-i(x,y)、w_B-i(x,y)，如下式所示：

待融合图像A的和图像B的的融合结果可由下式获得：