CN113569905A - 基于多尺度特征提取和全变分的异源图像融合方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体公开了一种基于多尺度特征提取和全变分的异源图像融合方法，从遥感卫星影像中获取高光谱图像与激光雷达图像，分别提取高光谱图像与激光雷达图像的拓展多属性剖面；堆叠高光谱图像与激光雷达图像的光谱特征与空间特征，采用主成分分析的方法对堆叠的数据进行降维，得到特征缩减后的数据F；使用相对全变分模型来处理特征数据F，得到特征融合数据。本发明以从多源异构数据中提取结构相关性，增加抗噪性，提高土地覆盖分类的准确性。

Description

基于多尺度特征提取和全变分的异源图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多尺度特征提取和全变分的异源图像融合方法，一种多源图像融合方法，可用于生态监测与生态保护。

背景技术

随着传感器技术的不断发展，不同类型传感器采集到的遥感图像包含不同的信息。例如，激光雷达(LiDAR)图像包含空间信息，高光谱图像(HSI)包含丰富的光谱信息。研究表明，HSI与LiDAR图像的融合可以提供互补的光谱、空间和高纬度信息，获得对场景的可靠描述，并已成功应用于土地覆盖分类、变化检测等。

然而，HSI与激光雷达数据的自动融合是一个非常具有挑战性的任务。首先要考虑的是如何从HSI和LiDAR数据中提取有效的特征，避免休斯现象。而且，在融合过程中，数据特征的简单叠加可能会产生冗余信息。因此，迫切需要一种实用有效的特征融合方法。

为了结合多源图像中的异构信息，已经提出了多种特征融合方法。这些方法大致可以分为六类：基于特征的栈结构、多核学习、稀疏表示、基于图的方法和深度学习。其中，基于特征的栈结构方法通过叠加特征以创建光谱空间立方体的方法。这种方法相对简单。然而，分配给每个像素的叠加特征向量具有高维数，这导致维数灾难和有限数量的可用训练样本。基于多核学习的融合方法能有效地集成多源数据，但是，构建一个可接受的内核并选择其参数是一项具有挑战性的工作。基于稀疏表示的方法通过创建字典和调整稀疏系数解决方案来结合异构特征，这种方法不需要任何数据分布或数学估计假设。然而，如何解决稀疏表示中的优化问题是一项艰巨的任务。基于判别图的方法通过挖掘特征的流形结构来合并异类特征。深度学习方法，如卷积神经网络，可以获得逐层联合光谱空间特征。在提取非线性和隐藏特征方面，这些方法有很大的应用前景。然而，深度学习网络具有超参数特性，容易出现过拟合问题。

全变分(TV)方法是一种有效的图像处理正则化技术，常用于遥感应用，如图像去噪和特征提取等。在图像融合中，基于特征提取的TV方法具有较高的性能。然而，基于TV图像特征融合的研究相对较少，特别是对于HSI和LiDAR数据融合的研究。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于多尺度特征提取和全变分的异源图像融合方法，从多源异构数据中提取结构相关性，增加抗噪性，提高土地覆盖分类的准确性。

为了达到上述目的，本发明采用以下技术方案予以实现。

基于多尺度特征提取和全变分的异源图像融合方法，包括以下步骤：

步骤1，获取同一地理位置的原始异源图像，即高光谱图像H与激光雷达图像L；

其中，高光谱图像H与激光雷达图像L的分辨率相同；

步骤2，分别提取高光谱图像H与激光雷达图像L的拓展多属性剖面，得到高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L；

步骤3，将高光谱图像与激光雷达图像的光谱特征和空间特征进行堆叠；对堆叠后的数据进行主成分分析，得到特征缩减后的数据F；

步骤4，建立增加正则化约束的全变分模型，即相对全变分模型，采用所述相对全变分模型处理特征缩减后的数据F，得到高光谱图像与激光雷达图像的特征融合图像S。

与现有技术相比，本发明的有益效果为：

(1)本发明由于使用相对全变分对多源图像进行融合，可以去除图像中无用的纹理信息，从异构数据中提取结构关联性，并具有很好的抗噪声性能。

(2)本发明使用扩展多属性剖面多尺度提取图像的结构特征，充分运用了图像的空间特征，有利于提高遥感图像的土地覆盖分类精度。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1是本发明的实现流程图；

图2是使用本发明和现有方法对高光谱图像和激光雷达图像融合前后的土地覆盖分类图；其中，(a)为原始高光谱图像，(b)为原始激光雷达图像，(c)为地物的真实类别图，(d)为融合前高光谱图像的分类结果图，(e)为融合前激光雷达图像的分类结果图，(f)本发明融合后图像的分类结果图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

参照图1，本发明提供的一种基于多尺度特征提取和全变分的异源图像融合方法，包括以下步骤：

步骤1，获取同一地理位置的原始异源图像，即高光谱图像H与激光雷达图像L；

从遥感卫星影像中获取同一地理位置的高光谱图像H与激光雷达图像L，高光谱图像H共有h个特征，激光雷达图像L共有l个特征。剪裁高光谱图像与激光雷达图像，对数据进行重采样，保证两幅图像的大小相同。

本实施例中的高光谱图像与激光雷达图像是从2018年IEEEGRSS数据融合大赛上获取的，其中高光谱图像的地理分辨率为1米，激光雷达图像的分辨率为0.5米。将高光谱图像重采样为0.5米分辨率。

步骤2，分别提取高光谱图像H与激光雷达图像L的拓展多属性剖面，得到高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L；

(2.1)对高光谱图像和激光雷达图像的每个波段，针对每个属性的不同结构元素i′做属性开操作和属性闭操作，分别得到高光谱图像的属性剖面特征AP_H和激光雷达图像的属性剖面特征AP_L。

其中，属性开操作γ^i′和属性闭操作φ^i′的定义为：对于图像中的一个区域，将其相邻区域的灰度值合并到一个周围的连通分支，若该区域合并到一个更低灰度级的邻接区域，执行属性开操作γ^i′；若该区域合并到一个更高灰度级的邻接区域，执行属性闭操作φ^i′。

本实施例中提取图像的面积和长度属性，对于这两种属性，分别提取大小为10和50的结构元素i′；

对于高光谱图像的每个属性的不同结构元素做属性开操作和属性闭操作，得到高光谱图像的属性剖面特征AP_H：

对于激光雷达图像的每个属性的不同结构元素做属性开操作和属性闭操作，得到激光雷达图像的属性剖面特征AP_L可以表示为：

其中，{i₁′，…，i_m′}为结构元素i′的不同取值，m为提取的属性个数。

为高光谱图像H经属性开操作

的结果。

以上就是本发明的多尺度特征提取部分，提取出了图像的多属性特征。

(2.2)利用主成分分析方法分别提取高光谱图像的属性剖面特征AP_H和激光雷达图像的属性剖面特征AP_L的前n个主成分分量，对提取的主成分分量进行叠加，得到高光谱图像和激光雷达图像的扩展形态属性EAP_H与EAP_L：

EAP_H＝{AP_H(PC₁)，AP_H(PC₂)，…，AP_H(PC_n)}，

EAP_L＝{AP_L(PC₁)，AP_L(PC₂)，…，AP_L(PC_n)}；

其中，AP_H(PC_n)为对AP_H提取的第n个主成分分量，PC_n为提取的第n个主成分，n为主成分的总个数；AP_L(PC_n)对AP_L提取的第n个主成分分量；

(2.3)将高光谱图像和激光雷达图像的每个属性对应的扩展形态属性进行叠加，得到高光谱图像和激光雷达图像的扩展多形态属性，即为高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L：

EMAP_H＝{EAP_H1，EAP_H2，…，EAP_Hm，…，EAP_H2m，H}，

EMAP_L＝{EAP_L1，EAP_L2，…，EAP_Lm，…，EAP_L2m，L}；

其中，EAP_Hi表示高光谱图像的第i个属性的扩展形态剖面，同理，EAP_Li表示激光雷达图像的第i个属性的扩展形态剖面。高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L的维度均为2m+1。

步骤3，将高光谱图像与激光雷达图像的光谱特征和空间特征进行堆叠；对堆叠后的数据进行主成分分析，得到特征缩减后的数据F；

(3.1)将高光谱图像与激光雷达图像的光谱特征H、L与空间特征EMAP_H、EMAP_L相堆叠，得到总特征T：

T＝[H L EMAP_H EMAP_L]，

在本实施例中，高光谱图像具有48个波段，即h的取值为48，提取的空间特征EMAP_H为(2m+1)h，即为240维，激光雷达图像具有7个波段，即l的取值为48，提取的空间特征EMAP_L为(2m+1)l，即为35维。因此，T共包含275个特征。

(3.2)对于矩阵T，将T中的每一行减去这一行的均值，实现T的零均值化，得到矩阵

(3.3)计算

的协方差矩阵C：

其中，

表示

的转置。

(3.4)计算协方差矩阵C的特征值和特征向量，并将特征向量按对应的特征值大小从上到下按行排列，取前k行组成矩阵P，在本实施例中，k的取值为30。

(3.5)计算前k个主成分分量的特征缩减数据F：

步骤4，建立增加正则化约束的全变分模型，即相对全变分模型，采用所述相对全变分模型处理特征缩减后的数据F，得到高光谱图像与激光雷达图像的特征融合图像S。

(4.1)为了增强结构与纹理信息的提取，在全变分模型的基础上增加了正则化约束项，相对全变分模型的定义如下：

其中，p表示图像中的像素点，S为待求解的融合图像，S_p表示待求解的融合图像中的像素点p，F_p表示特征缩减后的数据F中的像素点p，λ是权重，在本实施例中，λ的取值为0.03，RTV(p)为像素点p处的相对全变分正则项，其定义为：

其中，ε为防止分母为0的极小整数，R(p)为以p为中心像素的邻域窗口，q为窗口R内p的相邻像素点，

知

分别表示x方向和y方向上的差分操作，||为求模运算，g_p，q为加权函数。g_p，q由以下公式获得：

其中，σ为加权函数的标准差，其决定窗口的空间比例大小，在本实施例中，σ的取值为2。

(4.2)优化相对全变分模型，利用欧拉-拉格朗日方程将极小化问题转化为若干个线性系统，求解线性方程，将正则项RTV(p)重写为：

其中，u_xq、w_xq、u_yq、w_yq分别通过以下公式获得：

其中，G_σ是以标准差为σ的高斯核函数，*表示卷积。

(4.3)将重写后的RTV(p)代入相对全变分模型的目标函数，将目标函数简化为线性方程的求解：

其中，1为单位矩阵，v_F和v_S分别是特征缩减后的数据F与特征融合数据S的列向量，C_x和C_y是向前差分梯度算子的拓普利兹矩阵，U_x、U_y、W_x、W_y为u_xq、u_yq、w_xq，w_yq的对角矩阵。

(4.4)求解线性方程，将特征融合数据S的列向量v_S转换为矩阵形式，得到融合后的图像S。求解后的列向量v_S为：

仿真实验

本发明的效果可以通过以下测试进一步说明：

测试内容：使用本发明方法对图2(a)所示的高光谱图像和图2(b)所示的激光雷达图像进行融合，使用随机森林分类算法对融合前后的图像进行分类，决策树的数量设置为100，随机选择百分之一的样本作为训练样本，其余作为测试样本。图2(c)为地物的真实类别图。融合前的分类图如图2(d)和图2(e)所示，其中，图2(d)是高光谱图像的分类结果图，图2(e)是激光雷达图像的分类结果图，融合后图像的分类结果图如图2(f)所示。

从图2(f)可见，本发明融合后的分类图像更加平滑，充分保留了地物的结构，而融合前的分类图像更容易出现错误分类的现象，证明本发明具有很好的应用效果。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，包括以下步骤：

步骤1，获取同一地理位置的原始异源图像，即高光谱图像H与激光雷达图像L；

其中，高光谱图像H与激光雷达图像L的分辨率相同；

步骤2，分别提取高光谱图像H与激光雷达图像L的拓展多属性剖面，得到高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L；

步骤3，将高光谱图像与激光雷达图像的光谱特征和空间特征进行堆叠；对堆叠后的数据进行主成分分析，得到特征缩减后的数据F；

步骤4，建立增加正则化约束的全变分模型，即相对全变分模型，采用所述相对全变分模型处理特征缩减后的数据F，得到高光谱图像与激光雷达图像的特征融合图像S。

2.根据权利要求1所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，步骤1中，通过剪裁高光谱图像和激光雷达图像，再对剪裁后的图像进行重采样，使两幅图像的分辨率相同。

3.根据权利要求1所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，步骤3中，所述分别提取高光谱图像H与激光雷达图像L的拓展多属性剖面，具体过程为：

(2.1)对高光谱图像和激光雷达图像的每个波段，针对每个属性的不同结构元素i′做属性开操作和属性闭操作，分别得到高光谱图像的属性剖面特征AP_H和激光雷达图像的属性剖面特征AP_L；

(2.2)利用主成分分析方法分别提取高光谱图像的属性剖面特征AP_H和激光雷达图像的属性剖面特征AP_L的前n个主成分分量，对提取的主成分分量进行叠加，得到高光谱图像和激光雷达图像的扩展形态属性EAP_H与EAP_L：

EAP_H＝{AP_H(PC₁)，AP_H(PC₂)，…，AP_H(PC_n)}，

EAP_L＝{AP_L(PC₁)，AP_L(PC₂)，…，AP_L(PC_n)}；

其中，AP_H(PC_n)为对AP_H提取的第n个主成分分量，PC_n为提取的第n个主成分，n为主成分的总个数；AP_L(PC_n)对AP_L提取的第n个主成分分量；

(2.3)将高光谱图像和激光雷达图像的每个属性对应的扩展形态属性进行叠加，得到高光谱图像和激光雷达图像的扩展多形态属性，即为高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L：

EMAP_H＝{EAP_H1，EAP_H2，…，EAP_Hm，…，EAP_H2m，H}，

EMAP_L＝{EAP_L1，EAP_L2，…，EAP_Lm，…，EAP_L2m，L}；

其中，EAP_Hi表示高光谱图像的第i个属性的扩展形态剖面，EAP_Li表示激光雷达图像的第i个属性的扩展形态剖面；高光谱图像的空间特征EMAP_H与激光雷达图像的空间特征EMAP_L的维度均为2m+1。

4.根据权利要求3所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，所述属性开操作γ^i′和属性闭操作φ^i′的定义为：对于图像中的一个区域，将其相邻区域的灰度值合并到一个周围的连通分支，若该区域合并到一个更低灰度级的邻接区域，执行属性开操作γ^i′；若该区域合并到一个更高灰度级的邻接区域，执行属性闭操作φ^i′。

5.根据权利要求4所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，所述高光谱图像的属性剖面特征AP_H：

所述激光雷达图像的属性剖面特征AP_L表示为：

其中，{i₁′，…，i_m′}为结构元素i′的不同取值，m为提取的属性个数，

为高光谱图像H经属性开操作

的结果。

6.根据权利要求1所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，步骤3包含以下子步骤：

(3.1)将高光谱图像与激光雷达图像的光谱特征H、L与空间特征EMAP_H、EMAP_L相堆叠，得到总特征T：

T＝[H L EMAP_H EMAP_L]，

其中，高光谱图像提取的空间特征EMAP_H为(2m+1)h维，激光雷达图像提取的空间特征EMAP_L为(2m+1)l维；

(3.2)对于矩阵T，将T中的每一行减去这一行的均值，实现T的零均值化，得到矩阵

(3.3)计算

的协方差矩阵C：

其中，

表示

的转置；

(3.4)计算协方差矩阵C的特征值和特征向量，并将特征向量按对应的特征值大小从上到下按行排列，取前k行组成矩阵P，k为正数；

(3.5)计算前k个主成分分量的特征缩减数据F：

7.根据权利要求1所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，所述相对全变分模型的定义如下：

其中，p表示图像中的像素点，S为待求解的融合图像，S_p表示待求解的融合图像中的像素点p，F_p表示特征缩减后的数据F中的像素点p，λ是权重，RTV(p)为像素点p处的相对全变分正则项，其定义为：

其中，ε为防止分母为0的极小整数，R(p)为以p为中心像素的邻域窗口，q为窗口R内p的相邻像素点，

和

分别表示x方向和y方向上的差分操作，| |为求模运算；g_p，q为加权函数，g_p，q由以下公式获得：

其中，σ为加权函数的标准差，其决定窗口的空间比例大小。

8.根据权利要求7所述的基于多尺度特征提取和全变分的异源图像融合方法，其特征在于，所述相对全变分模型处理特征缩减后的数据F，具体为：

首先，利用欧拉-拉格朗日方程将所述相对全变分模型的极小化问题转化为若干个线性系统，求解线性方程，将正则项RTV(p)重写为：

其中，u_xq、w_xq、u_yq、w_yq分别通过以下公式获得：

其中，G_σ是以标准差为σ的高斯核函数，*表示卷积；

其次，将重写后的RTV(p)代入所述相对全变分模型的目标函数，将目标函数简化为线性方程的求解：

其中，1为单位矩阵，v_F和v_S分别是特征缩减后的数据F与特征融合数据S的列向量，C_x和C_y是向前差分梯度算子的拓普利兹矩阵，U_x、U_y、W_x、W_y为u_xq、u_yq、w_xq，w_yq的对角矩阵；

最后，求解线性方程，将特征融合数据S的列向量v_S转换为矩阵形式，得到融合后的图像S；

其中，求解后的列向量v_S为：

Images