CN112733769B - 基于多波段熵率超像素分割的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于多波段熵率超像素分割的高光谱图像分类方法，用于解决现有技术存在的分类精度较低和分类效率较低的技术问题，实现步骤为：(1)对高光谱图像进行多波段熵率超像素分割；(2)获取训练集和测试集；(3)对多分类支持向量机分类器进行训练；(4)获取高光谱图像的分类结果。本发明采用的基于多波段熵率超像素分割的高光谱图像分类方法，充分利用了高光谱图像地物目标的光谱信息和多波段上的空间分布信息，从而有效提高了高光谱图像的分类精度，且分类效率较高，可应用于灾害监测、地质勘探、城市规划、农业和考古等领域。

Description

基于多波段熵率超像素分割的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种高光谱图像分类方法，具体涉及一种基于多波段熵率超像素分割的高光谱图像分类方法，可应用于灾害监测、地质勘探、城市规划、农业和考古等领域。

背景技术

高光谱图像是高光谱成像仪器在不同波长的光谱波段上对图像空间范围内地物目标同时成像得到的三维图像。高光谱图像具有空间信息丰富、光谱信息丰富和图谱合一的特点。基于这些特点，高光谱图像可以实现对地物所属类别进行精确的判断，对人类认识客观世界提供了有利条件。高光谱图像在各方面都具有巨大应用潜力，如：灾害监测、地质勘探、城市规划、农业和考古等。高光谱图像的分类是多种遥感技术应用的重要部分，是高光谱遥感影像处理和应用的一项重要内容。高光谱图像的分类可以对图像空间范围内的不同地物进行精准识别，可以判断出各像素点的地物类别，再进一步进行其它应用。如何提高分类精度和分类效率是高光谱图像分类的重点和难点。衡量高光谱图像分类精度的指标主要有三个：整体正确率(OA)、平均正确率(AA)和卡方系数(KAPPA)。OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。AA表示每一类分类精度的平均值，值越大，说明分类效果越好。KAPPA表示分类结果与真实结果的一致性程度，值越大，说明分类效果越好。

高光谱图像分类的关键在于对图像信息的挖掘。目前代表性的分类方法有基于支持向量机的分类方法和基于深度学习的分类方法。基于支持向量机的高光谱图像分类方法通过最大化类别边界，使得分类结构化风险最小，具有优秀的泛化能力，可以在小样本分类中取得较好的分类结果。基于深度学习的高光谱图像分类方法可以自适应的提取特征，在样本数量充足的情况下可以取得很好的分类结果，得到了研究人员的广泛的应用。

超像素分割是指根据图像的相似纹理、颜色、亮度等特征的相似程度，将图像划分为形状不同的邻域图像块。超像素分割可以很好地提取图像中的空间信息。熵率超像素分割方法的目标函数结合了图像随机游走熵率和平衡项，这种分割方法生成的超像素大小均匀、形状规则，是目前高光谱分类中常用的超像素分割方法之一。

基于支持向量机的高光谱图像分类方法，例如Haoyang Yu等人发表的名称为“Multiscale Superpixel-Level Subspace-Based Support Vector Machines forHyperspectral Image Classification”(IEEE Geoscience and Remote SensingLetters,vol.14,no.11,pp.2142-2146,Nov.2017,doi：10.1109/LGRS.2017.2755061)的论文中，提出了一种基于多尺度超像素子空间的支持向量机的高光谱图像分类方法，该方法通过对高光谱图像进行多尺度超像素分割，提取高光谱图像的空间信息，通过特征融合将原始的高光谱图像以不同比例与分割图集成在一起，输入到基于子空间的支持向量机中进行分类，通过决策融合过程获得分类结果，该方法利用了高光谱图像空间和光谱的相干性，取得了较好的分类精度。然而，该方法仅对高光谱图像整体进行多尺度超像素分割，忽视了高光谱图像不同波段上的空间信息，分类精度还有提升空间。

基于深度学习的高光谱图像分类方法，例如W.Song等人在名称为“HyperspectralImage Classification With Deep Feature Fusion Network”(IEEE Transactions onGeoscience and Remote Sensing,vol.56,no.6,pp.3173-3184,June 2018,doi：10.1109/TGRS.2018.2794326)的论文中提出的基于深度特征融合的高光谱图像分类方法，简称DFFN方法，该方法通过构建深层卷积残差网络对高光谱图像进行特征提取，通过池化层进行对深层卷积残差网络提取的特征进行融合，通过全连接层和softmax分类器对高光谱图像进行分类，该方法可以从高光谱图像的邻域块内提取空间与光谱深度融合的特征，因此取得很好的分类精度。然而，该方法的将邻域块作为分类器的输入，仅能提取到邻域块内的空间与光谱信息，忽视了高光谱图像更大范围的空间信息，分类精度还可以提升，同时，训练深层卷积残差网络需要迭代进行，导致该方法的分类效率较低。

使用熵率超像素分割的高光谱图像分类方法，例如申请公布号为CN 111695467A，名称为“基于熵率超像素分割的自编码器的高光谱图像分类方法”的专利申请，公开了一种基于熵率超像素分割的自编码器的高光谱图像分类方法，简称ERS-SAE方法，实现步骤为：获取高光谱数据训练样本集和测试样本集，构建n层自编码器网络，输入训练样本集，利用损失函数对基于熵率超像素分割的自编码器网络进行训练，输入测试数据集，利用训练后的基于熵率超像素分割的自编码器网络对高光谱图像进行分类。该方法由于引入了熵率超像素分割约束对高光谱图像的空间邻域信息进行挖掘，增强了自编码器学习特征的能力，获得了更加具有辨别力的特征，有效地提高了高光谱图像的分类精度。然而，该方法仅在熵率超像素分割约束下对高光谱图像进行特征提取，没有充分挖掘高光谱图像各个波段上的空间信息，分类精度还有提升的空间，同时，自编码器网络提取特征需要逐层进行，对自编码器网络的训练需要迭代进行，导致该方法的分类效率较低。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于多波段熵率超像素分割的高光谱图像分类方法，用于解决现有技术存在的分类精度和分类效率较低的技术问题。

为实现上述目的，本发明采取的技术方案包括以下步骤：

(1)对高光谱图像进行多波段熵率超像素分割：

(1a)输入一幅包含K类不同地物的高光谱图像

和对应的标签图

其中，K≥2，

表示空间符号，m表示X和Y行像素点个数、n表示X和Y列像素点个数，b表示X的光谱波段数；

(1b)在量化区间[0,L]内对X中第i个光谱波段的二维图像

中每个像素点的值x_p,q进行均匀量化，得到均匀量化后的二维图像X′_i，其中，i∈[1,b]，x_p,q的均匀量化公式为：

其中，x_p,q表示图像X_i第p行第q列像素点的值，p∈[1,m]，q∈[1,n]，x′_p,q表示x_p,q均匀量化的值，min(·)表示取最小值操作，max(·)表示取最大值操作，ceil(·)表示向下取整操作；

(1c)对每个二维图像X′_i进行熵率超像素分割，得到C个超像素U_i＝{u_i1,u_i2,...,u_ij,...,u_iC，}，j∈[1,C]，并将u_ij中所有像素点的值设为j，得到每个二维图像X′_i对应的二维分割标签图像S_i，然后将b个二维分割标签图像组合成分割标签图像

其中，u_ij表示第j个超像素；

(2)获取训练集和测试集：

(2a)对高光谱图像X和分割标签图像S分别进行标准化处理，并对标准化后的X和标准化后的S分别沿光谱维度方向进行降维，得到预处理后的高光谱图像

和

其中，b₁表示X′的通道数，b₂表示S′的通道数，1≤b₁+b₂≤b；

(2b)沿光谱维度方向对X′与S′进行组合，得到组合图像

(2c)采用分层抽样方法从X″中随机抽取w个像素点组成训练集X_train＝{x₁,x₂,...,x_t,...,x_w}，并从标签图Y中取出对应的w个像素点组成训练标签集Y_train＝{y₁,y₂,...,y_t,...y_w}，将X″中剩余的m×n-w个像素点作为测试集X_test，其中，w≤m×n，t∈[1,w]，x_t表示X_train中第t个样本，y_t表示x_t对应的标签，y_t∈[1,K]；

(3)对多分类支持向量机分类器进行训练：

(3a)初始化数量与高光谱图像X地物类别K相同的多二分类支持向量机分类器M＝{M₁,M₂,...,M_k...,M_K}，每个二分类支持向量机分类器M_k的核函数为径向基核函数，其中，k∈[1,K]；

(3b)对训练标签集Y_train中的每个标签y_t进行二值化，得到二值化后的训练标签集

并将X_train和

作为每个二分类支持向量机分类器M_k的输入，通过径向基核函数对X_train中的每两个样本x_t与x_t′进行内积计算，得到内积集合D_train＝{d_t,t′|1≤t≤w,1≤t′≤w}，并通过D_train和

对M_k的支持向量集进行求解，得到训练好的多分类支持向量机分类器M′，其中，d_t,t′表示对x_t与x_t′的内积，x_t′表示X_train中第t′个样本，y_t的二值化公式为：

其中，

表示y_t二值化后的训练标签；

(4)获取高光谱图像的分类结果：

将测试集X_test作为训练好的多分类支持向量机分类器M′的输入进行分类，得到测试集X_test中每个测试样本的标签。

本发明与现有的技术相比，具有以下优点：

第一，本发明对高光谱图像进行多波段熵率超像素分割，不同波段的图像熵率超像素分割结果存在重叠与交错，蕴含了高光谱图像的光谱信息，将多波段熵率超像素分割得到的分割标签图像与高光谱图像预处理后进行组合，实现了对光谱信息与空间信息的结合，可以在每个波段的更大的邻域范围上提取空间信息，充分的保留高光谱图像各个波段上的空间信息，与现有技术相比，对高光谱图像的光谱信息和各个波段的空间信息的利用更充分，有效提高了高光谱图像的分类精度。

第二，本发明获取分类结果使用的多分类支持向量机分类器，是通过求解支持向量集得到的，不需要进行复杂的迭代训练，与现有技术通过训练自编码器网络进行分类相比训练快速、操作简单、易于实现，有效提高了高光谱图像的分类效率。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1，本发明包括如下步骤：

步骤1)对高光谱图像进行多波段熵率超像素分割：

(1a)输入一幅包含K类不同地物的高光谱图像

和对应的标签图

其中，K≥2，

表示空间符号，m表示X和Y行像素点个数、n表示X和Y列像素点个数，b表示X的光谱波段数，本实例中，输入的高光谱图像为Indian Pines高光谱图像，K＝16，m＝145，n＝145，b＝200；

(1b)在量化区间[0,L]内对X中第i个光谱波段的二维图像

中每个像素点的值x_p,q进行均匀量化，得到均匀量化后的二维图像X′_i，其中，i∈[1,b]，x_p,q的均匀量化公式为：

其中，x_p,q表示图像X_i第p行第q列像素点的值，p∈[1,m]，q∈[1,n]，x′_p,q表示x_p,q均匀量化的值，min(·)表示取最小值操作，max(·)表示取最大值操作，ceil(·)表示向下取整操作；

对一副图像进行熵率超像素分割得到的结果是与图像的数值区间相关的，而高光谱图像本身的数值区间过大，直接进行熵率超像素分割得到的超像素过于杂乱，所以要对高光谱图像中像素点的值先进行均匀量化，然后再进行熵率超像素分割，这样得到的超像素大小更均匀、形状更规则，更有利于对分类精度的提高，本实例中，L＝127，；

(1c)对每个二维图像X′_i进行熵率超像素分割，得到C个超像素U_i＝{u_i1,u_i2,...,u_ij,...,u_iC，}，j∈[1,C]并将u_ij中所有像素点的值设为j，得到每个二维图像X′_i对应的二维分割标签图像S_i，然后将b个二维分割标签图像组合成分割标签图像

其中，u_ij表示第j个超像素；

对图像进行熵率超像素分割后得到的超像素个数越多，每个超像素就越小，分类器能从超像素中提取到的空间信息的范围也越小，反之则可以提取到更大范围的空间信息，由于高光谱图像中地物分布在较大空间范围上都具有连续性，所以本实例中C＝50，可以得到较大的超像素块，在较大的空间范围上提取空间信息，而高光谱图像不同波段上记录下的地物分布的空间信息具有差异性，因此对每个波段都进行熵率超像素分割，就可以得到地物在每个波段上的空间信息，有效提高分类精度；

步骤2)获取训练集和测试集：

(2a)对高光谱图像X和分割标签图像S分别进行标准化处理，并对标准化后的X和标准化后的S分别沿光谱维度方向进行降维，得到预处理后的高光谱图像

和预处理后的分割标签图像

其中，b₁表示X′的通道数，b₂表示S′的通道数，1≤b₁+b₂≤b；

高光谱图像X和分割标签图像S中原本的数据量纲和数值的量级都是不同的，分别进行标准化处理后，可以使不同通道上的数据具有相同的量纲，有利于提高分类器的分类效果，同时，高光谱图像X和分割标签图像S的数据都有一定程度的信息冗余，通过数据降维，可以去除一部分冗余信息，提高分类精度与训练效率，本实例中使用主成分分析法沿光谱维度方向进行降维，保留90％的成分，b₁＝2，b₂＝55；

所述的对高光谱图像X和分割标签图像S分别进行标准化处理，标准化公式的表达式为：

其中，x_p,q,i表示高光谱图像X或分割标签图像S第p行第q列第i个波段的值，

σ分别表示X或S中所有元素的均值和标准差；

(2b)沿光谱维度方向对X′与S′进行组合，得到组合图像

(2c)采用分层抽样方法从X″中随机抽取w个像素点组成训练集X_train＝{x₁,x₂,...,x_t,...,x_w}，并从标签图Y中取出对应的w个像素点组成训练标签集Y_train＝{y₁,y₂,...,y_t,...y_w}，将X″中剩余的m×n-w个像素点作为测试集X_test，其中，w≤m×n，t∈[1,w]，x_t表示X_train中第t个样本，y_t表示x_t对应的标签，y_t∈[1,K]，本实例中w＝1024；

步骤3)对多分类支持向量机分类器进行训练：

(3a)初始化数量与高光谱图像X地物类别K相同的多二分类支持向量机分类器M＝{M₁,M₂,...,M_k...,M_K}，每个二分类支持向量机分类器M_k的核函数为径向基核函数，其中，k∈[1,K]，将M_k的核函数设为径向基核函数的目的在于向分类器中引入非线性，并将样本映射到高维空间，提高分类器的分类精度和分类效率；

(3b)由于二分类支持向量机分类器M_k接受的标签只能为两种类别，所以要对训练标签集Y_train中的每个标签y_t进行二值化，得到二值化后的训练标签集

并将X_train和

作为每个二分类支持向量机分类器M_k的输入，通过径向基核函数对X_train中的每两个样本x_t与x_t′进行内积计算，得到内积集合D_train＝{d_t,t′|1≤t≤w,1≤t′≤w}，并通过D_train和

对M_k的支持向量集进行求解，得到训练好的多分类支持向量机分类器M′，其中，d_t,t′表示对x_t与x_t′的内积，x_t′表示X_train中第t′个样本，y_t的二值化公式为：

其中，

表示y_t二值化后的训练标签；

二分类支持向量机分类器M_k求解支持向量集的过程为：首先求解凸二次规划问题，得到最优解α^k*，再选出训练集中所有满足超平面方程

的样本组成M_k的支持向量集，其中，

所述的凸二次规划问题，其表达式为：

其中，α＝[α₁,α₂,...,α_w]是需要优化的参数，α_t、α_t′为α中的分量，c为需要设置的惩罚系数，本实例中c＝100，

为y_t′对应的二值化后的训练标签，y_t′为x_t′对应的标签；

步骤4)获取高光谱图像的分类结果：

将测试集X_test作为训练好的多分类支持向量机分类器M′的输入进行分类，得到测试集X_test中每个测试样本的标签。

下面结合仿真实验，对本发明的技术效果作进一步的描述。

1.仿真条件和内容：

仿真实验使用的硬件平台为Intel Core i5-4210M CPU主频2.6GHz，8G RAM。软件平台为Python3.7。操作系统为window10 x64。

仿真实验中用到的高光谱图像数据集为Indian Pines数据集。该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，图像大小为145×145，具有200个光谱波段，包含16类地物，具体包含：Alfalfa，Corn-Notill，Corn-Mintill，Corn，Grass-Pasture，Grass-Trees，Grass-Pasture-Mowed，Hay-Windrowed，Oats，Soybean-Notill，Soybean-Mintill，Soybean-Clean，Wheat，Woods，Building-Grass-Trees-Drives，Stone-Steel-Towers，仿真实验中对每类地物随机挑选10％的样本组成训练样本集，剩余的90％样本作为测试样本。

对本发明、现有的ERS-SAE方法和现有的DFFN方法在上述仿真条件下进行仿真，利用三个评价指标(总精度OA、平均精度AA、卡方系数KAPPA)对分类结果进行评价，并将每类地物的分类精度和各评价指标的值绘制成表1。

表1

2.仿真结果分析：

从表1的实验结果中可以看出，相对于现有技术，本发明在分类精度上取得了很大的提高。本发明相对于ERS-SAE方法，OA提高了14.15％，AA提高了23.41％,Kappa提高了19.96％，相对于DFFN方法，OA提高了0.13％，AA提高了1.32％,Kappa提高了0.14％。本发明对高光谱图像每个波段进行熵率超像素分割，得到的分割标签图像充分保留了地物目标在各个波段上的空间分布信息，而不同波段的二维分割标签图像存在重叠与交错，这是高光谱图像不同波段光谱差异性的体现，隐含了地物目标的光谱信息，将高光谱图像和分割标签图像预处理后进行组合，然后用于分类，充分利用了高光谱图像的光谱信息和空间信息，因此取得了较高分类精度。另一方面，高光谱图像的数据是连续分布的数值，存在着大量的噪声数据，而经过熵率超像素分割后得到的分割标签数据是离散的，在超像素区域内的分割标签是一致的，因此分类标签图像不仅最大程度地保留了地物目标的空间分布信息，还实现了对高光谱数据的去噪。这些特点都可以提高高光谱图像的分类精度，同时也能增加分类器的鲁棒性。

综上，本发明对高光谱图像进行多波段熵率超像素分割，得到分割标签图像，对高光谱图像和分割标签图像分别进行预处理后进行组合，输入到多分类支持向量机分类器进行分类，充分利用了高光谱图像地物目标的光谱信息和多波段上的空间分布信息，从而有效地提高了高光谱图像的分类精度和分类效率。

Claims (3)

1.一种基于多波段熵率超像素分割的高光谱图像分类方法，其特征在于，包括如下步骤：

(1)对高光谱图像进行多波段熵率超像素分割：

(1a)输入一幅包含K类不同地物的高光谱图像

和对应的标签图

其中，K≥2，

表示空间符号，m表示X和Y行像素点个数、n表示X和Y列像素点个数，b表示X的光谱波段数；

(1b)在量化区间[0,L]内对X中第i个光谱波段的二维图像

中每个像素点的值x_p,q进行均匀量化，得到均匀量化后的二维图像X′_i，其中，i∈[1,b]，x_p,q的均匀量化公式为：

其中，x_p,q表示图像X_i第p行第q列像素点的值，p∈[1,m]，q∈[1,n]，x′_p,q表示x_p,q均匀量化的值，min(·)表示取最小值操作，max(·)表示取最大值操作，ceil(·)表示向下取整操作；

(1c)对每个二维图像X′_i进行熵率超像素分割，得到C个超像素U_i＝{u_i1,u_i2,...,u_ij,...,u_iC，}，j∈[1,C]，并将u_ij中所有像素点的值设为j，得到每个二维图像X′_i对应的二维分割标签图像S_i，然后将b个二维分割标签图像组合成分割标签图像

其中，u_ij表示第j个超像素；

(2)获取训练集和测试集：

(2a)对高光谱图像X和分割标签图像S分别进行标准化处理，并对标准化后的X和标准化后的S分别沿光谱维度方向进行降维，得到预处理后的高光谱图像

和预处理后的分割标签图像

其中，b₁表示X′的通道数，b₂表示S′的通道数，1≤b₁+b₂≤b；

(2b)沿光谱维度方向对X′与S′进行组合，得到组合图像

(2c)采用分层抽样方法从X″中随机抽取w个像素点组成训练集X_train＝{x₁,x₂,...,x_t,...,x_w}，并从标签图Y中取出对应的w个像素点组成训练标签集Y_train＝{y₁,y₂,...,y_t,...y_w}，将X″中剩余的m×n-w个像素点作为测试集X_test，其中，w≤m×n，t∈[1,w]，x_t表示X_train中第t个样本，y_t表示x_t对应的标签，y_t∈[1,K]；

(3)对多分类支持向量机分类器进行训练：

(3a)初始化数量与高光谱图像X地物类别K相同的多二分类支持向量机分类器M＝{M₁,M₂,...,M_k...,M_K}，每个二分类支持向量机分类器M_k的核函数为径向基核函数，其中，k∈[1,K]；

(3b)对训练标签集Y_train中的每个标签y_t进行二值化，得到二值化后的训练标签集

并将X_train和

作为每个二分类支持向量机分类器M_k的输入，通过径向基核函数对X_train中的每两个样本x_t与x_t′进行内积计算，得到内积集合D_train＝{d_t,t′|1≤t≤w,1≤t′≤w}，并通过D_train和

对M_k的支持向量集进行求解，得到训练好的多分类支持向量机分类器M′，其中，d_t,t′表示对x_t与x_t′的内积，x_t′表示X_train中第t′个样本，y_t的二值化公式为：

其中，

表示y_t二值化后的训练标签；

(4)获取高光谱图像的分类结果：

将测试集X_test作为训练好的多分类支持向量机分类器M′的输入进行分类，得到测试集X_test中每个测试样本的标签。

2.根据权利要求1所述的基于多波段熵率超像素分割的高光谱图像分类方法，其特征在于，步骤(2a)中所述的对高光谱图像X和分割标签图像S分别进行标准化处理，标准化公式的表达式为：

其中，x_p,q,i表示高光谱图像X或分割标签图像S第p行第q列第i个波段的值，

σ分别表示X或S中所有元素的均值和标准差。

3.根据权利要求1所述的基于多波段熵率超像素分割的高光谱图像分类方法，其特征在于，步骤(3b)中所述的通过径向基核函数对X_train中的每两个样本x_t与x_t′进行内积计算，计算公式为：

其中，exp(·)表示以e为底数的指数函数，||·||表示求二范数操作，σ表示径向基核函数的作用宽度。

Images