CN112580705B - 一种基于深度前馈网络的高光谱分类方法 - Google Patents

Abstract

本发明公开了一种基于深度前馈网络的高光谱分类方法，该方法利用训练样本分配算法计算每个类别在分类时应分配的训练样本数目；在每层分类网络中，根据各类别已分配的训练样本数目，采用固定训练样本选取方式或随机训练样本选取方式生成训练样本数据集，用于训练分类器；选用支持向量机或卷积神经网络对图像进行初分类，得到初始分类结果；利用边缘保持滤波器提取分类图的空间特征信息，利用训练好的支持向量机对空间特征信息进行再分类；判断是否满足停止条件，若不满足，则通过前馈的方式进入下层网络进行分类，直至最终得到最优的分类结果。该分类框架通过一系列的空间滤波器及前馈操作，有效挖掘了高光谱图像的空间特征信息，改善了初始分类结果。

Description

一种基于深度前馈网络的高光谱分类方法

技术领域

本发明属于高光谱图像分类技术领域，具体涉及一种基于深度前馈网络的高光谱分类方法。

背景技术

目相对于常规遥感，高光谱影像在保留较高空间分辨率的同时，光谱分辨率得到了极大的提高，这使得其无论在描述同类地物的细节方面，还是识别不同类别地物的能力方面都有大幅提高。高光谱图像分类是对高光谱图像中的每个像素进行类别标注。高光谱图像具有大量连续而丰富的光谱信息这一特点，使其被广泛应用于高光谱图像分类，并取得了不错的效果。

近年来，光谱空间分类算法作为一种十分有效的高光谱分类方法，在高光谱图像分类中显示出了巨大的潜力。传统的光谱空间分类方法首先利用光谱分类器对光谱特征信息进行初分类，然后利用一组空间滤波器提取图像空间特征信息进行分类结果优化。另外，同时考虑光谱和空间信息的深度学习神经网络模型，特别是卷积神经网络(CNN)，也得到了广泛地研究。它利用卷积层从视觉感受野捕获空间特征信息，然后通过池化层对空间特征信息进行下采样以获得更高的分类精度。然而，在高光谱图像分类中，这种视觉空间特征信息可能不适用于表征地物类别，特别是小类别。再者，降低图像分辨率还可能导致数据样本的光谱特征信息丢失，导致误分类。此外，卷积神经网络的分类效果在很大程度上依赖于训练样本数目的多少和质量的好坏。但在实际情况下，获取高光谱数据样本的标注耗时、费力、成本巨大，以至于获取大量训练样本信息在实现上非常困难。

发明内容

根据现有技术存在的问题，本发明公开了一种基于深度前馈网络的高光谱分类方法，该方法改善传统技术下高光谱图像分类精度准确率相对较低的状况，具体采用如下方式：

S1：给定一幅高光谱图像和待分配的训练样本总数N^training，根据训练样本分配算法(TSAM)计算各类别所需分配的训练样本数目1≤m≤M，M为类别总数。当网络层数k＝0时，根据/>为每类随机选取训练样本训练支持向量机(SVM)，对高光谱图像进行分类，得到初始分类图/>并计算分类精度P_OA ⁽⁰⁾。

S2：当网络层数k＝1时，对初始分类图进行空间滤波，得到空间滤波图/>根据/>对图像中各个像素点进行类别判定，得到分类图计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件。若，P_OA ⁽¹⁾>P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>

S3：当k>1时，对k-1层得到的分类图1≤m≤M，进行空间滤波，得到空间滤波图/>根据各类所需分配的训练样本数目/>1≤m≤M，采用固定选取训练样本(FTS)或随机选取训练样本(RTS)两种方式，为每类选取训练样本用于训练支持向量机(SVM)。利用SVM分类器对空间滤波图/>进行再分类，得到分类图。最后，计算分类精度P_OA ^(k)，判断是否达到停止条件。若，P_OA ^(k)>P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>

进一步的，所述步骤S1具体为：

给定一幅高光谱图像和待分配的训练样本总数N^training，根据训练样本分配算法(TSAM)计算各类所需分配的训练样本数目1≤m≤M，M为类别总数。当网络层数k＝0时，根据/>为每类随机选取训练样本训练支持向量机(SVM)，对高光谱图像进行分类，得到初始分类图/>并计算分类精度P_OA ⁽⁰⁾。具体过程如下：

深度前馈网络(DFSSCN)利用训练样本分配算法(TSAM)进行训练样本数目的分配。TSAM算法是一种在给定所需训练样本总数的情况下，计算各类别所需分配的训练样本数目的有效手段，该算法实现过程如下：

(1)根据待分配的训练样本总数N^training，计算训练样本数目上限n_average：

其中，M为类别总数。

(2)若(n_m/2)>n_average，则以避免过采样导致其他类别训练样本不足的问题；反之，若(n_m/2)<n_average，则/>以避免欠采样而导致分类精度下降问题。

其中，n_m为第m类数据样本的数目，为TSAM算法为第m类初始分配的训练样本数目。

(3)定义已分配训练样本总数为则/>若/>小于训练样本总数N^training，则计算剩余待分配训练样本数目/>

(4)将剩余待分配训练样本数目随机分配给M个各类别，得到/>1≤m≤M。最终，类别m最终所分配的训练样本数目/>为：

其中，为随机分配给各类的训练样本数目。

计算分类精度P_OA的具体形式为：

其中，N为样本总数，n_mm为地面参考图为第m类，同时被分类为第m类的样本数目，1≤m≤M，M为类别总数。

进一步的，所述步骤S2具体为：

当网络层数k＝1时，对初始分类图1≤m≤M，进行空间滤波，得到空间滤波图/>根据/>对图像中各个像素点进行类别判定，得到分类图/>计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件。若，P_OA ⁽¹⁾>P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之，输出最终分类结果图/>具体过程如下：

当k＝1时，选用边缘保持滤波器(EPF)之一的引导滤波器对进行空间滤波，得到空间滤波图/>

根据利用支持向量机(SVM)对图像中各个像素点进行类别判定，得到分类图/>其中，该层SVM分类器所用训练样本应与k＝0时SVM分类器所用训练样本保持一致。计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件。若，P_OA ⁽¹⁾>P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>

进一步的，所述步骤S3具体为：

当k>1时，对k-1层得到的分类图1≤m≤M，进行空间滤波，得到空间滤波图/>根据训练样本分配算法(TSAM)计算各类所需分配的训练样本数目/>1≤m≤M，M为类别总数。采用固定选取训练样本(FTS)或随机选取训练样本(RTS)两种方式，为每类选取训练样本用于训练支持向量机(SVM)。利用SVM分类器对滤波图进行再分类，得到分类图/>最后，计算分类精度P_OA ^(k)，判断是否达到停止条件。若，P_OA ^(k)>P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类结果/>具体过程如下：

(1)当k>1时，利用边缘保持滤波器(EPF)，例如引导滤波器对k-1层得到的分类图进行空间滤波，得到空间滤波图/>

(2)采用固定选取训练样本(FTS)或随机选取训练样本(RTS)方式，使用SVM分类器对滤波图进行再分类，得到分类图/>其中，FTS/RTS两种训练样本选取方式具体如下：

固定训练样本选取方式(FTS)：随机选取初始训练样本集，然后在整个前馈网络中，固定该初始训练样本集用于训练SVM分类器。

随机训练样本选取方式(RTS)：在每层网络中，随机选取训练样本集用于训练该层SVM分类器。

(3)当k>1时，比较两层分类结果图和/>的分类精度P_OA ^(k-1)和P_OA ^(k)，判断是否达到停止条件。若，P_OA ^(k)>P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>该方法通过比较两次分类图和/>的分类精度大小以确保得到的最终分类结果/>为最优解。

由于采用了上述技术方案，本发明提供了一种基于深度前馈网络的高光谱图像分类方法，该方法利用训练样本分配算法计算每个类别在分类时应分配的训练样本数目；在每层分类网络中，根据各类别已分配的训练样本数目，采用固定训练样本选取方式或随机训练样本选取方式生成训练样本数据集，用于训练分类器；选用支持向量机或卷积神经网络对图像进行初分类，得到初始分类结果；利用边缘保持滤波器提取分类图的空间特征信息，利用训练好的分类器(支持向量机)对空间特征信息进行再分类；判断是否满足停止条件，若不满足，则通过前馈的方式进入下层网络进行分类，直至最终得到最优的分类结果。该分类框架通过一系列的空间滤波器及前馈操作，有效挖掘了高光谱图像的空间特征信息，改善了初始分类结果。同时，从一定程度上解决了高光谱图像训练样本少导致分类精度不高的问题，在高光谱图像地表精细分类等方面具有重要的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中基于深度前馈网络的高光谱分类方法流程图；

图2为本发明一实施例中待分类高光谱数据图像的假彩色合成图像；

图3为本发明一实施例中高光谱数据图像的地物类别标签；

图4为本发明一实施例中高光谱数据图像初始分类图；

图5为本发明一实施例中k＝1时，前馈网络得到的空间滤波图；

图6为本发明一实施例中k＝1时，前馈网络得到的分类图；

图7为本发明一实施例中k＝2时，前馈网络得到的空间滤波图；

图8为本发明一实施例中k＝7时，前馈网络输出的最终分类图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于深度前馈网络(DFSSCN)的高光谱分类方法，具体步骤包括：

步骤101、给定一幅高光谱图像和待分配的训练样本总数，根据训练样本分配算法计算各类别所需分配的训练样本数目。当网络层数k＝0时，根据各类别所需分配的训练样本数目为各类随机选取训练样本，对高光谱图像进行分类，得到初始分类图。具体而言，训练样本总数为N^training，各类别所需分配的训练样本数目为1≤m≤M，M为类别总数。各类别所需分配的训练样本数目和分类精度的计算过程具体如下：

深度前馈网络(DFSSCN)利用训练样本分配算法(TSAM)进行训练样本数目的分配。TSAM算法是一种在给定所需训练样本总数的情况下，计算各类别所需分配的训练样本数目的有效手段，该算法实现过程如下：

(1)根据待分配的训练样本总数N^training，计算训练样本数目上限n_average：

其中，M为类别总数。

(2)若(n_m/2)>n_average，则以避免过采样导致其他类别训练样本不足的问题；反之，若(n_m/2)<n_average，则/>以避免欠采样而导致分类精度下降问题。

其中，n_m为第m类数据样本的数目，为TSAM算法为第m类初始分配的训练样本数目。

(3)定义已分配训练样本总数为则/>若/>小于训练样本总数N^training，则计算剩余待分配训练样本数目/>

(4)将剩余待分配训练样本数目随机分配给M个各类别，得到/>1≤m≤M。最终，类别m最终所分配的训练样本数目/>为：

其中，为随机分配给各类的训练样本数目。

计算分类精度P_OA的具体形式为：

其中，N为样本总数，n_mm为地面参考图为第m类，同时被分类为第m类的样本数目，1≤m≤M，M为类别总数。

步骤102：当网络层数k＝1时，对初始分类图进行空间滤波及分类，得到分类图。计算分类精度，判断是否达到停止条件。若满足，则进入下一层前馈网络；反之，输出最终分类图。

具体而言，k＝1时，选用边缘保持滤波器(EPF)之一的引导滤波器对进行空间滤波，得到空间滤波图/>

根据利用支持向量机(SVM)对图像中各个像素点进行类别判定，得到分类图/>其中，该层SVM分类器所用训练样本应与k＝0时SVM分类器所用训练样本保持一致。计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件。若，P_OA ⁽¹⁾>P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>

步骤103：当k>1时，对k-1层得到的分类图进行空间滤波。根据各类所分配的训练样本数目，采用固定选取训练样本(FTS)或随机选取训练样本(RTS)两种方式为每类选取训练样本。利用分类器对滤波图进行再分类，得到分类结果。最后，计算分类精度，判断是否达到停止条件。若满足，则进入下一层前馈网络；反之，输出最终分类图。

具体而言，(1)当k>1时，选用边缘保持滤波器(EPF)之一的引导滤波器对进行空间滤波，得到空间滤波图/>

(2)采用固定选取训练样本(FTS)或随机选取训练样本(RTS)两种方式，使用支持向量机(SVM)对滤波图进行再分类，得到分类图/>其中，FTS/RTS两种训练样本选取方式具体如下：

固定训练样本选取方式(FTS)：随机选取初始训练样本集，然后在整个前馈网络中固定该初始训练样本集用于每层训练SVM分类器。

随机训练样本选取方式(RTS)：在每层网络中，随机选取训练样本集用于训练该层SVM分类器。

(3)当k>1时，比较两层分类结果图和/>的分类精度P_OA ^{(k -1)}和P_OA ^(k)，判断是否达到停止条件。若，P_OA ^(k)>P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>该方法通过比较两次分类结果图和/>的分类精度大小以确保得到的最终分类结果/>为最优解。

实施例

本发明实施的基于深度前馈网络的高光谱分类方法的具体步骤如下：

A.样本数据来源：高光谱数据来源于Purdue大学提供的美国印第安州IndianPine实验区的高光谱数据，该数据拥有220个波段，尺寸大小为145×145×220。共包含16类目标地物，目标像元总数共计10249。其假彩色合成图像如图2所示，地物类别标签如图3所示。

表1显示了每类目标地物的样本数目：

表1

B.首先，设置训练样本采样率为5％。在目标像元总数为10249的条件下，按照公式(1)计算待分配样本训练总数然后，利用训练样本分配算法(TSAM)计算各类所需分配的训练样本数目：

(1)根据待分配的训练样本总数513，计算训练样本数目上限

(2)若第m类数据样本的数目n_m与训练样本数目上限n_average之间的关系满足(n_m/2)>n_average，则初始分配训练样本数目以避免过采样导致其他类别训练样本不足的问题；反之，若(n_m/2)<n_average，则/>以避免欠采样而导致分类精度下降问题。基于此，表2为各类别分配的实际样本数目：

表2

(3)计算已分配训练样本总数由于/>(463)小于训练样本总数N^training(513)，因此，得到剩余待分配训练样本数目

(4)将剩余待分配训练样本数目(50)随机分配给各类别。

表3为TSAM算法为各类别分配的最终训练样本数目。

表3

C.利用深度前馈网络(DFSSCN)对高光谱数据Indian Pine进行分类，此处将支持向量机(SVM)作为初始分类器；在各层网络中，利用随机训练样本选取方式(RTS)训练分类器。

k＝0时，训练样本分配算法(TSAM)计算的各类所需分配的训练样本数目1≤m≤M，M为类别总数。如表3所示。根据/>为每类随机选取训练样本，训练SVM分类器。对高光谱图像进行分类，得到初始分类图，如图4所示。按照公式(4)计算初始分类精度P_OA ⁽⁰⁾＝0.7338。

k＝1时，对初始分类图进行空间滤波，得到空间滤波图，如图5所示。根据滤波图，利用随机训练样本选取方式(RTS)训练SVM分类器，对图像中的各个像素点进行类别判定，得到分类图，如图6所示。根据公式(4)，计算分类精度P_OA ⁽¹⁾＝0.9154。由于P_OA ⁽¹⁾>P_OA ⁽⁰⁾，不满足停止条件，所以k＝k+1＝2，进入下一层前馈网络。

k＝2时，对第k＝1层分类图进行空间滤波，得到空间滤波图，如图7所示。相似地，根据滤波图对图像中的各个像素点进行类别判定，得到分类图。按照公式(4)计算分类精度P_OA ⁽²⁾＝0.9451，若不满足停止条件，则k＝k+1，进入下一层前馈网络。若满足，则算法结束，输出最终分类结果。以此类推。

本实施例在k＝7，即网络层数为7，共进行了6次前馈操作时，(P_OA ⁽⁷⁾＝0.9640)<(P_OA ⁽⁶⁾＝0.9671)，满足停止条件，输出最终分类图，如图8所示。

本实施例针对不同初始分类器，即支持向量机(SVM)和卷积神经网络(CNN)、不同训练样本选择方式，即固定选取训练样本(FTS)和随机选取训练样本(RTS)分别进行了实验和分析，以验证深度前馈网络(DFSSCN)在高光谱图像分类上的有效性。

表4为SVM作为初始分类器，深度前馈网络(DFSSCN)各层根据固定训练样本选取方式(FTS)和随机训练样本选取方式(RTS)得到的5次分类结果的平均值和方差；表5为CNN作为初始分类器，DFSSCN各层根据FTS和RTS得到的5次分类结果的平均值和方差。表中P_A(C_m)、P_PR(C_m)、P_AA、P_OA、P_APR、P_OPR和Time分别代表第m类目标的单类精度、单类准确度、平均分类精度、整体分类精度、平均分类准确度、整体分类准确度和运行时间，具体计算方式如下：

其中，M为类别总数；C_m为第m类，m为类别号，1≤m≤M；N为图像中所有目标像元的总数目；n_m为地物标签信息为第m类的像元数目；n_mm为地物标签信息为第m类，也分类为第m类的像元数目；分类为第n_m类的像元数目；/>为分类为第m类，地物标签信息也为第m类的像元数目。

表4

表5

通过上述表4和表5，得到以下四点结论：

(1)第1层分类结果优于第0层分类结果。也就是说，加入空间信息可以有效改善分类结果。

(2)无论是支持向量机(SVM)作为初始分类器，还是卷积神经网络(CNN)作为初始分类器输入到深度前馈网络(DFSSCN)，深度前馈网络的最终分类精度(最终层)都比原始分类器的分类精度(第0层)高。当初始分类器为SVM时，深度前馈网络的最终分类精度比初始分类精度高17％左右；当初始分类器为CNN时，深度前馈网络的最终分类精度比初始分类精度大约高9％。证明任何分类器经过深度前馈网络分类框架都能改善分类结果，提升分类精度。

(3)随机选取训练样本(RTS)精度优于固定选取训练样本(FTS)。当初始分类器为支持向量机(SVM)时，观察到RTS的整体分类精度(P_OA)要比FTS的P_OA高0.9％左右。当初始分类器为CNN时，RTS的P_OA比FTS的P_OA大约高2.6％。这说明，随机采样方式优于固定采样方式。原因是随机采样可以有效地增加训练样本的多样性，提高后续分类器的分类性能。

(4)结合随机选取训练样本(RTS)的前馈网络(RTS-DFSSCN)时间复杂度低于结合固定选取训练样本(FTS)的前馈网络(FTS-DFSSCN)。当初始分类器固定为SVM时，RTS-DFSSCN运行时间比FTS-DFSSCN要少5秒左右。当初始分类器为CNN时，RTS-DFSSCN所用时间要比FTS-DFSSCN少大约12秒。这充分验证了RTS-DFSSCN是一种简单而有效的分类框架。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于深度前馈网络的高光谱分类方法，其特征在于包括：

选取一幅高光谱图像读取其中的像素点设置为训练样本，并设置待分配的训练样本总数，采用训练样本分配算法计算各类别所需分配的训练样本数目，对高光谱图像进行分类得到初始分类图；

当网络层数k＝1时，对初始分类图进行空间滤波和分类处理得到分类图，计算分类精度，判断是否达到停止条件，若满足，则进入下一层前馈网络，反之则输出最终分类图；

当k＞1时，对k-1层得到的分类图进行空间滤波，根据各类别所分配的训练样本数目，采用固定选取训练样本或随机选取训练样本两种方式为每类别选取训练样本，对滤波结果进行再分类，得到分类图，再计算分类精度，判断是否达到停止条件，若满足则进入下一层前馈网络，反之则输出最终分类图；

当网络层数k＝1时，对初始分类图1≤m≤M，进行空间滤波，得到空间滤波图/>根据/>对图像中各个像素点进行类别判定，得到分类图计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件，若，P_OA ⁽¹⁾＞P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之输出最终分类图/>

当k＝1时，选用边缘保持滤波器(EPF)之一的引导滤波器对进行空间滤波得到空间滤波图/>

根据利用支持向量机(SVM)对图像中各个像素点进行类别判定，得到分类图/>其中该层SVM分类器所用训练样本应与k＝0时SVM分类器所用训练样本保持一致，计算分类精度P_OA ⁽¹⁾，判断是否达到停止条件，若P_OA ⁽¹⁾＞P_OA ⁽⁰⁾，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>

当k＞1时，对k-1层得到的分类图1≤m≤M，进行空间滤波，得到空间滤波图/>

根据各类所分配的训练样本数目1≤m≤M，采用固定选取训练样本选取或随机训练样本选取方式为每类选取训练样本训练支持向量机，利用SVM分类器对空间滤波图/>进行再分类，得到分类图，计算分类精度P_OA ^(k)，判断是否达到停止条件，若，P_OA ^(k)＞P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图该过程如下：

当k＞1时，选用边缘保持滤波器(EPF)之一的引导滤波器对进行空间滤波，得到空间滤波图/>

采用固定选取训练样本或随机选取训练样本方式，使用支持向量机对滤波图进行再分类，得到分类图/>

固定训练样本选取方式为：随机初始训练样本集，在整个前馈网络中固定该初始训练样本集用于训练每层SVM分类器；

随机训练样本选取方式为：在每层网络中，随机选取训练样本集用于训练该层SVM分类器；

当k＞1时，比较两层分类结果图和/>的分类精度P_OA ^(k-1)和P_OA ^(k)，判断是否达到停止条件，若P_OA ^(k)＞P_OA ^(k-1)，则k＝k+1，进入下一层前馈网络；反之，输出最终分类图/>该方法通过比较两次分类结果图/>和/>的分类精度大小以确保得到的最终分类结果/>为最优解。

2.根据权利要求1中所述高光谱分类方法，其特征还在于：读取一幅高光谱图像和待分配的训练样本总数N^training，根据训练样本分配算法计算各类别所需分配的训练样本数目1≤m≤M，M为类别总数，当网络层数k＝0时，根据/>为每类随机选取训练样本训练支持向量机(SVM)，对高光谱图像进行分类，得到初始分类图/>并计算分类精度P_OA ⁽⁰⁾；

采用训练样本分配算法对训练样本数目进行分配：

根据待分配的训练样本总数N^training，计算训练样本数目上限n_average：

其中，M为类别总数；

若(n_m/2)＞n_average，则反之，若(n_m/2)＜n_average，则/>其中，n_m为第m类数据样本的数目，/>定义为训练样本分配算法为第m类初始分配的训练样本数目；

定义已分配训练样本总数为则/>若/>小于训练样本总数N^training，则计算剩余待分配训练样本数目/>

将剩余待分配训练样本数目随机分配给M个各类别，得到/>1≤m≤M，则m最终所分配的训练样本数目/>为：

其中，为随机分配给各类的训练样本数目；

计算分类精度P_OA的具体形式为：

其中，N为样本总数，n_mm为地面参考图为第m类，同时被分类为第m类的样本数目，1≤m≤M，M为类别总数。