CN109002771A - 一种基于递归神经网络的遥感图像分类方法 - Google Patents

Abstract

本发明提供了一种基于递归神经网络的遥感图像分类方法。该方法可以把遥感图像转换为图像序列，从而同时考虑了光谱与空间信息，获得较高的分类精度。该发明的主要步骤包括：对获取的遥感图像，首先获取训练样本数据；对遥感图像依据设定的窗口大小，分别按照右上、右下、左上、左下等四个方向提取图像块；把提取的图像块按照一定的规则展平为图像的序列数据；把序列化的数据分别输入到一个递归神经网络中，设定好递归神经网络的参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练；最后基于训练得到的递归神经网络模型，对所有待处理的图像像素序列进行分类，得到最终的分类结果。

Description

一种基于递归神经网络的遥感图像分类方法

技术领域

本发明涉及遥感图像处理技术，具体的说，涉及一种基于递归神经网络的遥感图像分类方法，该方法可以对多光谱以及高光谱光学遥感图像，提取其空间结构信息，并结合光谱信息进行图像分类，获得较好的分类结果。

背景技术

遥感技术目前被广泛应用于森林资源规划、农作物估产、环境评估、灾害监测等领域。遥感图像分类技术是把所获取的遥感图像从数据转换为信息的关键步骤。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系，通过人机交互或者实地野外考察的方式获得各个类别的训练样本，并基于训练样本对所采用的分类器进行训练；然后基于训练好的分类器对待分类的其它遥感图像进行分类。而目前常用的监督分类方法主要包括最大似然分类器、神经网络分类器、支持向量机分类器、随机森林分类器，以及近几年来大热、受到广泛使用的深度学习技术。

国外学者Krizhevsky A.在机器学习领域的顶级会议2012 Conference onNeural Information Processing Systems(NIPS)发表的AlexNet工作在经典的图像识别任务上取得重大突破，比传统基于支持向量机的识别率提高接近10％，引起了学术界以及工业界再次对经典的神经网络的极大兴趣。在学术界，神经网络在20世纪80年代是一个主流的机器学习流派。但是，由于当时缺乏足够的训练数据以及相对比较弱的计算能力，对多层神经网络的训练及其困难，训练时间过长，并往往会产生过拟合的分类网络，因而在实际应用中的识别效果并不好。近年来，具有足够大数据量、具有类别标记的图像数据集的出现(如ImageNet等)，以及显卡GPU计算能力的增强，使得能够在可以接受的时间里对多层神经网络训练出好的网络模型参数。AlexNet是一种称为卷积神经的网络结构。卷积神经网络最基本的处理单元，包含：卷积层、池化层以及全连接层。卷积层对窗口内的图像进行卷积操作，提取从低层次到高层次的、具有不同抽象表达能力的特征；池化层典型的操作包括取平均值或取最大值，是对提取特征的进一步抽象；全连接层是将卷积层和池化层的输出使用向量堆叠起来，形成一层或多层全连接层，实现高阶的推导能力。AlexNet取得巨大成功后，后续研究者又在增加网络层数、网络组织结构、网络优化方法等各方面广泛研究，又出现了GoogleNet,VGGNet等具有影响力的卷积神经网络。研究人员并把设计好的网络结构，以及已经训练好的网络模型参数进行公开，供后续的研究人员直接使用，或者针对自己的数据集进行参数的调整优化，极大地推动了行业的发展。

以AlexNet,GoogleNet,VGGNet等代表的卷积神经网络通过二维卷积的设置适用于自然场景图像的处理，并进一步被应用于遥感图像处理。除卷积神经网络之外，另一种广泛使用的网络结构是递归神经网络，该网络被广泛应用于自然语言处理，处理序列型的数据(例如一句话是由单词序列组成的)，如词向量表达，机器翻译等。序列数据往往以时间先后为序进行组织。该模型最大的优势是能够对序列数据之间的相关性建模，从而能够较好的刻画自然语言处理中时间相关关系。尽管在自然语言处理中获得极大成功，该模型在遥感图像处理中的应用鲜有研究。其主要原因在于递归神经网络天然适用于序列数据的处理，如何把单景遥感图像以序列型数据进行表示成为关键点。Mou等2017年把高光谱图像上百个波段每个波段看成序列中的一个元素，形成一个具有上百个元素的序列数据，并进行分类，初步试验取得了不错的结果(Mou等，Deep recurrent neural networks forhyperspectral imageclassification.IEEE Transactions on Geoscience and RemoteSensing,55(7),3639-3655,2017)。该方法的不足之处在于无法对遥感图像中的空间信息进行提取。而在遥感图像处理中，空间信息，即图像中像素的不同空间组合，对遥感图像分类具有重要影响。

本专利的主要思路是把遥感图像看成局部图像块组成的序列数据，利用递归神经网络对序列数据相关性建模的能力，捕捉遥感图像的空间相关关系。具体而言，本专利提出了一种基于递归神经网络的遥感图像分类方法：针对遥感图像准确分类的需求，以提取遥感图像中的空间信息为技术手段，本专利所提出的方法，其核心是提取图像的多个邻域窗口并把邻域窗口数据进行空间序列化操作，得到序列型的数据，并使用递归神经网络进行分类。该技术方法可以利用已有的遥感图像以及样本信息，训练分类器，并进而获得准确的遥感图像分类结果，把遥感数据转换为信息产品，从而为遥感监测等应用提供信息支持。

发明内容

本发明的目的是提供一种基于递归神经网络的遥感图像分类方法。

本发明的基本思路为：对获取的遥感图像，首先获取训练样本数据；对遥感图像依据设定的窗口大小，把遥感图像转化为序列化的表示方式；设定好递归神经网络的参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练；最后基于训练得到的神经网络模型，对所有待处理的图像像素序列进行分类，得到最终的分类结果。

本发明的技术方案提供的一种基于递归神经网络的遥感图像分类方法，其特征在于包括以下实施步骤：

A对待分类的遥感图像依据样本采样策略进行样本的采集；

B对遥感图像分波段进行量化值的重新映射；

C根据待处理遥感图像的空间分辨率，设定空间序列化处理的窗口大小；根据选定的空间序列化窗口大小，读取四个方向的图像块；对每个图像块进行展平处理；

D对每个方向展平的图像块序列分别输入一个递归神经网络；每个递归神经网络的输出进行求和，并最后连接到一个softmax层；设定递归神经网络的模型参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练，得到稳定的递归神经网络模型；

E对所有待处理的像素序列，使用步骤D获得的递归神经网络进行分类，得到最终的分类结果。

上述实施步骤的特征在于：

步骤A中样本采样策略一般根据不同的辅助信息(如不同的生态分区、不同的地表覆盖类型等)采用分层采样策略，或者采用其他方式获得训练样本数据。不同类别的样本数量需要保持一个合适的比例，样本的数量与质量对后续的网络模型的训练具有重要影响。

步骤B中所述的量化值的重新映射是指，对原始的图像量化值(如8比特情况，0-255)重新映射到0-1之间；对不同的波段，分别进行映射处理，即各个波段上的最大值映射到1，而其它值相应映射到0-1之间；这种映射处理对后续的神经网络的训练过程是及其有益的。

步骤C中所述的窗口大小，一般选取奇数大小的窗口如3×3,5×5,7×7,9×9,11×11等。窗口大小不应过大，需要根据遥感图像的空间分辨率以及应用需求而定。窗口大小选取的一般原则是：窗口范围的图像像素尽量应该满足为同一种地物类型。

步骤C中所述的把传统的遥感图像数据转换为序列化的表示方式，是指：对待处理的像素，分别以该像素作为右下角、左下角、左上角、右上角像素读取奇数窗口大小的图像块，得到四个窗口的图像块；然后对四个窗口的图像块分别进行展平操作；展平过程的基本规则为：在每个图像块内，从待处理像素对角线上的像素为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行。

通过展平操作，得到一维的像素序列，而像素序列中的每个像素仍保持原有的波段数目，即得到一个由高维向量组成的像素序列(序列中每个元素为一个像素，每个像素具有原始的图像的波段数目)；把展平得到的一维像素序列作为待处理像素具有空间结构信息的表示方式。

对于图像边缘处的像素进行空间序列化表示的时候，需要注意边界处理策略。可以选用中心对称的方式进行图像的“扩边”处理。

步骤D是指，选用递归神经网络+softmax层的网络模型，设定好递归网络层的隐含单元的数目，批处理的大小，迭代的次数等。优化算法可以选用常规的随机梯度下降算法以及最新的各种变体算法；不同优化算法一般需要通过比较试验进行选择。

步骤D中得到稳定的递归神经网络模型是指分类误差稳定地小于某个值后，即可以认为网络模型比较稳定，网络的参数基本比较稳定。

步骤E是指，利用步骤D中训练得到的递归神经网络模型，输入待处理像素的步骤C中所得到的序列化表示，输出分类类别信息，完成分类过程。

本发明与现有技术相比有如下特点：该基于递归神经网络的遥感图像分类算法充分利用了目前能够对序列数据进行建模的递归神经网络模型，通过对局部窗口的图像进行空间序列化处理，进而捕获了对遥感图像分类具有重要作用的空间结构信息，从而一体化地处理遥感图像的光谱与空间结构信息，进而获得较好的分类效果。

附图说明：

附图1是一种基于递归神经网络的遥感图像分类方法流程图

附图2是所提出的基于递归神经网络的遥感图像分类方法的细节图

附图3是所采用的递归神经网络模型的示意图

附图4是分类结果示意图

具体实施方式：

采用本发明实现一种基于递归神经网络的遥感图像分类方法的实施例如附图1、图2所示，现结合附图对其进行描述。

处理单元100对获取的遥感图像(主要指多光谱以及高光谱遥感图像，本实例中为高光谱遥感图像，波段数目N＝103；分类类别C＝9)的量化值，重新线性映射到[0,1]之间；该数据的重新映射对后续的神经网络参数的学习具有较大的影响。

处理单元101对处理单元100中图像的每个像素，分别以其作为右下角、左下角、左上角、右上角像素读取奇数窗口大小(如3×3,5×5,7×7等)的图像块，得到四个窗口的图像块；分别把四个图像块按照一定的规则进行“展平”(展开规则请参考处理单元200)；展开后的像素序列构成了待处理像素的空间结构信息。更详细的细节请参见图2。

处理单元102把图像数据以及样本信息输入到递归神经网络模型(采用LongShort-Term Memory(LSTM)模型，即长短期记忆网络，其为递归神经网络中目前使用较多的一个模型，该模型的示意图参见图3)。根据已有的数据设定合适的模型参数，如LSTM层数、隐藏层中单元数目等，以及优化算法，进行网络参数的训练。

处理单元200对于待处理的图2中遥感图像中的像素“9”，分别以该像素作为右下角、左下角、左上角、右上角像素读取奇数窗口3×3的图像块，得到四个窗口的图像块(分别对应处理单元200从上到下的四个图像块)；在每个图像块中，标记为“9”的为待处理的同一个像素，其它标记为其空间上相邻的其它像素。

处理单元201为处理单元200得到的四个图像块的“展平”过程。展平过程的基本规则为：从待处理像素(标记为“9”)对角线上的像素(在每个图像块中都标记为“1”；但需注意不同图像上标记为“1”的像素并不是同一个像素)为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行。该展平规则都是把待处理的像素作为图像序列的最后一个像素，周围的像素提供了理解待处理像素的空间结构信息。处理单元200中每个图像块中的数字标记出了读取每个像素的顺序，得到序列长度T＝9的像素序列。处理单元200得到的输入递归神经网络的数据维度为：样本数目×序列长度×图像光谱波段数目，即样本数目×9×103。

处理单元202为常用的一种递归神经网络LSTM的示意图，详见图3。处理单元201的每个图像序列数据分别输入到一个LSTM网络中。而每个LSTM输出的隐含层维度设为128。

处理单元203对每个LSTM的输出结果进行求和，其目的是通过累加各个图像块对待处理像素的信息影响，进而获得从不同方向对待处理像素整体的影响；并进一步把累加的结果输入到处理单元204中的softmax层。

处理单元204为softmax层，该层输出各个类别的归一化的概率；进而可以取概率最大的类别作为最后的类别，并进行输出结果。

本发明的一个实例在PC平台上实现，经实验验证，所提出的专利，通过遥感图像的空间序列化操作，并进而使用递归神经网络进行网络模型的训练，分类结果可靠(如图4所示)，能够满足遥感监测的应用需求。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。

Claims (5)

1.一种基于递归神经网络的遥感图像分类方法，其特征在于包括以下实施步骤：

A对待分类的遥感图像依据样本采样策略进行样本的采集；

B对遥感图像分波段进行量化值的重新映射；

C根据待处理遥感图像的空间分辨率，设定空间序列化处理的窗口大小；根据选定的空间序列化窗口大小，读取四个方向的图像块；对每个图像块进行展平处理；

D对每个方向展平的图像块序列分别输入一个递归神经网络；每个递归神经网络的输出进行求和，并最后连接到一个softmax层；设定递归神经网络的模型参数，并选用合适的最优化算法，基于样本数据进行神经网络的训练，得到稳定的递归神经网络模型；

E对所有待处理的像素序列，使用步骤D获得的递归神经网络进行分类，得到最终的分类结果。

2.根据权利要求1所述的方法，其特征在于步骤C中所述的四个方向的图像块是指分别以待处理像素作为右下角、左下角、左上角、右上角像素读取奇数窗口的图像块。

3.根据权利要求1所述的方法，其特征在于步骤C中所述的对每个图像块进行展平处理，展平的顺序为：在每个图像块内，从待处理像素对角线上的像素为起始点，逐行进行展平，在行内按照朝向待处理像素的方向进行。

4.根据权利要求1所述的方法，其特征在于步骤D中是把每个方向展平的图像块序列分别输入了一个递归神经网络，即四个图像块序列输入到四个不同的递归神经网络。

5.根据权利要求1所述的方法，其特征在于步骤D中每个递归神经网络的输出先进行求和操作，然后再连接到一个softmax层。