CN107358176A - 基于高分遥感影像区域信息和卷积神经网络的分类方法 - Google Patents

Abstract

本发明公开了一种基于高分遥感影像区域信息和卷积神经网络的分类方法。针对卷积神经网络用于遥感影像分类使用固定大小窗口遍历时，影像采样窗口数量过多，导致的分类效率低下问题，本文提出一种基于影像区域特性的采样窗口确定方法，提高分类效率。首先对影像过分割得到影像的区域信息，在区域中按一定准则确定采样窗口，然后将采样窗口数据送入卷积神经网络进行分类，分类结果即为对应区域的分类结果。本发明针对现有方法在高分辨率遥感影像中的局限性，将深度学习中的卷积神经网络模型引入，使其提取影像特征，为遥感影像分类提供了新的技术方案，提高了分类的精度和效率。

Description

基于高分遥感影像区域信息和卷积神经网络的分类方法

技术领域

本发明属于遥感影像数字图像处理领域，具体涉及一种基于高分辨率遥感影像区域信息和卷积神经网络的分类方法。

背景技术

高分辨率遥感影像分类是遥感影像理解的重要环节，也是遥感应用的关键技术之一。影像分类是影像理解的基本任务。随着相关技术的发展，遥感影像中包含的信息越来越多，地物类别之间的描述信息更为丰富。研究如何快速有效地实现高分辨率影像分类重要意义。分类方法的关键在于不同地物类型特征的提取，在特征的基础上实现分类。高分影像中存在的异物同谱和同物异谱现象使得现有的一些方法在对高分辨率影像分类时有很大的局限性。卷积神经网络(convolution neural network，CNN)是一种深度学习结构。卷积神经网络模拟生物视觉系统分层处理信息的机理，通过学习的方法得到数据特征。数据在网络中经过逐层抽象，卷积神经网络组合数据的局部特征后可得到描述数据的全局特征。卷积神经网络只需输入图像数据，使自动提取数据特征成为可能，减少了手动设计的特征需要特定领域相关背景知识的困扰。另外，卷积神经网络提取的特征，相对于人工设计的特征，在图像分类和目标识别等领域的表现更优。

此外，现有基于卷积神经网络的分类方法需要首先确定目标在影像中可能出现的位置，然后在该位置开一个窗口，最终根据窗口内的数据确定目标的类别。遥感影像分类需确定每个像素的类别，因此要以每个像素为中心开窗获取数据确定当前像素的类别。这种处理导致计算效率低下，窗口大小选择不合适也会显著影响分类性能。

由上述可知，对高分辨率遥感影像分类是一项充满挑战的任务，现有技术有很大局限性，无法对高分辨率影像进行快速有效分类。

发明内容

针对现有技术存在的不足，本发明提供了一种更为快速有效的高分影像分类方法。

为解决上述技术问题，本发明采用如下的技术方案：

基于高分遥感影像区域信息和卷积神经网络的分类方法，包括训练阶段和分类阶段，其中训练阶段具体包括如下步骤：

步骤1.1，随机生成卷积神经网络中各层连接的权值w_j和偏置b_j，其中j＝1,2,...,L，j为网络层索引；

步骤1.2，将训练图像及其对应标签送入卷积神经网络进行训练，得到网络输出与标签的偏差后，将该偏差逐层反向得到各层的偏差，并对神经网络的权值和偏置进行更新，从而得到卷积神经网络模型；

分类阶段具体包括如下步骤：

步骤2.1，使用均值漂移方法过分割高分辨率遥感影像，得到遥感影像的区域分割结果；

步骤2.2，在区域分割的结果中选取影像块，将影像块送入步骤1.2中的卷积神经网络模型进行分类，影像块的分类结果即为区域的分类结果，实现方式如下，

记均值漂移法分割后其中的第i个区域像素数目为P_i，区域的外接矩形总像素数为R_i，第i个区域的窗口采样影像大小为M×M的窗口影像数据，像素数目为C_i；每个区域至少包含的像素数为N_p，C_i中第i个区域的像素在窗口总像素比为w，设定最小比为w₀；

1)若P_i≤N_p，以区域中心像素为中心的M×M窗口影像作为卷积神经网络模型输入，输出作为该区域的分类结果；

2)若P_i＞N_p，取M×M窗口，并以区域外接矩形左上角的坐标为窗口左上点坐标，若w＞w_o，取该窗口影像为窗口采样影像；否则，向下或向右滑动M×M窗口，直至w＞w_o，若遍历区域后窗口采样影像中均不满足w＞w_o，则取w最大的M×M窗口的影像数据作为窗口采样影像，输入卷积神经网络模型，将输出作为区域的分类结果；

步骤2.3，对高分辨率遥感影像的每个区域进行步骤2.2的处理，得到整幅影像的分类结果。

而且，所述步骤1.2中训练图像及其对应标签通过如下步骤获得，

a.以M×M大小的窗口在高分辨率遥感影像与其对应真实类别图上滑动，固定步长，得到小块影像集S₁和对应类别集合L₁；

b.给定小块影像类别标签；首先统计小块影像集S₁中每小块影像中每类的像素个数n_k，记小块影像总像素为N，类别标签为1,2,...,k,...K共K种类别；若存在n_k＞0.6N，则该小块影像的类别标签为k，若不存在符合条件的n_k，则将该小块影像舍弃，得到数据集D₁；

c.按上述步骤a中M×M小块影像为中心取2M×2M窗口的影像，相对该窗口影像依次旋转θ∈{30°,60°,90°,120°,150°,180°}后，分别取中心M×M窗口影像，得到小块影像集S₂和对应类别集合L₂；

d.在S₂中重复步骤b，得到数据集D₂；

e.扩增数据集；将D＝D₁∪D₂中的影像都缩放到256×256像素，取每块影像的左上，右上，左下，右下，中心以及对应水平翻转影像，共十个窗口的数据作为训练样本，窗口大小为224×224。

而且，所述训练阶段中，使用反向传播和随机梯度下降的方法对神经网络的权值和偏置进行更新。

而且，所述步骤2.2中w₀＝0.6。

本发明的基于影像区域信息的影像分类方法，利用深度学习中的卷积神经网络模型，更新卷积网络模型的参数。在对影像分类时引入影像包含的区域信息，在区域中选取影像块进行分类，提高了遥感影像的分类效率。

和现有技术相比，本发明具有如下优点和显著效果：

(1)针对现有方法在高分辨率遥感影像中的局限性，将深度学习中的卷积神经网络模型引入，使其提取影像特征，为遥感影像分类提供了新的技术方案。

(2)引入遥感影像的区域信息，从区域分割的结果中选取影像块进行分类，有效提高了遥感影像的分类效率。

附图说明

图1为本发明实施例流程图。

图2为本发明实施例中待分类影像及其对应类别标记图，其中，2(a)为待分类影像，2(b)为待分类影像对应的类别标记图。

图3为本发明实施例中待分类影像使用均值漂移法得到的区域结果示例。

图4为本发明实施例中分类时样本选择流程及示例图，其中，4(a)为分类时样本选择流程图，4(b)为样本选择示例图。

图5为本发明实施例中影像分类结果。

具体实施方式

以下将结合附图和具体实施方式详细说明本发明技术方案。

本发明基于高分影像区域信息和卷积神经网络的影像分类方法，包括训练阶段和分类阶段，实施例流程如图1所示。

对于训练阶段而言，利用训练样本对卷积网络进行训练，使用反向传播和梯度下降的方法更新网络参数，得到卷积神经网络模型，主要步骤如下：

步骤1：随机生成卷积神经网络中各层连接的权值w_j和偏置b_j，其中j＝1,2,...,L，j为网络层索引。

卷积神经网络是一种多层的神经网络，包含两种典型结构：卷积层和池化层。卷积层对输入数据进行卷积操作。在卷积层中，使用不同卷积核在图像上滑动可以提取得到图像的不同特征。卷积之后通过非线性激活函数提升网络的表达能力。池化层对数据进行降采样操作。池化对邻域计算输出，使得参数减少，增加计算效率。

步骤2：将训练图像I及其对应标签y送入卷积网络，得到网络输出与标签的偏差后，将该偏差逐层反向得到各层的偏差，并使用随机梯度下降方法对神经网络的参数(权值和偏置)进行更新。

本文选用的卷积神经网络是一种有监督模型。即训练集中的样本的类别是已知信息，由于样本类别已知，样本在空间的分布不再是依据其自然分布倾向划分，而是根据样本在特征空间中的分布，在特征空间中找到一个分类边界，使得异类样本位于不同的区域中。训练集中每个样本有且仅有一种类别。在构造训练集样本时，由于单幅高分辨率遥感影像覆盖的范围较大，因此将遥感影像裁切为影像块，构造数据集的样本部分。确定样本的类别标签时，将该影像块中占比最多的地物类别作为整个影像块的类别，并通过旋转对数据集扩增。取样本的步骤如下：

1.以M×M(像素)大小的窗口在遥感影像与其对应真实类别图(ground truth)上滑动，固定步长，得到小块影像集S₁和对应类别集合L₁，本实施例中以0.5M个像素为步长。

2.小块影像集S₁中可能包含多种地物类别，为给定小块影像类别标签，统计每小块影像中每类的像素个数n_k，记小块影像总像素为N，类别标签为1,2,...,k,...K共K种类别。若存在n_k＞0.6N，则该小块影像的类别标签为k，若不存在符合条件的n_k，则将该小块影像舍弃，得到数据集D₁。

3.由于遥感影像中存在大量方向不同但类别相同的地物目标，为增强模型的旋转不变性，再以上述M×M小块影像为中心取2M×2M窗口的影像，相对该窗口影像依次旋转θ∈{30°,60°,90°,120°,150°,180°}后，分别取中心M×M窗口影像，得到小块影像集S₂和对应类别集合L₂。在S₂中按照同样的流程得到数据集D₂。

4.将D＝D₁∪D₂中的影像都缩放到256×256像素，取每块影像的左上，右上，左下，右下，中心以及对应水平翻转影像，共十个窗口的数据作为训练样本，窗口大小为224×224。通过上述方式扩增数据集。

本步骤在训练卷积神经网络时，使用反向传播和梯度下降的方法更新网络参数。在实际使用时，参数M设置为64。对于分类阶段而言，将区域分割后影像块送入卷积神经网络，即可得到各区域分类结果，进而得到整幅影像的分类结果。主要步骤如下：

步骤1：使用均值漂移方法过分割高分辨率遥感影像，得到遥感影像的区域分割结果。如图2所示。

影像的初始分割效果的好坏对区域提取特征的有效性有重要作用。影像分割后的区域在光谱信息上有一定的相似性，同时也有纹理，大小或上下文之间的一致性。通常假设每个区域中的全部像素都是属于一个类别的，实际上这种假设很难成立，因此在实际应用中常采用过分割方式确保区域内的像素具有相同的类别。综合考虑影像包含的信息，使用均值漂移法(Mean Shift)实现影像分割。均值漂移法是一种统计聚类的方法，能有效克服传统的影像分割方法(如边缘法，阈值法，区域增长法，聚类法等方法)的不足，在图像分割中有广泛的应用。

步骤2：在区域分割的结果中选取影像块，将影像块送入卷积神经网络分类，影像块的分类结果即为区域的分类结果。

遥感影像中不同地物大小不同，因此均值漂移法分割后的区域大小也不尽不同，直接将区域缩放至同样大小会损失影像数据中包含的信息，从而导致错分；另一方面，均值漂移法分割得到的区域可能为任意形状，如分割后的不规则区域等，这些区域可能在其外接中占的比例很小，缩放后进行分类会引入过多其它地物类别信息，也会导致错分。这两类问题都会对分类精度的提高造成不利影响。本发明在均值漂移法分割的基础上，在区域内部采样：首先使用均值漂移法方法进行区域分割，对于分割得到的区域，当区域面积较大，即分割的区域总像素数大于某一阈值时，从区域中选取一定大小的影像块作为窗口采样影像输入卷积神经网络进行分类。当区域面积过小时，以当前区域形心为中心选取固定大小的影像块作为采样数据输入卷积神经网络进行分类。当区域面积过小时，通过取固定窗口数据来保证输入卷积神经网络的数据包含足够的信息用于分类，影像块的分类结果即为整个区域的分类结果。以下详述在分类时选取窗口的思路。

记均值漂移法分割后其中的第i区域像素数目为P_i，区域的外接矩形总像素数为R_i。第i个区域的窗口采样影像大小为M×M(像素)的窗口影像数据，像素数目为C_i。每个区域至少包含的像素数为N_p，每个区域包含的像素数不一样。C_i中第i区域的像素在窗口总像素比为w，设定最小比为w₀，本实施例取w₀＝0.6。

1)若P_i≤N_p，则以区域中心像素为中心的M×M窗口影像作为卷积神经网络输入，输出作为该区域的分类结果。

2)若P_i＞N_p，取M×M窗口，并以区域外接矩形左上角的坐标为窗口左上点坐标。若w＞w_o，取得该窗口影像为窗口采样影像；否则，向下或向右滑动M×M窗口，直至w＞w_o。若遍历区域后窗口采样影像中均不满足w＞w_o，则取w最大的M×M窗口的影像数据作为窗口采样影像，输入卷积神经网络。将输出作为区域的分类结果。

基于均值漂移法分割区域获取卷积神经网络分类窗口的流程如图4所示。分割后采样窗口不规则曲线为均值漂移法分割结果，方形框为每个区域对应的采样窗口，虚线矩形框对应区域的外接矩形。区域1面积较大，包含像素多，有w＞w_o，采样影像窗口左上角坐标与区域左上角坐标重合。区域2中P_i＞N_p，遍历区域内所有像素后w＜w_o，因此采样窗口选择在w最大的影像块处。区域3中P_i≤N_p，以区域3形心为中心固定大小的窗口作为采样窗口，得到窗口采样影像。

此处所选用的窗口大小M×M与训练数据选取的窗口大小一致。

步骤3：在每个区域进行上述过程得到整幅影像的分类结果，如图5所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.基于高分遥感影像区域信息和卷积神经网络的分类方法，其特征在于，包括训练阶段和分类阶段，其中训练阶段具体包括如下步骤：

步骤1.1，随机生成卷积神经网络中各层连接的权值w_j和偏置b_j，其中j＝1,2,...,L，j为网络层索引；

步骤1.2，将训练图像及其对应标签送入卷积神经网络进行训练，得到网络输出与标签的偏差后，将该偏差逐层反向得到各层的偏差，并对神经网络的权值和偏置进行更新，从而得到卷积神经网络模型；

分类阶段具体包括如下步骤：

步骤2.1，使用均值漂移方法过分割高分辨率遥感影像，得到遥感影像的区域分割结果；

步骤2.2，在区域分割的结果中选取影像块，将影像块送入步骤1.2中的卷积神经网络模型进行分类，影像块的分类结果即为区域的分类结果，实现方式如下，

记均值漂移法分割后其中的第i个区域像素数目为P_i，区域的外接矩形总像素数为R_i，第i个区域的窗口采样影像大小为M×M的窗口影像数据，像素数目为C_i；每个区域至少包含的像素数为N_p，C_i中第i个区域的像素在窗口总像素比为w，设定最小比为w₀；

1)若P_i≤N_p，以区域中心像素为中心的M×M窗口影像作为卷积神经网络模型输入，输出作为该区域的分类结果；

2)若P_i＞N_p，取M×M窗口，并以区域外接矩形左上角的坐标为窗口左上点坐标，若w＞w_o，取该窗口影像为窗口采样影像；否则，向下或向右滑动M×M窗口，直至w＞w_o，若遍历区域后窗口采样影像中均不满足w＞w_o，则取w最大的M×M窗口的影像数据作为窗口采样影像，输入卷积神经网络模型，将输出作为区域的分类结果；

步骤2.3，对高分辨率遥感影像的每个区域进行步骤2.2的处理，得到整幅影像的分类结果。

2.如权利要求1所述的基于高分遥感影像区域信息和卷积神经网络的分类方法，其特征在于：所述步骤1.2中训练图像及其对应标签通过如下步骤获得，

a.以M×M大小的窗口在高分辨率遥感影像与其对应真实类别图上滑动，固定步长，得到小块影像集S₁和对应类别集合L₁；

b.给定小块影像类别标签；首先统计小块影像集S₁中每小块影像中每类的像素个数n_k，记小块影像总像素为N，类别标签为1,2,...,k,...K共K种类别；若存在n_k＞0.6N，则该小块影像的类别标签为k，若不存在符合条件的n_k，则将该小块影像舍弃，得到数据集D₁；

c.按上述步骤a中M×M小块影像为中心取2M×2M窗口的影像，相对该窗口影像依次旋转θ∈{30°,60°,90°,120°,150°,180°}后，分别取中心M×M窗口影像，得到小块影像集S₂和对应类别集合L₂；

d.在S₂中重复步骤b，得到数据集D₂；

e.扩增数据集；将D＝D₁∪D₂中的影像都缩放到256×256像素，取每块影像的左上，右上，左下，右下，中心以及对应水平翻转影像，共十个窗口的数据作为训练样本，窗口大小为224×224。

3.如权利要求2所述的基于高分遥感影像区域信息和卷积神经网络的分类方法，其特征在于：所述训练阶段中，使用反向传播和随机梯度下降的方法对神经网络的权值和偏置进行更新。

4.如权利要求1所述的基于高分遥感影像区域信息和卷积神经网络的分类方法，其特征在于：所述步骤2.2中w₀＝0.6。