CN112036246A - 遥感影像分类模型的构建方法，遥感影像分类方法及系统 - Google Patents

Abstract

本发明提供了一种遥感影像分类模型的构建方法，遥感影像分类方法及系统：步骤一：采集高分辨率遥感影像；步骤二：对的高分辨率遥感影像进行标注，获得带标注的高分辨率遥感影像，获得标签集，对得到的带标注的高分辨率遥感影像进行分割得到父对象，对父对象进行分割得到子对象；步骤三：对步骤二中的得到的父对象和子对象进行标准化，并将标准化后的父对象和子对象划分为训练样本集、验证集和测试样本集；步骤四：构建基于父对象和子对象的卷积神经网络模型。然后利用网络模型对高分辨率遥感影像进行分类。本发明实现了地理实体的精细化分类，解决了高分辨率遥感影像在复杂场景下的分类中，分类精度低、椒盐现象及错分类严重的问题。

Description

遥感影像分类模型的构建方法，遥感影像分类方法及系统

技术领域

本发明属于遥感和数字图像处理领域，涉及高分辨率遥感影像分类，具体涉及一种遥感影像分类模型的构建方法，遥感影像分类方法及系统。

背景技术

遥感传感器和成像技术的发展，获取的遥感影像的分辨率越来越高。高分辨率遥感影像分类是当前卫星影像数据分析与应用中的关键问题。深度学习，通过对输入数据从低层到高层逐层提取更抽象的特征，形成最适应所需特征的网络权值结构，从而提升分类的准确性使分类模型具有分类泛化能力。其中卷积神经网络作为深度学习方法的一种，已经广泛应用到遥感各个方面，如图像配准、语义分割、模式识别、变化监测等。高分辨率遥感影像包含丰富的纹理和几何特征，面前应用高分辨率遥感影像分类的方法主要是面向对象的分类方法、条件随机场、支持向量机等，但是由于这些分类方法的选择主要依赖人工判读的低级分类特征，如几何、光谱、纹理等，难以适用于复杂地物的分类。无法利用分类对象的高级特征，势必阻碍高分辨率遥感影像分类的发展。深度学习的发展，有效的解决了高级特征选取的问题。同时，将超像素分割引入高分辨率遥感影像分类，解决了因边界拟合度不高导致的错分类问题。

深度学习的技术结合到标准化对象高分辨遥感影像分类中，为复杂条件下的高分辨率遥感影像分类提供了有效的手段。

发明内容

针对上述现有技术的不足与缺陷，本发明的目的在于提供遥感影像分类模型的构建方法，遥感影像分类方法及系统，解决现有技术中的方法高分辨率遥感影像在复杂场景下的分类中，分类精度低、椒盐现象及错分类严重的问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：一种遥感影像分类模型的构建方法，所述的构建方法为：

步骤一：采集高分辨率遥感影像，得到高分辨率遥感影像；

步骤二：对所述的高分辨率遥感影像进行标注，获得带标注的高分辨率遥感影像，获得标签集，对得到的带标注的高分辨率遥感影像进行分割得到父对象，对父对象进行分割得到子对象，其中子对象的标签为子对象在父对象上的位置所对应的标签；

步骤三：对步骤二中的得到的父对象和子对象进行标准化，并将标准化后的父对象和子对象划分为训练样本集、验证集和测试样本集；

步骤四：构建基于父对象和子对象的卷积神经网络模型，分别将父对象的卷积神经网络和子对象的神经网络在全连接层进行合并，将步骤三中得到的标准化的父对象和子对象分别输入到基于父对象和子对象的卷积神经网络模型中，分别将父对象的卷积神经网络和子对象的卷积神经网络提取的特征在网络结构的全连接层进行特征融合以标签集作为输出，对网络进行训练，得到训练好的网络模型。

步骤二的具体过程为：

步骤2.1，对高分辨率遥感影像进行标注，获得带标注的高分辨率遥感影像，获得标签集；

步骤2.2，分割得到父对象：

利用多尺度分割方法对标注过的高分辨率遥感影像分割得到反映真实地物的对象作为网络提取特征的父对象，其中多尺度分割的方法采用Mean-shift分割算法；

步骤2.3，分割得到子对象：

对步骤2.2得到的父对象利用简单线性迭代的超像素分割方法进行超像素分割，得到反映局部对象的特征的对象，作为卷积神经网络提取特征的子对象。

步骤三的具体步骤如下：

步骤3.1，对步骤二中得到得到父对象和子对象按照30％的比例为训练样本集，10％的比例为验证样本集和60％的比例为测试样本集；

步骤3.2，对父对象和子对象进行标准化，按照分割对象的几何特征，分别利用不同的标准化方法标准化父对象和子对象，把分割对象分为线性分割对象和非线性分割对象，所述的标准化用于限制父对象和子对象周围的背景像素；

线性的父对象利用方法(1)进行标准化

非线性的多边形的父对象利用方法(3)进行标准化，

对于线性的和非线性的子对象利用方法(2)进行标准化。

所述的标准化方法，分别是：

方法(1)：力矩边界框包围分割对象的标准化方法；

方法(2)：长方形框包围分割对象的标准化方法；

方法(3)：正方形框包围分割对象的标准化方法；

其中力矩边界框是利用矩形框经过一定的旋转使得包围分割对象的矩形框面积最小。

步骤四的具体过程如下：

步骤4.1，构建基于父对象的卷积神经网络：

采用AlexNet卷积神经网络结构进行父对象特征提取，输入标准化的父对象影像块大小为227×227；

步骤4.2，构建基于子对象的卷积神经网络：

采用与AlexNet卷积神经网络相似的卷积神经网络进行子对象特征提取，输入标准化的子对象影像块大小为24×24；所述的与AlexNet卷积神经网络相似的卷积神经网络包括4个卷积层，分别是L1、L2、L3和L4，同时分别在L1、L2、L4后设置下采样层，把卷积核的大小调整成3×3；

步骤4.3，特征融合：

分别将父对象的卷积神经网络和子对象的神经网络提取的特征在网络结构的全连接层进行特征融合，激活函数为softmax，得到联合表示所属类别的特征；

步骤4.4，将步骤三中得到的父对象和子对象的训练集和验证集输入到基于父对象和子对象的卷积神经网络模型中，以标签集作为输出，对网络进行训练，将训练过的网络在测试集上进行验证，得到训练好的网络模型。

一种遥感影像分类方法，所述的方法具体过程如下：

采集高分辨率遥感影像，得到高分辨率遥感影像，对高分辨率遥感影像分割，得到反映地理对象层面的父对象，并对得到的父对象进行超像素分割，得到反映父对象局部特征的子对象；

将标准化后的父对象和子对象分别输入基于父对象和子对象的卷积神经网络，对高分辨率遥感影像进行分类，分类后利用带有所属类别的子对象，结合超像素分割得到的边界拟合边框附上所属类别，得到分类后的地理对象分类结果；

所述的基于父对象和子对象的卷积神经网络为上述权利要求1～4任一项所述的遥感影像分类模型的构建方法构建得到的模型。

一种率遥感影像分类系统，所述的分类系统包括遥感影像采集模块和遥感影像分类模块；

所述的遥感影像采集模块用于采集高分辨率遥感影像；

所述的遥感影像分类模块用于执行上述权利要求5所述的高分辨率遥感影像分类方法。

本发明与现有技术相比，具有如下技术效果：

(Ⅰ)本发明提供了一种有效的分类方法，结合超像素分割和强大特征提取能力的卷积神经网络，并通过对输入父对象和子对象的对标准化，实现了地理实体的精细化分类，解决了高分辨率遥感影像在复杂场景下的分类中，分类精度低、椒盐现象及错分类严重的问题。

(Ⅱ)本发明提出了标准化父对象和子对象结合的深度学习方法，解决了基于面向对象的卷积神经网络尺度选择困难的问题，可以用在复杂场景下的高分辨率遥感影像分类。

(Ⅲ)本发明提高了分类对象的边界拟合度和分类的精度。

附图说明

图1为本发明的遥感影像分类方法流程图；

图2为高分辨率遥感影像分割为父对象；

图3为在父对象的基础上分割子对象；

图4为一个父对象；

图5为一个父对象进行超像素分割后的子对象；

图6为一个父对象和其子对象卷积神经网络特征提取范围；

图7为三种不同标准化标准化方法；

图8为基于父对象和子对象的双重卷积神经网络结构；

图9为原始待分类的高分辨率遥感影像；

图10为利用本发明的方法分类后的结果；

图11为传统面向对象分类结果；

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

高分辨率遥感影像指的是分辨率大于1m的卫星遥感影像。

父对象：对原始高分辨率遥感影像进行分割，父对象是反映地理实体分割的对象，但由于复杂的分类场景，基于父对象的分割难以表达真实地物的边界，所以仅利用父对象提取高级语义特征，如图2和图4所示。

子对象：对父对象进行进一步分割，其中超像素分割得到由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域作为分析的子对象，超像素的分割在像素级别上反映真实的地物的边界，利用超像素分割后的边界作为最终的类别边界，同时利用超像素分割对象提取父对象局部特征，如图3和图5所示。

标准化：这个操作是为了限制分割好的父对象和子对象周围的背景像素，减少背景像素的干扰。

实施例1：

一种遥感影像分类模型的构建方法，所述的构建方法为：

步骤一：采集高分辨率遥感影像，得到高分辨率遥感影像；本次实例选择的高分辨率遥感影像是Quick Bird于2002年获取的苏黎世城区0.61m分辨率的影像，影像大小531×531，波段包括蓝、绿、红、近红外4个波段，地物种类有水体、阴影、植被、房屋、道路和泊船。

步骤二：对所述的高分辨率遥感影像地物进行标注，获得标注样本集，对得到的标注样本集进行分割得到父对象，对父对象进行分割得到子对象；

步骤2.1，对高分辨率遥感影像的地物种类进行标注，获得带标注的高分辨率遥感影像，获得标签集；

步骤2.2，分割得到父对象：

采用高分辨率遥感影像，利用多尺度分割方法分割得到反映真实地物的对象作为网络提取特征的父对象，其中多尺度分割的方法采用Mean-shift分割算法；

步骤2.3，分割得到子对象：

对步骤2.2得到的父对象利用简单线性迭代的超像素分割方法进行超像素分割，得到反映局部对象的特征的对象，作为卷积神经网络提取特征的子对象；

步骤三：对步骤二中的得到的父对象和子对象进行标准化进行标准化，并将标准化后的父对象和子对象划分为训练样本集、验证集和测试样本集；

步骤四：构建基于父对象和子对象的卷积神经网络模型，将步骤三中得到的标准化的父对象和子对象分别输入到基于父对象和子对象的卷积神经网络模型中训练，以标签集作为输出，对网络进行训练，得到训练好的网络模型。

图2和图3分别展示了多尺度分割和简单线性迭代聚类的超像素分割后的结果。父对象和子对象的特征提取范围如图6所示。

步骤三的具体步骤如下：

步骤3.1，对步骤二中得到得到父对象和子对象按照30％的比例为训练样本集，10％的比例为验证样本集和60％的比例为测试样本集；

步骤3.2，对父对象和子对象进行标准化，按照分割对象的几何特征，分别利用不同的标准化方法标准化父对象和子对象，把分割对象分为线性分割对象和非线性分割对象，所述的标准化用于限制父对象和子对象周围的背景像素；

线性的父对象利用能提高道路等线状要素在输入影像块比例的标准化(1)进行标准化；

非线性的多边形的父对象，作为反映对象层面的语义特征，为了获得更多的语义信息感受视野，利用包含较多信息的标准化(3)进行标准化，

对于线性的和非线性的子对象，利用标准化方法(2)。

所述的标准化方法分别是：

方法(1)：力矩边界框包围分割对象的标准化方法；如图7a

方法(2)：长方形框包围分割对象的标准化方法；如图7b

方法(3)：正方形框包围分割对象的标准化方法；如图7c

其中力矩边界框是利用矩形框经过一定的旋转使得包围分割对象的矩形框面积最小；

步骤四的具体过程如下：

步骤4.1，构建基于父对象的卷积神经网络：

采用AlexNet卷积神经网络结构进行父对象特征提取，输入标准化的父对象影像块大小为227×227；其中AlexNet是Alex提出的一种卷积神经网络结构，取得了较高的图像识别分类精度，使得卷积神经网络成为图像分类上的核心算法模型；

步骤4.2，构建基于子对象的卷积神经网络：

采用与AlexNet卷积神经网络相似的卷积神经网络进行子对象特征提取，输入标准化的子对象影像块大小为24×24；所述的与AlexNet卷积神经网络相似的卷积神经网络包括4个卷积层，分别是L1、L2、L3和L4，同时分别在L1、L2、L4后设置下采样层，把卷积核的大小调整成3×3；

步骤4.3，特征结合：

分别将父对象的卷积神经网络和子对象的神经网络提取的特征在网络结构的全连接层进行合并，然后经过3个全连接层还原到所属类别，特征合并是的全局的语义特征和局部低级特征的联合表示父对象和子对象的特征，大大减小了复杂场景下错分类现象，得到联合表示所属类别的特征。

步骤4.4，将步骤三中得到的父对象和子对象的训练集和验证集输入到基于父对象和子对象的卷积神经网络模型中，以标签集作为输出，对网络进行训练，其中父对象输入到基于父对象的卷积神经网络中，子对象输入到基于子对象的卷积神经网络，经过多次交叉试验，迭代次数设置为5800以上，学习率设置为0.0001实现精度最高完成训练，保存训练模型；

采集高分辨率遥感影像，得到高分辨率遥感影像，对高分辨率遥感影像分割，得到反映地理对象层面的父对象，并对得到的父对象进行超像素分割，得到反映父对象局部特征的子对象；

将标准化后的父对象和子对象分别输入基于父对象和子对象的卷积神经网络，对高分辨率遥感影像进行分类，分类后利用带有所属类别的子对象，结合超像素分割得到的边界拟合边框附上所属类别，得到分类后的地理对象分类结果；

所述的基于父对象和子对象的卷积神经网络为上述所述的遥感影像分类模型的构建方法构建得到的模型。

一种遥感影像分类系统，所述的分类系统包括遥感影像采集模块和遥感影像分类模块；

所述的遥感影像采集模块用于采集高分辨率遥感影像；

所述的遥感影像分类模块用于执行所述的高分辨率遥感影像分类方法。

图10为利用发明的方法分类后的结果,相比于图11，影像内待分类的地物具有清晰的边界拟合，水体、建筑屋顶、道路、植被、泊船的精确分类，与传统面向对象分类相比减少了分类椒盐效应，提高了分类精度。建筑屋顶，道路的超像素分割反映了真实的地面轮廓，结合CNN(卷积神经网路)的特征提取能力，消除因特征选择导致错分类产生的椒盐效应。结合整体和局部特征联合表示，消除植被，泊船类别因样本少产生错分类现象。

Claims (6)

1.一种遥感影像分类模型的构建方法，其特征在于，所述的构建方法为：

步骤一：采集高分辨率遥感影像，得到高分辨率遥感影像；

步骤二：对所述的高分辨率遥感影像的地物进行标注，获得带标注的高分辨率遥感影像，获得标签集，对得到的带标注的高分辨率遥感影像进行分割得到父对象，对父对象进行分割得到子对象，其中子对象的标签为子对象在父对象上的位置所对应的标签；

步骤三：对步骤二中的得到的父对象和子对象进行标准化，并将标准化后的父对象和子对象划分为训练样本集、验证集和测试样本集；

步骤四：构建基于父对象和子对象的卷积神经网络模型，分别将父对象的卷积神经网络和子对象的卷积神经网络在全连接层进行合并，将步骤三中得到的标准化的父对象和子对象分别输入到基于父对象和子对象的卷积神经网络模型中，分别将父对象的卷积神经网络和子对象的神经网络提取的特征在网络结构的全连接层进行特征融合，以标签集作为输出，对网络进行训练，得到训练好的网络模型。

2.如权利要求1所述的方法，其特征在于，步骤二的具体过程为：

步骤2.1，对高分辨率遥感影像的地物进行标注，获得带标注的高分辨率遥感影像，获得标签集；

步骤2.2，分割得到父对象：

利用多尺度分割方法对标注过的高分辨率遥感影像分割得到反映真实地物的对象作为网络提取特征的父对象，其中多尺度分割的方法采用Mean-shift分割算法；

步骤2.3，分割得到子对象：

对步骤2.2得到的父对象利用简单线性迭代的超像素分割方法进行超像素分割，得到反映局部对象的特征的对象，作为卷积神经网络提取特征的子对象。

3.如权利要求1所述的方法，其特征在于，步骤三的具体步骤如下：

步骤3.1，对步骤二中得到得到父对象和子对象按照30％的比例为训练样本集，10％的比例为验证样本集和60％的比例为测试样本集；

步骤3.2，对父对象和子对象进行标准化，按照分割对象的几何特征，分别利用不同的标准化方法标准化父对象和子对象，把分割对象分为线性分割对象和非线性分割对象，所述的标准化用于限制父对象和子对象周围的背景像素；

线性的父对象利用方法(1)进行标准化，

非线性的多边形的父对象利用方法(3)进行标准化，

对于线性的和非线性的子对象利用方法(2)进行标准化；

所述的标准化方法，分别是：

方法(1)：力矩边界框包围分割对象的标准化方法；

方法(2)：长方形框包围分割对象的标准化方法；

方法(3)：正方形框包围分割对象的标准化方法；

其中力矩边界框是利用矩形框经过一定的旋转使得包围分割对象的矩形框面积最小。

4.如权利要求1所述的方法，其特征在于，步骤四的具体过程如下：

步骤4.1，构建基于父对象的卷积神经网络：

采用AlexNet卷积神经网络结构进行父对象特征提取，输入标准化的父对象影像块大小为227×227；

步骤4.2，构建基于子对象的卷积神经网络：

采用与AlexNet卷积神经网络相似的卷积神经网络进行子对象特征提取，输入标准化的子对象影像块大小为24×24；所述的与AlexNet卷积神经网络相似的卷积神经网络包括4个卷积层，分别是L1、L2、L3和L4，同时分别在L1、L2、L4后设置下采样层，把卷积核的大小调整成3×3；

步骤4.3，特征融合：

分别将父对象的卷积神经网络和子对象的神经网络提取的特征在网络结构的全连接层进行特征融合，激活函数为softmax，得到联合表示所属类别的特征；

步骤4.4，将步骤三中得到的父对象和子对象的训练集和验证集输入到基于父对象和子对象的卷积神经网络模型中，以标签集作为输出，对网络进行训练，将训练过的网络在测试集上进行验证，得到训练好的网络模型。

5.一种遥感影像分类方法，其特征在于，所述的方法具体过程如下：

采集高分辨率遥感影像，得到高分辨率遥感影像，对高分辨率遥感影像分割，得到父对象，并对得到的父对象进行超像素分割，得到子对象；

将标准化后的父对象和子对象分别输入基于父对象和子对象的卷积神经网络，对高分辨率遥感影像进行分类，分类后利用带有所属类别的子对象，结合超像素分割得到的边界拟合边框附上所属类别，得到分类后的地理对象分类结果；

所述的基于父对象和子对象的卷积神经网络为上述权利要求1～4任一项所述的遥感影像分类模型的构建方法构建得到的网络模型。

6.一种遥感影像分类系统，其特征在于，所述的遥感影像分类系统包括遥感影像采集模块和遥感影像分类模块；

所述的遥感影像采集模块用于采集高分辨率遥感影像；

所述的遥感影像分类模块用于执行上述权利要求5所述的高分辨率遥感影像分类方法。

Images