CN113515969B - 基于卷积神经网络的多时态遥感影像地表覆盖分类方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的多时态遥感影像地表覆盖分类方法，包括以下步骤：步骤1：输入旧时态和新时态高分率遥感影像数据并进行相应预处理；步骤2：构建卷积神经网络，包括对步骤1输入的两个时态数据进行特征提取，并对高维特征图进行上采样；步骤3：引入时态修正算法，通过旧时态的分类结果对比参考真值进行时态修正，从而获取修正量，用于修正分类错误；步骤4：地表覆盖分类结果后处理，消除因新、旧时态的预测图斑不完全重叠导致新时态的输出结果经过时态修正后而产生许多碎片图斑，提高地表覆盖分类精度。该方法能够进一步地提高地表覆盖分类精度。

Description

基于卷积神经网络的多时态遥感影像地表覆盖分类方法

技术领域

本发明涉及遥感影像处理与应用的技术领域，尤其是一种基于卷积神经网络的多时态遥感影像地表覆盖分类方法。

背景技术

地表覆盖是一种重要的地理信息资源，是自然资源监测、国土空间规划、地理国情普查、宏观调控分析等不可或缺的重要基础信息。近年来随着3S技术的飞速发展，高分辨率卫星影像数据获取能力不断增强，卫星影像的光谱分辨率、空间分辨率与时间分辨率不断提高，为地表覆盖分类提供了坚实的数据基础。然而在实际应用中，大量的影像数据仍然依靠人工解译处理，已经越来越无法适应当前大尺度、海量影像地表覆盖分类处理与提取的时效要求，无法满足高效、快速提供地表覆盖分类信息服务的应用要求。因此，迫切需要研究一种高效的、准确的、自动化的地表覆盖自动分类技术，满足大数据时代的应用需求。

传统的高分辨率影像地表覆盖分类方法主要是综合利用多种数据，结合各类数据的光谱、纹理、高程、坡度等特征，使用最大似然法、K-均值聚类法等统计方法进行分类。近年来虽然基于浅层人工神经网络、支持向量机、遗传算法与面向对象等方法发展迅速，并取得大量研究与应用成果，但这些方法大多是提取与使用维度有限的浅层特征，结合若干算法人工设计地表覆盖分类的特征组合与解译规则。

由于现实世界的地表覆盖在特征上存在区域差异性及表现的不确定性，同物异谱、同谱异物的情况较为常见。浅层特征不能完全描述复杂的地表覆盖分类，并且在地表覆盖分类算法上依赖相对固定的规则以及特定的参数，分类的泛化能力有限。这些弱点制约了地表覆盖分类的自动化解译精度与效率，不能满足海量、大尺度地表覆盖分类应用需要，导致大量地表覆盖分类工作依旧严重依赖于人工作业，作业人员的经验与专业技能水平严重制约了地表覆盖分类的处理速度与分类精度。

近年来飞速发展的深度学习技术为大数据时代的地表覆盖自动分类提供了新的解决方案。与传统的机器学习相比，深度学习的本质是具有多个层级的表示学习方法，通过层级之间的组合完成从低层到高层的数据特征抽象与提取。深度学习一般使用深度神经网络构建层级。这些层级由简单非线性模块堆栈而成，输入数据在各个层级之间传递的过程中，通过各层间的映射关系逐步从数据中提取出抽象的关键特征。申请号为201810342795.2的发明专利公开了“一种基于全卷积网络的遥感影像地表覆盖分类方法”，该发明涉及一种基于全卷积网络的遥感影像地表覆盖分类方法，包括以下步骤：步骤S1：对数据数量有限的数据进行数据增强，生成数据数量和质量达到训练要求的训练集；步骤S2：融合改进的全卷积网络FCN4s与改进的U型全卷积网络U-NetBN，建立遥感影像地表覆盖分类模型；步骤S3：通过随机梯度下降来最小化交叉熵损失，学习模型的最优参数，得到训练好的遥感影像地表覆盖分类模型；步骤S4：利用训练好的遥感影像地表覆盖分类模型对待预测对待遥感影像进行像素级别的分类预测。该方法综合考虑了FCN和U-Net两种不同结构的全卷积网络的特点，有利于提高遥感影像地表覆盖分类的性能。该发明结合了两个网络的优点构建融合模型，一定程度提高了遥感影像地表覆盖分类的性能，但在地表覆盖分类任务中，任务往往是定期开展的，如在地理国情监测项目中，高分辨率卫星影像的地表覆盖分类工作是以年为周期开展的，每年都获取一期影像以及相对应的地表覆盖分类成果，需要结合多时态的数据进行地表覆盖分类，如利用上述发明进行分类，因其没有考虑提取增加了时间维度的地表覆盖特征，修正结果，因而没有能够进一步的提高分类精度。

发明内容

本发明的目的在于针对现有技术中处理地表覆盖分类精度不高等问题，提供了一种基于卷积神经网络的多时态遥感影像地表覆盖分类方法，该方法能够达到更高的地表覆盖分类精度要求。

为了实现上述目的，本发明的技术方案如下：

一种基于卷积神经网络的多时态遥感影像地表覆盖分类方法，包括以下步骤：

步骤1：输入旧时态和新时态高分率遥感影像数据并进行相应预处理，包括训练样本的制作和训练样本数据增广；

步骤2：构建卷积神经网络，包括对步骤1输入的两个时态数据进行特征提取，并对高维特征图进行上采样；

步骤3：引入时态修正算法，通过旧时态的分类结果对比参考真值进行时态修正，从而获取修正量，用于修正分类错误；

所述时态修正算法的计算函数公式由交叉熵损失函数与改进的二分类函数损失函数hinge组合而成；

改进的二分类函数损失函数具体的公式为：

其中，λ_h为调节系数，λ_h的取值为0.5，y为真值，y’为预测值；

组合后的损失函数为：

其中，Lc为交叉熵损失函数；

步骤4：地表覆盖分类结果后处理，消除因新、旧时态的预测图斑不完全重叠导致新时态的输出结果经过时态修正后而产生许多碎片图斑，提高地表覆盖分类精度。

本发明中，特征提取作用是获取上一层输出的局部特征并将局部特征中具有相同语义的特征组合起来；上采样的作用是一方面将高维、低分辨率特征图转化为低维、高分辨率特征图，另一方面结合编码中的低层特征信息补充特征细节，恢复空间信息，逐步完成语义分割，分别获得像素级新时态和旧时态地表覆盖分类结果；引入时态修正算法即计算损失函数，目的是为了找出变化与未变化区域，处理的是二分类问题，采用组合损失函数能够增强损失函数处理二分类函数的能力；

本发明进一步说明，所述训练样本的制作包括内业精化、外业核查与样本裁切三个环节；所述训练样本数据增广包括图像的数据增广和几何增广；所述图像的数据增广包括像素坐标几何变换数据增广和像素值变换数据增广。

本发明进一步说明，所述数据增广能够在不改变标签类别的情况下扩充数据量，提高待训练神经网络的泛化能力；所述几何增广方式包括平移、扭曲、旋转、裁剪、翻转、缩放等，所述像素值变换数据增广包括颜色变换、随机噪声、饱和度、亮度等；在数据增广的过程中一般采用其中的一种或几种方式扩充数据，并且在增广处理过程中，数据变换必须指定合理的区间范围，形成有效的增广数据集。

本发明进一步说明，所述步骤2中的特征提取包括卷积过程和池化过程；在卷积过程中，首先计算影像张量并提取特征图，对输入的上一层特征图进行卷积运算，然后通过激活时态修正算法的的计算函数公式向下一层输出特征图；在池化过程中，池化对卷积输出的特征图按一定的规则进行筛选，提取特征图的显著特征并简化特征图的复杂程度，即以一定大小的池化窗口与池化步长计算特征图，每次计算按池化规则输出池化结果。

本发明进一步说明，所述步骤2中上采样包括空洞卷积和双线性上采样；所述双线性上采样在在上采样的初始阶段开始不断的对比旧时态数据和新时态数据的高纬特征的差异程度，并将对比结果与上采样结果不断融合形成比较学习网络，在上采样整个过程中，每融合一次低层信息就增加一次对比，随着对比结果的不断传递，最终形成一个特征对比的输出结果，输出结果通过Softmax分类器输出，最终通过输出结果更准确的判断变化区域及分类信息。

本发明进一步说明，所述步骤4的地表覆盖分类的后处理，主要包含碎片图斑消除与边缘重建两个步骤；

4.1碎片图斑消除：将小于16像素的图斑直接综合到大图斑中，对于因大图斑纠正过程中产生的碎片图斑，将碎片图斑归并到纠正后的大图斑中；其它原因产生的碎片图斑，归并到最大相邻图斑，当碎片图斑同时与几个大图斑相邻，首先考察碎片图斑产生过程，再根据产生原因进一步归并；

4.2边缘重建：经过步骤4.1处理后，使用条件随机场后处理方法重建边缘的细节，消除因修正算法产生的锯齿状现象，优化图斑的边缘；经过步骤4.2的处理后，大图斑中的破碎小图斑全部被消除，但在修正过程中，由于两期图斑的边缘一般不能完全重合，修正后的图斑边缘可能存在锯齿现象，因此经过边缘重建后能够优化图斑边缘。

本发明进一步说明，通过旧时态进行分类错误修正时还必须具备如下条件：(1)处理对象主要为高分二号、北京二号等0.8米高分辨率卫星影像或优于0.8米的航空影像；(2)新、旧时态相同区域的语义特征接近，图斑形状相似。这是由于新、旧两个时态之间地物有可能会发生变化，如果不做任何约束就参照旧时态的修正量进行分类修正，反而会削弱深度卷积神经网络的地表覆盖分类能力。例如：旧时态中某个地表覆盖真值是旱地，但被错误预测划分为硬化地，而在新时态数据中，这块旱地恰好变更为硬化地，而此时引入时态修正算法的卷积神经网络将其正确预测为硬化地，如果仍按旧时态将硬化地修正为旱地，就造成了新时态分类从正确变为错误。旧时态的修正流程如图1所示。

本发明具有的有益效果如下：

1.本发明通过引入参考真值能够克服因为卷积神经网络缺少对空间、边缘信息等约束造成的分类错误，并且对于分类错误，如果错误趋同，可以利用参考真值有效修正分类错误。通过此方法可以有效改进预测精度，并且能够发挥旧时态真值的作用，特别对于地表覆盖无变化的区域，旧时态真值可以大大提高图斑边缘部分的分类精度，使地表覆盖分类的深度卷积神经网络自动化处理后的影像精度能够达到地理国情监测等工程应用要求。

2.经过生产验证，该方法能够作为生产参考数据节省20％-30％工作量，对于0.8米分辨率4通道影像数据，单机日处理能力达到5000平方千米，对于部分非定量、精度要求不高的监测类项目，基本可以满足自动化生产需要。

附图说明

图1为新时态利用旧时态预测修正值进行分类修正的流程图。

图2为本发明的引入时态修正算法的卷积神经网络的分类流程图。

图3为本发明方法与卷积神经网络方法对水面的地表覆盖分类结果对比。

图4为本发明方法与卷积神经网络方法对硬化地的地表覆盖分类结果对比。

图5为本发明方法与卷积神经网络方法对建筑物的地表覆盖分类结果对比。

图6为本发明方法与卷积神经网络方法对林草地的地表覆盖分类结果对比。

图7为本发明方法与卷积神经网络方法对园地的地表覆盖分类结果对比。

图8为本发明方法与卷积神经网络方法对水田的地表覆盖分类结果对比。

图9为本发明方法与卷积神经网络方法对旱地的地表覆盖分类结果对比。

图10为本发明方法与卷积神经网络方法对裸土地的地表覆盖分类结果对比。

具体实施方式

下面结合附图对本发明进一步说明。

实施例1：

如图2所示的基于卷积神经网络的多时态遥感影像地表覆盖分类方法，包括以下步骤：

步骤1：输入旧时态和新时态高分率遥感影像数据并进行相应预处理，包括训练样本的制作和训练样本数据增广；所述训练样本的制作包括内业精化、外业核查与样本裁切三个环节；所述训练样本数据增广包括图像的数据增广和几何增广；所述图像的数据增广包括像素坐标几何变换数据增广和像素值变换数据增广。

步骤2：构建卷积神经网络，包括对步骤1输入的两个时态数据进行特征提取，并对高维特征图进行上采样；上采样包括空洞卷积和双线性上采样；所述双线性上采样在在上采样的初始阶段开始不断的对比旧时态数据和新时态数据的高纬特征的差异程度，并将对比结果与上采样结果不断融合形成比较学习网络，在上采样整个过程中，每融合一次低层信息就增加一次对比，随着对比结果的不断传递，最终形成一个特征对比的输出结果，输出结果通过Softmax分类器输出，最终通过输出结果更准确的判断变化区域及分类信息。

步骤3：引入时态修正算法，通过旧时态的分类结果对比参考真值进行时态修正，从而获取修正量，用于修正分类错误；所述时态修正算法的的计算函数公式由交叉熵损失函数与改进的二分类函数损失函数hinge组合而成；

改进的二分类函数损失函数具体的公式为：

其中λ_h为调节系数，λ_h的取值为0.5，y为真值，y’为预测值；

组合后的损失函数为：

其中，Lc为交叉熵损失函数。

步骤4：地表覆盖分类结果后处理，消除因新、旧时态的预测图斑不完全重叠导致新时态的输出结果经过时态修正后而产生许多碎片图斑，提高地表覆盖分类精度；主要包含碎片图斑消除与边缘重建两个步骤；

4.1碎片图斑消除：将小于16像素的图斑直接综合到大图斑中，对于因大图斑纠正过程中产生的碎片图斑，将碎片图斑归并到纠正后的大图斑中；其它原因产生的碎片图斑，归并到最大相邻图斑，当碎片图斑同时与几个大图斑相邻，首先考察碎片图斑产生过程，再根据产生原因进一步归并；

4.2边缘重建：经过步骤4.1处理后，使用条件随机场后处理方法重建边缘的细节，消除因修正算法产生的锯齿状现象，优化图斑的边缘；经过步骤4.2的处理后，大图斑中的破碎小图斑全部被消除，但在修正过程中，由于两期图斑的边缘一般不能完全重合，修正后的图斑边缘可能存在锯齿现象，因此经过边缘重建后能够优化图斑边缘。

具体的过程如图2所示，在训练样本过程中，首先对地表覆盖分类特征提取网络进行训练，训练好的地表覆盖分类卷积神经网络作为子网A，然后再将子网A复制一份作为子网B，用于提取不同时态地表覆盖分类特征。在训练比较学习网络时，冻结旧时态子网A和新时态子网B的所有参数，两个子网均不参加训练。A与B的特征图作为输入数据，比较学习网络采用可分离卷积对子网A、B输入的特征图进行卷积，通过卷积完成对两个子网特征的比较，卷积形成的特征图即为新、旧时态的特征比较结果。卷积后的特征图使用与子网中同样的方式进行上采样，每次上采样后，对A、B子网同样分辨率的特征图再进行比较，并融合比较结果。通过这样逐层的上采样、特征比较与信息融合，形成完整分辨率的比较结果特征图，最后将比较结果与A、B子网的输出分类结果融合后进行分类输出。

将本发明引入时态修正算法的卷积神经网络的方法对2017年、2018年广西武鸣区境内0.8米分辨率的北京二号与高分二号遥感影像进行处理，并且选取了卷积神经网络、UperNet+ResNet152、3D卷积神经网络三种模型进行对比，训练样本为2017年、2018年两套35800张512×512像素切片，每个时态各分为100组，其中80组作为训练集，20组作为验证集，测试数据为包含两个时态的2幅5000×5000像素的0.8米高分辨率卫星影像数据，其中一幅为城镇地区，另一幅为农村地区。除了上述数据以外，还增加了武鸣全区约3400平方千米的高分辨率影像数据与地理国情普查数据作为粗糙数据进行训练与实验。增加了16幅5000×5000像素的0.8米高分辨率卫星影像数据作为甘蔗迁移学习训练的样本数据。此样本数据在原有8种分类的基础上增加了甘蔗地表覆盖图斑，16幅数据中12幅用于制作训练样本数据，3幅用于训练验证，1幅作为精度测试数据。训练完成后，卷积神经网络、UperNet+ResNet152与3D卷积神经网络对城镇区域与农村区域的影像进行地表分类并输出分类结果，相应的结果如下表1所示。

表1本发明的时态修正算法与其他模型的地表覆盖分类精度对比

表1中的分类精度结果说明，本发明的引入时态修正算法的卷积神经网络的地表覆盖分类精度均优于对比算法。3D卷积神经网络的精度较差主要是训练与测试均只提供了两个时态的数据，3D卷积神经网络通常需要较多的时态进行训练，并且在分类时也需要多个时相才能获得更高的地表覆盖精度。但实际应用中，通常较难获得大范围、长时序的训练样本，因此仅使用两个时态即可获得较高分类精度的修正算法具有更好的实用价值。在单独采用卷积神经网络分类时城镇与农村区域的地表覆盖分类精度分别为87.37％与90.91％，经过时态修正算法后精度分别提高到93.22％与96.34％，特别是IOU与Kappa系数均有大幅提高，提升幅度都在7％以上，说明使用时态修正算法能够极大地提高图斑分类精度。

另外将本发明的引入时态修正算法的卷积神经网络用于地表覆盖分类，同时与卷积神经网络进行对比，对比结果如下图3-9所示。实验结果说明，卷积神经网络地表覆盖分类结果经过时态修正算法修正错误分类后，地表覆盖的分类精度提升明显，特别是对于建筑物等较为破碎的分类，在算法修正前图斑精度较差，经过算法修正后，图斑的边缘准确性有了较大改善。由此看来，本发明的方法具有较好的应用效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于卷积神经网络的多时态遥感影像地表覆盖分类方法，其特征在于，包括以下步骤：

步骤1：输入旧时态和新时态高分率遥感影像数据并进行相应预处理，包括训练样本的制作和训练样本数据增广；

步骤2：构建卷积神经网络，包括对步骤1输入的两个时态数据进行特征提取，并对高维特征图进行上采样；

所述上采样包括空洞卷积和双线性上采样；所述双线性上采样在上采样的初始阶段开始不断的对比旧时态数据和新时态数据的高纬特征的差异程度，并将对比结果与上采样结果不断融合形成比较学习网络，在上采样整个过程中，每融合一次低层信息就增加一次对比，随着对比结果的不断传递，最终形成一个特征对比的输出结果，输出结果通过Softmax分类器输出；

步骤3：引入时态修正算法，通过旧时态的分类结果对比参考真值进行时态修正，从而获取修正量，用于修正分类错误；

所述时态修正算法的计算函数公式由交叉熵损失函数与改进的二分类函数损失函数hinge组合而成；

改进的二分类函数损失函数具体的公式为：

其中，λ_h为调节系数，λ_h的取值为0.5，y为真值，y’为预测值；

组合后的损失函数为：

其中，Lc为交叉熵损失函数；

步骤4：地表覆盖分类结果后处理，消除因新、旧时态的预测图斑不完全重叠导致新时态的输出结果经过时态修正后而产生许多碎片图斑，提高地表覆盖分类精度。

2.根据权利要求1所述的基于卷积神经网络的多时态遥感影像地表覆盖分类方法，其特征在于，所述训练样本的制作包括内业精化、外业核查与样本裁切三个环节；所述训练样本数据增广包括图像的数据增广和几何增广；所述图像的数据增广包括像素坐标几何变换数据增广和像素值变换数据增广。

3.根据权利要求1所述的基于卷积神经网络的多时态遥感影像地表覆盖分类方法，其特征在于，所述步骤2中的特征提取包括卷积过程和池化过程；在卷积过程中，首先计算影像张量并提取特征图，对输入的上一层特征图进行卷积运算，然后通过激活时态修正算法的计算函数公式向下一层输出特征图；在池化过程中，池化对卷积输出的特征图按一定的规则进行筛选，提取特征图的显著特征并简化特征图的复杂程度，即以一定大小的池化窗口与池化步长计算特征图，每次计算按池化规则输出池化结果。

4.根据权利要求1所述的基于卷积神经网络的多时态遥感影像地表覆盖分类方法，其特征在于，所述步骤4的地表覆盖分类的后处理，主要包含碎片图斑消除与边缘重建两个步骤；

4.1碎片图斑消除：将小于16像素的图斑直接综合到大图斑中，对于因大图斑纠正过程中产生的碎片图斑，将碎片图斑归并到纠正后的大图斑中；其它原因产生的碎片图斑，归并到最大相邻图斑，当碎片图斑同时与几个大图斑相邻，首先考察碎片图斑产生过程，再根据产生原因进一步归并；

4.2边缘重建：经过步骤4.1处理后，使用条件随机场后处理方法重建边缘的细节，消除因修正算法产生的锯齿状现象，优化图斑的边缘。

Images