CN110399819A - 一种基于深度学习的遥感影像居民区自动提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的遥感影像居民区自动提取方法，包括以下步骤：a.制作居民区训练样本；b.对步骤a生成的样本数据做数据整理和归类，建立训练模型的数据集，包括训练集、验证集和检测集；c.基于迁移学习算法训练样本；d.对训练结束后得到的模型进行验证和评价；该发明采用基于光谱信息辅助的改进型全卷积网络遥感影像居民区提取方法；使用条件随机场对分类结果进行优化，使提取的居民区边界更加平滑合理；深度学习与GIS辅助制图相结合，完成大面积海量数据的全自动智能提取。

Description

一种基于深度学习的遥感影像居民区自动提取方法

技术领域

本发明属于图像处理技术领域，尤其是涉及一种基于深度学习的遥感影像居民区自动提取方法。

背景技术

居民地的识别和提取是遥感技术在社会生产众多领域中的一项重要应用，测绘、规划、国土、电力、地学分析等众多领域都需要从遥感影像上快速精确地提取居民地信息，以作为自己部分业务的基础支撑数据。目前遥感影像的居民区提取所采用的方法，一般是基于某个数学模型，再结合居民区自身的纹理特征、结构特征等，采用基于像素的或者面向对象的识别方法。

目前，国内外许多研究学者提出了不少关于居民区提取的方法，如专利“一种基于边缘特征的高分辨率遥感影像居民区提取方法”，专利申请号(CN201210544618.5)，公开了一种基于边缘特征的高分辨率遥感影像居民区提取方法。岳梦雪，秦昆，张恩兵等“基于数据场和密度聚类的高分辨率影像居民区提取”提出了一种基于数据场和密度聚类的高分辨率居民区有效提取的方法。分析现有居民区提取方法，发现存在以下4方面的局限性：

1、精度不高：现有方法一种是基于纹理特征的居民区提取方法，这种方法对于成片的居民区具有较好的效果，但对于居民区零散分布的、中间夹杂树木、草地、耕地等特征的居民区来说，提取精度有限，并且提取的结果不是呈连续面状分布，中间夹杂着大量其他地类。另外一种基于面向对象的居民区提取方法效果较前者优越，但对居民区边界的划分不够清晰，居民区内部的道路、小花园、空地等不能有效识别。

2、效率不高：在实际应用中，提取居民地的遥感影像一般以县、市、省等为单位，面积一般在数千平方公里到数万平方公里，现有的居民地提取方法面对如此庞大的数据，计算效率低下，1000平方公里影像要花费数十天时间。

3、适用性不强：目前常用的遥感影像种类繁多，不同的卫星传感器具有不同的空间分辨率、光谱分辨率、辐射分辨率等技术参数，现有方法针对某一种类型的卫星影像可能具有较好的居民区识别效果，但面向不同的数据源时，已有参数不再适用，即一种数据一套计算方法。

4、实用性差：现有技术主要停留在学术研究的层面，对特有的实验数据能够得到较好的提取结果，但对于实际生产中需要满足面向市域或省域的大面积遥感影像，现有技术一般无法较好地满足要求。

针对以上缺点，本发明采用人工智能图像处理的思想，使用深度学习技术手段，实现居民区的提取。

发明内容

以高分辨率光学遥感影像为对象，以深度学习方法为基础，使用全卷积网络(Fully Convolutional Networks，FCN)，通过使用有限样本迁移学习的方法实现遥感影像典型目标的高精度检测和遥感影像地表覆盖的高精度分类，开展基于深度学习的大面积海量遥感影像居民区提取。

一种基于深度学习的遥感影像居民区自动提取方法，其特征在于，包括以下步骤：

a.制作居民区训练样本；

b.对步骤a生成的样本数据做数据整理和归类，建立训练模型的数据集，包括训练集、验证集和检测集；

c.基于迁移学习算法训练样本；

d.对训练结束后得到的模型进行验证和评价；

f.利用经精度验证和精度评价后的训练结果模型，进行原始遥感影像上的居民区自动提取；

g.改造原始模型的网路结构，使用稀疏卷积核来扩大单个卷积模板的感受野，增强像素之间的联系；在全连接卷积网络结尾增加基于全连接的条件随机场，实现居民区边界的优化；

h.开始自动提取运算，输出结果为与原始影像大小相同的索引图，将索引图转换为矢量图，删除背景，保留居民区。

优选的是，所述步骤a的具体步骤是：从待识别的遥感影像上截取具有代表性的居民区样本图像，对样本图像里的居民区进行矢量化，并进行样本扩充，生成包含原始数据和矢量化后的数据的样本数据。

优选的是，所述步骤c的具体步骤是：c1.选择迁移学习的原始模型，设置模型的学习率、迭代次数、块大小和使用的GPU类型；c2.调用GPU进行模型训练；c3.使用FCN网络分别提取光谱特征和空间特征。

优选的是，所述步骤c3的具体步骤是：其中空间特征的提取步骤为：c31.构建全卷积网络数据层，每一层数据在卷积网络中是一个三维数组，其大小是h×w×d，其中h,w是空间维度，d是通道尺度，利用卷积、池化和激活函数，建立在感受野区域之内的相关运算，实现空间特征的提取；其中光谱特征提取的步骤是：c32.首先把原始多光谱图像生成一个一维的特征图，并将它分解成η个基础光谱特征向量，定义为：

b_i＝v(s),1≤i≤η,τ(i-1)+1≤s≤τ(i-1)+ω (1)

其中，b_i是第i个基础光谱特征向量，其长度是ω，v是原始特征向量，τ是偏移量。

优选的是，所述步骤d的具体步骤为：d1.对训练过程中生成的精度曲线图进行分析，判断其是否达到精度阈值,如若不能达到精度阈值，则继续迭代训练；d2.对检测集的分类结果进行精度评价，判断其是否满足精度评价阈值，如若不能达到精度评价阈值，则调整参数，继续训练。

优选的是，所述步骤f具体步骤为：f1.选择待提取的居民区遥感影像；f2.设置并行处理块大小、窗口移动尺寸参数；f3.基于语义的逻辑回归进行分类预测，具体步骤是：输入层图像经过前向传播函数的多级全卷积网络变换，提取各像素的语义信息，生成分类热力图，再经由后向传播函数对分类结果进行参数微调和纠正，反复迭代，直到满足条件阈值，完成逻辑回归分类预测。

优选的是，还包括以下步骤：

i.对自动提取的居民区矢量数据进行编辑，剔除面积小于面积阈值的居民区，合并面积小于空洞面积阈值的空洞到最邻近居民区；

j.对提取的居民区精度进行评价。

优选的是，所述步骤j的具体步骤是：j1.选择具有代表性的居民区作为精度评价区域；j2.在样本的提取结果矢量数据基础上进行编辑，标注漏分区域、错分区域；j3.统计正确分类、错分、漏分的像素数量；j4.计算总体分类精度、混淆矩阵和Kappa系数。

本发明具有相比于现有技术采用：1.基于光谱信息辅助的改进型全卷积网络遥感影像居民区提取方法。2.使用条件随机场对分类结果进行优化，使提取的居民区边界更加平滑合理。3.深度学习与GIS辅助制图相结合，完成大面积海量数据的全自动智能提取。

本发明具有相比于现有技术具有如下优势：

1.识别精度较现有方法有所提高。深度学习技术在图像识别和分割领域已经取得了前所未有的成功，该技术正逐步在遥感影像解译领域推广。本发明使用深度学习技术，结合遥感影像自身的空间特性和光谱特性，成功实现居民区的智能提取。

2.传统的监督学习方法需要大量的学习样本进行训练。本发明采用小样本和弱监督学习的方法，采用技术手段实现样本变换和样本扩容，再结合迁移学习技术，实现小样本弱监督学习。通过手工制作少量样本，可以完成居民区的训练。

3.采用GPU运算，检测效率大幅提高。本发明采用GPU加速处理，以单个窗口(1000×1000像素)为例，单个GPU检测时间仅需0.4秒，若果增加GPU数量，采用并行处理架构，检测效率还能更大幅度提高。

4.实用性更强。相对于目前论文或专利中的方法，主要停留在算法设计阶段，并没有大面积生产的能力。本发明在算法设计的基础上结合GIS辅助制图技术，实现了大面积遥感影像傻瓜式自动提取，能够针对省级的影像进行整体提取，将提取结果直接转换成矢量图层，大大增强了实用性能。

附图说明

图1：总体技术架构图

图2：迁移学习模式下的有限样本训练过程

图3：多特征信息融合构建卷积神经网络输入模型

图4：居民区训练精度评价曲线

图5：全卷积网络模型下的地类语义表达和分析

图6：基于语义的逻辑回归分类模型

图7：居民区原始影像及提取结果

图8：深度学习居民区提取结果

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图8。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应落在本发明所揭示的技术内容能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

下面结合附图和实施例对本发明的具体实施方式作进一步描述，一种基于深度学习的遥感影像居民区自动提取方法，具体步骤为：

步骤1：制作居民区训练样本

从原始遥感影像里挑选具有代表性的小范围区域，手工标注居民区范围和非居民区范围，作为训练样本。训练样本的制作步骤是：a.从待识别的遥感影像上截取具有代表性的居民区样本图像，样本可以是500×500像素左右的单幅图像，也可以是几千或几万像素的大图像；b.对样本图像里的居民区进行矢量化，人工勾画居民区边界，并用红色填充居民区，蓝色填充背景区，生成索引图；c.对矢量化后的索引图进行裁剪，得到500×500像素大小的小图像，裁剪时图幅和图幅之间在水平方向和垂直方向保留15％左右的重叠度；d.对裁剪后的图像做旋转和翻转操作，以增加样本数量，一般操作方法是旋转90°、180°、270°、水平翻转、垂直翻转，处理后样本数量扩充5倍。e.经处理后的样本数量最少需要2000个，以确保训练过程不会出现过拟合现象。f.样本数据中包含原始数据和矢量化后的索引图数据，两者之间在图像大小和图像名称上必须一一对应。

步骤2.建立训练模型数据集

对步骤1生成的样本数据做数据整理和归类，建立训练模型的数据集，用以模型的训练和特征的学习，主要步骤为：a.将原始样本图像(jpg)和矢量化后的样本图像(png)分开存放于两个不同的文件夹中，文件名称和数量需要一一对应；b.提取所有样本数据的文件名称，并分解为3个部分存放，建立训练模型数据集，包括训练集、验证集、检测集，分别放在3个txt文件中，前两个部分之间不得有重复文件，并且对应的文件数量分别占全部文件数量的60％和40％，检测集数量可以随意设置，几个或几十个均可；c.选择用于迁移学习的原始模型并设置其路径和相关参数，可用模型有VGG-16、GoogleNet、AlexNet等。d.采用迁移学习技术训练样本，能提高检测模型的精度并节省训练时间。通过对源任务的分类和检测模型进行知识迁移，在知识库中对模型的参数和网络结构做适当调整，再通过少量遥感影像样本的训练和学习，形成包含遥感影像特征的场景分类和目标检测学习系统，从而完成对遥感影像的场景分类和目标检测任务。迁移学习过程见图2。

步骤3：训练居民区特征模型

训练过程的步骤是：a.设置训练数据集文件路径及迁移学习原始模型路径和模型种类；b.设置模型训练参数，包括学习率、迭代次数、块大小、使用的GPU类型等。c.学习率需要经过多次尝试并不断调整之后方能确定下来,不同的数据源学习率的设置不同，一般从0.001到0.000001。d.迭代次数的设置可以参考训练精度曲线,随着迭代次数的增加，训练精度不再提高或者提高幅度非常小，可以停止迭代，一般设置为50次、80次或100次；e.制作居民区提取分类标签数据，标签编号为0和1，分别代表背景区域和居民区区域，生成mat文件，供程序读取；f.启动模型训练，调用CPU或者GPU进行模型训练。g.使用FCN网络分别提取光谱和空间特征，构建联合表达特征向量；h.空间特征提取。构建全卷积网络数据层，每一层数据在卷积网络中是一个三维数组，其大小是h×w×d，其中h,w是空间维度，d是通道尺度。利用卷积、池化、激活函数等，建立在感受野区域之内的相关运算，实现空间特征的提取。定义x_ij为某一个特定层中在位置(i,j)处的数据向量，那么与其连接的下一层的向量定义为：

y_ij＝f_ks({X_{si+δi,sj+δj}}0≤δi,δj≤k) (1)

式中，k是卷积核大小，s是降采样尺度，f_ks定义为该层的类型，其变换规则见式

对任何尺寸的输入进行操作，并产生相应空间维度的输出。i.光谱特征提取。首先把原始多光谱图像生成一个一维的特征图，并将它分解成η个基础光谱特征向量，定义为：

b_i＝v(s),1≤i≤η,τ(i-1)+1≤s≤τ(i-1)+ω (3)

其中，b_i是第i个基础光谱特征向量，其长度是ω，v是原始特征向量，τ是偏移量。那么特征图定义为：

M_k是第k个特征图，n是最终得到的特征图个数，由此，把一维的特征向量转变成了二维的特征图，作为FCN的一个输入。空间信息提取和光谱特征提取过程见图3。

步骤4：居民区模型精度验证

在训练过程中或者训练结束后对训练得到的模型精度进行验证和评价，步骤为：a.对训练过程中生成的精度曲线图进行分析，见图4，查看是否出现过拟合现象，检验精度是否满足要求。阈值一般设置为0.94，大于0.94达标，小于0.94继续迭代；b.对检测数据集的分类结果进行精度评价，查看混淆矩阵；c.分析精度评价结果，阈值设置一般为0.92，满足要求则训练结束，否则调整参数，继续训练。

步骤5：居民区自动提取

利用训练结果模型，提取原始遥感影像上的居民区，提取方法见图5，流程为：

(1)选择待提取居民区的遥感影像，转换为tiff格式或者jpg格式；

(2)选择经精度验证后的训练模型；

(3)设置并行处理块大小、窗口移动尺寸等参数；

(4)逻辑回归分类，输入层图像经过前向传播函数的多级全卷积网络变换，提取各像素的语义信息，生成分类热力图，再经由后向传播函数对分类结果进行参数微调和纠正，反复迭代，直到满足条件阈值，给出最终预测结果，完成逻辑回归分类预测，见图6。

卷积层的前向传播函数定义为：

其中，是l层的第j个输出的特征图的激活值，Q表示输入的特征图，是和输出的特征图i相关联的卷积核，是输出特征图j的偏置，*表示卷积运行，f(·)是sigmoid函数。紧随着卷积运算之后的降采样层定义为：

其中，down(·)表示降采样函数，和分别是输出特征图j在第l层的乘法偏置和加法偏置。为了能够是分类结果更加精细化，使用上采样方法对分类结果处理，并使上采样结果与激活导数图相乘得到敏感特征图：

其中，是敏感值，up(·)表示上采样操作，表示输入到特征图j的总加权和。于是，对偏置量和核权重求导：

其中，E是平方差，(u,v)是卷积图坐标，是第层的块。降采样图的敏感度使用全卷积运算获得，将卷积层的卷积核与激活导数图相乘，结果如下：

其中，是扩展敏感图，其大小和降采样时候输入的特征图相等。此时，可以计算加法偏置b，为了能求得乘法偏置β，对E求β导数：

网络训练阶段，在网络的特征提取层最顶端增加逻辑回归分类器，使用后向传播函数对整个网络参数进行微调。逻辑回归分类器一般使用soft-max对多类别分类，最终的特征分类结果定义为：

其中，W是权重，b是偏置，Y是最终分类结果，s表示soft-max函数。分类结果得到之后，经过8s上采样操作，最终得到一幅和输入图像大小完全一致的分类图；

(5)改造网络结构，使用稀疏卷积核来扩大单个卷积模板的感受野，增强像素之间的联系，卷积模板的输入从原来的相邻像元转换成间隔像元，从而在不增加参数的情况下扩大感受野范围；

(6)在全连接卷积网络结尾增加基于全连接的条件随机场(CRF)，实现居民区边界的优化。在全连接的条件随机场中，类别能量函数定义为式(13)

式(13)中，E(x)表示能量函数，表示每个像素对应的语义类别，在本章中该类别是由FCN分类模型获得。则表示像素之间的语义关系。其中x是被分配给每个像素的类别标签，定义

θ_i(x_i)＝-logP(x_i) (14)

其中P(x_i)是使用FCN计算的像素i处的被分配的标签类别的概率。其二维表示形式见(15)，

当x_i≠x_j时，μ(x_i,x_j)＝1，其他情况下μ(x_i,x_j)＝0。在全连接的条件随机场中，不管图像中两个像素的位置有多远。任意两个像素之间都会建立起潜在的联系。每一个k^m都是像素(i,j)处的一个基于特征的高斯核函数f，ω_m是其权重参数。在这里我们采用基于颜色和双边特征的核函数，其定义为：

式中，第一部分取决于像素的位置p和像素的色彩强度I，第二部分只和像素的位置p有关。参数σ_α、σ_β和σ_γ用来控制高斯核的尺度。该模型适合有效的近似概率推理，信息的传递是在一个近似于b(x)＝Π_ib_i(x_i)的完全可分解的均值向量场下进行，可以理解为在特征空间下用高斯核函数进行卷积；

(7)开始自动提取运算，输出结果为与原始影像大小相同的索引图，用红色标注居民区，蓝色标注居民区之外的背景，见图7；

(8)将索引图转换为矢量图，生成“.shp”格式文件，删除背景(属性列表中标签为0的矢量多边形)，保留居民区(属性列表中标签为1的矢量多边形)，见图8。

步骤6：居民区数据编辑

对自动提取的居民区矢量数据进行编辑，主要步骤为：a.增加居民区矢量数据的面积属性，按面积统计居民区shp数据，根据需要设置居民区面积阈值，剔除面积小于阈值的居民区；b.填充居民区内部空洞，根据需要设置空洞面积阈值，合并面积小于阈值空洞到最邻近居民区；c.人工检查属性列表，看是否有异常值，若有，关联到图像文件查看；d.矢量数据套合原始影像，对重点区域进行人工排查，看是否有明显遗漏、错分、误分情况发生；e.输出居民统计报表。

步骤7：居民区提取精度评价

对提取的居民区精度进行评价，主要步骤为：a.选择具有代表性的居民区作为精度评价区域；b.在样本的提取结果矢量数据基础上进行编辑，标注漏分区域、错分区域；c.统计正确分类、错分、漏分的像素数量；d.计算总体分类精度、混淆矩阵，见表1，和Kappa系数，见式(17)。

表1居民区提取精度评价-混淆矩阵

本发明具有相比于现有技术具有如下优势：

1.识别精度较现有方法有所提高。深度学习技术在图像识别和分割领域已经取得了前所未有的成功，该技术正逐步在遥感影像解译领域推广。本发明使用深度学习技术，结合遥感影像自身的空间特性和光谱特性，成功实现居民区的智能提取。

2.传统的监督学习方法需要大量的学习样本进行训练。本发明采用小样本和弱监督学习的方法，采用技术手段实现样本变换和样本扩容，再结合迁移学习技术，实现小样本弱监督学习。通过手工制作少量样本，可以完成居民区的训练。

3.采用GPU运算，检测效率大幅提高。本发明采用GPU加速处理，以单个窗口(1000×1000像素)为例，单个GPU检测时间仅需0.4秒，若果增加GPU数量，采用并行处理架构，检测效率还能更大幅度提高。

4.实用性更强。相对于目前论文或专利中的方法，主要停留在算法设计阶段，并没有大面积生产的能力。本发明在算法设计的基础上结合GIS辅助制图技术，实现了大面积遥感影像傻瓜式自动提取，能够针对省级的影像进行整体提取，将提取结果直接转换成矢量图层，大大增强了实用性能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (8)

1.一种基于深度学习的遥感影像居民区自动提取方法，其特征在于，包括以下步骤：

a.制作居民区训练样本；

b.对步骤a生成的样本数据做数据整理和归类，建立训练模型的数据集，包括训练集、验证集和检测集；

c.基于迁移学习算法训练样本；

d.对训练结束后得到的模型进行验证和评价；

f.利用经精度验证和精度评价后的训练结果模型，进行原始遥感影像上的居民区自动提取；

g.改造原始模型的网路结构，使用稀疏卷积核来扩大单个卷积模板的感受野，增强像素之间的联系；在全连接卷积网络结尾增加基于全连接的条件随机场，实现居民区边界的优化；

h.开始自动提取运算，输出结果为与原始影像大小相同的索引图，将索引图转换为矢量图，删除背景，保留居民区。

2.根据权利要求1所述的方法，其特征在于，所述步骤a的具体步骤是：从待识别的遥感影像上截取具有代表性的居民区样本图像，对样本图像里的居民区进行矢量化，并进行样本扩充，生成包含原始数据和矢量化后的数据的样本数据。

3.根据权利要求2所述的方法，其特征在于，所述步骤c的具体步骤是：c1.选择迁移学习的原始模型，设置模型的学习率、迭代次数、块大小和使用的GPU类型；c2.调用GPU进行模型训练；c3.使用FCN网络分别提取光谱特征和空间特征。

4.根据权利要求3所述的方法，其特征在于，所述步骤c3的具体步骤是：其中空间特征的提取步骤为：c31.构建全卷积网络数据层，每一层数据在卷积网络中是一个三维数组，其大小是h×w×d，其中h,w是空间维度，d是通道尺度，利用卷积、池化和激活函数，建立在感受野区域之内的相关运算，实现空间特征的提取；其中光谱特征提取的步骤是：c32.首先把原始多光谱图像生成一个一维的特征图，并将它分解成η个基础光谱特征向量，定义为：

b_i＝v(s),1≤i≤η,τ(i-1)+1≤s≤τ(i-1)+ω (1)

其中，b_i是第i个基础光谱特征向量，其长度是ω，v是原始特征向量，τ是偏移量。

5.根据权利要求4所述的方法，其特征在于，所述步骤d的具体步骤为：d1.对训练过程中生成的精度曲线图进行分析，判断其是否达到精度阈值,如若不能达到精度阈值，则继续迭代训练；d2.对检测集的分类结果进行精度评价，判断其是否满足精度评价阈值，如若不能达到精度评价阈值，则调整参数，继续训练。

6.根据权利要求5所述的方法，其特征在于，所述步骤f具体步骤为：f1.选择待提取的居民区遥感影像；f2.设置并行处理块大小、窗口移动尺寸参数；f3.基于语义的逻辑回归进行分类预测，具体步骤是：输入层图像经过前向传播函数的多级全卷积网络变换，提取各像素的语义信息，生成分类热力图，再经由后向传播函数对分类结果进行参数微调和纠正，反复迭代，直到满足条件阈值，完成逻辑回归分类预测。

7.根据权利要求6所述的方法，其特征在于，还包括以下步骤：

i.对自动提取的居民区矢量数据进行编辑，剔除面积小于面积阈值的居民区，合并面积小于空洞面积阈值的空洞到最邻近居民区；

j.对提取的居民区精度进行评价。

8.根据权利要求7所述的方法，其特征在于，

所述步骤j的具体步骤是：j1.选择具有代表性的居民区作为精度评价区域；j2.在样本的提取结果矢量数据基础上进行编辑，标注漏分区域、错分区域；j3.统计正确分类、错分、漏分的像素数量；j4.计算总体分类精度、混淆矩阵和Kappa系数。