CN111460936A

CN111460936A - 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备

Info

Publication number: CN111460936A
Application number: CN202010192502.4A
Authority: CN
Inventors: 陈珺; 王干北; 罗林波; 龚文平; 宋俊磊; 魏龙生
Original assignee: China University of Geosciences
Current assignee: China University of Geosciences
Priority date: 2020-03-18
Filing date: 2020-03-18
Publication date: 2020-07-28

Abstract

本发明公开了一种基于U‑Net网络的遥感影像建筑物提取方法、系统、电子设备，在U‑Net网络的解码层加入一个多尺度模块，并引入空洞卷积网络，由于空洞卷积可以在不损失分辨率的情况下扩大感受野，因此可以在保留细节信息的同时提升网络挖掘语义信息的能力，同时多尺度模块增强了网络获取多尺度特征的能力；本发明中考虑将卷积层的卷积模式设置为填充，即卷积后，特征图大小完全不变，原来特征图实际会收缩2，这样每通过一个卷积层，特征图的大小就会减小2倍，采用这种卷积方式，经过4层编码层，最后一层编码层输出的特征图大小将会收缩为输入图片的1/16倍，再经过反卷积操作来恢复图像分辨率，这时候特征图的大小将开始扩大，有效的缩小训练时间。

Description

基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备

技术领域

本发明属于图像提取领域，具体涉及一种基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备。

背景技术

建筑物是地理数据库中最容易增加和发生变化，也是最需要更新的部分。由于建筑物对于城市建设、GIS系统更新、数字化城市以及军事侦察等方面的重要性，快速提取建筑物信息技术和进行建筑物变化检测在城市发展规划、电子信息化、国防等方面有着重要的应用。在遥感图像中人工建筑物信息的提取是个复杂的过程，不仅仅需要计算机的自动识别，也需要人的辅助完成，导致目前建筑物提取的效率较低。

近年来，随着计算机性能的极大提升以及深度学习的快速发展，卷积神经网络应用的领域不断扩大，利用卷积神经网络进行地物的自动化提取方法逐渐成熟，并在遥感领域取得了较大的成效。由于传感器精度的提高，能够利用的遥感影像分辨率也越来越高，卷积神经网络提取的特征也越来越丰富。这样一来，利用卷积神经网络以建筑为单位提取高分辨遥感影像上的多类型建筑物也就有了理论基础。

目前基于遥感印象建筑提取的技术方法仅能够提取较为规则且特征明显的建筑，通用性较差，当建筑物较为密集时，提取效果一般，因此如何快速准确的提取各类复杂建筑是遥感信息处理的关键步骤。

发明内容

本发明要解决的技术问题在于，根据现有遥感印象建筑提取的技术方法仅能够提取较为规则且特征明显的建筑，提取效果一般的缺陷，提供一种基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备。

本发明解决其技术问题所采用的技术方案是：构造一种基于U-Net网络的遥感影像建筑物提取方法，包括以下步骤：

S1、采集包括若干张遥感影像的数据集；对每张遥感影像进行分割裁剪得到包含分类对象的面矢量文件，并绘制所述面矢量文件中的建筑物标签，将标签为建筑物的所述面矢量样本的矢量数据转换为栅格数据，得到栅格化的建筑物样本；

S2、选择U-Net网络作为基础的建筑物提取模型，将所述建筑物样本作为输入数据进行建筑物提取模型的训练；其中：

所述U-Net网络解码层的第M级包括一个含有N个并行分支的多尺度模块，M、N均大于等于1；所述多尺度模块包括的每一个分支均包括一个空洞卷积，但，每个空洞卷积的空洞率不同；

所述U-Net网络编码层下的每一级卷积层的卷积模式均设为填充；

训练的过程中，采用输出目标数据的准确度进行网络衡量；

S3、将待进行建筑物提取的遥感影像输入到步骤S2训练好的网络，进行遥感影像建筑物提取。

本发明提供一种基于U-Net网络的遥感影像建筑物提取系统，包括以下模块：

数据采集模块，用于采集包括若干张遥感影像的数据集；对每张遥感影像进行分割裁剪得到包含分类对象的面矢量文件，并绘制所述面矢量文件中的建筑物标签，将标签为建筑物的所述面矢量样本的矢量数据转换为栅格数据，得到栅格化的建筑物样本；

网络训练模块，用于选择U-Net网络作为基础的建筑物提取模型，将所述建筑物样本作为输入数据进行建筑物提取模型的训练；其中：

使用tensorflow框架进行网络训练，并在训练的过程中，采用输出目标数据的准确度进行网络衡量；

遥感影像建筑物提取模块，将待进行建筑物提取的遥感影像输入到网络训练模块下训练好的网络，进行遥感影像建筑物提取。

本发明提供的一种电子设备，包括处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行前述的基于U-Net网络的遥感影像建筑物提取方法。

实施本发明的一种基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备，在U-Net网络的解码层加入一个多尺度模块，引入空洞卷积层，由于空洞卷积可以在较大程度上扩大感受野，因此在提高感受野的情况下，提高图像分辨率，增强U-Net网络获取多尺度特征的能力；本发明中考虑将卷积层的卷积模式设置为填充，即卷积后，特征图大小完全不变，原来特征图实际会收缩2，这样每通过一个卷积层，特征图的大小就会减小2倍，采用这种卷积方式，经过4层编码层，最后一层编码层输出的特征图大小将会收缩为输入图片的1/16倍，再经过反卷积操作来恢复图像分辨率，这时候特征图的大小将开始扩大，有效的缩小训练时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是基于U-Net网络的遥感影像建筑物提取方法步骤图；

图2是已有的U-Net网络结构图；

图3是改进后的U-Net网络结构图；

图4是基于U-Net网络的遥感影像建筑物提取系统结构图；

图5是本发明提出的一种电子设备内部系统结构图；

图6是在训练U-Net网络时的损失变化曲线图；

图7是定性对比实验图；

图8是后处理定性对比实验图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

实施例1：

请参考图1，其为基于U-Net网络的遥感影像建筑物提取方法步骤图，包括以下步骤：

S1、采集包括若干张遥感影像的数据集；对每张遥感影像进行分割裁剪得到包含分类对象的面矢量文件，并绘制所述面矢量文件中的建筑物标签，将标签为建筑物的所述面矢量样本的矢量数据转换为栅格数据，得到栅格化的建筑物样本；具体在实施的时候：

所述若干张遥感影像的数据集包括：在ISPRS上下载专用的超高分辨率遥感影像语义分割数据集，选择波茨坦数据集(Potsdam data set)作为后续输入到U-Net网络进行网络训练的数据集；其中，该数据集总共包括38张正射图像；每张图像的空间分辨率为5cm；图像的分类包括建筑物、汽车、植物等；总共有红、绿、蓝、近红四个通道，同时包括一个DSM图片，由专业匹配软件手工标注完成；

在进行前期的图像预处理时，本数据集中的38张图像分辨率都统一调整为：6000*6000。

所述U-Net网络解码层的第M级包括一个含有N个并行分支的多尺度模块，所述多尺度模块包括的每一个分支均包括一个空洞卷积，但，每个空洞卷积的空洞率不同；本实施例下：

1、在所述U-Net网络解码层的第2级设置一个含有4个并行分支的多尺度模块；

2、当前4个并行分支下的空洞卷积的空洞率依次设置为1，2，4，8；

3、在训练网络的时候，使用tensorflow框架，采用python语言实现上述网络的构建，设置好batchsize(每一个批次加载的图像数量)，learning rate(学习率)等超参数之后，即开始训练模型，神经网络可以自动学习合适的模型，当模型收敛，损失不再下降时，就可以认为训练结束；

4、在训练网络的过程中，考虑到图片尺寸太大，无法直接训练，而考虑对输入的数据集进行一定的预处理，同时为了简便，只选择RGB三个通道作为输入，并且由于本方案下只关注建筑物这一个类的目标提取，因此可以对标签进行简化；最终，对输入数据集的预处理包括以下几点：

选择RGB三通道做为输入，近红通道和DSM将被舍弃；

将标签中除开建筑物以外的类别删除；

将标签转换为二值图，即背景像素值为0，纯黑，建筑物为纯白，像素值为255；

考虑图片过大对显存容量有很高要求，根据服务器配置，将图片裁剪成512*512的小块，同时，人工删除不带建筑物的图片，即去除过多的负样本，最后得到3000张图片，按照8:2的比例选择训练集和测试集；

5、在进行建筑物提取模型的训练的过程中，学习率设置为0.0001，损失函数设置为交叉熵损失函数；其中，交叉熵损失函数是一种经典的损失函数，能够较好地衡量预测值和真值之间的差距，在训练过程中，当损失越小，说明模型越精确；经过50000次迭代后，模型收敛，损失变化曲线如图6所示。

本实施例下，所述U-Net网络编码层下的每一级卷积层的卷积模式均设为填充，即卷积后，特征图大小完全不变，原来特征图实际会收缩2，每通过一个卷积层，特征图的大小就会减小2。为了后续的便利，同时也为了缩训练时间，因此这里采用这种卷积方式，经过编码部分后，特征图收缩为输入图片的1/16，经过反卷积恢复分辨率，特征图开始扩大，在解码部分的第二级引入多尺度模块，实验证明有最佳效果。

当前对所述U-Net网络进行改进后，其网络结构可参考图3，传统的U-Net网络可参考图2。

传统的U-Net网络是一个对称的语义分割模型，分为编码层和解码层，编码层用于提取图像的特征，解码层用于恢复分辨率。

具体来说，编码层包括四级，每一级包括两层卷积，卷积核为3*3，每一层卷积后紧跟一个正规化层和激活函数层，激活函数为ReLu，在每一级后，连接一个最大池化层，一方面提升感受野，同时避免过拟合，也能够防止一些扰动对模型的影响，经过四级池化后，特征图的分辨率收缩为输入的1/16；为了实现端对端的分割效果，传统的U-Net网络采用反卷积扩大分辨率，解码部分同样包括四级，每一级里面包括两层卷积，卷积层后面也连接正规化层和激活函数，之后连接反卷积层，扩张倍数为2倍，也就是特征图通过反卷积后，特征图尺寸扩大为两倍，同时为了引入浅层细节信息，提高定位精度，因此，将编码层的特征图和解码层特征串联，形成更厚的特征，在输出层，包括两个通道，因为只有建筑物和背景两类。Softmax函数可以算出每一个像素点属于这两类的概率，概率高的那一类就是这个像素点所对应的的类别标签，输出时，将这个像素点归类为对应的类，就可以得到最后的分割效果图。

然而，由于利用传统的U-Net网络进行遥感影像建筑物提取的时候，一方面由于其网络不够深，其次多尺度特征仍然不够，需要提高网络挖掘多尺度特征的能力，且感受野不够大，使用池化虽然可以扩大感受野，但是池化层会提高网络挖掘语义信息的能力，即提取了抽象特征，但是会损失细节信息，因此，本实施例下，对传统的U-Net网络进行改进，由于空洞卷积可以在较大程度上扩大感受野，却不会损失分辨率，因此考虑在解码层引入空洞卷积提高感受野，同时在解码层增加一个多尺度模块，增强网络获取多尺度特征的能力。

使用改进的U-Net网络，当输入为尺寸为512*512的三通道图片时，在第一级通道过后，特征图为512*512*64，这里64为通道数，经过一次池化和两次卷积后，第二级的输出为256*256*128，第三级输出为128*128*256，第四级输出为了64*64*512，U-Net网络的底部也包括两层卷积，输出32*32*1024，之后连接解码层，经过第一次反卷积后，特征图大小倍增，通道数减半，在解码层的第一级输出为64*64*512，第二级加入了多尺度模块，这样多尺度模块的输出为了128*128*1024，之后用卷积层收缩通道数，类似地，第三级的输出为了256*256*128，最后通过第四次卷积后，特征图收缩为512*512*128，分辨率恢复，经过三次卷积后，特征图就可以收缩为512*512*2，之后使用softmax计算概率，就可以得到分割效果图。

为了保证目标数据输出的准确度，采用F1和IOU指标进行网络衡量；最终的指标值越高，表明精度越好；F1指标和IOU指标的定义如下：

其中，FN代表被判定为负样本，但事实上是正样本；FP代表被判定为正样本，但事实上是负样本；TN-True Negative代表被判定为负样本，事实上也是负样本；TP代表被判定为正样本，事实上也是正样本；groundtruth指的背景像素值，其中，图像中有建筑物的区域对应的groundtruth即背景像素值设置为255，图像中没有建筑物的区域对应纯黑，即背景像素值设置为0；presition表示测试的结果，在测试的时候，得到的正确的真值，将所述正确的真值作为指标即groundtruth，将图片测试后的结果与groundtruth进行比较，进行算法优劣性的衡量算法。

对于像素点来说，假如这个像素点属于房屋，但预测却不是房屋，就是FN；假如这个像素点不属于房屋，但却被预测为房屋，就是FP；像素点不是建筑物，预测也不是建筑物，就是TN；像素点是建筑物，预测也是建筑物，就是TP。

实施例2：

为了提高图像的提取精度，基于实施例1，步骤S3中在进行建筑物图像提取时依次使用开、闭操作，对图像的边缘做平滑处理，并去除掉图像中的破碎点，提高图像的提取精度；其中，开、闭操作的数学形式定义如下述公式(1)和公式(2)所示：

参数A原始二值图像，参数B是结构元素(所述结构元素可以是正方形或者原形)；公式(1)中

表示开操作；

表示参数B膨胀参数A；“AΘB”表示参数B腐蚀参数A；公式(2)中“·”表示闭操作。

上述参数B膨胀参数A的详细过程如下：

参数B有一个可定义的锚点,通常定义为内核中心点；进行膨胀操作时，将B划过图像，提取B覆盖区域的最大相素值，并代替锚点位置的相素。显然，这一最大化操作将会导致图像中的亮区开始扩展。

参数B腐蚀参数A的详细过程如下：

进行腐蚀操作时，将B划过图像，提取B覆盖区域的最小相素值，并代替锚点位置的相素，这一操作将会导致图像中的亮区缩小。

下面将结合实验对比数据，进一步证明本方案可以获得最优结果：

首先，进行定性对比实验，结果如图7所示，图中，从左到右，第一列是高分辨遥感图像原图，第二列是真值，第三列是SegNet分割结果，第四列是U-Net分割结果，第五列是本方案所取得的结果；可以看到本方案有最优结果，边缘更加精确。

其次，进行后处理的定性对比(即配合使用开、闭操作)实验，结果如图8所示，图中，第一列是原图，第二列是标签，第三列是第六步得到的结果，第四列是后处理后的结果。可以看出，经过开、闭操作后，可以使得图像边缘更加平滑，且去除掉一些破碎的点，在一定程度上提升了提取精度。

在将所述遥感影像建筑物提取方法应用到开发系统的时候，本发明一种基于U-Net网络的遥感影像建筑物提取系统，包括以下模块(系统结构图请参考图4)，该系统包括数据采集模块L1、网络训练模块L2和遥感影像建筑物提取模块L3，每个模块的执行功能具体为：

数据采集模块L1用于采集包括若干张遥感影像的数据集；对每张遥感影像进行分割裁剪得到包含分类对象的面矢量文件，并绘制所述面矢量文件中的建筑物标签，将标签为建筑物的所述面矢量样本的矢量数据转换为栅格数据，得到栅格化的建筑物样本；

网络训练模块L2用于选择U-Net网络作为基础的建筑物提取模型，将所述建筑物样本作为输入数据进行建筑物提取模型的训练；其中：

所述U-Net网络解码层的第2级包括一个含有四个并行分支的多尺度模块，所述多尺度模块包括的每一个分支均包括一个空洞卷积，但，每个空洞卷积的空洞率不同；每个分支下的空洞卷积的空洞率依次设置为1，2，4，8。

使用tensorflow框架进行网络训练，当损失函数收敛之后，采用准确度指标F1和IOU对训练好的模型进行评估；

遥感影像建筑物提取模块L3将待进行建筑物提取的遥感影像输入到网络训练模块下训练好的网络，进行遥感影像建筑物提取。

在将所述遥感影像建筑物提取方法应用到设备的时候，本发明公开的一种电子设备(其系统结构图请参考图5)，包括处理器；

存储器；以及程序，其中，所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序用于执行如前述的遥感影像建筑物提取方法。

本发明结合U-Net网络从三个角度，分别为所述遥感影像建筑物提取方法、将该方法应用到开发系统的遥感影像建筑物提取系统、以及将该方法应用到设备的电子设备，通过在U-Net网络的解码层加入一个多尺度模块，引入空洞卷积层，由于空洞卷积可以在较大程度上扩大感受野，因此在提高感受野的情况下，提高图像分辨率，增强U-Net网络获取多尺度特征的能力。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种基于U-Net网络的遥感影像建筑物提取方法，其特征在于，包括以下步骤：

所述U-Net网络解码层的第M级包括一个含有N个并行分支的多尺度模块，M、N均大于等于1；所述多尺度模块包括的每一个分支均包括一个空洞卷积，但，每个空洞卷积的扩张率不同；

训练的过程中，采用输出目标数据的准确度进行网络衡量；

2.根据权利要求1所述的遥感影像建筑物提取方法，其特征在于，步骤S1中，采集到的图像类别包括建筑物、汽车和植物，共有红、绿、蓝、近红四个通道；

在将采集到的图像数据输入到U-Net网络进行建筑物提取模型训练前，还需对输入的数据集进行预处理实现标签的简化，其中，对输入的数据集进行预处理包括：

首先，选择红、绿、蓝三通道，舍弃近红通道；

其次，将标签中除开建筑物以外的类别删除；

最后，将标签转换为二值图，其中，建筑物颜色为纯黑的背景像素值设置为0，建筑物颜色为纯白的背景像素值设置为255。

3.根据权利要求2所述的遥感影像建筑物提取方法，其特征在于，步骤S2中，在U-Net网络解码层的第二级引入所述多尺度模块；在U-Net网络解码层的第二级包括一个含有4个并行分支的多尺度模块，其中，每个分支下的空洞卷积的扩张率依次设置为1，2，4，8。

4.根据权利要求3所述的遥感影像建筑物提取方法，其特征在于，步骤S2中，在进行建筑物提取模型的训练的过程中，学习率设置为0.0001，损失函数设置为交叉熵损失函数。

5.根据权利要求4所述的遥感影像建筑物提取方法，其特征在于，步骤S2中，使用tensorflow框架进行网络训练，当损失函数收敛之后，采用准确度指标F1和IOU对训练好的模型进行评估，其中，F1指标和IOU指标的定义如下：

其中，FN代表被判定为负样本，但事实上是正样本；FP代表被判定为正样本，但事实上是负样本；TN-True Negative代表被判定为负样本，事实上也是负样本；TP代表被判定为正样本，事实上也是正样本；groundtruth指的背景像素值，其中，图像中有建筑物的区域对应的groundtruth即背景像素值设置为255，图像中没有建筑物的区域对应纯黑，即背景像素值设置为0。

6.根据权利要求1或5所述的遥感影像建筑物提取方法，其特征在于，步骤S3中，在进行建筑物图像提取时依次使用开、闭操作，对图像的边缘做平滑处理，并去除掉图像中的破碎点，提高图像的提取精度；其中，开、闭操作的数学形式定义如下述公式(1)和公式(2)所示：

参数A是原始二值图像，参数B是结构元素；公式(1)中

表示开操作；

7.一种基于U-Net网络的遥感影像建筑物提取系统，其特征在于，包括以下模块：

8.根据权利要求7所述的遥感影像建筑物提取系统，其特征在于，在网络训练模块中，在U-Net网络解码层的第二级引入所述多尺度模块；且，在U-Net网络解码层的第二级包括一个含有4个并行分支的多尺度模块，其中，每个分支下的空洞卷积的空洞率依次设置为1，2，4，8。

9.根据权利要求8所述的遥感影像建筑物提取系统，其特征在于，在网络训练模块中，使用tensorflow框架进行网络训练，当损失函数收敛之后，采用准确度指标F1和IOU对训练好的模型进行评估，其中，F1指标和IOU指标的定义如下：

10.一种电子设备，其特征在于，包括处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序用于执行如权利要求1所述的方法。