CN109117894B - 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。首先，通过在计算网络模型的每层池化层前，融合上一层池化前的特征改善池化造成的图像信息丢失问题；其次，考虑大尺度遥感图像楼房分类的不平衡问题，改进常规的交叉熵损失函数，提出基于FocalLoss损失函数的加权损失函数WFL(Weighted FocalLoss)。本发明公开的一种基于全卷积神经网络的大尺度遥感图像楼房分类方法能够高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图，在大尺度遥感图像楼房分类领域具有重要的实际应用意义，可以为城镇规划、演变提供可靠的技术支持。

Description

一种基于全卷积神经网络的大尺度遥感图像楼房分类方法

技术领域

本发明涉及图像处理和深度学习领域，尤其涉及一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。

背景技术

随着卫星遥感图像和航空遥感图片分辨率的不断提高,人们可以从遥感图像中获得更多的有用的数据和信息。 伴随着“数字地球”概念的提出,越来越多的民用场合需要用到遥感图像,包括资源调查,自然灾害观测、大气气象预报等。由于不同场合遥感图像的应用对遥感图像处理提出了不同的要求,所以图像处理中重要的环节——图像分类也就显得尤为重要,经过多年的努力,形成了许多经典的分类方法和算法。

近年来，深度学习在图像处理、自然语言理解和语音识别等领域取得了突破性进展，已经成为了人工智能的一个热潮。深度学习旨在建立一个模型来模拟人类大脑的神经连接结构，在处理图像、声音、文本等信号的时候，通过多个变换阶段分层对数据特征进行描述，从而给出数据的解释。在深度学习中，底层特征的不同组合能够形成更加抽象的高层特征、属性或者是其他分类，再进一步给出不同层的数据特征表示。将深度学习应用到遥感图像的房屋检测中，能够更好地处理大尺度遥感图像，并对遥感图像的丰富信息特征进行学习，从而使得楼房定位更加精确。将深度学习与遥感技术相结合，具有非常现实的意义，能够为地理信息系统等应用带来更好的应用体验。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。可高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图。

为了解决上述技术问题，本发明实施例提供了一种基于全卷积神经网络的大尺度遥感图像楼房分类方法，包括以下步骤：

S1：将输入数据为图像和标签，将所述图像依次经过至少三个跳跃基本单元，

S2：将上述输出结果交替输入三个融合层、两个上采样层得到预测映射；

S3：将所述预测映射与所述标签计算基于Focal Loss损失函数的加权损失函数；

S4：通过反向传播修正网络权重，迭代训练，直到训练结束；

S5：输入数据为图像经过上述步骤依次处理，将原始图像切割成适用于网络的小图像块，将预测的小图像块映射拼接，得到原始大尺度遥感图像的楼房分布预测。

进一步地，所述跳跃基本单元利用步长为2的多卷积核，将池化层前的输入数据进行空间上的降维以及深度上的升维，并将计算得到的特征与池化层和卷积层计算后的输出特征融合作为跳跃基本单元的输出。

更进一步地，所述基于Focal Loss损失函数的加权损失函数公式为：

其中，m为图像中背景的像素总数，n为图像中房屋的像素总数，且

。

:当

时，加权损失函数退化为加权交叉熵损失；当

时，加权损失函数能够降低正确分类的那些像素对损失的贡献。

实施本发明实施例，具有如下有益效果：本发明能够高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图，在大尺度遥感图像楼房分类领域具有重要的实际应用意义，可以为城镇规划、演变提供可靠的技术支持。

附图说明

图1为工作流程图；

图2为跳跃融合基本单元；

图3为原始图、标签和预测结果 ；

图4为具体实例网络参数。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明所要解决的技术问题是1)传统的全卷积神经网络（FCN）的池化层多采用最大池化的方法，在相邻四个像素点之间选择像素值最大的保留。最大池化虽然降低了输入特征的维度，但是造成了输入数据部分信息的丢失。本发明在原本的网络结构中引入跳跃融合基本操作单元，如图2。卷积层1利用步长为2,卷积核大小为3x3的2c个卷积核提取输入特征，将输入数据进行空间上的降维以及深度上的升维，其中c为输入数据通道长度，因为多卷积核计算是在池化层前计算并将信息跳跃传输到了下一个池化层前，所以保留了输入特征的信息。公式如下：

其中，

为输入数据，形状为(2m,2n,c);

为(3,3,C)的卷积核权重，共有2C个不同的卷积核，以步长2提取输入数据的特征；

为偏置项；函数

为激活函数；

为输出数据，形状为(m,n,2c)。

池化层使用最大池化，降低空间维度，输出尺寸为(m,n,c)。之后将计算得到的特征输入卷积层2；卷积层2使用步长为1，卷积核大小为3x3的2c个卷积核提取输入特征，输入数据空间维度不变，通道升维，变为2c。最后，融合卷积层1和卷积层2的输出作为跳跃基本单元的输出。如图1，在引入跳跃传输后，融合层8、融合层10和融合层12使用的特征包含了输入图像所有的信息。2) 对于大尺度遥感图像楼房分类，只有不到20%的部分为待检测的房屋，而其他绝大部分为背景。为了降低类不平衡问题给网络训练带来的训练困难，本发明提出一种基于Focal Loss损失函数的加权损失函数WFL(Weighted Focal Loss)用来训练优化网络模型的参数。对于大尺度楼房分类问题，可以简化看做每个像素的二值分类(楼房或者背景)。本发明提出的基于Focal Loss损失函数的加权损失函数WFL(Weighted FocalLoss)，公式可以表示如下:

其中，m为图像中背景的像素总数，n为图像中房屋的像素总数，且

，

为训练图像的总像素点个数；

是标签的取值，

是网络模型预测图像的第i个像素点

的概率。

:当

时，损失函数WFL退化为加权交叉熵损失；当

时，相比较加权交叉熵损失函数，本发明提出的WFL损失函数能够降低正确分类的那些像素对损失的贡献。例如，

时，

的像素点对损失函数的贡献将降低100倍，而对于那些误分类的像素点(

),最多降低4倍。改进的WTF损失函数能够在一定程度上缓解类不平衡问题给网络带来的训练困难。3)WFL损失函数只在训练阶段优化网络模型参数时使用;在预测阶段，网络输入遥感图像，上采样层12的输出即为网络对该遥感图像中楼房的分类预测。3)图1中的卷积池化层由卷积运算和池化运算构成；卷积分类层中的分类使用Softmax函数将输出归一化到[0,1];融合层使用c个1x1卷积核将两个输出压缩(c为分类的种类个数)；上采样层使用解卷积方式对输入进行空间维度的扩大。

具体而言，结合图1, 图4对于5000*5000*3的大尺度遥感图像，将图像切割成256*256*3的小块，将所有的小块的预测结果拼接成5000*5000*2的预测映射。

1)训练阶段，①输入层输入的是图像和对应的标签，大小为n*256*256*3,其中n为输入图像块的个数；②输入图像按照附图1所示流程处理，首先经过跳跃基本单元1和跳跃基本单元2得到非线性特征，跳跃基本单元1使用64个3x3的卷积核，跳跃基本单元2使用128个3x3的卷积核，并将计算结果输入到融合层12和跳跃基本单元3，对应的输入大小分别为n*128*128*64和n*64*64*128；跳跃基本单元3使用256个3x3的卷积核计算，其输出作为融合层10和跳跃基本单元4的输入，大小为n*32*32*128；跳跃基本单元4使用512个3x3卷积核计算，其输出作为融合层8和卷积池化层5的输入，大小为n*16*16*512；卷积池化层5使用4096个7x7的卷积核计算，其输出n*8*8*4096；卷积分类层6使用c个1x1卷积核计算，并通过Softmax函数得到n*8*8*c的输出，其中c为分类的种类个数。但是由于池化造成的尺度降维，为了得到和输入图像相同尺度大小的像素级分类结果，将分类结果经过上采样层7使用解卷积升维并将结果n*16*16*c输入到融合层8，融合层8使用c个1x1卷积核将跳跃基本单元的输入n*16*16*512压缩为n*16*16*c并和上采样层7的输出相加作为融合层8的输出；融合层8的输出经过上采样层9升维并将结果n*32*32*c输入到融合层10；融合层10的输出n*32*32*c经过上采样层11升维并将结果n*64*64*c输入到融合层12。最后融合层12经过上采样层12空间升维4倍，得到的是和原始图像一样尺寸大小的预测映射；③计算预测映射与标签的WFL损失，并通过反向传播算法优化网络权重系数；④重复步骤②③直到训练结束。2）预测阶段，输入层输入待预测的图片，经过附图1所示流程处理，最后上采样层12输出的即为预测映射。

(2) 实例在Tensorflow 1.3环境下测试所得，附图3为原始图、标签和预测结果，①为原始待预测图像,像素大小5000×5000*3;②为对应标签，像素大小5000*5000*2;③为本发明方法预测出的房屋分布映射。对比图3②③可以看出，本发明提出的基于全卷积神经网络的大尺度遥感图像楼房分类方法能够很好的预测出原始图像中的房屋分布。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (1)

1.一种基于全卷积神经网络的大尺度遥感图像楼房分类方法，其特征在于，包括以下步骤：

S1：将输入数据为图像和标签，将所述图像依次经过至少三个跳跃基本单元，所述跳跃基本单元利用步长为2的多卷积核，将池化层前的输入数据进行空间上的降维以及深度上的升维，并将计算得到的特征与池化层和卷积层计算后的输出特征融合作为跳跃基本单元的输出；

S2：将上述输出结果依次经过三个融合层、两个上采样层计算得到预测映射；

S3：将所述预测映射与所述标签计算基于Focal Loss损失函数的加权损失函数；所述基于Focal Loss损失函数的加权损失函数公式为：

其中，M为图像中所有像素总数，m为图像中背景的像素总数，n为图像中房屋的像素总数，且

，

，

为根据模型效果设定调整的超参数，

是标签的取值，

是网络模型预测图像的第i个像素点

的概率，当

时，加权损失函数退化为加权交叉熵损失；当

时，加权损失函数能够降低正确分类的那些像素对损失的贡献；

S4：通过反向传播修正网络权重，迭代训练，直到训练结束；

S5：输入数据为图像经过上述步骤依次处理，将原始图像切割成适用于网络的小图像块，将预测的小图像块映射拼接，得到原始大尺度遥感图像的楼房分布预测。

Images