CN111160276B - 基于遥感影像的u型空洞全卷积分割网络识别模型 - Google Patents

Abstract

本发明公开了基于遥感影像的U型空洞全卷积分割网络识别模型,包括数据预处理模块、模型训练模块和模型评价模块；其特征在于：所述数据预处理模块：用于将遥感影像进行数据预处理操作，得到数据集，再将数据集等比抽样，生成训练集、验证集和测试集；所述模型训练模块用于通过搭建U型空洞全卷积分割网络模型，并利用所述训练集的数据训练U型空洞全卷积分割网络模型参数，进行模型学习，更新网络权重；并利用所述验证集的数据与识别效果之间的差异来调整U型空洞全卷积分割网络模型中涉及的超参数，并判断U型空洞全卷积分割网络模型收敛程度，以达到深层训练的目的；可广泛应用在不同尺度的遥感影像地物。

Description

基于遥感影像的U型空洞全卷积分割网络识别模型

技术领域

本发明涉及DUSegNet分割识别模型，具体涉及基于遥感影像的U型空洞全卷积分割网络识别模型。

背景技术

遥感监测是对地表资源监督管理的重要技术手段，而针对多光谱遥感影像的地物提取主要是利用不同地物的光谱反射特性差异，通过影像不同波段反应特性来区分不同的地物信息。而全色影像(Pan)和RGB彩色影像的地物提取则一般是利用图像的纹理特征、几何特征等进行图像分割实现地物提取。然而这些传统方法低分辨率影像中有一定的适用性，但随着传感器技术的进步，诸如国产高分二号等卫星遥感影像达到亚米级的空间分辨率，这个时候这些传统的图像分割算法也许就捉襟见肘了。近年来，人工智能领域的深度学习策略在大数据分析领域成效显著，具有高精度、高时效的特点，为遥感影像信息自动提取提供了有效的思路。

遥感影像区别于自然图像，其地物信息往往尺度变化大，且诸如建筑、车辆等地物信息普遍尺度很小，而对于诸如道路、河流等地物信息是属于狭长的类型，对于立交桥等地物信息结构错综复杂。此外，对于矿山等地物信息，在影像中稀疏度也很高。因此，基于自然图像的图像分割和识别算法并不适用于遥感影像地物信息的分割和识别，需要构建一种适用于多尺度、细粒度、能够识别狭长地物特性且充分利用遥感影像光谱特性的分割识别算法。

发明内容

本发明针对现有技术存在的不足，提出了基于遥感影像的U型空洞全卷积分割网络识别模型。

本发明的技术方案是：基于遥感影像的U型空洞全卷积分割网络识别模型,包括数据预处理模块、模型训练模块和模型评价模块；其特征在于：

所述数据预处理模块：用于将遥感影像进行包括几何校正、影像融合、图像增强以及影像切割的一系列数据预处理操作，得到数据集，再将数据集等比抽样，生成训练集、验证集和测试集。

所述训练集用于训练网络参数，进行模型学习。

所述验证集用于模型中一些超参数的调优。

所述测试集用于测试和评价模型性能。

所述模型训练模块用于通过搭建U型空洞全卷积分割网络模型，并利用所述训练集的数据训练U型空洞全卷积分割网络模型参数，进行模型学习，更新网络权重。并利用所述验证集的数据与识别效果之间的差异来调整U型空洞全卷积分割网络模型中涉及的超参数，并判断U型空洞全卷积分割网络模型收敛程度，以达到深层训练的目的。

所述模型评价模块用于利用测试集的数据对搭建的U型空洞全卷积分割网络模型进行测试和评价模型性能。

所述U型空洞全卷积分割网络模型包括编码器、强化器、解码器和判别器。

所述编码器利用卷积层和池化层堆叠方式构建金字塔特征提取模式，以提取不同尺度、不同语义层的图像特征，输出到强化器。

所述强化器利用空洞卷积以及卷积堆叠串联两种方式来增加感受野范围。并采用多分支结构提取不同感受野范围、不同尺度信息的图像特征，再进行多尺度特征的融合和筛选，形成多尺度融合特征，输出到解码器。即所述强化器在尽量不增加模型训练参数的基础上尽可能增大图像特征的感受野的范围,提升图像特征的非局部特性，同时减少网络参数规模，使得所提取到的图像特征更具有泛化能力，输出到解码器。解决由于感受野大小不足、池化信息丢失等操作导致的针对诸如河流、道路等狭长地貌特征弱化、消失和畸变等问题，以及在矿山等地物信息形态各异、尺度多变且极度稀疏导致的识别困难问题。

所述解码器利用反卷积层和卷积堆叠方式构建金字塔特征解耦模式，融合和解码不同尺度、不同语义层的图像特征，输出到判别器。

所述判别器用于将图像特征图转化为类别置信度，进而得到最后的分割、识别结果。

根据本发明所述的基于遥感影像的U型空洞全卷积分割网络识别模型的优选方案，所述编码器采用特征金字塔模型，其构架与SegNet模型(Segmentation Network，分割网络模型)一致。用于利用卷积堆叠的方式提取不同层次的语义特征，并入池化操作使提取的特征适应不同尺度信息，同时达到增大感受野和减少计算量的目的。共含有多层金字塔和多次池化操作，并保存各层池化索引，供解码器上采样使用。以提高解码精度，精细化分割边界。

所述解码器采用金字塔模型，其构架与SegNet模型(Segmentation Network，分割网络模型)类似。与编码器一样，共含有多层金字塔和多次池化操作。采用卷积堆叠的方式架构，并利用反卷积操作恢复与重构尺度信息特征。并且在编码、解码过程中传递信息不只是池化索引，还包括编码金字塔每层的最后一层卷积形成的特征层，补充由于池化操作丢失的浅层高频特征及边界信息。解码器使用相应的编码器池化索引，来进行输入特征图的非线性上采样操作，其具体过程为在编码过程的池化过程中记录下每组索引，然后在解码网络中利用反卷积实现上采样，以恢复由于池化导致的尺度变换，然后把输入特征图的数据根据索引恢复到原来的位置上，其余位置填0补充。

所述强化器采用串-并行模型，是一个多分支结构，每个分支使用空洞卷积来构架，每个分支感受野范围不同，利用空洞卷积串联来实现感受野的增大，并且在特征图叠加之前增加了特征图的连接层，使得不同深度的特征图共同泛化图像中诸如露天矿山、道路、水域等地物信息的特征。

使得不同深度的特征图共同泛化图像中地物信息的特征。

根据本发明所述的基于遥感影像的U型空洞全卷积分割网络识别模型的优选方案，所述U型空洞全卷积分割网络模型由卷积层(包括常规卷积、空洞卷积和反卷积)、池化层堆叠构成，每个卷积层后进行BN(Batch Normal，批标准化或归一化)和ReLU非线性激活函数处理。

所述编码器由5个卷积块、5个池化层组成。5个卷积块分别含有2、2、2、3、3个卷积层堆叠形成，且卷积核大小除第一个卷积块的卷积核分别为7*7和5*5外，其余均为3*3，边缘填充(padding)均采用“same”方式。5个池化层采用步长为2的最大池化，输出包括池化特征图和池化索引。

所述强化器采用4层空洞卷积空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞卷积，对得到的融合特征图与所述编码器输出的特征图进行特征度叠加后，再输出到解码器。

所述解码器由5个反卷积块组成。每个反卷积块分别由一个反卷积层、一个特征拼接层(Concat操作)和若干卷积层构成。每个反卷积层的输入包括前层卷积输出和同尺度赤化操作的池化索引。5个反卷积块对应的卷积层数分别为2、2、1、1、2层。每个特征拼接层(Concat层)接收的特征图分别为该反卷积块中反卷积层的输出和编码器中同尺度的特征层的特征输出。

所述判别器由Softmax层构成。

根据本发明所述的基于遥感影像的U型空洞全卷积分割网络识别模型的优选方案，所述强化器先采用5分支结构，第一个分支分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，得到感受野增加55的特征图；第二个分支分别采用空洞值为1、2、4的3*3空洞卷积堆叠，得到感受野增加24的特征图；第三个分支分别采用空洞值为1、2的3*3空洞卷积堆叠，得到感受野增加9的特征图；第四个分支采用空洞值为1的3*3空洞卷积，得到感受野增加3的特征图；第五个分支不采用卷积，而是直接利用输入特征，得到感受野不变的特征图；之后将5个分支连结，形成多感受野特征图，形成一种多尺度特征；再利用空洞值为1的3*3卷积进行多尺度特征的融合和筛选，形成多尺度融合特征；最后，使用特征图叠加操作并激活作为输出。

根据本发明所述的基于遥感影像的U型空洞全卷积分割网络识别模型的优选方案，所述强化器分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞值为1的空洞卷积，对得到的特征图与原始输入进行特征度叠加，得到最终输出。

本发明所述的基于遥感影像的U型空洞全卷积分割网络识别模型的有益效果是：

通过多尺度金字塔结构能够识别不同尺度的地物信息，且通过引入由空洞卷积构建的强化器，扩大其感受野的同时，减少训练参数。此外强化器使用串并串联的方式进行特征融合，并通过瓶颈层或通道自适应训练权重的方式，使其自适应的选择地物信息所需尺度信息，不再是人为设定哪种尺度更为重要，使得地物信息提取更加精准。此外，我们所构建的网络是全卷积神经网络，其输入图像可以是任意尺寸，不再需要resize改变地物信息形状；可广泛应用在不同尺度的遥感影像地物。

附图说明

图1是基于遥感影像的U型空洞全卷积分割网络识别模型的结构示意图。

图2是DUSegNet网络模型结构图。

图3是池化索引在编码、解码器中的索引结构图。

图4解码器上采样过程示意图。

图5是强化器结构示意图。

图6是强化器结构简化示意图。

图7是实施例1测试集中数据图。

图8是实施例1的不同模型矿山识别结果对比图。

图9是实施例2的不同模型地物类型识别结果。

具体实施方式

参见图1，基于遥感影像的U型空洞全卷积分割网络识别模型,包括数据预处理模块、模型训练模块和模型评价模块。

所述数据预处理模块：用于将遥感影像进行包括几何校正、影像融合、图像增强以及影像切割的一系列数据预处理操作，得到数据集，再将数据集等比抽样，生成训练集、验证集和测试集。

所述训练集用于训练网络参数，进行模型学习。

所述验证集用于模型中一些超参数的调优。

所述测试集用于测试和评价模型性能。

所述模型训练模块用于通过搭建U型空洞全卷积分割网络模型，并利用所述训练集的数据训练U型空洞全卷积分割网络模型参数，进行模型学习，更新网络权重。并利用所述验证集的数据与识别效果之间的差异来调整U型空洞全卷积分割网络模型中涉及的超参数，并判断U型空洞全卷积分割网络模型收敛程度，以达到深层训练的目的。

所述模型评价模块用于利用测试集的数据对搭建的U型空洞全卷积分割网络模型进行测试和评价模型性能。

所述U型空洞全卷积分割网络模型包括编码器、强化器、解码器和判别器。

所述编码器利用卷积层和池化层堆叠方式构建金字塔特征提取模式，以提取不同尺度、不同语义层的图像特征，输出到强化器。

所述强化器利用空洞卷积以及卷积堆叠串联两种方式来增加感受野范围。并采用多分支结构提取不同感受野范围、不同尺度信息的图像特征，利用瓶颈操作实现多尺度特征筛选和融合，形成多尺度融合特征。利用残差思想，恢复底层特征并防止网络退化，输出到解码器。即所述强化器在尽量不增加模型训练参数的基础上尽可能增大图像特征的感受野的范围,提升图像特征的非局部特性，同时减少网络参数规模，使得所提取到的图像特征更具有泛化能力。解决由于感受野大小不足、池化信息丢失等操作导致的针对诸如河流、道路等狭长地貌特征弱化、消失和畸变等问题，以及在矿山等地物信息形态各异、尺度多变且极度稀疏导致的识别困难问题。

所述解码器利用反卷积层和卷积堆叠方式构建金字塔特征解耦模式，融合和解码不同尺度、不同语义层的图像特征，输出到判别器。

所述判别器用于将图像特征图转化为类别置信度，进而得到最后的分割、识别结果。

在具体实施例中，所述编码器采用特征金字塔模型，其构架与SegNet(Segmentation Network，分割网络模型)模型一致。卷积的作用是提取特征，卷积均采用“same”策略补充边缘，即卷积后不改变图片大小。用于利用卷积堆叠的方式提取不同层次的语义特征，并入池化操作使提取的特征适应不同尺度信息，同时达到增大感受野和减少计算量的目的。共含有多层金字塔和多次池化操作，并保存各层池化索引，供解码器上采样使用。

所述解码器采用金字塔模型，其构架与SegNet模型(Segmentation Network，分割网络模型)类似。与编码器一样，共含有多层金字塔和多次池化操作。采用卷积堆叠的方式架构，并利用反卷积操作恢复与重构尺度信息特征。并且在编码、解码过程中传递信息不只是池化索引，还包括编码金字塔每层的最后一层卷积形成的特征层，补充由于池化操作丢失的浅层高频特征及边界信息。解码器使用相应的编码器池化索引，来进行输入特征图的非线性上采样操作，其具体过程为在编码过程的池化过程中记录下每组索引，然后在解码网络中利用反卷积实现上采样，以恢复由于池化导致的尺度变换，然后把输入特征图的数据根据索引恢复到原来的位置上，其余位置填0补充。

所述强化器采用串-并行模型，是一个多分支结构，每个分支使用空洞卷积来构架，每个分支感受野范围不同，利用空洞卷积串联来实现感受野的增大，并且在特征图叠加之前增加了特征图的连接层，使得不同深度的特征图共同泛化图像中地物信息的特征。

在判别器中，深度学习常用的架构函数包括Logistic函数和Softmax函数等，而用于图像分割的深度学习模型的判别器常用Softmax函数来架构。同大量分割模型相同，本项目采用Softmax函数来构架判别器，将特征图转化为类别置信度，进而得到最后的分割、识别结果。

由于遥感影像是由多传感器生成的不同分辨率、不同光谱特性的影像，且有不同程度的几何形变，很难直接应用于识别模型中，因此，需要将影像进行几何校正、影像融合、图像增强、影像切割等一系列预处理操作。此外，为了进行模型训练、调优和性能评价等，还需要将数据集等比抽样，生成训练集、验证集和测试集。

当获取训练样本、验证集和测试集后，需通过搭建网络模型投入样本进行训练，通过验证集与识别效果之间的差异来多次、反向调整模型参数的权重，以达到深层训练的目的。基于SegNet(Segmentation Network，分割网络)、UNet(U型网络)和D-LinkNet(DilatedLinkNet空洞连接网络)语义分割模型，提出一种适用于高分二号影像的分割识别模型——DUSegNet(Dilated U-type SegNet U型空洞全卷积分割网络)模型。

所述U型空洞全卷积分割网络模型DUSegNet网络模型见图2。

所述U型空洞全卷积分割网络模型DUSegNet由卷积层(包括常规卷积、空洞卷积和反卷积)、池化层堆叠构成，其中每个卷积层后进行BN(Batch Normal，批标准化或归一化)和ReLU(Rectified linear unit修正线性单元)非线性激活函数处理。DUSegNet包括编码器、强化器、解码器和判别器四个部分。

编码器部分由5个卷积块、5个池化层组成；5卷积块分别含有2、2、2、3、3个卷积层堆叠形成，且卷积核大小除第一个卷积块的卷积核分别为7*7和5*5外，其余均为3*3，padding(边缘填充)均采用“same”方式；5个池化层采用步长为2的最大池化，输出包括池化特征图和池化索引。

所述强化器采用4层空洞卷积空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞卷积，对得到的融合特征图与所述编码器输出的特征图进行特征度叠加后，再输出到解码器。

解码器部分由5个反卷积块组成；每个反卷积块分别由一个反卷积层、一个特征拼接层(Concat操作)和若干卷积层构成；每个反卷积层的输入包括前层卷积输出和同尺度赤化操作的池化索引；5个反卷积块对应的卷积层数分别为2、2、1、1、2层；每个Concat层接收的特征图分别为该反卷积块中反卷积层的输出和编码器中同尺度的特征层的特征输出。

判别器由Softmax层构成。Softmax层是基于Softmax函数的非线性激活层。

在具体实施例中，DUSegNet保留SegNet模型精华部分，即池化索引诱导的上采样，如图3所示。

SegNet引入这样的机制主要是因为池化减少了特征图的分辨率，为了满足低分辨率的特征图到输入分辨率映射的需要，池化索引可以产生用于精确地边界定位的特征。具体来说使用池化索引有多个实践好处：

1)它改进了边界划分。

2)减少了实现端到端训练的参数数量。

3)这种上采样的形式可以仅需要少量的修改而合并到任何编码－解码形式的架构。

具体来说，解码器使用从相应的编码器池化索引，来进行输入特征图的非线性上采样操作，其具体过程为在编码过程的池化过程中记录下每组索引，然后在解码网络中上采样层先对输入的特征图放大两倍，然后把输入特征图的数据根据索引恢复到原来的位置上，其余位置填0补充，其具体过程如图4所示。

由图4可见，DUSegNet的编码、解码器与SegNet的编码、解码过程的一个不同在于DUSegNet在编码、解码过程中传递信息不只是池化索引，还包括编码金字塔每层的最后一层卷积形成的特征层。考虑到池化层在泛化特征的同时，会丢失一些空间细节特征信息，而这些丢失的空间特征信息在解码过程中是很难恢复的，因而导致最后分割结果在小尺度细节部分产生较大误差。因而，我们利用卷积连接类同UNet做法，将含有这些小尺度空间细节信息的浅层特征层跳跃连接到解码器中，使得解码更加精准。

参见图5，所述强化器先采用5分支结构，第一个分支分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，得到感受野增加55的特征图；第二个分支分别采用空洞值为1、2、4的3*3空洞卷积堆叠，得到感受野增加24的特征图；第三个分支分别采用空洞值为1、2的3*3空洞卷积堆叠，得到感受野增加9的特征图；第四个分支采用空洞值为1的3*3空洞卷积，得到感受野增加3的特征图；第五个分支不采用卷积，而是直接利用输入特征，得到感受野不变的特征图。之后将5个分支连结，形成多感受野特征图，形成一种多尺度特征。利用空洞值为1的3*3卷积实现多尺度特征的融合和筛选，形成多尺度融合特征。最后，使用特征图叠加操作并激活作为输出。

强化器的设计同D-LinkNet，采用串-并行模型，在增强特征抽取能力基础上，增加特征的容错能力。在并行中的每一个分支采用串行结构，其目的是增强特征相响。简单具化地讲，串行是特征的交，而并行是特征的并。对于露天矿山而言，露天矿山必须满足裸露土壤、岩层等特征，而不同矿山其矿土含量不同，虽然都是土壤和岩石，其颜色特征亦不同。利用空洞卷积增加其感受野，对于诸如道路、河流等狭长的地物信息提取更加全面。串-并行结构就是将泛化和特殊化的特征均考虑在内，使得分割、识别结构更加精准。

强化器是一个多分支结构，每条支线感受野范围不同，类似于Inception结构。我们利用VGG网络架构思想，即利用3*3的卷积串联来实现感受野的增大，并引入空洞卷积，实现更大范围的感受野扩增。如图5所示，架构一个5分支网络结构，从上至下感受野范围依次为63，31，15，7和3。如此可以利用较少的分支就迅速扩大感受野范围。

与D-LinkNet不同的是，在残差即特征图叠加之前增加了特征图的连接层，使得不同深度的特征图共同泛化露天矿山、道路、水域等地物特征信息。亦相当于增加了并行分支，在增加特征容错能力的基础上，结合不同抽象层的特征，共同决策预测结果，使得预测更加精准。

此外，为了网络该部分调整的细化性，我们引入残差操作。因此，在特征图叠加之前需要保证通道一致性，利用如图5所示的空洞为1的3*3卷积核实现瓶颈作用，起到特征重要度的自适应学习和维持通道一致性两个重要作用。这种瓶颈作用亦可用1*1的卷积层，或者引入Attention机制，利用Channel Attention并入1*1卷积来实现。

为了减少待训练参数规模，我们借鉴密集连接思想，将图5中的多分支结构部分权重共享，并将强化器简化为如图6所示。

简化的强化器分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞值为1的空洞卷积，对得到的特征图与原始输入进行特征度叠加，得到最终输出。

为了验证本发明，进行如下实验：

实施例1：利用对高分二号影像一景图像对本发明进行试验。高分二号影像一景图像包含约506.25平方公里，空间分辨率0.8m，影像大小为29200×27200，单张融合后影像6G左右，此外，单景影像中露天矿山覆盖范围率低，即露天矿山对于影像是稀疏的。因而直接利用原有影像训练会导致机器负载率很大，且正样本比率低(有效数据比例很低)，基于这种由于样本比例失衡的数据进行训练会影像特征提取与类别判别的精准性。因此，将融合后的遥感进行标注、有效区域选择、矿山区域切割及数据扩增等一系列数据预处理，得到可用于识别模型的学习数据集，包括训练集、验证集和测试集，样本总量约3万张。

将准备好的训练集投入到模型中开展模型训练，本项目实验采用Linux系统，SDUSegNet搭建采用tensorflow-GPU平台，算法仿真采用Python语言，计算机显卡为GeForce GTX1080(显存8G)，处理器为Core i7-4790CPU@3.60GHz(内存32G)。

在模型训练过程中，一个epoch是指完全跑完一次训练集，试验中batchsize设置为4，即每个batch训练四张图。随着epoch的增加能量损失衰减和分类精度提升。考虑到权重需要从初始化学习，因此初始学习率设为0.01，力矩设置为0.9，并随着epoch的增加，以验证集分类精度为监听、0.9为衰减因子进行衰减，patience设置为10。为了防止过拟合及找到收敛点，设置以训练集分类精度为监听的EarlyStop，patience设置为5。

利用构建的DUSegNet模型对处理好的训练集进行训练，利用验证集调整超参，并用测试集查看模型结果，图7中结果均为测试集中数据。其中每一行代表一组测试数据，(a)为输入影像的8位可视化影像，(b)为手工标注矿山标签(GT)，(c)为模型预测分割识别结果(pred)，(d)为GT叠加在原图之后的可视化结果，(e)为pred叠加在原图之后的可视化结果。

以下就DUSegNet与遥感影像广泛使用的Deconvnet、UNet和SegNet语义分割深度网络模型，矿山分割效果性能展示。图8中结果均为测试集中数据。其中每一行代表一组测试数据，第一列为输入影像的8位可视化影像，第二列为手工标注矿山标签(GT)，第三至六列分别为Deconvnet、UNet、SegNet和DUSegNet网络分割结果。可以看到，DUSegNet分割结果均较好的保证了原始矿山的形状，边界连贯性保持最好，同时，在边界凹凸的小尺度部分形状保持较好。此外，在UNet和SegNet识别失败时，DUSegNet仍然能够有效的识别到矿山区域。

表1是市面流行的图像分割模型Deconvnet、UNet、SegNet及本发明中所构建的DUSegNet对GF2卫星影像矿山数据测试集上进行性能评比。

表1模型性能评价

	Deconvnet	UNet	SegNet	DUSegNet
					AP	0.9347	0.9423	0.9371	0.9431
EP	0.0653	0.0577	0.0629	0.0569
					Sen	0.6598	0.6048	0.5931	0.6182
Sp	0.9494	0.9698	0.9641	0.9668
					P	0.7632	0.8015	0.7718	0.8014
R	0.6598	0.6048	0.5931	0.6182
					F	0.6553	0.6573	0.6336	0.6662

上表利用准确率(AP)、错误率(EP)、灵敏度(Sen)、特效度(Sp)、精确率(P)、召回率(R)和F-评价(F)来描述模型性能。由上表可以看出，DUSegNet模型在敏感度、特效度、精确率和召回率的评价中，虽然不是最好，但是与最好也很接近，均排在第二位，且明显优于另外两种算法。同时，精确度最高、错误率最低，综合性能评价指标F最好。因此，DUSegNet模型相较于其他模型，在矿山图斑识别应用中是综合性能最优的语义分割模型。

实施例2：再利用高分二号城区数据对本发明进行试验。高分二号城区包含约506.25平方公里，空间分辨率0.8m，影像分辨率29200×27200，单张融合后影像6G左右。因而直接利用原有影像训练会导致机器负载率很大，且正样本比率低(有效数据比例很低)，基于这种由于样本比例失衡的数据进行训练会影像特征提取与类别判别的精准性。因此，将融合后的遥感进行标注切割及数据扩增等一系列数据预处理。在此前还要进行大气校正、正射矫正、图像配准、图像融合等一系列处理，我们这里是基于一些融合前预处理操作并融合后得到的影像，来进行识别算法的预处理。在此提及的TIF GF2原始影像均是利用Pan和MSS影像融合后的影像数据。

经过上述流程预处理操作，得到可用于识别模型的学习数据集，包括训练集、验证集和测试集，样本总量约1万余张。其中训练集10000张，验证集和测试均1000张，样本大小512*512。样本包括影像数据和标注数据两部分，即16位TIF四通道影像+8位单通道TIF标注影像。

获取训练样本、验证集和测试集后，需通过搭建网络模型投入样本进行训练，通过验证集与识别效果之间的差异来多次、反向调整模型参数的权重，以达到深层训练的目的。

本文实验采用Linux系统，USegNet搭建采用tensorflow-GPU平台，算法仿真采用Python语言，计算机显卡为8块Tesla K80，处理器为56核Inter(R)Xeon(R)CPU E5-2683v3@2.00GHz。

在模型训练过程中，一个epoch是指完全跑完一次训练集，试验中batchsize设置为4，即每个batch训练四张图。随着epoch的增加能量损失减小和分类精度增加。考虑到权重需要从初始化学习，因此初始学习率设为0.01，力矩设置为0.9，并随着epoch的增加，以验证集分类精度为监听、0.9为衰减因子进行衰减，patience设置为10。为了防止过拟合及找到收敛点，设置以训练集分类精度为监听的EarlyStop，patience设置为5。

图9中每一行代表一组实验样本和不同模型相对应预测结果。第一列为GF2卫星影像的8位可视化影像，第二列为手工标注结果。第三至六列代表DeconvNet、SegNet、Unet、DUSegNet模型的可视化识别结果。

由图9可以看出，即使在标注信息明显有误的情况，DUSegNet模型依旧能够预测出正确的地物类型，说明模型具有良好的泛化能力。且在各模型横向对比中，其边界相对光滑，与GT标注正确的部分相吻合，标注错误的地方也有很好的修正作用。与真实影像类别吻合度，在几个模型中最高，有良好的视觉效果。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.基于遥感影像的U型空洞全卷积分割网络识别模型，包括数据预处理模块、模型训练模块和模型评价模块；其特征在于：

所述数据预处理模块：用于将遥感影像进行包括几何校正、影像融合、图像增强以及影像切割的一系列数据预处理操作，得到数据集，再将数据集等比抽样，生成训练集、验证集和测试集；

所述训练集用于训练网络参数，进行模型学习；

所述验证集用于模型中一些超参数的调优；

所述测试集用于测试和评价模型性能；

所述模型训练模块用于通过搭建U型空洞全卷积分割网络模型，并利用所述训练集的数据训练U型空洞全卷积分割网络模型参数，进行模型学习，更新网络权重；并利用所述验证集的数据与识别效果之间的差异来调整U型空洞全卷积分割网络模型中涉及的超参数，并判断U型空洞全卷积分割网络模型收敛程度，以达到深层训练的目的；

所述模型评价模块用于利用测试集的数据对搭建的U型空洞全卷积分割网络模型进行测试和评价模型性能；

所述U型空洞全卷积分割网络模型包括编码器、强化器、解码器和判别器；

所述编码器利用卷积层和池化层堆叠方式构建金字塔特征提取模式，以提取不同尺度、不同语义层的图像特征，输出到强化器；

所述强化器利用空洞卷积以及空洞卷积堆叠串联的方式来增加感受野范围；并采用多分支结构提取不同感受野范围、不同尺度信息的图像特征，再进行多尺度特征的融合和筛选，形成多尺度融合特征，输出到解码器；

所述解码器利用反卷积层和卷积堆叠方式构建金字塔特征解耦模式，融合和解码不同尺度、不同语义层的图像特征，输出到判别器;

所述判别器用于将图像特征图转化为类别置信度，进而得到最后的分割、识别结果。

2.根据权利要求1所述的基于遥感影像的U型空洞全卷积分割网络识别模型，其特征在于：

所述编码器采用特征金字塔模型，其构架与SegNet模型一致；卷积均补充边缘，用于利用卷积堆叠的方式提取不同层次的语义特征，并入池化操作使提取的特征适应不同尺度信息，同时达到增大感受野和减少计算量的目的；共含有多层金字塔和多次池化操作，并保存各层池化索引，供解码器上采样使用；

所述解码器采用金字塔模型，采用卷积堆叠的方式架构，共含有多层金字塔和多次池化操作；利用反卷积操作恢复与重构尺度信息特征；并且在编码、解码过程中传递信息不只是池化索引，还包括编码金字塔每层的最后一层卷积形成的特征层，补充由于池化操作丢失的浅层高频特征及边界信息；解码器使用相应的编码器池化索引，来进行输入特征图的非线性上采样操作；

所述强化器采用串-并行模型，是一个多分支结构，每个分支使用空洞卷积来构架，每个分支感受野范围不同，再利用空洞卷积串联来实现感受野的增大，并且在特征图叠加之前增加了特征图的连接层，使得不同深度的特征图共同泛化图像中地物信息的特征。

3.根据权利要求1或2所述的基于遥感影像的U型空洞全卷积分割网络识别模型，其特征在于：所述U型空洞全卷积分割网络模型由卷积层、池化层堆叠构成，每个卷积层后进行BN和ReLU非线性激活函数处理；

所述编码器由5个卷积块、5个池化层组成；5个卷积块分别含有2、2、2、3、3个卷积层堆叠形成，且卷积核大小除第一个卷积块的卷积核分别为7*7和5*5外，其余均为3*3，边缘填充均采用″same″方式；5个池化层采用步长为2的最大池化，输出包括池化特征图和池化索引；

所述强化器采用4层空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞卷积，对得到的融合特征图与所述编码器输出的特征图进行特征度叠加后，再输出到解码器；

所述解码器由5个反卷积块组成；每个反卷积块分别由一个反卷积层、一个特征拼接层和若干卷积层构成；每个反卷积层的输入包括前层卷积输出和同尺度赤化操作的池化索引；5个反卷积块对应的卷积层数分别为2、2、1、1、2层；每个特征拼接层接收的特征图分别为该反卷积块中反卷积层的输出和编码器中同尺度的特征层的特征输出；

所述判别器由Softmax层构成。

4.根据权利要求1或2所述的基于遥感影像的U型空洞全卷积分割网络识别模型，其特征在于：

所述强化器采用多层空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞卷积，对得到的融合特征图与所述编码器输出的特征图进行特征度叠加后，再输出到解码器。

5.根据权利要求1或2所述的基于遥感影像的U型空洞全卷积分割网络识别模型，其特征在于：所述强化器先采用5分支结构，第一个分支分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，得到感受野增加55的特征图；第二个分支分别采用空洞值为1、2、4的3*3空洞卷积堆叠，得到感受野增加24的特征图；第三个分支分别采用空洞值为1、2的3*3空洞卷积堆叠，得到感受野增加9的特征图；第四个分支采用空洞值为1的3*3空洞卷积，得到感受野增加3的特征图；第五个分支不采用卷积，而是直接利用输入特征，得到感受野不变的特征图；之后将5个分支连结，形成多感受野特征图，形成一种多尺度特征；再利用空洞值为1的3*3卷积进行多尺度特征的融合和筛选，形成多尺度融合特征；最后，使用特征图叠加操作并激活作为输出。

6.根据权利要求1或2所述的基于遥感影像的U型空洞全卷积分割网络识别模型，其特征在于：

所述强化器分别采用空洞值为1、2、4、8的3*3空洞卷积堆叠，并将每层卷积得到的特征图进行顺序连接，得到融合特征图，然后串联一个空洞值为1的空洞卷积，对得到的特征图与原始输入进行特征度叠加，得到最终输出。

Images