CN108681706A - 一种双源遥感数据语义分割方法 - Google Patents

Abstract

一种双源遥感数据语义分割方法，本发明涉及双源遥感数据语义分割方法。本发明为了解决现有单源数据分割方法效率低以及多源分割方法精度低的问题。本发明将全卷积的网络模型应用到双源遥感数据的处理中，并采用迁移学习的方法，使用ImageNet数据集对设计的网络结构进行预训练。将高分辨率遥感数据和LiDAR DSM数据通过卷积神经网络，进行高层次和特征提取和融合，利用融合之后的特征信息进行语义分割。本方法充分利用到了高分辨遥感数据丰富的地物信息和LiDAR DSM数据精准的距离信息，提高了遥感数据语义分割的精度，总体分割精度较单一的高分辨遥感数据相比提高了5％，可达到90％。本发明用于遥感图像处理领域。

Description

一种双源遥感数据语义分割方法

技术领域

本发明涉及遥感图像处理领域，具体涉及双源遥感数据语义分割方法。

背景技术

语义分割，顾名思义，就是根据每个像素的语义信息进行分割，同一语义的像素被赋予相同的颜色，既能够分割成不同区域，又能识别出其中的内容，是遥感图像处理的基本任务之一。随着遥感数据应用范围的逐渐变大，对遥感图像数据信息提取能力要求越来越高，数据间的联合应用已经成为遥感数据发展的趋势。传统的单一遥感数据的处理方法不能够利用多源遥感数据信息丰富的优势，而现有多源遥感数据处理方法没有充分挖掘各个数据间的特点，很难满足遥感数据应用的精度需求。因此，迫切需要在充分认识各种遥感数据特点的基础上，研究有针对性的多源数据处理和分析方法，提高遥感数据的信息提取能力。

高分辨率的遥感图像含有丰富的地物信息，与传统的中低分辨率遥感数据相比，高分辨率的数据可以清楚地表达地物目标的特征分布和空间关联，可分辨出地物目标内部更为详细的结构组成，为解译分析提供良好的条件和基础，但高分辨率的数据激光探测及测距系统(Light Detection and Ranging，LiDAR)是一种通过向目标发射激光以获取地物信息的先进探测方式，可用于获取精确的三维空间信息。LiDAR系统获取的点云数据经过去噪，栅格化等简单处理便可得到数字表面模型(Digital Surface Model，DSM)，DSM数据包含了建筑物，树木等地物丰富的高程信息，相同高度的目标属于同一类别的可能性比较大，所以DSM数据对于分割任务有很大帮助。

发明内容

本发明的目的是为了解决现有单源数据分割方法效率低以及多源分割方法精度低的缺点，而提出一种双源遥感数据语义分割方法。

一种双源遥感数据语义分割方法包括以下步骤：

步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDAR DSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；

所述LiDAR DSM数据为高分辨遥感数据对应的高度信息；

步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDAR DSM数据；

步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到feature_h-res和feature_dsm；所述feature_h-res为高分辨率遥感数据的特征，feature_dsm为LiDAR DSM数据的特征；

步骤四：对步骤三得到的feature_h-res和feature_dsm进行融合，得到双源遥感数据的特征feature_stack；

步骤五：搭建双源数据融合语义分割网络，将步骤四得到的feature_stack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；

步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征feature_stack，将测试样本的双源遥感数据的特征feature_stack输入训练后的双源数据融合语义分割网络中进行测试。

双源遥感数据指的是两种不同数据获取方式的高分辨率的遥感数据和其相对应的激光雷达数据。运用卷积神经网络强大的特征提取能力，通过将高分辨的遥感数据和激光雷达数据进行高层次的特征融合，来实现双源遥感数据的语义分割。

本发明的有益效果为：

本发明设计了针对高分辨的遥感数据和LiDAR DSM数据的深度卷积神经网络结构，采用全卷积的网络结构对双源遥感数据进行特征提取，然后在深层次的特征层进行信息融合，再输入到新的语义分割网络中进行训练，实现双源遥感数据的精细化语义分割。总体分割精度较单一的高分辨遥感数据相比提高了5％，可达到90％。

本发明将全卷积的网络模型应用到双源遥感数据的处理中，并采用迁移学习的方法，使用ImageNet数据集对设计的网络结构进行预训练。将高分辨率遥感数据和LiDAR DSM数据通过卷积神经网络，进行高层次和特征提取和融合，利用融合之后的特征信息进行语义分割。本方法充分利用到了高分辨遥感数据丰富的地物信息和LiDAR DSM数据精准的距离信息，提高了遥感数据语义分割的精度，为后续的数据处理打下良好的基础。

附图说明

图1为双源遥感数据语义分割原理框图；

图2为单源遥感数据特征提取网络；

图3为迁移学习应用到语义分割模型；

图4为高分辨率数据特征提取结构；

图5为DSM数据特征提取结构；

图6为双源遥感数据特征融合的语义分割结构。

具体实施方式

具体实施方式一：如图1所示，一种双源遥感数据语义分割方法包括以下步骤：

步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDAR DSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；

所述LiDAR DSM数据为高分辨遥感数据对应的高度信息；

步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDAR DSM数据；

步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到feature_h-res和feature_dsm；所述feature_h-res为高分辨率遥感数据的特征，feature_dsm为LiDAR DSM数据的特征；

步骤四：对步骤三得到的feature_h-res和feature_dsm进行融合，得到双源遥感数据的特征feature_stack；

步骤五：搭建双源数据融合语义分割网络，将步骤四得到的feature_stack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；

步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征feature_stack，将测试样本的双源遥感数据的特征feature_stack输入训练后的双源数据融合语义分割网络中进行测试。

将测试样本输入到整体网络中进行语义分割。将待测试高分辨率数据和LiDARDSM数据输入到对应的特征提取网络中进行特征提取，然后将两个网络第5个池化层后提取到的特征进行特征融合，再输入到语义分割网络结构中，进行语义分割。通过网络输出的分割结果图与测试样本本身的标签对比可以计算出整个语义分割系统的分割精度的定量衡量。

本发明方法结合双源的高分辨率遥感数据和LiDAR DSM数据的优势，将它们进行结合便可同时利用丰富的地物信息和精确的距离信息，形成优势互补。利用深度卷积网络的方法对结合的信息进行深层的特征学习与提取，再通过有监督的微调，结束整个深层网络的训练过程，最后完成双源遥感数据的语义分割工作。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中对双源遥感数据进行预处理，得到预处理后的双源遥感数据的具体过程为：

遥感数据的预处理工作。遥感图像数据一般尺寸比较大，不容易进行训练，将分辨率为m×n，含有c个波段的遥感图像(遥感数据为遥感图像)和其对应的标签裁剪成N(1≤N≤10000)个384×384×c的图像；其中c代表数据的波段数，将每个图像进行线性归一化处理，归一化到[0，1]之间，映射关系表达式如下：

其中X_norm为归一化后的数据，X为原始数据，X_max、X_min分别为原始数据集的最大值和最小值。高分辨的图像和LiDAR DSM数据采用相同的预处理方法。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中搭建单源遥感数据特征提取网络具体为：

为了使模型更具有通用性，高分辨数据和LiDAR DSM数据的特征提取网络采用相同的全卷积网络结构。为加快模型的收敛，本发明采用迁移学习的方法进行模型的预训练。

迁移学习就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。

其中，迁移学习的整体结构分为两大部分，原始任务和目标任务，原始任务指的是已经学习到的知识，在本设计中指的是用ImageNet数据集训练网络模型而学习到的参数；目标任务指的是遥感图像的特征提取。两个任务连接的桥梁是参数的迁移，对于卷积神经网络而言，也就是特征的迁移。本发明首先使用ImageNet数据集的图像样本进行网络模型的预训练，把训练得到的网络参数，权值和偏置迁移到具有同样网络结构的特征提取的模型中。迁移学习应用到语义分割模型如图3所示。

表1单源遥感数据特征提取网络结构

在表1中，convt代表反卷积层。可以看出，本发明采用3×3的小滤波器设计。几个小滤波器卷积层的和比一个大滤波器卷积层好。假设一层一层地重叠了3个3×3的卷积层，层与层之间有非线性激活函数。因此多个3×3的卷积层会比一个大滤波器的卷积层引入更强的非线性。在这个排列下，第一个卷积层中的每个神经元都对输入数据体有一个3×3的视野。第二个卷积层上的神经元对第一个卷积层有一个3×3的视野，也就是对输入数据体有5×5的视野。同样，在第三个卷积层上的神经元对第二个卷积层有3×3的视野，也就是对输入数据体有7×7的视野。假设不采用这3个3×3大小的卷积层，是使用一个单独的有7×7的感受野的卷积层，那么所有神经元的感受野也是7×7，但是也有一些缺点。例如多个卷积层与非线性的激活层交替的结构，增加了模型的非线性能力，更能比单一卷积层的结构更能提取出深层的更好的特征。

迁移学习能够有效地防止目标任务中的过拟合现象。同时大大加快目标任务中的网络的收敛速度，缩短训练时间。

所述单源遥感数据特征提取网络包括16个卷积层和1个反卷积层，其中前15个卷积层后分别设置激活函数层，在第2、4、7、10和13个激活函数层后分别设置池化层和Dropout层。单源遥感数据特征提取网络如图2所示。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述16个卷积层的大小依次为：3×3×3×64、3×3×64×64、3×3×64×128、3×3×128×128、3×3×128×256、3×3×128×256、3×3×128×256、3×3×256×512、3×3×512×512、3×3×512×512、3×3×512×512、3×3×512×512、3×3×512×512、7×7×512×4096、1×1×4096×4096、1×1×4096×7；

所述激活函数采用ReLU，池化层的步长为2，Dropout的比率设置为0.5；

所述1个反卷积层的大小为64×64×1×7。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤三中采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到feature_h-res和feature_dsm的具体过程为：

将LiDAR DSM数据进行通道扩充，将原有第1通道的数据复制到第2通道和第3通道中；将预处理后的训练样本输入到预训练后的单源遥感数据特征提取网络中，采用反向传播和带动量的梯度下降算法，直到网络达到收敛为止，模型收敛后，分别提取出收敛网络结构中第5个池化层后的特征，得到feature_h-res和feature_dsm。

将高分辨率的遥感数据输入到特征提取的网络中进行训练，采用反向传播和带动量的梯度下降算法，直到网络达到收敛为止。LiDAR DSM数据与高分辨率的遥感数据采用相同特征提取网络，但是的因为DSM数据是二维数据，而高分辨率遥感数据是3通道的数据，所以，在数据输入时，我们把DSM数据进行了通道扩充，将第1通道的数据复制到第2通道和第3通道中，这样，高分辨率遥感数据和相应的DSM数据就可以使用同一个网络模型。待模型收敛后，分别提取出收敛网络结构中第5个池化层后的特征，得到feature_h-res和feature_dsm。其中，feature_h-res为高分辨率遥感数据的特征，feature_dsm为DSM数据的特征。高分辨率数据特征提取结构如图4所示，DSM数据特征提取结构如图5所示，双源遥感数据特征融合的语义分割结构如图6所示。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤四中对步骤三得到的feature_h-res和feature_dsm进行融合，得到双源遥感数据的特征feature_stack的具体过程为：

将提取出的大小为a×b×c₁的feature_h-res和大小为a×b×c₂的feature_dsm进行串接，得到大小为a×b×(c₁+c₂)的融合特征feature_stack；其中a×b代表特征图的大小，c₁和c₂为特征图的通道数。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤五中搭建双源数据融合语义分割网络具体为：

新建一个由两个卷积层和一个反卷积层组成的语义分割网络结构，如表2所示，其中convt为反卷积层。将feature_stack作为输入数据输入到网络结构中，进行语义分割的训练，直至网络收敛为止。

表2双源数据融合语义分割网络结构

双源数据融合语义分割网络的结构依次为卷积层、激活函数层、Dropout、卷积层、反卷积层；

所述激活函数采用ReLU，Dropout的比率设置为0.5。

其它步骤及参数与具体实施方式一至六之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种双源遥感数据语义分割方法，其特征在于：所述双源遥感数据语义分割方法包括以下步骤：

步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDAR DSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；

所述LiDAR DSM数据为高分辨遥感数据对应的高度信息；

步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDAR DSM数据；

步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到feature_h-res和feature_dsm；所述feature_h-res为高分辨率遥感数据的特征，feature_dsm为LiDAR DSM数据的特征；

步骤四：对步骤三得到的feature_h-res和feature_dsm进行融合，得到双源遥感数据的特征feature_stack；

步骤五：搭建双源数据融合语义分割网络，将步骤四得到的feature_stack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；

步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征feature_stack，将测试样本的双源遥感数据的特征feature_stack输入训练后的双源数据融合语义分割网络中进行测试。

2.根据权利要求1所述一种双源遥感数据语义分割方法，其特征在于：所述步骤一中对双源遥感数据进行预处理，得到预处理后的双源遥感数据的具体过程为：

对于大尺寸的遥感图像数据，将其裁剪成相应的易于训练的小尺寸图像数据，将分辨率为m×n，含有c个波段的遥感图像数据和对应的标签裁剪成N个384×384×c的图像；其中c代表数据的波段数，将每个图像进行线性归一化处理，归一化到[0，1]之间，映射关系表达式如下：

其中X_norm为归一化后的数据，X为原始数据，X_max、X_min分别为原始数据集的最大值和最小值。

3.根据权利要求2所述一种双源遥感数据语义分割方法，其特征在于：所述步骤二中搭建单源遥感数据特征提取网络具体为：

所述单源遥感数据特征提取网络包括16个卷积层和1个反卷积层，其中前15个卷积层后分别设置激活函数层，在第2、4、7、10和13个激活函数层后分别设置池化层和Dropout层。

4.根据权利要求3所述一种双源遥感数据语义分割方法，其特征在于：所述16个卷积层的大小依次为：3×3×3×64、3×3×64×64、3×3×64×128、3×3×128×128、3×3×128×256、3×3×128×256、3×3×128×256、3×3×256×512、3×3×512×512、3×3×512×512、3×3×512×512、3×3×512×512、3×3×512×512、7×7×512×4096、1×1×4096×4096、1×1×4096×7；

所述激活函数采用ReLU，池化层的步长为2，Dropout的比率设置为0.5；

所述1个反卷积层的大小为64×64×1×7。

5.根据权利要求4所述一种双源遥感数据语义分割方法，其特征在于：所述步骤三中采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到feature_h-res和feature_dsm的具体过程为：

将LiDAR DSM数据进行通道扩充，将第1通道的数据复制到第2通道和第3通道中；将预处理后的训练样本输入到预训练后的单源遥感数据特征提取网络中，采用反向传播和带动量的梯度下降算法，直到网络达到收敛为止，模型收敛后，分别提取出收敛网络结构中第5个池化层后的特征，得到feature_h-res和feature_dsm。

6.根据权利要求5所述一种双源遥感数据语义分割方法，其特征在于：所述步骤四中对步骤三得到的feature_h-res和feature_dsm进行融合，得到双源遥感数据的特征feature_stack的具体过程为：

将提取出的大小为a×b×c₁的feature_h-res和大小为a×b×c₂的feature_dsm进行串接，得到大小为a×b×(c₁+c₂)的融合特征feature_stack；其中a×b代表特征图的大小，c₁和c₂为特征图的通道数。

7.根据权利要求6所述一种双源遥感数据语义分割方法，其特征在于：所述步骤五中搭建双源数据融合语义分割网络具体为：

双源数据融合语义分割网络的结构依次为卷积层、激活函数层、Dropout、卷积层、反卷积层；

所述激活函数采用ReLU，Dropout的比率设置为0.5。