CN113850825A - 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 - Google Patents

Abstract

本发明公开了一种结合上下文语义和多尺度特征融合的遥感图像道路分割方法，首先对遥感图像进行标注，生成道路标签。按比例将图像数据集分为测试集、验证集、训练集，对训练集图像进行处理。建立道路分割网络，输入训练集对模型进行训练，利用验证集检测模型，待到模型收敛保存参数；将测试集送入模型得到最终语义生成图。与现有方法相比，本发明结合空洞金字塔引入道路上下文语义、结合多尺度信息进行特征融合、结合通道注意力融合生成最终特征图，实现了逐像素分类，得到最终的道路提取结果。本发明的效果实现了更准确的提取并生成更清晰的道路边缘特征。

Description

基于上下文信息和多尺度特征融合的遥感图像道路分割方法

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法。

背景技术

道路在生活中扮演着重要的作用，随着遥感技术的发展，从高分辨率图像提取道路在地图绘制、抢险救灾、交通运输等方面发挥着重要的作用。深度学习技术在语义分割领域取得了良好的效果，结合深度学习技术从高分辨率遥感提取道路信息已成为行业研究中的一大热门方向。

但是从高分辨率图像中提取路网也遇到部分挑战:道路像素与背景像素点数据差异较大；高分辨率图像存在许多类似道路形状的物体，如铁路、河流等；道路往往被周围物体遮挡等，这些因素都为道路提取工作带来了困难。

传统的道路提取方法通过分析道路的几何、光学、纹理等特征实现道路提取，没有充分利用到高分辨率遥感图像的丰富信息，分割精度不高。由于深度学习技术的强大性能，一部分学者将深度学习的方法应用于遥感道路提取。但是这些方法都没有缺乏对道路整体特征的考虑，没有针对道路上下文信息的利用做出改进；在下采样中过程中分辨率减小，丢失部分道路特征，导致生成的道路准确率不高；面对解码器不同层次生成的特征图，缺乏针对不同层次特征图的有效融合。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法。

本发明解决其技术问题所采用的技术方案是：本发明公开一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法，包括如下步骤：

步骤一：按比例随机选取一定数量的遥感道路图像划分为训练集和测试集，遥感道路图像来自遥感卫星拍摄，所述道路图像数据集包括原始遥感影像和人工标注道路区域标签的标注遥感影像；

对训练集的遥感道路图像数据进行预处理得到增强后的遥感道路图像数据；

步骤二：搭建遥感图像道路分割网络；所述遥感图像道路分割网络中包括采用ResNet-34网络的编码器、用于高层信息提取的上下文信息提取模块、结合多尺度信息融合的解码器模块以及结合通道注意力的多层次语义融合模块，搭建步骤如下：

步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为ResNet-34的卷积提取，载入在ImageNet数据集上训练的参数进行特征提取；

步骤2.2：针对编码器的高层特征设置上下文语义提取模块，以提取不同尺度的道路特征；

步骤2.3：在U-Net网络模型上，针对解码器融合来自编码器各层次特征图和解码器高层特征图的不同尺度输入，设置多尺度信息融合模块，以提高粗粒度特征和细粒度特征以及同层次特征的跳跃连接的融合能力，实现对遥感图像数据中的道路的有效提取；

步骤2.4：针对最终特征图的生成，对输入的解码器各层次的语义特征图设置通道特征融合模块，增强不同层次特征图的融合，增强模型对道路与背景的判断能力；

步骤三：将步骤一中的训练集遥感道路图像输入至步骤二中搭建的遥感图像道路分割网络中，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；

训练结束后，保存训练好的遥感图像道路分割网络模型参数；将测试集道路数据送入到训练完成的遥感图像道路分割网络，测试网络模型分割的准确性；

步骤四：将实时的道路遥感图像输入至训练好的遥感图像道路分割网络，输出结果作为遥感道路图像的分割结果。

其中，对训练集的原始道路图像数据进行预处理包括对图像的裁剪和数据增强；

所述图像裁剪具体操作：将训练集的图像随机裁剪为1024*1024、分辨率为1米每分辨率的图像；

所述数据增强具体操作：将训练集中的图像进行图像旋转、图像垂直与水平翻转、图像色彩调节。

其中，预训练采用Resnet-34网络作为编码器，结构如下：

对遥感道路图像进行卷积核大小为7的卷积，对得到的特征图进行步长为2的最大池化；

ResNet-34网络由多个残差块组成，残差块使用步长为2的卷积实现下采样，使用许多卷积核大小为3×3卷积实现特征提取，残差块中设置跳跃连接加快网络的收敛速度。

其中，上下文语义提取模块结构如下：

对高层特征图分别进行具有1，2，7不同扩张率的空洞卷积来获取不同感受野的特征，对分支1和分支2获得的特征图进行连接，对连接后的图像进行卷积核大小为3的卷积，对得到的特征图进行输出通道为输入通道一半、卷积核大小为3的特征提取，获得不同感受野特征的融合特征图；得到的融合图与分支三进行拼接与特征提取，得到三条支路的融合特征图；将高层特征图与融合特征图进行自适应融合，有效补充特征图的全局信息。

其中，多尺度信息融合模块结构如下：

将所有编码器的特征图通过上采样或者下采样变换为对应输出特征图的尺寸大小，针对细粒度特征设计一个特征融合模块得到融合后的细粒度特征图，用64个卷积核大小为3、步长为1的卷积对所有特征图进行特征提取，将提取后的特征进行拼接，对拼接后的特征图进行输入通道等于输出通道、卷积核大小为3的卷积进行特征提取，得到对应的解码器生成特征图。

其中，结合通道注意力多层次特征融合模块结构如下：

多层次融合模块的输入数据为同层次编码器传递的特征图和解码器各层次得到的特征图信息，将所有特征图连接获得融合特征图，对融合特征图进行自平均池化输出为1的自适应平均池化操作，压缩特征图到一维进行卷积获得跨通道交互的特征图，得到的特征图进行sigmoid函数获得通道权重。

其中，对遥感道路图像数据分割网络进行训练使用的损失函数为交叉熵损失函数和边界相似函数组合作为损失函数，在道路提取任务中，交叉熵的损失函数定义为：

；

上式中：y为真实像素标签值，y’为模型预测的标签像素值，N为标签的类别数；

所述Dice损失函数的计算公式为：

；

上式中：X和Y分别表示关于道路区域网络生成的特征图与道路真实标签；

最终的损失函数为交叉熵损失函数和Dice损失函数的总和，计算公式为：

。

本发明相对于现有技术具备的有益效果为：

1）本发明方法采用预训练ResNet-34网络结构提取特征，在残差块采用步长为2的卷积进行下采样。传统的池化操作会造成空间信息的丢失，使用步长为2的卷积层取代池化可在实现下采样的同时最大限度地保持特征图特征。采用训练好的ResNet-34可有效地提取特征；

2）本发明方法设计上下文信息提取模块引入多尺度特征，增强模型对道路上下文信息的利用能力。通过引入不同扩展率的空洞卷积得到不同感受野的特征图分支，对得到的特征图进行自上而下的逐步融合，对得到的融合特征图与输入特征图设计了自适应融合模块，保有效补充背景信息。设计上下文信息提取模块可有效提取和利用道路的上下文语义；

3）本发明方法采用多尺度特征融合模块为解码器提供不同尺度的特征信息，传统的道路提取网络只传递了同尺度的编码器特征图，没有考虑到不同尺度特征图中包含的信息。设计多尺度信息融合模块，将不同粒度的特征信息传送到解码器中，针对细粒度特征设计了特征融合模块，对道路信息进行加强，提高对道路特征和边缘提取能力。经过处理的特征图与编码器多层次特征图、解码器上层特征图融合，网络具有全尺度探索信息的能力；

4）本发明方法采用多层次特征融合模块结合道路标签生成时输入的不同层次特征信息图，传统网络只粗略地结合了不同层次信息，本发明设计了一种融合注意力的通道融合模块，通过不降维的方式更好地融合解码器不同层次的特征图，使得最终生成的道路标签具有更准确的位置。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法的流程示意图。

图2是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中遥感图像道路语义分割网络的结构示意图。

图3是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中上下文语义提取模块构造示意图。

图4是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中多尺度特征融合模块构造示意图。

图5是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中结合通道注意力多层次特征融合模块构造示意图。

图6是是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集遥感图像。

图7是是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中提取的路网结构示意图。

图8是是本发明提供的一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集中添加标签的遥感图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。

如图1所示，本发明提供一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法，包括如下步骤：

步骤一：按比例随机选取一定数量的遥感道路图像划分为训练集和测试集，遥感道路图像来自遥感卫星拍摄，所述道路图像数据集包括原始遥感影像和人工标注道路区域标签的标注遥感影像；

对训练集的遥感道路图像数据进行预处理得到增强后的遥感道路图像数据；

步骤二：搭建遥感图像道路分割网络，其结构如图2所示；所述遥感图像道路分割网络中包括采用ResNet-34网络的编码器、用于高层信息提取的上下文信息提取模块、结合多尺度信息融合的解码器模块以及结合通道注意力的多层次语义融合模块，搭建步骤如下：

步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为ResNet-34的卷积提取，载入在ImageNet数据集上训练的参数进行特征提取；

步骤2.2：针对编码器的高层特征设置上下文语义提取模块，以提取不同尺度的道路特征；

步骤2.3：在U-Net网络模型上，针对解码器融合来自编码器各层次特征图和解码器高层特征图的不同尺度输入，设置多尺度信息融合模块，以提高粗粒度特征和细粒度特征以及同层次特征的跳跃连接的融合能力，实现对遥感图像数据中的道路的有效提取；

步骤2.4：针对最终特征图的生成，对输入的解码器各层次的语义特征图设置通道特征融合模块，增强不同层次特征图的融合，增强模型对道路与背景的判断能力；

步骤三：将步骤一中的训练集遥感道路图像输入至步骤二中搭建的遥感图像道路分割网络中，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；

训练结束后，保存训练好的遥感图像道路分割网络模型参数；将测试集道路数据送入到训练完成的遥感图像道路分割网络，测试网络模型分割的准确性；

步骤四：将实时的道路遥感图像输入至训练好的遥感图像道路分割网络，输出结果作为遥感道路图像的分割结果。

其中，预训练采用Resnet-34网络作为编码器，结构如下：

对遥感道路图像进行卷积核大小为7的卷积，对得到的特征图进行步长为2的最大池化；

ResNet-34网络由多个残差块组成，残差块使用步长为2的卷积实现下采样，使用许多卷积核大小为3×3卷积实现特征提取，残差块中设置跳跃连接加快网络的收敛速度。

如图3，上下文语义提取模块结构如下：

对高层特征图分别进行具有1，2，7不同扩张率的空洞卷积来获取不同感受野的特征，对分支1和分支2获得的特征图进行连接，对连接后的图像进行卷积核大小为3的卷积，对得到的特征图进行输出通道为输入通道一半、卷积核大小为3的特征提取，获得不同感受野特征的融合特征图；得到的融合图与分支三进行拼接与特征提取，得到三条支路的融合特征图；将高层特征图与融合特征图进行自适应融合，有效补充特征图的全局信息。

如图4，多尺度信息融合模块结构如下：

将所有编码器的特征图通过上采样或者下采样变换为对应输出特征图的尺寸大小，针对细粒度特征设计一个特征融合模块得到融合后的细粒度特征图，用64个卷积核大小为3、步长为1的卷积对所有特征图进行特征提取，将提取后的特征进行拼接，对拼接后的特征图进行输入通道等于输出通道、卷积核大小为3的卷积进行特征提取，得到对应的解码器生成特征图。

如图5，结合通道注意力多层次特征融合模块结构如下：

多层次融合模块的输入数据为同层次编码器传递的特征图和解码器各层次得到的特征图信息，将所有特征图连接获得融合特征图，对融合特征图进行自平均池化输出为1的自适应平均池化操作，压缩特征图到一维进行卷积获得跨通道交互的特征图，得到的特征图进行sigmoid函数获得通道权重。

其中，对遥感道路图像数据分割网络进行训练使用的损失函数为交叉熵损失函数和边界相似函数组合作为损失函数，在道路提取任务中，交叉熵的损失函数定义为：

；

上式中：y为真实像素标签值，y’为模型预测的标签像素值，N为标签的类别数；

所述Dice损失函数的计算公式为：

；

上式中：X和Y分别表示关于道路区域网络生成的特征图与道路真实标签；

最终的损失函数为交叉熵损失函数和Dice损失函数的总和，计算公式为：

。

本发明所采用的技术方案是一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法，通过将遥感图像数据集按照一定比例划分为训练集和测试集，其中包括原图像和其对应的人工标记的标签数据；对训练集的遥感图像进行预处理，得到经过数据增强后的遥感图像；搭建结合注意力机制和上下文信息的遥感图像道路分割网络，如图1所示，所述道路分割网络以U-Net网络模型作为基础，将U-Net网络中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络，添加上下文信息提取模块来提高对于道路上下文语义的提取能力，将提取的特征经过与编码器对应的解码器部分，最终通过结合注意力模块的多层次融合模块，实现最终道路的精细分割；输入经过预处理的训练数据集，初始化模型参数，对改进的道路分割网络进行训练；在本发明中，使用Dice系数损失函数和交叉熵损失函数共同作为损失函数。模型收敛后，将训练好的网络模型参数进行保存；将测试数据集输入到训练好的道路分割模型中，得到道路的精确分割结果。

数据集预处理中包括图像裁剪和训练集原图像的数据增强过程：将训练的遥感道路数据集随机裁剪为1024*1024、分辨率为1米每分辨率的图像；

所述数据增强具体操作：将训练集中的图像进行图像旋转、图像垂直与水平翻转、图像色彩调节。

为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。

利用Pytorch框架搭建高分辨率图像道路提取网络。我们使用马萨诸塞道路提取数据集进行实验，采用了精确度，召回率和交并比三种评价指标来检测模型道路分割的性能。

模型	精确度	召回率	交并比
				结合上下文语义与多尺度特征融合的遥感图像道路分割方法	0.9798	0.8108	0.6537

表1 马萨诸塞道路提取数据集上的具体指标

图6是本发明使用的数据集马萨诸塞州道路数据集遥感图像，图8是对应的添加标签的图像，图7是经过本发明方法处理后得到的道路遥感图像。

本发明公开了一种结合上下文语义和多尺度特征融合的遥感图像道路分割方法，首先对遥感图像进行标注，生成道路标签。按比例将图像数据集分为测试集、验证集、训练集，对训练集图像进行处理。建立道路分割网络，输入训练集对模型进行训练，利用验证集检测模型，待到模型收敛保存参数；将测试集送入模型得到最终语义生成图。与现有方法相比，本发明结合空洞金字塔引入道路上下文语义、结合多尺度信息进行特征融合、结合通道注意力融合生成最终特征图，实现了逐像素分类，得到最终的道路提取结果。本发明的效果实现了更准确的提取并生成更清晰的道路边缘特征。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (7)

1.一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于，包括如下步骤：

步骤一：按比例随机选取一定数量的遥感道路图像划分为训练集和测试集，遥感道路图像来自遥感卫星拍摄，所述道路图像数据集包括原始遥感影像和人工标注道路区域标签的标注遥感影像；

对训练集的遥感道路图像数据进行预处理得到增强后的遥感道路图像数据；

步骤二：搭建遥感图像道路分割网络；所述遥感图像道路分割网络中包括采用ResNet-34网络的编码器、用于高层信息提取的上下文信息提取模块、结合多尺度信息融合的解码器模块以及结合通道注意力的多层次语义融合模块，搭建步骤如下：

步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为ResNet-34的卷积提取，载入在ImageNet数据集上训练的参数进行特征提取；

步骤2.2：针对编码器的高层特征设置上下文语义提取模块，以提取不同尺度的道路特征；

步骤2.3：在U-Net网络模型上，针对解码器融合来自编码器各层次特征图和解码器高层特征图的不同尺度输入，设置多尺度信息融合模块，以提高粗粒度特征和细粒度特征以及同层次特征的跳跃连接的融合能力，实现对遥感图像数据中的道路的有效提取；

步骤2.4：针对最终特征图的生成，对输入的解码器各层次的语义特征图设置通道特征融合模块，增强不同层次特征图的融合，增强模型对道路与背景的判断能力；

步骤三：将步骤一中的训练集遥感道路图像输入至步骤二中搭建的遥感图像道路分割网络中，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；

训练结束后，保存训练好的遥感图像道路分割网络模型参数；将测试集道路数据送入到训练完成的遥感图像道路分割网络，测试网络模型分割的准确性；

步骤四：将实时的道路遥感图像输入至训练好的遥感图像道路分割网络，输出结果作为遥感道路图像的分割结果。

2.根据权利要求1所述的基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于：对训练集的原始道路图像数据进行预处理包括对图像的裁剪和数据增强；

所述图像裁剪具体操作：将训练集的图像随机裁剪为1024*1024、分辨率为1米每分辨率的图像；

所述数据增强具体操作：将训练集中的图像进行图像旋转、图像垂直与水平翻转、图像色彩调节。

3.根据权利要求1所述的基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于：预训练采用Resnet-34网络作为编码器，结构如下：

对遥感道路图像进行卷积核大小为7的卷积，对得到的特征图进行步长为2的最大池化；

ResNet-34网络由多个残差块组成，残差块使用步长为2的卷积实现下采样，使用许多卷积核大小为3×3卷积实现特征提取，残差块中设置跳跃连接加快网络的收敛速度。

4.根据权利要求3所述的基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于：上下文语义提取模块结构如下：

对高层特征图分别进行具有1，2，7不同扩张率的空洞卷积来获取不同感受野的特征，对分支1和分支2获得的特征图进行连接，对连接后的图像进行卷积核大小为3的卷积，对得到的特征图进行输出通道为输入通道一半、卷积核大小为3的特征提取，获得不同感受野特征的融合特征图；得到的融合图与分支三进行拼接与特征提取，得到三条支路的融合特征图；将高层特征图与融合特征图进行自适应融合，有效补充特征图的全局信息。

5.根据权利要求1所述的基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于：多尺度信息融合模块结构如下：

将所有编码器的特征图通过上采样或者下采样变换为对应输出特征图的尺寸大小，针对细粒度特征设计一个特征融合模块得到融合后的细粒度特征图，用64个卷积核大小为3、步长为1的卷积对所有特征图进行特征提取，将提取后的特征进行拼接，对拼接后的特征图进行输入通道等于输出通道、卷积核大小为3的卷积进行特征提取，得到对应的解码器生成特征图。

6.根据权利要求1所述的基于上下文信息和多尺度特征融合的遥感图像道路分割方法，其特征在于：结合通道注意力多层次特征融合模块结构如下：

多层次融合模块的输入数据为同层次编码器传递的特征图和解码器各层次得到的特征图信息，将所有特征图连接获得融合特征图，对融合特征图进行自平均池化输出为1的自适应平均池化操作，压缩特征图到一维进行卷积获得跨通道交互的特征图，得到的特征图进行sigmoid函数获得通道权重。

7.根据权利要求1所述的基于上下文信息和多尺度信息融合的遥感图像道路分割方法，其特征在于：对遥感道路图像数据分割网络进行训练使用的损失函数为交叉熵损失函数和边界相似函数组合作为损失函数，在道路提取任务中，交叉熵的损失函数定义为：

；

上式中：y为真实像素标签值，y’为模型预测的标签像素值，N为标签的类别数；

所述Dice损失函数的计算公式为：

；

上式中：X和Y分别表示关于道路区域网络生成的特征图与道路真实标签；

最终的损失函数为交叉熵损失函数和Dice损失函数的总和，计算公式为：

。

Images