CN112287807A

CN112287807A - 一种基于多分支金字塔神经网络的遥感影像道路提取方法

Info

Publication number: CN112287807A
Application number: CN202011162338.9A
Authority: CN
Inventors: 张文; 李俊杰; 孟诣卓; 顿玉多吉; 魏晓冰; 张志远
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2021-01-29
Anticipated expiration: 2040-10-27
Also published as: CN112287807B

Abstract

本发明公开了一种利用卷积神经网络提取遥感影像上完整道路信息的方法。构造了构建一个多分支的金字塔神经网络，通过两个并行的特征恢复结构以及基于几何结构分析和特征点提取的后处理技术，充分挖掘低层位置信息和高层语义信息，解决卫星影像上道路提取时面临的道路稀疏性问题和被植被建筑物等遮挡造成的道路断裂问题。本方法通过稀疏性检验和设计新的损失函数，综合考虑了道路分布的稀疏性和样本的不均衡性，使网络更关注稀疏的、难分类的道路像素。同时，针对道路被植被和建筑物遮挡的情况，本方法基于几何特征点分析进行自动化的断裂检测和断裂连接，提高了道路提取的精确率，在计算机视觉和遥感道路提取等场景中具有重要的实际应用价值。

Description

一种基于多分支金字塔神经网络的遥感影像道路提取方法

技术领域

本发明方法属于地理信息系统领域和计算机视觉领域，特别涉及使用卷积神经网络提取遥感影像上的道路信息。

背景技术

道路作为重要的基础地理信息数据，在城市规划、交通物流、应急救灾、出行导航等方面具有重要作用。目前，实现道路信息的提取和更新主要包含以下几种：(1)传统测绘方式：依靠人工实地测量和记录；(2)基于GPS轨迹的道路提取：通过专业的GPS轨迹采集车、出租车以及人的出行轨迹来分析道路信息。以上两种方式需要耗费大量的人力物力，前期数据采集的时间长，整个道路信息的提取和更新周期长，不适用于大范围内的道路信息的及时更新。遥感影像具有时效性强、覆盖范围广等特点，能够快速的获取大范围的地物信息，随着高分辨率卫星影像的发展和普及，高分辨率遥感影像成为道路信息提取和更新的重要数据来源。但随之产生的是一系列的提取困难：(1)道路受到建筑物、植被阴影的遮挡从而发生断裂；(2)道路的色彩、宽度，形状在不同的地区差异很大；(3)相对于影像上的植被、水体等地物，道路分布具有稀疏性特征。这些都给遥感影像上道路的自动提取带来了困难。

为了解决这个问题，许多方法被提出用以将道路从复杂的背景中提取出来。这些方法可以划分为Snakes模型法、动态规划法、模板匹配法，他们往往从像元或者对象的角度考虑道路的几何特征和纹理特征，这些浅层的特征很难解决道路的干扰和连通性问题。近年来，随着深度学习技术在计算机视觉、自然语言处理、多媒体等方面的广泛应用，卷积神经网络被充分证明能够有效的提取影像上的浅层位置信息和深层上下文语义信息。Zhang等人基于Unet提出了ResUnet神经网络用于航空影像上道路提取。Tao等人提出了一个空间信息推理网络来捕获道路特有的语义信息。Gao等人使用了一种金字塔结构的神经网络，通过融合特征金字塔和金字塔池化来捕获复杂的道路语义信息和位置信息。

上述研究将道路提取视作语义分割问题，尽管这些网络取得了令人满意的效果，但还是存在明显的局限性：(1)缺乏足够的推理能力，不能解决道路被植被、建筑物或者其他非道路物体遮挡的情况，这样的结果是道路会有明显的断裂，降低了提取的准确率。神经网络特征提取主要是依靠视觉信息，但由于影像的拍摄角度、成像时间、以及地表地物的分布状况，使得原本的视觉信息变得不可靠。(2)没用考虑道路的稀疏和样本的不均衡，道路提取本质上是语义分割问题，从遥感影像复杂的背景中分割出道路信息，这其中包括两个类别：道路和非道路，但是很显然，由于道路的宽度有限且分布稀疏，样本中道路与非道路信息具有不均衡性，而普通的卷积神经网络对每个像素都具有相同的注意力。因此，在样本不均衡的情况下，如何提取出被植被、建筑物或者其他非道路物体遮挡的道路，并且保证提取道路的连通性是本发明主要解决的问题。

发明内容

本发明的目的在于提供一种利用卷积神经网络提取遥感影像上完整道路信息的方法。本发明采用的技术方案为利用深度学习技术，构建一个多分支的金字塔神经网络，通过两个并行的特征恢复结构以及基于几何结构分析和特征点提取的后处理技术，解决卫星影像上道路提取时面临的道路稀疏性问题和被植被建筑物等遮挡造成的道路断裂问题。主要包括以下步骤：

步骤1，根据实际业务需求，选择公开的卫星影像道路数据集或自行制作道路数据集并对数据集进行预处理。预处理步骤的目的是为了生成符合神经网络输入的样本集，减小样本自身质量影响，预处理分为标准化、滑窗裁剪和稀疏性检验3个部分。

步骤1.1标准化。对于亮度变化敏感的遥感影像，将样本数据通过去均值实现中心化的处理。根据凸优化理论，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果。具体计算方式如公式(1)所示。

式中：X_S和X₀分别表示标准化前后的图像矩阵，μ为图像均值，σ为图像标准差，N为图像中的像素数量。

步骤1.2滑窗裁剪。使用滑动窗口按照一定步长将原始样本裁剪为512×512固定大小，这是本方法提出的多分支金字塔神经网络的固定输入尺寸。

步骤1.3稀疏性检验。遥感影像上的道路分布具有稀疏性，样本中存在没有道路或者道路像素很少的样本，导致训练过程中的样本不均衡，影响模型的收敛。本发明通过计算稀疏性指标β来衡量单个样本中道路的稀疏程度，筛选出β>0.02的样本参与神经网络训练。β的计算公式如公式(2)所示。

式中：m为单一样本中属于前景(即道路)的像素数量，n为单一样本中属于背景(即非道路)的像素数量。

步骤2，训练多分支金字塔神经网络模型。本发明设计的神经网络模型主要包括至下而上的特征提取路径，自上而下的特征恢复路径，特征金字塔路径和特征融合4个部分。通过融合特征金字塔和特征恢复路径能够更好的提取低层次的位置信息和高层次的语义信息，增强模型的推理能力和鲁棒性。

步骤2.1自下而上的特征提取路径。在特征提取阶段采用残差模块作为编码器，并且在残差模块中增加了归一化(batch normalization，BN)层,加速网络收敛速度，提升训练的稳定性。一个残差模块如公式(3)所示。

X_l+1＝F(X_l)+X_l (3)

式中：X_l和X_l+1分别为第l层残差模块的输入和输出。F()代表残差映射，包括BN层、ReLU和卷积层。

步骤2.2自上而下的特征恢复路径。通过卷积和上采样模块恢复道路的细节信息和结构信息到输入的尺寸。为了获取更精确的位置信息，将自下而上阶段获取的多尺度特征与上采样结果进行并联，最后使用两个3×3卷积使并联后的特征通道数量减半。特征恢复路径如公式(4)所示。

X_l＝W(C(K_l-2，B(X_l+1))) (4)

式中：X_l+1和X_l分别为特征恢复路径的第l层输入和输出，K_l-2表示特征提取过程中的第l-2层特征图。B()和C()分别表示双线性插值运算和网络并联运算。W()表示卷积运算，包括BN，ReLU和卷积。

步骤2.3特征金字塔路径。由于道路的稀疏分布以及道路的类型多样性，部分狭窄的道路在经过多次卷积操作后几乎消失，高层的语义信息可以表现道路的拓扑信息和结构信息，底层的语义信息可以反映道路的细节信息和定位信息。为了同时兼顾两者，采用特征金字塔来强化这些容易被忽略的道路特征。特征金字塔可以表示为公式(5)：

X_l＝W(K_l)+B(X_l+1) (5)

式中：X_l+1和X_l分别为特征金字塔第l层输入和输出，K_l表示特征提取过程中的第l层特征图。W()为1×1卷积，用于确保金字塔的不同分支具备相同的通道数。B()表示上采样运算。

步骤2.4特征融合。对特征恢复路径和金字塔路径得到的语义信息进行融合，包括相加和并联两种方式，融合后使用sigmoid函数计算出前景(道路)像素和背景(非道路)像素。

步骤3，基于几何特征点分析的道路提取后处理。通过神经网络提取出的道路信息不能解决道路断裂问题，这些断裂的道路可能由于影像上道路区域狭窄、类型特殊，也可能由于植被、建筑物或其他非道路遮挡。本发明基于道路几何特征点分析，设计了一种线性的区域生长算法解决小范围内道路的断裂和不连通问题。整个后处理流程包括特征点检测，寻找最匹配邻居点，线性区域生长，前景像素比例计算4个步骤。

步骤3.1特征点检测。如果某一点在任意方向的一个微小变动都会引起灰度很大的变化，那么我们就把它称之为角点或特征点。在提取的道路中，道路的断裂点，拐点都可以被认为是特征点，因此通过计算shi-tomasi角点来寻找潜在的道路断裂点。

步骤3.2寻找最匹配邻居点。将距离最邻近的两个点作为道路断裂的两个端点，但潜在的问题是出现三个及以上特征点时，需要计算各端点之间的斜率与道路延伸方向的相似程度，选择最优的点作为最匹配邻居点。

步骤3.3线性区域生长。为了连接断裂的道路，设计了一种线性区域生长算法来连接最邻近特征点之间的区域。由于道路区域是栅格图像而非线矢量，即道路具备宽度，因此构造一个“L”型的生长模板，从一个端点出发，沿斜率方向进行填充，直到到达邻近特征点为止。

步骤3.4前景像素比例计算。计算步骤3.3得到的区域中前景像素(道路)的数量占整个区域像素数量的比例l，如果l小于比例阈值，那么则认为3.3生成的区域是正确填充的道路区域，否则舍弃。

与现有技术相比，本发明的有益效果

本发明方法具有的优点是：通过融合不同层次的上下文信息和改进损失函数，推理出复杂环境下道路分布情况，尽可能保证道路提取的完整性。本发明通过稀疏性检验和设计新的损失函数，综合考虑了道路分布性的稀疏和样本的不均衡性，使神经网络更关注稀疏的、难分类的道路像素。本发明通过融合道路特征恢复层和多尺度金字塔特征，增强模型的推理能力，充分挖掘低层位置信息和高层语义信息。同时，对神经网络提取的结果依靠几何特征进行后处理，通过设计线性区域生长算法实现了断裂道路的自动化连接。

本发明方法在同一硬件基础上，相对于常规的卷积神经网络方法，可以最大程度上保障道路提取的连通性和完整性，通过复杂的多分支金字塔网络和复合损失函数提取不同层次的道路细节信息，实现遥感影像上道路信息的有效提取。同时，针对道路被植被和建筑物遮挡的情况，本发明设计了自动化的断裂检测和断裂连接流程，提高了道路提取的精确率，在计算机视觉和遥感道路提取等场景中具有重要的实际应用价值。

附图说明

图1以MRD数据集为例，展示其滑窗裁剪原理；

图2展示多分支金字塔神经网络模型结构；

图3展示特征提取路径的模块结构；

图4展示特征恢复路径的模块结构；

图5展示特征金字塔的模块结构；

图6展示道路断点检测原理；

图7展示线性区域生长原理；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施目的在于帮助更好的理解本发明方法的内容，但这些具体实施方案不以任何方式限制本发明的保护范围。

本发明的实例数据选择Massachusetts Roads Dataset，神经网络构建工具选择Pytorch，编程语言选择Python。具体的实施流程步骤如下：

步骤1，根据实际业务需求，选择Massachusetts Roads Dataset(以下简称MRD)作为神经网络测试数据集。该数据集为覆盖美国马萨诸塞州城市、郊区和农村地区的航空影像，覆盖面积约2600km²。MRD由1171张影像组成，每张图像的大小为1500×1500像素，其中训练集1108张、验证集14张、测试集49张，地面分辨率为每像素1米。同时，数据集还包括了道路的二值标签图像，道路被标记为前景，其他地物被标记为背景。对MRD进行预处理，滑窗裁剪示意图如附图1所示，最终生成大小为512×512的样本共计11442张，划分为训练集8899张，测试集2543张。

步骤2，使用Pytorch构建多分支金字塔神经网络模型，模型结构图如附图2所示。使用处理好的训练样本作为模型输入，参与神经网络训练。

步骤2.1自下而上的特征提取路径。这个分支网络主要用于神经网络特征提取，输入和输出的维度可以表示为C×W×H，其中C表示通道数量，W和H分别表示特征图的宽度和高度。表1为特征提取过程各模块特征图输出尺寸，每个特征提取模块(C1,C2,C3,C4,C5)包括两个串联的BN，ReLU和3×3卷积，如附图3所示。

表1特征提取路径模块输出的特征图尺寸

Block	Output size(C×W×H)
		C1	64x256x256
C2	256x128x128
		C3	512x64x64
C4	1024x32x32
		C5	2048x16x16

步骤2.2自上而下的特征恢复路径。通过卷积和上采样模块恢复道路的细节信息和结构信息到输入的尺寸。表2为特征恢复过程各模块特征图输出尺寸，每个特征恢复模块(D5,D4,D3,D2,D1)对多尺度特征与上采样结果进行并联，如附图4所示。

表2特征恢复路径模块输出的特征图尺寸

Block	Output size(C×W×H)
		D5	256x32x32
D4	128x64x64
		D3	64x128x128
D2	32x256x256
		D1	16x512x512

步骤2.3特征金字塔路径。构建多尺度特征金字塔来提取容易被忽略的道路特征，表3为金字塔各模块特征图输出尺寸，每层金字塔包括上采样，1×1卷积和特征图加和运算，如附图5所示。

表3特征金字塔模块输出的特征图尺寸

Block	Output size(C×W×H)
		P5	256x16x16
P4	256x32x32
		P3	256x64x64
P2	256x128x128
		P1	16x512x512

步骤2.4特征融合。对步骤2.2和2.3生成的语义信息进行融合，采用并联的方式生成32×32×512的语义信息，然后使用3×3卷积恢复特征图到1×512×512大小。最后使用sigmoid函数对道路和非道路像素进行语义分割，生成二值化图像。

步骤3，基于几何特征点分析的道路提取后处理。

步骤3.1特征点检测。如附图6所示，包含两段断裂的道路a和b，使用shi-tomasi角点检测算法检测出特征点A,B,C和D，其中点A和点D是道路断裂的两个端点。

步骤3.2寻找最匹配邻居点。附图6中，以点A作为初始点，以搜索半径r检索A附近的邻居特征点(如附图6中绿色虚线圆圈所示)，点C和点D被作为A的邻居特征点。取A附近极小邻域(如附图6中紫色虚线圆圈所示)的若干前景像素点，计算点A到这些点的平均斜率k作为点A的延伸方向。分别计算线段AC和AD的斜率K_AC和K_AD，若|K_AC-k|<|K_AD-k|，则点C为A点的最匹配邻居点。

步骤3.3线性区域生长。在上一步骤中确定了AC为最匹配特征点后，需要进行两者之间断裂道路的自动化连接。如附图7所示，每个正方形表示一个像素，以A为中心，构造一个“L”型的生长模板，如果A在C的左上角，那么模板为倒L，m为模板大小，是根据实际的道路平均宽度设置的超参数。不同于区域生长算法，这里不用选取种子点，而是直接以模板中的像素点作为初始种子点，生长的方向是直线AC的斜率，终止条件是像素点的xy坐标达到C点。这种沿直线方向生长的算法相较于四邻域和八邻域任意方向生长，能够极大提高效率。最终AC两点之间生长的区域作为断裂连接的候选区域。

步骤3.4前景像素比例计算。在上述连接算法中，如果初始随机选择的点是B而不是A，那么很有可能算法会将C点作为B点的最匹配邻居特征点，然后采用线性区域生长算法进行连接，但实际上BC是联通的。为避免这个问题，计算步骤3.3得到的区域中前景像素(道路)的数量占整个区域像素数量的比例l，如果l<0.07，那么则认为步骤3.3生成的区域是我们需要的道路，否则舍弃。

本发明适用于遥感影像上提取道路信息的场景，具体实施时，可以根据所采用的道路数据集设置不同的超参数，并进行微调。通过Tensorflow或Pytorch等深度学习框架，设计计算机软件技术实现基于遥感影像的道路信息自动化提取流程。

Claims

1.一种基于多分支金字塔神经网络的遥感影像道路提取方法，其特征在于，包括如下步骤：

步骤1，根据实际业务需求，选择公开的卫星影像道路数据集或自行制作道路数据集并对数据集进行预处理；

步骤2，设计并训练多分支金字塔神经网络模型，用于提取道路，所述多分支金字塔神经网络模型包括至下而上的特征提取路径，自上而下的特征恢复路径，特征金字塔路径和特征融合4个部分，通过融合特征金字塔和特征恢复路径能够更好的提取低层次的位置信息和高层次的语义信息，增强模型的推理能力和鲁棒性；

步骤3，基于几何特征点分析的道路提取后处理。

2.根据权利要求1所述的一种基于多分支金字塔神经网络的遥感影像道路提取方法，其特征在于：步骤1中预处理分为标准化、滑窗裁剪和稀疏性检验3个部分，具体实现方式如下，

步骤1.1，标准化，对于亮度变化敏感的遥感影像，将样本数据通过去均值实现中心化的处理，根据凸优化理论，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果，具体计算方式如公式(1)所示；

式中：X_S和X₀分别表示标准化前后的图像矩阵，μ为图像均值，σ为图像标准差，N为图像中的像素数量；

步骤1.2，滑窗裁剪，使用滑动窗口按照一定步长将原始样本裁剪为固定大小；

步骤1.3，稀疏性检验，遥感影像上的道路分布具有稀疏性，样本中存在没有道路或者道路像素很少的样本，导致训练过程中的样本不均衡，影响模型的收敛，通过计算稀疏性指标β来衡量单个样本中道路的稀疏程度，筛选出β大于某一阈值的样本参与神经网络训练，β的计算公式如公式(2)所示；

式中：m为单一样本中属于前景的像素数量，n为单一样本中属于背景的像素数量。

3.根据权利要求1所述的一种基于多分支金字塔神经网络的遥感影像道路提取方法，其特征在于：步骤2中的具体实现方式如下，

步骤2.1，自下而上的特征提取路径，用于神经网络特征提取；在特征提取阶段采用残差模块作为编码器，并且在残差模块中增加了归一化层，加速网络收敛速度，提升训练的稳定性，一个残差模块如公式(3)所示。

X_l+1＝F(X_l)+X_l (3)

式中：X_l和X_l+1分别为第l层残差模块的输入和输出，F()代表残差映射，包括BN层、ReLU和卷积层；

步骤2.2，自上而下的特征恢复路径；通过卷积和上采样模块恢复道路的细节信息和结构信息到输入的尺寸，为了获取更精确的位置信息，将自下而上特征提阶段获取的多尺度特征与上采样结果进行并联，最后使用两个3×3卷积使并联后的特征通道数量减半，特征恢复路径如公式(4)所示；

X_l＝W(C(K_l-2，B(X_l+1))) (4)

式中：X_l+1和X_l分别为特征恢复路径的第l层输入和输出，K_l-2表示特征提取过程中的第l-2层特征图，B()和C()分别表示双线性插值运算和网络并联运算，W()表示卷积运算，包括BN，ReLU和卷积；

步骤2.3，特征金字塔路径；由于道路的稀疏分布以及道路的类型多样性，部分狭窄的道路在经过多次卷积操作后几乎消失，高层的语义信息可以表现道路的拓扑信息和结构信息，底层的语义信息可以反映道路的细节信息和定位信息；为了同时兼顾两者，采用特征金字塔来强化这些容易被忽略的道路特征，特征金字塔表示为公式(5)：

X_l＝W(K_l)+B(X_l+1) (5)

式中：X_l+1和X_l分别为特征金字塔第l层输入和输出，K_l表示特征提取过程中的第l层特征图，W()为1×1卷积，用于确保金字塔的不同分支具备相同的通道数，B()表示上采样运算；

步骤2.4，特征融合；对特征恢复路径和金字塔路径得到的语义信息进行融合，包括相加和并联两种方式，融合后使用sigmoid函数计算出前景像素和背景像素。

4.根据权利要求1所述的一种基于多分支金字塔神经网络的遥感影像道路提取方法，其特征在于：步骤3中的后处理流程包括特征点检测，寻找最匹配邻居点，线性区域生长，前景像素比例计算4个部分，具体实现方式如下，

步骤3.1，特征点检测；通过计算shi-tomasi角点来寻找潜在的道路断裂点，将道路断裂点认为是特征点；

步骤3.2，寻找最匹配邻居点；将距离最邻近的两个点作为道路断裂的两个端点，出现三个及以上特征点时，需要计算各端点之间的斜率与道路延伸方向的相似程度，选择最优的点作为最匹配邻居点；

步骤3.3，线性区域生长；为了连接断裂的道路，设计了一种线性区域生长算法来连接最邻近特征点之间的区域，由于道路区域是栅格图像而非线矢量，即道路具备宽度，因此构造一个“L”型的生长模板，从一个端点出发，沿斜率方向进行填充，直到到达邻近特征点为止；具体实现方式如下：

假设点C为A点的最匹配邻居点，每个正方形表示一个像素，以A为中心，构造一个“L”型的生长模板，如果A在C的左上角，那么模板为倒L，m为模板大小，是根据实际的道路平均宽度设置的超参数；以模板中的像素点作为初始种子点，生长的方向是直线AC的斜率，终止条件是像素点的xy坐标达到C点，最终AC两点之间生长的区域作为断裂连接的候选区域；

步骤3.4，前景像素比例计算；计算步骤3.3得到的区域中前景像素的数量占整个区域像素数量的比例l，如果l小于比例阈值，那么则认为3.3生成的区域是正确填充的道路区域，否则舍弃。