CN110633633B - 一种基于自适应阈值的遥感影像道路提取方法 - Google Patents

Abstract

本发明涉及一种基于自适应阈值的遥感影像道路提取方法，解决遥感影像分割出的道路结构无法描述完整并且空间信息丢失过多的问题。本发明提出一种新的语义分割网络SAT U‑Net(Self‑Adaptive Threshold U‑Net,SAT U‑Net)用于遥感影像的道路提取。在本发明的网络结构中，采用自适应阈值方法确定每张预测分割结果中的道路阈值，根据道路阈值改进sigmoid层来自适应地完善预测分割结果。本发明结合U‑Net网络的优点来保留完整的道路空间特性，从而使最终结果呈现出完整清晰的道路分割图并提高分割精度，高效自动地提取出准确完整的道路信息，为人类提供更加精确可靠的数据支撑。

Description

一种基于自适应阈值的遥感影像道路提取方法

技术领域

本发明涉及图像语义分割领域，涉及一种基于自适应阈值的遥感影像道路提 取方法。

背景技术

遥感影像技术，是指在高空和外层空间中，运用各种传感器，在不直接接触 被测物的条件下，获取反映地表特征的数据，借助卫星传输，运用数学变换和处 理，提取特征信息，为人类决策、规划提供依据的一门综合性的新兴技术。如今， 遥感成像技术的发展迅速，大量卫星应用带来了海量的图像数据信息，在人们关 注的诸多信息中，道路信息是最基础和最重要的地理信息之一。道路作为一种典 型的人造地物，是构成现代交通体系的主要部分。而无论是在城市还是乡村中， 作为主要的土地覆盖参照物，提取出道路信息，就可以获取整个地表区域的概貌 特征，其具有重要的地理、政治、经济、军事意义。正因如此，遥感影像道路提 取成为许多现代热门应用的必要步骤，如在城市规划、车辆导航、智能交通、土 地利用检测、军事打击等领域均发挥着至关重要的作用。

然而，在实际成像中存在各种类型的干扰：1)合成孔径雷达图像中的固有 乘性噪声导致道路边缘和与周围环境的对比度模糊；2)高层建筑和树木将在道路 上形成阴影，从而破坏道路线或区域特征的连续性，导致一些道路单边或甚至没 有边缘；3)由道路两侧的绿化带形成的灰度纹状干扰会影像道路区域的识别，使 人眼难以分辨；4)道路周围的建筑物，使一些原本连续道路的双边缘被认为是 单边缘，不同区域的宽度在同一条道路上变化很大。此外，不同的道路背景将导 致从遥感图像中提取道路的复杂程度不同。例如，在城镇中，由于建筑物的平行 边缘类似于道路的两侧，很容易错识别成道路；在山区，由于地形的复杂性，道 路的形状没有明显的几何特征。鉴于存在上述干扰，多样化的道路类型和复杂的 环境背景，繁琐的人工解译方法无疑会消耗大量的人力物力。并且不能始终保证 道路信息的高精确度提取。因此，实现高效自动的道路提取已成为一个热门的研 究课题。

深度学习的理论基础是人工神经网络，它保留了神经网络的精髓，利用多层 网络学习抽象概念并加入自我学习、进行自我反馈、理解和总结，最后可以做出 决策和判断。深度学习最突出的特点之一是从大量数据中自动学习特征的能力， 不需要人工选取特征。该特点与从数量庞大的遥感数据中提取道路遥感信息工作 高度契合，可以解决道路提取过程中的低效率、高成本的问题。由于从卫星遥感 影像中提取道路的任务被制定为二元分类问题：标记每个像素的道路或非道路。 因此道路提取任务通常被作为二元语义分割任务处理，以生成道路的像素级标签， 实现高效自动的遥感图像道路分割方法。卷积神经网络(Convolutional Neural Network,CNN)作为目前最成熟、应用最广泛的深度学习框架，是一种受人类大 脑神经元结合功能启发而建立的具有卷积核的深层人工神经网络并已经成功应 用于图像分类、目标检测、语义分割等领域。其中，全卷积网络(Fully ConvolutionalNetworks,FCN)是对卷积神经网络的改进，它将卷积神经网络中的全连接层替 换为卷积层，并添加用于实现上采样操作的反卷积层。然而FCN的中心特征图 分辨率过低，每个元素对应的感受野过大，导致原始图像中的许多道路信息丢失， 所以得到的分割图比较粗糙。

在FCN架构的基础上，U-Net连接不同级别的特征映射以提高分割精度。 如图1为U-Net网络经典结构：由一个捕获上下文信息的收缩路径(图1左侧) 和一个允许精确定位的对称扩展路径(右侧)组成。其中，收缩路径使用经典 CNN架构，它包括重复应用两个3×3的卷积核，卷积步幅为1，padding为1 防止了卷积过程中边界像素丢失。为了防止梯度弥散加快模型收敛速度，每次卷 积后均通过批量归一化(Batch Normalization,BN)，并随后添加整流线性单元 (ReLU)进行非线性激活。然后进行2×2的最大池化，步长为2，完成一次下采样操作。在每个下采样步骤中，将特征通道的数量增加一倍。在扩展路径中每 一步都包括对特征映射进行最近邻上采样，然后完成一次3×3的卷积 (up-convolution)，将特征图的通道数量减半，与来自收缩路径的相应特征映射 串联，再经过两次3×3的卷积，并依次通过BN层和ReLU激活函数。在最终 层，使用1x1卷积将每个64分量特征向量映射到所需数量的类。

在U-Net网络结构中，收缩网络后面补充了一个与之完全对称的扩展网络， 其中池化运算由上采样运算替换，因此增加了输出的分辨率。从收缩路径的高分 辨率特征与上采样输出进行短路连接，使上采样过程中包含必要的细节特征，局 部信息和全局信息相结合，保留了道路完整的空间特性，不但完成分类，并且对 特定目标进行了定位，实现道路目标与背景的分割。虽然短路连接的方法巧妙地 将低级特征与高级特征相结合，使上采样过程中包含必要的细节，重建准确的分 割边界，缓解了由于多次下采样后的特征图分辨率过小，导致丢失过多空间信息 的问题，但这对于提取类型多样、环境背景复杂的道路特征，每张预测分割结果 中的道路阈值各不相同，而U-net网络无法确定每张分割预测图像的道路阈值， 预测结果中每个像素点的概率会通过sigmoid函数映射到0到1之间，倘若道路 初始阈值定义过低或过高，则会导致误以为将背景标记为道路或一些道路结构无 法被描述清晰完整。

发明内容

本发明提供一种基于自适应阈值的遥感影像道路提取方法。考虑到U-Net网 络无法确定道路阈值，导致一些分割出的道路结构无法描述完整并且分割精度也 会受影响。本发明所提出的SAT U-Net采用自适应阈值函数改进了sigmoid层， 通过对每张预测分割结果与其对应真实数据的像素点直方图比较，以真实数据的 道路直方图作为参考，根据二者距离的绝对值自适应动态地调整每张道路分割图 像的道路阈值，依照道路阈值对sigmoid函数进行改进，从而提高分割精度，实 现对道路的高效自动精细分割，并使最终结果呈现出更加清晰完整的道路分割图 像。

本发明的具体步骤如下：

步骤一：对遥感影像进行预处理，得到经过数据增强后的遥感影像。将数据 集按照一定比例划分为训练集和测试集，其中包括原图像和其对应的标签数据， 即人工标记的标准道路分割图像；

步骤二：训练U-Net网络。训练开始前，对超参数进行初始化，初始化参数 后，输入训练数据集，训练U-Net网络模型，完成反向传播，优化网络模型参数。 迭代训练完成后，保存训练完成后的网络模型。

步骤三：搭建SAT U-Net网络，所述的SAT U-Net网络如图2所示以步骤二 中保存的U-Net模型作为基础，对U-Net网络中的sigmoid层进行改进：对sigmoid 函数中增加变量a来作为控制输出的中间变量，即通过道路阈值来确定变量a的 值，再将一维向量输入新的激活函数得到由自适应阈值调整的道路分割结果，从 而完成对U-Net预测分割结果的后处理，实现最终道路的精细分割。新的激活函 数则改进为：

其具体改进步骤如下：

①首先确定步骤(2)中U-Net网络得到预测分割结果的初始道路阈值t₀， 即t₀＝0.5，t₀的取值过程如下：采用原sigmoid激活函数得到道路分割结果的道 路阈值，在U-Net网络中，给定一组训练数据集作为输入，通过U-Net网络进行 前向传播，最终经过1×1的卷积核得到一维向量，采用sigmoid函数将预测得 到的一维向量归一化为0到1之间的logits，即各像素点被预测为道路的概率值。 Sigmoid函数定义为：

其中x为输入的一维向量。假设一组一维向量x为{-10,-9,...,0,1,2,...,9,10}作为sigmoid函数的输入，通过其函数图像如图3所示。可以观察到，若以x＝0 作为判定阈值的基准点，则可得到一维向量经过sigmoid函数归一化后的初始阈 值t₀为0.5；

②分别计算预测分割结果和标签数据中表示道路的像素数量占总像素数量 的比例R_p，R_g：

其中n_p，n_g分别表示预测分割结果和标签数据中道路的像素数量，N为总 像素数量。

③然后计算出预测分割结果和标签数据的直方图绝对距离：

d＝|R_g-R_p|

根据二者的直方图距离，调整U-Net预测分割结果中的道路阈值。而在阈值调整的过程中，被标记为道路的像素点的数量n_p的值也会随着阈值的改变而改变： 当阈值衰减时，被标记为道路的像素点的数量会增多；当阈值增强时，被标记为 道路的像素点的数量会减少。经过多次阈值调整，二者的直方图距离逐渐减小。 其具体调整规则如下：设置距离最小值为d_min，其取值范围为(0.001,0.006)。 若直方图距离大于d_min，则根据R_g与R_p的大小关系对阈值进行衰减或增强调整， 阈值调整公式为：

t_i+1＝λt_i+ξ i＝0,1,...,i_max

其中t_i为第i次衰减或增强的阈值，λ为衰减或增强系数，ξ为偏置项。当R_g大 于R_p时，则进行阈值衰减，系数λ小于1，其取值范围为(0.7,0.8)；当R_g小于 R_p时，则进行阈值增强，系数λ大于1,其取值范围为(1.2,1.3)。若直方图距 离小于d_min或者调整次数达到上限值为i_max,其取值范围为(7,10)，则停止阈值 调整，并确定该预测分割图的道路阈值为此时的t_i值。ξ建议设置为10^-4。

④最终根据自适应调整的道路阈值t_i，以x＝0作为判定阈值的基准点， 则a可定义为：

通过改进的激活函数实现对道路的精细分割，提高道路分割精度。

由于SAT U-Net中新的自适应激活函数没有参数需要训练，所以搭建完成 SAT U-Net网络模型后不需要重新训练模型。

步骤四：将测试数据集输入到SAT U-Net模型中，得到道路精细分割图。

有益效果

与现有技术相比，本发明具有如下优点：

通过本发明提出的方案，提出了一种自适应阈值的道路分割方法，根据每张 预测分割结果和与其对应的真实数据的直方图距离来自适应地调整道路阈值，从 而完善未连通和模糊不清的道路结构，同时提高分割精度，进一步提升了道路分 割性能和泛化能力，实现高效自动化道路提取。

附图说明

图1 U-Net结构图

图2本发明提出的SAT U-Net结构图。

图3 Sigmoid函数图。

图4本发明提出的道路分割流程图。

图5(a)人工标记的标准道路分割图

图5(b)U-Net预测道路分割图

图5(c)SAT U-Net预测道路分割图

具体实施方式

本发明提出了一种基于自适应阈值的遥感影像道路提取方法。该发明的具体 实现步骤如下：

步骤一：具体包括数据增强和数据集划分两个过程：

对数据集中所有图像均进行数据增强，包括图像旋转(随机角度)、中心裁 剪、图像移位、亮度调节、色彩调节、对比度调节、垂直与水平翻转；

再对数据增强后的图像按照一定的比例，随机分配图像作为训练集和测试集。

步骤二：训练U-Net网络。训练开始前，对超参数进行初始化：为了最小 化超前量和最大化GPU内存，本发明将训练和验证数据集的批量大小设置为1， 将图像裁剪为256×256作为网络模型的输入。设置初始学习率为0.0002，迭代次 数为350次，当迭代轮数超过总轮数与衰减轮数的差，学习率开始按每一轮衰减 0.02倍的速率进行衰减，设置优化器两个动量超参数分别为0.5和0.999。初始 化参数后，输入训练数据集，训练U-Net网络模型参数。由于本发明的任务是二 元分类，所以本发明使用二元交叉熵损失作为损失函数，其公式为：

其中y为标签数据，具体指训练数据集中人工标记的标准道路分割图像，

为 预测分割结果，具体指U-Net网络中初始sigmoid层输出结果。并选择Adam作 为优化器，完成反向传播，优化网络模型参数。迭代训练完成后，保存训练完成 后的网络模型。

步骤三：按照发明内容步骤三中对sigmoid函数的具体改进步骤，搭建SAT U-Net网络。

步骤四：将测试数据集输入到SAT U-Net模型中，得到道路精细分割图。本 发明完整道路分割流程如图4所示。具体分割效果对比如图5(a)、(b)、(c) 所示，其中图5(a)为人工标记的标准道路分割图，图5(b)为U-Net预测道路分割 图，图5(c)为SAT U-Net预测道路分割图。

综上所述，本发明提出了一种SAT U-Net的网络结构，用于遥感影像的道路 提取。该网络继承了U-Net的优势：利用短路连接巧妙地将道路低级细节信息与 高级语义信息相结合，保留了完整的道路空间特征。在此结构基础上，本发明提 出一种自适应阈值函数来确定每张预测分割结果与与其对应真实数据的道路直 方图距离，根据二者距离的绝对值自适应动态地调整每张道路分割图像的道路阈 值，再依照阈值改进sigmoid层来自适应地完善每张预测分割结果，提高了道路 分割性能以及泛化能力，实现遥感影像道路的高效精细分割。

Claims (2)

1.一种基于自适应阈值的遥感影像道路提取方法，其特征在于包括以下步骤：

(1)对遥感影像进行预处理，得到经过数据增强后的遥感影像；将数据集按照一定比例划分为训练集和测试集，其中包括原图像和其对应的标签数据，即人工标记的标准道路分割图像；

(2)训练U-Net网络；训练开始前，对超参数进行初始化，输入训练数据集，训练U-Net网络模型参数；其中损失函数为二元交叉熵损失函数，其公式为：

其中y为标签数据，

为预测分割结果；并选择Adam作为优化器，完成反向传播，优化网络模型参数；迭代训练完成后，保存训练完成后的网络模型；

(3)搭建SAT U-Net网络，所述SAT U-Net网络以步骤(2)中保存的U-Net模型作为基础，仅对U-Net网络中的sigmoid层进行改进：对sigmoid函数中增加变量a来作为控制输出的中间变量，即通过道路阈值t_i来确定变量a的值，再将预测分割结果输入改进的激活函数得到由自适应阈值调整的道路分割结果，从而完成对U-Net预测分割结果的后处理，实现最终道路的精细分割；新的激活函数则改进为：

其中a的确定方法如下：

①首先初始化道路阈值t₀＝0.5；

②分别计算预测分割结果和标签数据中表示道路的像素数量占总像素数量的比例R_p，R_g：

其中n_p，n_g分别表示预测分割结果和标签数据中道路的像素数量，N为总像素数量；

③然后计算出预测分割结果和标签数据的直方图绝对距离：

d＝|R_g-R_p|

根据二者的直方图距离，调整U-Net预测分割结果中的道路阈值；其具体调整规则如下：设置距离最小值为d_min；若直方图绝对距离大于d_min，则根据R_g与R_p的大小关系对阈值进行衰减或增强调整，阈值调整公式为：

t_i+1＝λt_i+ξ i＝0,1,...,i_max

其中t_i为第i次衰减或增强的阈值，λ为衰减或增强系数，ξ为偏置项；当R_g大于R_p时，则进行阈值衰减，系数λ小于1；当R_g小于R_p时，则进行阈值增强，系数λ大于1；若直方图距离小于d_min或者调整次数达到上限值为i_max，则停止阈值调整，并确定该预测分割结果的道路阈值为此时的t_i值；

(4)将测试数据集输入到SAT U-Net模型中，得到道路精细分割图。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，数据集处理的具体包括数据增强和数据集划分两个过程：

其中，对数据集中所有图像均进行数据增强，包括图像旋转、中心裁剪、图像移位、亮度调节、色彩调节、对比度调节、垂直与水平翻转。

Images