CN112766089A - 一种基于全局-局部对抗学习框架的跨域道路提取方法 - Google Patents

Abstract

本发明公开了一种基于全局‑局部对抗学习框架的跨域道路提取方法，该方法具有以下两个显著特点：一是利用一个全局‑局部对抗学习框架用于高分辨率遥感影像跨域道路提取，该框架首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，另一个分支通过全局‑局部对抗学习引导生成器生成域不变特征。第二，全局‑局部对抗学习过程中，使用两个互斥分类器对道路进行识别，两个分类器识别的差异可以反映每一个像素的识别难易程度，从而自适应地对对抗损失进行加权，自动减慢或加速对抗学习的过程。本方法可以明显改善道路缺失现象，对于一些困难的样本也能较好的识别，显著提升道路识别精度。

Description

一种基于全局-局部对抗学习框架的跨域道路提取方法

技术领域

本发明基于遥感图像技术处理领域，特别涉及一种基于全局-局部对抗学习框架的跨域道路提取方法。

背景技术

近年来，随着IKONOS、QuickBird、Worldview、GJ-1、GF-6等一系列国内外高分辨率遥感卫星的成功发射，高分辨率遥感数据获取能力迅速增强，使得我们能获取的高分辨率遥感影像资源在规模上不断扩大，意味着遥感大数据时代已经来临。高分辨率遥感影像包含丰富的空间细节信息，能够精确描述地物的几何属性特征，高分辨率遥感影像相对于中低分辨率遥感影像来说，地物几何结构更加明显，纹理更加精细，位置布局更加清晰。因此，高分辨率遥感凭借其获取手段技术成熟，影像分辨率高，覆盖范围广等优势，已被广泛应用于军事侦察、灾害防治、城市规划等事关国防建设和经济社会发展的诸多领域，高分辨率遥感的发展已然对推动社会进步起着至关重要的作用。

道路作为基础的地理数据和重要的国情要素，是高分辨率遥感影像中一项重要的地物目标，对于人类生活具有十分重要的影响，道路经过规划设计会形成四通八达的道路网，提取出道路的完整信息构建道路网对于国家经济社会的发展具有十分重要的实用价值，也是各种实际应用开展的关键前提。如为城市规划提供前瞻性指导，为智能交通提供基础数据，为地理信息系统更新提供更高效的技术手段等。因此，如何应用现代高分辨率遥感技术结合一定的计算机技术快速、准确地对道路信息进行识别和更新是当前遥感领域的研究热点。

基于国内外对道路提取的几十年研究历史，相关研究学者针对不同源数据，不同生产需求，已从不同角度提出大量的方法和成果，这些方法在道路提取上存在各自的优势，精度上也在不断提升。但长期以来，受道路自身特征的特殊性、周边环境的复杂性和不同影像之间差异的影响，自动化高精度提取道路网仍然是遥感领域研究的一个难点。当前，在遥感大数据的背景下，使用最多的方法就是基于深度学习的方法，深度学习方法是一种数据驱动的方法，依赖于海量的数据训练模型，来完成各种识别任务。目前的深度学习方法仍以监督学习为主，需要人工大量的标记数据来训练模型，这样的数据标注工作需要消耗大量的人力和财力。而如果直接在域A上训练道路提取模型，在域B上测试时，模型的识别能力会急剧下降，导致道路识别存在很多漏检的情况。

基于此，考虑增强深度学习模型的泛化能力，使其在未标注目标域上也能够很好地提取道路。

发明内容

本发明的目的在于提出一种基于全局-局部对抗学习框架的跨域道路提取方法。

提出的基于全局-局部对抗学习框架的跨域道路提取方法从两个方面来增强深度学习模型的泛化能力，一方面在特征输出层采用对抗学习，通过混淆域判别器使其无法识别特征来自源域还是目标域，来引导生成器生成域不变特征；另一方面在对抗学习中，根据每一个像素的识别难易程度，自适应地调整对抗损失，从而自动减慢或加速对抗学习的过程。本发明能够有效提升深度学习模型的泛化能力，一定程度上解决跨域道路提取时，道路漏检严重的问题。

本发明中我们所提出的一种基于全局-局部对抗学习框架的跨域道路提取方法具有以下两个显著特点。一是发明了一个全局-局部对抗学习框架用于高分辨率遥感影像跨域道路提取，该框架首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征。第二，全局-局部对抗学习过程中，使用两个互斥分类器对道路进行识别，两个分类器识别的差异可以反映每一个像素的识别难易程度，从而自适应地对对抗损失进行加权，自动减慢或加速对抗学习的过程。

本发明提供一种基于全局-局部对抗学习框架的跨域道路提取方法，实现步骤如下：

步骤1，获取有标签的SpaceNet道路竞赛数据集2213张作为源域数据，以及无标签的目标域影像3000张，一起组成训练集，用于网络训练，对训练集进行归一化与数据增强；

步骤2，构建全局-局部对抗学习框架，主要包括全局-局部对抗学习网络框架构建和目标函数设计。

所述全局-局部对抗学习网络框架为生成器和判别器结构，首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，获取道路分割概率图，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征；目标函数包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失；

步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至网络收敛；

步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出道路分割概率图获得道路提取结果。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，在SpaceNet道路提取竞赛网站上进行注册，下载数据集总计2780个样本对，按照公开划分方式，划分出2213张作为源域训练样本。

步骤1.2，在目标域测试集影像范围的相邻区域下载与之地理位置不重合，但时间和空间分辨率一致的目标域影像3000张，每一张的大小是1024*1024像素，此影像会与目标域测试集影像特征非常相似，作为目标域的无标记影像。

步骤1.3，将有标记的源域样本和无标记的目标域影像一起组成训练集，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，构建全局-局部对抗学习网络框架：该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器，考虑到计算压力以及为了保证较高的特征分辨率，移除ResNet50的第四个残差块，并将第三个残差块内的最后一层卷积的步长由2变成1，同时将标准卷积替换成空洞率为2的空洞卷积，这样可以保证特征分辨率不降低的同时增大网络感受野。由此，得到修正后的ResNet生成器，这个生成器的输出步长为8，所以对于输入尺寸大小为768×768的源域影像x_s和目标域影像x_t，经过生成器之后，源域输出e_s和目标域输出e_t的尺寸大小为96×96。生成器之后是两个分支，一个分支进行道路分割，首先采用1×1卷积将源域特征e_s的维度从1024降低到256，然后通过双线性插值将特征图上采样到192×192，再采用跳跃连接，通过和相应的低层特征进行逐像素的相加，来恢复更详细的空间细节信息，之后分别采用3×3卷积和1×1卷积降低特征图维度到64和1，最后通过双线性插值，四倍上采样恢复到原始输入大小768×768，并通过Sigmoid分类器获取道路分割概率图。另一个分支进行全局-局部对抗学习，利用两个互斥分类器(即两个不同的分类器，通过余弦相似性，约束两个分类器的参数不一致，防止两个分类器退化成同一个分类器，得到一样的分类结果，那么计算两个分类器预测结果的差异就没有意义了)，分别输出一个二维特征图m₁和m₂,紧接着1×1卷积得到一维的概率图p₁和p₂，最终的概率值p是p₁和p₂之和。对于判别器D，采用的是通道数分别为64,128,256,512和1的五层全卷积网络，每一个卷积层的卷积核大小为4×4,步长为2，且连接一个leaky ReLU，最后采用双线性插值使得输出结果恢复到原始输入大小。对于源域输入e_s，通过两个分类器得到概率图p_s，然后输入到判别器D中计算对抗损失。对于目标域输入e_t,通过两个分类器得到概率图p_t，输入到判别器D中计算对抗损失。同时也得到二维输出

和

紧接着softmax激活函数来获得分割输出

和

然后根据

和

之间的差异计算权重，根据此权重来自动调节对抗损失，权重越小，说明特征已经很好的对齐了，这些像素的对齐力度应该被降低，权重越大，说明这些特征还没有很好对齐，应该增强对齐力度。

步骤2.2，目标函数设计：全局-局部对抗学习框架的目标函数主要包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失，可以用以下式子表达：

L_GOAL＝L_seg+λ_dis·L_dis+λ_adv·L_adv

其中λ_dis和λ_adv控制三个损失的相对重要性。

对于道路分割分支，生成道路分割概率图，与真实标签对比计算分割损失，分割损失L_seg是binary cross-entropy损失和dice coefficient损失之和，道路分割损失可以用以下式子表达：

L_seg＝L_BCE(P_s,Y_s)+L_DCL(P_s,Y_s)

其中P_s和Y_s分别是源域数据的预测结果和标签。

参数差异损失通过最小化两个互斥分类器C₁,C₂的参数

和

的余弦相似性,使得两个分类器的参数不同，参数差异损失可以用以下式子表达：

对于自适应加权对抗损失，权重是目标域两个预测结果

和

的余弦距离，两个预测结果越相似，权重就会越小，反之亦然，自适应加权对抗损失可以用以下式子表达：

L_adv＝-E[logD(p_s)]-E[(λ_w·W_T+ε)·log(1-D(p_t))]

其中λ_w调节权重大小，ε控制原始对抗损失的占比，E[·]代表统计期望。

进一步的，步骤3的具体实现包括如下子步骤：

步骤3.1，初始化全局-局部对抗学习框架的网络参数，固定训练集的裁剪大小，每批次的输入张数，以及分割初始学习率和对抗学习初始学习率。

步骤3.2，生成器采用SGD优化器进行训练，判别器采用Adam优化器进行训练，分割训练和对抗训练分步交替进行，通过前向传播和后向反馈不断更新全局-局部对抗学习框架的网络参数，直至网络收敛。

进一步的，步骤4的具体实现包括如下子步骤：

步骤4.1，输入目标域测试集影像，对其进行归一化操作。

步骤4.2，将归一化后的影像输入到已经训练好的全局-局部对抗学习框架中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图。

与现有技术相比，本发明的优点和有益效果为：

深度学习模型泛化能力有限，跨域道路提取时，模型识别能力急剧下降。而所提出的全局-局部对抗学习框架，可以有效地实现源域和目标域之间的域适应，提升模型泛化能力，使得模型在目标域上的道路提取性能也能保持的较好，在跨域道路提取时，所提方法可以明显改善道路缺失现象，同时由于采用全局和局部对抗相结合的方式，对于一些困难的样本也能较好的识别，显著提升道路识别精度。

附图说明

图1是本发明实施例1的步骤1.1中SpaceNet道路提取竞赛数据集和步骤1.2中目标域影像的部分可视化图。

图2是本发明实施例1的步骤2.1中设计的全局-局部对抗学习框架。

图3是本发明实施例1的步骤4.2中得到道路预测图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

一种基于全局-局部对抗学习框架的跨域道路提取方法，包括以下步骤：

步骤1，下载SpaceNet道路竞赛数据集，包含有标签的2780张1300×1300大小的影像，按照公开划分方式将其拆分为2213张作为训练，下载目标域与测试集不重合的3000张影像，影像大小为1024×1024，与源域样本一起构成训练集，如图1所示。对训练集进行归一化与数据增强。此步骤进一步包括：

步骤1.1，在SpaceNet道路提取竞赛网站上进行注册，下载数据集，划分出训练集，作为源域训练样本。

步骤1.2，在目标域测试集周边下载与之地理位置不重合，但时间和分辨率一致的目标域影像。

步骤1.3，将有标记的源域数据和无标记的目标域影像一起组成训练集，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。

步骤2，构建全局-局部对抗学习框架，主要包括全局-局部对抗学习网络框架构建和目标函数设计。此步骤进一步包括：

步骤2.1，构建全局-局部对抗学习网络框架，如图2所示：该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器，考虑到计算压力以及为了保证较高的特征分辨率，移除ResNet50的第四个残差块，并将第三个残差块内的最后一层卷积的步长由2变成1，同时将标准卷积替换成空洞率为2的空洞卷积，这样可以保证特征分辨率不降低的同时增大网络感受野。由此，得到修正后的ResNet生成器，这个生成器的输出步长为8，所以对于输入尺寸大小为768×768的源域影像x_s和目标域影像x_t，经过生成器之后，源域输出e_s和目标域输出e_t的尺寸大小为96×96。生成器之后是两个分支，一个分支进行道路分割，首先采用1×1卷积将源域特征e_s的维度从1024降低到256，然后通过双线性插值将特征图上采样到192×192，再采用跳跃连接，通过和相应的低层特征进行逐像素的相加，来恢复更详细的空间细节信息，之后分别采用3×3卷积和1×1卷积降低特征图维度到64和1，最后通过双线性插值，四倍上采样恢复到原始输入大小768×768，并通过Sigmoid分类器获取道路分割图。另一个分支进行全局-局部对抗学习，利用两个互斥分类器，分别输出一个二维特征图m₁和m₂,紧接着1×1卷积得到一维的概率图p₁和p₂，最终的概率值p是p₁和p₂之和。

对于判别器D，采用的是通道数分别为64,128,256,512和1的五层全卷积网络，每一个卷积层的卷积核大小为4×4,步长为2，且连接一个leaky ReLU，最后采用双线性插值使得输出结果恢复到原始输入大小。对于源域输入e_s，通过两个分类器得到概率图p_s，然后输入到判别器D中计算对抗损失。对于目标域输入e_t,通过两个分类器得到概率图p_t，输入到判别器D中计算对抗损失。同时也得到二维输出

和

紧接着softmax激活函数来获得分割输出

和

然后根据

和

之间的差异计算权重，根据此权重来自动调节对抗损失，权重越小，说明特征已经很好的对齐了，这些像素的对齐力度应该被降低，权重越大，说明这些特征还没有很好对齐，应该增强对齐力度。

步骤2.2，目标函数设计：全局-局部对抗学习框架的目标函数主要包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失，可以用以下式子表达：

L_GOAL＝L_seg+λ_dis·L_dis+λ_adv·L_adv

其中λ_dis和λ_adv控制三个损失的相对重要性。

对于道路分割分支，生成道路分割概率图，与真实标签对比计算分割损失，分割损失L_seg是binary cross-entropy损失和dice coefficient损失之和，道路分割损失可以用以下式子表达：

L_seg＝L_BCE(P_s,Y_s)+L_DCL(P_s,Y_s)

其中P_s和Y_s分别是源域数据的预测结果和标签。

参数差异损失通过最小化两个分类器C₁,C₂的参数

和

的余弦相似性,使得两个分类器的参数不同，参数差异损失可以用以下式子表达：

对于自适应加权对抗损失，权重是目标域两个预测结果

和

的余弦距离，两个预测结果越相似，权重就会越小，反之亦然，自适应加权对抗损失可以用以下式子表达：

L_adv＝-E[logD(p_s)]-E[(λ_w·W_T+ε)·log(1-D(p_t))]

其中λ_w调节权重大小，ε控制原始对抗损失的占比。

步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至网络收敛；此步骤进一步包括：

步骤3.1，初始化全局-局部对抗学习框架的网络参数，固定训练集的裁剪大小，每批次的输入张数，以及分割初始学习率和对抗学习初始学习率。

步骤3.2，生成器采用SGD优化器进行训练，判别器采用Adam优化器进行训练，分割训练和对抗训练分步交替进行，通过前向传播和后向反馈不断更新全局-局部对抗学习框架的网络参数，直至网络收敛。

步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出道路分割概率图获得道路提取结果。此步骤进一步包括：

步骤4.1，输入目标域测试集影像，对其进行归一化操作。

步骤4.2，将归一化后的影像输入到已经训练好的全局-局部对抗学习框架中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图，如图3所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于，包括以下步骤：

步骤1，获取有标签的源域数据，以及无标签的目标域影像，一起组成训练集用于网络训练，对训练集进行归一化与数据增强；

步骤2，构建全局-局部对抗学习框架，包括全局-局部对抗学习网络框架构建和目标函数设计；

所述全局-局部对抗学习网络框架为生成器和判别器结构，首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，获取道路分割概率图，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征；目标函数包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失；

步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至收敛；

步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出的道路分割概率图获得道路提取结果。

2.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤1的实现方式如下，

步骤1.1，在SpaceNet道路提取竞赛网站上进行注册，下载数据集，划分出源域训练样本；

步骤1.2，在目标域测试集影像范围的相邻区域下载与之地理位置不重合，但时间和分辨率一致的目标域影像，作为目标域的无标记影像；

步骤1.3，将有标记的源域数据和无标记的目标域影像一起组成训练集，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。

3.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤2中全局-局部对抗学习网络框架的具体结构如下；

该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器，移除ResNet50的第四个残差块，并将第三个残差块内的最后一层卷积的步长由2变成1，同时将标准卷积替换成空洞率为2的空洞卷积，以保证特征分辨率不降低的同时增大网络感受野，由此，得到修正后的ResNet生成器，对于输入的源域影像x_s和目标域影像x_t，经过生成器之后，得到源域输出e_s和目标域输出e_t；生成器之后是两个分支，一个分支进行道路分割，首先采用1×1卷积将源域特征e_s的维度降低，然后通过双线性插值将特征图进行上采样，再采用跳跃连接，通过和相应的低层特征进行逐像素的相加，来恢复更详细的空间细节信息，之后分别采用3×3卷积和1×1卷积降低特征图维度，最后通过双线性插值，四倍上采样恢复到原始输入大小，并通过Sigmoid分类器获取道路分割概率图；另一个分支进行全局-局部对抗学习，利用两个互斥分类器，分别输出一个二维特征图m₁和m₂，紧接着1×1卷积得到一维的概率图p₁和p₂，最终的概率值p是p₁和p₂之和；

对于判别器D，采用的是不同通道数的五层全卷积网络，每一个卷积层后面连接一个leaky ReLU，最后采用双线性插值使得输出结果恢复到原始输入大小；对于源域输入e_s，通过两个分类器得到概率图p_s，然后输入到判别器D中计算对抗损失；对于目标域输入e_t，通过两个分类器得到概率图p_t，输入到判别器D中计算对抗损失；同时也得到二维输出

和

紧接着softmax激活函数来获得分割输出

和

然后根据

和

之间的差异计算权重，根据此权重来自动调节对抗损失，权重越小，说明特征已经很好的对齐了，这些像素的对齐力度应该被降低，权重越大，说明这些特征还没有很好对齐，应该增强对齐力度。

4.如权利要求3所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：步骤2中目标函数包括分割损失，参数差异损失和自适应加权的对抗损失，用以下式子表达：

L_GOAL＝L_seg+λ_dis·L_dis+λ_adv·L_adv

其中λ_dis和λ_adv控制三个损失的相对重要性；

对于道路分割网络分支，生成道路分割概率图，与真实标签对比计算分割损失，分割损失L_seg是binary cross-entropy损失和dice coefficient损失之和，道路分割损失用以下式子表达：

L_seg＝L_BCE(P_s,Y_s)+L_DCL(P_s,Y_s)

其中P_s和Y_s分别是源域数据的预测结果和标签；

参数差异损失通过最小化两个互斥分类器C₁,C₂的参数

和

的余弦相似性，使得两个分类器的参数不同，参数差异损失用以下式子表达：

对于自适应加权对抗损失，权重是目标域两个预测结果

和

的余弦距离，两个预测结果越相似，权重就会越小，反之亦然，自适应加权对抗损失用以下式子表达：

L_adv＝-E[logD(p_s)]-E[(λ_w·W_T+ε)·log(1-D(p_t))]

其中λ_w调节权重大小，ε控制原始对抗损失的占比，E[·]代表统计期望。

5.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤3的实现方式如下，

步骤3.1，初始化全局-局部对抗学习框架的网络参数，固定训练集的裁剪大小，每批次的输入张数，以及分割初始学习率和对抗学习初始学习率；

步骤3.2，生成器采用SGD优化器进行训练，判别器采用Adam优化器进行训练，分割训练和对抗训练分步交替进行，通过前向传播和后向反馈不断更新全局-局部对抗学习框架的网络参数，直至收敛。

6.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤4的实现方式如下，

步骤4.1，输入目标域测试集影像，对其进行归一化操作；

步骤4.2，将归一化后的影像输入到训练好的全局-局部对抗学习框架中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图。

Images