CN112733788B - 基于跨传感器迁移的高分辨率遥感影像不透水面提取方法 - Google Patents

Abstract

本发明涉及一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法。本发明结合深度学习理论，设计跨传感器归一化层，利用数据驱动方式层次化自动学习传感器自身辐射特性归一化参数，消除不同遥感传感器间特性差异；并设计传感器相关对抗优化训练，高效优化地物语义相关卷积参数与各传感器相关归一化参数，增强不同数据源影像间深度学习模型的迁移能力。本发明能够解决现有深度迁移学习方法无法顾及传感器特性差异所带来的跨传感器迁移困难的问题，实现从高分辨率机载影像到星载影像的深度不透水面提取模型的迁移，有效提升跨传感器迁移分类与制图的精度。

Description

基于跨传感器迁移的高分辨率遥感影像不透水面提取方法

技术领域

本发明基于遥感图像技术处理领域，特别涉及一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法。

背景技术

随着对地观测技术的飞速发展，海量多源高分辨率遥感影像不断被各种传感器获取。高分辨率影像使更小的地面物体可见，并可用于探索城市内部的精细结构。城市不透水面指人为的地表覆盖类型，例如道路，建筑物和停车场等防止水渗入土壤的地物。基于多源高分辨率遥感影像高效、精确地绘制和监视城市不透水表面，能够为城市化过程中的城市规划和防灾提供重要信息。

传统的高分辨率遥感影像不透水面提取方法主要为基于支持向量机、随机森林等像素分类与回归方法。为了提高物体识别的完整性，一些面向对象的方法如分水岭算法、分型网络演化算法也被应用，相比基于像素分类方法，面向对象方法考虑了上下文信息和地面物体之间的关系。最近，深度学习算法已成为机器学习和模式识别中的主要范式。相比传统的人工特征提取方法，深度学习为数据驱动方法，能够端对端层次化提取高分辨率遥感影像判别性特征。卷积神经网络(Convolutional Neural Network,CNN)作为一种优秀的深度学习架构，主要包含多个基本算子(卷积，激活，批处理归一化等)。这些基本单元堆叠在一起，能够拟合高分辨率遥感影像复杂地物特征分布。

各测绘部门或事业单位往往拥有小规模航天影像数据及标注，为实现大规模不透水面制图需将识别模型迁移至大规模航天影像上进行制图。然而，现有深度学习方法尚未考虑不同遥感传感器特性，导致不同传感器之间方法迁移能力差。在小规模航天影像不透水面数据集训练得到的网络模型往往不适用于大规模航空影像分类与制图。为了解决此问题，亟需一种跨传感器迁移的高分辨率遥感影像不透水面提取方法，以实现大规模航天影像不透水面提取。

发明内容

本发明的目的在于提出一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法。

本发明提出了一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，考虑不同传感器的差异特性，提高深度学习架构的迁移性，促进基于高分辨率遥感影像的大规模不透水表面提取与制图。从结构和优化的新视角研发了跨传感器不透水面表面提取框架：(1)对于模型结构，提出了具有跨传感器归一化(Cross-sensor Normalization,CSN)的跨传感器特征提取器。CSN包含源归一化和目标归一化，用于编码传感器差异特性。(2)对于模型优化，在传感器相关(Sensor-related Optimization,SR)对抗优化下训练与源域相关的权重(共享卷积和源归一化)和与目标域相关的权重(目标归一化)。所提出的方法通过CSN分离编码传感器差异性，并通过SR优化分别学习共享地物语义特征与传感器相关特征，从而提高了CNN的可迁移性。

本发明方法具有以下显著效果：(1)考虑了不同传感器差异特性，并基于数据驱动自动学习归一化参数，增强深度学习模型对不同传感器的拟合能力；(2)基于传感器相关对抗优化高效训练共享地物语义特征与传感器相关特征，显著提升不同传感器间深度学习模型泛化与迁移能力。

本发明提供基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，实现步骤如下：

步骤1，获取跨传感器高分辨率遥感影像不透水面提取数据集，包括航空机载高分辨率遥感影像与航天星载高分辨率遥感影像，对输入数据进行归一化与数据增强；

步骤2，构建深度跨传感器迁移不透水面提取模型，包括跨传感器归一化层设计与跨传感器特征提取器设计，基于不同源影像输入，获取对应深层特征；

步骤3，设计全卷积判别器，利用跨传感器特征提取器获取的深层特征，判别影像来源；

步骤4，设计传感器相关损失函数对抗优化训练，包括不透水面提取损失函数，对抗损失函数与判别器损失函数的设计，最终迭代对抗优化各类可学习参数；

步骤5，基于训练收敛后的深度跨传感器迁移不透水面提取模型，对未标记星载影像进行预测，利用输出概率获取分类结果。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，利用航空机载传感器与航天星载传感器进行拍摄获取大量高空间分辨率影像；

步骤1.2，对所有影像进行几何校正、辐射校正，并裁剪成1024×1024大小的影像块；

步骤1.3，构建跨传感器不透水面提取数据集，采集航空影像中不透水面像素样本，将样本掩膜与对应区域影像制作成深度学习不透水面分类源域训练集，由于尚未标注航天星载传感器获得的影像，此影像即为待迁移目标域影像；

步骤1.4，源域与目标域影像同时进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

进一步的，步骤2的具体实现包括如下子步骤，

步骤2.1，设计跨传感器归一化层，跨传感器归一化层拥有两套归一化参数，一套针对源域传感器参数：β^s与γ^s，一套针对目标域传感器参数：β^t与γ^t；在训练过程中，输入航空源域影像为：

航天目标域影像

M表示一个批次中影像的数量；首先分别计算源域与目标域影像均值与方差：

与

然后基于均值与方差对输入影像分别进行归一化：

其中，

为源域影像特征，

为目标域影像特征，M表示一个批次中影像的数量，μ^s与μ^t分别为源域与目标域特征均值，σ^s与σ^t分别为源域与目标域特征标准差，

与

分别为源域与目标域归一化后的特征；为了不破坏之前影像特征分布，分别对归一化后的特征进行平移与放缩：

其中，

与

分别为源域与目标域放缩平移后的特征，传感器相关参数β^s、γ^s与β^t、γ^t均为可学习性参数，利用反向传播自动更新；

步骤2.2，设计跨传感器特征提取器，包含深度残差神经网络与多尺度空洞金字塔池化层，深度残差神经网络采用ResNet34网络架构，其中包含16个跨传感器残差模块，每个残差模块包含两个卷积层、一个跨传感器归一化层、一个ReLU激活层与一个残差链接，其中最后3个残差模块中，卷积层的空洞率设置为2，使特征图在保持较高空间分辨率的同时拥有较大感受野；设计多尺度空洞金字塔模型放于深度残差神经网络输出位置，对高层语义与定位特征进行多尺度信息提取，具体包含并行的五个分支：1×1卷积核，3×3空洞率为6卷积核，3×3空洞率为12卷积核，3×3空洞率为18卷积核以及全局平均池化；跨传感器特征提取器为F，其包含卷积层参数为：w，源域归一化参数：β^s、γ^s，目标域归一化参数：β^t、γ^t；源域影像通过跨传感器特征提取器，获取提取器特征：f^s＝F(S；w,γ^s,β^s)；目标影像通过跨传感器特征提取器，获取提取器特征：f^t＝F(T；w,γ^t,β^t)。

进一步的，步骤3中构建全卷积判别器与跨传感器特征提取器进行对抗训练，判别提取器处理后的特征来源于目标域或源域；全卷积判别器由5个卷积层组成，卷积核大小为4×4，步长为2；基于此，判别器能够进行为空间压缩表征，并且捕获大量空间上下文信息，特征图随着卷积，通道数量从64个增加到512个，更多的语义特征被抽象化，每个卷积后面接上Leakly-ReLU激活层，公式为：y＝max{αx，x}，α为负斜率；然后，接入1×1卷积输出二分类概率，判别来自于源域或者目标域，最后对特征图进行双线性内插上采样32倍恢复至原始影像分辨率；全卷积判别器为D，参数为w_D，源域提取器特征通过判别器，获取判别器特征：d^s＝D(f^s；w_D)，目标域提取器特征通过判别器，获取判别器特征：d^t＝D(f^t；w_D)。

进一步的，步骤4的具体实现包括如下子步骤，

4.1，不透水面提取损失函数设计，不透水面损失函数为监督多分类损失，基于航空源域影像S与标签Y进行计算得到：

L_s＝-YlogΘ(f^s) (5)

其中Θ表示softmax归一化层，利用不透水面损失，能够优化跨传感器特征提取器使其学习得到地物分类语义特征；

4.2，对抗损失函数设计，对抗损失函数用于度量目标域特征与源域特征的空间距离，其定义如下：

L_a＝-log(1-θ(d^t)) (6)

其中θ表示sigmoid层，对抗损失函数引导跨传感器特征提取器提取域不变特征，提升模型迁移性能；

4.3，判别器损失函数设计，判别器损失用于优化判别器参数，相较于特征提取器用于混淆源域与目标域特征，判别器目的则是正确分辨数据的域来源，判别器损失定义如下：

L_d＝-log(1-θ(d^s))-log(θ(d^t)) (7)

通过L_d优化判别器参数w_D，增强其判别能力；

4.4，传感器相关对抗优化训练，基于上述不同损失，迭代进行优化三类可学习性参数：(1)跨传感器特征提取器卷积参数：w；(2)源域归一化参数：β^s、γ^s(3)目标域归一化参数：β^t、γ^t；(4)判别器参数：w_D；基于对抗训练策略，具体优化过程如下：

其中，λ表示放缩尺度，(8)与(9)用于优化跨传感器特征提取器，(10)用于优化判别器，不断迭代优化(8)、(9)与(10)直至收敛。

进一步的，对于新的待预测星载遥感影像，将其进行归一化之后输入到步骤4中训练得到的跨传感器特征提取器中，利用收敛后的卷积层参数w与目标域归一化参数β^t、γ^t，得到网络输出的分类概率，取最大值获取分类标签结果，得到不透水层制图结果。

与现有技术相比，本发明的优点和有益效果：本发明结合深度学习理论，设计跨传感器归一化层，利用数据驱动方式层次化自动学习传感器自身辐射特性归一化参数，消除不同遥感传感器间特性差异；并设计传感器相关对抗优化训练，高效优化地物语义相关卷积参数与各传感器相关归一化参数，增强不同数据源影像间深度学习模型的迁移能力。本发明能够解决现有深度迁移学习方法无法顾及传感器特性差异所带来的跨传感器迁移困难的问题，实现从高分辨率机载影像到星载影像的深度不透水面提取模型的迁移，有效提升跨传感器迁移分类与制图的精度。

附图说明

图1是本发明实施例步骤1中某某市跨传感器数据集示意图。

图2是本发明实施例步骤2、3、4中基于跨传感器迁移的高分辨率遥感影像不透水面提取框架图。

图3是本发明实施例步骤5中所输出的2016年0.3米某某市不透水面提取结果。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

如图2所示，本发明提供的一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，包括以下步骤：

步骤1，构建2016年某某市跨传感器高分辨率遥感影像不透水面提取数据集，包括航空机载高分辨率遥感影像与航天星载高分辨率遥感影像，为了增加数据的挑战与地物特征方差其中两种影像既包含城区也包含郊区，对输入数据进行归一化与数据增强，如图1所示，此步骤进一步包括：

步骤1.1，利用航空机载传感器与航天星载传感器进行拍摄获取大量高空间分辨率影像；

步骤1.2，对所有影像进行几何校正、辐射校正，并裁剪成1024×1024大小的影像块。

步骤1.3，构建某某市航空机载影像不透水面提取数据集，采集航空影像中不透水面像素样本(Region Of Interest，ROI)，将样本掩膜与对应区域影像制作成深度学习不透水面分类源域训练集。由于尚未标注航天星载传感器获得的影像，此影像即为待迁移目标域影像。

步骤1.4，源域与目标域影像同时进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

步骤2，构建深度跨传感器迁移不透水面提取模型，主要包括跨传感器归一化层设计与跨传感器特征提取器设计，基于不同源影像输入，获取对应深层特征，如图2所示，此步骤进一步包括：

步骤2.1，设计跨传感器归一化层，跨传感器归一化层拥有两套归一化参数，一套针对源域传感器参数：β^s与γ^s，一套针对目标域传感器参数：β^t与γ^t。在训练过程中，输入航空源域影像为：

航天目标域影像

M表示一个批次中影像的数量。首先分别计算源域与目标域影像均值与方差：

与

其中，

为源域影像特征，

为目标域影像特征，μ^s与μ^t分别为源域与目标域特征均值，σ^s与σ^t分别为源域与目标域特征标准差，然后基于均值与标准差对输入影像分别进行归一化：

其中，

与

分别为源域与目标域归一化后的特征，为了不破坏之前影像特征分布，分别对归一化后的特征进行平移与放缩：

其中，

与

分别为源域与目标域放缩平移后的特征，其中传感器相关参数(β^s、γ^s与β^t、γ^t)均为可学习性参数，利用反向传播自动更新。

步骤2.2，设计跨传感器特征提取器，主要包含深度残差神经网络与多尺度空洞金字塔池化层，深度残差神经网络主要采用ResNet34网络架构，其中包含16个跨传感器残差模块，每个残差模块包含两个卷积层、一个跨传感器归一化层、一个ReLU激活层与一个残差链接，其中最后3个残差模块中，卷积层的空洞率设置为2，使特征图在保持较高空间分辨率的同时拥有较大感受野。设计多尺度空洞金字塔模型放于深度残差神经网络输出位置，对高层语义与定位特征进行多尺度信息提取。具体包含并行的五个分支：1×1卷积核，3×3空洞率为6卷积核，3×3空洞率为12卷积核，3×3空洞率为18卷积核以及全局平均池化。跨传感器特征提取器为F，其包含卷积层参数为：w，源域归一化参数：β^s、γ^s，目标域归一化参数：β^t、γ^t。源域影像通过跨传感器特征提取器，获取提取器特征：f^s＝F(S；w,γ^s,β^s)；目标影像通过跨传感器特征提取器，获取提取器特征：f^t＝F(T；w,γ^t,β^t)；

步骤3，设计全卷积判别器，利用跨传感器特征提取器获取的深层特征，判别影像来源，构建全卷积判别器与跨传感器特征提取器进行对抗训练，判别提取器处理后的特征来源于目标域或源域。全卷积判别器由5个卷积层组成，卷积核大小为4×4，步长为2。基于此，判别器能够进行为空间压缩表征，并且捕获大量空间上下文信息。特征图随着卷积，通道数量从64个增加到512个，更多的语义特征被抽象化。每个卷积后面接上Leakly-ReLU激活层，公式为：y＝max{αx，x}，α为负斜率，设置为0.2。然后，接入1×1卷积输出二分类概率，判别来自于源域或者目标域，最后对特征图进行双线性内插上采样32倍恢复至原始影像分辨率。全卷积判别器为D，参数为w_D，源域提取器特征通过判别器，获取判别器特征：d^s＝D(f^s；w_D)，目标域提取器特征通过判别器，获取判别器特征：d^t＝D(f^t；w_D)。

步骤4，设计传感器相关对抗优化训练，主要包括不透水面提取损失函数，对抗损失函数与判别器损失函数设计，最终迭代对抗优化各类可学习参数，如图2所示，此步骤进一步包括：

步骤4.1，不透水面提取损失函数设计，不透水面损失函数为监督多分类损失，基于航空源域影像S与标签Y进行计算得到：

L_s＝-YlogΘ(f^s) (5)

其中Θ表示softmax归一化层，利用不透水面损失，能够优化跨传感器特征提取器使其学习得到地物分类语义特征。

步骤4.2，对抗损失函数设计，对抗损失函数用于度量目标域特征与源域特征的空间距离。其定义如下：

L_a＝-log(1-θ(d^t)) (6)

其中θ表示sigmoid层，对抗损失函数引导跨传感器特征提取器提取域不变特征，提升模型迁移性能。

步骤4.3，判别器损失函数设计，判别器损失用于优化判别器参数，相较于特征提取器用于混淆源域与目标域特征，判别器目的则是正确分辨数据的域来源。判别器损失定义如下：

L_d＝-log(1-θ(d^s))-log(θ(d^t)) (7)

通过L_d优化判别器参数w_D，增强其判别能力。

步骤4.4，传感器相关对抗优化训练，基于上述不同损失，迭代进行优化三类可学习性参数：(1)跨传感器特征提取器卷积参数：w；(2)源域归一化参数：β^s、γ^s(3)目标域归一化参数：β^t、γ^t；(4)判别器参数：w_D。基于对抗训练策略，具体优化过程如下：

其中，λ表示放缩尺度，(8)与(9)用于优化跨传感器特征提取器，(10)用于优化判别器。不断迭代优化(8)、(9)与(10)直至收敛。

步骤5，对于新的待预测星载遥感影像，将其进行归一化之后输入到步骤4中训练得到的跨传感器特征提取器中，利用收敛后的卷积层参数w与目标域归一化参数β^t、γ^t，得到网络输出的分类概率，取最大值获取分类标签结果，最终得到基于航天影像的某某市不透水层制图结果，如图3所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，其特征在于，包括以下步骤：

步骤1，获取跨传感器高分辨率遥感影像不透水面提取数据集，包括航空机载高分辨率遥感影像与航天星载高分辨率遥感影像，对输入数据进行归一化与数据增强；

步骤2，构建深度跨传感器迁移不透水面提取模型，包括跨传感器归一化层设计与跨传感器特征提取器设计，基于不同源影像输入，获取对应深层特征；

步骤2的具体实现包括如下子步骤，

步骤2.1，设计跨传感器归一化层，跨传感器归一化层拥有两套归一化参数，一套针对源域传感器参数：β^s与γ^s，一套针对目标域传感器参数：β^t与γ^t；在训练过程中，输入航空源域影像为：

航天目标域影像

M表示一个批次中影像的数量；首先分别计算源域与目标域影像均值与方差：

与

然后基于均值与方差对输入影像分别进行归一化：

其中，

为源域影像特征，

为目标域影像特征，M表示一个批次中影像的数量，μ^s与μ^t分别为源域与目标域特征均值，σ^s与σ^t分别为源域与目标域特征标准差，

与

分别为源域与目标域归一化后的特征；为了不破坏之前影像特征分布，分别对归一化后的特征进行平移与放缩：

其中，

与

分别为源域与目标域放缩平移后的特征，传感器相关参数β^s、γ^s与β^t、γ^t均为可学习性参数，利用反向传播自动更新；

步骤2.2，设计跨传感器特征提取器，包含深度残差神经网络与多尺度空洞金字塔池化层，深度残差神经网络采用ResNet34网络架构，其中包含16个跨传感器残差模块，每个残差模块包含两个卷积层、一个跨传感器归一化层、一个ReLU激活层与一个残差链接，其中最后3个残差模块中，卷积层的空洞率设置为2，使特征图在保持较高空间分辨率的同时拥有较大感受野；设计多尺度空洞金字塔模型放于深度残差神经网络输出位置，对高层语义与定位特征进行多尺度信息提取，具体包含并行的五个分支：1×1卷积核，3×3空洞率为6卷积核，3×3空洞率为12卷积核，3×3空洞率为18卷积核以及全局平均池化；跨传感器特征提取器为F，其包含卷积层参数为：w，源域归一化参数：β^s、γ^s，目标域归一化参数：β^t、γ^t；源域影像通过跨传感器特征提取器，获取提取器特征：f^s＝F(S；w,γ^s,β^s)；目标影像通过跨传感器特征提取器，获取提取器特征：f^t＝F(T；w,γ^t,β^t)；

步骤3，设计全卷积判别器，利用跨传感器特征提取器获取的深层特征，判别影像来源；

步骤4，设计传感器相关损失函数对抗优化训练，包括不透水面提取损失函数，对抗损失函数与判别器损失函数的设计，最终迭代对抗优化各类可学习参数；

步骤4的具体实现包括如下子步骤；

4.1，不透水面提取损失函数设计，不透水面损失函数为监督多分类损失，基于航空源域影像S与标签Y进行计算得到：

L_s＝-YlogΘ(f^s) (5)

其中Θ表示softmax归一化层，利用不透水面损失，能够优化跨传感器特征提取器使其学习得到地物分类语义特征；

4.2，对抗损失函数设计，对抗损失函数用于度量目标域特征与源域特征的空间距离，其定义如下：

L_a＝-log(1-θ(d^t)) (6)

其中θ表示sigmoid层，对抗损失函数引导跨传感器特征提取器提取域不变特征，提升模型迁移性能；

4.3，判别器损失函数设计，判别器损失用于优化判别器参数，相较于特征提取器用于混淆源域与目标域特征，判别器目的则是正确分辨数据的域来源，判别器损失定义如下：

L_d＝-log(1-θ(d^s))-log(θ(d^t)) (7)

通过L_d优化判别器参数w_D，增强其判别能力；

4.4，传感器相关对抗优化训练，基于上述不同损失，迭代进行优化三类可学习性参数：(1)跨传感器特征提取器卷积参数：w；(2)源域归一化参数：β^s、γ^s(3)目标域归一化参数：β^t、γ^t；(4)判别器参数：w_D；基于对抗训练策略，具体优化过程如下：

其中，λ表示放缩尺度，(8)与(9)用于优化跨传感器特征提取器，(10)用于优化判别器，不断迭代优化(8)、(9)与(10)直至收敛；

步骤5，基于训练收敛后的深度跨传感器迁移不透水面提取模型，对未标记星载影像进行预测，利用输出概率获取分类结果。

2.根据权利要求1所述的一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，其特征在于：步骤1的具体实现包括如下子步骤；

步骤1.1，利用航空机载传感器与航天星载传感器进行拍摄获取大量高空间分辨率影像；

步骤1.2，对所有影像进行几何校正、辐射校正，并裁剪成1024×1024大小的影像块；

步骤1.3，构建跨传感器不透水面提取数据集，采集航空影像中不透水面像素样本，将样本掩膜与对应区域影像制作成深度学习不透水面分类源域训练集，由于尚未标注航天星载传感器获得的影像，此影像即为待迁移目标域影像；

步骤1.4，源域与目标域影像同时进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

3.根据权利要求1所述的一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，其特征在于：步骤3中构建全卷积判别器与跨传感器特征提取器进行对抗训练，判别提取器处理后的特征来源于目标域或源域；全卷积判别器由5个卷积层组成，卷积核大小为4×4，步长为2；基于此，判别器能够进行为空间压缩表征，并且捕获大量空间上下文信息，特征图随着卷积，通道数量从64个增加到512个，更多的语义特征被抽象化，每个卷积后面接上Leakly-ReLU激活层，公式为：y＝max{αx，x}，α为负斜率；然后，接入1×1卷积输出二分类概率，判别来自于源域或者目标域，最后对特征图进行双线性内插上采样32倍恢复至原始影像分辨率；全卷积判别器为D，参数为w_D，源域提取器特征通过判别器，获取判别器特征：d^s＝D(f^s；w_D)，目标域提取器特征通过判别器，获取判别器特征：d^t＝D(f^t；w_D)。

4.根据权利要求1所述的一种基于跨传感器迁移的高分辨率遥感影像不透水面提取方法，其特征在于：对于新的待预测星载遥感影像，将其进行归一化之后输入到步骤4中训练得到的跨传感器特征提取器中，利用收敛后的卷积层参数w与目标域归一化参数β^t、γ^t，得到网络输出的分类概率，取最大值获取分类标签结果，得到不透水层制图结果。

Images