CN111898507B - 一种预测无标签遥感影像地表覆盖类别的深度学习方法 - Google Patents

一种预测无标签遥感影像地表覆盖类别的深度学习方法 Download PDF

Info

Publication number
CN111898507B
CN111898507B CN202010709351.5A CN202010709351A CN111898507B CN 111898507 B CN111898507 B CN 111898507B CN 202010709351 A CN202010709351 A CN 202010709351A CN 111898507 B CN111898507 B CN 111898507B
Authority
CN
China
Prior art keywords
image
domain image
source domain
target
surface coverage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010709351.5A
Other languages
English (en)
Other versions
CN111898507A (zh
Inventor
季顺平
王定盼
罗牧莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010709351.5A priority Critical patent/CN111898507B/zh
Publication of CN111898507A publication Critical patent/CN111898507A/zh
Application granted granted Critical
Publication of CN111898507B publication Critical patent/CN111898507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种预测无标签遥感影像地表覆盖类别的深度学习方法。充分发挥生成对抗网络在学习不同分布的数据域之间的映射方式中的优势，采用在像素级空间、特征级空间、输出级空间三个空间维度将源域数据分布映射到目标域数据分布的方式，用映射后的源域数据以及对应标签训练分割模型，再用该模型来预测目标域数据的地表覆盖类别，解决了以往预测方法中由于目标域数据没有标签导致预测类别不准等问题。本发明具有如下优点：鲁棒性强，可适应不同尺度的不同影像风格的无标签影像数据，不仅能够提供准确的地表覆盖分类结果，还能够将源域影像的风格转换为目标域影像的风格，可以应用于城市规划、地表覆盖变化检测、地图的制作及更新等领域。

Description

一种预测无标签遥感影像地表覆盖类别的深度学习方法
技术领域
本发明涉及一种基于生成对抗网络的无标签遥感影像地表覆盖自动分类方法，可自动完成任意无标签遥感影像的地表覆盖分类工作，有效提高遥感影像地表覆盖分类结果，减少人工干预，提高分类速度，辅助地图制作及更新，所生产的地表覆盖分类数据能够广泛应用于城市规划、地表覆盖变化检测、灾害应急等领域。
背景技术
地表覆盖分类图作为一种基础地理数据，在地表覆盖变化检测、灾害应急、城市规划、地图绘制及更新等方面承担着重要的作用。然而目前地表覆盖分类图的构建及更新仍依赖于人工操作，费时又费力。作为获取地球表面几何和物理信息的最重要的地球观测技术之一，遥感技术得到飞速发展，使得从高分辨率遥感影像中对地表覆盖图进行分类受到越来越多的关注。但是在实际应用生产中，从高分辨率影像中进行地表覆盖分类面临诸多困难。例如，受光照，大气层阻挡等的影响，高分辨率遥感影像中不同地物类型之间的外观差别不大，在光照条件较差的情况下获取的影像数据更是常常难以辨识，导致误判；除此之外，由于地表覆盖类型处于实时地动态变化中，每次更新地表覆盖分类图时都需要从零开始更新，工作量巨大且漏更新的区域较多。深度学习中的卷积神经网络在图像检索、图像分类、目标检测中展现出强大的性能。卷积神经网络通过从图像的低级语义信息中逐步提取高级语义信息，获得最终的结果，且对场景变化具有更好的鲁棒性。将深度学习技术与遥感影像结合，从遥感影像中自动化地表覆盖分类图通常的做法是利用有标签影像的图像语义分割方法。语义分割方法就是通过卷积神经网络对影像进行逐像素分类，进而遥感影像的地表覆盖图进行分类。但是传统语义分割方法需要同时利用影像及其对应的标签数据训练模型，由于通常情况下目标域的标签难以获得，人工重新标注费时费力费财，所以只能利用现有的带标签的影像数据训练语义分割网络，再利用该训练完毕的模型去预测目标域影像中的地表覆盖类别。但由于源域影像数据分布与目标域影像的数据分布之间存在巨大的差异，直接利用源域影像训练的语义分割模型预测目标域影像中的地表覆盖类别取得的效果往往很差。因此，缩小源域影像数据分布和目标域影像数据分布之间的差异，利用减小数据分布差异之后的源域影像训练语义分割模型从而提升预测目标域地表覆盖分类结果的准确度是遥感影像地表覆盖分类研究的趋势，一种预测无标签遥感影像地表覆盖类别的深度学习方法至关重要。
发明内容
本发明针对现有技术的不足，提供了一种基于生成对抗网络的无标签遥感影像地表覆盖自动分类框架，可自动完成任意影像风格的无标签遥感影像的地表覆盖分类工作，利用生成对抗网络分别在像素级空间、特征级空间、输出级空间三个空间维度将源域数据分布映射到目标域数据分布，缩小源域和目标域之间的数据分布差异，从而克服传统语义分割方法在跨域的地表覆盖分类任务中分类性能明显下降的缺点，得到接近于有标签情况下的地表覆盖分类任务的性能表现。此外，还能够生成将源域影像的风格转换成目标域影像风格之后的中间结果，该中间结果可用于提升其他的诸如跨域影像的建筑物位置检测等计算机视觉任务的性能。
实现本发明目的采用的技术方案是：一种预测无标签遥感影像地表覆盖类别的深度学习方法，包括如下步骤：
步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标注文件构建源域数据样本库；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库；
步骤2，构建全空间域自适应网络FSDAN(full space domain adaptationnetwork)，该网络包括stage I和stage II两个部分，stage I部分为图像风格迁移网络，stage II部分为图像分割网络；利用步骤1构建的源域和目标域数据样本库中的数据集对全空间域自适应网络FSDAN的stage I部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成该网络的中间结果—风格迁移之后的源域影像，这一阶段包括像素级空间的域自适应和特征级空间的域自适应；
步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stage II部分，然后对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。
进一步的，步骤1的具体实现包括如下子步骤：
步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其按地表覆盖范围进行裁剪，然后将其重采样为和源域影像具有相同的分辨率；
步骤1.2，标签数据制作：将源域影像的矢量标签数据栅格化，得到栅格的地表覆盖类别标签数据；
步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像以及标签数据裁剪为大小适宜的样本块。对于源域影像，若影像数据充足则直接按地表覆盖范围进行无重叠裁剪，若影像数据不充足则按地表覆盖范围进行50％有重叠裁剪；对于源域影像的标签，按照和对应源域影像相同的裁剪方式裁剪；对于目标域影像，以源域影像分辨率为基准进行影像重采样，然后按地表覆盖范围进行50％有重叠裁剪。
进一步的，步骤2中所述全空间域自适应网络FSDAN包括stage I和stage II两个部分，stage I部分为图像风格迁移网络，stage II部分为图像分割网络。其中图像风格迁移网络又包括像素级空间的域自适应和特征级空间的域自适应两部分，像素级空间的域自适应网络由两个生成器GS→T和{E,U}以及两个判别器DS和DT组成，其中目标域影像生成器GS→T的结构，由三个卷积层，9个残差块，2个反卷积层以及一个获取风格化源域影像的卷积输出层组成，源域影像生成器由一个共享的编码器E和一个解码器U构成，两个判别器DS和DT的组成结构相同，其中包含5组连续堆叠的卷积层，每组中卷积核大小为4×4，前3组步长为2，最后两组步长为1，且除最后一组外每组卷积层的最后都包含一个参数为0.2的leakyReLU激活函数；特征级空间的域自适应网络由一个共享的编码器E和一个特征提取器C以及一个判别器DF组成，其中特征提取器C由三个连续的上采样块组成，每个上采样块由一个2倍上采样层、2个3×3的卷积层、一个BN层和一个ReLU激活函数构成，最后再接一个无激活函数的卷积核为1×1的卷积层和softmax函数将特征转化为输出用于训练特征提取器提取特征，判别器DF的组成结构与前述判别器DS,DT结构相同；图像分割网络主要由空间域自适应分割网络MFO-FCN以及三个判别器DO组成，MFO-FCN网络是一个由前4层VGG-16结构的卷积块组成的编码器和相对应的解码器以及在编码器和解码器对应层之间的侧向连接组成，对于解码器中每个尺度卷积块的最后一个卷积层来说，其后面都要连接一个卷积核为1×1的将特征通道数量压缩一半的卷积层、一个卷积核为1×1的将特征通道数量压缩到地表覆盖类别数量的输出卷积层以及一个softmax激活函数，每个尺度卷积块都会输出一个与其尺度相等的预测输出，判别器的组成结构与前述判别器结构相同。
进一步的，步骤2的具体实现包括如下子步骤：
步骤2.1，像素级空间域自适应：首先将源域影像的风格通过目标域影像生成器GS→T映射到目标域影像的风格生成风格化的源域影像，通过目标域影像判别器DT利用对抗损失函数
Figure GDA0003470050820000051
来对抗学习源域影像数据分布到目标域影像数据分布的映射过程；再分别将风格化的源域影像以及目标域影像通过源域影像生成器{E,U}分别再映射为重构的源域影像和风格化后的目标域影像，通过源域影像判别器DS利用对抗损失函数
Figure GDA0003470050820000052
来对抗学习目标域影像数据分布到源域影像数据分布的映射过程；最后再将风格化后的源域影像通过源域影像生成器{E,U}生成重构的源域影像并通过一致性损失函数(Lcyc)进一步约束源域影像到目标域影像的映射；风格化后的目标域影像也通过相同的方式生成重构的目标影像并通过一致性损失函数(Lcyc)进一步约束目标域影像到源域影像的映射。
步骤2.2，特征级空间域自适应：将步骤2.1中生成的风格化的源域影像以及目标域影像通过一个特征提取器C分别提取出低维特征，该低维特征的空间分辨率大小与原始影像的空间分辨率大小一致，通道数则为地表覆盖的类别数；特征提取器的训练过程为：首先将提取的风格化源域影像的低维特征送入一个softmax激活函数中得到地表覆盖分类结果，再将该分类结果与对应的源域影像标签一起送入多分类交叉损失函数
Figure GDA0003470050820000053
中以训练特征提取器更好的提取低维特征；之后再利用对抗学习来对齐特征级空间的分布：将提取的风格化源域影像以及目标域影像的低维特征一起送入判别器DF中利用损失函数
Figure GDA0003470050820000054
来对抗学习，该判别器的作用是尽量区分出上述两个低维特征分别来自不同的域；而特征提取器C的作用则是使提取出的风格化源域影像以及目标域影像的低维特征分布尽量一致以混淆判别器的判别能力。利用上述特征提取器与判别器之间的对抗学习来不断地更新调整判别器DF与特征提取器C的权重参数，最终使特征提取器能够对齐风格化的源域影像和目标域影像在特征级空间的分布；
步骤2.3，迭代交叉训练：迭代交叉进行步骤2.1和步骤2.2直到迭代结束；
步骤2.4，生成中间结果：利用步骤2.3中训练的目标域影像生成器将所有的源域影像块的风格全都映射为目标域影像块的风格，并将生成的风格化后的源域影像作为全空间域自适应网络FSDAN的stage I部分生成的中间结果。
进一步的，步骤3中的具体实现包括如下子步骤：
步骤3.1，训练图像分割网络：利用步骤2中生成的风格迁移之后的源域影像送入到输出空间域自适应分割网络MAO-FCN中得到不同尺度的分割输出结果，再将不同尺度的风格化源域影像的输出结果和其对应尺度的标签一起送入多分类交叉损失函数
Figure GDA0003470050820000061
中，该损失函数会通过反向传播调整输出空间域自适应分割网络MAO-FCN的权重以学习提取风格化之后的源域影像的地表覆盖类别特征；
步骤3.2，输出空间域自适应：将目标影像输入到步骤3.1中训练完成的MAO-FCN中，得到相应的不同尺度的目标域影像地表覆盖分类输出图，一共有三种尺度，三种尺度相对于原始输入影像空间分辨率的下采样率分别是{1，2，4}；然后将每种尺度的目标域影像地表覆盖分类输出图和之前得到对应尺度的风格化源域影像输出一起送入各自的判别器DO中，每种尺度的地表覆盖分类输出图都有其对应的判别器DO，一共三个判别器DO；再利用对抗损失函数
Figure GDA0003470050820000062
来对抗学习以对齐源域和目标域影像在输出空间的数据分布；此外作用于输出空间的对抗损失函数包括三个不同尺度的子损失函数
Figure GDA0003470050820000063
分别用来处理对应尺度的目标域影像和风格化源域影像输出结果；
步骤3.3，迭代交叉训练：迭代交叉进行步骤3.1和步骤3.2直到迭代结束；
步骤3.4，结果生成：将步骤1.3中裁剪得到的所有目标影像块输入到步骤3.3中训练完毕的MAO-FCN网络中，得到所有目标影像块的预测分割结果，选取与输入影像空间分辨率大小比例为1：1的输出影像作为该目标影像块最终的预测分割结果，之后拼接所有目标影像块的预测结果得到完整的目标影像地表覆盖分类结果，再将栅格文件矢量化，得到最终的结果。
本发明具有如下优点：1)提出了一种新的预测无标签遥感影像地表覆盖类别的深度学习方法，可自动完成任意影像风格的无标签遥感影像的地表覆盖分类工作，克服了传统语义分割方法在跨域的地表覆盖分类任务中分类性能明显下降的缺点。2)能够产生与目标域风格更加接近的风格化源域影像，可用于提升其他的诸如跨域影像的建筑物位置检测等计算机视觉任务的性能。
附图说明
图1是本发明的基于生成对抗网络的全空间域自适应遥感影像地表覆盖分类网络FSDAN的框架图。
图2是本发明中FSDAN中stage II部分的输出空间域自适应遥感影像地表覆盖分类网络MAO-FCN的网络结构图。
具体实施方式
下面通过实施例和附图说明本发明的具体实施方式。
本发明实施例提供一种预测无标签遥感影像地表覆盖类别的深度学习方法，包括如下步骤：
步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标注文件构建源域数据样本库；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库；
步骤2，构建全空间域自适应网络FSDAN，该网络包括stage I和stage II两个部分，stage I部分为图像风格迁移网络，stage II部分为图像分割网络；利用步骤1构建的数据集对全空间域自适应网络FSDAN的stage I部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成该网络的中间结果—风格迁移之后的源域影像，这一阶段包括像素级空间的域自适应和特征级空间的域自适应；
步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stage II部分，用于训练多尺度输出空间域自适应分割网络MAO-FCN，然后对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。
进一步的，步骤1的具体实现包括如下子步骤：
步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其按地表覆盖范围进行裁剪，然后将其重采样为和源域影像具有相同的分辨率；
步骤1.2，标签数据制作：将源域影像的矢量标签数据栅格化，得到栅格的地表覆盖类别标签数据；
步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像以及标签数据裁剪为大小适宜的样本块。对于源域影像，若影像数据充足则直接按地表覆盖范围进行无重叠裁剪，若影像数据不充足则按地表覆盖范围进行50％有重叠裁剪；对于源域影像的标签，按照和对应源域影像相同的裁剪方式裁剪；对于目标域影像，以源域影像分辨率为基准进行影像重采样，然后按地表覆盖范围进行50％有重叠裁剪。
上述全空间域自适应网络FSDAN包括stage I和stage II两个部分，stage I部分为图像风格迁移网络，stage II为图像分割网络。其中图像风格迁移部分又包括像素级空间的域自适应和特征级空间的域自适应两部分，像素级空间的域自适应网络由两个生成器和两个判别器组成，其中目标域影像生成器的结构由三个卷积层，9个残差块，2个反卷积层以及一个获取风格化源域影像的卷积输出层组成，源域影像生成器由一个共享的编码器和一个解码器构成，两个判别器的组成结构相同，其中包含5组连续堆叠的卷积层，每组中卷积核大小为4×4，前3组步长为2，最后两组步长为1，且除最后一组外每组卷积层的最后都包含一个参数为0.2的leaky ReLU激活函数；特征级空间的域自适应网络由一个特征提取器和一个判别器组成，其中特征提取器由三个连续的上采样块组成，每个上采样块由一个2倍上采样层、2个3×3的卷积层、一个BN层和一个ReLU激活函数构成，最后再接一个无激活函数的卷积核为1×1的卷积层，判别器的组成结构与前述判别器结构相同；图像分割网络主要由MFO-FCN网络以及一个判别器组成，MFO-FCN网络是一个由前4层VGG-16结构的卷积块组成的编码器和相对应的解码器以及在编码器和解码器对应层之间的侧向连接组成，对于解码器中每个尺度卷积块的最后一个卷积层来说，其后面都要连接一个卷积核为1×1的将特征通道数量压缩一半的卷积层、一个卷积核为1×1的将特征通道数量压缩到地表覆盖类别数量的输出卷积层以及一个softmax激活函数，每个尺度卷积块都会输出一个与其尺度相等的预测输出，判别器的组成结构与前述判别器结构相同。
进一步的，步骤2的具体实现包括如下子步骤：
步骤2.1，像素级空间域自适应：首先将源域影像的风格通过目标域影像生成器映射到目标域影像的风格生成风格化的源域影像，通过目标域影像判别器来对抗学习源域影像数据分布到目标域影像数据分布的映射过程；再分别将风格化的源域影像以及目标域影像通过源域影像生成器分别再映射为重构的源域影像和风格化后的目标域影像，通过源域影像判别器来对抗学习目标域影像数据分布到源域影像数据分布的映射过程；最后再将风格化后的目标域影像通过目标域影像生成器生成重构的目标域影像并通过一致性损失函数进一步约束源域影像到目标域影像的映射。
步骤2.2，特征级空间域自适应：将步骤2.1中生成的风格化的源域影像以及目标域影像通过一个特征提取器分别提取出低维特征；利用对抗学习对齐风格化的源域影像和目标域影像在特征级空间的分布，并更新调整目标域影像判别器的权重参数；
步骤2.3，迭代交叉训练：迭代交叉进行步骤2.1和步骤2.2直到迭代结束；
步骤2.4，生成中间结果：利用步骤2.3中训练的目标域影像生成器将所有的源域影像块的风格全都映射为目标域影像块的风格，并将生成的风格化后的源域影像作为全空间域自适应网络FSDAN的stage I部分生成的中间结果。
进一步的，步骤3中的具体实现包括如下子步骤：
步骤3.1，训练分割网络：利用步骤2中生成的风格迁移之后的源域影像及其对应标签训练输出空间域自适应分割网络MAO-FCN，学习风格化之后的源域影像的地表覆盖类别特征；
步骤3.2，输出空间域自适应：将目标影像输入到步骤3.1中训练完成的MAO-FCN中，得到相应的地表覆盖分类图，然后利用对抗学习分别在不同尺度上对齐源域和目标域地表覆盖分类图，缩小源域和目标域影像在输出空间的数据分布差异；
步骤3.3，迭代交叉训练：迭代交叉进行步骤3.1和步骤3.2直到迭代结束；
步骤3.4，结果生成：将步骤1.3中裁剪得到的所有目标影像块输入到步骤3.3中训练完毕的MAO-FCN网络中，得到所有目标影像块的预测分割结果，之后拼接所有目标影像块的预测结果得到完整的目标影像地表覆盖分类结果，再将栅格文件矢量化，得到最终的结果。
本发明提供的一种预测无标签遥感影像地表覆盖类别的深度学习方法，根据图一可知总共分为两个阶段四个部分，分别是图像风格迁移阶段和图像分割阶段，其中图像风格迁移阶段又包括像素级空间域自适应和特征级空间域自适应，图像分割阶段又包括像素级别语义分割和输出空间域自适应。
首先根据已有的遥感影像以及对应的标注文件构建源域样本库和目标域样本库。首先对原始的源域遥感影像进行拼接，获得完整覆盖范围大的影像。然后对源域影像进行重采样及裁剪，得到分辨率合适的有效覆盖影像范围。对于矢量格式的源域影像标签数据将其栅格化并重采样至与源域影像具有相同的分辨率。对于目标域影像将其重采样至与源域影像具有相同的分辨率即可。最后根据实际计算机的性能，将源域和目标域的遥感影像以及对应的标签数据裁剪成大小适宜(如512×512像素)的样本子块，还可根据遥感影像样本数据的多少，设置影像是否有重叠裁剪以及重叠率(如50％有重叠裁剪)。
对于风格迁移阶段，流程参见图1中的stage I阶段。首先是像素级空间域自适(参见stage I阶段的图像空间域自适应模块)，将源域影像的风格通过目标域影像生成器映射到目标域影像的风格生成风格化的源域影像，通过目标域影像判别器来对抗学习源域影像数据分布到目标域影像数据分布的映射过程；再分别将风格化的源域影像以及目标域影像通过源域影像生成器分别再映射为重构的源域影像和风格化后的目标域影像，通过源域影像判别器来对抗学习目标域影像数据分布到源域影像数据分布的映射过程；最后再将风格化后的目标域影像通过目标域影像生成器生成重构的目标域影像并通过一致性损失函数进一步约束源域影像到目标域影像的映射。再是特征级空间域自适应(参见stage I阶段的特征空间域自适应模块),将之前生成的风格化的源域影像以及目标域影像通过一个特征提取器分别提取出低维特征；利用对抗学习对齐风格化的源域影像和目标域影像在特征级空间的分布，并更新调整目标域影像判别器的权重参数。再迭代交叉训练像素级空间域自适模块和特征级空间域自适模块直到迭代结束。最后利用训练完毕的目标域影像生成器将所有的源域影像块的风格全都映射为目标域影像块的风格，并将生成的风格化后的源域影像作为全空间域自适应网络FSDAN的stage I部分生成的中间结果。
对于图像分割阶段，流程参见图1中的stage II阶段和流程图2。首先是像素级别语义分割(参见图1中的stage II阶段),利用之前风格迁移阶段生成的风格化的源域影像及其对应标签训练输出空间域自适应分割网络MAO-FCN，学习风格化之后的源域影像的地表覆盖类别特征。再是输出空间域自适应(参见stage II阶段的输出空间域自适应模块和流程图2)，将目标影像输入到之前像素级别语义分割部分训练完成的MAO-FCN网络中，得到相应的地表覆盖分类图，然后利用对抗学习分别在不同尺度上对齐源域和目标域地表覆盖分类图，缩小源域和目标域影像在输出空间的数据分布差异。迭代交叉进行像素级别语义分割和特征级空间域自适模块直到迭代结束。将之前裁剪得到的所有目标影像块输入到训练完毕的MAO-FCN网络中，得到所有目标影像块的预测分割结果，之后拼接所有目标影像块的预测结果得到完整的目标影像地表覆盖分类结果，再将栅格文件矢量化，得到最终的结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于，包括如下步骤：
步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标签数据构建源域数据样本库，并将源域影像和对应的标签数据裁剪成一定大小的块；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库，并将目标域影像裁剪成一定大小的目标影像块；
步骤2，构建全空间域自适应网络FSDAN（full space domain adaptation network），该网络包括stage I和stage II两个部分，stage I部分为图像风格迁移网络， stage II部分为图像分割网络；
利用步骤1构建的源域和目标域数据样本库中的数据集对全空间域自适应网络FSDAN的stage I部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成全空间域自适应网络的中间结果—风格迁移之后的源域影像；
步骤2中所述图像风格迁移网络又包括像素级空间的域自适应和特征级空间的域自适应两部分，像素级空间的域自适应网络由两个生成器G S→T 和{E, U}以及两个判别器D S 和D T 组成，其中目标域影像生成器G S→T 的结构，由三个卷积层，9个残差块，2个反卷积层以及一个获取风格化源域影像的卷积输出层组成，源域影像生成器{E, U}由一个共享的编码器E和一个解码器U构成，两个判别器D S 和D T 的组成结构相同，其中包含5组连续堆叠的卷积层，每组中卷积核大小为4×4，前3组步长为2，最后两组步长为1，且除最后一组外每组卷积层的最后都包含一个参数为0.2的leaky ReLU激活函数；特征级空间的域自适应网络由一个共享的编码器E和一个特征提取器C以及一个判别器D F 组成，其中特征提取器C由三个连续的上采样块组成，每个上采样块由一个2倍上采样层、2个3×3的卷积层、一个BN层和一个ReLU激活函数构成，最后再接一个1*1的卷积层得到低维特征，之后再利用softmax函数将低维特征转化为特征提取器的输出，判别器D F 的组成结构与前述判别器D S , D T 结构相同；
步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stage II部分，对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。
2.如权利要求1所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤1的具体实现包括如下子步骤，
步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其按地表覆盖范围进行裁剪，然后将其重采样为和源域影像具有相同的分辨率；
步骤1.2，标签数据制作：将源域影像的矢量标签数据栅格化，得到栅格的地表覆盖类别标签数据；
步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像以及标签数据裁剪为大小适宜的块；对于源域影像，若影像数据充足则直接按地表覆盖范围进行无重叠裁剪，若影像数据不充足则按地表覆盖范围进行P%有重叠裁剪；对于源域影像的标签，按照和对应源域影像相同的裁剪方式裁剪；对于目标域影像，以源域影像分辨率为基准进行影像重采样，然后按地表覆盖范围进行P%有重叠裁剪。
3.如权利要求1所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤2中所述图像分割网络由空间域自适应分割网络MFO-FCN以及三个判别器D O 组成，MFO-FCN网络是一个由前4层VGG-16结构的卷积块组成的编码器和相对应的解码器以及在编码器和解码器对应层之间的侧向连接组成，对于解码器中每个尺度卷积块的最后一个卷积层来说，其后面都连接一个卷积核为1×1的将特征通道数量压缩一半的卷积层、一个卷积核为1×1的将特征通道数量压缩到地表覆盖类别数量的输出卷积层以及一个softmax激活函数，每个尺度卷积块都会输出一个与其尺度相等的预测输出，判别器D O 的组成结构与前述判别器结构D S , D T 相同。
4.如权利要求1所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤2的具体实现包括如下子步骤，
步骤2.1，像素级空间域自适应：首先将源域影像的风格通过目标域影像生成器G S→T 映射到目标域影像的风格生成风格化的源域影像，通过目标域影像判别器D T 利用对抗损失函数来对抗学习源域影像数据分布到目标域影像数据分布的映射过程；再分别将风格化的源域影像以及目标域影像通过源域影像生成器{E, U}分别再映射为重构的源域影像和风格化后的目标域影像，通过源域影像判别器D S 利用对抗损失函数来对抗学习目标域影像数据分布到源域影像数据分布的映射过程；最后再将风格化后的源域影像通过源域影像生成器{E, U}生成重构的源域影像并通过一致性损失函数进一步约束源域影像到目标域影像的映射；风格化后的目标域影像也通过相同的方式生成重构的目标影像并通过一致性损失函数进一步约束目标域影像到源域影像的映射；
步骤2.2，特征级空间域自适应：将步骤2.1中生成的风格化的源域影像以及目标域影像通过一个特征提取器C分别提取出低维特征，该低维特征的空间分辨率大小与原始影像的空间分辨率大小一致，通道数则为地表覆盖的类别数；特征提取器的训练过程为：首先将提取的风格化源域影像的低维特征送入一个softmax激活函数中得到地表覆盖分类结果，再将该分类结果与对应的源域影像标签一起送入多分类交叉损失函数中以训练特征提取器更好的提取低维特征；之后再利用对抗学习来对齐特征级空间的分布：将提取的风格化源域影像以及目标域影像的低维特征一起送入判别器D F 中利用损失函数来对抗学习，该判别器的作用是尽量区分出上述两个低维特征分别来自不同的域；而特征提取器C的作用则是使提取出的风格化源域影像以及目标域影像的低维特征分布尽量一致以混淆判别器的判别能力；利用上述特征提取器与判别器之间的对抗学习来不断地更新调整判别器D F 与特征提取器C的权重参数，最终使特征提取器能够对齐风格化的源域影像和目标域影像在特征级空间的分布；
步骤2.3，迭代交叉训练：迭代交叉进行步骤2.1和步骤2.2直到迭代结束；
步骤2.4，生成中间结果：利用步骤2.3中训练的目标域影像生成器将所有的源域影像块的风格全都映射为目标域影像块的风格，并将生成的风格化后的源域影像作为全空间域自适应网络FSDAN的stage I部分生成的中间结果。
5.如权利要求3所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤3中的具体实现包括如下子步骤，
步骤3.1，训练图像分割网络：利用步骤2中生成的风格迁移之后的源域影像送入到输出空间域自适应分割网络MAO-FCN中得到不同尺度的分割输出结果，再将不同尺度的风格化源域影像的输出结果和其对应尺度的标签一起送入多分类交叉损失函数中，该损失函数会通过反向传播调整输出空间域自适应分割网络MAO-FCN的权重以学习提取风格化之后的源域影像的地表覆盖类别特征；
步骤3.2，输出空间域自适应：将目标影像输入到步骤3.1中训练完成的MAO-FCN中，得到相应的不同尺度的目标域影像地表覆盖分类输出图，一共有三种尺度，三种尺度相对于原始输入影像空间分辨率的下采样率分别是{1，2，4}；然后将每种尺度的目标域影像地表覆盖分类输出图和之前得到对应尺度的风格化源域影像输出一起送入各自的判别器D O 中，每种尺度的地表覆盖分类输出图都有其对应的判别器D O ，一共三个判别器D O ；再利用对抗损失函数来对抗学习以对齐源域和目标域影像在输出空间的数据分布；
步骤3.3，迭代交叉训练：迭代交叉进行步骤3.1和步骤3.2直到迭代结束；
步骤3.4，结果生成：将所有目标影像块输入到步骤3.3中训练完毕的MAO-FCN网络中，得到所有目标影像块的预测分割结果，选取与输入影像空间分辨率大小比例为1：1的输出影像作为该目标影像块最终的预测分割结果，之后拼接所有目标影像块的预测结果得到完整的目标影像地表覆盖分类结果，再将栅格文件矢量化，得到最终的结果。
CN202010709351.5A 2020-07-22 2020-07-22 一种预测无标签遥感影像地表覆盖类别的深度学习方法 Active CN111898507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010709351.5A CN111898507B (zh) 2020-07-22 2020-07-22 一种预测无标签遥感影像地表覆盖类别的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010709351.5A CN111898507B (zh) 2020-07-22 2020-07-22 一种预测无标签遥感影像地表覆盖类别的深度学习方法

Publications (2)

Publication Number Publication Date
CN111898507A CN111898507A (zh) 2020-11-06
CN111898507B true CN111898507B (zh) 2022-06-03

Family

ID=73190348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709351.5A Active CN111898507B (zh) 2020-07-22 2020-07-22 一种预测无标签遥感影像地表覆盖类别的深度学习方法

Country Status (1)

Country Link
CN (1) CN111898507B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN112633071B (zh) * 2020-11-30 2022-09-16 之江实验室 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN112633354B (zh) * 2020-12-18 2024-03-01 广东省大湾区集成电路与系统应用研究院 路面裂缝检测方法、装置、计算机设备和存储介质
CN112633123A (zh) * 2020-12-18 2021-04-09 国网浙江省电力有限公司电力科学研究院 一种基于深度学习的异源遥感影像变化检测方法及装置
CN112733756B (zh) * 2021-01-15 2023-01-20 成都大学 一种基于w散度对抗网络的遥感图像语义分割方法
CN112991353B (zh) * 2021-03-12 2022-10-18 北京航空航天大学 一种跨域遥感图像的无监督语义分割方法
CN113096137B (zh) * 2021-04-08 2022-04-12 济南大学 一种oct视网膜图像领域适应分割方法及系统
CN113343775B (zh) * 2021-05-13 2022-08-05 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN114758251A (zh) * 2022-06-15 2022-07-15 青岛阅海信息服务有限公司 基于内容与风格编码的遥感影像无监督道路提取方法
CN116704363B (zh) * 2023-05-22 2024-01-26 中国地质大学（武汉） 一种基于深度学习模型的土地覆盖分类方法及装置
CN117253155B (zh) * 2023-11-17 2024-03-15 山东大学 一种基于深度学习的人类活动检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919206A (zh) * 2019-02-25 2019-06-21 武汉大学 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法
CN110009028A (zh) * 2019-03-28 2019-07-12 北京科技大学 一种显微图像数据增强方法及装置
CN111275713A (zh) * 2020-02-03 2020-06-12 武汉大学 一种基于对抗自集成网络的跨域语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858502B2 (en) * 2014-03-31 2018-01-02 Los Alamos National Security, Llc Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification
CN111027576B (zh) * 2019-12-26 2020-10-30 郑州轻工业大学 基于协同显著性生成式对抗网络的协同显著性检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919206A (zh) * 2019-02-25 2019-06-21 武汉大学 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法
CN110009028A (zh) * 2019-03-28 2019-07-12 北京科技大学 一种显微图像数据增强方法及装置
CN111275713A (zh) * 2020-02-03 2020-06-12 武汉大学 一种基于对抗自集成网络的跨域语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks;Jun-Yan Zhu etal.;《 2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;全文 *
基于感知对抗网络的图像风格迁移方法研究;李君艺等;《合肥业大学学报（自然科学版）》;20200531;第43卷(第5期);全文 *

Also Published As

Publication number Publication date
CN111898507A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111898507B (zh) 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
Wang et al. Land cover change detection at subpixel resolution with a Hopfield neural network
Hormese et al. Automated road extraction from high resolution satellite images
CN111461039B (zh) 基于多尺度特征融合的地标识别方法
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
CN113449640B (zh) 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN111563408B (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
CN111581313B (zh) 一种基于实例分割的语义slam鲁棒性改进方法
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
Tian et al. Semantic segmentation of remote sensing image based on GAN and FCN network model
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN114114457B (zh) 基于多模态测井数据的裂缝表征方法、装置及设备
Jiao et al. A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps
Zhao et al. Efficient building extraction for high spatial resolution images based on dual attention network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant