CN113408537B - 一种遥感影像域适应语义分割方法 - Google Patents

一种遥感影像域适应语义分割方法 Download PDF

Info

Publication number
CN113408537B
CN113408537B CN202110813073.2A CN202110813073A CN113408537B CN 113408537 B CN113408537 B CN 113408537B CN 202110813073 A CN202110813073 A CN 202110813073A CN 113408537 B CN113408537 B CN 113408537B
Authority
CN
China
Prior art keywords
remote sensing
domain
sensing image
data set
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110813073.2A
Other languages
English (en)
Other versions
CN113408537A (zh
Inventor
陈杰
刘方亮
赵杰
东野升效
朱晶茹
张轶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuoyuan Data Technology Co ltd
Central South University
Original Assignee
Shandong Zhuoyuan Data Technology Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuoyuan Data Technology Co ltd, Central South University filed Critical Shandong Zhuoyuan Data Technology Co ltd
Priority to CN202110813073.2A priority Critical patent/CN113408537B/zh
Publication of CN113408537A publication Critical patent/CN113408537A/zh
Application granted granted Critical
Publication of CN113408537B publication Critical patent/CN113408537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种遥感影像域适应语义分割方法，包括步骤1)分别确定源域数据集和目标域数据集，并对源域数据集进行语义标签处理得到对应的真实语义标签图；步骤2)在源域数据集上训练Deeplab‑v2语义分割模型；步骤3)利用Deeplab‑v2语义分割模型构建遥感影像域适应语义分割模型；步骤4)将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。本发明所述的遥感影像域适应语义分割方法能够提升跨域语义分割中的精度，解决了现有域适应方法在域适应过程中存在的负迁移、难迁移以及在域知识迁移时表现出不同程度差异的问题。

Description

一种遥感影像域适应语义分割方法
技术领域
本发明涉及遥感影像技术领域，具体涉及一种遥感影像域适应语义分割方法。
背景技术
遥感技术的发展使得高分辨率遥感图像(HRSI)越来越多。语义分割是HRSI分析的一项重要任务，其目的是为每个像素分配特定的语义类别，不同的语义类别具有不同的特征和属性(如颜色、强度和纹理)，相同的语义类别具有相似的特征和属性(如颜色、强度和纹理)。对HRSI进行语义分割在城市交通管理和规划、精准农业以及灾害预测等应用中具有重要的作用。近年来，深度卷积神经网络(DCNN)在特征表示方面表现出了突出的性能。因此，一些基于DCNN的语义分割方法，如FCN，SegNet，UNet，PSPNet和DeepLab，被广泛应用于高分辨率遥感影像逐像素分类中并取得了不错的进展。然而，由这些方法构建的深度语义分割模型均存在可移植性不足的问题，即将在一个特定的有标注的遥感数据集(源域)上训练的深度语义分割模型用于预测另一个具有较大分布差异的无标注的遥感数据集(目标域)时，模型的预测性能会显著下降。
为了解决上述源数据集和目标数据集之间的域分布差异的问题，域适应技术被提出。域适应是迁移学习的一个分支，它利用从已标记的源域数据中学习的知识在未标记的目标域上执行新的任务。近年来，域适应方法用于语义分割任务。Hoffman等人从全局和局部级别上在特征空间对齐源域和目标域。课程域适应方法学习图像的全局标签分布和标签超像素的局部标签分布，以最小化语义分割中的域差距。AdaptSegNet通过使用多级对抗网络来对齐源域和目标域的输出空间，从而提高语义分割的性能。Lua等人使用类别级对抗网络来增强局部语义一致性。上述域适应方法在像素级别对源域和目标域进行对齐；在图像到图像转换工作的驱动下，另一种域适应方法在像素和特征级别上对齐两个域。这种方法通常由两个独立的子网络组成：图像到图像转换子网和语义分割子网络，即在训练语义分割模型之前，使用图像翻译技术将源域影像映像到目标域影像，以减少域之间的差异。DCAN将源域图像在外观上转换为目标域，然后在特征级进行特征对齐。Li等人引入双向学习框架交替训练图像翻译和分割适应模型，以缩小域差距。
尽管上述域适应方法在跨域语义分割中取得了不错的性能，但是它们是针对自然图像数据集提出的。由于HRSI和自然图像在拍摄角度、空间复杂度、图像分辨率等各方面存在较大差异，所以直接使用这些方法对HRSI进行语义分割的效果并不理想。为了应对这一挑战，Benjdira等人提出一种基于生成对抗网络(GAN)的HRSI跨域语义分割算法。该算法首先使用GAN模型将源域图像转换成目标域图像。然后，将转换后的模型用于微调在源域训练的语义模型。然而，语义分割的性能受到图像转换质量的限制，一旦转换失败，语义分割的准确性也会降低。此外，图像到图像的转换只能使源域图像在图像风格(如颜色分布和纹理特征)上与目标域图像相似，难以缩小图像上下文信息和类别表示的差异。
上述现有的域适应方法在域适应过程中大多存在以下问题：1)上述现有的域适应方法在域适应过程中大多仅追求全局分布的一致性而忽略了局部联合分布的差异，从而造成了负迁移和难迁移的问题；2)现有的域适应语义分割方法在域适应过程中对一幅影像的内容相同对待，由于空间分辨率、外观分布、对象大小和场景上下文信息的影响，一幅图像中的不同区域和类别，在域知识迁移时会表现出不同程度的差异。因此，上述现有的域适应方法无法满足HRSI的跨域语义分割任务。
综上所述，急需一种遥感影像域适应语义分割方法以解决现有域适应方法在域适应过程中存在的负迁移、难迁移以及在域知识迁移时表现出不同程度差异的问题。
发明内容
本发明目的在于提供一种遥感影像域适应语义分割方法，具体技术方案如下：
一种遥感影像域适应语义分割方法，包括以下步骤：
步骤1)、分别确定源域数据集和目标域数据集，并对源域数据集进行语义标签处理得到对应的真实语义标签图；
步骤2)、在源域数据集上训练Deeplab-v2语义分割模型；
步骤3)、利用Deeplab-v2语义分割模型构建遥感影像域适应语义分割模型；
步骤4)、将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图；
在步骤3)中，所述遥感影像域适应语义分割模型包括语义分割模型S和组合判别器D，所述语义分割模型S包括依次连接的特征提取器F、类别注意力模块CCA和分类器C；所述组合判别器D包括并列设置的全局判别器DG和类别判别器DC，所述全局判别器DG和类别判别器DC的输入端均与特征提取器F连接，所述类别判别器DC的输出端与类别注意力模块CCA连接，所述全局判别器DG用于输出。
优选的，在步骤3)中，构建遥感影像域适应语义分割模型的步骤包括：
步骤3.1)、使用步骤2)Deeplab-v2语义分割模型中所包括的参数分别对特征提取器F和分类器C的参数进行初始化；
步骤3.2)、在源域数据集上训练语义分割模型S，更新语义分割模型S的网络参数；
步骤3.3)、基于目标域数据集更新特征提取器F的参数；
步骤3.4)、基于源域数据集和目标域数据集更新组合判别器D的网络参数；
步骤3.5)、重复步骤3.2)-3.4)，直至获得收敛的遥感影像域适应语义分割模型，并保存收敛的遥感影像域适应语义分割模型的参数。
优选的，所述步骤3.2)包括以下步骤：
步骤3.2.1)、将源域数据集中的遥感影像输入特征提取器F中，提取源域数据集中遥感影像的高层特征fs；
步骤3.2.2)、将高层特征fs输入类别判别器DC得到源域的类别域标签fcs；
步骤3.2.3)、将高层特征fs和类别域标签fcs同时输入类别注意力模块CCA中，得到源域遥感影像的拼接特征；
步骤3.2.4)、将步骤3.2.3)得到的拼接特征输入分类器C中进行逐像素分类，对分类结果进行上采样，得到与输入的源域影像尺寸相同的语义标签预测图；
步骤3.2.5)、将步骤3.2.4)得到的语义标签预测图与源域数据集中的真实语义标签图利用交叉熵损失函数计算误差，将该计算误差反向传播，更新语义分割模型S的网络参数；其中，所述交叉熵损失函数表达式(1)为：
在表达式(1)中，M表示样本数，y(k)表示第k个样本的真实语义标签值，表示第k个样本的预测标签值，Lseg表示损失值。
优选的，所述步骤3.3)包括以下步骤：
步骤3.3.1)、将目标域数据集中的遥感影像输入特征提取器F中，提取目标域数据集中遥感影像的高层特征ft；
步骤3.3.2)、将高层特征ft输入全局判别器DG得到全局域标签fgt，将高层特征ft输入类别判别器DC得到类别域标签fct；
步骤3.3.3)、将全局域标签fgt与源域标签0利用第一二元交叉熵损失函数表达式(3)计算全局对抗损失，将类别域标签fct与源域标签0利用第二二元交叉熵损失函数表达式(4)计算类别级对抗损失，将全局对抗损失和类别级对抗损失进行加权求和得到第一总体对抗损失，将该损失反向传播，更新特征提取器F的网络参数；其中，所述第一总体对抗损失函数表达式(2)为：
Ladv(XT)＝λadv_gLadv_g(XT)+λadv_cLadv_c(XT) (2)
在表达式(2)中，Ladv_g(XT)和Ladv_c(XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重，XT表示目标域的影像；
Ladv_g(XT)的表达式(3)为：
Ladv_g(XT)＝-Ex～PT(x)[log Dg(F(XT))] (3)
Ladv_c(XT)的表达式(4)为：
在表达式(3)和(4)中，PT(x)表示目标域数据集的数据分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PT(x)表示x～PT(x)的期望，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XT))表示目标域影像的全局判别器输出，DiC(F(XT))表示类别数为第i类时目标域影像的类别级判别器输出，N表示类别数。
优选的，所述步骤3.4)的具体过程如下：
将步骤3.2.1)中提取的高层特征fs和步骤3.3.1)中提取的高层特征ft分别输入组合判别器D，经组合判别器D输出全局域标签fgs、fgt以及类别域域标签fcs、fct，将输出的全局域标签fgs、fgt与源域标签0和目标域标签1利用第三二元交叉熵损失函数表达式(6)计算全局对抗损失Ladv_g(Xs,XT)，将输出的类别域域标签fcs、fct与源域标签0和目标域标签1利用第四二元交叉熵损失函数表达式(7)计算类别级对抗损失Ladv_c(Xs,XT)，并将全局对抗损失Ladv_g(Xs,XT)和类别级对抗损失Ladv_c(Xs,XT)进行加权求和得到第二总体对抗损失函数表达式(5)，将第二总体对抗损失反向传播，更新组合判别器D的网络参数；其中，所述第二总体对抗损失函数表达式(5)为：
Ladv(XS,YS,XT)＝λadv_gLadv_g(Xs,XT)+λadv_cLadv_c(Xs,XT) (5)
在表达式(5)中，Ladv(XS,YS,XT)表示第二总体对抗损失值，XS表示源域的影像，XT表示目标域的影像，Ladv_g(Xs,XT)和Ladv_c(Xs,XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重；
Ladv_g(Xs,XT)的表达式(6)为：
Ladv_g(XS,XT)＝-Ex～PS(x)[log Dg(F(XS))]-Ex～PT(x)[log(1-Dg(F(XT)))](6)
Ladv_c(Xs,XT)的表达式(7)为：
在表达式(6)和(7)中，PS(x)表示源域数据集的数据分布，PT(x)表示目标域数据集的数据分布，x～PS(x)表示源域数据集中的遥感影像服从PS(x)的分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PS(x)表示x～PS(x)的期望，Ex～PT(x)表示x～PT(x)的期望，F(XS)表示特征提取器F提取的源域特征，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XS))表示源域影像的全局判别器输出，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XS))表示源域影像的类别级判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，表示类别数为第i类时源域影像的类别级判别器输出，表示类别数为第i类时目标域影像的类别级判别器输出。
优选的，所述特征提取器F选用卷积特征提取器ResNet-101。
优选的，所述步骤3.5)获得收敛的遥感影像域适应语义分割模型的收敛差值为0.05-0.15。
优选的，所述步骤2)包括：
步骤2.1)、将源域数据集中的遥感影像输入到Deeplab-v2中，得到逐像素预测结果；
步骤2.2)、将步骤2.1)得到的预测结果与真实语义标签图利用交叉熵损失函数表达式(1)计算误差，并将该计算误差反向传播，更新Deeplab-v2参数；
步骤2.3)、重复步骤2.1)-2.2)，获得收敛的Deeplab-v2语义分割模型，并保存收敛的Deeplab-v2语义分割模型的参数。
优选的，在步骤2.3)中获得收敛的Deeplab-v2语义分割模型的收敛差值为0.05-0.15。
优选的，在步骤1)中还包括对目标域数据集中的影像和带有真实语义标签图的源域数据集中的影像按照分辨率的反比值裁剪得到相应的图像块。
为描述方便，本发明定义源域标签和目标域标签分别为源域标签0和目标域标签1。
应用本发明的技术方案，具有以下有益效果：
本发明所述的遥感影像域适应语义分割方法，包括由并列设置的全局判别器DG和类别判别器DC构建的组合判别器D，所述组合判别器D能够在追求全局分布的对齐的情况下促进局部联合分布的一致性，从而提高语义分割模型在目标域数据集上的识别性能。本发明还包括类别注意力模块CCA，所述类别注意力模块CCA能够根据组合判别器D的类别级确定性估计值自适应地加强对源域数据集的遥感影像中未对齐的类别和区域的注意，同时减少对影像中对齐类别和区域的注意，提高分类器C在目标数据集上的性能。本发明所述的遥感影像域适应语义分割方法能够提升跨域语义分割中的精度，解决了现有域适应方法在域适应过程中存在的负迁移、难迁移以及在域知识迁移时表现出不同程度差异的问题。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例1中一种遥感影像域适应语义分割方法的流程图；
图2是实施例1中遥感影像域适应语义分割模型网络结构图；
图3是实施例1中类别注意力模块CCA的网络结构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例1所选择的源域数据集和目标域数据集分别选自“国际摄影测量学会(ISPRS)”官网上下载的高分辨率遥感影像数据集Potsdam数据集和Vaihingen数据集。
参见图1，一种遥感影像域适应语义分割方法，包括以下步骤：
步骤1)、根据实际需要，分别确定源域数据集(具体为Potsdam数据集)和目标域数据集(具体为Vaihingen数据集)，并对源域数据集进行语义标签处理得到对应的真实语义标签图，目标域数据集不进行语义标签处理；在步骤1)中还包括对目标域数据集中的影像和带有真实语义标签图的源域数据集中的影像按照分辨率反比值为5:9裁剪得到相应的图像块，分别用于作为后续步骤使用的目标域数据集和源域数据集，其中，由目标域数据集中的影像裁剪得到512*512大小的图像块，由带有真实语义标签图的源域数据集中的影像裁剪得到960*960大小的图像块；
步骤2)、在源域数据集上训练Deeplab-v2语义分割模型；
步骤3)、利用Deeplab-v2语义分割模型构建遥感影像域适应语义分割模型；
步骤4)、将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
在步骤3)中，参见图2，所述遥感影像域适应语义分割模型包括语义分割模型S和组合判别器D，所述语义分割模型S包括依次连接的特征提取器F、类别注意力模块CCA和分类器C；所述组合判别器D包括并列设置的全局判别器DG和类别判别器DC，所述全局判别器DG和类别判别器DC的输入端均与特征提取器F连接，类别判别器DC的输出端与类别注意力模块CCA连接，所述全局判别器DG用于将特征提取器F输入的数据处理后输出全局域标签fgt和fgs，所述类别判别器DC用于将特征提取器F输入的数据处理后输出类别域标签fct和fcs。在图2中示出的共享参数具体为表2中特征提取器F的参数。
在步骤3)中，构建遥感影像域适应语义分割模型的步骤包括：
步骤3.1)、使用步骤2)Deeplab-v2语义分割模型中所包括的参数分别对特征提取器F和分类器C的参数进行初始化；
步骤3.2)、在源域数据集上训练语义分割模型S，更新语义分割模型S的网络参数；
步骤3.3)、基于目标域数据集更新特征提取器F的参数；
步骤3.4)、基于源域数据集和目标域数据集更新组合判别器D的网络参数；
步骤3.5)、重复步骤3.2)-3.4)，直至获得收敛的遥感影像域适应语义分割模型，并保存收敛的遥感影像域适应语义分割模型的参数，该参数如表2所示。
所述步骤3.2)包括以下步骤：
步骤3.2.1)、将源域数据集中的遥感影像输入特征提取器F中，提取源域数据集中遥感影像的高层特征fs；
步骤3.2.2)、将高层特征fs输入类别判别器DC得到源域的类别域标签fcs；
步骤3.2.3)、将高层特征fs和类别域标签fcs同时输入类别注意力模块CCA中，得到源域遥感影像的拼接特征；其中，参见图3，类别注意力模块CCA的具体作业过程如下，该模块首先对输入的高层特征fs分别进行两个卷积操作(卷积核大小为1×1)，分别得到特征图X′和特征图X″，将转置后的类别域标签fcs与特征图X′进行矩阵相乘，并利用softmax层得到类别亲和力注意力图，将该图转置后与特征图X″进行矩阵相乘，得到注意力特征图；最后将注意力特征图与输入的高层特征fs进行拼接，得到拼接特征；在拼接特征中每个像素值代表类别确定性特征图和高层特征fs的加权值，该拼接特征可以促使分类器C根据亲和力注意力图有选择地关注对齐和未对齐的区域和类别，从而提高分类器在目标域数据集上的分类性能；
步骤3.2.4)、将步骤3.2.3)得到的拼接特征输入分类器C中进行逐像素分类，对分类结果进行上采样，得到与输入的源域影像尺寸相同的语义标签预测图；
步骤3.2.5)、将步骤3.2.4)得到的语义标签预测图与源域数据集中的真实语义标签图利用交叉熵损失函数计算误差，将该计算误差反向传播，更新语义分割模型S的网络参数；其中，所述语义分割模型S的网络参数如表2所示；所述交叉熵损失函数表达式(1)为：
在表达式(1)中，M表示样本数，y(k)表示第k个样本的真实语义标签值，表示第k个样本的预测标签值，Lseg表示损失值。
所述步骤3.3)包括以下步骤：
步骤3.3.1)、将目标域数据集中的遥感影像输入特征提取器F中，提取目标域数据集中遥感影像的高层特征ft；
步骤3.3.2)、将高层特征ft输入全局判别器DG得到全局域标签fgt，将高层特征ft输入类别判别器DC得到类别域标签fct；
步骤3.3.3)、将全局域标签fgt与源域标签0利用第一二元交叉熵损失函数表达式(3)计算全局对抗损失，将类别域标签fct与源域标签0利用第二二元交叉熵损失函数表达式(4)计算类别级对抗损失，将全局对抗损失和类别级对抗损失进行加权求和得到第一总体对抗损失，将该损失反向传播，更新特征提取器F的网络参数；其中，所述特征提取器F的网络参数如表2所示；所述第一总体对抗损失函数表达式(2)为：
Ladv(XT)＝λadv_gLadv_g(XT)+λadv_cLadv_c(XT) (2)
在表达式(2)中，Ladv_g(XT)和Ladv_c(XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重，XT表示目标域的影像；
Ladv_g(XT)的表达式(3)为：
Ladv_g(XT)＝-Ex～PT(x)[log Dg(F(XT))] (3)
Ladv_c(XT)的表达式(4)为：
在表达式(3)和(4)中，PT(x)表示目标域数据集的数据分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PT(x)表示x～PT(x)的期望，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，表示类别数为第i类时目标域影像的类别级判别器输出。
所述步骤3.4)的具体过程如下：
将步骤3.2.1)中提取的高层特征fs和步骤3.3.1)中提取的高层特征ft分别输入组合判别器D，经组合判别器D输出全局域标签fgs、fgt以及类别域域标签fcs、fct，将输出的全局域标签fgs、fgt与源域标签0和目标域标签1利用第三二元交叉熵损失函数表达式(6)计算全局对抗损失Ladv_g(Xs,XT)，将输出的类别域域标签fct、fcs与源域标签0和目标域标签1利用第四二元交叉熵损失函数表达式(7)计算类别级对抗损失Ladv_c(Xs,XT)，并将全局对抗损失Ladv_g(Xs,XT)和类别级对抗损失Ladv_c(Xs,XT)进行加权求和得到第二总体对抗损失函数表达式(5)，将第二总体对抗损失反向传播，更新组合判别器D的网络参数；其中，所述组合判别器D的网络参数如表2所示，所述第二总体对抗损失函数表达式(5)为：
Ladv(XS,YS,XT)＝λadv_gLadv_g(Xs,XT)+λadv_cLadv_c(Xs,XT) (5)
在表达式(5)中，Ladv(XS,YS,XT)表示第二总体对抗损失值，XS表示源域的影像，XT表示目标域的影像，Ladv_g(Xs,XT)和Ladv_c(Xs,XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重；
Ladv_g(Xs,XT)的表达式(6)为：
Ladv_c(XS,XT)＝-Ex～PS(x)[log Dg(F(XS))]-Ex～PT(x)[log(1-Dg(F(XT)))]
(6)
Ladv_c(Xs,XT)的表达式(7)为：
在表达式(6)和(7)中，PS(x)表示源域数据集的数据分布，PT(x)表示目标域数据集的数据分布，x～PS(x)表示源域数据集中的遥感影像服从PS(x)的分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，表示x～PS(x)的期望，/>表示x～PT(x)的期望，F(XS)表示特征提取器F提取的源域特征，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XS))表示源域影像的全局判别器输出，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XS))表示源域影像的类别级判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，/>表示类别数为第i类时源域影像的类别级判别器输出，表示类别数为第i类时目标域影像的类别级判别器输出。
所述特征提取器F选用卷积特征提取器ResNet-101，使用空洞卷积提取源域数据集中遥感影像的高层特征fs和目标域数据集中遥感影像的高层特征ft。
在所述步骤3.5)中重复步骤3.2)-3.4)，直至损失值Lseg,Ladv(XT),Ladv(XS,YS,XT)降低至最小值(该最小值无限趋近于零)，且保持稳定震荡，获得收敛的遥感影像域适应语义分割模型的收敛差值为0.1。
所述步骤2)包括：
步骤2.1)、将源域数据集中的遥感影像输入到Deeplab-v2中，得到逐像素预测结果；
步骤2.2)、将步骤2.1)得到的预测结果与真实语义标签图利用交叉熵损失函数表达式(1)计算误差，并将该计算误差反向传播，更新Deeplab-v2参数，该参数如表3所示；
步骤2.3)、重复步骤2.1)-2.2)，直至损失值Lseg降低至最小值(该最小值无限趋近于零)，且保持稳定震荡，获得收敛的Deeplab-v2语义分割模型，并保存收敛的Deeplab-v2语义分割模型的参数，该参数如表3所示。
在步骤2.3)中获得收敛的Deeplab-v2语义分割模型的收敛差值为0.1。
对比例1：
与实施例1不同的是：省去步骤3)，将目标域数据集中的遥感影像输入到由步骤2)构建的Deeplab-v2语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例2：
与实施例1不同的是：省去类别判别器DC和类别注意力模块CCA。
对比例3：
与实施例1不同的是：省去类别注意力模块CCA。
对比例4：
采用MCD_DA域适应语义分割模型，将目标域数据集中的遥感影像输入到MCD_DA域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例5：
采用ADVENT域适应语义分割模型，将目标域数据集中的遥感影像输入到ADVENT域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例6：
采用Benjdira’s域适应语义分割模型，将目标域数据集中的遥感影像输入到Benjdira’s域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例7：
采用AdaptSegNet域适应语义分割模型，将目标域数据集中的遥感影像输入到AdaptSegNet域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例8：
采用CLAN域适应语义分割模型，将目标域数据集中的遥感影像输入到CLAN域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
将实施例1和对比例1-8由Potsdam数据集迁移到Vaihingen数据集上的域适应结果详见表1，表1数据具体采用表达式F1-score、OA、MA、mIoU计算得出，F1-score的表达式具体为：
在表达式(8)中，Precision＝nii/∑jnji，Recall＝nii/∑jnij；
在表达式(8)中，F1表示F1-score，Precision表示精确度，Recall表示召回率，nii表示类别数为第i类时被预测到类别数为第i类时的像素数，nij表示类别数为第i类时被预测到类别数为第j类时的像素数，nji表示类别数为第j类时被预测到类别数为第i类时的像素数，i表示类别数为第i类，j表示类别数为第j类。
OA表示整体精度，其表达式(9)具体为：OA＝∑inii/∑i∑jnij (9)
在表达式(9)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nij指类别数为第i类时被预测到类别数为第j类时的像素数。
MA表示平均精度，其表达式(10)具体为：MA＝(1/ncl)∑i(nii/∑jnji) (10)
在表达式(10)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nji指类别数为第j类时被预测到类别数为第i类时的像素数,ncl指数据集中类别的数目。
mIoU表示平均交并比，其表达式具体为：
mIoU＝(1/ncl)∑inii/(∑jnij+∑jnji-nii) (11)
在表达式(11)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nij指类别数为第i类时被预测到类别数为第j类时的像素数，nji指类别数为第j类时被预测到类别数为第i类时的像素数,ncl指数据集中类别的数目。
表1将实施例1和对比例1-8由Potsdam数据集迁移到Vaihingen数据集上的域适应结果
表2遥感影像域适应语义分割模型的参数
表3 Deeplab-v2的网络参数
由表1数据知，相比于对比例1-8，其中对比例4-8为现有域适应语义分割模型，本发明实施例1中在OA、MA和mIoU取得了最高的得分值，分别达到了73.62％、63.03％和45.91％，由此说明实施例1能够实现最优的跨域语义分割性能。此外，实施例1在不透水面、建筑物、低矮植被、汽车和杂波类别上的F1-score得分分别达到了80.30％、84.24％、65.59％、40.57％和28.85％，实现了最佳的精度，且表明了实施例1类别级对齐的有效性。
相比于对比例1，对比例2采用全局判别器DG构建的域适应语义分割模型在OA、MA和mIoU上分别提高了18.48％、6.22％和12.60％，这是因为使用全局判别器DG进行对抗学习可以对源域数据集和目标域数据集的特征空间进行对齐，在特征空间消除源域数据集和目标域数据集的分布差异，从而提升跨域语义分割中的精度。
相比于对比例2，对比例3采用组合判别器D构建的域适应语义分割模型在OA、MA和mIoU上分别提高了4.88％、5.74％和4.84％，且对比例3还解决了对比例2所导致的树木类别负迁移的问题，这是由于对比例2在全局特征对齐过程中忽略了局部类别语义的一致性造成的，而对比例3通过类别判别器DC从类别角度促进了局部语义的一致性。
相比于对比例3，实施例1构建的遥感影像域适应语义分割模型在OA、MA和mIoU上分别提高了1.41％、2.89％和2.56％，且可以大大提高对难以对齐的类别(如低矮植被、树木和杂波)的分割性能，这是因为类别注意力模块CCA可以通过表2中参数自学习的方式自适应地对未对齐的区域和类别施加更多的注意力，同时减少对已对齐的区域和类别的注意力，从而提升遥感影像域适应语义分割模型在难以对齐类别和区域上的分割性能，提升整体的分割精度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种遥感影像域适应语义分割方法，其特征在于，包括以下步骤：
步骤1)、分别确定源域数据集和目标域数据集，并对源域数据集进行语义标签处理得到对应的真实语义标签图；
步骤2)、在源域数据集上训练Deeplab-v2语义分割模型；
步骤3)、利用Deeplab-v2语义分割模型构建遥感影像域适应语义分割模型；
步骤4)、将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集遥感影像的语义分割预测图；
在步骤3)中，所述遥感影像域适应语义分割模型包括语义分割模型S和组合判别器D，所述语义分割模型S包括依次连接的特征提取器F、类别注意力模块CCA和分类器C；所述组合判别器D包括并列设置的全局判别器DG和类别判别器DC，所述全局判别器DG和类别判别器DC的输入端均与特征提取器F连接，所述类别判别器DC的输出端与类别注意力模块CCA连接，所述全局判别器DG用于输出；
在步骤3)中，构建遥感影像域适应语义分割模型的步骤包括：
步骤3.1)、使用步骤2)Deeplab-v2语义分割模型中所包括的参数分别对特征提取器F和分类器C的参数进行初始化；
步骤3.2)、在源域数据集上训练语义分割模型S，更新语义分割模型S的网络参数；
步骤3.3)、基于目标域数据集更新特征提取器F的参数；
步骤3.4)、基于源域数据集和目标域数据集更新组合判别器D的网络参数；
步骤3.5)、重复步骤3.2)-3.4)，直至获得收敛的遥感影像域适应语义分割模型，并保存收敛的遥感影像域适应语义分割模型的参数；
所述步骤3.2)包括以下步骤：
步骤3.2.1)、将源域数据集中的遥感影像输入特征提取器F中，提取源域数据集中遥感影像的高层特征fs；
步骤3.2.2)、将高层特征fs输入类别判别器DC得到源域的类别域标签fcs；
步骤3.2.3)、将高层特征fs和类别域标签fcs同时输入类别注意力模块CCA中，得到源域数据集遥感影像的拼接特征；其中，类别注意力模块CCA的具体作业过程如下，所述类别注意力模块CCA首先对输入的高层特征fs分别进行两个卷积操作，分别得到特征图X′和特征图X″，将转置后的类别域标签fcs与特征图X′进行矩阵相乘，并利用softmax层得到类别亲和力注意力图，将类别亲和力注意力图转置后与特征图X″进行矩阵相乘，得到注意力特征图；最后将注意力特征图与输入的高层特征fs进行拼接，得到拼接特征；在拼接特征中每个像素值代表注意力特征图和高层特征fs的加权值，所述拼接特征可以促使分类器C根据类别亲和力注意力图有选择地关注对齐和未对齐的区域和类别，从而提高分类器在目标域数据集上的分类性能；
步骤3.2.4)、将步骤3.2.3)得到的拼接特征输入分类器C中进行逐像素分类，对分类结果进行上采样，得到与输入的源域数据集遥感影像尺寸相同的语义标签预测图；
步骤3.2.5)、将步骤3.2.4)得到的语义标签预测图与源域数据集中的真实语义标签图利用交叉熵损失函数计算误差，将计算误差反向传播，更新语义分割模型S的网络参数；其中，所述交叉熵损失函数表达式(1)为：
在表达式(1)中，M表示样本数，y(k)表示第k个样本的真实语义标签值，表示第k个样本的预测标签值，Lseg表示损失值。
2.根据权利要求1所述的遥感影像域适应语义分割方法，其特征在于，所述步骤3.3)包括以下步骤：
步骤3.3.1)、将目标域数据集中的遥感影像输入特征提取器F中，提取目标域数据集中遥感影像的高层特征ft；
步骤3.3.2)、将高层特征ft输入全局判别器DG得到全局域标签fgt，将高层特征ft输入类别判别器DC得到类别域标签fct；
步骤3.3.3)、将全局域标签fgt与源域标签0利用第一二元交叉熵损失函数表达式(3)计算全局对抗损失，将类别域标签fct与源域标签0利用第二二元交叉熵损失函数表达式(4)计算类别级对抗损失，将全局对抗损失和类别级对抗损失进行加权求和得到第一总体对抗损失，将第一总体对抗损失反向传播，更新特征提取器F的参数；其中，所述第一总体对抗损失函数表达式(2)为：
Ladv(XT)＝λadv_gLadv_g(XT)+λadv_cLadv_c(XT) (2)
在表达式(2)中，Ladv_g(XT)和Ladv_c(XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重，XT表示目标域数据集的遥感影像；
Ladv_g(XT)的表达式(3)为：
Ladv_c(XT)的表达式(4)为：
在表达式(3)和(4)中，PT(x)表示目标域数据集的数据分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，表示x～PT(x)的期望，F(XT)表示特征提取器F提取的目标域数据集的遥感影像特征，Dg(F(XT))表示目标域数据集的遥感影像的全局判别器输出，/>表示类别数为第i类时目标域数据集的遥感影像的类别级判别器输出，N表示类别数。
3.根据权利要求2所述的遥感影像域适应语义分割方法，其特征在于，所述步骤3.4)的具体过程如下：
将步骤3.2.1)中提取的高层特征fs和步骤3.3.1)中提取的高层特征ft分别输入组合判别器D，经组合判别器D输出全局域标签fgs、fgt以及类别域域标签fcs、fct，将输出的全局域标签fgs、fgt与源域标签0和目标域标签1利用第三二元交叉熵损失函数表达式(6)计算全局对抗损失Ladv_g(XS,XT)，将输出的类别域域标签fcs、fct与源域标签0和目标域标签1利用第四二元交叉熵损失函数表达式(7)计算类别级对抗损失Ladv_c(XS,XT)，并将全局对抗损失Ladv_g(XS,XT)和类别级对抗损失Ladv_c(XS,XT)进行加权求和得到第二总体对抗损失函数表达式(5)，将第二总体对抗损失反向传播，更新组合判别器D的网络参数；其中，所述第二总体对抗损失函数表达式(5)为：
Ladv(XS,XT)＝λadv_gLadv_g(XS,XT)+λadv_cLadv_c(XS,XT) (5)
在表达式(5)中，Ladv(XS,XT)表示第二总体对抗损失值，XS表示源域数据集的遥感影像，XT表示目标域数据集的遥感影像，Ladv_g(XS,XT)和Ladv_c(XS,XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重；
Ladv_g(XS,XT)的表达式(6)为：
Ladv_c(XS,XT)的表达式(7)为：
在表达式(6)和(7)中，PS(x)表示源域数据集的数据分布，PT(x)表示目标域数据集的数据分布，x～PS(x)表示源域数据集中的遥感影像服从PS(x)的分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，表示x～PS(x)的期望，/>表示x～PT(x)的期望，F(XS)表示特征提取器F提取的源域数据集遥感影像的特征，F(XT)表示特征提取器F提取的目标域数据集遥感影像的特征，Dg(F(XS))表示源域数据集遥感影像的全局判别器输出，Dg(F(XT))表示目标域数据集的遥感影像的全局判别器输出，Dc(F(XS))表示源域数据集遥感影像的类别级判别器输出，Dc(F(XT))表示目标域数据集的遥感影像的类别级判别器输出，N表示类别数，/>表示类别数为第i类时源域数据集的遥感影像的类别级判别器输出，/>表示类别数为第i类时目标域数据集的遥感影像的类别级判别器输出。
4.根据权利要求3所述的遥感影像域适应语义分割方法，其特征在于，所述特征提取器F选用卷积特征提取器ResNet-101。
5.根据权利要求4所述的遥感影像域适应语义分割方法，其特征在于，所述步骤3.5)获得收敛的遥感影像域适应语义分割模型的收敛差值为0.05-0.15。
6.根据权利要求1-5任一项所述的遥感影像域适应语义分割方法，其特征在于，所述步骤2)包括：
步骤2.1)、将源域数据集中的遥感影像输入到Deeplab-v2中，得到逐像素预测结果；
步骤2.2)、将步骤2.1)得到的预测结果与真实语义标签图利用交叉熵损失函数表达式(1)计算误差，并将计算误差反向传播，更新Deeplab-v2参数；
步骤2.3)、重复步骤2.1)-2.2)，获得收敛的Deeplab-v2语义分割模型，并保存收敛的Deeplab-v2语义分割模型的参数。
7.根据权利要求6所述的遥感影像域适应语义分割方法，其特征在于，在步骤2.3)中获得收敛的Deeplab-v2语义分割模型的收敛差值为0.05-0.15。
8.根据权利要求7所述的遥感影像域适应语义分割方法，其特征在于，在步骤1)中还包括对目标域数据集中的遥感影像和带有真实语义标签图的源域数据集中的遥感影像按照分辨率的反比值裁剪得到相应的图像块。
CN202110813073.2A 2021-07-19 2021-07-19 一种遥感影像域适应语义分割方法 Active CN113408537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110813073.2A CN113408537B (zh) 2021-07-19 2021-07-19 一种遥感影像域适应语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110813073.2A CN113408537B (zh) 2021-07-19 2021-07-19 一种遥感影像域适应语义分割方法

Publications (2)

Publication Number Publication Date
CN113408537A CN113408537A (zh) 2021-09-17
CN113408537B true CN113408537B (zh) 2023-07-21

Family

ID=77686942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813073.2A Active CN113408537B (zh) 2021-07-19 2021-07-19 一种遥感影像域适应语义分割方法

Country Status (1)

Country Link
CN (1) CN113408537B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888547A (zh) * 2021-09-27 2022-01-04 太原理工大学 基于gan网络的无监督域自适应遥感道路语义分割方法
CN114022762B (zh) * 2021-10-26 2022-12-09 湖北智感空间信息技术有限责任公司 对农作物种植区域面积进行提取的无监督域自适应方法
CN113870258B (zh) * 2021-12-01 2022-03-25 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN114708434A (zh) * 2022-04-18 2022-07-05 浙江大学 基于迭代域内适应和自训练的跨域遥感图像语义分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111335B (zh) * 2019-05-08 2021-04-16 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN111860204A (zh) * 2020-06-29 2020-10-30 成都数之联科技有限公司 基于语义分割技术的多时相遥感影像变化检测方法和介质
CN112926585B (zh) * 2021-01-11 2023-07-28 深圳大学 一种基于再生核希尔伯特空间的跨域语义分割方法
CN112991354B (zh) * 2021-03-11 2024-02-13 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN112991353B (zh) * 2021-03-12 2022-10-18 北京航空航天大学 一种跨域遥感图像的无监督语义分割方法

Also Published As

Publication number Publication date
CN113408537A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113408537B (zh) 一种遥感影像域适应语义分割方法
Li et al. A closed-form solution to photorealistic image stylization
CN109754015B (zh) 用于画作多标签识别的神经网络及相关方法、介质和设备
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN109919209B (zh) 一种领域自适应深度学习方法及可读存储介质
CN112233124B (zh) 基于对抗式学习与多模态学习的点云语义分割方法及系统
CN109902798A (zh) 深度神经网络的训练方法和装置
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN111259906A (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
CN111582175A (zh) 一种共享多尺度对抗特征的高分遥感影像语义分割方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN110175646B (zh) 基于图像变换的多通道对抗样本检测方法及装置
CN110619059A (zh) 一种基于迁移学习的建筑物标定方法
CN113610146A (zh) 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN110782448A (zh) 渲染图像的评价方法及装置
CN112068555A (zh) 一种基于语义slam方法的语音控制型移动机器人
CN108960270A (zh) 一种基于流形迁移学习的数据标定方法及系统
CN114742224A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN107729821B (zh) 一种基于一维序列学习的视频概括方法
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN116777929A (zh) 一种黑夜场景图像语义分割方法、装置及计算机介质
Wang et al. A multi-scale attentive recurrent network for image dehazing
Hu et al. Data-free dense depth distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant