CN113837191A - 基于双向无监督域适应融合的跨星遥感图像语义分割方法 - Google Patents

基于双向无监督域适应融合的跨星遥感图像语义分割方法 Download PDF

Info

Publication number
CN113837191A
CN113837191A CN202111017498.9A CN202111017498A CN113837191A CN 113837191 A CN113837191 A CN 113837191A CN 202111017498 A CN202111017498 A CN 202111017498A CN 113837191 A CN113837191 A CN 113837191A
Authority
CN
China
Prior art keywords
image
domain
source
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111017498.9A
Other languages
English (en)
Other versions
CN113837191B (zh
Inventor
尹建伟
蔡钰祥
杨莹春
邓水光
李莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111017498.9A priority Critical patent/CN113837191B/zh
Priority to US17/911,551 priority patent/US20240212162A1/en
Priority to PCT/CN2021/119171 priority patent/WO2023029111A1/zh
Publication of CN113837191A publication Critical patent/CN113837191A/zh
Application granted granted Critical
Publication of CN113837191B publication Critical patent/CN113837191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，包括源域‑目标域图像双向转换模型训练、图像转换模型双向转换器参数选择、源域‑目标域图像双向转换、源域和拟目标域语义分割模型训练、源域和目标域类别分割概率生成以及融合。本发明利用源‑目标和目标‑源双向域适应，将源域和目标域上类别分割进行概率融合，提高了跨星遥感图像语义分割模型的准确率和鲁棒性，进一步通过双向语义一致损失和转换器参数选择，从而避免了图像双向转换模型中转换器效果不稳定所带来的影响。

Description

基于双向无监督域适应融合的跨星遥感图像语义分割方法
技术领域
本发明属于遥感图像语义分割技术领域，具体涉及一种基于双向无监督域适应融合的跨星遥感图像语义分割方法。
背景技术
随着国产卫星不断的发射和系列类型的完善，收集海量的遥感卫星图像数据成为可能。例如，高分卫星可以在全球范围内捕获大量高空间分辨率的图像，如此大量的数据提供了许多应用机会，同时也提出了许多挑战；在这些挑战中，卫星图像的语义分割或密集标记已经成为最引人关注和长期存在的问题之一，因为它是一个广泛应用于城市监测、城市管理、农业、自动制图和导航等领域的关键技术。
在过去的几年里，卷积神经网络已经成为语义分割中最常用的工具，一些基于CNN的架构已经在这个任务中显示了它们的有效性，例如FCN、SegNet、U-Net、PSPNets和Deeplab。当训练和测试数据来自相同的数据分布时或相同的域时，它们都表现得很好，然而当我们尝试将该模型应用于不同卫星获取的图像并进行语义分割时，由于不同卫星图像之间的数据分布不同(域偏移)，模型性能急剧下降，其结果无法让人满意。在一些文献中，这个问题被称为域适应。在遥感领域，域偏移通常是由不同的大气条件、采集差异(这些差异将会改变物体的光谱特征)、内部类的可变性、传感器的光谱特征的差异或与不同类型的光谱波段(比如一些图片可能时红色，绿色和蓝色波段，而其他可能时近红外，红色和绿色波段)引起的。
在一个典型的域适应问题中，训练图像和测试图像通常被指定为源域和目标域，处理域适应的一个普通解决方案是在目标域上创建一个新的语义标记数据集，并在其上训练模型。由于目标城市收集大量像素标记的图像将是耗时和昂贵的，这种解决方案非常昂贵且不切实际。为了减少人工按像素分类的工作量，已经有了一些解决方案，比如从3D渲染图像或弱监督标记中合成数据。然而，这些方法仍然有局限性，因为它们也需要耗费大量的人工劳动。为了提高CNN的泛化能力，另一种常用的方法是随机变化颜色进行数据扩充，例如，伽马校正和图像亮度转换，在遥感中得到了广泛的应用。尽管如此，当数据分布之间存在显著差异时，当涉及到将模型从一个域调整到另一个域时，这些增强方法是非常有限的。例如，使用这种简单的增强方法，不可能将一个包含红、绿、蓝波段的域的模型应用到另一个包含近红外、红、绿通道的域。为了克服这一限制，生成对抗网络(GenerativeAdversarial Network，GAN)被用来生成与目标域图像的数据分布相似的拟目标域图像，这些生成的拟目标域图像可以用来训练目标域上分类器。但是由于生成对抗网络结果不稳定，模型容易出现模式崩塌，即使GAN训练的轮数更多，模型效果也不一定更好。同时，GAN在图像转换中图像的语义信息保持可能会发生改变，导致转换后的图像和标签无法对应，而生成图像的质量以及其与标签的对应程度都会影响目标域语义分割模型微调后的效果。一个理想的生成器，不仅要生成高质量的图像，还要保证转换过程不能改变图像原有的语义信息，因此如何选择一个效果良好的图像转换器以及如何保持转换前后图像语义的一致性，这是跨域遥感图像语义分割面临的重要问题。而根据目标域和源域上训练出的2个分类器可得出2个分割结果，实验中发现，这2个分割结果之间并不是简单的包含关系，如何通过源域和目标域分割结果的融合来进一步提升分割效果也是一个重要的问题。
发明内容
鉴于上述，本发明提供了一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，能够将一颗卫星图像上训练的语义分割模型迁移到其他高分卫星图像上，从而提高跨星遥感图像语义分割模型的性能和鲁棒性。
一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，包括如下步骤：
(1)利用源域图像xs和源域标签ys训练出源域语义分割模型FS；
(2)利用源域图像xs以及目标域图像xt训练源-目标域图像双向转换器，其包含源→目标方向的图像转换器和目标→源方向的图像转换器；
(3)对于上述训练过程中生成的所有图像转换器的中间结果，从中选择一组最优的结果作为源→目标方向的图像转换器GS→T和目标→源方向的图像转换器GT→S；
(4)利用图像转换器GS→T将源域图像xs从源域转换到目标域，得到拟目标域图像GS→T(xs)；
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT；
(6)利用图像转换器GT→S将目标域图像xt从目标域转换到源域，得到拟源域图像GT→S(xt)；
(7)将拟源域图像GT→S(xt)输入至源域语义分割模型FS中，得到目标域图像xt的源域类别分割概率PS；
(8)将目标域图像xt输入至拟目标域语义分割模型FT中，得到目标域图像xt的目标域类别分割概率PT；
(9)融合源域类别分割概率PS和目标域类别分割概率PT，得到目标域图像xt最终的类别分割概率P及分割结果map。
进一步地，所述步骤(2)在对源-目标域图像双向转换器进行训练过程中采用了语义一致损失函数
Figure BDA0003236920120000035
，其表达式如下：
Figure BDA0003236920120000031
其中：
Figure BDA0003236920120000032
表示数学期望函数，FS(xs)为xs输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果，FT(xt)为xt输入至模型FT中得到的输出结果，FS(GT→S(xt))为GT→S(xt)输入至模型FS中得到的输出结果，
Figure BDA0003236920120000033
为FS(xs)与FT(GS→T(xs))之间的相似度，
Figure BDA0003236920120000034
为FT(xt)与FS(GT→S(xt))之间的相似度。
进一步地，所述步骤(3)的具体实现方式如下：
3.1首先设定训练过程总的迭代(iteration)次数为M，每隔Ni轮保存一次当前模型参数，对应得到
Figure BDA0003236920120000041
个图像转换器
Figure BDA0003236920120000042
即表示第i次迭代所保存的源→目标方向的图像转换器；同样每隔Nj轮保存一次当前模型参数，对应得到
Figure BDA0003236920120000043
个图像转换器
Figure BDA0003236920120000044
Figure BDA0003236920120000045
即表示为第j次迭代所保存的目标→源方向的图像转换器，i和j均为自然数且
Figure BDA0003236920120000046
Ni和Nj为自设定的正整数；
3.2将源域图像xs分别输入至图像转换器
Figure BDA0003236920120000047
和
Figure BDA0003236920120000048
中，得到对应的输出结果
Figure BDA0003236920120000049
和
Figure BDA00032369201200000410
注：GT→S为目标→源方向的图像转换器，可以生成拟源域分布的图像，通常用来把目标域图像xt转换为拟源域图像GT→S(xt)，此处用来将源域图像xs转换为拟源域图像GT→S(xs)，在自损失函数(详见具体实施方式)的作用下，GT→S训练的越好，拟源域图像GT→S(xs)与xs之间的差别越小，语义改变情况也更少，GS→T(xt)同理；
3.3将
Figure BDA00032369201200000411
和
Figure BDA00032369201200000412
输入至模型FS中得到对应的输出结果
Figure BDA00032369201200000413
和
Figure BDA00032369201200000414
3.4根据
Figure BDA00032369201200000415
和
Figure BDA00032369201200000416
计算图像转换器
Figure BDA00032369201200000417
和
Figure BDA00032369201200000418
对应的得分iteration-score(i)和iteration-score(j)；
3.5取对应得分iteration-score(i)最高的一组图像转换器
Figure BDA00032369201200000419
作为GS→T，取对应得分iteration-score(j)最高的一组图像转换器
Figure BDA00032369201200000420
作为GT→S。
进一步地，所述步骤3.4中通过以下公式计算图像转换器
Figure BDA00032369201200000421
和
Figure BDA00032369201200000422
对应的得分iteration-score(i)和iteration-score(j)；
Figure BDA00032369201200000423
Figure BDA00032369201200000424
其中：ys为源域标签。
进一步地，所述步骤(9)中通过以下公式对源域类别分割概率PS和目标域类别分割概率PT进行融合，得到目标域图像xt最终的类别分割概率P及分割结果map；
Figure BDA0003236920120000051
map＝σ(P)
其中：λS和λT分别为源域类别分割概率和目标域类别分割概率的权重，σ()为类别分割概率到分割结果的映射函数。
进一步地，所述权重λS和λT的计算表达式如下：
Figure BDA0003236920120000052
Figure BDA0003236920120000053
其中：GT→S(xs)为xs输入至图像转换器GT→S转换得到的拟源域图像，FS(GT→S(xs))为GT→S(xs)输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果。
本发明方法是一个完整的跨星遥感图像语义分割框架，包含源域-目标域图像双向转换器训练、图像双向转换器中的模型参数选择、源域-目标域图像双向转换、源域-拟目标域语义分割模型训练、源域-目标域类别分割概率生成以及融合。
本发明提出了一个源域图像和目标域图像之间的图像双向转换网络，在训练该图像双向转换器时，本发明使用了常用的循环一致损失函数、对抗损失函数和自损失函数。除此之外，为了保持图像双向转换前后语义不发生改变，本发明还提出了一种针对图像转换器的语义一致损失函数；在图像双向转换器训练结束以后，本发明采用的图像转换器选择策略选择训练中不同的迭代次数中能生成高得分图像的图像转换器，经观察发现得分高的迭代次数输出的合成图像质量较高，从而避免了低质量合成图像的使用。基于图像双向转换器，本发明实现了源域和目标域之间的双向转换，在获得了目标域和源域两个结果后，本发明采用的融合策略将源域和目标域结果进行融合，得到了最后的语义分割结果，提高了跨域遥感图像语义分割的准确率和方法的鲁棒性。
附图说明
图1为本发明跨星遥感图像语义分割方法的步骤流程示意图。
图2为本发明跨星遥感图像语义分割方法的具体实施过程示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1和图2所示，本发明基于双向无监督域适应融合的跨域遥感图像语义分割方法，包括如下步骤：
(1)利用源域图像xs和源域标签ys训练出源域上的语义分割模型FS。
模型网络结构可采用常用的deeplab、U-net等，损失函数采用具有K类别的交叉熵损失，对应公式如下：
Figure BDA0003236920120000061
式中：xs为源域图像，ys为源域图像标签，K为标签类别数量，FS为源域上的语义分割模型，
Figure BDA0003236920120000062
为指示函数(当k＝ys时，
Figure BDA0003236920120000063
当k≠ys时，
Figure BDA0003236920120000064
指示函数参考-周志华.机器学习[M].北京：清华大学出版社，2016年.主要符号表)，
Figure BDA0003236920120000065
表示数学期望函数，
Figure BDA0003236920120000066
为xs输入至模型FS中得到的输出结果中第k类的结果。
本实施方式将带建筑物标签的GF1卫星图像作为源域，并将其大小裁剪为500*500像素，保留4通道，图像和对应建筑物标签数量各为2039张，模型网络结构可采用deeplabV3+，学习率为10-4，优化算法为adam，训练900个epoch得到GF1域上的语义分割模型FS。
(2)基于源域图像xs和目标域图像xt训练出源-目标域图像双向转换模型。
常用方法有基于传统方法(如直方图匹配)和深度学习方法(如GAN)，本实例以基于GAN的方法做说明，但不仅限于基于GAN的方法。双向图像转换模型包含源域图像xs到目标域图像xt的图像转换器GS→T、目标域图像xt到源域图像xs的图像转换器GT→S以及源域判别器DS和目标域判别器DT，训练损失函数包含循环一致损失函数、语义一致损失函数、自损失函数和对抗损失函数，训练M个epoch后停止，每N个epoch(此处Ni＝Nj＝N)保存图像转换模型(源-目标方向的图像转换器
Figure BDA0003236920120000071
和目标-源方向的图像转换器
Figure BDA0003236920120000072
)，M和N为大于0的自然数且M＞＝N。
循环一致损失函数的方程表达式如下：
Figure BDA0003236920120000073
式中：xs为源域图像，xt为目标域图像，GS→T为源域图像xs到目标域图像xt的图像转换器，GT→S为目标域图像xt到源域图像xs的图像转换器，
Figure BDA0003236920120000074
为数学期望函数，||||1为L1范数。
语义一致损失函数的方程表达式如下：
Figure BDA0003236920120000075
式中：xs为源域图像，xt为目标域图像，GS→T为源域图像xs到目标域图像xt的图像转换器，GT→S为目标域图像xt到源域图像xs的图像转换器，
Figure BDA0003236920120000076
为数学期望函数，FT为目标域上语义分割模型，FS为源域上语义分割模型，KL(||)为两个分布之间的KL散度。
对抗损失函数的方程表达式如下：
Figure BDA0003236920120000077
式中：xs为源域图像，xt为目标域图像，GS→T为源域图像xs到目标域图像xt的图像转换器，GT→S为目标域图像xt到源域图像xs的图像转换器，
Figure BDA0003236920120000079
为数学期望函数，DS为源域判别器，DT为目标域判别器。
自损失函数的方程表达式如下：
Figure BDA0003236920120000078
式中：xs为源域图像，xt为目标域图像，GS→T为源域图像xs到目标域图像xt的图像转换器，GT→S为目标域图像xt到源域图像xs的图像转换器，
Figure BDA00032369201200000710
为数学期望函数，||·||1为L1范数。
本实施方式将GF1卫星图像作为源域，GF1B卫星图像作为目标域，图像大小均为500*500像素，4通道，其中GF1卫星图像(源域)934张，GF1B卫星图像(目标域)897张，图像中均包含建筑物。图像转换模型使用GAN，包含GF1图像xs到GF1B图像xt的图像转换器GS→T、GF1B图像xt到GF1图像xs的图像转换器GT→S以及GF1域判别器DS和GF1B域判别器DT，生成器网络结构为9层ResNet，判别器网络结构为4层CNN，训练损失函数包含循环一致损失函数、语义一致损失函数、对抗损失函数以及自损失函数，学习率为10-4，优化算法为adam，训练100个epoch后停止，每10个epoch保存图像转换模型，训练结束后得到10个GF1-GF1B方向的图像转换器
Figure BDA0003236920120000081
和10个GF1B-GF1方向的图像转换器
Figure BDA0003236920120000082
(3)选择最优的源-目标域图像双向转换模型参数。
将源域图像xs分别输入至步骤(2)中保存的
Figure BDA0003236920120000083
对转换器
Figure BDA0003236920120000084
和
Figure BDA0003236920120000085
得到
Figure BDA0003236920120000086
和
Figure BDA0003236920120000087
其中i和j属于
Figure BDA0003236920120000088
将所有
Figure BDA0003236920120000089
和
Figure BDA00032369201200000810
送入语义分割模型FS中，然后计算各个方向中转换器
Figure BDA00032369201200000811
和
Figure BDA00032369201200000812
的得分iteration-score(i)和iteration-score(j)，选择所有i中iteration-score(i)得分最高的参数i作为图像转换网络中的源-目标转换器GS→T和选择所有j中iteration-score(j)得分最高的参数j作为图像转换网络中的目标-源转换器GT→S。
得分iteration-score(i)和iteration-score(j)计算公式如下：
Figure BDA00032369201200000813
Figure BDA00032369201200000814
式中：
Figure BDA00032369201200000815
为源域图像xs到目标域图像xt的图像转换器，
Figure BDA00032369201200000816
为目标域图像xt到源域图像xs的图像转换器，i和j代表第i和j个epoch，i和j属于
Figure BDA00032369201200000817
本实施方式将2039张500*500像素，4通道的GF1卫星图像(源域图像xs)分别输入步骤(2)中保存的10对转换器
Figure BDA00032369201200000818
和
Figure BDA00032369201200000819
得到
Figure BDA00032369201200000820
和
Figure BDA00032369201200000821
其中i属于[1，10]，将所有
Figure BDA00032369201200000822
和
Figure BDA00032369201200000823
送入语义分割模型FS中，然后根据上述公式计算各个方向中转换器
Figure BDA00032369201200000824
和
Figure BDA00032369201200000825
的得分iteration-score(i)和iteration-score(j)，选择所有i中iteration-score(j)得分最高的参数iteration(i，j)＝60作为图像转换网络中的GF1-GF1B转换器GS→T和选择所有j中iteration-score(j)得分最高的参数iteration(i，j)＝80作为图像转换网络中的GF1B-GF1转换器GT→S；iteration-score(i)和iteration-score(j)如表1所示：
表1
iteration(i，j) iteration-score(i) iteration-score(j)
10 0.0039 0.6597
20 0.0523 0.7928
30 0.2011 0.8
40 0.1795 0.805
50 0.1805 0.8401
60 0.2067 0.8366
70 0.1805 0.8358
80 0.188 0.8473
90 0.1918 0.8398
100 0.1917 0.8429
(4)根据模型转换参数i和转换器GS→T将图像xs从源域转换到目标域，得到拟目标域图像GS→T(xs)。
本实施方式根据模型转换参数iteration(i，j)＝60和转换器GS→T将2039张500*500像素，4通道的GF1卫星图像从GF1域转换到GF1B域，得到拟GF1B图像GS→T(xs)。
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT。
模型网络结构可采用常用的deeplab、U-net等，损失函数采用具有K类别的交叉熵损失，对应公式如下：
Figure BDA0003236920120000091
式中：xs为源域图像，ys为源域图像标签，K为标签类别数量，FT为目标域上的语义分割模型，
Figure BDA0003236920120000092
为指示函数(当k＝ys时，
Figure BDA0003236920120000093
当k≠ys时，
Figure BDA0003236920120000094
)，
Figure BDA0003236920120000095
表示数学期望函数，GS→T(xs)为拟目标域图像，
Figure BDA0003236920120000096
为GS→T(xs)输入至模型FT中得到的输出结果中第k类的结果。
本实施方式使用步骤(4)中生成的2039张500*500像素，4通道的拟GF1B域图像GS→T(xs)和源域标签ys训练GF1B域上的语义分割模型FT；模型网络结构采用deeplabV3+，学习率为10-4，优化算法为adam，训练100个epoch得到拟GF1B域上的语义分割模型FT。
(6)根据模型转换参数j和转换器GT→S将图像xt从目标域转换到源域，得到拟源域图像GT→S(xt)。
本实施方式根据模型转换参数iteration(i，j)＝80和转换器GT→S将4098张500*500像素，4通道的GF1B卫星图像从GF1B域转换到GF1域，得到拟GF1域图像GT→S(xt)。
(7)将拟源域图像GT→S(xt)输入源域语义分割模型FS得到源域类别分割概率PS(图像中每个像素点的类别概率)。
(8)将目标域图像xt输入拟目标域语义分割模型FT得到目标域类别分割概率PT(图像中每个像素点的类别概率)。
(9)融合源域类别分割概率PS和目标域类别分割概率PT得到最终的类别分割概率P和分割结果map，具体融合方式如下：
Figure BDA0003236920120000101
map＝softmax(P)
式中：λS和λT分别为源域类别分割概率PS和目标域类别分割概率PT权重，具体计算方法如下：
Figure BDA0003236920120000102
Figure BDA0003236920120000103
其中：GT→S(xs)为xs输入至图像转换器GT→S转换得到的拟源域图像，FS(GT→S(xs))为GT→S(xs)输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果。
表2为通过相关实验测试出的迁移前、亮度转换(传统方法)、结果PT和PS进行交集、并集融合以及本发明融合策略得到的结果与标签真值计算得到的precision，recall和IoU指标。
表2
迁移前 亮度转换 P<sub>T</sub> P<sub>S</sub> P<sub>T</sub>∩P<sub>S</sub> P<sub>T</sub>∪P<sub>S</sub> map
precision 0.7478 0.4331 0.5856 0.5335 0.3946 0.7244 0.5837
recall 0.166 0.7190 0.7137 0.3114 0.7580 0.3599 0.7191
IoU 0.1572 0.3704 0.4742 0.2448 0.3505 0.3165 0.4753
从上述实验结果可以看出，本实施方式与迁移前相比有效的提升语义分割的IoU指标，提升达到了0.3181。同时，与简单的亮度转换相比，本实施方式的IoU指标也提升了0.1049，这说明了图像转换模型的必要性。与此同时，当一个结果明显差于另一个结果时，只是简单的将PT和PS以交集或并集的方式融合反而会降低PT的IoU结果，相反本实施方式在这种情况下可以提升PT的IoU结果。因此，本发明对提高跨卫星遥感图像语义分割的性能和鲁棒性有很大的帮助。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

1.一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，包括如下步骤：
(1)利用源域图像xs和源域标签ys训练出源域语义分割模型FS；
(2)利用源域图像xs以及目标域图像xt训练源-目标域图像双向转换器，其包含源→目标方向的图像转换器和目标→源方向的图像转换器；
(3)对于上述训练过程中生成的所有图像转换器的中间结果，从中选择一组最优的结果作为源→目标方向的图像转换器GS→T和目标→源方向的图像转换器GT→S；
(4)利用图像转换器GS→T将源域图像xs从源域转换到目标域，得到拟目标域图像GS→T(xs)；
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT；
(6)利用图像转换器GT→S将目标域图像xt从目标域转换到源域，得到拟源域图像GT→S(xt)；
(7)将拟源域图像GT→S(xt)输入至源域语义分割模型FS中，得到目标域图像xt的源域类别分割概率PS；
(8)将目标域图像xt输入至拟目标域语义分割模型FT中，得到目标域图像xt的目标域类别分割概率PT；
(9)融合源域类别分割概率PS和目标域类别分割概率PT，得到目标域图像xt最终的类别分割概率P及分割结果map。
2.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(2)在对源-目标域图像双向转换器进行训练过程中采用了语义一致损失函数
Figure FDA0003236920110000011
其表达式如下：
Figure FDA0003236920110000012
其中：
Figure FDA0003236920110000013
表示数学期望函数，FS(xs)为xs输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果，FT(xt)为xt输入至模型FT中得到的输出结果，FS(GT→S(xt))为GT→S(xt)输入至模型FS中得到的输出结果，
Figure FDA0003236920110000021
为FS(xs)与FT(GS→T(xs))之间的相似度，
Figure FDA0003236920110000022
为FT(xt)与FS(GT→S(xt))之间的相似度。
3.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(3)的具体实现方式如下：
3.1首先设定训练过程总的迭代次数为M，每隔Ni轮保存一次当前模型参数，对应得到
Figure FDA0003236920110000023
个图像转换器
Figure FDA0003236920110000024
即表示第i次迭代所保存的源→目标方向的图像转换器；同样每隔Nj轮保存一次当前模型参数，对应得到
Figure FDA0003236920110000025
个图像转换器
Figure FDA0003236920110000026
Figure FDA00032369201100000225
即表示为第j次迭代所保存的目标→源方向的图像转换器，i和j均为自然数且
Figure FDA0003236920110000027
Ni和Nj为自设定的正整数；
3.2将源域图像xs分别输入至图像转换器
Figure FDA0003236920110000028
和
Figure FDA0003236920110000029
中，得到对应的输出结果
Figure FDA00032369201100000210
和
Figure FDA00032369201100000211
3.3将
Figure FDA00032369201100000212
和
Figure FDA00032369201100000213
输入至模型FS中得到对应的输出结果
Figure FDA00032369201100000214
和
Figure FDA00032369201100000215
3.4根据
Figure FDA00032369201100000216
和
Figure FDA00032369201100000217
计算图像转换器
Figure FDA00032369201100000218
和
Figure FDA00032369201100000219
对应的得分iteration-score(i)和iteration-score(j)；
3.5取对应得分iteration-score(i)最高的一组图像转换器
Figure FDA00032369201100000220
作为GS→T，取对应得分iteration-score(j)最高的一组图像转换器
Figure FDA00032369201100000221
作为GT→S。
4.根据权利要求3所述的跨星遥感图像语义分割方法，其特征在于：所述步骤3.4中通过以下公式计算图像转换器
Figure FDA00032369201100000222
和
Figure FDA00032369201100000223
对应的得分iteration-score(i)和iteration-score(j)；
Figure FDA00032369201100000224
Figure FDA0003236920110000031
其中：ys为源域标签。
5.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(9)中通过以下公式对源域类别分割概率PS和目标域类别分割概率PT进行融合，得到目标域图像xt最终的类别分割概率P及分割结果map；
Figure FDA0003236920110000032
map＝σ(P)
其中：λS和λT分别为源域类别分割概率和目标域类别分割概率的权重，σ()为类别分割概率到分割结果的映射函数。
6.根据权利要求5所述的跨星遥感图像语义分割方法，其特征在于：所述权重λS和λT的计算表达式如下：
Figure FDA0003236920110000033
Figure FDA0003236920110000034
其中：GT→S(xs)为xs输入至图像转换器GT→S转换得到的拟源域图像，FS(GT→S(xs))为GT→S(xs)输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果。
7.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：该方法是一个完整的跨星遥感图像语义分割框架，包含源域-目标域图像双向转换器训练、图像双向转换器中的模型参数选择、源域-目标域图像双向转换、源域-拟目标域语义分割模型训练、源域-目标域类别分割概率生成以及融合。
CN202111017498.9A 2021-08-30 2021-08-30 基于双向无监督域适应融合的跨星遥感图像语义分割方法 Active CN113837191B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111017498.9A CN113837191B (zh) 2021-08-30 2021-08-30 基于双向无监督域适应融合的跨星遥感图像语义分割方法
US17/911,551 US20240212162A1 (en) 2021-08-30 2021-09-17 Semantic segmentation method for cross-satellite remote sensing images based on unsupervised bidirectional domain adaptation and fusion
PCT/CN2021/119171 WO2023029111A1 (zh) 2021-08-30 2021-09-17 基于双向无监督域适应融合的跨星遥感图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017498.9A CN113837191B (zh) 2021-08-30 2021-08-30 基于双向无监督域适应融合的跨星遥感图像语义分割方法

Publications (2)

Publication Number Publication Date
CN113837191A true CN113837191A (zh) 2021-12-24
CN113837191B CN113837191B (zh) 2023-11-07

Family

ID=78961727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017498.9A Active CN113837191B (zh) 2021-08-30 2021-08-30 基于双向无监督域适应融合的跨星遥感图像语义分割方法

Country Status (3)

Country Link
US (1) US20240212162A1 (zh)
CN (1) CN113837191B (zh)
WO (1) WO2023029111A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023201772A1 (zh) * 2022-04-18 2023-10-26 浙江大学 基于迭代域内适应和自训练的跨域遥感图像语义分割方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434024B (zh) * 2023-04-21 2023-09-12 大连理工大学 目标特征嵌入的红外与可见光图像融合方法
CN117994667B (zh) * 2024-04-03 2024-06-18 深圳市森歌数据技术有限公司 基于多模型融合的遥感影像重点关注区域精确识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444277A (zh) * 2019-07-19 2019-11-12 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
US20200160113A1 (en) * 2018-11-19 2020-05-21 Google Llc Training image-to-image translation neural networks
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111899203A (zh) * 2020-07-10 2020-11-06 贵州大学 基于标注图在无监督训练下的真实图像生成方法及存储介质
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112991353A (zh) * 2021-03-12 2021-06-18 北京航空航天大学 一种跨域遥感图像的无监督语义分割方法
CN113095246A (zh) * 2021-04-19 2021-07-09 首都师范大学 一种基于迁移学习和场景感知的跨域自适应人数统计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
CN112508031B (zh) * 2020-12-22 2022-09-02 北京航空航天大学 一种从虚拟到现实的无监督遥感图像语义分割方法及模型
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160113A1 (en) * 2018-11-19 2020-05-21 Google Llc Training image-to-image translation neural networks
CN110444277A (zh) * 2019-07-19 2019-11-12 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111899203A (zh) * 2020-07-10 2020-11-06 贵州大学 基于标注图在无监督训练下的真实图像生成方法及存储介质
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112991353A (zh) * 2021-03-12 2021-06-18 北京航空航天大学 一种跨域遥感图像的无监督语义分割方法
CN113095246A (zh) * 2021-04-19 2021-07-09 首都师范大学 一种基于迁移学习和场景感知的跨域自适应人数统计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG CHEN 等: "Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 39, no. 7, pages 2494 - 2505, XP011796121, DOI: 10.1109/TMI.2020.2972701 *
青晨 等: "深度卷积神经网络图像语义分割研究进展", 《中国图象图形学报》, vol. 25, no. 6, pages 1069 - 1090 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023201772A1 (zh) * 2022-04-18 2023-10-26 浙江大学 基于迭代域内适应和自训练的跨域遥感图像语义分割方法

Also Published As

Publication number Publication date
CN113837191B (zh) 2023-11-07
WO2023029111A1 (zh) 2023-03-09
US20240212162A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN110321813A (zh) 基于行人分割的跨域行人重识别方法
CN109829391B (zh) 基于级联卷积网络和对抗学习的显著性目标检测方法
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN109300128A (zh) 基于卷积神经网隐含结构的迁移学习图像处理方法
WO2023201772A1 (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN114548265A (zh) 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN115063655A (zh) 一种融合超列的类激活映射图生成方法
CN105913451B (zh) 一种基于图模型的自然图像超像素分割方法
CN111695436B (zh) 一种基于目标增强的高空间分辨率遥感图像场景分类方法
CN116563683A (zh) 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法
CN113409351A (zh) 基于最优传输的无监督领域自适应遥感图像分割方法
Deng et al. A paddy field segmentation method combining attention mechanism and adaptive feature fusion
Yu et al. Precise segmentation of remote sensing cage images based on SegNet and voting mechanism
CN115082703B (zh) 概念关联颜色提取方法、装置、计算机设备和存储介质
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法
CN117689890B (zh) 一种基于晴雾场景的语义分割方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant