CN111275713A - 一种基于对抗自集成网络的跨域语义分割方法 - Google Patents

一种基于对抗自集成网络的跨域语义分割方法 Download PDF

Info

Publication number
CN111275713A
CN111275713A CN202010079142.7A CN202010079142A CN111275713A CN 111275713 A CN111275713 A CN 111275713A CN 202010079142 A CN202010079142 A CN 202010079142A CN 111275713 A CN111275713 A CN 111275713A
Authority
CN
China
Prior art keywords
network
image
layer
function
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010079142.7A
Other languages
English (en)
Other versions
CN111275713B (zh
Inventor
杜博
徐永浩
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010079142.7A priority Critical patent/CN111275713B/zh
Publication of CN111275713A publication Critical patent/CN111275713A/zh
Application granted granted Critical
Publication of CN111275713B publication Critical patent/CN111275713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗自集成网络的跨域语义分割方法，该方法首次将对抗训练技术引入到自集成网络模型，通过精心设计的损失函数，同时消除视觉外观领域差异与标签分布领域差异。一方面，对抗训练中的相关损失函数使得自集成模型更好地针对领域差异进行学习；另一方面，自集成模型也提升了对抗训练的稳定性。此外，本发明提出了一种任务辅助的风格迁移网络。该网络可以在保持源域图像语义信息的同时，实现源域到目标域风格的逼真转换。转换后的图像可进一步辅助对抗自集成网络的训练，帮助消除视觉外观领域差异。

Description

一种基于对抗自集成网络的跨域语义分割方法
技术领域
本发明属于计算机图像处理技术领域，涉及一种图像语义分割方法，具体涉及一种基于对抗自集成网络的跨域语义分割方法。
背景技术
图像语义分割是无人驾驶等应用的研究基础。现有基于深度神经网络的图像语义分割方法往往需要大量的像素级标注样本进行训练，而像素级标注样本的获取十分费时费力，极大地提高了算法的实现成本。另一方面，不同城市的道路场景往往有很大的不同，这种场景与场景间的差异，使得已有模型在新的城市场景下，难以取得较好的分割效果。因此，亟需提出一种鲁棒的领域适应技术，更好地利用源域的标记样本与目标域的未标记样本，实现更高精度的跨域语义分割。
现有的跨域语义分割方案主要采用对抗训练方法[1,2]，让深度网络同时学习源域数据(即已有标记信息的数据集)与目标域数据(即没有标注信息的数据集)，并使网络无法分辨输入影像是来自源域还是目标域，从而减小不同域间的特征差异，在目标域实现更高的识别精度。另一类已有工作则采用自集成学习[3]，将集成模型在目标域的预测结果视为伪标签，辅助基础模型的训练。相关的现有工作存在以下缺陷：
1)对抗训练具有很大的不稳定性[1,2]，因此，基于对抗训练的模型容易产生“负迁移”现象，即将源域中不利于目标域图像识别的知识迁移到目标域，带来不稳定的跨域语义分割结果；
2)现有的自集成学习框架未能将领域差异考虑在内[3]，仅通过集成模型的伪标签辅助基础模型在目标域的训练，因而模型的精度提升有限。
因此，需要一种更加稳定的领域适应方法，更好地消除领域差异，从而满足高精度跨域语义分割的需求。
[1]Tsai,Y.H.,Hung,W.C.,Schulter,S.,Sohn,K.,Yang,M.H.,and Chandraker,M.2018.Learning to adapt structured output space for semantic segmentation.InProceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR).
[2]Hoffman,J.；Tzeng,E.；Park,T.；Zhu,J.-Y.；Isola,P.；Saenko,K.；Efros,A.A.；and Darrell,T.2018.Cycada:Cycle-consistent adversarial domainadaptation.In International Conference on Machine Learning(ICML).
[3]Xu,Y.,Du,B.,Zhang,L.,Zhang,Q.,Wang,G.,and Zhang,L.2019,Self-ensembling attention networks:Addressing domain shift for semanticsegmentation.In Proceedings of the AAAI Conference on Artificial Intelligence(AAAI).
发明内容
为了解决上述技术问题，本发明提供了一种基于对抗自集成网络的跨域语义分割方法，该方法首次将对抗训练技术引入到自集成网络模型，通过精心设计的损失函数，同时消除视觉外观领域差异与标签分布领域差异。其中，标签分布领域差异通过在标签空间计算源域样本与目标域样本的对抗损失实现。视觉外观领域差异通过本发明提出的一种任务辅助的风格迁移网络实现。该网络可以在保持源域图像语义信息的同时，实现源域到目标域风格的逼真转换。
本发明的技术方案为一种基于对抗自集成网络的跨域语义分割方法，包括如下步骤：
步骤1：初始化学生网络Fs、老师网络Ft与判别器Dlab的参数，其中学生网络和老师网络均采用VGG-16网络的结构，判别器Dlab网络由5个卷积层构成；
步骤2：将源域影像xs输入到任务辅助的风格迁移网络中，得到风格迁移影像G(xs)；
步骤3：将源域影像xs与风格迁移影像G(xs)输入到学生网络Fs，得到对应的预测分割图Fs(xs)与Fs(G(xs))；
步骤4：将目标域影像xt经过随机增广
Figure BDA0002379658480000021
后，分别输入到学生网络Fs与老师网络Ft，得到对应的预测分割图
Figure BDA0002379658480000022
与
Figure BDA0002379658480000023
步骤5：利用源域标签ys，计算源域影像xs与风格迁移影像G(xs)的交叉熵损失
Figure BDA0002379658480000024
Figure BDA0002379658480000025
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数；
步骤6：计算自集成网络中的一致性损失函数
Figure BDA0002379658480000026
Figure BDA0002379658480000027
步骤7：将Fs(xs)，Fs(G(xs))，
Figure BDA0002379658480000028
输入到判别器Dlab，计算标签空间的对抗损失函数
Figure BDA0002379658480000029
Figure BDA0002379658480000031
步骤8：计算总的损失函数：
Figure BDA0002379658480000032
步骤9：利用随机批梯度下降算法，优化步骤8中的损失函数；
步骤10：采用指数移动平均算法更新老师网络Ft中的参数：
θt i＝αθt i-1+(1-α)θs i
其中，θt i为老师网络在时刻t下的参数值，θs i为学生网络在时刻t下的参数值，α为权重系数，取值范围为0～1；
步骤11：重复上述步骤2-10，直至网络收敛；
步骤12：将待分割的目标域影像，输入到老师网络Ft中，完成最终的语义分割任务。
进一步的，步骤2中所述的任务辅助的风格迁移网络，其具体实现过程包括以下子步骤：
步骤2.1：初始化生成器G与判别器D的参数，使其满足均值为0方差为0.1的高斯分布，其中判别器D的结构与步骤1中的Dlab相同，生成器G由16个卷积层构成；
步骤2.2：利用源域样本，预训练一个分割网络
Figure BDA0002379658480000037
该分割网络
Figure BDA0002379658480000038
同样采用VGG-16网络的结构，并将
Figure BDA0002379658480000039
中的参数固定，使其在后续的步骤中不参与误差反向传播；
步骤2.3：将源域影像xs输入到生成器G中，得到风格迁移影像G(xs)；
步骤2.4：将源域影像xs与风格迁移影像G(xs)输入到预训练分割网络
Figure BDA00023796584800000310
中，得到对应分割图φ(xs)与φ(G(xs))，以及对应语义特征φf(xs)与φf(G(xs))，其中语义特征为
Figure BDA0002379658480000033
网络中分类层前一层的卷积特征；
步骤2.5：利用源域标签ys，计算风格迁移影像G(xs)的语义一致性损失
Figure BDA0002379658480000034
Figure BDA0002379658480000035
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数；
步骤2.6：计算感知损失
Figure BDA0002379658480000036
Figure BDA0002379658480000041
其中，Kf为特征图中的像素总数；
步骤2.7：将源域影像xs、目标域影像xt与风格迁移影像G(xs)输入到判别器D，计算对抗损失函数
Figure BDA0002379658480000042
Figure BDA0002379658480000043
其中，xt和xs分别是目标域影像和源域影像，D(xt)和D(xs)表示判别器网络D对xt和xs的判别结果，G(xs)表示利用生成器网络G对源域影像xs进行风格迁移后的影像；
步骤2.8：计算总的损失函数：
Figure BDA0002379658480000044
步骤2.9：利用随机批梯度下降算法，优化步骤2.8中的损失函数；
步骤2.10：重复上述步骤2.3-2.9，直至网络收敛。
进一步的，判别器Dlab网络由5个卷积层构成，其中，第1层采用32个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数，其表达式为
Figure BDA0002379658480000045
a为常数；第2层采用64个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第3层采用128个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第4层采用256个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第5层采用1个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用恒等映射，即h(x)＝x。
进一步的，步骤2.1中所述生成器G由16个卷积层构成，其中，第1层采用32个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数其表达式为f(x)＝max(0,x)；第2层采用64个3×3的卷积核，卷积操作的步长设置为2个像素，激活函数采用ReLU函数；第3层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数；第4层至第13层为5个残差模块，每一个残差模块包含两个卷积层；第15层采用32个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数；第16层采用3个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。
进一步的，5个残差模块中的第一个残差模块设置如下，
第1个残差模块为第4层与第5层，其中，第4层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数，第5层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。
进一步的，5个残差模块中相邻的残差模块之间，通过跳层连接。
进一步的，第14层采用64个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数。
进一步的，步骤1中初始化判别器Dlab的参数时，使其满足均值为0、方差为0.1的高斯分布。
进一步的，步骤2.1中，初始化生成器G与判别器D的参数时，使其满足均值为0、方差为0.1的高斯分布。
进一步的，步骤4中，随机增广
Figure BDA0002379658480000051
的实现方式为增加均值为0、方差为0.1的高斯噪声。
本发明的有益效果为：
(1)本发明提出了一种基于对抗自集成网络的跨域语义分割方法，该方法首次将对抗训练技术引入到自集成模型中。一方面，对抗训练中的相关损失函数使得自集成模型更好地针对领域差异进行学习；另一方面，自集成模型也提升了对抗训练的稳定性。
(2)本发明提出了一种任务辅助的风格迁移网络。该网络可以在保持源域图像语义信息的同时，实现源域到目标域风格的逼真转换。转换后的图像可进一步辅助对抗自集成网络的训练，帮助消除视觉外观领域差异。
附图说明
图1为本发明提出的对抗自集成网络示意图；
图2为本发明提出的任务辅助的风格迁移网络示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的一种基于对抗自集成网络的跨域语义分割方法，包括以下步骤：
步骤1：初始化学生网络Fs、老师网络Ft与判别器Dlab的参数，使其满足均值为0、方差为0.1的高斯分布。学生网络和老师网络均采用VGG-16网络的结构，判别器Dlab的网络结构请见图1，该网络由5个卷积层构成，其中，第1层采用32个4×4的卷积核，卷积操作的步长(Stride)设置为2个像素，激活函数采用LeakyReLU函数，其表达式为
Figure BDA0002379658480000061
a取值为0.2；第2层采用64个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第3层采用128个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第4层采用256个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第5层采用1个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用恒等映射，即h(x)＝x。
步骤2：将源域影像xs输入到任务辅助的风格迁移网络中，得到风格迁移影像G(xs)，请见图1；
作为优选，步骤2中所述的任务辅助的风格迁移网络，其具体实现过程包括以下子步骤：
步骤2.1：初始化生成器G与判别器D的参数，使其满足均值为0、方差为0.1的高斯分布。生成器G与判别器D的网络结构请见图2，其中判别器D的结构与步骤1中的Dlab相同，生成器G由16个卷积层构成，其中，第1层采用32个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数其表达式为f(x)＝max(0,x)；第2层采用64个3×3的卷积核，卷积操作的步长设置为2个像素，激活函数采用ReLU函数；第3层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数；第4层至第13层为5个残差模块，每一个残差模块包含两个卷积层。例如，第1个残差模块为第4层与第5层，其中，第4层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数，第5层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。相邻的残差模块之间，通过跳层连接。第14层采用64个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数；第15层采用32个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数；第16层采用3个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。
步骤2.2：利用源域样本，预训练一个分割网络
Figure BDA0002379658480000077
该分割网络
Figure BDA0002379658480000078
同样采用VGG-16网络的结构，并将
Figure BDA0002379658480000079
中的参数固定，使其在后续的步骤中不参与误差反向传播；
步骤2.3：将源域影像xs输入到生成器G中，得到风格迁移影像G(xs)；
步骤2.4：将源域影像xs与风格迁移影像G(xs)输入到预训练分割网络
Figure BDA00023796584800000710
中，得到对应分割图φ(xs)与φ(G(xs))，以及对应语义特征φf(xs)与φf(G(xs))，其中语义特征为
Figure BDA00023796584800000711
网络中分类层前一层的卷积特征；
步骤2.5：利用源域标签ys，计算风格迁移影像G(xs)的语义一致性损失
Figure BDA0002379658480000076
Figure BDA0002379658480000071
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数。
步骤2.6：计算感知损失
Figure BDA0002379658480000072
Figure BDA0002379658480000073
其中，Kf为特征图中的像素总数。
步骤2.7：将源域影像xs、目标域影像xt与风格迁移影像G(xs)输入到判别器D，计算对抗损失函数
Figure BDA0002379658480000074
Figure BDA0002379658480000075
其中，xt和xs分别是目标域影像和源域影像，D(xt)和D(xs)表示判别器网络D对xt和xs的判别结果，G(xs)表示利用生成器网络G对源域影像xs进行风格迁移后的影像；
步骤2.8：计算总的损失函数：
Figure BDA0002379658480000081
步骤2.9：利用随机批梯度下降算法，优化步骤2.8中的损失函数；
步骤2.10：重复上述步骤2.3-2.9，直至网络收敛。
步骤3：将源域影像xs与风格迁移影像G(xs)输入到学生网络Fs，得到对应的预测分割图Fs(xs)与Fs(G(xs))；
步骤4：将目标域影像xt经过随机增广
Figure BDA0002379658480000082
后，分别输入到学生网络Fs与老师网络Ft，得到对应的预测分割图
Figure BDA0002379658480000083
与
Figure BDA0002379658480000084
其中
Figure BDA0002379658480000085
的实现方式为增加均值为0、方差为0.1的高斯噪声；
步骤5：利用源域标签ys，计算源域影像xs与风格迁移影像G(xs)的交叉熵损失
Figure BDA0002379658480000086
Figure BDA0002379658480000087
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数。
步骤6：计算自集成网络中的一致性损失函数
Figure BDA0002379658480000088
Figure BDA0002379658480000089
步骤7：将Fs(xs)，Fs(G(xs))，
Figure BDA00023796584800000810
输入到判别器Dlab，计算标签空间的对抗损失函数
Figure BDA00023796584800000811
Figure BDA00023796584800000812
步骤8：计算总的损失函数：
Figure BDA00023796584800000813
步骤9：利用随机批梯度下降算法，优化步骤8中的损失函数；
步骤10：采用指数移动平均算法更新老师网络Ft中的参数：
θt i＝αθt i-1+(1-α)θs i
其中，θt i为老师网络在时刻t下的参数值，θs i为学生网络在时刻t下的参数值，α为权重系数，取值范围为0～1。
步骤11：重复上述步骤2-10，直至网络收敛；
步骤12：将待分割的目标域影像，输入到老师网络Ft中，完成最终的语义分割任务。
以上是本发明涉及的一种基于对抗自集成网络的跨域语义分割方法的实现步骤。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于对抗自集成网络的跨域语义分割方法，其特征在于，包括以下步骤：
步骤1：初始化学生网络Fs、老师网络Ft与判别器Dlab的参数，其中学生网络和老师网络均采用VGG-16网络的结构，判别器Dlab网络由5个卷积层构成；
步骤2：将源域影像xs输入到任务辅助的风格迁移网络中，得到风格迁移影像G(xs)；
步骤3：将源域影像xs与风格迁移影像G(xs)输入到学生网络Fs，得到对应的预测分割图Fs(xs)与Fs(G(xs))；
步骤4：将目标域影像xt经过随机增广
Figure FDA0002379658470000011
后，分别输入到学生网络Fs与老师网络Ft，得到对应的预测分割图
Figure FDA0002379658470000012
与
Figure FDA0002379658470000013
步骤5：利用源域标签ys，计算源域影像xs与风格迁移影像G(xs)的交叉熵损失
Figure FDA0002379658470000014
Figure FDA0002379658470000015
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数；
步骤6：计算自集成网络中的一致性损失函数
Figure FDA0002379658470000016
Figure FDA0002379658470000017
步骤7：将Fs(xs)，Fs(G(xs))，
Figure FDA0002379658470000018
输入到判别器Dlab，计算标签空间的对抗损失函数
Figure FDA0002379658470000019
Figure FDA00023796584700000110
步骤8：计算总的损失函数：
Figure FDA00023796584700000111
步骤9：利用随机批梯度下降算法，优化步骤8中的损失函数；
步骤10：采用指数移动平均算法更新老师网络Ft中的参数：
Figure FDA00023796584700000112
其中，θt i为老师网络在时刻t下的参数值，θs i为学生网络在时刻t下的参数值，α为权重系数，取值范围为0～1；
步骤11：重复上述步骤2-10，直至网络收敛；
步骤12：将待分割的目标域影像，输入到老师网络Ft中，完成最终的语义分割任务。
2.根据权利要求1所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：步骤2中所述的任务辅助的风格迁移网络，其具体实现过程包括以下子步骤：
步骤2.1：初始化生成器G与判别器D的参数，使其满足均值为0方差为0.1的高斯分布，其中判别器D的结构与步骤1中的Dlab相同，生成器G由16个卷积层构成；
步骤2.2：利用源域样本，预训练一个分割网络
Figure FDA0002379658470000021
该分割网络
Figure FDA0002379658470000022
同样采用VGG-16网络的结构，并将
Figure FDA0002379658470000023
中的参数固定，使其在后续的步骤中不参与误差反向传播；
步骤2.3：将源域影像xs输入到生成器G中，得到风格迁移影像G(xs)；
步骤2.4：将源域影像xs与风格迁移影像G(xs)输入到预训练分割网络
Figure FDA0002379658470000024
中，得到对应分割图φ(xs)与φ(G(xs))，以及对应语义特征φf(xs)与φf(G(xs))，其中语义特征为
Figure FDA0002379658470000025
网络中分类层前一层的卷积特征；
步骤2.5：利用源域标签ys，计算风格迁移影像G(xs)的语义一致性损失
Figure FDA0002379658470000026
Figure FDA0002379658470000027
其中，σ(·)为Softmax函数，K为影像中的像素总数，C为类别总数；
步骤2.6：计算感知损失
Figure FDA0002379658470000028
Figure FDA0002379658470000029
其中，Kf为特征图中的像素总数；
步骤2.7：将源域影像xs、目标域影像xt与风格迁移影像G(xs)输入到判别器D，计算对抗损失函数
Figure FDA00023796584700000210
Figure FDA0002379658470000031
其中，xt和xs分别是目标域影像和源域影像，D(xt)和D(xs)表示判别器网络D对xt和xs的判别结果，G(xs)表示利用生成器网络G对源域影像xs进行风格迁移后的影像；
步骤2.8：计算总的损失函数：
Figure FDA0002379658470000032
步骤2.9：利用随机批梯度下降算法，优化步骤2.8中的损失函数；
步骤2.10：重复上述步骤2.3-2.9，直至网络收敛。
3.根据权利要求1或2所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：判别器Dlab网络由5个卷积层构成，其中，第1层采用32个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数，其表达式为
Figure FDA0002379658470000033
a为常数；第2层采用64个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第3层采用128个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第4层采用256个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用LeakyReLU函数；第5层采用1个4×4的卷积核，卷积操作的步长设置为2个像素，激活函数采用恒等映射，即h(x)＝x。
4.根据权利要求1所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：步骤2.1中所述生成器G由16个卷积层构成，其中，第1层采用32个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数其表达式为f(x)＝max(0,x)；第2层采用64个3×3的卷积核，卷积操作的步长设置为2个像素，激活函数采用ReLU函数；第3层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数；第4层至第13层为5个残差模块，每一个残差模块包含两个卷积层；第15层采用32个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数；第16层采用3个9×9的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。
5.根据权利要求4所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：5个残差模块中的第一个残差模块设置如下，
第1个残差模块为第4层与第5层，其中，第4层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用ReLU函数，第5层采用128个3×3的卷积核，卷积操作的步长设置为1个像素，激活函数采用恒等映射。
6.根据权利要求4所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：5个残差模块中相邻的残差模块之间，通过跳层连接。
7.根据权利要求4所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：第14层采用64个3×3的反卷积核，反卷积操作的步长设置为1个像素，上采样的倍率为2倍，激活函数采用ReLU函数。
8.根据权利要求1所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：步骤1中初始化判别器Dlab的参数时，使其满足均值为0、方差为0.1的高斯分布。
9.根据权利要求2所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：步骤2.1中，初始化生成器G与判别器D的参数时，使其满足均值为0、方差为0.1的高斯分布。
10.根据权利要求1所述的一种基于对抗自集成网络的跨域语义分割方法，其特征在于：步骤4中，随机增广
Figure FDA0002379658470000041
的实现方式为增加均值为0、方差为0.1的高斯噪声。
CN202010079142.7A 2020-02-03 2020-02-03 一种基于对抗自集成网络的跨域语义分割方法 Active CN111275713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010079142.7A CN111275713B (zh) 2020-02-03 2020-02-03 一种基于对抗自集成网络的跨域语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010079142.7A CN111275713B (zh) 2020-02-03 2020-02-03 一种基于对抗自集成网络的跨域语义分割方法

Publications (2)

Publication Number Publication Date
CN111275713A true CN111275713A (zh) 2020-06-12
CN111275713B CN111275713B (zh) 2022-04-12

Family

ID=71002010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010079142.7A Active CN111275713B (zh) 2020-02-03 2020-02-03 一种基于对抗自集成网络的跨域语义分割方法

Country Status (1)

Country Link
CN (1) CN111275713B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723780A (zh) * 2020-07-22 2020-09-29 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN112001839A (zh) * 2020-07-23 2020-11-27 浙江大学 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112766089A (zh) * 2021-01-04 2021-05-07 武汉大学 一种基于全局-局部对抗学习框架的跨域道路提取方法
CN112906747A (zh) * 2021-01-25 2021-06-04 北京工业大学 一种基于知识蒸馏的图像分类方法
CN113205096A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113221902A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN114997175A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于领域对抗训练的情感分析方法
CN115439654A (zh) * 2022-11-07 2022-12-06 武汉数字家园科技有限公司 动态约束下的弱监督农田地块精细化分割方法及系统
CN116486408A (zh) * 2023-05-12 2023-07-25 国家基础地理信息中心 遥感图像跨域语义分割方法及装置
CN116778157A (zh) * 2023-06-13 2023-09-19 苏州大学 矩不变对比循环一致性对抗网络的跨域分割方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1305592A (zh) * 1998-05-29 2001-07-25 Qx有限公司 建立网络定位系统(nps)的方法和设备
US20140226437A1 (en) * 2011-07-19 2014-08-14 Christopher Chambers System and method for moment tensor migration imaging
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110738057A (zh) * 2019-09-05 2020-01-31 中山大学 一种基于语法约束和语言模型的文本风格迁移方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1305592A (zh) * 1998-05-29 2001-07-25 Qx有限公司 建立网络定位系统(nps)的方法和设备
US20140226437A1 (en) * 2011-07-19 2014-08-14 Christopher Chambers System and method for moment tensor migration imaging
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110738057A (zh) * 2019-09-05 2020-01-31 中山大学 一种基于语法约束和语言模型的文本风格迁移方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAEHOON CHOI 等: "Self-Ensembling With GAN-Based Data Augmentation for Domain Adaptation in Semantic Segmentation", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
孙志琳 等: "基于风格迁移及度量融合的行人再识别研究", 《测试技术学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111723780A (zh) * 2020-07-22 2020-09-29 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111723780B (zh) * 2020-07-22 2023-04-18 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111898507B (zh) * 2020-07-22 2022-06-03 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN112001839A (zh) * 2020-07-23 2020-11-27 浙江大学 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质
CN112001839B (zh) * 2020-07-23 2022-09-13 浙江大学 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112766089A (zh) * 2021-01-04 2021-05-07 武汉大学 一种基于全局-局部对抗学习框架的跨域道路提取方法
CN112766089B (zh) * 2021-01-04 2022-05-13 武汉大学 一种基于全局-局部对抗学习框架的跨域道路提取方法
CN112906747A (zh) * 2021-01-25 2021-06-04 北京工业大学 一种基于知识蒸馏的图像分类方法
CN113205096A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113205096B (zh) * 2021-04-26 2022-04-15 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
US11790534B2 (en) 2021-04-26 2023-10-17 Wuhan University Attention-based joint image and feature adaptive semantic segmentation method
CN113221902B (zh) * 2021-05-11 2021-10-15 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113221902A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN113469186B (zh) * 2021-06-30 2023-06-23 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN114997175A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于领域对抗训练的情感分析方法
CN115439654A (zh) * 2022-11-07 2022-12-06 武汉数字家园科技有限公司 动态约束下的弱监督农田地块精细化分割方法及系统
CN116486408A (zh) * 2023-05-12 2023-07-25 国家基础地理信息中心 遥感图像跨域语义分割方法及装置
CN116486408B (zh) * 2023-05-12 2024-04-05 国家基础地理信息中心 遥感图像跨域语义分割方法及装置
CN116778157A (zh) * 2023-06-13 2023-09-19 苏州大学 矩不变对比循环一致性对抗网络的跨域分割方法及系统

Also Published As

Publication number Publication date
CN111275713B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111275713B (zh) 一种基于对抗自集成网络的跨域语义分割方法
Zhou et al. Contextual ensemble network for semantic segmentation
CN112308860B (zh) 基于自监督学习的对地观测图像语义分割方法
CN109087303B (zh) 基于迁移学习提升语义分割模型效果的框架
CN107679462B (zh) 一种基于小波的深度多特征融合分类方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN111695457B (zh) 一种基于弱监督机制的人体姿态估计方法
CN107833183A (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN110853039B (zh) 一种多数据融合的草图图像分割方法、系统、装置及存储介质
Wu et al. Complementarity-aware cross-modal feature fusion network for RGB-T semantic segmentation
CN111462149A (zh) 一种基于视觉显著性的实例人体解析方法
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
Luo et al. Weakly supervised learning for raindrop removal on a single image
CN112241959A (zh) 基于超像素的注意力机制生成语义分割方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
Li et al. Weather-degraded image semantic segmentation with multi-task knowledge distillation
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Wei et al. A real-time semantic segmentation method for autonomous driving in surface mine
CN116935242B (zh) 基于空间和语义一致性对比学习的遥感图像语义分割方法及系统
Guo et al. Semantic image segmentation based on SegNetWithCRFs
CN116597144A (zh) 一种基于事件相机的图像语义分割方法
CN112967317B (zh) 一种动态环境下基于卷积神经网络架构的视觉里程计方法
Wang et al. MSF-Net: Multi-Scale Feedback Reconstruction for Guided Depth Map Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant