CN113011523A - 一种基于分布对抗的无监督深度领域适应方法 - Google Patents
一种基于分布对抗的无监督深度领域适应方法 Download PDFInfo
- Publication number
- CN113011523A CN113011523A CN202110401067.6A CN202110401067A CN113011523A CN 113011523 A CN113011523 A CN 113011523A CN 202110401067 A CN202110401067 A CN 202110401067A CN 113011523 A CN113011523 A CN 113011523A
- Authority
- CN
- China
- Prior art keywords
- domain
- network
- discriminator
- data
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 230000006978 adaptation Effects 0.000 title claims abstract description 52
- 238000009826 distribution Methods 0.000 claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000011478 gradient descent method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 26
- 230000014509 gene expression Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000007480 spreading Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 14
- 238000013508 migration Methods 0.000 description 20
- 230000005012 migration Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000002472 multi-metal deposition Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 230000003042 antagnostic effect Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- HJVCHYDYCYBBQX-HLTLHRPFSA-N (2s,3s,4e,6e,8s,9s)-3-amino-9-methoxy-2,6,8-trimethyl-10-phenyldeca-4,6-dienoic acid Chemical compound OC(=O)[C@@H](C)[C@@H](N)/C=C/C(/C)=C/[C@H](C)[C@@H](OC)CC1=CC=CC=C1 HJVCHYDYCYBBQX-HLTLHRPFSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- PBLZLIFKVPJDCO-UHFFFAOYSA-N omega-Aminododecanoic acid Natural products NCCCCCCCCCCCC(O)=O PBLZLIFKVPJDCO-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010206 sensitivity analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013485 heteroscedasticity test Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分布对抗的无监督深度领域适应方法，包括以下步骤：获取待分析数据；建立深度网络模型；数据的前向传播；构造损失函数包括标签分类器的损失，领域判别器的损失，多核最大均值差异以及全局损失函数；使用mini‑batch随机梯度下降法进行参数更新。本方法融合了特征分布与领域对抗，使其共同作用于网络模型，提高模型的领域适应能力。所提方法基于卷积神经网络实现，在分类器的全连接层进行特征分布匹配，使用MK‑MMD衡量领域间的特征分布差异，同时在卷积层后搭建两层全连接网络作为领域判别器进行领域对抗。综合大量实验证明了所提方法能够提高深度网络模型的领域适应能力。
Description
技术领域
本发明属于深度学习领域，特别涉及一种基于分布对抗的无监督深度领域适应方法。
背景技术
领域适应可以分为两类：浅层领域适应和深度领域适应。浅层领域适应包含：实例权重重调，特征扩充，特征空间对齐和特征变换。实例权重重调方法的主要思想是根据 实例似然比进行权重调整，如领域分类器的独立后验概率，或通过KL散度衡量密度函 数差异。而特征扩充法则根据测地流采样和测地流核等理论把原始特征嵌入d维线性子 空间，并将数据视为格拉兹曼流形上的点，通过探索不同域局部几何结构拉近领域间距 离。特征空间对齐强调将源特征与目标特征对齐，如子空间对齐通过最小化子空间之间 的布雷格曼散度来寻求对齐。线性相关对齐通过对齐不同领域的二阶统计量来减少源和 目标分布的领域漂移。特征变换法，典型方法有迁移成分分析，把源域与目标域投影到 潜在空间中来缩小领域间的分布差异。
与浅层领域适应不同，深度领域适应是在深度网络模型下建立的领域适应方法。最 近研究表明深度神经网络能够学习到更多的迁移表示，其利用领域不变因素对数据分层 提取特征，效果优于人工特征方法，在分类任务中表现更为出色。然而文献表明，深度特征从输入到输出层逐渐从一般转向特殊，特征可迁移性在较高层时急剧下降，提取深 度神经网络的任务特定层特征，反而会增大领域差异。如何令源领域训练的深度模型在 目标域中也能够很好工作，引起了研究人员的更多探讨。这一类工作中，最大均值差异(Maximum Mean Discrepancy，MMD)被广泛用于匹配不同域的分布，如深度适应网 络，联合适应网络，残差迁移网络等均把MMD嵌入深度神经网络的特定层，通过减小 MMD损失来更新网络适应层，从而学习到更多的可迁移特征。
近来，生成对抗网络(Generative Adversarial Nets，GANs)在深度学习领域中大放 异彩，对抗博弈的思想也被广泛应用于领域适应中。一些方法提出利用GANs将源域图像转换为目标域图像，并利用生成的目标域图像训练分类器。然而，当源域和目标域分 布完全不同时，会产生梯度消失现象，导致对抗训练的效果变差。另一些方法对GANs 改进后再用源域与目标域数据进行训练，使对抗方法的领域适应能力得到提高。其策略 是把生成器改为特征提取器，判别器改为领域分类器，如在领域混淆的基础上添加软标 签损失来描述数据类别相似度，这样做既拉近了领域间特征分布，又拉近了相似类别数 据的分布。此外，梯度反转层嵌入深度网络中，利用对抗学习中博弈思想让特征提取器 “迷惑”领域判别器达到领域适应的目的。
发明内容
针对在深度领域适应现存方法中出现的负迁移及欠适配等问题，提出一种基于分布 对抗的无监督深度领域适应方法，主要解决无监督领域适应问题。
本发明的目的是通过以下技术方案，包括以下步骤：
(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和 领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域 数据定义为
目标域数据定义为
(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器Gf、全连接层构成的标签分类器Gy和领域判别器Gd；
(3)数据的前向传播：特征提取器Gf对源域和目标域分别提取特征f，之后分两 路将各自领域特征向网络更高层传播：一路传给标签分类器Gy，另一路传给领域判别 器Gd；
(4)构造损失函数：建立对深度网络模型参数进行更新的损失函数；
(4.1)计算标签分类器的损失Ly；
(4.2)计算领域判别器的损失Ld；
(4.3)计算多核最大均值差异；
(4.4)计算全局损失函数L；
(5)模型训练过程：使用mini-batch随机梯度下降法进行参数更新；通过反向传播训练模型的特征提取器、标签分类器与领域判别器。
进一步的，步骤(2)中所述特征提取器Gf负责提取特征f，f＝Gf(x,θf)；
所述标签分类器Gy的预测值设为y′，y′＝Gy(f,θy)
所述领域判别器Gd预测标签设为d′，d′＝Gd(f,θd)；
其中，θf、θy与θd分别表示特征提取器、标签分类器与领域判别器的网络权值。
进一步的，步骤(3)中所述标签分类器Gy由两路全连接网络组成，即源域与目标域全连接网络，两路网络权重共享，结构相同；源域的全连接网络通过源域标签数据进 行训练，使其能够进行标签分类；
所述领域判别器Gd采用两层全连接结构，作用为二分类器，能够区分特征提取器Gf所提取的特征f所属的领域。
进一步的，所述步骤(4.1)中标签分类器损失的表达式为：
其中，ns为源域数据总个数，
和
分别表示源域第i个样本和第i个样本的类别标签；LC(·,·)为交叉熵损失函数即
表示最后一层分类层输出的特征对应于所有类别的概率分布，
表示源域第i个样本属 于第e类的概率，C为类别总数。
进一步的，所述步骤(4.2)中领域判别器损失的表达式为：
其中，LD表示领域判别器交叉熵，xi和di分别表示第i个样本和第i个样本的域标签，n表示样本总数；
由此得到领域对抗网络的目标函数表达式：
其中，ns,nt分别为源域与目标域数据个数，且ns+nt＝n；λ为平衡系数，用来平 衡分类损失和领域判别损失所占比例；Ds为源域数据，Dt为目标域数据；xi和di分别 表示源域和目标域并集中的第i个样本和第i个样本的域标签，
和
分别表示源域第 i个样本和第i个样本的类别标签。
进一步的，所述步骤(4.3)中多核最大均值差异MK-MMD的计算公式为：
其中，
和
表示源域第i个样本和第j个样本；
分别表示目标域第i个样本和第j个样本，Fs l,Ft l分别为源域与目标域全连接层第l层输出特征，Mk(Fs l,Ft l)表示 Fs l,Ft l的MK-MMD距离，k是表示m个核函数的凸组合，即：
其中，ku表示第u个核函数，βu为ku的系数，且βu＞0，所有核函数的系数相加 为1。
进一步的，所述步骤(4.4)中全局损失函数的计算公式为：
其中，λ,γ为平衡参数，分别用于控制判别器Gd与MK-MMD对整个函数的影响 程度，H为Gy中所有全连接层总数，Fs l,Ft l分别为源域与目标域全连接层第l层输出特 征，Mk(Fs l,Ft l)表示Fs l,Ft l的MK-MMD距离。
进一步的，所述步骤(5)中训练过程具体为：
整个训练使用mini-batch随机梯度下降法进行参数更新，网络θf和θy的初始权重为卷积神经网络通过ImageNet训练好的网络参数，设学习率为μ，θf+y为模型卷积 层和全连接层的总体权重；
当领域判别器的损失Ld对θf进行梯度更新时，在反向传播的过程中经过梯度反转层，所以当θf不断更新会使Ld越来越大，这就达到了特征提取器Gf迷惑领域判别器 Gd的目的，同时Ly对θy更新保证分类器精度，又因为θd的不断更新会使Ld越来越小， 所以Gd的判别能力会随着θd的不断更新越来越强，Gf与Gd通过训练不断地对抗变强， 领域对抗网络在训练迭代过程中，领域判别器与特征提取器相互对抗，Gd的判别能力 与Gf迷惑能力不断对抗提高，使得网络学习到更多的领域不变量；Mk为源域目标域特 征分布的总多核最大均值差异，其对θf+y进行更新，使Gf在不同领域所提特征更加 相似；所以通过共同优化Ld与Mk使整个模型学到领域不变量；
当损失收敛时训练结束，整个网络各部分权重参数达到一个鞍点
表达式为：
有益效果：
本发明综合考虑特征分布与领域判别器两方面因素，同时嵌入深度神经网络。一方 面通过领域间整体分布差异将源域与目标域拉近，另一方面在领域间分布对齐的同时利 用领域判别器对个体样本进行判别，这种结构兼顾了特征分布与单一样本的迁移性，能实现更好的领域适应效果。
本发明融合特征分布与领域对抗的方法实现领域适应，兼顾了样本的整体与局部特 性。通过结合领域特征分布匹配与领域对抗技术使其嵌入深度神经网络中，实现整体和局部可迁移特性的学习，起到能力互补作用并提高分类精度。通过在Office-31、ImageCLEF-DA与Office-Home等数据集上实验，证明所提模型的分类精度不仅优于其 中单独的方法，更是优于目前其他一些主流方法，通过实验证明了该方法在领域适应中 的有效性。
附图说明
图1是本发明方法网络系统结构图。
图2是本发明方法可视化分析图。
图3是本发明方法Office31数据集上多种方法的跨领域A-distance比较图。
具体实施方式
下面结合附图及具体实施例，对本发明做进一步说明。
深度领域适应是在不同分布情况下，跨越源域和目标域进行分类识别的深度学习方 法。主流深度领域适应分为两类：其一将领域适应模块嵌入深度神经网络的特定任务层， 用基于统计学的距离度量方法衡量源域与目标域的特征分布差异，通过最小化差异拉近 两个域的特征分布；其二采用对抗学习机制，在网络中加入领域判别器，通过与网络特征提取层相互对抗学习领域不变量。前者在拉近两个域的整体分布时会忽略单个样本自身特性，易产生“负迁移”现象。后者利用领域判别器判断个体样本，忽视了整体分布 特性，可能会陷入局部最优解。因此，单独使用特征分布或领域对抗技术都无法得到理 想的迁移效果。
本方法包括以下步骤：
(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和 领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域 数据定义为
目标域数据定义为
(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器Gf、全连接层构成的标签分类器Gy和领域判别器Gd；所述特征提取器Gf负责提取特征f，f＝Gf(x,θf)；
所述标签分类器Gy的预测值设为y′，y′＝Gy(f,θy)
所述领域判别器Gd预测标签设为d′，d′＝Gd(f,θd)；
其中，θf、θy与θd分别表示特征提取器、标签分类器与领域判别器的网络权值。
(3)数据的前向传播：特征提取器Gf对源域和目标域分别提取特征f，之后分两 路将各自领域特征向网络更高层传播：一路传给标签分类器Gy，另一路传给领域判别 器Gd；所述标签分类器Gy由两路全连接网络组成，即源域与目标域全连接网络，两路 网络权重共享，结构相同；源域的全连接网络通过源域标签数据进行训练，使其能够进 行标签分类；
所述领域判别器Gd采用两层全连接结构，作用为二分类器，能够区分特征提取器Gf所提取的特征f所属的领域。通过训练，Gf提出的特征既能满足类别可分 Gy(f,θy)＝y′≈y，又可以迷惑Gd使其无法分辨其所属领域Gd(f,θd)＝d′≠d，同时所 提特征使得领域间的特征分布差异最小，那么Gf就具有了提取领域不变特征的能力， 整个模型也就具有领域自适应的能力。
(4)构造损失函数：建立对深度网络模型参数进行更新的损失函数；
(4.1)计算标签分类器的损失Ly；标签分类器损失的表达式为：
其中，ns为源域数据总个数，
和
分别表示源域第i个样本和第i个样本的类别标签；LC(·,·)为交叉熵损失函数即
表示最后一层分类层输出的特征对应于所有类别的概率分布，
表示源域第i个样本属 于第e类的概率，C为类别总数。
(4.2)计算领域判别器的损失Ld；领域判别器损失的表达式为：
其中，LD表示领域判别器交叉熵，xi和di分别表示第i个样本和第i个样本的域标签，n表示样本总数；
由此得到领域对抗网络的目标函数表达式：
其中ns,nt分别为源域与目标域数据个数，且ns+nt＝n；λ为平衡系数，用来平衡 分类损失和领域判别损失所占比例；Ds为源域数据，Dt为目标域数据；xi和di分别表 示源域和目标域并集中的第i个样本和第i个样本的域标签，
和
分别表示源域第i 个样本和第i个样本的类别标签。
(4.3)计算多核最大均值差异；
对于判断两个分布是否相同，我们可以使用MMD的统计检验方法，具体指：基于 两个分布p和q的样本，通过寻找在样本空间上的连续函数
求不同分 布的样本在f上的函数值的均值，通过求两个均值的差可以得到两个分布对应于f的平 均差异。寻找一个f使得这个平均差异有最大值，这样就得到了MMD。最后取MMD 作为检验统计量，从而判断两个分布是否相同。如果这个值小于一个设定的阈值，就认 为两个分布相同，否则不同。同时这个值也用来判断两个分布之间的相似程度。如果用 F表示在样本空间中一类连续函数f的集合，则MMD可以表示为：
MMD[F,p,q]:＝Supf∈F(Ex～p[f(x)]-Ey～q[f(y)]) (4)
假设X，Y分别是从分布p，q通过独立同分布采样得到的数据集，数据集的大小 分别为m和n。基于X和Y可以得到MMD的经验估计为：
使用多核最大均值差异(MK-MMD)进行领域适应工作，并验证其适应效果比单 核更好。
多核最大均值差异MK-MMD的计算公式为：
其中，
和
表示源域第i个样本和第j个样本；
分别表示目标域第i个样本和第j个样本，Fs l,Ft l分别为源域与目标域全连接层第l层输出特征，Mk(Fs l,Ft l)表示 Fs l,Ft l的MK-MMD距离，k是表示m个核函数的凸组合，即：
其中，ku表示第u个核函数，βu为ku的系数，且βu＞0，所有核函数的系数相加 为1。
(4.4)计算全局损失函数L；全局损失函数的计算公式为：
其中，λ,γ为平衡参数，分别用于控制判别器Gd与MK-MMD对整个函数的影响 程度，H为Gy中所有全连接层总数，Fs l,Ft l分别为源域与目标域全连接层第l层输出特 征，Mk(Fs l,Ft l)表示Fs l,Ft l的MK-MMD距离。
(5)模型训练过程：使用mini-batch随机梯度下降法进行参数更新；通过反向传播训练模型的特征提取器、标签分类器与领域判别器。
整个训练使用mini-batch随机梯度下降法进行参数更新，网络θf和θy的初始权重为卷积神经网络通过ImageNet训练好的网络参数，设学习率为μ，θf+y为模型卷积 层和全连接层的总体权重；
当领域判别器的损失Ld对θf进行梯度更新时，在反向传播的过程中经过梯度反转层，所以当θf不断更新会使Ld越来越大，这就达到了特征提取器Gf迷惑领域判别器 Gd的目的，同时Ly对θy更新保证分类器精度，又因为θd的不断更新会使Ld越来越小， 所以Gd的判别能力会随着θd的不断更新越来越强，Gf与Gd通过训练不断地对抗变强， 领域对抗网络在训练迭代过程中，领域判别器与特征提取器相互对抗，Gd的判别能力 与Gf迷惑能力不断对抗提高，使得网络学习到更多的领域不变量；Mk为源域目标域特 征分布的总多核最大均值差异，其对θf+y进行更新，使Gf在不同领域所提特征更加 相似；所以通过共同优化Ld与Mk使整个模型学到领域不变量；
当损失收敛时训练结束，整个网络各部分权重参数达到一个鞍点
表达式 为：
(6)实验准备：本文采用三个标准数据集：Office-31、Office-Home和ImageCLEF-DA。 对于所有深度网络模型，将原始图像数据作为网络输入，对于浅层模型使用AlexNet和ResNet卷积层所提出的特征作为模型输入。
(7)数据集如下：
(7.1)Office-31是迁移学习最通用的开放性数据集，图片总数4652张，有3个不同领域：分别为Amazon(A)，DSLR(D)，Webcam(W)，每个领域包含相同种类31 类办公室环境图片。该数据集下共有6个迁移任务分别是：A→D，A→W，D→A， D→W，W→A，W→D。
(7.2)ImageCLEF-DA是ImageCLEF 2014领域适应挑战赛的基准数据集，其通过 选择3个公开图像数据集中12个共有类别图片组成，每个数据集可视作一个域： Caltech-256(C)，ImageNet ILSVRC(I)和Pascal VOC 2012(P)。12个共有类分别是： 飞机、自行车、蜂鸟、船、瓶子、学校巴士、轿车、狗、马、显示器、摩托车和人。每 个类别有50幅图像，每个域有600幅图像。本文构建6个迁移任务：I→P，P→I，I→C， C→I，C→P，P→C。与Office-31不同，该数据集所有领域的图像尺寸一致，可 视作Office-31数据集的补充数据，利用该数据集能够拓展更多的实验操作，使得方法 验证更加全面。
(7.3)Office-Home是迁移学习中更具有挑战性的数据集，图片总数15500张，包含4个领域分别为：Art(Ar)，Clipart(Cl)，Product(Pr)，Real-World(Rw)，每个领 域下都有相同的65个种类的图片，该数据集能够组成12个迁移任务。相比Office-31 和ImageCLEF-DA，Office-Home数据量更大，图像类别更多，迁移任务更多，更具挑 战性。
(8)对比方法：选取了具有代表性的领域适应方法和深度方法进行比较：迁移成分分析(Transfer Component Analysis，TCA)，测地线流核(Geodesic Flow Kernel，GFK)，子空间对齐(Subspace Alignment，SA)，深度相关性对齐(DeepCORAL)，深度领域混 淆(Deep Domain Confusion，DDC)，深度适应网络(Deep Adaptation Network，DAN)， 残差迁移网络(Residual Transfer Network，RTN)，领域对抗神经网络(Domain-AdversarialNeural Network，DANN)，对抗判别领域适应(Adversarial Discriminative DomainAdaptation，ADDA)，协同对抗网络(Collaborative and Adversarial Network，CAN)，联合对齐判别适应(Joint Domain Alignment and Discriminative Adaption，JDDA)。其中TCA 基于MMD正则核方法PCA学习一个共享特征空间进行迁移。GFK是一种流形学习方 法，它通过在无限多个中间子空间上插值来连接域。SA通过将源域子空间与目标域子 空间对齐来寻找一个域不变的特征空间。DeepCORAL将CORAL方法扩展到深度网络 中，通过对齐源域与目标域特征的协方差进行领域适应。DDC是第一个利用线性核 MMD的方法，对AlexNet的自适应层进行正则化使域不变性最大化。DAN通过在再生 核希尔伯特空间嵌入多个任务特定层的深度特征，并使用最优的多核MMD匹配不同的 分布，从而学习可迁移特征。RTN通过深度残差学习，联合学习可迁移特征和自适应分 类器。DANN根据对抗学习原理，利用梯度反转层使得领域判别器分辨不出源域与目标 域特征达到学习领域不变量目的。
(9)参数设置：实验遵循无监督领域适应的标准评估协议，把AlexNet，ResNet 作为基本框架，所有实验均为无监督领域适应，使用有标签源域样本和无标签目标域样 本进行训练。所提方法在整个实验中：用两层全连接网络作为领域判别器；对于超参数 平衡系数，设定λ＝0.1，γ＝1，我们的方法是基于PyTorch实现的，并且对于基本框 架AlexNet与ResNet，都是通过ImageNet数据集预训练过的模型，微调所有卷积层与 池化层，并且通过反向传播训练模型的标签分类器与领域判别器。对于模型中未加载预 训练参数的层(如标签分类器的输出层，领域判别器的所有层)，随机初始化其网络权 重从头训练，并把这些层的学习率设置为加载预训练参数层的10倍。整个训练使用 mini-batch随机梯度下降法(SGD)进行参数更新，其动量设置为0.9，学习率依据DANN 采用退火策略：由于网格搜索的计算量大，所以学习速率不是由网格搜索来选择的，而 是设置学习率为
其中p是随着训练整个过程从0到1的线性变换， ηo＝0.01，α＝10以及β＝0.75，这能在源域上加速收敛并减小误差。在训练的早期阶 段为了抑制噪声影响，本文在超参数λ与γ前乘以系数
其中δ＝10，ρ 也是逐步从0变化到1。以上这种渐进式训练策略对于稳定所提方法的参数敏感性效果 显著。
基于AlexNet与ResNet-50在数据集Office-31上的无监督域自适应分类精度结果如 表1所示。为了公平比较，所有对比试验均从该方法原始论文中得到结果。在基于AlexNet 比较中所提方法几乎优于所有对比方法，同时在基于ResNet下该方法与ADDA方法所 取得的效果相当但总体精度略优于前者。值得注意的是，本方法大大提高了困难迁移任务(hard transfer tasks)的分类精度，如D→A，W→A，这些任务的源域和目标域有 很大差别，同时目标域样本数量比源域小；并且本方法在简单迁移任务中(源域与目标 域比较相似)，如D→W，W→D，其分类精度接近甚至达到100％，已基本解决这些 任务的领域适应问题。尤其在基于AlexNet框架下所提方法平均精度比DAN与DANN 分别高出2％和0.6％，在ResNet下更是比他们高出3％和1.2％，这说明本方法通过融合 特征分布与领域对抗可以学习到更多的可迁移特征，从而获得更有效的领域适应能力。
表1无监督领域适应(AlexNet与ResNet-50)在Office-31准确度(％)
基于ResNet-50在数据集ImageCLEF-DA上的无监督域自适应分类精度结果如表2所示。该数据集作为Office-31的补充与拓展，任务量及图片种类数两者相当，该实验 可以看作在另一个新环境下进行与表1同等难度的领域适应任务。从表2可以看出本方 法在6个迁移任务中有5个结果达到最优，且平均精度远远超出其他方法，尤其对比 DAN更加明显。通过该实验可以看出，由于DAN在该数据集上只匹配整体数据的特征 分布距离，忽视了样本间的差异性，所以造成负迁移现象使得其准确率不高，其平均精 度比本方法低6％，并且DANN平均精度也比本方法低3.5％。
表2无监督领域适应(ResNet-50)在ImageCLEF-DA准确度(％)
基于ResNet-50在数据集Office-Home上的无监督域自适应分类精度结果如表3所示，在这个数据集下包含12个迁移任务65种图片类别，数据量更多且领域间的差别更 大，所以对于领域适应难度更高；把ResNet-50精度设为基准线，选取DAN与DANN 进行比较，可以看出所提方法的优越性更加明显，在所有任务中本文方法均为最优结果。 值得强调的是，在有些任务中(如Ar→Pr，Cl→Ar，Pr→Ar等)所提方法的精度比 上述两种方法接近甚至高出10％以上，同时平均精度比DAN与DANN分别高出8.5％ 和7.2％，更是远超基准线的精度。所以通过该实验可以看出，对于数据量大任务多的 数据集，所提方法的领域适应能力更加强大。
表3无监督领域适应(ResNet-50)在Office-Home准确度(％)
分析上述实验结果，可以得出以下结论：(1)标准的深度学习方法(AlexNet和ResNet) 优于使用深度特征作为输入的传统的浅层迁移学习方法(TCA和GFK)。这证实了当前 的深度学习，即使是最深层的网络(ResNet)，也可以学习抽象的特征表示，但这只能 减少而不能消除跨域差异。(2)深度迁移学习方法基本上优于以深度特征为输入的标准 深度学习方法和传统的浅层迁移学习方法。这验证了通过将领域域适应模块(如MMD， 领域判别网络)嵌入深度网络(DDC、DAN、RTN和DANN)，能够显著地减少跨域差 异，并且可以学习到更多可迁移特性。(3)从实验结果可以看出，通过融合特征分布与 领域对抗，其适应效果比单独使用任意一种方法更好，这也验证了本文的目的，即所提 方法既能学到样本的整体可迁移特性又能学到局部可迁移特性，通过能力互补提高了目 标域的分类精度。
为了显示特征的可迁移性，我们选取Office-31(31类)6个任务，并利用t-SNE嵌入技术分别对ResNet，DAN，DANN和所提方法的特征(各自瓶颈层输出的特征)进 行降维可视化。如图2所示，从上(ResNet)到下(FDAN-UDA)，源域和目标域的重 合度越来越好。特别是所提方法生成的表示正好形成了31个具有明确边界的集群，同 时源域与目标域在每个集群上的重合度达到最高。通过所提方法较好的可视化结果表明， 该方法能够学到样本的整体和局部的可迁移特征，进而增强了网络的领域适应能力。
领域适应理论建议使用A-distance衡量跨领域间的差异，其能够联合源域风险限制 目标域风险，A-distance定义为dA＝2(1-2ε)，其中ε是分类器(如核方法SVM)在识 别源域和目标域的双任务上的泛化误差。图3展现了Office-31数据集6个任务的ResNet， DAN，DANN和所提方法的dA。可以看出使用所提方法特征的dA比使用ResNet，DAN 和DANN特征的dA要小得多，这表明所提方法可以更有效地减少跨域差距。由于D和 W相似，任务D→W的dA比A→W小得多，这很好地解释了D→W迁移任务的准确 性更高的原因。
表4超参数敏感性分析
所提方法涉及两个超参数，领域判别器Gd的λ和特征分布差异Mk的γ，它们的作 用是平衡两个惩罚项对于整个损失函数的影响，我们对任务A→W(31类)进行了超 参数敏感性分析，我们选取λ＝{0.01,0.05,0.1,1,2}，γ＝{0.01,0.05,0.1,1,2}，对λ与γ排 列组合，逐一进行实验(如固定λ＝1，γ＝{0.01,0.05,0.1,1,2}进行5次实验)，总共尝试 了25对超参数组合。如表4所示，当λ＝0.1，γ＝1时准确度最高，另外当λ与γ同时 取大时准确度会迅速下降，这表明领域判别器与特征分布差异的影响变大时，网络对样 本种类可分性变差，即网络分类能力退化。
本方法提出了一种融合特征分布与领域对抗的领域适应方法。对比只通过减小领域 间特征分布差异的方法与深度网络中加入领域判别器方法，本文所提方法结合特征分布 与领域对抗，把融合后的适应模块共同嵌入到深度神经网络中，一方面通过衡量领域间整体分布差异将源域与目标域拉近，另一方面在两个域分布对齐的同时利用领域判别器对每个样本进行判别，这种结构同时兼顾分布整体与单一样本的可迁移特性，能够实现 更好的领域自适应效果。同时融合后的适应模块能够成为嵌入深度神经网络的通用模块， 对多种深度网络都适用。综合大量试验结果表明，该模型在精度上优于目前最先进的一 些方法，证明了所提方法能够提高深度网络模型的领域适应能力。
Claims (8)
1.一种基于分布对抗的无监督深度领域适应方法，其特征在于，该方法包括以下步骤：
(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域数据定义为
目标域数据定义为
(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器Gf、全连接层构成的标签分类器Gy和领域判别器Gd；
(3)数据的前向传播：特征提取器Gf对源域和目标域分别提取特征f，之后分两路将各自领域特征向网络更高层传播：一路传给标签分类器Gy，另一路传给领域判别器Gd；
(4)构造损失函数：建立对深度网络模型参数进行更新的损失函数；
(4.1)计算标签分类器的损失Ly；
(4.2)计算领域判别器的损失Ld；
(4.3)计算多核最大均值差异；
(4.4)计算全局损失函数L；
(5)模型训练过程：使用mini-batch随机梯度下降法进行参数更新；通过反向传播训练模型的特征提取器、标签分类器与领域判别器。
2.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，步骤(2)中所述特征提取器Gf负责提取特征f，f＝Gf(x,θf)；
所述标签分类器Gy的预测值设为y′，y′＝Gy(f,θy)
所述领域判别器Gd预测标签设为d′，d′＝Gd(f,θd)；
其中，θf、θy与θd分别表示特征提取器、标签分类器与领域判别器的网络权值。
3.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，步骤(3)中所述标签分类器Gy由两路全连接网络组成，即源域与目标域全连接网络，两路网络权重共享，结构相同；源域的全连接网络通过源域标签数据进行训练，使其能够进行标签分类；
所述领域判别器Gd采用两层全连接结构，作用为二分类器，能够区分特征提取器Gf所提取的特征f所属的领域。
4.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，所述步骤(4.1)中标签分类器损失的表达式为：
其中，ns为源域数据总个数，
和
分别表示源域第i个样本和第i个样本的类别标签；LC(·,·)为交叉熵损失函数即
表示最后一层分类层输出的特征对应于所有类别的概率分布，
表示源域第i个样本属于第e类的概率，C为类别总数。
5.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，所述步骤(4.2)中领域判别器损失的表达式为：
其中，LD表示领域判别器交叉熵，xi和di分别表示第i个样本和第i个样本的域标签，n表示样本总数；
由此得到领域对抗网络的目标函数表达式：
其中，ns,nt分别为源域与目标域数据个数，且ns+nt＝n；λ为平衡系数，用来平衡分类损失和领域判别损失所占比例；Ds为源域数据，Dt为目标域数据；xi和di分别表示源域和目标域并集中的第i个样本和第i个样本的域标签，
和
分别表示源域第i个样本和第i个样本的类别标签。
6.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，所述步骤(4.3)中多核最大均值差异MK-MMD的计算公式为：
其中，
和
表示源域第i个样本和第j个样本；
分别表示目标域第i个样本和第j个样本，Fs l,Ft l分别为源域与目标域全连接层第l层输出特征，Mk(Fs l,Ft l)表示Fs l,Ft l的MK-MMD距离，k是表示m个核函数的凸组合，即：
其中，ku表示第u个核函数，βu为ku的系数，且βu>0，所有核函数的系数相加为1。
7.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，所述步骤(4.4)中全局损失函数的计算公式为：
其中，λ,γ为平衡参数，分别用于控制判别器Gd与MK-MMD对整个函数的影响程度，H为Gy中所有全连接层总数，Fs l,Ft l分别为源域与目标域全连接层第l层输出特征，Mk(Fs l,Ft l)表示Fs l,Ft l的MK-MMD距离。
8.根据权利要求1所述一种基于分布对抗的无监督深度领域适应方法，其特征在于，所述步骤(5)中训练过程具体为：
整个训练使用mini-batch随机梯度下降法进行参数更新，网络θf和θy的初始权重为卷积神经网络通过ImageNet训练好的网络参数，设学习率为μ，θf+y为模型卷积层和分类器全连接层的总体权重；
当领域判别器的损失Ld对θf进行梯度更新时，在反向传播的过程中经过梯度反转层，所以当θf不断更新会使Ld越来越大，这就达到了特征提取器Gf迷惑领域判别器Gd的目的，同时Ly对θy更新保证分类器精度，又因为θd的不断更新会使Ld越来越小，所以Gd的判别能力会随着θd的不断更新越来越强，Gf与Gd通过训练不断地对抗变强，领域对抗网络在训练迭代过程中，领域判别器与特征提取器相互对抗，Gd的判别能力与Gf迷惑能力不断对抗提高，使得网络学习到更多的领域不变量；Mk为源域目标域特征分布的总多核最大均值差异，其对θf+y进行更新，使Gf在不同领域所提特征更加相似；所以通过共同优化Ld与Mk使整个模型学到领域不变量；
当损失收敛时训练结束，整个网络各部分权重参数达到一个鞍点
表达式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110401067.6A CN113011523A (zh) | 2021-04-14 | 2021-04-14 | 一种基于分布对抗的无监督深度领域适应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110401067.6A CN113011523A (zh) | 2021-04-14 | 2021-04-14 | 一种基于分布对抗的无监督深度领域适应方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113011523A true CN113011523A (zh) | 2021-06-22 |
Family
ID=76388991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110401067.6A Pending CN113011523A (zh) | 2021-04-14 | 2021-04-14 | 一种基于分布对抗的无监督深度领域适应方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011523A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113567130A (zh) * | 2021-07-28 | 2021-10-29 | 江南大学 | 基于设备多工况的轴承故障诊断方法 |
| CN114359577A (zh) * | 2021-12-22 | 2022-04-15 | 重庆理工大学 | 一种三维磁共振脑部图像分析方法及其应用 |
| CN117454256A (zh) * | 2023-12-26 | 2024-01-26 | 长春工程学院 | 基于人工智能的地质勘测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368463A (zh) * | 2017-07-11 | 2017-11-21 | 中国矿业大学 | 基于光纤光栅传感网络数据的巷道非线性变形预测方法 |
| US20190286073A1 (en) * | 2018-03-16 | 2019-09-19 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN111368886A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种基于样本筛选的无标注车辆图片分类方法 |
-
2021
- 2021-04-14 CN CN202110401067.6A patent/CN113011523A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368463A (zh) * | 2017-07-11 | 2017-11-21 | 中国矿业大学 | 基于光纤光栅传感网络数据的巷道非线性变形预测方法 |
| US20190286073A1 (en) * | 2018-03-16 | 2019-09-19 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN111368886A (zh) * | 2020-02-25 | 2020-07-03 | 华南理工大学 | 一种基于样本筛选的无标注车辆图片分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 金余丰;刘晓锋;姚美常;黄凤良;: "基于域对抗迁移的变工况滚动轴承故障诊断模型", 自动化仪表, no. 12, 20 December 2019 (2019-12-20) * |
| 黄霄汉: ""基于深度领域适应的图像分类研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2021 (2021-01-15), pages 3 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113567130A (zh) * | 2021-07-28 | 2021-10-29 | 江南大学 | 基于设备多工况的轴承故障诊断方法 |
| CN114359577A (zh) * | 2021-12-22 | 2022-04-15 | 重庆理工大学 | 一种三维磁共振脑部图像分析方法及其应用 |
| CN117454256A (zh) * | 2023-12-26 | 2024-01-26 | 长春工程学院 | 基于人工智能的地质勘测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qi et al. | A novel unsupervised camera-aware domain adaptation framework for person re-identification | |
| CN110837850B (zh) | 一种基于对抗学习损失函数的无监督域适应方法 | |
| CN111814871B (zh) | 一种基于可靠权重最优传输的图像分类方法 | |
| CN108717568B (zh) | 一种基于三维卷积神经网络的图像特征提取与训练方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN113011523A (zh) | 一种基于分布对抗的无监督深度领域适应方法 | |
| CN110321926B (zh) | 一种基于深度残差修正网络的迁移方法及系统 | |
| CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
| CN107066951B (zh) | 一种人脸自发表情的识别方法及系统 | |
| CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
| CN109711426A (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| Wu et al. | Enhancing TripleGAN for semi-supervised conditional instance synthesis and classification | |
| CN113627543B (zh) | 一种对抗攻击检测方法 | |
| CN113361346B (zh) | 一种替换调节参数的尺度参数自适应的人脸识别方法 | |
| Liu et al. | APSNet: Toward adaptive point sampling for efficient 3D action recognition | |
| CN114444374A (zh) | 一种基于相似性度量的多源到多目标域自适应的方法 | |
| CN116386853A (zh) | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 | |
| Ye et al. | Reducing bias to source samples for unsupervised domain adaptation | |
| CN109543637A (zh) | 一种人脸识别方法、装置、设备以及可读存储介质 | |
| CN114863176A (zh) | 基于目标域移动机制的多源域自适应方法 | |
| Lu et al. | Label-noise learning with intrinsically long-tailed data | |
| EP4154175A1 (en) | Learning proxy mixtures for few-shot classification | |
| US20240320493A1 (en) | Improved Two-Stage Machine Learning for Imbalanced Datasets | |
| CN110490053B (zh) | 一种基于三目摄像头深度估计的人脸属性识别方法 | |
| CN115439791A (zh) | 跨域视频动作识别方法、装置、设备和计算机可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |