CN109948648A - 一种基于元对抗学习的多目标域适应迁移方法及系统 - Google Patents
一种基于元对抗学习的多目标域适应迁移方法及系统 Download PDFInfo
- Publication number
- CN109948648A CN109948648A CN201910100377.7A CN201910100377A CN109948648A CN 109948648 A CN109948648 A CN 109948648A CN 201910100377 A CN201910100377 A CN 201910100377A CN 109948648 A CN109948648 A CN 109948648A
- Authority
- CN
- China
- Prior art keywords
- domain
- network
- sub
- aiming field
- goal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 29
- 230000005012 migration Effects 0.000 title claims abstract description 28
- 238000013508 migration Methods 0.000 title claims abstract description 28
- 241001269238 Data Species 0.000 claims abstract description 7
- 238000012512 characterization method Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000000644 propagated effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于元对抗学习的多目标域适应迁移方法及系统，该方法包括：步骤S1，获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签；步骤S2，使用源域数据、多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源‑目标域判别器和子目标域判别器；步骤S3，判断是否达到更新周期，若达到更新周期，则进行步骤S4，若没有达到，则进行步骤S5；步骤S4，将所有目标域数据与当前网络中产生的目标域特征数据通过元学习者进行聚类，更新所述伪子目标域类别标签；步骤S5，返回步骤S2，直至模型收敛或达到最大迭代次数时停止训练。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于元对抗学习的多目标域适应迁移方法及系统。
背景技术
随着数据的规模不断变大以及所导致的依靠人工进行信息标注的成本上升，迁移学习中域适应方法逐渐成为机器学习领域中一项十分重要的研究课题。域适应(domainadaptation)的目标是适配不同域之间数据的特征分布，从而提升不同域之间分类器迁移后的性能表现，解决目标域数据缺乏标注信息的难题。域适应迁移方法同时也是工业界的一项关键技术手段，在人脸识别、自动驾驶、医学影像等诸多领域均有重要应用。
目前，绝大部分的域适应学习方法主要关注在单一源域到单一目标域的迁移过程上，并依赖于单一源域标签集合与单一目标域标签集合一致的假设。Yaroslav Ganin等人在文献“Domain-Adversarial Training of Neural Networks”(Journal of MachineLearning Research,2016,17(59):1-35)中公开了一种针对图像分类的单源域适应方法，其通过引入域间分类器对源域与目标域图像的特征分布进行对抗学习，得到一种领域无关的特征表示，提高目标域图像在迁移后的分类性能。然而，该类方法在现实场景中缺乏通用性，而且无法处理源域与目标域数据标签空间不一致的情形。
特别是有多个数据分布不同子目标域混合形成一个不是服从同一数据分布的混合目标域时，一般的域适应方法会导致严重的负迁移情况。而现实中的目标域往往不是服从同一数据分布。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于元对抗学习的多目标域适应迁移方法及系统，以将现有的一类基于对抗学习的单目标域适应过程推广到多目标域适应，不再依赖源域标签集合与单一目标域标签集合一致的假设，并且可有效地避免多目标域适应过程中存在的负迁移现象。
为达上述目的，本发明提出一种基于元对抗学习的多目标域适应迁移方法，包括如下步骤：
步骤S1，获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签；
步骤S2，使用源域数据、多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器；
步骤S3，判断是否达到更新周期，若达到更新周期，则进行步骤S4，若没有达到，则进行步骤S5；
步骤S4，将所有目标域数据与当前网络中产生的目标域特征数据通过元学习者进行聚类，更新所述伪子目标域类别标签；
步骤S5，返回步骤S2，直至模型收敛或达到最大迭代次数时停止训练。
优选地，步骤S1进一步包括：
步骤S100，输入带标记的源域数据集以及k个无标记的目标域数据集；
步骤S101，使用所有的目标域数据集，通过元学习者U进行聚类，得到所述伪子目标域类别标签。
优选地，于步骤S101中，首先根据如下公式优化目标：
其中U1表示编码器，U2表示解码器，表示第j个聚类的质心，xi～Г表示来自目标域的图片，Lrec(xi；F)为图片经过编码器解码器后的图片与原图片的l2损失函数，其中fj表示第j个聚类的聚类频率，nt表示所有目标域图片的数目，α表示t-分布的离散程度；
当优化一定迭代次数后，通过编码器得到各个目标域图片对应的伪子目标域类别标签。
优选地，于步骤S1中，所述源域数据的标签集合等于多目标域的标签集合的交集总和。
优选地，步骤S2进一步包括：
步骤S200，使用表示网络F对源域和多目标域的图像进行特征提取；
步骤S201，将每一源域s和目标域t分别组成一对，利用源-目标域判别器网络Dst进行判定训练，更新目标模型的表示网络和源-目标域判别器网络Dst；
步骤S202，将目标域t单独输入子目标域判别器网络Dmt进行判定训练，更新目标模型的表示网络F和子目标域判别器网络Dmt。
优选地，于步骤S201中，采用如下公式实现对抗更新过程：
其中Dst表示源-目标域判别器网络，E表示对应损失值的期望，F(x)表示图像x经过表示网络F后的特征编码，C表示分类器网络。
优选地，于步骤S201中，使用逆反向梯度传播的方法更新F和Dst，使用反向梯度传播的方法更新C。
优选地，于步骤S202中，使用域混淆的方法更新目标模型的表示网络F和子目标域判别器网络Dmt。
优选地，于步骤S4中，将目标域图片通过元学习者U进行聚类，输入为所有目标域图片与表示网络F对图片所提取的特征优化目标除了 之外，其他与步骤S101一致。
为达到上述目的，本发明还提供一种基于元对抗学习的多目标域适应迁移系统，包括：
预训练单元，用于获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签；
多路对抗单元，用于使用源域数据，多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器；
更新单元，用于在达到预设的更新迭代周期之后，使用目标域图片与表示网络F对图片所提取的特征输入元学习者U进行聚类，更新伪子目标域类别标签，并返回所述多路对抗单元进行训练，直至模型收敛或达到最大迭代次数时停止训练；
分类单元，用于根据训练好的表示网络F和分类器网络C对目标域进行分类。
与现有技术相比，本发明一种基于元对抗学习的多目标域适应迁移方法及系统通过将现有的单目标域适应过程推广到多目标域适应，使之不再依赖源域标签集合与单一目标域标签集合一致的假设，在现实场景中具有更强的通用性。此外，由于本发明基于元对抗学习对不同领域间的特征进行适配，有效避免了负迁移现象的产生，明显地提升了域适应后的分类性能。
附图说明
图1为本发明一种基于元对抗学习的多目标域适应迁移方法的步骤流程图；
图2为本发明具体实施例中以两个目标域为例的基于元对抗学习的多目标域适应迁移方法的流程图；
图3为本发明具体实施例以两个目标域为例的网络框架示意图；
图4为本发明具体实施例中展示源域(mnist)迁移到四个目标域(mnist_m,svhn,synth,usps)在域适应前后的可视化效果图；
图5为本发明一种基于元对抗学习的多目标域适应迁移系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于元对抗学习的多目标域适应迁移方法的步骤流程图。如图1所示本发明一种基于元对抗学习的多目标域适应迁移方法，包括如下步骤：
步骤S1，获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签。
具体地，步骤S1进一步包括：
步骤S100，输入带标记的源域数据集，其分布表示为{ps(x,y)}，其中s表示源域，x和y分别表示样本图像和对应标签。假定源域的数据集合{(XS,YS)}采样自同一的分布，其中和分别表示来自源域S的图像和对应标签，同时，输入无标记的k个目标域数据集，其分布记为假定各源域的数据集合采样自不同的分布，对应图像集合记为在本发明具体实施例中，以两个目标域为例，即输入源域S的图像和对应标签，输入目标域Г1和Г2的图像；
步骤S101，使用所有的目标域数据集，通过元学习者U进行聚类，得到伪子目标域类别标签。
具体地，于步骤S101中，根据如下公式(1)优化目标：
其中U1表示编码器，U2表示解码器，表示第j个聚类的质心，xi～Г表示来自目标域的图片，Lrec(xi；F)为图片经过编码器解码器后的图片与原图片的l2损失函数，其中fj表示第j个聚类的聚类频率，nt表示所有目标域图片的数目，α表示t-分布的离散程度，
当优化一定迭代次数后，通过编码器得到各个目标域图片对应的伪子目标域类别标签。
在本发明具体实施例中，所述源域数据的标签集合等于多目标域的标签集合的交集总和，即
步骤S2，使用源域数据、多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器。
具体地，步骤S2进一步包括：
步骤S200，使用表示网络F对源域和多目标域的图像进行特征提取，在本发明具体实施例中，得到源域S以及目标域Г1，Г2的特征表示，其中Г1，Г2的划分由步骤S1中得到的伪子目标域类别标签进行划分；
步骤S201，将每一源域s和目标域t分别组成一对，利用源-目标域判别器网络Dst进行判定训练，更新目标模型的表示网络和源-目标域判别器网络Dst。在本发明具体实施例中，源-目标域判别器网络Dst的更新策略是尽可能区分开输入特征是来自源域还是目标域；而表示网络的更新策略是尽可能混淆特征，使得源-目标域判别器网络Dst无法区分输入特征是来自源域还是目标域。这一对抗过程使用如下公式(2)表示：
其中Dst表示源-目标域判别器网络，E表示对应损失值的期望，F(x)表示图像x经过表示网络F后的特征编码，C表示分类器网络。
优选地，于步骤S201中，使用逆反向梯度传播的方法更新F和Dst，使用反向梯度传播的方法更新C。
步骤S202，将目标域t输入子目标域判别器网络Dmt进行判定训练，更新目标模型的表示网络F和子目标域判别器网络Dmt。在本发明具体实施例中，子目标域判别器网络Dmt的更新策略是尽可能区分开输入特征是来目标域中的哪一个子目标域，表示网络的更新策略是尽可能混淆特征，使得子目标域判别器网络Dmt无法区分输入特征是来自哪一个子目标域。这一对抗过程使用如下公式(3)表示：
其中Dmt表示子目标域判别器网络，表示以步骤S1中得到的伪子目标域类别标签进行划分的子目标域，表示该图片对应的伪子目标域类别标签的一位有效编码。
优选地，为了加快收敛，于步骤S202中，使用域混淆的方法更新表示网络F和子目标域判别器网络Dmt。首先，在训练子目标域判别器网络Dmt时，固定表示网络F，根据公式(3)训练Dmt。在训练表示网络F时，固定子目标域判别器网络Dmt，根据公式(4)训练表示网络F。
该公式鼓励分类结果向的向量靠近，也就是说，Dmt不能很好的区分开输入特征是来目标域中的哪一个子目标域，即公式(3)和公式(4)形成了一组抗，公式(3)的目的是尽可能区分，公式(4)的目的是尽可能混淆。依次按照公式(3)(4)迭代训练，进行对抗。
步骤S3，判断是否达到更新周期，若达到更新周期，则进行步骤S4，若没有达到，则进行步骤S5。
步骤S4，将所有目标域数据与当前网络中产生的目标域特征数据通过元学习者进行聚类，更新伪子目标域类别标签。
具体地说，根据步骤S2获得的目标域图片的特征，将特征和图片一起输入元学习者U进行聚类，根据公式(1)进行聚类。与步骤S101不同的是，在本步骤中，
优化一定迭代次数后，通过编码器得到更新后的各个目标域图片对应的伪子目标域类别标签。
步骤S5，返回步骤S2，直至模型收敛或达到最大迭代次数时停止训练。
图2为本发明具体实施例中以两个目标域为例的基于元对抗学习的多目标域适应迁移方法的流程图，图3为本发明具体实施例以两个目标域为例的网络框架示意图。以下将配合图2及图3通过具体实施例来说明本发明：在本发明具体实施例中，以两个目标域为例，调用开源深度学习框架Pytorch，开源机器学习库Scikit-learn中的可视化工具t-SNE,具体过程如下：
(1)源域与目标域图像的特征提取(图3表示网络F处)
输入带标记的源域数据集，其分布表示为{ps(x,y)}，其中s表示源域，x和y分别表示样本图像和对应标签。假定源域的数据集合{(XS,YS)}采样自同一的分布，其中和分别表示来自源域S的图像和对应标签，同时，输入无标记的k(这里k取2)个目标域数据集，其分布记为假定各源域的数据集合采样自不同的分布，对应图像集合记为 在每一次迭代中，各个源域与目标域均随机采样相同数量的训练样本，并通过参数共享的表示网络F进行特征表示。
(2)源域与目标域图像特征的对抗(图3中源-目标域判别器网络Dst处)
基于上述提取的图像特征，将每一源域s和目标域t分别组成一对，利用源-目标域判别器网络Dst进行判定训练。源-目标域判别器网络Dst的更新策略是尽可能区分开输入特征是来自源域还是目标域；而表示网络的更新策略是尽可能混淆特征，使得源-目标域判别器网络Dst无法区分输入特征是来自源域还是目标域。
该对抗的目标函数为λ(Ex～slog[Dst(F(x))]+Ex～Tlog[1-Dst(F(x))]))-E(x,y)～ SyTlog C(F(x))。为了达到更好的优化效果，在此使用了逆反向梯度传播的方法更新F和Dst，使用反向梯度传播的方法更新C。
(3)子目标域图像特征的对抗(图3中子目标域判别器网络Dmt处)
将目标域t输入输入子目标域判别器网络Dmt进行判定训练，更新目标模型的表示网络和输入子目标域判别器网络Dmt，用来更新的伪子目标域类别标签来自元学习者U(图3中元学习者U处)。在本发明具体实施例中，输入子目标域判别器网络Dmt的更新策略是尽可能区分开输入特征是来目标域中的哪一个子目标域，表示网络的更新策略是尽可能混淆特征，使得子目标域判别器Dmt网络无法区分输入特征是来自哪一个子目标域。
为了达到更好的优化效果，该步骤使用域混淆的方法更新F和Dmt。首先，在训练Dmt时，固定表示网络F，根据前述公式(3)训练Dmt；在训练表示网络F时，固定子目标域判别器网络Dmt，根据前述公式(3)训练表示网络F。
(4)更新伪子目标域类别标签(图3中元学习者U处)
每达到预设的更新迭代周期之后，使用目标域图片与表示网络F对图片所提取的特征输入元学习者U进行聚类，更新伪子目标域类别标签。这些新的伪子目标域类别标签可以更好的指导子目标域图像特征的对抗(图3中子目标域判别器网络Dmt处)。
图4展示了源域(mnist)迁移到四个目标域(mnist_m,svhn,synth,usps)在域适应前后的可视化效果图，不同的图标形状表示不同的目标域的类别，同一深浅的图标表示同一种类别。图4很直观地展示了，经过域适应之后，同一深浅的图片很好的被聚集到了一起，即使它们的形状是不同的，这表明本发明的方法能够消除不同领域间的差异性，避免在域间适应过程中发生负迁移的不利现象。
图5为本发明一种基于元对抗学习的多目标域适应迁移系统的系统架构图。如图5所示，本发明一种基于元对抗学习的多目标域适应迁移系统，包括：
预训练单元501，用于获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签。
具体地，预训练单元501进一步包括：
数据集获取模块501a，用于输入带标记的源域数据集，其分布表示为{ps(x,y)}，其中s表示源域，x和y分别表示样本图像和对应标签。假定源域的数据集合{(XS,YS)}采样自同一的分布，其中和分别表示来自源域S的图像和对应标签，同时，输入无标记的k个目标域数据集，其分布记为假定各源域的数据集合采样自不同的分布，对应图像集合记为在本发明具体实施例中，以两个目标域域为例，即输入源域S的图像和对应标签，输入目标域Г1和Г2的图像；
聚类模块501b，用于使用所有的目标域数据集，通过元学习者U进行聚类，得到伪子目标域类别标签。
具体地，聚类模块501b根据如下优化目标：
其中U1表示编码器，U2表示解码器，表示第j个聚类的质心，xi～Г表示来自目标域的图片，Lrec(xi；F)是图片进过编码器解码器后的图片与原图片的l2损失函数。其中fj表示第j个聚类的聚类频率，nt表示所有目标域图片的数目，α表示t-分布的离散程度；
优化一定迭代次数后，通过编码器得到各个目标域图片对应的伪子目标域类别标签。在本发明具体实施例中，所述源域数据的标签集合等于多目标域的标签集合的交集总和，即
多路对抗单元502，用于使用源域数据，多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器。
具体地，多路对抗单元502进一步包括：
特征提取模块502a，用于使用表示网络F对源域和多目标域的图像进行特征提取，在本发明具体实施例中，得到源域S以及目标域Г1，Г2的特征表示；
源域与目标域图像特征对抗模块502b，用于将每一源域s和目标域t分别组成一对，源-目标域判别器网络Dst进行判定训练。源-目标域判别器网络Dst的更新策略是尽可能区分开输入特征是来自源域还是目标域；而表示网络的更新策略是尽可能混淆特征，使得源-目标域判别器网络Dst无法区分输入特征是来自源域还是目标域。
优选地，为了达到更好的优化效果，源域与目标域图像特征对抗模块502b使用了逆反向梯度传播的方法更新F和Dst，使用反向梯度传播的方法更新C。
子目标域图像特征对抗模块502c，用于将目标域t输入子目标域判别器网络Dmt进行判定训练，更新目标模型的表示网络和子目标域判别器网络Dmt，用来更新的伪子目标域类别标签来自元学习者U。在本发明具体实施例中，子目标域判别器网络Dmt的更新策略是尽可能区分开输入特征是来目标域中的哪一个子目标域，表示网络的更新策略是尽可能混淆特征，使得子目标域判别器Dmt网络无法区分输入特征是来自哪一个子目标域。
优选地，为了达到更好的优化效果，子目标域图像特征对抗模块502c使用域混淆的方法更新F和Dmt。首先，在训练Dmt时，固定表示网络F，根据前述公式(3)训练Dmt。在训练表示网络F时，固定子目标域判别器网络Dmt，根据前述公式(3)训练表示网络F。
更新单元503，用于在达到预设的更新迭代周期之后，使用目标域图片与表示网络F对图片所提取的特征输入元学习者U进行聚类，更新伪子目标域类别标签，并返回所述多路对抗单元502进行训练，直至模型收敛或达到最大迭代次数时停止训练。这些新的伪子目标域类别标签可以更好的指导子目标域图像特征的对抗。
分类单元504，用于根据训练好的表示网络F和分类器网络C对目标域进行分类。
综上所述，本发明一种基于元对抗学习的多目标域适应迁移方法及系统通过将现有的单目标域适应过程推广到多目标域适应，使之不再依赖源域标签集合与单一目标域标签集合一致的假设，在现实场景中具有更强的通用性。此外，由于本发明基于元对抗学习对不同领域间的特征进行适配，有效避免了负迁移现象的产生，明显地提升了域适应后的分类性能。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种基于元对抗学习的多目标域适应迁移方法，包括如下步骤：
步骤S1，获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签；
步骤S2，使用源域数据、多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器；
步骤S3，判断是否达到更新周期，若达到更新周期，则进行步骤S4，若没有达到，则进行步骤S5；
步骤S4，将所有目标域数据与当前网络中产生的目标域特征数据通过元学习者进行聚类，更新所述伪子目标域类别标签；
步骤S5，返回步骤S2，直至模型收敛或达到最大迭代次数时停止训练。
2.如权利要求1所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，步骤S1进一步包括：
步骤S100，输入带标记的源域数据集以及k个无标记的目标域数据集；
步骤S101，使用所有的目标域数据集，通过元学习者U进行聚类，得到所述伪子目标域类别标签。
3.如权利要求1所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S101中，首先根据如下公式优化目标：
其中U1表示编码器，U2表示解码器，表示第j个聚类的质心，xi～Г表示来自目标域的图片，Lrec(xi；F)为图片经过编码器解码器后的图片与原图片的l2损失函数，其中fj表示第j个聚类的聚类频率，nt表示所有目标域图片的数目，α表示t-分布的离散程度；
当优化一定迭代次数后，通过编码器得到各个目标域图片对应的伪子目标域类别标签。
4.如权利要求1所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S1中，所述源域数据的标签集合等于多目标域的标签集合的交集总和。
5.如权利要求1所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，步骤S2进一步包括：
步骤S200，使用表示网络F对源域和多目标域的图像进行特征提取；
步骤S201，将每一源域s和目标域t分别组成一对，利用源-目标域判别器网络Dst进行判定训练，更新目标模型的表示网络和源-目标域判别器网络Dst；
步骤S202，将目标域t单独输入子目标域判别器网络Dmt进行判定训练，更新目标模型的表示网络F和子目标域判别器网络Dmt。
6.如权利要求5所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S201中，采用如下公式实现对抗更新过程：
其中Dst表示源-目标域判别器网络，E表示对应损失值的期望，F(x)表示图像x经过表示网络F后的特征编码，C表示分类器网络。
7.如权利要求6所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S201中，使用逆反向梯度传播的方法更新F和Dst，使用反向梯度传播的方法更新分类器网络C。
8.如权利要求5所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S202中，使用域混淆的方法更新目标模型的表示网络F和子目标域判别器网络Dmt。
9.如权利要求3所述的一种基于元对抗学习的多目标域适应迁移方法，其特征在于，于步骤S4中，将目标域图片通过元学习者U进行聚类，输入为所有目标域图片与表示网络F对图片所提取的特征优化目标除了 之外，其他与步骤S101一致。
10.一种基于元对抗学习的多目标域适应迁移系统，包括：
预训练单元，用于获取带标记的源域数据集以及无标记的多个目标域数据集，使用所有目标域数据进行通过元学习者进行聚类，得到伪子目标域类别标签；
多路对抗单元，用于使用源域数据，多目标域数据与伪子目标域类别标签进行对抗，更新目标模型的表示网络，源-目标域判别器和子目标域判别器；
更新单元，用于在达到预设的更新迭代周期之后，使用目标域图片与表示网络F对图片所提取的特征输入元学习者U进行聚类，更新伪子目标域类别标签，并返回所述多路对抗单元进行训练，直至模型收敛或达到最大迭代次数时停止训练；
分类单元，用于根据训练好的表示网络F和分类器网络C对目标域进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100377.7A CN109948648B (zh) | 2019-01-31 | 2019-01-31 | 一种基于元对抗学习的多目标域适应迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100377.7A CN109948648B (zh) | 2019-01-31 | 2019-01-31 | 一种基于元对抗学习的多目标域适应迁移方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109948648A true CN109948648A (zh) | 2019-06-28 |
| CN109948648B CN109948648B (zh) | 2023-04-07 |
Family
ID=67006644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910100377.7A Active CN109948648B (zh) | 2019-01-31 | 2019-01-31 | 一种基于元对抗学习的多目标域适应迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948648B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458022A (zh) * | 2019-07-10 | 2019-11-15 | 中国地质大学（武汉） | 一种基于域适应的可自主学习目标检测方法 |
| CN110705406A (zh) * | 2019-09-20 | 2020-01-17 | 五邑大学 | 基于对抗迁移学习的人脸美丽预测方法及装置 |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
| CN111275092A (zh) * | 2020-01-17 | 2020-06-12 | 电子科技大学 | 一种基于无监督域适应的图像分类方法 |
| CN111314113A (zh) * | 2020-01-19 | 2020-06-19 | 赣江新区智慧物联研究院有限公司 | 物联网节点故障检测方法、装置、存储介质及计算机设备 |
| CN111444952A (zh) * | 2020-03-24 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 样本识别模型的生成方法、装置、计算机设备和存储介质 |
| CN111723691A (zh) * | 2020-06-03 | 2020-09-29 | 北京的卢深视科技有限公司 | 一种三维人脸识别方法、装置、电子设备及存储介质 |
| CN112669331A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 |
| CN112786030A (zh) * | 2020-12-30 | 2021-05-11 | 中山大学 | 一种基于元学习的对抗采样训练方法及装置 |
| CN112990340A (zh) * | 2021-04-02 | 2021-06-18 | 东南大学 | 一种基于特征共享的自学习迁移方法 |
| CN114220003A (zh) * | 2021-11-26 | 2022-03-22 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
| CN116580255A (zh) * | 2023-07-13 | 2023-08-11 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794396A (zh) * | 2010-03-25 | 2010-08-04 | 西安电子科技大学 | 基于迁移网络学习的遥感图像目标识别系统及方法 |
| CN102289686A (zh) * | 2011-08-09 | 2011-12-21 | 北京航空航天大学 | 一种基于迁移学习的运动目标分类识别方法 |
| CN104616031A (zh) * | 2015-01-22 | 2015-05-13 | 哈尔滨工业大学深圳研究生院 | 迁移学习方法及装置 |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
| CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
-
2019
- 2019-01-31 CN CN201910100377.7A patent/CN109948648B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794396A (zh) * | 2010-03-25 | 2010-08-04 | 西安电子科技大学 | 基于迁移网络学习的遥感图像目标识别系统及方法 |
| CN102289686A (zh) * | 2011-08-09 | 2011-12-21 | 北京航空航天大学 | 一种基于迁移学习的运动目标分类识别方法 |
| CN104616031A (zh) * | 2015-01-22 | 2015-05-13 | 哈尔滨工业大学深圳研究生院 | 迁移学习方法及装置 |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
| CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458022A (zh) * | 2019-07-10 | 2019-11-15 | 中国地质大学（武汉） | 一种基于域适应的可自主学习目标检测方法 |
| CN110458022B (zh) * | 2019-07-10 | 2022-07-12 | 中国地质大学（武汉） | 一种基于域适应的可自主学习目标检测方法 |
| CN110705406A (zh) * | 2019-09-20 | 2020-01-17 | 五邑大学 | 基于对抗迁移学习的人脸美丽预测方法及装置 |
| CN110705406B (zh) * | 2019-09-20 | 2022-11-15 | 五邑大学 | 基于对抗迁移学习的人脸美丽预测方法及装置 |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110837850B (zh) * | 2019-10-23 | 2022-06-21 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
| CN111275092B (zh) * | 2020-01-17 | 2022-05-13 | 电子科技大学 | 一种基于无监督域适应的图像分类方法 |
| CN111275092A (zh) * | 2020-01-17 | 2020-06-12 | 电子科技大学 | 一种基于无监督域适应的图像分类方法 |
| CN111314113A (zh) * | 2020-01-19 | 2020-06-19 | 赣江新区智慧物联研究院有限公司 | 物联网节点故障检测方法、装置、存储介质及计算机设备 |
| CN111314113B (zh) * | 2020-01-19 | 2023-04-07 | 赣江新区智慧物联研究院有限公司 | 物联网节点故障检测方法、装置、存储介质及计算机设备 |
| CN111444952A (zh) * | 2020-03-24 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 样本识别模型的生成方法、装置、计算机设备和存储介质 |
| CN111444952B (zh) * | 2020-03-24 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 样本识别模型的生成方法、装置、计算机设备和存储介质 |
| CN111723691B (zh) * | 2020-06-03 | 2023-10-17 | 合肥的卢深视科技有限公司 | 一种三维人脸识别方法、装置、电子设备及存储介质 |
| CN111723691A (zh) * | 2020-06-03 | 2020-09-29 | 北京的卢深视科技有限公司 | 一种三维人脸识别方法、装置、电子设备及存储介质 |
| CN112669331A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 |
| CN112669331B (zh) * | 2020-12-25 | 2023-04-18 | 上海交通大学 | 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 |
| CN112786030A (zh) * | 2020-12-30 | 2021-05-11 | 中山大学 | 一种基于元学习的对抗采样训练方法及装置 |
| CN112786030B (zh) * | 2020-12-30 | 2022-04-29 | 中山大学 | 一种基于元学习的对抗采样训练方法及装置 |
| CN112990340A (zh) * | 2021-04-02 | 2021-06-18 | 东南大学 | 一种基于特征共享的自学习迁移方法 |
| CN112990340B (zh) * | 2021-04-02 | 2024-03-26 | 东南大学 | 一种基于特征共享的自学习迁移方法 |
| CN114220003B (zh) * | 2021-11-26 | 2022-10-21 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
| CN114220003A (zh) * | 2021-11-26 | 2022-03-22 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
| CN116580255A (zh) * | 2023-07-13 | 2023-08-11 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
| CN116580255B (zh) * | 2023-07-13 | 2023-09-26 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109948648B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948648A (zh) | 一种基于元对抗学习的多目标域适应迁移方法及系统 | |
| CN110837850B (zh) | 一种基于对抗学习损失函数的无监督域适应方法 | |
| Wang et al. | Real-time detection and tracking of fish abnormal behavior based on improved YOLOV5 and SiamRPN++ | |
| CN108256561A (zh) | 一种基于对抗学习的多源域适应迁移方法及系统 | |
| CN110414432A (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
| CN108664999A (zh) | 一种分类模型的训练方法及其装置、计算机服务器 | |
| CN109344759A (zh) | 一种基于角度损失神经网络的亲属识别方法 | |
| CN101447020A (zh) | 基于直觉模糊的色情图像识别方法 | |
| CN103390278A (zh) | 一种视频异常行为检测系统 | |
| CN109753884A (zh) | 一种基于关键帧提取的视频行为识别方法 | |
| CN109034201A (zh) | 模型训练及规则挖掘方法和系统 | |
| Wang et al. | Research on maize disease recognition method based on improved resnet50 | |
| CN110458096A (zh) | 一种基于深度学习的大规模商品识别方法 | |
| CN110991518A (zh) | 一种基于进化多任务的两阶段特征选择方法及系统 | |
| KR20200094938A (ko) | 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법 | |
| CN114219971A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN110175519A (zh) | 一种变电站的分合标识仪表识别方法、装置与存储介质 | |
| CN116912624A (zh) | 一种伪标签无监督数据训练方法、装置、设备及介质 | |
| CN114048843A (zh) | 一种基于选择性特征迁移的小样本学习网络 | |
| CN117809336A (zh) | 场景自适应的双分支牛脸高效识别方法及相关设备 | |
| CN109002808A (zh) | 一种人体行为识别方法及系统 | |
| CN115690570B (zh) | 一种基于st-gcn的鱼群摄食强度预测方法 | |
| CN115439919B (zh) | 模型更新方法、装置、设备、存储介质及程序产品 | |
| KR102508105B1 (ko) | 외래생물 확산을 예측하는 방법 | |
| Schumm et al. | Global epidemic invasion thresholds in directed cattle subpopulation networks having source, sink, and transit nodes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |