CN111931814A - 一种基于类内结构紧致约束的无监督对抗域适应方法 - Google Patents

一种基于类内结构紧致约束的无监督对抗域适应方法 Download PDF

Info

Publication number
CN111931814A
CN111931814A CN202010637233.8A CN202010637233A CN111931814A CN 111931814 A CN111931814 A CN 111931814A CN 202010637233 A CN202010637233 A CN 202010637233A CN 111931814 A CN111931814 A CN 111931814A
Authority
CN
China
Prior art keywords
neural network
class
domain
data set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010637233.8A
Other languages
English (en)
Other versions
CN111931814B (zh
Inventor
李玺
汪慧
田�健
赵涵斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010637233.8A priority Critical patent/CN111931814B/zh
Publication of CN111931814A publication Critical patent/CN111931814A/zh
Application granted granted Critical
Publication of CN111931814B publication Critical patent/CN111931814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类内结构紧致约束的无监督对抗域适应方法。具体包括如下步骤：获取用于训练的有标签的源域数据集以及无标签的目标域数据集；用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；不断迭代进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络。本发明适用于无监督域适应领域中的知识迁移，面对各类复杂的情况具有较佳的效果和鲁棒性。

Description

一种基于类内结构紧致约束的无监督对抗域适应方法
技术领域
本发明属于无监督域适应领域，特别地涉及一种基于类内结构紧致约束的无监督对抗域适应方法。
背景技术
无监督域适应被定义为如下问题：在给定有标签的源域数据集和无标签的目标域数据集的情况下，将有标签的源域数据集的知识迁移到无标签的目标域数据集上。这类任务可以有效地减轻深度学习训练过程中对有标签数据的需求，从而减少可以减少标签的手工标注的成本。该任务主要有两个关键点：第一是如何将源域数据集的知识迁移到目标域数据集上；第二是如何对目标域的无标签数据集的内在关系进行建模从而更好的利用迁移过来的知识。针对第一点，本发明认为在迁移过程中，无监督域适应任务不仅需要将源域的知识迁移到目标域上，而且应该在迁移的过程中减少知识受到的外部干扰；针对第二点，本发明认为即使是在没有标签的困难场景，数据集内部仍然存在着固有的内部关系，这种关系对更好地利用源域迁移过来是必要的。传统的方法一般关注的是知识的迁移，而没有更深层次的考虑迁移过程中的知识的抗干扰性以及对目标域数据集的运用，这在本任务中是非常重要的。
由于对抗学习的成功，目前基于对抗的方法逐渐被应用到无监督域适应领域中。现有的对抗方法主要是分别输入源域的一组图片和目标域的一组图片，得到两者的特征，并用对抗的方式让两组特征对抗，从而使得源域特征逼近目标域特征。然而，这类方法没有考虑对抗过程中，特征的内在分布会受到干扰，影响最终的迁移效果。
发明内容
为解决上述问题，本发明的目的在于提供一种基于类内结构紧致约束的无监督对抗域适应方法。该方法基于神经网络，目标是在无监督域适应的迁移过程中保证类内结构的紧致性。在无监督域适应中，类内的图片存在相互的关系，例如同类的图片由于有着相似的属性，颜色，形状，对比度等关联信息，其对应特征与同类图片的距离一般小于其与异类图片的特征的距离。针对这个发现，我们的工作设计了一个统一的端到端的深度学习框架对目标域的特征的类内结构进行的建模，并以此作为约束保持了无监督域适应中迁移的类内结构的紧致性，从而使得到的模型更具准确性和鲁棒性。
为实现上述目的，本发明的技术方案为：
一种基于类内结构紧致约束的无监督对抗域适应方法，其包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集；
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；
S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型。
进一步的，定义的算法目标为：通过训练神经网络，使其能够为无标签的目标域数据集
Figure BDA0002568713670000021
的每个样本预测对应的标签。
进一步的，步骤S1的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
Figure BDA0002568713670000022
Figure BDA0002568713670000023
其中，
Figure BDA0002568713670000024
表示源域数据集的第i个样本，
Figure BDA0002568713670000025
表示样本
Figure BDA0002568713670000026
的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，
Figure BDA0002568713670000027
且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
Figure BDA0002568713670000028
Figure BDA0002568713670000031
其中，
Figure BDA0002568713670000032
表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本
Figure BDA0002568713670000033
的标签
Figure BDA0002568713670000034
所属的类别空间和源域数据集的类别空间一致，即
Figure BDA0002568713670000035
进一步的，步骤S2的具体实现步骤包括：
S21、用一个神经网络的特征提取模块
Figure BDA0002568713670000036
提取源域数据集以及目标域数据集中每张图片的特征：
Figure BDA0002568713670000037
Figure BDA0002568713670000038
其中，
Figure BDA0002568713670000039
是神经网络的特征提取模块，
Figure BDA00025687136700000310
是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值
Figure BDA00025687136700000311
并用其初始化目标域每个类团
Figure BDA00025687136700000312
的中心
Figure BDA00025687136700000313
Figure BDA00025687136700000314
其中，
Figure BDA00025687136700000315
是源域第k个类别中样本的数量，
Figure BDA00025687136700000316
是源域第k类的样本的特征的中心，
Figure BDA00025687136700000317
是初始目标域特征的第k个类团
Figure BDA00025687136700000318
的中心，k∈{1,2,…,K}；
S23、计算每个目标类团
Figure BDA00025687136700000319
的中心
Figure BDA00025687136700000320
与每个目标样本特征的球面空间距离：
Figure BDA00025687136700000321
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团
Figure BDA00025687136700000322
的中心
Figure BDA00025687136700000323
的距离
Figure BDA00025687136700000324
排序，将每个样本
Figure BDA00025687136700000325
归于其最近的类团，再重新计算出每个类团
Figure BDA00025687136700000326
的中心
Figure BDA00025687136700000327
Figure BDA00025687136700000328
其中，
Figure BDA00025687136700000329
代表属于类团
Figure BDA00025687136700000330
特征的数量。
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团
Figure BDA0002568713670000041
这K个类团代表目标域数据集的类内结构。
进一步的，步骤S3的具体实现步骤包括：
S31、将每个类团
Figure BDA0002568713670000042
的类别k作为属于该类团中的样本
Figure BDA0002568713670000043
的估计标签
Figure BDA0002568713670000044
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块
Figure BDA0002568713670000045
学习到不可反向传播的聚类得到的类内结构：
Figure BDA0002568713670000046
其中，
Figure BDA0002568713670000047
是神经网络的替代分类器模块，
Figure BDA0002568713670000048
是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块
Figure BDA0002568713670000049
和源域分类器模块
Figure BDA00025687136700000410
在源域数据集
Figure BDA00025687136700000411
上的最优参数
Figure BDA00025687136700000412
和
Figure BDA00025687136700000413
Figure BDA00025687136700000414
其中，
Figure BDA00025687136700000415
是神经网络的源域分类器模块，
Figure BDA00025687136700000416
是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块
Figure BDA00025687136700000417
的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块
Figure BDA00025687136700000418
和判别器模块
Figure BDA00025687136700000419
在源域数据集
Figure BDA00025687136700000425
和目标域数据集
Figure BDA00025687136700000421
上的最优参数：
Figure BDA00025687136700000422
其中，
Figure BDA00025687136700000423
是矩阵的外积运算；
Figure BDA00025687136700000424
指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；
Figure BDA0002568713670000051
是神经网络的判别器模块，
Figure BDA0002568713670000052
是判别器模块随机初始化后的参数。
进一步的，步骤S4的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块
Figure BDA0002568713670000053
为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团
Figure BDA0002568713670000054
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块
Figure BDA0002568713670000055
替代分类器模块
Figure BDA0002568713670000056
源域分类器模块
Figure BDA0002568713670000057
和判别器模块
Figure BDA0002568713670000058
为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数
Figure BDA0002568713670000059
和
Figure BDA00025687136700000510
进一步的，步骤S5的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块
Figure BDA00025687136700000511
替代分类器模块
Figure BDA00025687136700000512
源域分类器模块
Figure BDA00025687136700000513
和判别器模块
Figure BDA00025687136700000514
为训练的基础，参照S4步骤的操作，得到最优的神经网络的
Figure BDA00025687136700000515
替代分类器模块
Figure BDA00025687136700000516
源域分类器模块
Figure BDA00025687136700000517
和判别器模块
Figure BDA00025687136700000518
及它们对应的最优参数
Figure BDA00025687136700000519
Figure BDA00025687136700000520
和
Figure BDA00025687136700000521
本发明的基于类内结构紧致约束的无监督对抗域适应方法，相比于现有的无监督对抗域适应方法，具有以下有益效果：
首先，本发明的无监督对抗域适应方法定义了无监督域适应中两个重要的问题，即类内结构建模和以无监督对抗域适应过程建模。通过寻求这两个方向的解决方法，可以有效地提高的无监督对抗域适应的优化效果。
其次，本发明的基于类内结构紧致约束的无监督对抗域适应方法基于无监督对抗域适应的特点建立优化流程。在无监督对抗域适应的优化体系中，类内结构以条件的形式约束无监督对抗域适应过程，提高了无监督域适应过程的鲁棒性。
最后，本发明的类基于类内结构紧致约束的无监督对抗域适应方法充分利用了目标域不同图片对应特征的内在联系，有效地提高神经网络模型迁移后的效果。
本发明的基于类内结构紧致约束的无监督对抗域适应方法，实现简单，适用范围广，具有良好的应用价值。本发明的类基于类内结构紧致约束的无监督对抗域适应方法，能够有效减少神经网络模型的迁移时收到的干扰和提高神经网络模型迁移后的效果。
附图说明
图1为本发明的流程示意图；
图2为本发明提出的方法的效果的示意图；
图3为本发明提出的方法框架的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参考图1，在本发明的较佳实施例中，一种基于类内结构紧致约束的无监督对抗域适应方法，该方法用于在给定有标签的源域数据集和无标签的目标域数据集的情况下，将有标签的源域数据集的知识迁移到无标签的目标域数据集上，并在迁移的过程中保证类内结构的紧致性。该方法包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集。本步骤的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
Figure BDA0002568713670000061
Figure BDA0002568713670000071
其中，
Figure BDA0002568713670000072
表示源域数据集的第i个样本，
Figure BDA0002568713670000073
表示样本
Figure BDA0002568713670000074
的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，
Figure BDA0002568713670000075
且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
Figure BDA0002568713670000076
Figure BDA0002568713670000077
其中，
Figure BDA0002568713670000078
表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本
Figure BDA0002568713670000079
的具体类别标签
Figure BDA00025687136700000710
不知道，但是它们的标签所属的类别空间和源域数据集的类别空间一致，即
Figure BDA00025687136700000711
本方法中定义的算法目标为：通过算法训练神经网络，使其能够为无标签的目标域数据集
Figure BDA00025687136700000712
的每个样本预测对应的标签。
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构。本步骤的具体实现步骤包括：
S21、用一个神经网络的特征提取模块
Figure BDA00025687136700000713
提取源域数据集以及目标域数据集中每张图片的特征：
Figure BDA00025687136700000714
Figure BDA00025687136700000715
其中，
Figure BDA00025687136700000716
是神经网络的特征提取模块，
Figure BDA00025687136700000717
是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值
Figure BDA00025687136700000718
并用其初始化目标域每个类团
Figure BDA00025687136700000719
的中心
Figure BDA00025687136700000720
Figure BDA00025687136700000721
其中，
Figure BDA00025687136700000722
是源域第k个类别中样本的数量，
Figure BDA00025687136700000723
是源域第k类的样本的特征的中心，
Figure BDA00025687136700000724
是初始目标域特征的第k个类团
Figure BDA00025687136700000725
的中心，k∈{1,2,…,K}；
S23、计算每个目标类团
Figure BDA00025687136700000726
的中心
Figure BDA00025687136700000727
与每个目标样本特征的球面空间距离：
Figure BDA00025687136700000728
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团
Figure BDA0002568713670000081
的中心
Figure BDA0002568713670000082
的距离
Figure BDA0002568713670000083
排序，将每个样本
Figure BDA0002568713670000084
归于其最近的类团，再重新计算出每个类团
Figure BDA0002568713670000085
的中心
Figure BDA0002568713670000086
Figure BDA0002568713670000087
其中，
Figure BDA0002568713670000088
代表属于类团
Figure BDA0002568713670000089
特征的数量。
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团
Figure BDA00025687136700000810
这K个类团代表目标域数据集的类内结构。
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络。本步骤的具体实现步骤包括：
S31、将每个类团
Figure BDA00025687136700000811
的类别k作为属于该类团中的样本
Figure BDA00025687136700000812
的估计标签
Figure BDA00025687136700000813
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块
Figure BDA00025687136700000814
学习到不可反向传播的聚类得到的类内结构：
Figure BDA00025687136700000815
其中，
Figure BDA00025687136700000816
是神经网络的替代分类器模块，
Figure BDA00025687136700000817
是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块
Figure BDA00025687136700000818
和源域分类器模块
Figure BDA00025687136700000819
在源域数据集
Figure BDA00025687136700000820
上的最优参数
Figure BDA00025687136700000821
和
Figure BDA00025687136700000822
Figure BDA00025687136700000823
其中，
Figure BDA00025687136700000824
是神经网络的源域分类器模块，
Figure BDA00025687136700000825
是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块
Figure BDA00025687136700000826
的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块
Figure BDA00025687136700000827
和判别器模块
Figure BDA0002568713670000091
在源域数据集
Figure BDA0002568713670000092
和目标域数据集
Figure BDA0002568713670000093
上的最优参数：
Figure BDA0002568713670000094
其中，
Figure BDA0002568713670000095
是矩阵的外积运算；
Figure BDA0002568713670000096
指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；
Figure BDA0002568713670000097
是神经网络的判别器模块，
Figure BDA0002568713670000098
是判别器模块随机初始化后的参数。
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络。本步骤的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块
Figure BDA0002568713670000099
为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团
Figure BDA00025687136700000910
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块
Figure BDA00025687136700000911
替代分类器模块
Figure BDA00025687136700000912
源域分类器模块
Figure BDA00025687136700000913
和判别器模块
Figure BDA00025687136700000914
为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数
Figure BDA00025687136700000915
和
Figure BDA00025687136700000916
S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型。本步骤的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块
Figure BDA00025687136700000917
替代分类器模块
Figure BDA00025687136700000918
源域分类器模块
Figure BDA00025687136700000919
和判别器模块
Figure BDA00025687136700000920
为训练的基础，参照S4步骤的操作，得到最优的神经网络的
Figure BDA0002568713670000101
替代分类器模块
Figure BDA0002568713670000102
源域分类器模块
Figure BDA0002568713670000103
和判别器模块
Figure BDA0002568713670000104
及它们对应的最优参数
Figure BDA0002568713670000105
Figure BDA0002568713670000106
和
Figure BDA0002568713670000107
上述方法的整体框架如图3所示。为了展示本发明所能达到的效果，下面将上述方法应用于一个具体实施例中。
实施例
下面基于上述方法进行仿真实验，本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对实验结果展示其结果。
本实施例使用了两种复杂网络，分别是ResNet-50，和ResNet-101。并在无监督域适应任务的三大数据集Office-31、Office-Home、VisDA-2017数据集上实施多次重复训练实验，证明了本方法可以有效地提高无监督域适应的效果。
表1本发明方法在Office-31、Office-Home、VisDA-2017数据集上的实施效果
Figure BDA0002568713670000108
上述实施例中，本发明的基于类内结构紧致约束的无监督对抗域适应方法首先对数据特征的利用类内的紧致性特点建立其类内的结构。在此基础上，将类内结构的紧致性作为约束引入无监督对抗域适应，目的在于在无监督域适应的过程中保持类内的紧致性。如图2及表1所示，从结果看出，本发明的优化方法相比于传统方法能够明显提高无监督域适应效果，本方法优化后神经网络对于目标域数据集的测试准确率进一步提升。
通过以上技术方案，本发明实施例基于类内结构紧致约束的无监督对抗域适应方法。本发明可以将原本的无监督对抗域适应转化为以类内结构紧致性为约束条件的无监督对抗域适应，从而提高神经网络优化效果。本发明适用于无监督域适应中的从有标签的源域数据集迁移到无标签的目标域数据集的迁移学习任务，面对各类复杂的情况具有较佳的效果和鲁棒性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集；
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；
S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型。
2.如权利要求1所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，定义的算法目标为：通过训练神经网络，使其能够为无标签的目标域数据集
Figure FDA0002568713660000011
的每个样本预测对应的标签。
3.如权利要求1所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S1的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
Figure FDA0002568713660000012
Figure FDA0002568713660000013
其中，
Figure FDA0002568713660000014
表示源域数据集的第i个样本，
Figure FDA0002568713660000015
表示样本
Figure FDA0002568713660000016
的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，
Figure FDA0002568713660000017
且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
Figure FDA0002568713660000018
Figure FDA0002568713660000019
其中，
Figure FDA00025687136600000110
表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本
Figure FDA00025687136600000111
的标签
Figure FDA00025687136600000112
所属的类别空间和源域数据集的类别空间一致，即
Figure FDA0002568713660000021
4.如权利要求3所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S2的具体实现步骤包括：
S21、用一个神经网络的特征提取模块
Figure FDA0002568713660000022
提取源域数据集以及目标域数据集中每张图片的特征：
Figure FDA0002568713660000023
Figure FDA0002568713660000024
其中，
Figure FDA0002568713660000025
是神经网络的特征提取模块，
Figure FDA0002568713660000026
是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值
Figure FDA0002568713660000027
并用其初始化目标域每个类团
Figure FDA0002568713660000028
的中心
Figure FDA0002568713660000029
Figure FDA00025687136600000210
其中，
Figure FDA00025687136600000211
是源域第k个类别中样本的数量，
Figure FDA00025687136600000212
是源域第k类的样本的特征的中心，
Figure FDA00025687136600000213
是初始目标域特征的第k个类团
Figure FDA00025687136600000214
的中心，k∈{1,2,…,K}；
S23、计算每个目标类团
Figure FDA00025687136600000215
的中心
Figure FDA00025687136600000216
与每个目标样本特征的球面空间距离：
Figure FDA00025687136600000217
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团
Figure FDA00025687136600000218
的中心
Figure FDA00025687136600000219
的距离
Figure FDA00025687136600000220
排序，将每个样本
Figure FDA00025687136600000221
归于其最近的类团，再重新计算出每个类团
Figure FDA00025687136600000222
的中心
Figure FDA00025687136600000223
Figure FDA00025687136600000224
其中，
Figure FDA00025687136600000225
代表属于类团
Figure FDA00025687136600000226
特征的数量。
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团
Figure FDA00025687136600000227
这K个类团代表目标域数据集的类内结构。
5.如权利要求4所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S3的具体实现步骤包括：
S31、将每个类团
Figure FDA0002568713660000031
的类别k作为属于该类团中的样本
Figure FDA0002568713660000032
的估计标签
Figure FDA0002568713660000033
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块
Figure FDA0002568713660000034
学习到不可反向传播的聚类得到的类内结构：
Figure FDA0002568713660000035
其中，
Figure FDA0002568713660000036
是神经网络的替代分类器模块，
Figure FDA0002568713660000037
是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块
Figure FDA0002568713660000038
和源域分类器模块
Figure FDA0002568713660000039
在源域数据集
Figure FDA00025687136600000310
上的最优参数
Figure FDA00025687136600000311
和
Figure FDA00025687136600000312
Figure FDA00025687136600000313
其中，
Figure FDA00025687136600000314
是神经网络的源域分类器模块，
Figure FDA00025687136600000315
是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块
Figure FDA00025687136600000316
的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块
Figure FDA00025687136600000317
和判别器模块
Figure FDA00025687136600000318
在源域数据集
Figure FDA00025687136600000319
和目标域数据集
Figure FDA00025687136600000320
上的最优参数：
Figure FDA00025687136600000321
其中，
Figure FDA00025687136600000322
是矩阵的外积运算；
Figure FDA00025687136600000323
指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；
Figure FDA00025687136600000324
是神经网络的判别器模块，
Figure FDA00025687136600000325
是判别器模块随机初始化后的参数。
6.如权利要求5所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S4的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块
Figure FDA0002568713660000041
为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团
Figure FDA0002568713660000042
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块
Figure FDA0002568713660000043
替代分类器模块
Figure FDA0002568713660000044
源域分类器模块
Figure FDA0002568713660000045
和判别器模块
Figure FDA0002568713660000046
为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数
Figure FDA0002568713660000047
和
Figure FDA0002568713660000048
7.如权利要求6所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S5的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块
Figure FDA0002568713660000049
替代分类器模块
Figure FDA00025687136600000410
源域分类器模块
Figure FDA00025687136600000411
和判别器模块
Figure FDA00025687136600000412
为训练的基础，参照S4步骤的操作，得到最优的神经网络的
Figure FDA00025687136600000413
替代分类器模块
Figure FDA00025687136600000414
源域分类器模块
Figure FDA00025687136600000415
和判别器模块
Figure FDA00025687136600000416
及它们对应的最优参数
Figure FDA00025687136600000417
Figure FDA00025687136600000418
和
Figure FDA00025687136600000419
CN202010637233.8A 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法 Active CN111931814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637233.8A CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637233.8A CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Publications (2)

Publication Number Publication Date
CN111931814A true CN111931814A (zh) 2020-11-13
CN111931814B CN111931814B (zh) 2023-12-12

Family

ID=73312211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637233.8A Active CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Country Status (1)

Country Link
CN (1) CN111931814B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801177A (zh) * 2021-01-26 2021-05-14 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112836740A (zh) * 2021-01-29 2021-05-25 北京建筑大学 一种基于马尔可夫开放复合域提升模型域自适应性的方法
CN113269024A (zh) * 2021-03-31 2021-08-17 中南大学 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备
CN113673555A (zh) * 2021-07-09 2021-11-19 浙江大学 一种基于记忆体的无监督域适应图片分类方法
KR102387663B1 (ko) * 2021-08-30 2022-04-19 서울대학교산학협력단 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
US20190354807A1 (en) * 2018-05-16 2019-11-21 Nec Laboratories America, Inc. Domain adaptation for structured output via disentangled representations
CN110796260A (zh) * 2019-09-11 2020-02-14 浙江大学 一种基于类扩张学习的神经网络模型优化方法
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190354807A1 (en) * 2018-05-16 2019-11-21 Nec Laboratories America, Inc. Domain adaptation for structured output via disentangled representations
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110796260A (zh) * 2019-09-11 2020-02-14 浙江大学 一种基于类扩张学习的神经网络模型优化方法
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801177A (zh) * 2021-01-26 2021-05-14 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112801177B (zh) * 2021-01-26 2022-07-29 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112836740A (zh) * 2021-01-29 2021-05-25 北京建筑大学 一种基于马尔可夫开放复合域提升模型域自适应性的方法
CN112836740B (zh) * 2021-01-29 2021-11-02 北京建筑大学 一种基于马尔可夫开放复合域提升模型域自适应性的方法
CN113269024A (zh) * 2021-03-31 2021-08-17 中南大学 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备
CN113269024B (zh) * 2021-03-31 2022-04-26 中南大学 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备
CN113673555A (zh) * 2021-07-09 2021-11-19 浙江大学 一种基于记忆体的无监督域适应图片分类方法
CN113673555B (zh) * 2021-07-09 2023-12-12 浙江大学 一种基于记忆体的无监督域适应图片分类方法
KR102387663B1 (ko) * 2021-08-30 2022-04-19 서울대학교산학협력단 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법

Also Published As

Publication number Publication date
CN111931814B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN111931814A (zh) 一种基于类内结构紧致约束的无监督对抗域适应方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN109308485A (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN111783521B (zh) 基于低秩先验引导的域不变信息分离的行人重识别方法
CN109002461A (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN112966647A (zh) 一种基于逐层聚类及增强判别的行人重识别方法
Zhang et al. Fine-grained vehicle recognition using lightweight convolutional neural network with combined learning strategy
CN116310385A (zh) 3d点云数据中的单一数据集域泛化方法
CN116824216A (zh) 一种无源无监督域适应图像分类方法
CN115761408A (zh) 一种基于知识蒸馏的联邦域适应方法及系统
CN116452862A (zh) 基于领域泛化学习的图像分类方法
CN111291705A (zh) 一种跨多目标域行人重识别方法
CN113033410B (zh) 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
Wang et al. A survey of applications of deep learning in radio signal modulation recognition
CN112668633A (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN117011741A (zh) 视频检测模型的训练方法、装置、设备及存储介质
CN112381176B (zh) 一种基于双目特征融合网络的图像分类方法
Tao et al. The discretization of continuous attributes based on improved SOM clustering
CN110569807B (zh) 面向复杂场景的多源目标跟踪方法
CN114120447A (zh) 一种基于原型对比学习的行为识别方法及系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant