CN113255823A - 无监督域适应的方法及装置 - Google Patents

无监督域适应的方法及装置 Download PDF

Info

Publication number
CN113255823A
CN113255823A CN202110658529.2A CN202110658529A CN113255823A CN 113255823 A CN113255823 A CN 113255823A CN 202110658529 A CN202110658529 A CN 202110658529A CN 113255823 A CN113255823 A CN 113255823A
Authority
CN
China
Prior art keywords
domain
loss function
target domain
target
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110658529.2A
Other languages
English (en)
Other versions
CN113255823B (zh
Inventor
黄安
邓婉霞
刘忠
刘丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110658529.2A priority Critical patent/CN113255823B/zh
Publication of CN113255823A publication Critical patent/CN113255823A/zh
Application granted granted Critical
Publication of CN113255823B publication Critical patent/CN113255823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督域适应方法、装置和电子设备；所述方法包括：利用特征提取器获取源域第一特征值和目标域第一特征值，并利用预设的均值算法得到目标域伪标签；利用特征提取器和分类器对所述源域的输出，建立源域分类损失函数；利用目标域第一特征值和所述目标域质心，以及目标域第二特征值，建立总体聚类损失函数；利用特征提取器对源域和目标域的输出，和分类器对源域和目标域的输出，建立条件分布总体损失函数；利用上述损失函数，建立整体损失函数，并对无监督域适应网络的拟合进行评价，以更新无监督域适应网络的参数。

Description

无监督域适应的方法及装置
技术领域
本公开的实施例涉及深度学习技术领域，尤其涉及一种无监督域适应的方法及装置。
背景技术
无监督域适应旨在通过利用已标记的源域的知识，来寻找一个有效的模型，用于未标记的目标域，其中，源域和目标域的数据不同但具有相关性。现有的无监督域适应的方法，往往忽略了目标域中，数据的潜在的判别性特征和条件分布的差异，也就是说，现有的无监督域适应的技术，无法同时实现域不变判别性特征的挖掘，以及类特征的对齐。
基于此，需要一种能够实现自然地将域不变判别性特征的挖掘和类特征的对齐统一到一个单一的框架中的方案。
发明内容
有鉴于此，本公开的目的在于提出一种无监督域适应的方法及装置。
基于上述目的，本公开提供了无监督域适应的方法，包括：
在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值，并采用预设的均值算法获取源域质心，利用所述源域质心，和特征提取器获取目标域的目标域第一特征值，得到目标域质心的初始化值，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签；
再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器对所述源域的输出，和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习；
利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习；
利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习；
令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，以更新所述无监督域适应网络的参数，以对所述图像数据进行类别的划分。
基于同一发明构思，本发明公开还提供了一种无监督域适应的装置，包括：预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块；
其中，所述预处理模块被配置为：在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值，并采用预设的均值算法获取源域质心，利用所述源域质心，和特征提取器获取目标域的目标域第一特征值，得到目标域质心的初始化值，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签；
所述源域的分类学习模块被配置为：再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器对所述源域的输出，和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习；
所述目标域的聚类学习模块被配置为：利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习；
所述适配学习模块被配置为：利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习；
所述更新模块被配置为：令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，以更新所述无监督域适应网络的参数，以对所述图像数据进行类别的划分。
基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的无监督域适应的方法。
从上面所述可以看出，本公开提供的无监督域适应的方法及装置，综合考虑了域不变判别性特征的挖掘，以及类特征的对齐，来进行无监督领域自适应，通过减少类内的变化以及增加跨领域的类间差异来进行类的对齐，促进了可迁移的判别性特征的出现。当这两种步骤结合时，取得的效果是相互促进的。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的无监督域适应方法的流程图；
图2为本公开实施例的无监督域适应装置模块示意图；
图3为本公开实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步 详细说明。
需要说明的是，除非另外定义，本公开的实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
如背景技术部分所述，现有的无监督域适应的方法还难以满足实际工程的需要。
申请人在实现本公开的过程中发现，现有的无监督域适应的方法存在的主要问题在于：往往忽略了目标域中，数据的潜在的判别性特征和条件分布的差异，也就是说，现有的无监督域适应的技术，无法同时实现域不变判别性特征的挖掘，以及类特征的对齐。
可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
以下，通过具体的实施例，并具体结合图1示出无监督域适应方法的流程图，来详细说明本公开的实施例的技术方法。
参考图1，本公开一个实施例的无监督域适应的方法，包括以下步骤：
步骤S101、在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值和目标域的目标域第一特征值，并结合预设的均值算法获取源域质心，利用所述源域质心对目标域质心进行初始化，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签。
在一些实施例中，无监督域适应网络中包含有图像数据集，例如，在本实施例中，无监督域适应网络中包含有名为Office-31的图像数据集，其中，由2个领域组成：Amazon域和Dslr域；其中，Amazon域为源域，Dslr域为目标域；
进一步的，源域中的图像数据为具备标签的标签样本，目标域中的图像数据为不具备标签的无标签样本。
进一步的，将源域和目标域分别输入到网络特征提取器中，利用特征提取器分别提取源域的特征，作为源域第一特征值，以及提取目标域的特征，作为目标域第一特征值；
进一步的，采用球面K均值算法，利用上述提取出的源域第一特征值，对源域中全部图像数据进行聚类，以将源域中的图像数据分为C个簇，例如，在本实施例中，源域的图像数据将被分为31个簇。
进一步的，取得每一簇的中心值的均值，作为该源域的质心，并将源域质心的值作为目标域质心的初始化值；
进一步的，采取球面K均值算法，根据目标域质心的初始化值，对目标域第一特征值进行聚类，并根据聚类后的结果，再次重新计算目标域质心的值；
进一步的，利用重新计算的目标域质心的值，对目标域特征值进行迭代聚类，直到目标域质心的值不发生显著的变化时，可以终止球面K均值算法的迭代，并确定该目标域质心的值；
进一步的，使用该目标域质心的最终迭代值，获得目标域特征值的聚类，进而得到目标域中图像数据的伪标签。
步骤S102、再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习。
在一些实施例中，将源域分块地输入无监督域适应网络中；
进一步的，定义源域中的标签样本数量为Ns个，并将标签样本定义为：
Figure 837589DEST_PATH_IMAGE001
将标签样本的标签定义为：
Figure 161255DEST_PATH_IMAGE002
；其中，
Figure 878675DEST_PATH_IMAGE003
进一步的，定义目标域中的无标签样本数量为Nt个，并将无标签样本定义为：
Figure 211567DEST_PATH_IMAGE004
进一步的，将特征提算子定义为f，其参数为
Figure 698043DEST_PATH_IMAGE005
；将分类器定义为g，其参数为
Figure 723768DEST_PATH_IMAGE006
；根据无监督域适应网络由特征提取器，也即特征提算子和分类器组成，进一步将无监督域适应网络定义为
Figure 662905DEST_PATH_IMAGE007
。
进一步的，通过建立关于特征提取器和分类器的源域的分类损失函数，对源域中的图像数据进行监督分类，具体的，该分类损失函数表达为：
Figure 265400DEST_PATH_IMAGE008
其中，
Figure 871962DEST_PATH_IMAGE009
表示了监督分类中的交叉熵的损失。
步骤S103、利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习。
在一些实施例中，在特征提取器中定义潜在特征空间，并以Zt表示；进一步的，在该潜在特征空间中，引入目标域的聚类学习，也即：
Figure 68588DEST_PATH_IMAGE010
，
进一步的，在潜在特征空间Zt中，根据上述目标域特征值的聚类，将其中的图像数据划分为C簇，其中，每个簇都具备1个质心，并表示为
Figure 760601DEST_PATH_IMAGE011
，c=1,……,C；需要说明的是，其中，
Figure 700875DEST_PATH_IMAGE012
；并且簇质心是可学习的。
进一步的，根据上述获得的目标域中图像数据的伪标签，使用学生t分布作为核，对嵌入点
Figure 896364DEST_PATH_IMAGE013
到质心
Figure 998312DEST_PATH_IMAGE014
的距离进行测量，具体的，表达为如下公式：
Figure 909112DEST_PATH_IMAGE015
其中，
Figure 856339DEST_PATH_IMAGE016
表示潜在特征空间Zt中的第一簇分配概率，需要说明的是，第一簇分配概率为基于实例到质心距离的软簇分配概率，并将
Figure 171914DEST_PATH_IMAGE017
记为
Figure 710343DEST_PATH_IMAGE018
。
进一步的，在本实施例中，引入第一辅助目标变量
Figure 111368DEST_PATH_IMAGE019
来进行此处的聚类学习，具体的，将目标变量
Figure 659024DEST_PATH_IMAGE019
以如下公式定义：
Figure 94685DEST_PATH_IMAGE020
进一步的，潜在特征空间中的聚类损失，也即目标域第一特征聚类损失可以由第一簇分配概率
Figure 272857DEST_PATH_IMAGE018
与第一辅助目标变量
Figure 435546DEST_PATH_IMAGE019
之间的KL散度，与用于强行平衡分配的函数相结合来表示，其中，KL散度也即相对熵；具体的，目标域第一特征聚类损失函数表达为如下公式：
Figure 255735DEST_PATH_IMAGE021
在一些实施例中，将目标域将目标域分块地输入分类器中，并获得分类器输出的目标域第二特征值，同样的，采取球面K均值算法，将目标域第二特征值再分类器的输出概率空间中聚类为C簇。
进一步的，根据遵循的多项式逻辑回归运算，在分类器的输出概率空间中，将预测概率定义为：
Figure 280323DEST_PATH_IMAGE022
，并记为第一簇分配概率
Figure 160554DEST_PATH_IMAGE023
。
进一步的，引入第二辅助目标变量
Figure 270593DEST_PATH_IMAGE024
；
进一步的，相似的，针对分类器输出特征的聚类目标函数，也即也即目标域第二特征聚类损失函数，可以由第一簇分配概率
Figure 894472DEST_PATH_IMAGE025
与第一辅助目标变量
Figure 39145DEST_PATH_IMAGE026
之间的KL散度，与用于强行平衡分配的函数相结合来表示，其中，KL散度也即相对熵；具体的，表达为如下公式：
Figure 87348DEST_PATH_IMAGE027
在一些实施例中，通过结合目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数，可以得到如下所示的总体聚类损失函数：
Figure 950262DEST_PATH_IMAGE028
进一步的，通过使用总体聚类损失函数对无监督域适应网络的训练，可以对优化域不变的类别判特征的拟合，也即目标域的聚类学习。
步骤S104、利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习。
在一些实施例中，对于类别判别特征的适应，可以通过鼓励小的类内紧致性和大的类间跨域散布，来显式地最小化条件分布的距离；具体的，可以最小化类内图像数据样本对的最大平均差距离，并同时最大化类间图像数据样本对在输出概率空间中的距离。
进一步的，将源域和目标域的图像数据分别输入至特征提取器中，分别得到特征提取器对源域图像数据的输出，和对目标域图像数据的输出。
在一些实施例中，对于特征提取器对源域图像数据的输出中，上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数，与其再生核希尔伯特空间中的平均嵌入；具体的，表达为如下公式：
Figure 112253DEST_PATH_IMAGE029
其中，
Figure 377012DEST_PATH_IMAGE030
表示源域中的C类的图像数据样本，
Figure 333467DEST_PATH_IMAGE031
表示目标域中的伪类C的图像数据样本，
Figure 418098DEST_PATH_IMAGE032
表示再生核希尔伯特空间的核特征图；
进一步的，利用上述球面K均值聚类预测的目标域的伪标签，通过核方法重写上述公式为：
Figure 383780DEST_PATH_IMAGE033
其中，
Figure 503045DEST_PATH_IMAGE034
，
Figure 893051DEST_PATH_IMAGE035
，
Figure 730557DEST_PATH_IMAGE036
；
其中，
Figure 234351DEST_PATH_IMAGE037
和
Figure 208123DEST_PATH_IMAGE038
表示目标域的伪标签，而k表示内核函数，
Figure 771959DEST_PATH_IMAGE039
的每个元素被定义为：
若
Figure 831182DEST_PATH_IMAGE040
，则
Figure 138667DEST_PATH_IMAGE041
；否则
Figure 966946DEST_PATH_IMAGE042
；
进一步的，将上述关于
Figure 698754DEST_PATH_IMAGE043
的公式的第二项，以相同方式写为：
Figure 245273DEST_PATH_IMAGE044
,
其中，
Figure 825290DEST_PATH_IMAGE045
，
Figure 773654DEST_PATH_IMAGE046
，
Figure 413714DEST_PATH_IMAGE047
；
其中，
Figure 181950DEST_PATH_IMAGE048
的元素定义为：
若
Figure 565658DEST_PATH_IMAGE049
，则
Figure 642897DEST_PATH_IMAGE050
；否则
Figure 719437DEST_PATH_IMAGE051
。
进一步的，将上述关于
Figure 709390DEST_PATH_IMAGE052
的公式重写为：
Figure 896789DEST_PATH_IMAGE053
并将其作为于特征提取器中的类级分布自适应性相关的第一适配损失函数。
在一些实施例中，相同的，将源域和目标域的图像数据分别输入至分类器中，分别得到分类器对源域图像数据的输出，和对目标域图像数据的输出。
对于分类器对源域图像数据的输出中，上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数，与其再生核希尔伯特空间中的平均嵌入；具体的，表达为如下公式：
Figure 554166DEST_PATH_IMAGE054
进一步的，采取上述关于
Figure 536029DEST_PATH_IMAGE055
公式相同的重写方式，将
Figure 13278DEST_PATH_IMAGE056
重写为如下公式：
Figure 735859DEST_PATH_IMAGE057
，
并将其作为第二适配损失函数。
进一步的，结合第一适配损失函数和第二适配损失函数，可以得到如下所示的条件分布总体损失函数：
Figure 247743DEST_PATH_IMAGE058
。
步骤S105、令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，以更新所述无监督域适应网络的参数。
在一些实施例中，将源域分类损失函数，总体聚类损失函数和条件分布总体损失函数结合，可以得到无监督域适应网络的整体损失函数，并表达为如下公式：
Figure 400506DEST_PATH_IMAGE059
，
其中，
Figure 365051DEST_PATH_IMAGE060
和
Figure 894253DEST_PATH_IMAGE061
作为平衡损失函数的参数。
进一步的，利用整体损失函数对无监督域适应网络进行反馈训练，以更新其网络参数；
具体的，在无监督域适应网络进行预测时，其预测结果的拟合程度由上述整体损失函数进行评价，当整体损失函数的计算结果越小时，无监督域适应网络的拟合程度越好，根据所选取的拟合程度，确定此时损失函数结果下的无监督域适应网络的参数，并对无监督域适应网络进行网络参数的更新。
可见，本公开的实施例的无监督域适应的方法，综合考虑了域不变判别性特征的挖掘，以及类特征的对齐，来进行无监督领域自适应，通过减少类内的变化以及增加跨领域的类间差异来进行类的对齐，促进了可迁移的判别性特征的出现。当这两种步骤结合时，取得的效果是相互促进的。
需要说明的是，本公开的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开的实施例还提供了一种无监督域适应的装置。
参考图2，所述无监督域适应的装置，包括：预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块；
其中，所述预处理模块S201被配置为：在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值和目标域的目标域第一特征值，并结合预设的均值算法获取源域质心，利用所述源域质心对目标域质心进行初始化，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签；
所述源域的分类学习模块S202被配置为：再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习；
所述目标域的聚类学习模块S203被配置为：利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习；
所述适配学习模块S204被配置为：利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习；
所述更新模块S205被配置为：令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，以更新所述无监督域适应网络的参数。
作为一个可选的实施例，所述预处理模块S201，具体被配置为：在一些实施例中，无监督域适应网络中包含有图像数据集，例如，在本实施例中，无监督域适应网络中包含有名为Office-31的图像数据集，其中，由2个领域组成：Amazon域和Dslr域；其中，Amazon域为源域，Dslr域为目标域；
进一步的，源域中的图像数据为具备标签的标签样本，目标域中的图像数据为不具备标签的无标签样本。
进一步的，将源域和目标域分别输入到网络特征提取器中，利用特征提取器分别提取源域的特征，作为源域第一特征值，以及提取目标域的特征，作为目标域第一特征值；
进一步的，采用球面K均值算法，利用上述提取出的源域第一特征值，对源域中全部图像数据进行聚类，以将源域中的图像数据分为C个簇，例如，在本实施例中，源域的图像数据将被分为31个簇。
进一步的，取得每一簇的中心值的均值，作为该源域的质心，并将源域质心的值作为目标域质心的初始化值；
进一步的，采取球面K均值算法，根据目标域质心的初始化值，对目标域第一特征值进行聚类，并根据聚类后的结果，再次重新计算目标域质心的值；
进一步的，利用重新计算的目标域质心的值，对目标域特征值进行迭代聚类，直到目标域质心的值不发生显著的变化时，可以终止球面K均值算法的迭代，并确定该目标域质心的值；
进一步的，使用该目标域质心的最终迭代值，获得目标域特征值的聚类，进而得到目标域中图像数据的伪标签。
作为一个可选的实施例，所述源域的分类学习模块S202，具体被配置为：在一些实施例中，将源域分块地输入无监督域适应网络中；
进一步的，定义源域中的标签样本数量为Ns个，并将标签样本定义为：
Figure 526222DEST_PATH_IMAGE062
将标签样本的标签定义为：
Figure 112537DEST_PATH_IMAGE063
；其中，
Figure 829957DEST_PATH_IMAGE064
进一步的，定义目标域中的无标签样本数量为Nt个，并将无标签样本定义为：
Figure 897270DEST_PATH_IMAGE065
，
进一步的，将特征提算子定义为f，其参数为
Figure 649326DEST_PATH_IMAGE066
；将分类器定义为g，其参数为
Figure 143892DEST_PATH_IMAGE067
；根据无监督域适应网络由特征提取器，也即特征提算子和分类器组成，进一步将无监督域适应网络定义为
Figure 83029DEST_PATH_IMAGE068
。
进一步的，通过建立关于特征提取器和分类器的源域的分类损失函数，对源域中的图像数据进行监督分类，具体的，该分类损失函数表达为：
Figure 219613DEST_PATH_IMAGE069
其中，
Figure 557666DEST_PATH_IMAGE070
表示了监督分类中的交叉熵的损失。
作为一个可选的实施例，所述目标域的聚类学习模块S203，具体被配置为：在一些实施例中，在特征提取器中定义潜在特征空间，并以Zt表示；进一步的，在该潜在特征空间中，引入目标域的聚类学习，也即：
Figure 223133DEST_PATH_IMAGE071
，
进一步的，在潜在特征空间Zt中，根据上述目标域特征值的聚类，将其中的图像数据划分为C簇，其中，每个簇都具备1个质心，并表示为
Figure 649566DEST_PATH_IMAGE072
，c=1,……,C；需要说明的是，其中，
Figure 589841DEST_PATH_IMAGE073
；并且簇质心是可学习的。
进一步的，根据上述获得的目标域中图像数据的伪标签，使用学生t分布作为核，对嵌入点
Figure 50909DEST_PATH_IMAGE074
到质心
Figure 887278DEST_PATH_IMAGE075
的距离进行测量，具体的，表达为如下公式：
Figure 801007DEST_PATH_IMAGE076
，
其中，
Figure 288182DEST_PATH_IMAGE077
表示潜在特征空间Zt中的第一簇分配概率，需要说明的是，第一簇分配概率为基于实例到质心距离的软簇分配概率，并将
Figure 338178DEST_PATH_IMAGE078
记为
Figure 876607DEST_PATH_IMAGE079
。
进一步的，在本实施例中，引入第一辅助目标变量
Figure 12053DEST_PATH_IMAGE080
来进行此处的聚类学习，具体的，将目标变量
Figure 28550DEST_PATH_IMAGE080
以如下公式定义：
Figure 198632DEST_PATH_IMAGE081
进一步的，潜在特征空间中的聚类损失，也即目标域第一特征聚类损失可以由第一簇分配概率
Figure 642383DEST_PATH_IMAGE082
与第一辅助目标变量
Figure 527774DEST_PATH_IMAGE080
之间的KL散度，与用于强行平衡分配的函数相结合来表示，其中，KL散度也即相对熵；具体的，目标域第一特征聚类损失函数表达为如下公式：
Figure 82384DEST_PATH_IMAGE083
。
在一些实施例中，将目标域将目标域分块地输入分类器中，并获得分类器输出的目标域第二特征值，同样的，采取球面K均值算法，将目标域第二特征值再分类器的输出概率空间中聚类为C簇。
进一步的，根据遵循的多项式逻辑回归运算，在分类器的输出概率空间中，将预测概率定义为：
Figure 372551DEST_PATH_IMAGE084
，并记为第一簇分配概率
Figure 987203DEST_PATH_IMAGE085
。
进一步的，引入第二辅助目标变量
Figure 566083DEST_PATH_IMAGE086
；
进一步的，相似的，针对分类器输出特征的聚类目标函数，也即也即目标域第二特征聚类损失函数，可以由第一簇分配概率
Figure 924383DEST_PATH_IMAGE087
与第一辅助目标变量
Figure 69056DEST_PATH_IMAGE088
之间的KL散度，与用于强行平衡分配的函数相结合来表示，其中，KL散度也即相对熵；具体的，表达为如下公式：
Figure 851680DEST_PATH_IMAGE089
在一些实施例中，通过结合目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数，可以得到如下所示的总体聚类损失函数：
Figure 714594DEST_PATH_IMAGE090
进一步的，通过使用总体聚类损失函数对无监督域适应网络的训练，可以对优化域不变的类别判特征的拟合，也即目标域的聚类学习。
作为一个可选的实施例，所述适配学习模块S204，具体被配置为：在一些实施例中，对于类别判别特征的适应，可以通过鼓励小的类内紧致性和大的类间跨域散布，来显式地最小化条件分布的距离；具体的，可以最小化类内图像数据样本对的最大平均差距离，并同时最大化类间图像数据样本对在输出概率空间中的距离。
进一步的，将源域和目标域的图像数据分别输入至特征提取器中，分别得到特征提取器对源域图像数据的输出，和对目标域图像数据的输出。
在一些实施例中，对于特征提取器对源域图像数据的输出中，上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数，与其再生核希尔伯特空间中的平均嵌入；具体的，表达为如下公式：
Figure 611006DEST_PATH_IMAGE091
其中，
Figure 875765DEST_PATH_IMAGE092
表示源域中的C类的图像数据样本，
Figure 566640DEST_PATH_IMAGE093
表示目标域中的伪类C的图像数据样本，
Figure 651271DEST_PATH_IMAGE094
表示再生核希尔伯特空间的核特征图；
进一步的，利用上述球面K均值聚类预测的目标域的伪标签，通过核方法重写上述公式为：
Figure 616953DEST_PATH_IMAGE095
，
其中，
Figure 467710DEST_PATH_IMAGE096
，
Figure 595066DEST_PATH_IMAGE097
，
Figure 166993DEST_PATH_IMAGE098
；
其中，
Figure 405207DEST_PATH_IMAGE099
和
Figure 644559DEST_PATH_IMAGE100
表示目标域的伪标签，而k表示内核函数，
Figure 942816DEST_PATH_IMAGE101
的每个元素被定义为：
若
Figure 745249DEST_PATH_IMAGE102
，则
Figure 52733DEST_PATH_IMAGE103
；否则
Figure 881012DEST_PATH_IMAGE104
；
进一步的，将上述关于
Figure 350170DEST_PATH_IMAGE105
的公式的第二项，以相同方式写为：
Figure 631110DEST_PATH_IMAGE106
，
其中，
Figure 211127DEST_PATH_IMAGE107
，
Figure 893912DEST_PATH_IMAGE108
，
Figure 796622DEST_PATH_IMAGE109
；
其中，
Figure 564858DEST_PATH_IMAGE110
的元素定义为：
若
Figure 214145DEST_PATH_IMAGE111
，则
Figure 751437DEST_PATH_IMAGE112
；否则
Figure 827977DEST_PATH_IMAGE113
。
进一步的，将上述关于
Figure 83509DEST_PATH_IMAGE114
的公式重写为：
Figure 536487DEST_PATH_IMAGE115
并将其作为于特征提取器中的类级分布自适应性相关的第一适配损失函数。
在一些实施例中，相同的，将源域和目标域的图像数据分别输入至分类器中，分别得到分类器对源域图像数据的输出，和对目标域图像数据的输出。
对于分类器对源域图像数据的输出中，上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数，与其再生核希尔伯特空间中的平均嵌入；具体的，表达为如下公式：
Figure 925356DEST_PATH_IMAGE116
，
进一步的，采取上述关于
Figure 907218DEST_PATH_IMAGE117
公式相同的重写方式，将
Figure 915625DEST_PATH_IMAGE118
重写为如下公式：
Figure 641136DEST_PATH_IMAGE119
，
并将其作为第二适配损失函数。
进一步的，结合第一适配损失函数和第二适配损失函数，可以得到如下所示的条件分布总体损失函数：
Figure 418599DEST_PATH_IMAGE120
作为一个可选的实施例，所述更新模块S205，具体被配置为：在一些实施例中，将源域分类损失函数，总体聚类损失函数和条件分布总体损失函数结合，可以得到无监督域适应网络的整体损失函数，并表达为如下公式：
Figure 571363DEST_PATH_IMAGE121
其中，
Figure 801487DEST_PATH_IMAGE122
和
Figure 62180DEST_PATH_IMAGE123
作为平衡损失函数的参数。
进一步的，利用整体损失函数对无监督域适应网络进行反馈训练，以更新其网络参数；
具体的，在无监督域适应网络进行预测时，其预测结果的拟合程度由上述整体损失函数进行评价，当整体损失函数的计算结果越小时，无监督域适应网络的拟合程度越好，根据所选取的拟合程度，确定此时损失函数结果下的无监督域适应网络的参数，并对无监督域适应网络进行网络参数的更新。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的无监督域适应方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的无监督域适应方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本公开实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本公开实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的无监督域适应方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开的实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本公开的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种无监督域适应的方法，其特征在于，包括：
在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值，并采用预设的均值算法获取源域质心，利用所述源域质心，和特征提取器获取目标域的目标域第一特征值，得到目标域质心的初始化值，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签；
再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器对所述源域的输出，和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习；
利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习；
利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习；
令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，并更新所述无监督域适应网络的参数，以对所述图像数据进行类别的划分。
2.根据权利要求1所述的方法，其特征在于，所述采用预设的均值算法获取源域质心，包括：
采用预设的所述均值算法对所述源域进行聚类，以得到所述源域的分簇，并将每一簇的中心值的均值作为所述源域的质心；
其中，所述均值算法为球面K均值聚类算法。
3.根据权利要求2所述的方法，其特征在于，所述利用预设的所述均值算法对所述目标域质心进行优化，包括：
根据所述目标域质心的初始化值，采用所述球面K均值聚类算法，对所述目标域进行迭代聚类；以及
响应于所述目标域质心不发生变化，确定所述目标域质心优化完成，并确定所述目标域的分簇。
4.根据权利要求1所述的方法，其特征在于，所述利用所述特征提取器和所述分类器对所述源域的输出，建立源域分类损失函数，包括：
将所述无监督域适应网络定义为h，并在所述无监督域适应网络中，将所述特征提取器的参数定义为
Figure 909374DEST_PATH_IMAGE001
，将所述分类器的参数定义为
Figure 498619DEST_PATH_IMAGE002
；
并结合交叉熵的损失，建立所述源域分类损失函数：
Figure 213109DEST_PATH_IMAGE003
，
其中，
Figure 546002DEST_PATH_IMAGE004
作为所述源域中的标签样本数量，
Figure 298057DEST_PATH_IMAGE005
作为所述源域中标签样本的标签，
Figure 58203DEST_PATH_IMAGE006
作为所述源域中的标签样本。
5.根据权利要求2所述的方法，其特征在于，所述利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，包括：
在所述特征提取器中定义潜在特征空间，并利用所述目标域第一特征值和所述目标域质心，根据所述球面K均值算法，对所述潜在特征空间中进行聚类，以获取所述潜在特征空间的伪标签；
根据所述潜在特征空间的伪标签，获取所述潜在特征空间的第一簇分配概率，并利用所述第一簇分配概率，建立所述目标域第一特征聚类损失函数。
6.根据权利要求1所述的方法，其特征在于，所述利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，包括：
在所述分类器的输出概率空间中，利用目标域第二特征值，并遵循多项式逻辑回归运算，获取第二簇分配概率；
并利用所述第二簇分配概率，建立所述目标域第二特征聚类损失函数。
7.根据权利要求1所述的方法，其特征在于，所述利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，包括：
利用所述目标域的伪标签，最小化类内样本对的最大平均差距离，并在所述分类器的输出概率空间中，最大化类间样本对的距离。
8.根据权利要求1所述的方法，其特征在于，所述利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，并更新所述无监督域适应网络的参数，包括：
响应于所述整体损失函数的运算结果越小，确定拟合程度越好的所述无监督域适应网络的参数；
其中，所述无监督域适应网络的参数包括所述目标域的聚类学习，和所述目标域的适配学习。
9.一种无监督域适应的装置，其特征在于，包括：预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块；
其中，所述预处理模块被配置为：在无监督域适应网络的图像数据集中，利用特征提取器获取源域的源域第一特征值，并采用预设的均值算法获取源域质心，利用所述源域质心，和特征提取器获取目标域的目标域第一特征值，得到目标域质心的初始化值，并利用预设的所述均值算法对所述目标域质心进行优化，并得到目标域伪标签；
所述源域的分类学习模块被配置为：再次将所述源域输入所述特征提取器和分类器，利用所述特征提取器对所述源域的输出，和所述分类器对所述源域的输出，建立源域分类损失函数，以进行所述源域的分类学习；
所述目标域的聚类学习模块被配置为：利用所述目标域第一特征值和所述目标域质心，建立目标域第一特征聚类损失函数，利用所述分类器获取目标域第二特征值，建立目标域第二特征聚类损失函数，令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数，以进行所述目标域的聚类学习；
所述适配学习模块被配置为：利用所述特征提取器对所述源域和所述目标域的输出，建立第一适配损失函数，利用所述分类器对所述源域和所述目标域的输出，建立第二适配损失函数，令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数，以进行所述源域和所述目标域的适配学习；
所述更新模块被配置为：令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数，并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价，并更新所述无监督域适应网络的参数，以对所述图像数据进行类别的划分。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。
CN202110658529.2A 2021-06-15 2021-06-15 无监督域适应的方法及装置 Active CN113255823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658529.2A CN113255823B (zh) 2021-06-15 2021-06-15 无监督域适应的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658529.2A CN113255823B (zh) 2021-06-15 2021-06-15 无监督域适应的方法及装置

Publications (2)

Publication Number Publication Date
CN113255823A true CN113255823A (zh) 2021-08-13
CN113255823B CN113255823B (zh) 2021-11-05

Family

ID=77188067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658529.2A Active CN113255823B (zh) 2021-06-15 2021-06-15 无监督域适应的方法及装置

Country Status (1)

Country Link
CN (1) CN113255823B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792758A (zh) * 2021-08-18 2021-12-14 中国矿业大学 一种基于自监督学习和聚类的滚动轴承故障诊断方法
CN114220003A (zh) * 2021-11-26 2022-03-22 三峡大学 一种大范围地物分割的多目标无监督域自适应方法
KR102387663B1 (ko) * 2021-08-30 2022-04-19 서울대학교산학협력단 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604304A (zh) * 2016-01-20 2018-09-28 商汤集团有限公司 用于使来自源域的用于对象表示的深度模型适应于目标域的方法和系统
CN110880019A (zh) * 2019-10-30 2020-03-13 北京中科研究院 通过无监督域适应训练目标域分类模型的方法
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
CN112001398A (zh) * 2020-08-26 2020-11-27 科大讯飞股份有限公司 域适应方法、装置、设备、图像处理方法及存储介质
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法
US20210027066A1 (en) * 2019-07-24 2021-01-28 Honda Motor Co., Ltd. System and method for providing unsupervised domain adaptation for spatio-temporal action localization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604304A (zh) * 2016-01-20 2018-09-28 商汤集团有限公司 用于使来自源域的用于对象表示的深度模型适应于目标域的方法和系统
US20210027066A1 (en) * 2019-07-24 2021-01-28 Honda Motor Co., Ltd. System and method for providing unsupervised domain adaptation for spatio-temporal action localization
CN110880019A (zh) * 2019-10-30 2020-03-13 北京中科研究院 通过无监督域适应训练目标域分类模型的方法
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
CN112001398A (zh) * 2020-08-26 2020-11-27 科大讯飞股份有限公司 域适应方法、装置、设备、图像处理方法及存储介质
CN112149722A (zh) * 2020-09-11 2020-12-29 南京大学 一种基于无监督域适应的图像自动标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI MA.ET AL: ""Centroid and Covariance Alignment-Based Domain"", 《IEEE》 *
盛常冲，陈小鼎，匡纲要，刘丽: ""唇读研究进展与展望"", 《自动化学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792758A (zh) * 2021-08-18 2021-12-14 中国矿业大学 一种基于自监督学习和聚类的滚动轴承故障诊断方法
CN113792758B (zh) * 2021-08-18 2023-11-07 中国矿业大学 一种基于自监督学习和聚类的滚动轴承故障诊断方法
KR102387663B1 (ko) * 2021-08-30 2022-04-19 서울대학교산학협력단 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법
CN114220003A (zh) * 2021-11-26 2022-03-22 三峡大学 一种大范围地物分割的多目标无监督域自适应方法
CN114220003B (zh) * 2021-11-26 2022-10-21 三峡大学 一种大范围地物分割的多目标无监督域自适应方法

Also Published As

Publication number Publication date
CN113255823B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113255823B (zh) 无监督域适应的方法及装置
US11003949B2 (en) Neural network-based action detection
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN109902706B (zh) 推荐方法及装置
CN110097606B (zh) 面部合成
CN110033026B (zh) 一种连续小样本图像的目标检测方法、装置及设备
Cui et al. Subspace clustering guided convex nonnegative matrix factorization
WO2017107422A1 (zh) 一种用户性别识别方法及装置
WO2019055093A1 (en) EXTRACTION OF SPATIO-TEMPORAL CHARACTERISTICS FROM A VIDEO
KR20220061008A (ko) 점진적 학습을 위한 방법 및 장치
CN111950279A (zh) 实体关系的处理方法、装置、设备及计算机可读存储介质
CN113298096A (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
JP5311899B2 (ja) パターン検出器の学習装置、学習方法及びプログラム
DE102022114631A1 (de) System und Verfahren für unüberwachtes Lernen von Segmentierungsaufgaben
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
US11410065B2 (en) Storage medium, model output method, and model output device
CN116910571A (zh) 一种基于原型对比学习的开集域适应方法及系统
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Zheng et al. Functional gradient ascent for Probit regression
CN114255381B (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
US11854528B2 (en) Method and system for detecting unsupported utterances in natural language understanding
EP4206989A1 (en) Data processing method, neural network training method, and related device
Latypova et al. Peculiarities of image recognition by the Hopfield neural network
CN113947431A (zh) 一种用户行为质量评估方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant