CN113255823A - 无监督域适应的方法及装置 - Google Patents
无监督域适应的方法及装置 Download PDFInfo
- Publication number
- CN113255823A CN113255823A CN202110658529.2A CN202110658529A CN113255823A CN 113255823 A CN113255823 A CN 113255823A CN 202110658529 A CN202110658529 A CN 202110658529A CN 113255823 A CN113255823 A CN 113255823A
- Authority
- CN
- China
- Prior art keywords
- domain
- loss function
- target domain
- target
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006978 adaptation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 claims abstract description 72
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 181
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 230000001172 regenerating effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无监督域适应方法、装置和电子设备;所述方法包括:利用特征提取器获取源域第一特征值和目标域第一特征值,并利用预设的均值算法得到目标域伪标签;利用特征提取器和分类器对所述源域的输出,建立源域分类损失函数;利用目标域第一特征值和所述目标域质心,以及目标域第二特征值,建立总体聚类损失函数;利用特征提取器对源域和目标域的输出,和分类器对源域和目标域的输出,建立条件分布总体损失函数;利用上述损失函数,建立整体损失函数,并对无监督域适应网络的拟合进行评价,以更新无监督域适应网络的参数。
Description
技术领域
本公开的实施例涉及深度学习技术领域,尤其涉及一种无监督域适应的方法及装置。
背景技术
无监督域适应旨在通过利用已标记的源域的知识,来寻找一个有效的模型,用于未标记的目标域,其中,源域和目标域的数据不同但具有相关性。现有的无监督域适应的方法,往往忽略了目标域中,数据的潜在的判别性特征和条件分布的差异,也就是说,现有的无监督域适应的技术,无法同时实现域不变判别性特征的挖掘,以及类特征的对齐。
基于此,需要一种能够实现自然地将域不变判别性特征的挖掘和类特征的对齐统一到一个单一的框架中的方案。
发明内容
有鉴于此,本公开的目的在于提出一种无监督域适应的方法及装置。
基于上述目的,本公开提供了无监督域适应的方法,包括:
在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值,并采用预设的均值算法获取源域质心,利用所述源域质心,和特征提取器获取目标域的目标域第一特征值,得到目标域质心的初始化值,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签;
再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器对所述源域的输出,和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习;
利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习;
利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习;
令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,以更新所述无监督域适应网络的参数,以对所述图像数据进行类别的划分。
基于同一发明构思,本发明公开还提供了一种无监督域适应的装置,包括:预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块;
其中,所述预处理模块被配置为:在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值,并采用预设的均值算法获取源域质心,利用所述源域质心,和特征提取器获取目标域的目标域第一特征值,得到目标域质心的初始化值,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签;
所述源域的分类学习模块被配置为:再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器对所述源域的输出,和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习;
所述目标域的聚类学习模块被配置为:利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习;
所述适配学习模块被配置为:利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习;
所述更新模块被配置为:令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,以更新所述无监督域适应网络的参数,以对所述图像数据进行类别的划分。
基于同一发明构思,本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一项所述的无监督域适应的方法。
从上面所述可以看出,本公开提供的无监督域适应的方法及装置,综合考虑了域不变判别性特征的挖掘,以及类特征的对齐,来进行无监督领域自适应,通过减少类内的变化以及增加跨领域的类间差异来进行类的对齐,促进了可迁移的判别性特征的出现。当这两种步骤结合时,取得的效果是相互促进的。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例的无监督域适应方法的流程图;
图2为本公开实施例的无监督域适应装置模块示意图;
图3为本公开实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步 详细说明。
需要说明的是,除非另外定义,本公开的实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
如背景技术部分所述,现有的无监督域适应的方法还难以满足实际工程的需要。
申请人在实现本公开的过程中发现,现有的无监督域适应的方法存在的主要问题在于:往往忽略了目标域中,数据的潜在的判别性特征和条件分布的差异,也就是说,现有的无监督域适应的技术,无法同时实现域不变判别性特征的挖掘,以及类特征的对齐。
可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
以下,通过具体的实施例,并具体结合图1示出无监督域适应方法的流程图,来详细说明本公开的实施例的技术方法。
参考图1,本公开一个实施例的无监督域适应的方法,包括以下步骤:
步骤S101、在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值和目标域的目标域第一特征值,并结合预设的均值算法获取源域质心,利用所述源域质心对目标域质心进行初始化,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签。
在一些实施例中,无监督域适应网络中包含有图像数据集,例如,在本实施例中,无监督域适应网络中包含有名为Office-31的图像数据集,其中,由2个领域组成:Amazon域和Dslr域;其中,Amazon域为源域,Dslr域为目标域;
进一步的,源域中的图像数据为具备标签的标签样本,目标域中的图像数据为不具备标签的无标签样本。
进一步的,将源域和目标域分别输入到网络特征提取器中,利用特征提取器分别提取源域的特征,作为源域第一特征值,以及提取目标域的特征,作为目标域第一特征值;
进一步的,采用球面K均值算法,利用上述提取出的源域第一特征值,对源域中全部图像数据进行聚类,以将源域中的图像数据分为C个簇,例如,在本实施例中,源域的图像数据将被分为31个簇。
进一步的,取得每一簇的中心值的均值,作为该源域的质心,并将源域质心的值作为目标域质心的初始化值;
进一步的,采取球面K均值算法,根据目标域质心的初始化值,对目标域第一特征值进行聚类,并根据聚类后的结果,再次重新计算目标域质心的值;
进一步的,利用重新计算的目标域质心的值,对目标域特征值进行迭代聚类,直到目标域质心的值不发生显著的变化时,可以终止球面K均值算法的迭代,并确定该目标域质心的值;
进一步的,使用该目标域质心的最终迭代值,获得目标域特征值的聚类,进而得到目标域中图像数据的伪标签。
步骤S102、再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习。
在一些实施例中,将源域分块地输入无监督域适应网络中;
进一步的,定义源域中的标签样本数量为Ns个,并将标签样本定义为:
将标签样本的标签定义为:
进一步的,定义目标域中的无标签样本数量为Nt个,并将无标签样本定义为:
进一步的,通过建立关于特征提取器和分类器的源域的分类损失函数,对源域中的图像数据进行监督分类,具体的,该分类损失函数表达为:
步骤S103、利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习。
在一些实施例中,在特征提取器中定义潜在特征空间,并以Zt表示;进一步的,在该潜在特征空间中,引入目标域的聚类学习,也即:
进一步的,潜在特征空间中的聚类损失,也即目标域第一特征聚类损失可以由第一簇分配概率与第一辅助目标变量之间的KL散度,与用于强行平衡分配的函数相结合来表示,其中,KL散度也即相对熵;具体的,目标域第一特征聚类损失函数表达为如下公式:
在一些实施例中,将目标域将目标域分块地输入分类器中,并获得分类器输出的目标域第二特征值,同样的,采取球面K均值算法,将目标域第二特征值再分类器的输出概率空间中聚类为C簇。
进一步的,相似的,针对分类器输出特征的聚类目标函数,也即也即目标域第二特征聚类损失函数,可以由第一簇分配概率与第一辅助目标变量之间的KL散度,与用于强行平衡分配的函数相结合来表示,其中,KL散度也即相对熵;具体的,表达为如下公式:
在一些实施例中,通过结合目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数,可以得到如下所示的总体聚类损失函数:
进一步的,通过使用总体聚类损失函数对无监督域适应网络的训练,可以对优化域不变的类别判特征的拟合,也即目标域的聚类学习。
步骤S104、利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习。
在一些实施例中,对于类别判别特征的适应,可以通过鼓励小的类内紧致性和大的类间跨域散布,来显式地最小化条件分布的距离;具体的,可以最小化类内图像数据样本对的最大平均差距离,并同时最大化类间图像数据样本对在输出概率空间中的距离。
进一步的,将源域和目标域的图像数据分别输入至特征提取器中,分别得到特征提取器对源域图像数据的输出,和对目标域图像数据的输出。
在一些实施例中,对于特征提取器对源域图像数据的输出中,上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数,与其再生核希尔伯特空间中的平均嵌入;具体的,表达为如下公式:
进一步的,利用上述球面K均值聚类预测的目标域的伪标签,通过核方法重写上述公式为:
其中,
其中,
并将其作为于特征提取器中的类级分布自适应性相关的第一适配损失函数。
在一些实施例中,相同的,将源域和目标域的图像数据分别输入至分类器中,分别得到分类器对源域图像数据的输出,和对目标域图像数据的输出。
对于分类器对源域图像数据的输出中,上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数,与其再生核希尔伯特空间中的平均嵌入;具体的,表达为如下公式:
并将其作为第二适配损失函数。
进一步的,结合第一适配损失函数和第二适配损失函数,可以得到如下所示的条件分布总体损失函数:
步骤S105、令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,以更新所述无监督域适应网络的参数。
在一些实施例中,将源域分类损失函数,总体聚类损失函数和条件分布总体损失函数结合,可以得到无监督域适应网络的整体损失函数,并表达为如下公式:
进一步的,利用整体损失函数对无监督域适应网络进行反馈训练,以更新其网络参数;
具体的,在无监督域适应网络进行预测时,其预测结果的拟合程度由上述整体损失函数进行评价,当整体损失函数的计算结果越小时,无监督域适应网络的拟合程度越好,根据所选取的拟合程度,确定此时损失函数结果下的无监督域适应网络的参数,并对无监督域适应网络进行网络参数的更新。
可见,本公开的实施例的无监督域适应的方法,综合考虑了域不变判别性特征的挖掘,以及类特征的对齐,来进行无监督领域自适应,通过减少类内的变化以及增加跨领域的类间差异来进行类的对齐,促进了可迁移的判别性特征的出现。当这两种步骤结合时,取得的效果是相互促进的。
需要说明的是,本公开的实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开的实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本公开的实施例还提供了一种无监督域适应的装置。
参考图2,所述无监督域适应的装置,包括:预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块;
其中,所述预处理模块S201被配置为:在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值和目标域的目标域第一特征值,并结合预设的均值算法获取源域质心,利用所述源域质心对目标域质心进行初始化,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签;
所述源域的分类学习模块S202被配置为:再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习;
所述目标域的聚类学习模块S203被配置为:利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习;
所述适配学习模块S204被配置为:利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习;
所述更新模块S205被配置为:令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,以更新所述无监督域适应网络的参数。
作为一个可选的实施例,所述预处理模块S201,具体被配置为:在一些实施例中,无监督域适应网络中包含有图像数据集,例如,在本实施例中,无监督域适应网络中包含有名为Office-31的图像数据集,其中,由2个领域组成:Amazon域和Dslr域;其中,Amazon域为源域,Dslr域为目标域;
进一步的,源域中的图像数据为具备标签的标签样本,目标域中的图像数据为不具备标签的无标签样本。
进一步的,将源域和目标域分别输入到网络特征提取器中,利用特征提取器分别提取源域的特征,作为源域第一特征值,以及提取目标域的特征,作为目标域第一特征值;
进一步的,采用球面K均值算法,利用上述提取出的源域第一特征值,对源域中全部图像数据进行聚类,以将源域中的图像数据分为C个簇,例如,在本实施例中,源域的图像数据将被分为31个簇。
进一步的,取得每一簇的中心值的均值,作为该源域的质心,并将源域质心的值作为目标域质心的初始化值;
进一步的,采取球面K均值算法,根据目标域质心的初始化值,对目标域第一特征值进行聚类,并根据聚类后的结果,再次重新计算目标域质心的值;
进一步的,利用重新计算的目标域质心的值,对目标域特征值进行迭代聚类,直到目标域质心的值不发生显著的变化时,可以终止球面K均值算法的迭代,并确定该目标域质心的值;
进一步的,使用该目标域质心的最终迭代值,获得目标域特征值的聚类,进而得到目标域中图像数据的伪标签。
作为一个可选的实施例,所述源域的分类学习模块S202,具体被配置为:在一些实施例中,将源域分块地输入无监督域适应网络中;
将标签样本的标签定义为:
进一步的,定义目标域中的无标签样本数量为Nt个,并将无标签样本定义为:
进一步的,通过建立关于特征提取器和分类器的源域的分类损失函数,对源域中的图像数据进行监督分类,具体的,该分类损失函数表达为:
作为一个可选的实施例,所述目标域的聚类学习模块S203,具体被配置为:在一些实施例中,在特征提取器中定义潜在特征空间,并以Zt表示;进一步的,在该潜在特征空间中,引入目标域的聚类学习,也即:
进一步的,潜在特征空间中的聚类损失,也即目标域第一特征聚类损失可以由第一簇分配概率与第一辅助目标变量之间的KL散度,与用于强行平衡分配的函数相结合来表示,其中,KL散度也即相对熵;具体的,目标域第一特征聚类损失函数表达为如下公式:
在一些实施例中,将目标域将目标域分块地输入分类器中,并获得分类器输出的目标域第二特征值,同样的,采取球面K均值算法,将目标域第二特征值再分类器的输出概率空间中聚类为C簇。
进一步的,相似的,针对分类器输出特征的聚类目标函数,也即也即目标域第二特征聚类损失函数,可以由第一簇分配概率与第一辅助目标变量之间的KL散度,与用于强行平衡分配的函数相结合来表示,其中,KL散度也即相对熵;具体的,表达为如下公式:
在一些实施例中,通过结合目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数,可以得到如下所示的总体聚类损失函数:
进一步的,通过使用总体聚类损失函数对无监督域适应网络的训练,可以对优化域不变的类别判特征的拟合,也即目标域的聚类学习。
作为一个可选的实施例,所述适配学习模块S204,具体被配置为:在一些实施例中,对于类别判别特征的适应,可以通过鼓励小的类内紧致性和大的类间跨域散布,来显式地最小化条件分布的距离;具体的,可以最小化类内图像数据样本对的最大平均差距离,并同时最大化类间图像数据样本对在输出概率空间中的距离。
进一步的,将源域和目标域的图像数据分别输入至特征提取器中,分别得到特征提取器对源域图像数据的输出,和对目标域图像数据的输出。
在一些实施例中,对于特征提取器对源域图像数据的输出中,上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数,与其再生核希尔伯特空间中的平均嵌入;具体的,表达为如下公式:
进一步的,利用上述球面K均值聚类预测的目标域的伪标签,通过核方法重写上述公式为:
其中,
其中,
并将其作为于特征提取器中的类级分布自适应性相关的第一适配损失函数。
在一些实施例中,相同的,将源域和目标域的图像数据分别输入至分类器中,分别得到分类器对源域图像数据的输出,和对目标域图像数据的输出。
对于分类器对源域图像数据的输出中,上述的类别判别特征适应可以表达为两个类别的类条件分布之间的损失函数,与其再生核希尔伯特空间中的平均嵌入;具体的,表达为如下公式:
并将其作为第二适配损失函数。
进一步的,结合第一适配损失函数和第二适配损失函数,可以得到如下所示的条件分布总体损失函数:
作为一个可选的实施例,所述更新模块S205,具体被配置为:在一些实施例中,将源域分类损失函数,总体聚类损失函数和条件分布总体损失函数结合,可以得到无监督域适应网络的整体损失函数,并表达为如下公式:
进一步的,利用整体损失函数对无监督域适应网络进行反馈训练,以更新其网络参数;
具体的,在无监督域适应网络进行预测时,其预测结果的拟合程度由上述整体损失函数进行评价,当整体损失函数的计算结果越小时,无监督域适应网络的拟合程度越好,根据所选取的拟合程度,确定此时损失函数结果下的无监督域适应网络的参数,并对无监督域适应网络进行网络参数的更新。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本公开的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的无监督域适应方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开的实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一实施例所述的无监督域适应方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图, 该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本公开实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本公开实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本公开实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的无监督域适应方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开的实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开的实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开的实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开的实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开的实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开的实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种无监督域适应的方法,其特征在于,包括:
在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值,并采用预设的均值算法获取源域质心,利用所述源域质心,和特征提取器获取目标域的目标域第一特征值,得到目标域质心的初始化值,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签;
再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器对所述源域的输出,和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习;
利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习;
利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习;
令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,并更新所述无监督域适应网络的参数,以对所述图像数据进行类别的划分。
2.根据权利要求1所述的方法,其特征在于,所述采用预设的均值算法获取源域质心,包括:
采用预设的所述均值算法对所述源域进行聚类,以得到所述源域的分簇,并将每一簇的中心值的均值作为所述源域的质心;
其中,所述均值算法为球面K均值聚类算法。
3.根据权利要求2所述的方法,其特征在于,所述利用预设的所述均值算法对所述目标域质心进行优化,包括:
根据所述目标域质心的初始化值,采用所述球面K均值聚类算法,对所述目标域进行迭代聚类;以及
响应于所述目标域质心不发生变化,确定所述目标域质心优化完成,并确定所述目标域的分簇。
5.根据权利要求2所述的方法,其特征在于,所述利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,包括:
在所述特征提取器中定义潜在特征空间,并利用所述目标域第一特征值和所述目标域质心,根据所述球面K均值算法,对所述潜在特征空间中进行聚类,以获取所述潜在特征空间的伪标签;
根据所述潜在特征空间的伪标签,获取所述潜在特征空间的第一簇分配概率,并利用所述第一簇分配概率,建立所述目标域第一特征聚类损失函数。
6.根据权利要求1所述的方法,其特征在于,所述利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,包括:
在所述分类器的输出概率空间中,利用目标域第二特征值,并遵循多项式逻辑回归运算,获取第二簇分配概率;
并利用所述第二簇分配概率,建立所述目标域第二特征聚类损失函数。
7.根据权利要求1所述的方法,其特征在于,所述利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,包括:
利用所述目标域的伪标签,最小化类内样本对的最大平均差距离,并在所述分类器的输出概率空间中,最大化类间样本对的距离。
8.根据权利要求1所述的方法,其特征在于,所述利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,并更新所述无监督域适应网络的参数,包括:
响应于所述整体损失函数的运算结果越小,确定拟合程度越好的所述无监督域适应网络的参数;
其中,所述无监督域适应网络的参数包括所述目标域的聚类学习,和所述目标域的适配学习。
9.一种无监督域适应的装置,其特征在于,包括:预处理模块、源域的分类学习模块、目标域的聚类学习模块、适配学习模块和更新模块;
其中,所述预处理模块被配置为:在无监督域适应网络的图像数据集中,利用特征提取器获取源域的源域第一特征值,并采用预设的均值算法获取源域质心,利用所述源域质心,和特征提取器获取目标域的目标域第一特征值,得到目标域质心的初始化值,并利用预设的所述均值算法对所述目标域质心进行优化,并得到目标域伪标签;
所述源域的分类学习模块被配置为:再次将所述源域输入所述特征提取器和分类器,利用所述特征提取器对所述源域的输出,和所述分类器对所述源域的输出,建立源域分类损失函数,以进行所述源域的分类学习;
所述目标域的聚类学习模块被配置为:利用所述目标域第一特征值和所述目标域质心,建立目标域第一特征聚类损失函数,利用所述分类器获取目标域第二特征值,建立目标域第二特征聚类损失函数,令所述目标域第一特征聚类损失函数与所述目标域第二特征聚类损失函数相加结合为总体聚类损失函数,以进行所述目标域的聚类学习;
所述适配学习模块被配置为:利用所述特征提取器对所述源域和所述目标域的输出,建立第一适配损失函数,利用所述分类器对所述源域和所述目标域的输出,建立第二适配损失函数,令所述第一适配损失函数与所述第二适配损失函数相加结合为条件分布总体损失函数,以进行所述源域和所述目标域的适配学习;
所述更新模块被配置为:令所述源域分类损失函数、所述总体聚类损失函数和所述条件分布总体损失函数相加结合为整体损失函数,并利用所述整体损失函数对所述无监督域适应网络的拟合进行评价,并更新所述无监督域适应网络的参数,以对所述图像数据进行类别的划分。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110658529.2A CN113255823B (zh) | 2021-06-15 | 2021-06-15 | 无监督域适应的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110658529.2A CN113255823B (zh) | 2021-06-15 | 2021-06-15 | 无监督域适应的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113255823A true CN113255823A (zh) | 2021-08-13 |
CN113255823B CN113255823B (zh) | 2021-11-05 |
Family
ID=77188067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110658529.2A Active CN113255823B (zh) | 2021-06-15 | 2021-06-15 | 无监督域适应的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113255823B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792758A (zh) * | 2021-08-18 | 2021-12-14 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN114220003A (zh) * | 2021-11-26 | 2022-03-22 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
KR102387663B1 (ko) * | 2021-08-30 | 2022-04-19 | 서울대학교산학협력단 | 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604304A (zh) * | 2016-01-20 | 2018-09-28 | 商汤集团有限公司 | 用于使来自源域的用于对象表示的深度模型适应于目标域的方法和系统 |
CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN112001398A (zh) * | 2020-08-26 | 2020-11-27 | 科大讯飞股份有限公司 | 域适应方法、装置、设备、图像处理方法及存储介质 |
CN112149722A (zh) * | 2020-09-11 | 2020-12-29 | 南京大学 | 一种基于无监督域适应的图像自动标注方法 |
US20210027066A1 (en) * | 2019-07-24 | 2021-01-28 | Honda Motor Co., Ltd. | System and method for providing unsupervised domain adaptation for spatio-temporal action localization |
-
2021
- 2021-06-15 CN CN202110658529.2A patent/CN113255823B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604304A (zh) * | 2016-01-20 | 2018-09-28 | 商汤集团有限公司 | 用于使来自源域的用于对象表示的深度模型适应于目标域的方法和系统 |
US20210027066A1 (en) * | 2019-07-24 | 2021-01-28 | Honda Motor Co., Ltd. | System and method for providing unsupervised domain adaptation for spatio-temporal action localization |
CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN112001398A (zh) * | 2020-08-26 | 2020-11-27 | 科大讯飞股份有限公司 | 域适应方法、装置、设备、图像处理方法及存储介质 |
CN112149722A (zh) * | 2020-09-11 | 2020-12-29 | 南京大学 | 一种基于无监督域适应的图像自动标注方法 |
Non-Patent Citations (2)
Title |
---|
LI MA.ET AL: ""Centroid and Covariance Alignment-Based Domain"", 《IEEE》 * |
盛常冲,陈小鼎,匡纲要,刘丽: ""唇读研究进展与展望"", 《自动化学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792758A (zh) * | 2021-08-18 | 2021-12-14 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN113792758B (zh) * | 2021-08-18 | 2023-11-07 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
KR102387663B1 (ko) * | 2021-08-30 | 2022-04-19 | 서울대학교산학협력단 | 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법 |
CN114220003A (zh) * | 2021-11-26 | 2022-03-22 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
CN114220003B (zh) * | 2021-11-26 | 2022-10-21 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113255823B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113255823B (zh) | 无监督域适应的方法及装置 | |
US11003949B2 (en) | Neural network-based action detection | |
CN109902706B (zh) | 推荐方法及装置 | |
CN108351984B (zh) | 硬件高效的深度卷积神经网络 | |
CN110033026B (zh) | 一种连续小样本图像的目标检测方法、装置及设备 | |
CN113139628B (zh) | 样本图像的识别方法、装置、设备及可读存储介质 | |
US11651214B2 (en) | Multimodal data learning method and device | |
Cui et al. | Subspace clustering guided convex nonnegative matrix factorization | |
CN110991556B (zh) | 一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质 | |
KR20210119298A (ko) | 적대적 지식 증류법으로 데이터 프리 네트워크 양자화 및 압축을 위한 방법 및 장치 | |
US11410065B2 (en) | Storage medium, model output method, and model output device | |
CN108898181A (zh) | 一种图像分类模型的处理方法、装置及存储介质 | |
KR20220061008A (ko) | 점진적 학습을 위한 방법 및 장치 | |
Manwani et al. | Learning polyhedral classifiers using logistic function | |
CN111950279A (zh) | 实体关系的处理方法、装置、设备及计算机可读存储介质 | |
DE102022114631A1 (de) | System und Verfahren für unüberwachtes Lernen von Segmentierungsaufgaben | |
JP5311899B2 (ja) | パターン検出器の学習装置、学習方法及びプログラム | |
CN115238909A (zh) | 一种基于联邦学习的数据价值评估方法及其相关设备 | |
CN114255381B (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
Shen et al. | StructBoost: Boosting methods for predicting structured output variables | |
CN113435531B (zh) | 零样本图像分类方法、系统、电子设备及存储介质 | |
US11854528B2 (en) | Method and system for detecting unsupported utterances in natural language understanding | |
Dong et al. | A supervised dictionary learning and discriminative weighting model for action recognition | |
Zheng et al. | Functional gradient ascent for Probit regression | |
KR20220003968A (ko) | 효율적인 데이터 시맨틱 세그멘태이션을 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |