CN113688867A - 一种跨域图像分类方法 - Google Patents

一种跨域图像分类方法 Download PDF

Info

Publication number
CN113688867A
CN113688867A CN202110821649.XA CN202110821649A CN113688867A CN 113688867 A CN113688867 A CN 113688867A CN 202110821649 A CN202110821649 A CN 202110821649A CN 113688867 A CN113688867 A CN 113688867A
Authority
CN
China
Prior art keywords
domain
loss function
image
target domain
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110821649.XA
Other languages
English (en)
Other versions
CN113688867B (zh
Inventor
吴壮辉
孟敏
武继刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110821649.XA priority Critical patent/CN113688867B/zh
Publication of CN113688867A publication Critical patent/CN113688867A/zh
Application granted granted Critical
Publication of CN113688867B publication Critical patent/CN113688867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种跨域图像分类方法，该方法用视觉特征提取器提取待分类目标域图像的初始视觉特征，并利用初始视觉特征构建领域对齐损失函数、类别对齐损失函数和结构对齐损失函数，再构建分类器，最后利用视觉特征提取器和分类器获得待分类的目标域图像的分类结果。该方案利用领域对齐损失函数、类别对齐损失函数和结构对齐损失函数来减小待分类目标域图像各个领域之间的差异，提高对跨域图像的分类精度。

Description

一种跨域图像分类方法
技术领域
本发明涉及图像分类的技术领域，更具体地，涉及一种跨域图像分类方法。
背景技术
目前，国内外已经有人开始对跨域图像分类方法进行了研究和探索，目前用于跨域图像分类方法的特征一般是针对一个源域和一个目标域。但是，在实际情况中，源域往往不只一个且往往有不同的分布，目标域也往往不只一个且往往有不同的分布。因此，传统的跨域图像分类方法在实际应用中的分类精度较低。
现有的专利只是针对一个源域和一个目标域，导致分类精度低。专利号为CN112766334A的中国发明专利于2021年5月7日公开了一种基于伪标签域适应的跨域图像分类方法，该方案是通过交替给目标域打伪标签和采用伪标签样本训练网络，充分利用无标签的目标域数据，有效提升模型在目标域上的识别性能。但该方案对跨域图像分类时忽略多个源域和多个目标域，导致分类精度低。鉴于此，我们提出一种利用多个源域和目标域来对图片进行分类的跨域图像分类方法。
发明内容
本发明为克服上述现有技术的对跨域图像分类时忽略多个源域和多个目标域，导致分类精度低的缺陷，提供一种利用多个源域和目标域来对图片进行分类的跨域图像分类方法。
为解决上述技术问题，本发明的技术方案如下：
一种跨域图像分类方法，包括以下步骤：
S1：根据待分类的目标域图像设定具有真实标签的源域图像；
S2：构建视觉特征提取器和分类器，并提取源域图像的初始视觉特征和目标域图像的初始视觉特征；
S3：基于源域图像的初始视觉特征和目标域图像的初始视觉特征，构建领域对齐损失函数、类别对齐损失函数和结构对齐损失函数；
S4：基于源域图像，构建源域分类损失函数；
S5：联合领域对齐损失函数、类别对齐损失函数、结构对齐损失函数和源域分类损失函数，对视觉特征提取器和分类器进行训练；
S6：利用训练好的视觉特征提取器和分类器获得待分类的目标域图像的分类结果，完成目标域图像的跨域分类。
上述方案中，领域对齐损失函数可以最小化各个域之间的领域差异，类别对齐损失函数可以最小化各个域之间的类别差异，结构对齐损失函数可以最小化各个域之间的结构差异。该方案中的领域对齐损失函数、类别对齐损失函数和结构对齐损失函数可以有效利用多个源域和多个目标域的信息，包括领域标签信息、类别标签信息和数据结构信息，利用这些信息来减小各个领域之间的差异，提高对跨域图像的分类精度。
优选地，步骤S2的具体操作为：
以深度卷积神经网络Resnet为基础网络构建视觉特征提取器；以包含三个全连接层的神经网络来构建分类器；将所有源域图像和目标域图像输入到视觉特征提取器中，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合。
上述方案中，源域图像集合表示为XS＝{XS1,XS2,,…,XSK}，
Figure BDA0003172161260000021
其中，源域图像包括K个域，nSK有表示源域XSK图像数量，其类别相同但分布不一致；目标域图像集合表示为XT＝{XT1,XT2,,…,XTN}，
Figure BDA0003172161260000022
其中，目标域图像包括N个域，nTN有表示目标域XTN＝图像数量，其类别相同但分布不一致；将源域图像集合XS＝{XS1,XS2,,…,XSK}和目标域图像集合XT＝{XT1,XT2,,…,XTN}中的所有图像输入视觉特征提取器，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合；其中第K个源域视觉特征表示为
Figure BDA0003172161260000023
第N个目标域视觉特征表示为
Figure BDA0003172161260000024
得到了源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合就可以建立领域对齐损失函数、类别对齐损失函数和结构对齐损失函数。
优选地，步骤S3中构建领域对齐损失函数的具体方法为：构建N*K个辨别器D，把源域图像和目标域图像输入到辨别器中；其中，
Figure BDA0003172161260000025
是用来判断辨别器D中的图像来源于源域
Figure BDA0003172161260000026
还是目标域
Figure BDA0003172161260000027
是用来判断辨别器D中的图像来源于目标域
Figure BDA0003172161260000028
还是目标域
Figure BDA0003172161260000029
判断完成后由辨别器D输出领域标签；
基于辨别器D、源域图像和目标域图像，领域对齐损失函数定义为：
Figure BDA0003172161260000031
其中，
Figure BDA0003172161260000032
为目标域
Figure BDA0003172161260000033
的领域损失函数，计算公式为：
Figure BDA0003172161260000034
Figure BDA0003172161260000035
为目标域
Figure BDA0003172161260000036
和源域
Figure BDA0003172161260000037
领域差异最小化函数，计算公式为：
Figure BDA0003172161260000038
其中，x为目标域
Figure BDA0003172161260000039
和源域
Figure BDA00031721612600000310
图像的视觉特征，d为领域标签；
Figure BDA00031721612600000311
为目标域
Figure BDA00031721612600000312
和源域
Figure BDA00031721612600000313
领域差异最小化函数，计算公式为：
Figure BDA00031721612600000314
其中，x为目标域
Figure BDA00031721612600000315
和
Figure BDA00031721612600000316
图像的视觉特征，d为领域标签。
上述方案中，N*K个辨别器D是基于对抗学习思想构建的，每个辨别器由三个全连接层组成，并输出待分类的目标域图像的领域标签。
优选地，步骤S3中构建类别对齐损失函数的具体方法为：类别对齐损失函数包括三个部分，分别为全局类别对齐损失函数，局部类别对齐损失函数和梯度差异最小化损失函数，计算公式为：
Figure BDA00031721612600000317
其中，全局类别对齐损失函数
Figure BDA00031721612600000318
的计算公式为：
Figure BDA00031721612600000319
其中，
Figure BDA00031721612600000320
表示欧氏距离，
Figure BDA00031721612600000321
为源域
Figure BDA00031721612600000322
类别z的中心点，
Figure BDA00031721612600000323
为所有目标域类别z的中心点；
局部类别对齐损失函数
Figure BDA00031721612600000324
的计算公式为：
Figure BDA00031721612600000325
其中，
Figure BDA00031721612600000326
为源域
Figure BDA00031721612600000327
类别z的中心点；
梯度差异最小化损失函数的计算公式为：
Figure BDA00031721612600000328
其中，
Figure BDA00031721612600000329
表示欧氏距离。
上述方案中，对于类别对齐损失函数，其包括三个部分，分别为全局类别对齐损失函数，局部类别对齐损失函数，以及梯度一致性；为了进一步约束全局类别对齐损失函数和局部类别对齐损失函数，梯度一致性表现在梯度差异最小化损失函数中。
优选地，步骤S3中构建结构对齐损失函数的具体方法为：结构对齐损失函数包括三个部分，分别为全局结构对齐损失函数，局部结构对齐损失函数和梯度差异最小化损失函数：
Figure BDA0003172161260000041
其中，全局结构对齐损失函数
Figure BDA0003172161260000042
的计算公式为：
Figure BDA0003172161260000043
Figure BDA0003172161260000044
为源域
Figure BDA0003172161260000045
所有视觉特征构建的图，
Figure BDA0003172161260000046
为目标域DT所有视觉特征构建的图，其中，图G＝{Gn,Ge}，Gn为图的点集合，Ge为图的边集合；
ls为结构差异计算公式：
ls(GS,GT)＝δ(GnS,GnT)+δ(GeS,GeT)，
其中，δ为Gromov-Wasserstein距离；
局部结构对齐损失函数
Figure BDA0003172161260000047
的计算公式为：
Figure BDA0003172161260000048
其中，
Figure BDA0003172161260000049
为源域
Figure BDA00031721612600000410
类别T的中心点；
梯度差异最小化损失函数：
Figure BDA00031721612600000411
其中，
Figure BDA00031721612600000412
表示欧氏距离。
上述方案中，
Figure BDA00031721612600000413
为源域
Figure BDA00031721612600000414
所有视觉特征构建的图，
Figure BDA00031721612600000415
为目标域DT所有视觉特征构建的图，其中，图G＝{Gn,Ge}，Gn为图的点集合，Ge为图的边集合，边权重为任意两特征V的余弦相似度；图中的每一个点代表一个样本，任意两个点之间有一条边，边上的权重是两个点特征余弦之间的距离，所有的点用视觉特征V表示；另外对于结构对齐损失函数，其包括三个部分，分别为全局结构对齐损失函数，局部结构对齐损失函数，以及梯度一致性；为了进一步约束全局结构对齐损失函数和局部结构对齐损失函数，梯度一致性表现在梯度差异最小化损失函数中。
优选地，步骤S4的具体操作为：构建源域分类损失函数LC，公式为：
Figure BDA0003172161260000051
其中，J为交叉熵损失函数，pS表示源域图像的分类概率，YS表示源域图像的真实标签。
上述方案中，源域分类损失函数是根据源域图像的参数和交叉熵损失函数来构建的，而源域分类损失函数可以联合领域对齐损失函数、类别对齐损失函数、结构对齐损失函数来训练视觉特征提取器和分类器。
优选地，步骤S5的具体步骤为：
S51：初始化视觉特征提取器和分类器的网络参数；
S52：在初始化网络参数后的视觉特征提取器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的视觉特征；在初始化网络参数后的分类器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的伪标签；
S53：利用视觉特征和伪标签构建总损失函数；
S54：对视觉特征提取器和分类器设置训练参数并进行迭代训练，直到构建的总损失函数取值最小时，训练结束，从而获得训练好的视觉特征提取器和分类器。
上述方案中，视觉特征提取器输出视觉特征，分类器输出伪标签，构建总损失函数需要用到视觉特征提取器和分类器中输出的视觉特征和伪标签，然后通过改变总损失函数的取值来调整视觉特征和伪标签，即进行迭代训练，其中采用随机梯度下降算法来进行迭代训练，直到总损失函数取值最小时，训练结束，从而获得训练好的视觉特征提取器和分类器。
优选地，步骤S51中，使用正态分布对视觉特征提取器和分类器的网络参数进行初始化。
优选地，步骤S52中总损失函数的建立方法为：总损失函数的建立方法为：总损失函数L的计算公式为：
L＝LC+LDA+LCA+LSA
其中，LC为源域图像的分类损失函数，LDA为领域对齐损失函数，LCA为类别对齐损失函数，LSA为结构对齐损失函数。
优选地，步骤S6的具体步骤为：
S61：将待分类的目标域图像输入到训练好的视觉特征提取器中，获得待分类的目标域图像的准确视觉特征；
S62：将步骤S61中得到的准确视觉特征输入到训练好的分类器进行计算，从而获得待分类的目标域图像的准确标签，并将得到的准确标签作为分类结果。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种跨域图像分类方法。该方案中的领域对齐损失函数、类别对齐损失函数和结构对齐损失函数可以有效利用多个源域和多个目标域的信息，包括领域标签信息、类别标签信息和数据结构信息，利用这些信息来减小各个领域之间的差异，提高对跨域图像的分类精度。
附图说明
图1为方法流程图；
图2为目标域图像的分类结果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
在本方案中，如图1所示，一种跨域图像分类方法的具体操作步骤如下：
S1：根据待分类的目标域图像设定具有真实标签的源域图像，并认定具有真实标签的源域图像和待分类的目标域图像是相似的；
S2：以深度卷积神经网络Resnet为基础网络构建视觉特征提取器；以包含三个全连接层的神经网络来构建分类器；把源域图像集合表示为XS＝{XS1,XS2,,…,XSK}，
Figure BDA0003172161260000061
其中，源域图像包括K个域，nSK有表示源域XSK图像数量，其类别相同但分布不一致；把目标域图像集合表示为XT＝{XT1,XT2,,…,XTN}，
Figure BDA0003172161260000062
其中，目标域图像包括N个域，nTN有表示目标域XTN＝图像数量，其类别相同但分布不一致；将源域图像集合Xs＝{XS1,XS2,,…,XSK}和目标域图像集合XT＝{XT1,XT2,,…,XTN}中的所有图像输入视觉特征提取器，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合；其中第K个源域视觉特征表示为
Figure BDA0003172161260000071
第N个目标域视觉特征表示为
Figure BDA0003172161260000072
从而得到了源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合；
S3：对于领域对齐损失函数，基于对抗学习思想，构建N*K个辨别器D，把源域图像和目标域图像输入到辨别器中；其中，
Figure BDA0003172161260000073
是用来判断辨别器D中的图像来源于源域
Figure BDA0003172161260000074
还是目标域
Figure BDA0003172161260000075
是用来判断辨别器D中的图像来源于目标域
Figure BDA0003172161260000076
还是目标域
Figure BDA0003172161260000077
每个辨别器由三个全连接层组成，判断完成后输出待分类的目标域图像的领域标签；
基于辨别器D、源域图像和目标域图像，领域对齐损失函数定义为：
Figure BDA0003172161260000078
其中，
Figure BDA0003172161260000079
为目标域
Figure BDA00031721612600000710
的领域损失函数，计算公式为：
Figure BDA00031721612600000711
Figure BDA00031721612600000712
为目标域
Figure BDA00031721612600000713
和源域
Figure BDA00031721612600000714
领域差异最小化函数，计算公式为：
Figure BDA00031721612600000715
其中，x为目标域
Figure BDA00031721612600000716
和源域
Figure BDA00031721612600000717
图像的视觉特征，d为领域标签；
Figure BDA00031721612600000718
为目标域
Figure BDA00031721612600000719
和源域
Figure BDA00031721612600000720
领域差异最小化函数，计算公式为：
Figure BDA00031721612600000721
其中，x为目标域
Figure BDA00031721612600000722
和
Figure BDA00031721612600000723
图像的视觉特征，d为领域标签；
对于类别对齐损失函数，类别对齐损失函数包括三个部分，分别为全局类别对齐损失函数，局部类别对齐损失函数和梯度一致性，为了进一步约束全局类别对齐损失函数和局部类别对齐损失函数，梯度一致性表现在梯度差异最小化损失函数中；计算公式为：
Figure BDA00031721612600000724
其中，全局类别对齐损失函数
Figure BDA00031721612600000725
的计算公式为：
Figure BDA0003172161260000081
其中，
Figure BDA0003172161260000082
为源域
Figure BDA0003172161260000083
类别z的中心点，
Figure BDA0003172161260000084
为所有目标域类别z的中心点；
局部类别对齐损失函数
Figure BDA0003172161260000085
的计算公式为：
Figure BDA0003172161260000086
其中，
Figure BDA0003172161260000087
为源域
Figure BDA0003172161260000088
类别z的中心点；
梯度差异最小化损失函数的计算公式为：
Figure BDA0003172161260000089
其中，
Figure BDA00031721612600000810
表示欧氏距离；
对于结构对齐损失函数，结构对齐损失函数包括三个部分，分别为全局结构对齐损失函数，局部结构对齐损失函数和梯度一致性，为了进一步约束全局结构对齐损失函数和局部结构对齐损失函数，梯度一致性表现在梯度差异最小化损失函数中，计算公式为：
Figure BDA00031721612600000811
其中，全局结构对齐损失函数
Figure BDA00031721612600000812
的计算公式为：
Figure BDA00031721612600000813
Figure BDA00031721612600000814
为源域
Figure BDA00031721612600000815
所有视觉特征构建的图，
Figure BDA00031721612600000816
为目标域DT所有视觉特征构建的图，其中，图G＝{Gn,Ge}，Gn为图的点集合，Ge为图的边集合；边权重为任意两特征V的余弦相似度；图中的每一个点代表一个样本，任意两个点之间有一条边，边上的权重是两个点特征余弦之间的距离，所有的点用视觉特征V表示；
ls为结构差异计算公式：
ls(GS,GT)＝δ(GnS,GnT)+δ(GeS,GeT)，
其中，δ为Gromov-Wasserstein距离；
局部结构对齐损失函数
Figure BDA00031721612600000817
的计算公式为：
Figure BDA00031721612600000818
其中，
Figure BDA00031721612600000819
为源域
Figure BDA00031721612600000820
类别z的中心点；
梯度差异最小化损失函数：
Figure BDA0003172161260000091
其中，
Figure BDA0003172161260000092
表示欧氏距离；
S4：构建源域分类损失函数LC，公式为：
Figure BDA0003172161260000093
其中，J为交叉熵损失函数，PS表示源域图像的分类概率，YS表示源域图像的真实标签；源域分类损失函数可以联合领域对齐损失函数、类别对齐损失函数、结构对齐损失函数来训练视觉特征提取器和分类器；
S5：
S51：初始化视觉特征提取器和分类器的网络参数；
S52：视觉特征提取器输出视觉特征，分类器输出伪标签，因此，在初始化网络参数后的视觉特征提取器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的视觉特征；在初始化网络参数后的分类器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的伪标签；
S53：利用视觉特征和伪标签构建总损失函数；其计算公式为：L＝Lc+LDA+LCA+LSA
其中，LC为源域图像的分类损失函数，LDA为领域对齐损失函数，LCA为类别对齐损失函数，LSA为结构对齐损失函数。
S54：通过改变总损失函数的取值来调整视觉特征和伪标签，即先设定好训练参数，然后利用随机梯度下降算法对视觉特征提取器和分类器进行迭代训练，直到构建的总损失函数取值最小时，训练结束，从而获得训练好的视觉特征提取器和分类器。
其中，训练参数包括对视觉特征提取器和分类器设定训练参数，还包括迭代训练的迭代次数、迭代批次等；
S6：
S61：将待分类的目标域图像输入到训练好的视觉特征提取器中，获得待分类的目标域图像的准确视觉特征；
S62：将得到的准确视觉特征输入到训练好的分类器进行计算，从而获得待分类的目标域图像的准确标签，并将得到的准确标签作为分类结果，如图2所示。
实施例2
一种利用多个源域和目标域来对图片进行分类的跨域图像分类方法，选用ImageCLEF-DA数据集，数据集中包含12个类别、共有600张图片。该数据集主要包含4个域：Caltech-256(C)，ImageNet ILSVRC 2012(I)，Pascal VOC 2012(P)and Bing(B)。基于所述域，可以构建6个分类任务：I/P→B/C，I/C→B/P，B/C→I/P，B/P→I/C，B/I→P/C，P/C→B/I；
例如，I/P→B/C是指以I和P为源域，以B和C为目标域的迁移任务。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种跨域图像分类方法，其特征在于，包括以下步骤：
S1：根据待分类的目标域图像设定具有真实标签的源域图像；
S2：构建视觉特征提取器和分类器，并提取源域图像的初始视觉特征和目标域图像的初始视觉特征；
S3：基于源域图像的初始视觉特征和目标域图像的初始视觉特征，构建领域对齐损失函数、类别对齐损失函数和结构对齐损失函数；
S4：基于源域图像，构建源域分类损失函数；
S5：联合领域对齐损失函数、类别对齐损失函数、结构对齐损失函数和源域分类损失函数，对视觉特征提取器和分类器进行训练；
S6：利用训练好的视觉特征提取器和分类器获得待分类的目标域图像的分类结果，完成目标域图像的跨域分类。
2.根据权利要求1所述的一种跨域图像分类方法，其特征在于，步骤S2的具体操作为：
以深度卷积神经网络Resnet为基础网络构建视觉特征提取器；
以包含三个全连接层的神经网络来构建分类器；
将所有源域图像和目标域图像输入到视觉特征提取器中，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合。
3.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建领域对齐损失函数的具体方法为：
构建N*K个辨别器D，把源域图像和目标域图像输入到辨别器中；其中，
Figure FDA0003172161250000011
是用来判断辨别器D中的图像来源于源域
Figure FDA0003172161250000012
还是目标域
Figure FDA0003172161250000013
是用来判断辨别器D中的图像来源于目标域
Figure FDA0003172161250000014
还是目标域
Figure FDA0003172161250000015
判断完成后由辨别器D输出领域标签；
基于辨别器D、源域图像和目标域图像，领域对齐损失函数定义为：
Figure FDA0003172161250000016
其中，
Figure FDA0003172161250000017
为目标域
Figure FDA0003172161250000018
的领域损失函数，计算公式为：
Figure FDA0003172161250000021
Figure FDA0003172161250000022
为目标域
Figure FDA0003172161250000023
和源域
Figure FDA0003172161250000024
领域差异最小化函数，计算公式为：
Figure FDA0003172161250000025
其中，x为目标域
Figure FDA0003172161250000026
和源域
Figure FDA0003172161250000027
图像的视觉特征，d为领域标签；
Figure FDA0003172161250000028
为目标域
Figure FDA0003172161250000029
和源域
Figure FDA00031721612500000210
领域差异最小化函数，计算公式为：
Figure FDA00031721612500000211
其中，x为目标域
Figure FDA00031721612500000212
和
Figure FDA00031721612500000213
图像的视觉特征，d为领域标签。
4.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建类别对齐损失函数的具体方法为：
类别对齐损失函数包括三个部分，分别为全局类别对齐损失函数，局部类别对齐损失函数和梯度差异最小化损失函数，计算公式为：
Figure FDA00031721612500000214
其中，全局类别对齐损失函数
Figure FDA00031721612500000215
的计算公式为：
Figure FDA00031721612500000216
其中，
Figure FDA00031721612500000217
表示欧氏距离，
Figure FDA00031721612500000218
为源域
Figure FDA00031721612500000219
类别z的中心点，
Figure FDA00031721612500000220
为所有目标域类别z的中心点；
局部类别对齐损失函数
Figure FDA00031721612500000221
的计算公式为：
Figure FDA00031721612500000222
其中，
Figure FDA00031721612500000223
为源域
Figure FDA00031721612500000224
类别z的中心点；
梯度差异最小化损失函数的计算公式为：
Figure FDA00031721612500000225
其中，
Figure FDA00031721612500000226
表示欧氏距离。
5.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建结构对齐损失函数的具体方法为：
结构对齐损失函数包括三个部分，分别为全局结构对齐损失函数，局部结构对齐损失函数和梯度差异最小化损失函数：
Figure FDA0003172161250000031
其中，全局结构对齐损失函数
Figure FDA0003172161250000032
的计算公式为：
Figure FDA0003172161250000033
Figure FDA0003172161250000034
为源域
Figure FDA0003172161250000035
所有视觉特征构建的图，
Figure FDA0003172161250000036
为目标域DT所有视觉特征构建的图，其中，图G＝{Gn，Ge}，Gn为图的点集合，Ge为图的边集合；
ls为结构差异计算公式：
ls(GS，GT)＝δ(GnS，GnT)+δ(GeS，GeT)，
其中，δ为Gromov-Wasserstein距离；
局部结构对齐损失函数
Figure FDA0003172161250000037
的计算公式为：
Figure FDA0003172161250000038
其中，
Figure FDA0003172161250000039
为源域
Figure FDA00031721612500000310
类别z的中心点；
梯度差异最小化损失函数：
Figure FDA00031721612500000311
其中，
Figure FDA00031721612500000312
表示欧氏距离。
6.根据权利要求1所述的一种跨域图像分类方法，其特征在于，步骤S4的具体操作为：
构建源域分类损失函数LC，公式为：
Figure FDA00031721612500000313
其中，J为交叉熵损失函数，PS表示源域图像的分类概率，YS表示源域图像的真实标签。
7.根据权利要求1-6任一项所述的一种跨域图像分类方法，其特征在于，步骤S5的具体步骤为：
S51：初始化视觉特征提取器和分类器的网络参数；
S52：在初始化网络参数后的视觉特征提取器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的视觉特征；在初始化网络参数后的分类器输入所有源域图像和待分类的目标域图像，得到待分类的目标域图像的伪标签；
S53：利用视觉特征和伪标签构建总损失函数；
S54：对视觉特征提取器和分类器设置训练参数并进行迭代训练，直到构建的总损失函数取值最小时，训练结束，从而获得训练好的视觉特征提取器和分类器。
8.根据权利要求7所述的一种跨域图像分类方法，其特征在于，步骤S51中，使用正态分布对视觉特征提取器和分类器的网络参数进行初始化。
9.根据权利要求7所述的一种跨域图像分类方法，其特征在于，步骤S52中总损失函数的建立方法为：总损失函数的建立方法为：
总损失函数L的计算公式为：
L＝LC+LDA+LCA+LSA
其中，LC为源域图像的分类损失函数，LDA为领域对齐损失函数，LCA为类别对齐损失函数，LSA为结构对齐损失函数。
10.根据权利要求1所述的一种跨域图像分类方法，其特征在于，步骤S6的具体步骤为：
S61：将待分类的目标域图像输入到训练好的视觉特征提取器中，获得待分类的目标域图像的准确视觉特征；
S62：将步骤S61中得到的准确视觉特征输入到训练好的分类器进行计算，从而获得待分类的目标域图像的准确标签，并将得到的准确标签作为分类结果。
CN202110821649.XA 2021-07-20 2021-07-20 一种跨域图像分类方法 Active CN113688867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821649.XA CN113688867B (zh) 2021-07-20 2021-07-20 一种跨域图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110821649.XA CN113688867B (zh) 2021-07-20 2021-07-20 一种跨域图像分类方法

Publications (2)

Publication Number Publication Date
CN113688867A true CN113688867A (zh) 2021-11-23
CN113688867B CN113688867B (zh) 2023-04-28

Family

ID=78577499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821649.XA Active CN113688867B (zh) 2021-07-20 2021-07-20 一种跨域图像分类方法

Country Status (1)

Country Link
CN (1) CN113688867B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239753A (zh) * 2022-02-23 2022-03-25 山东力聚机器人科技股份有限公司 可迁移的图像识别方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218284A1 (en) * 2017-01-31 2018-08-02 Xerox Corporation Method and system for learning transferable feature representations from a source domain for a target domain
US20180293777A1 (en) * 2017-04-08 2018-10-11 Intel Corporation Sub-graph in frequency domain and dynamic selection of convolution implementation on a gpu
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN110880019A (zh) * 2019-10-30 2020-03-13 北京中科研究院 通过无监督域适应训练目标域分类模型的方法
US20200151457A1 (en) * 2018-11-13 2020-05-14 Nec Laboratories America, Inc. Attention and warping based domain adaptation for videos
CN111340021A (zh) * 2020-02-20 2020-06-26 中国科学技术大学 基于中心对齐和关系显著性的无监督域适应目标检测方法
CN111368886A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于样本筛选的无标注车辆图片分类方法
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
CN112836739A (zh) * 2021-01-29 2021-05-25 华中科技大学 基于动态联合分布对齐的分类模型建立方法及其应用

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218284A1 (en) * 2017-01-31 2018-08-02 Xerox Corporation Method and system for learning transferable feature representations from a source domain for a target domain
US20180293777A1 (en) * 2017-04-08 2018-10-11 Intel Corporation Sub-graph in frequency domain and dynamic selection of convolution implementation on a gpu
US20200151457A1 (en) * 2018-11-13 2020-05-14 Nec Laboratories America, Inc. Attention and warping based domain adaptation for videos
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN110880019A (zh) * 2019-10-30 2020-03-13 北京中科研究院 通过无监督域适应训练目标域分类模型的方法
CN111340021A (zh) * 2020-02-20 2020-06-26 中国科学技术大学 基于中心对齐和关系显著性的无监督域适应目标检测方法
CN111368886A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于样本筛选的无标注车辆图片分类方法
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
CN112836739A (zh) * 2021-01-29 2021-05-25 华中科技大学 基于动态联合分布对齐的分类模型建立方法及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG YUN ET AL: "learning domain-invariant and discriminative features for homogeneous unsupervised domain adaptation", 《CHINESE JOURNAL OF ELECTRONICS》 *
黄学雨 等: "具有特征选择的多源自适应分类框架", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239753A (zh) * 2022-02-23 2022-03-25 山东力聚机器人科技股份有限公司 可迁移的图像识别方法及装置
CN114239753B (zh) * 2022-02-23 2022-07-22 山东力聚机器人科技股份有限公司 可迁移的图像识别方法及装置

Also Published As

Publication number Publication date
CN113688867B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112396027B (zh) 基于图卷积神经网络的车辆重识别方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN108647655A (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN110135295A (zh) 一种基于迁移学习的无监督行人重识别方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
CN106096661B (zh) 基于相对属性随机森林的零样本图像分类方法
CN107025440A (zh) 一种基于新型卷积神经网络的遥感图像道路提取方法
CN113177612B (zh) 一种基于cnn少样本的农业病虫害图像识别方法
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN112817755A (zh) 基于目标追踪加速的边云协同深度学习目标检测方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN110688888B (zh) 一种基于深度学习的行人属性识别方法和系统
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN110555461A (zh) 基于多结构卷积神经网络特征融合的场景分类方法及系统
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN116052218B (zh) 一种行人重识别方法
CN111539422A (zh) 基于Faster RCNN的飞行目标协同识别方法
CN114004333A (zh) 一种基于多假类生成对抗网络的过采样方法
CN110222636A (zh) 基于背景抑制的行人属性识别方法
CN107680099A (zh) 一种融合ifoa和f‑isodata的图像分割方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN113269254A (zh) 一种粒子群优化XGBoost算法的煤矸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant