CN111523680B

CN111523680B - 一种基于Fredholm学习和对抗学习的域适应方法

Info

Publication number: CN111523680B
Application number: CN202010512323.4A
Authority: CN
Inventors: 郑慧诚; 彭志锋; 黄梓轩
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2019-12-23
Filing date: 2020-06-08
Publication date: 2023-05-12
Anticipated expiration: 2040-06-08
Also published as: CN111523680A

Abstract

本发明为一种基于Fredholm学习和对抗学习的域适应方法，所述方法包括：特征提取，对源域数据X^s和目标域数据X^t用同一个特征提取器提取特征；领域鉴别，在得到被提取特征后，要鉴别这些特征属于哪个域；其中，所述领域鉴别分为两个阶段：(1)Fredholm特征的获取；(2)域鉴别器进行鉴别；样本分类，使用两个分类器，分类模块接收特征提取器提取到的特征，输入到全连接层中计算，并经过softmax后分别从源域分类器C^s和目标域分类器C^t输出分类结果。本发明的有益效果在于，提出的基于Fredholm学习和对抗学习的域适应方法在图像分类上能够达到更好的分类效果。

Description

一种基于Fredholm学习和对抗学习的域适应方法

技术领域

本发明涉及计算机技术领域，尤指一种基于Fredholm学习和对抗学习的域适应方法。

背景技术

域适应是深度迁移学习中的一种方法。一般而言，深度学习方法的有效性依赖于大量的有标注的训练数据，然而想要为每一个任务域都收集足够多的训练数据是十分困难的，通过域适应，可以将在有充足训练数据的源域上训练的模型迁移到相关但是不相同的目标域上，解决目标域缺乏训练数据而难以使用其他深度方法的问题。

较早的域适应方法经常利用一些度量方法，例如最大平均差异(MMD)来度量源域和目标域之间的差异，然后通过最小化差异度量使模型能适应目标域。近些年来，受到生成对抗网络(GAN)的启发，对抗学习也被应用到了域适应领域中来。

基于对抗学习的域适应方法，能构建良好的特征提取器和领域鉴别器，特征提取器负责提取源域和目标域样本的特征，而领域鉴别器则鉴别这些特征来自哪个域，特征提取器希望提取出来的特征具备两个域的共性，使得领域鉴别器无法准确区分特征来源，而领域鉴别器则希望能够准确鉴别出特征的来源，通过这样的对抗博弈过程，从而达到使得特征提取器提取出域不变特征来混淆领域鉴别器的目的，减少域之间的差异，获得更好的效果。然而，这些方法都忽略了噪声因素在域适应中的影响，在实际应用中，被提取特征会包含样本中的噪声信息，这些错误的信息会误导模型的判断，降低模型的性能。

另一个相关技术是Fredholm学习，这个方法是基于Fredholm积分方程得到的一种核方法，常用于传统方法中，通过数学推导可以证明这个方法可以通过对输入数据进行映射并根据主成分的方差重新对各个成分进行赋权，从而降低方差小的成分(即噪声)的权重，抑制数据中的噪声信息，提高相关方法的性能。

发明内容

本发明提出一种基于Fredholm学习和对抗学习的域适应方法，与现有的基于对抗学习的域适应方法不同的是，该方法通过特征提取器提取到样本特征后，使用Fredholm学习方法对特征再次映射，从而抑制特征中的噪声信息，再将抑制了噪声信息的特征送到领域鉴别器中，利用对抗学习的思路，在对抗学习的过程中促使特征提取器提取出来的特征是噪声受到抑制的且域不变的，之后将特征提取器提取的特征送到相关的任务模块中，例如分类器，可以得到更好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于Fredholm学习和对抗学习的域适应方法，所述方法包括：

S1特征提取，对源域数据X^s和目标域数据X^t用同一个特征提取器提取特征；

S2领域鉴别，在得到被提取特征后，要鉴别这些特征属于哪个域；其中，所述领域鉴别分为两个阶段：(1)Fredholm特征的获取；(2)域鉴别器进行鉴别；

S3样本分类，使用两个分类器，分类模块接收特征提取器提取到的特征，输入到全连接层中计算，并经过softmax后分别从源域分类器C^s和目标域分类器C^t输出分类结果。

需要说明的是，所述步骤S2中，还包括：

S2.1 Fredholm特征的获取：

可以将被提取特征f^s和f^t映射为Fredholm特征，从而抑制被提取特征的噪声信息。

Fredholm核函数的公式如下：

这个公式中l表示有类标数据的数量，u表示无类标数据的数量，核函数k(·，·)和k_H(·，·)是不同的核函数，分别用外部核和内部核称呼，这些核函数的选择常常根据实际情况决定，常用的包括高斯核函数和线性核函数，k_F(x，z)则是数据x关于z的Fredholm核；

设f_i表示训练数据中第i个数据的特征，f_j表示训练数据中第j个数据的特征，则第i个数据的Fredholm特征的第j个特征项的计算公式如下：

把所有特征项整合到一起，就得到了第i个数据的Fredholm特征g_i，将所有Fredholm特征整理到一起并用g来表示；由于具有源域和目标域两个域的数据，为了区分，用g^s表示这是源域数据的Fredholm特征，用g^t来表示目标域的Fredholm特征，其中特征项

需要说明的是，所述步骤S2中，还包括：

S2.2域鉴别器进行鉴别

在这一阶段，将获取的Fredholm特征输入到域鉴别器中，所述鉴别器使用全连接层，分别对g^s和g^t进行线性组合，最终输出鉴别结果，并用

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。

需要说明的是，所述步骤S2.2中，还包括：

鉴别器的目标函数如下：

其中，Xs表示源域数据和Xt表示目标域数据，

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。

需要说明的是，所述步骤S3包括：

从源域分类器C^s和目标域分类器C^t输出分类结果，用

和

表示，分类器的损失函数使用交叉熵损失；

还包括S3.1首先根据已标注的源域样本，在提取源域特征后，可以计算源域各个类的样本的特征中心

其中O表示类别数量，之后提取目标域样本的特征，不同域但是同一类的样本的特征应尽可能靠近，故目标域特征与哪一个源域特征中心最靠近，就认为该目标域样本属于那一类，从而赋伪类标，并根据伪类标分配结果，计算出目标域特征中心

获得初始的特征中心和目标域伪类标。

需要说明的是，还包括步骤S3.2：

在每次迭代训练时，源域根据提取的特征更新特征中心，目标域特征与之前得到的目标域特征中心进行比较，从而更新伪类标，进而更新目标域特征中心，同时，不同域而同一类的数据的特征中心应该要尽可能接近，下列公式度量特征中心的距离：

本发明的有益效果在于，提出的基于Fredholm学习和对抗学习的域适应方法在图像分类上能够达到更好的分类效果。

附图说明

图1为本发明的域适应方法的整体流程；

图2为没经过域适应的t-SNE特征可视化结果；

图3为域适应后的t-SNE特征可视化结果；

图4为本发明计算Fredholm特征的过程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本发明为一种基于Fredholm学习和对抗学习的域适应方法，所述方法包括：

需要说明的是，所述步骤S2中，还包括：

S2.1 Fredholm特征的获取：

Fredholm核函数的公式如下：

需要说明的是，所述步骤S2中，还包括：

S2.2域鉴别器进行鉴别

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。

需要说明的是，所述步骤S2.2中，还包括：

鉴别器的目标函数如下：

其中，X^s表示源域数据和X^t表示目标域数据，

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。

需要说明的是，所述步骤S3包括：

从源域分类器C^s和目标域分类器C^t输出分类结果，用

和

表示，分类器的损失函数使用交叉熵损失；

还包括S3.1首先，根据已标注的源域样本，在提取源域特征后，可以计算源域各个类的样本的特征中心

获得初始的特征中心和目标域伪类标。

需要说明的是，还包括步骤S3.2：

实施例

1.特征提取

本发明提出的方法会对源域数据X^s和目标域数据X^t用同一个特征提取器提取特征，特征提取的目的是将数据转化为具有一定区分度的向量特征。特征提取器的网络结构常常根据实际需要提取特征的数据的情况而有所不同。对于一些比较简单的数据，比如手写数字集，选择结构简单的网络即可得到比较好的结果，比如LeNet；而对于复杂的数据，简单的网络难以满足实际需求，需要选用更加复杂的网络，比如VGG，GoogleNet等。使用f^s和f^t来表示特征提取器提取的特征，这些特征会被送到域鉴别模块进行鉴别，同时也会送到分类模块进行分类。

2.领域鉴别

在得到被提取特征后，要鉴别这些特征属于哪个域。在本部分中，领域鉴别分为两个阶段：(1)Fredholm特征的获取；(2)域鉴别器进行鉴别。

2.1 Fredholm特征的获取

在这一阶段，利用Fredholm核函数的计算公式，可以将被提取特征f^s和f^t映射为Fredholm特征从而抑制被提取特征的噪声信息。

Fredholm核函数的公式如下：

这个公式中l表示有类标数据的数量，u表示无类标数据的数量，核函数k(·，·)和k_H(·，·)是不同的核函数，分别用外部核和内部核称呼，这些核函数的选择常常根据实际情况决定，常用的包括高斯核函数和线性核函数，k_F(x，z)则是数据x关于z的Fredholm核。

本发明用f_i表示训练数据中第i个数据的特征，f_j表示训练数据中第j个数据的特征，则第i个数据的Fredholm特征的第j个特征项的计算公式如下：

把所有特征项整合到一起，就得到了第i个数据的Fredholm特征g_i，将所有Fredholm特征整理到一起并用g来表示。在本发明的方法中，由于有源域和目标域两个域的数据，为了方便区分，我们使用上标来表示特征属于哪个域，用g^s表示这是源域数据的Fredholm特征，用g^t来表示目标域的Fredholm特征，其中特征项

2.2域鉴别器进行鉴别

在这一阶段，将获取的Fredholm特征输入到域鉴别器中，这里的鉴别器使用全连接层，分别对g^s和g^t进行线性组合，最终输出鉴别结果，并用

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。这些输出表示的是输入的特征属于源域样本的概率，我们的目标是在经过对抗学习后，让域鉴别器处于一个理想的平衡状态，即对于一个训练好的域鉴别器，判断输入特征属于源域样本的概率和属于目标域样本的概率要一样，这就表示鉴别器被混淆了，说明提取到了域不变的特征，再结合之前的Fredholm学习方法，特征也应当具备噪声被抑制的特性。

鉴别器的目标函数如下：

通过t-SNE特征可视化方法将特征在训练前和训练后直观地展示出来，如图2、3，其中″X″表示源域的特征分布，

表示目标域的特征分布，可以看出来，经过域适应后，两个域的特征分布变得接近，说明了方法的有效性。

3.样本分类

为了刻画复杂情况下两个域下特征的不同分布，本发明提出的方法使用了两个分类器，分类模块接收特征提取器提取到的特征，输入到全连接层中计算，并经过softmax后分别从源域分类器C^s和目标域分类器C^t输出分类结果，用

和

表示，分类器的损失函数使用交叉熵损失。

由于两个域的分类器不共享，需要对无标注的目标域样本赋伪类标，本方法采用中心对齐的方式来进行伪类标的分配与更新。

首先，根据已标注的源域样本，在提取源域特征后，可以计算源域各个类(假设有O个类)的样本的特征中心

之后提取目标域样本的特征，我们期望属于不同域但是同一类的样本的特征能尽可能靠近，故目标域特征与哪一个源域特征中心最靠近，就认为该目标域样本属于那一类，从而赋伪类标，并根据伪类标分配结果，计算出目标域特征中心

这便是初始的特征中心和目标域伪类标。

之后，在每次迭代训练时，源域根据提取的特征更新特征中心，目标域特征与之前得到的目标域特征中心进行比较，从而更新伪类标，进而更新目标域特征中心，同时，不同域而同一类的数据的特征中心应该要尽可能接近，故使用下列公式度量特征中心的距离。

根据上述三个部分进行对抗学习，在数字集MNIST-USPS-SVHN、域适应图像分类数据库ImageCLEF-DA和Office-31的分类结果如下：

表1：其他域适应方法和本发明在数字集上的实验结果比较

表2：其他域适应方法和本发明在ImageCLEF-DA上的实验结果比较

表3：其他域适应方法和本发明在Office-31上的实验结果比较

准确率(％)

A→W

W→A

D→W

W→D

A→D

D→A

平均

AlexNet

61.6±0.5

49.8±0.4

95.4±0.3

99.0±0.2

63.8±0.5

51.1±0.6

70.1

DDC

61.8±0.4

52.2±0.4

95.0±0.5

98.5±0.4

64.4±0.3

52.1±0.6

70.6

DAN

68.5±0.3

49.8±0.3

96.0±0.1

99.0±0.1

66.8±0.2

49.1±0.5

71.5

DRCN

68.7±0.3

54.9±0.5

96.4±0.3

99.0±0.2

66.8±0.5

56.0±0.5

73.6

RTN

73.3±0.3

51.0±0.1

96.8±0.2

99.6±0.1

71.0±0.2

50.5±0.3

73.7

RevGrad

73.0±0.5

51.2±0.5

96.4±0.3

99.2±0.3

72.3±0.3

53.4±0.4

74.3

DAA(MMD)

76.0±0.5

52.9±0.2

96.4±0.4

99.4±0.2

74.3±0.5

51.2±0.6

75

DAA(JMMD)

74.3±0.3

53.2±0.1

97.1±0.2

99.6±0.2

72.5±0.2

52.5±0.3

74.8

JAN

74.9±0.3

55.0±0.4

96.6±0.2

99.5±0.2

71.8±0.2

58.3±0.3

76.0

AutoDIAL

75.5

59.4

96.6

99.5

73.6

58.1

77.1

MSTN

80.5±0.4

60.0±0.6

96.9±0.1

99.9±0.1

74.5±0.4

62.5±0.4

79.1

ours

81.1±0.3

61.2±0.3

97.4±0.2

99.9±0.1

75.1±0.2

63.5±0.4

79.7

这些表格中，箭头左边表示源域，箭头右边表示目标域，准确率指的是在源域上训练的模型使用各个域适应方法(每一个表格第一行数据都没有经过域适应，而是直接测试)适应目标域后在目标域上的分类准确率。

从以上结果可以看出，本发明提出的基于Fredholm学习和对抗学习的域适应方法在图像分类上能够达到更好的分类效果。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims

1.一种基于Fredholm学习和对抗学习的域适应方法，其特征在于，所述方法包括：

S2领域鉴别,在得到被提取特征后，要鉴别这些特征属于哪个域；其中，所述领域鉴别分为两个阶段：(1)Fredholm特征的获取；(2)域鉴别器进行鉴别；

S3样本分类，使用两个分类器，分类模块接收特征提取器提取到的特征，输入到全连接层中计算，并经过softmax后分别从源域分类器C^s和目标域分类器C^t输出分类结果；

所述步骤S2中，还包括：

S2.1 Fredholm特征的获取：

可以将被提取特征f^s和f^t映射为Fredholm特征，从而抑制被提取特征的噪声信息；

关于数据x与z的Fredholm核函数公式如下：

这个公式中l表示有类标数据的数量，u表示无类标数据的数量，核函数k(·,·)和k_H(·,·)是不同的核函数，分别用外部核和内部核称呼；

所述步骤S3包括：

从源域分类器C^s和目标域分类器C^t输出分类结果，用

和

表示，分类器的损失函数使用交叉熵损失；具体为以下步骤：

S3.1首先，根据已标注的源域样本，在提取源域特征后，可以计算源域各个类的样本的特征中心

获得初始的特征中心和目标域伪类标；

S3.2在每次迭代训练时，源域根据提取的特征更新特征中心，目标域特征与之前得到的目标域特征中心进行比较，从而更新伪类标，进而更新目标域特征中心，同时，不同域而同一类的数据的特征中心尽可能接近，下列公式度量特征中心的距离：

2.根据权利要求1所述的基于Fredholm学习和对抗学习的域适应方法，其特征在于，所述步骤S2中，还包括：

S2.2域鉴别器进行鉴别

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。

3.根据权利要求2所述的基于Fredholm学习和对抗学习的域适应方法，其特征在于，所述步骤S2.2中，还包括：

鉴别器的目标函数如下：

其中，X^s表示源域数据，X^t表示目标域数据，

和

表示第i个源域样本和第i个目标域样本在域鉴别器的输出。