CN113011487B - 一种基于联合学习与知识迁移的开放集图像分类方法 - Google Patents

Abstract

本发明公开了一种基于联合学习与知识迁移的开放集图像分类方法，该方法提出了一个包含域对抗网络和特有网络的深度神经网络模型，用于解决开放集图像分类问题。其中域对抗网络同时对源域数据和目标域数据进行学习，从而其学习到的特征表达在两个域上都具有一定的泛化性能。特有网络则专注于目标域数据的学习，其特征对目标域数据有更强的针对性。在两个网络联合学习和知识交换的过程中，特有网络学习到的特征能利用到域对抗网络所提供的指导，间接利用到了源域数据的监督信息，同时又减少了源域数据对其学习目标域数据带来的干扰，从而模型能够达到比较好的性能。

Description

一种基于联合学习与知识迁移的开放集图像分类方法

技术领域

本发明涉及图像分类的技术领域，尤其是指一种基于联合学习与知识迁移的开放集图像分类方法。

背景技术

近年来，由于深度学习在计算机视觉领域的成功，神经网络无疑已经成为了当下研究最热门的问题之一。而神经网络能取得如此成绩，离不开足够数量的带标签的数据。然而，在很多情况下我们很难轻易地获得训练所需的大量带标签的数据，但是仅仅依靠人工标注的话，整个过程都比较费时费力，并且难以保证标注的质量，这个问题在很大程度上限制了深度分类神经网络的发展，于是“域自适应”应运而生，它研究如何利用具有足够标签的源域数据信息来帮助缺乏标签信息的目标域数据的学习。简单而言，就是通过神经网络学习如何将源域数据上的标签信息迁移到无标签的目标域数据上。其中，源域和目标域数据相关但分布不同。在这个问题中，一般情况下源域和目标域中的数据类别是完全一致的，这种情况称之为闭集域自适应。然而在实际应用场景中，源域和目标域中可能只有一部分类别是相同的，除此之外的其他类别只存在于两个域中的某一个，这种场景更贴合实际应用，被称为开放集域自适应。

如果直接将闭集域自适应中的图像分类方法应用到开放集场景中，分类神经网络性能会有明显的下降。从本质上来说，我们需要的仅仅是两个域上相同类别的数据在分布上进行匹配，而其余类别的数据不应该与任何类别数据的分布对齐。有一种常见的解决方法是先筛选出目标域数据中的未知类数据，然后再对两个域中其余共同的类别做分布匹配，这样可以将问题的一部分转化为先前已经研究过的闭集域自适应问题。

但是目前解决开放集域自适应的分类神经网络基本上都是在源域数据和目标域数据上共同训练，但是由于目标域上的数据没有标注信息，训练过程中分类神经网络可能很难学习到针对目标域的具有可区分性的分类特征，这就会导致训练过程中学习到的特征很难在目标域上具有泛化性。所以本方法提出了一种基于两个网络联合学习的分类神经网络，核心思想是基于两个网络进行联合学习的过程中达到同步优化。

发明内容

本发明的目的在于克服现有的开放集图像分类方法中，训练分类神经网络的时候同时利用源域和目标域数据进行训练对神经网络学习特征表达过程的带来干扰，提出了一种基于联合学习与知识迁移的开放集图像分类方法，利用一个专注于目标域数据学习的特有网络来解决这一问题。

为实现上述目的，本发明所提供的技术方案为：一种基于联合学习与知识迁移的开放集图像分类方法，包括以下步骤：

S1、对训练数据进行划分，分为源域数据X_s和目标域数据X_t；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络；

S2、随机从训练数据中的源域数据选择一小批源域训练数据(x_s，y_s)，从目标域数据选择一小批目标域训练数据x_t，其中，x_s和y_s分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束；

S3、将步骤S2中取出的目标域训练数据经过几何变换增广方式得到相同数量的增广数据T(x_t)，其中T表示选定的几何变换增广方式；并将增广前后的训练数据x_t和T(x_t)都输入到特有网络中进行训练，并加以对应的损失函数进行约束；

S4、重复步骤S2-S3，达到预先设定的训练次数后完成训练，输出训练好的域对抗网络和特有网络，用二者中任意一个网络对所需分类的图像进行类别预测。

在步骤S1中，需要对训练数据中所有的图像进行归一化处理，把图像的像素值归一化到[0,1]范围内，以达到理想的训练效果，并减少计算量以缩短分类神经网络的训练时间；根据训练设置对所有数据进行分类，训练数据包含源域数据X_s和目标域数据X_t，两个域中共同的类别定义为已知类，除此之外，目标域数据中还包含有若干个源域数据中没有包含的类别，这些类别统一归为未知类；对分类神经网络所包含的域对抗网络和特有网络的所有层参数都进行随机初始化，即利用Pytorch中带有的接口函数来随机生成两个VGG-16分类网络，分别作为域对抗网络和特有网络的初始状态；损失项权重系数λ和μ分别被设为1和2。

在步骤S2中，对于选取到的一批源域训练数据(x_s，y_s)，仅将其输入域对抗网络中，由于其具有标签信息，能够用交叉熵对其进行约束，所以源域数据x_S的交叉熵损失函数L_eva(x_S)定义如下：

L_eva(x_S)＝-y_Slog(p_C(x_S))

其中，

表示来自源域的数据在已知类别上预测结果的概率分布；域对抗网络的最后一个全连接层定义为分类器H_C，剩余部分定义为特征提取器F_C，这两个部分对应的参数分别表示为

和

对于目标域训练数据x_t，分别将其输入域对抗网络和特有网络，其具体情况如下：

a、首先将x_t输入域对抗网络中，并构建如下对抗损失函数L_adv(x_t)：

其中，K表示已知类的数目，

表示一个输入的目标域数据被预测为属于未知类的概率；域对抗网络的分类器H_C在训练过程中将目标域数据统一识别为未知类，而域对抗网络的特征提取器F_C则通过学习一个能够区分出已知类数据和未知类数据的特征表达，尽可能地去迷惑H_C；因此F_C最终的目标是将源域和目标域中的已知类数据分布匹配起来；以下两个对抗的损失项来分别更新特征提取器F_C和分类器H_C：

通过这两个对抗的损失项同时对域对抗网络的两个部分进行优化，最终促使目标域中的已知类数据与源域中的已知类数据尽可能对齐，同时将未知类数据区分出来；

b、接着将x_t输入特有网络中，特有网络包含一个特征提取器F_D和一个分类器H_D，这两个部分的参数分别表示为

和

其中，分类器H_D输出包含K+1个点；

由于缺乏目标域上的监督信息，特有网络需要从域对抗网络上学习；为了匹配后验概率分布p_C(x_t)，定义了一个目标一致性损失函数

如下：

其中，D_KL(·||·)表示KL散度函数，

表示数据经过F_C和H_C预测所得的概率分布，

表示数据经过F_D和H_D预测所得的概率分布；

同样的，对于域对抗网络定义了一个类别一致性损失函数

如下：

因此，针对无标签信息的目标域数据，通过域对抗网络和特有网络之间的联合学习和知识交换过程，达到同时训练和互相促进的效果。

在步骤S3中，对于训练过程，还引入了一个基于语义的对比正则项；给定一个数据x，通过随机几何变换构造了其变换版本T(x)；来自相同类别的数据称之为正数据，而来自不同类别的数据称之为负数据；对于特有网络定义了一个基于语义的对比正则项L_ctr(x_t)如下：

其中，

表示目标域样本的伪标签，b代表一批训练数据，q(·)表示根据x_t和

计算所得的对比损失，具体定义如下：

其中，F_D(·)表示数据经过特有网络得到的输出，T(·)表示对数据做几何变换，x_t′表示所有与x_t类别不相同的样本，exp(·)表示自然指数函数，D_cos(·)代表余弦相似度，σ是一个用于平衡的超参数，函数

表示当标签

和

不同的时候函数值为1，其它情况下函数值为0；这个正则项同样也惩罚来自不同类别的数据之间的相似度，这将强制将一个类别的数据都排除在其它类的高密度区域之外。

在步骤S4中，对于分类神经网络的两个组成网络：域对抗网络和特有网络，它们各自优化的目标函数如下：

其中，

表示域对抗网络的特征提取器F_C的参数，

表示域对抗网络的分类器H_C的参数，

表示特有网络的特征提取器F_D的参数，

表示特有网络的分类器H_D的参数，L_eva(x_S)表示交叉熵损失函数，

表示类别一致性损失函数，L_adv(x_t)表示对抗损失函数，

表示目标一致性损失函数，L_ctr(x_t)表示基于语义的对比正则项；

依照三个目标函数对域对抗网络和特有网络进行训练，训练的总轮数设置为T轮，每一轮包含的迭代次数为N；每一轮包含对所有训练数据的训练，在所有训练数据都完成一次遍历训练后，重新将训练数据进行随机打乱，直至达到预先设定的轮数T；其中，在每次迭代过后，更新两个网络中各个对应的参数；在经过预设的每M次迭代过后，对传入的图片只做类别预测，不更新网络参数，也不使用损失函数，用得到的预测结果与真实标签得出域对抗网络和特有网络当前的实时预测准确率；由于类别一致性损失函数

和目标一致性损失函数

对域对抗网络和特有网络之间进行了一致性约束，所以两个网络在联合学习和知识交换的过程中，能够互相指导彼此的训练过程，两个网络的性能会同步上升并最终趋于一致；因此，待整个训练过程完成后，输出二者中任意一个网络即可用于对所需分类的图像进行类别预测。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用了现在流行的深度学习检测框架VGG-16分类网络作为基础分类神经网络，和现有的方法比较，深度神经网络的分类效果与泛化性能更佳。

2、本发明提出了一种基于联合学习的分类神经网络，其结构中包含了域对抗网络和特有网络这两个组成网络。由于域对抗网络同时接受来自源域和目标域的数据，而特有网络仅专注于目标域数据的学习，通过两个网络的联合学习，这两个组成网络可以从互补的视角学习到不同的特征表达，并且在两个网络的知识交换过程中能达到同时增强彼此性能、随训练过程互相促进的效果。

3、本发明在域对抗网络中利用了时下深度学习领域最为火热的对抗训练的思想，通过使域对抗网络中特征提取器部分与分类器部分构成对抗，在对抗训练的过程中两者的性能都会越来越好，最终达到将未知类数据识别出来的目的，从而将开放集问题转化为闭合集问题。但是对抗训练的过程往往难以控制其达到纳什均衡，单纯使用对抗训练可能会使分类边界偏向于某些类别而使得训练后期分类神经网络性能反而下降，为此本方法引入了不包含对抗训练的特有网络来与域对抗网络进行联合学习，为其提供指导，避免了域对抗网络训练过程的偏离。

4、本发明在特有网络中还引入了一项基于语义的对比损失项，这个损失项的目的在于使得分类过程中相同类别的数据尽可能地靠近，而不同类别的数据之间尽可能地远离，从而使决策边界远离数据密集的区域。这个对比损失项的引入本身并不需要额外的监督信息，也是利用了时下比较火热的自监督的思想，即通过现有的数据之间构造约束条件来给分类神经网络的学习提供更多的监督信息，而不需要人为额外引入新的监督信息，这种方式不会给分类神经网络的训练带来额外的成本和开销，是一种简洁有效的提升分类神经网络性能的方法。

附图说明

图1为本发明方法的流程框图。

图2为本发明方法的分类神经网络结构示意图，图中域对抗网络和和特有网络的组成层结构完全一致，均是VGG-16分类网络。图最右侧为用于更新各个组成网络的损失函数。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1和图2所示，本实施例所提供的基于联合学习与知识迁移的开放集图像分类方法，以分类神经网络在Office-31任务上，源域为Amazon数据集，目标域为Webcam数据集为例，包括以下步骤：

S1、对训练数据进行划分，分为源域数据X_s和目标域数据X_t；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络，具体情况如下：

首先对于源域数据集Amazon数据集，由于其中包含了各类生活用品，总共有31个类别。对类别的英文名称按照字母表顺序排序，然后仅取出其中排名前20的的数据来构成源域数据，其余数据不参与训练；对于Webcam数据集，则将全部数据作为目标域数据参与训练。则在这个分类任务中，排在前20类的数据属于已知类数据，而排在21到31类的数据属于未知类数据。分类神经网络应当将目标域数据中的已知类数据准确地识别出其属于哪一个已知类，并将其余数据识别为未知类。

其次需要对数据作归一化处理，在本发明方法中，将输入数据的图像的各个像素点值均除以256，从而将像素值转化到[0,1]区间内。对于神经网络的参数，采用随机初始化的方法，即利用Pytorch中带有的接口函数来随机生成两个VGG-16分类网络，分别作为域对抗网络和特有网络的初始状态。损失项权重系数λ和μ分别被设为1和2。

S2、随机从训练数据中的源域数据选择一小批源域训练数据(x_s，y_s)，从目标域数据选择一小批目标域训练数据x_t。其中x_s和y_s分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束。具体优化过程如下：

对于随机选取到的一批源域数据(x_s，y_s)，仅将其输入域对抗网络中，由于其具有标注信息，能够用交叉熵对其进行约束，所以源域数据x_S的交叉熵损失函数L_eva(x_S)定义如下：

L_eva(x_S)＝-y_Slog(p_C(x_S))

其中，

表示来自源域的数据在已知类别上预测结果的概率分布。域对抗网络的最后一个全连接层定义为分类器H_C，剩余部分定义为特征提取器F_C，这两个部分对应的参数分别表示为

和

对于目标域数据x_t，分别将其输入域对抗网络和特有网络，其具体情况如下：

a、首先将x_t输入域对抗网络中，并构建了如下对抗损失函数L_adv(x_t)：

其中，K表示已知类的数目，

表示一个输入的目标域数据被预测为属于未知类的概率。域对抗网络的分类器H_C在训练过程中将目标域数据统一识别为未知类，而域对抗网络的特征提取器F_C则通过学习一个可以区分出已知类数据和未知类数据的特征表达，尽可能地去迷惑H_C。因此F_C最终的目标是将源域和目标域中的已知类数据分布匹配起来。以下两个对抗的损失项来分别更新特征提取器F_C和分类器H_C：

通过这两个对抗的损失项同时对域对抗网络的两个部分进行优化，最终促使目标域中的已知类数据与源域中的已知类数据尽可能对齐，同时将未知类数据区分出来。

b、接着将x_t输入特有网络中，特有网络包含一个特征提取器F_D和一个分类器H_D，这两个部分的参数分别表示为

和

其中，分类器H_D输出包含K+1个点。

由于缺乏目标域上的监督信息，特有网络需要从域对抗网络上学习。为了匹配后验概率分布p_C(x_t)，定义了一个目标一致性损失函数

如下：

其中，D_KL(·||·)表示KL散度函数，

表示数据经过F_C和H_C预测所得的概率分布，

表示数据经过F_D和H_D预测所得的概率分布。

同样的，对于域对抗网络定义了一个类别一致性损失函数

如下：

因此，针对无标注信息的目标域数据，通过域对抗网络和特有网络之间的联合学习和知识交换过程，达到同时训练和互相促进的效果。

S3、将步骤S2中取出的目标域训练数据经过一定的几何变换增广方式(从旋转、裁剪、高斯模糊噪声、颜色失真四种方式中随机挑选一种)得到相同数量的增广数据T(x_t)，其中T表示特定的几何变换增广方式。并将增广前后的训练数据x_t和T(x_t)都输入到特有网络中进行训练，并加以对应的损失函数进行约束。具体如下：

对于训练过程，还引入了一个基于语义的对比正则项；给定一个数据x，通过随机几何变换构造了其变换版本T(x)；来自相同类别的数据称之为正数据，而来自不同类别的数据称之为负数据；对于特有网络定义了一个基于语义的对比正则项L_ctr(x_t)如下：

其中，

表示目标域样本的伪标签，b代表一批训练数据，q(·)表示根据x_t和

计算所得的对比损失，具体定义如下：

其中，F_D(·)表示数据经过特有网络得到的输出，T(·)表示对数据做几何变换，x_t′表示所有与x_t类别不相同的样本，exp(·)表示自然指数函数，D_cos(·)代表余弦相似度，σ是一个用于平衡的超参数，函数

表示当标签

和

不同的时候函数值为1，其它情况下函数值为0；这个正则项同样也惩罚来自不同类别的数据之间的相似度，这将强制将一个类别的数据都排除在其它类的高密度区域之外。通过最小化该正则项，损失值通过反向传播算法用于进一步优化特有网络。

S4、重复步骤S2-S3，达到预先设定的训练次数后完成训练，输出训练好的特有网络，用训练好的特有网络对所需分类的图像进行类别预测即可。具体如下：

对于分类神经网络的两个组成网络：域对抗网络和特有网络，它们各自优化的目标函数如下：

依照三个目标函数对域对抗网络和特有网络进行训练，训练的总轮数设置为T轮，每一轮包含的迭代次数为N；每一轮包含对所有训练数据的训练，在所有训练数据都完成一次遍历训练后，重新将训练数据进行随机打乱，直至达到预先设定的轮数T；其中，在每次迭代过后，更新两个网络中各个对应的参数；在经过预设的每M次迭代过后，对传入的图片只做类别预测，不更新网络参数，也不使用损失函数，用得到的预测结果与真实标签得出域对抗网络和特有网络当前的实时预测准确率。由于类别一致性损失函数

和目标一致性损失函数

对域对抗网络和特有网络之间进行了一致性约束，所以两个网络在联合学习和知识交换的过程中，可以互相指导彼此的训练过程，两个网络的性能会同步上升并最终趋于一致。因此，待整个训练过程完成后，输出二者中任意一个网络即可用于对所需分类的图像进行类别预测。

训练完成后输出的域对抗网络和特有网络均可作为分类网络用于分类，选择其中一个作为分类网络，具体过程如下：固定训练好的分类网络，整个测试过程中不更新该网络，不使用损失函数；把测试数据的每一张图像依次输入训练好的分类网络中，每一张图像都会得到相应的预测结果，再和真实的类别标签进行相应的计算，得到分类网络预测结果的准确率，准确率即可作为评价分类网络性能的最重要指标之一。

以上所述实施例只为本发明之较佳实施例，但并不以此限制本发明方法的施用范围。故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于，包括以下步骤：

S1、对训练数据进行划分，分为源域数据X_s和目标域数据X_t；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络；

S2、随机从训练数据中的源域数据选择一小批源域训练数据(x_s，y_s)，从目标域数据选择一小批目标域训练数据x_t，其中，x_s和y_s分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束；

对于选取到的一批源域训练数据(x_s，y_s)，仅将其输入域对抗网络中，由于其具有标签信息，能够用交叉熵对其进行约束，所以源域数据x_s的交叉熵损失函数L_eva(x_s)定义如下：

L_eva(x_s)＝-y_slog(p_C(x_s))

其中，

表示来自源域的数据在已知类别上预测结果的概率分布；域对抗网络的最后一个全连接层定义为分类器H_C，剩余部分定义为特征提取器F_C，这两个部分对应的参数分别表示为

和

对于目标域训练数据x_t，分别将其输入域对抗网络和特有网络，其具体情况如下：

a、首先将x_t输入域对抗网络中，并构建如下对抗损失函数L_adv(x_t)：

其中，K表示已知类的数目，

表示一个输入的目标域数据被预测为属于未知类的概率；域对抗网络的分类器H_C在训练过程中将目标域数据统一识别为未知类，而域对抗网络的特征提取器F_C则通过学习一个能够区分出已知类数据和未知类数据的特征表达，尽可能地去迷惑H_C；因此F_C最终的目标是将源域和目标域中的已知类数据分布匹配起来；以下两个对抗的损失项用来分别更新特征提取器F_C和分类器H_C：

通过这两个对抗的损失项同时对域对抗网络的两个部分进行优化，最终促使目标域中的已知类数据与源域中的已知类数据尽可能对齐，同时将未知类数据区分出来；

b、接着将x_t输入特有网络中，特有网络包含一个特征提取器F_D和一个分类器H_D，这两个部分的参数分别表示为

和

其中，分类器H_D输出包含K+1个点；

由于缺乏目标域上的监督信息，特有网络需要从域对抗网络上学习；为了匹配后验概率分布p_C(x_t)，定义了一个目标一致性损失函数

如下：

其中，D_KL(·||·)表示KL散度函数，

表示数据经过F_C和H_C预测所得的概率分布，

表示数据经过F_D和H_D预测所得的概率分布；

同样的，对于域对抗网络定义了一个类别一致性损失函数

如下：

因此，针对无标签信息的目标域数据，通过域对抗网络和特有网络之间的联合学习和知识交换过程，达到同时训练和互相促进的效果；

S3、将步骤S2中取出的目标域训练数据经过几何变换增广方式得到相同数量的增广数据T(x_t)，其中T表示选定的几何变换增广方式；并将增广前后的训练数据x_t和T(x_t)都输入到特有网络中进行训练，并加以对应的损失函数进行约束；

对于训练过程，还引入了一个基于语义的对比正则项；给定一个数据x，通过随机几何变换构造了其变换版本T(x)；来自相同类别的数据称之为正数据，而来自不同类别的数据称之为负数据；对于特有网络定义了一个基于语义的对比正则项L_ctr(x_t)如下：

其中，

表示目标域样本的伪标签，b代表一批训练数据，q(·)表示根据x_t和

计算所得的对比损失，具体定义如下：

其中，F_D(·)表示数据经过特有网络得到的输出，T(·)表示对数据做几何变换，x_t′表示所有与x_t类别不相同的样本，exp(·)表示自然指数函数，D_cos(·)代表余弦相似度，σ是一个用于平衡的超参数，函数

表示当标签

和

不同的时候函数值为1，其它情况下函数值为0；这个正则项同样也惩罚来自不同类别的数据之间的相似度，这将强制将一个类别的数据都排除在其它类的高密度区域之外；

S4、重复步骤S2-S3，达到预先设定的训练次数后完成训练，输出训练好的域对抗网络和特有网络，用二者中任意一个网络对所需分类的图像进行类别预测。

2.根据权利要求1所述的一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于：在步骤S1中，需要对训练数据中所有的图像进行归一化处理，把图像的像素值归一化到[0,1]范围内，以达到理想的训练效果，并减少计算量以缩短分类神经网络的训练时间；根据训练设置对所有数据进行分类，训练数据包含源域数据X_s和目标域数据X_t，两个域中共同的类别定义为已知类，除此之外，目标域数据中还包含有若干个源域数据中没有包含的类别，这些类别统一归为未知类；对分类神经网络所包含的域对抗网络和特有网络的所有层参数都进行随机初始化，即利用Pytorch中带有的接口函数来随机生成两个VGG-16分类网络，分别作为域对抗网络和特有网络的初始状态；损失项权重系数λ和μ分别被设为1和2。

3.根据权利要求1所述的一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于：在步骤S4中，对于分类神经网络的两个组成网络：域对抗网络和特有网络，它们各自优化的目标函数如下：

其中，

表示域对抗网络的特征提取器F_C的参数，

表示域对抗网络的分类器H_C的参数，

表示特有网络的特征提取器F_D的参数，

表示特有网络的分类器H_D的参数，L_eva(x_s)表示交叉熵损失函数，

表示类别一致性损失函数，L_adv(x_t)表示对抗损失函数，

表示目标一致性损失函数，L_ctr(x_t)表示基于语义的对比正则项；

依照三个目标函数对域对抗网络和特有网络进行训练，训练的总轮数设置为T轮，每一轮包含的迭代次数为N；每一轮包含对所有训练数据的训练，在所有训练数据都完成一次遍历训练后，重新将训练数据进行随机打乱，直至达到预先设定的轮数T；其中，在每次迭代过后，更新两个网络中各个对应的参数；在经过预设的每M次迭代过后，对传入的图片只做类别预测，不更新网络参数，也不使用损失函数，用得到的预测结果与真实标签得出域对抗网络和特有网络当前的实时预测准确率；由于类别一致性损失函数

和目标一致性损失函数

对域对抗网络和特有网络之间进行了一致性约束，所以两个网络在联合学习和知识交换的过程中，能够互相指导彼此的训练过程，两个网络的性能会同步上升并最终趋于一致；因此，待整个训练过程完成后，输出二者中任意一个网络即可用于对所需分类的图像进行类别预测。

Images