CN113469273B - 基于双向生成及中间域对齐的无监督域适应图像分类方法 - Google Patents

Abstract

本发明公开了基于双向生成及中间域对齐的无监督域适应图像分类方法，属于迁移学习领域。本发明通过采用双向生成网络，分别输入源域和目标域的图像将其生成对应伪目标域图像和伪源域图像，生成过程中由任务网络提供监督信息以指导图像生成质量，模型训练结束后，将伪源域图像与源域图像分别输入到分类网络中，通过相关距离度量，不断缩减伪源域与源域图像的分布差异，从而使得分类网络能够利用源域知识为目标域图像进行分类，相较于传统的域适应模型，本模型在提高模型泛化能力的同时，提高了模型的分类精度，既不会混淆域特有信息和域不变信息，从而导致负迁移的情况出现，又能够使得生成的伪源域样本可以完全符合源域样本分布。

Description

基于双向生成及中间域对齐的无监督域适应图像分类方法

技术领域

本发明涉及迁移学习技术领域，具体为基于双向生成及中间域对齐的无监督域适应图像分类方法。

背景技术

域适应，主要解决源域与目标域之间分布不同的相似任务决策问题，通过将源域知识迁移到目标域中，解决目标域任务。目前，域适应已经应用在诸多领域并取得了成功。例如，在语义分割方面，传统的语义分割会利用分布相同的现实照片作为训练集，实现现实世界中的物体识别问题。但是，采集这些照片并手动赋予标签是一件耗时耗力的事情，因此研究者们引入域适应方法，以其他场景的图像作为训练集(其分布与待完成任务的图像分布相似但不相同)，并取得了良好的效果。

无监督域适应的目的是将有标签的源域样本中所学知识传递给无标签的目标域样本。一方面，已有的一些方法通过直接缩减域分布差异来显式地减缓知识传递的难度，但这种方式会混淆域特有信息和域不变信息，从而导致负迁移；另一方面，在双向生成的对抗方法中，还有一些研究希望将目标域样本生成与源域分布足够相似的伪源域样本，然后利用源域知识为其直接进行分类，但实际情况中，生成模型在面对特定任务时往往需要特定的参数，这导致其不具备泛化能力，且生成的伪源域样本不能完全符合源域样本分布，为此，提出基于双向生成及中间域对齐的无监督域适应图像分类方法。

发明内容

本发明的目的在于提供基于双向生成及中间域对齐的无监督域适应图像分类方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于双向生成及中间域对齐的无监督域适应图像分类方法，包括以下步骤：

S1、双向生成网络：利用对抗博弈思想对图像进行训练生成；

S2、任务网络：通过重构损失、协方差对齐损失、任务和循环一致性损失监督指导S1生成图像的质量，保证图像身份信息，生成与另一个域样本分布相似的图像，将目标域图像所生成的伪源域图像与源域图像同时输入S3网络；

S3、分类网络：特征提取，分布对齐，令伪源域图像与源域图像分布靠近，对目标域图像分类。

优选的：在所述S1中，将源域图像与目标域图像进行归一化预处理之后，同时输入到S1生成网络中。

优选的：所述S1网络由两个生成器和两个判别器组成，两个生成器和两个判别器分为：源域分支的生成器G_S、目标域分支生成器G_T、源域分支的判别器D_S和目标域分支的判别器D_T；

所述源域分支的生成器G_S，用于生成伪目标域图像I_S-t；

所述源域分支的判别器D_S，用于判别源域图像和伪源域图像；

所述目标域分支生成器G_T，用于生成伪源域图像I_t-s；

所述目标域分支判别器D_T，用于判别目标域图像和伪目标域图像。

优选的：所述S1双向生成网络所产生的对抗损失如下所示：

其中，为目标域图像分布，/>为源域图像分布。

优选的：在所述S2中，任务网络用于指导和监督生成网络。

优选的：所述S2任务网络所产生的重构损失如下所示：

其中，I_s为源域已有标签的图像，I_t为目标域待分类图像。

优选的：所述S2任务网络生成过程中，生成图像的身份信息与原图像维持一致；

所述任务网络S2，对应I_s的输出为T_s，对应I_t的输出为T_t，对应I_s-t的输出为T_{s_t}，对应I_t-s的输出为T_{t_s}，由此产生的任务和循环一致性损失，如下所示：

优选的：在所述S3中，目标与图像与伪目标域图像的分布尽可能接近，任务网络中首次加入协方差对齐损失，定义形式如下：

其中，C_S为源域图像中心化后的协方差矩阵，C_{T_S}为生成的伪源域图像中心化后的协方差矩阵，C_T为目标域图像中心化后的协方差矩阵，C_{S_T}为生成的伪目标域图像中心化后的协方差矩阵，d为图像通道维度；

利用任务网络所提供的以上监督指导信息，生成网络不断训练迭代，最终生成符合期待的伪源域图像，将伪源域图像作为中间域图像，替代传统深度域适应网络中的目标域图像，经分类网络的再次对齐，得到目标域最终分类结果。

优选的：在将源域图像与伪源域图像，同时输入到S3分类网络中，分类网络中的对齐损失定义如下：

其中，X_S和X_Z分别服从分布P(X_S)和分布P(X_z)，当P(X_S)＝P(X_Z)时，M_k(X_S,X_z)＝0，n_s为源域样本数量，n_z为伪源域样本数量，X_Z为伪源域样本；

用于将原变量映射到具有再生性<K(x,.),K(y,.)>_H＝K(x,y)的再生核希尔伯特空间中。

与现有技术相比，本发明的有益效果是：

本发明通过采用双向生成网络，分别输入源域和目标域的图像将其生成对应伪目标域图像和伪源域图像，生成过程中由任务网络提供监督信息以指导图像生成质量，模型训练结束后，将伪源域图像与源域图像分别输入到分类网络中，通过相关距离度量，不断缩减伪源域与源域图像的分布差异，从而使得分类网络能够利用源域知识为目标域图像进行分类，相较于传统的域适应模型，本模型在提高模型泛化能力的同时，提高了模型的分类精度，既不会混淆域特有信息和域不变信息，从而导致负迁移的情况出现，又能够使得生成的伪源域样本可以完全符合源域样本分布。

附图说明

图1是基于基于双向生成及中间域对齐的无监督域适应方法框架图；

图2是由任务网络监督指导生成网络的模型图；

图3是分类网络的模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1-3，本发明提供一种技术方案：基于双向生成及中间域对齐的无监督域适应图像分类方法，包括以下步骤：

S1、双向生成网络：利用对抗博弈思想对图像进行训练生成；

S2、任务网络：通过重构损失、协方差对齐损失、任务和循环一致性损失监督指导S1生成图像的质量，保证图像身份信息，生成与另一个域样本分布相似的图像，将目标域图像所生成的伪源域图像与源域图像同时输入S3网络；

S3、分类网络：特征提取，分布对齐，令伪源域图像与源域图像分布靠近，对目标域图像分类。

本实施例中，具体的：在所述S1中，将源域图像与目标域图像进行归一化预处理之后，同时输入到S1生成网络中。

本实施例中，具体的：所述S1网络由两个生成器和两个判别器组成，两个生成器和两个判别器分为：源域分支的生成器G_S、目标域分支生成器G_T、源域分支的判别器D_S和目标域分支的判别器D_T；

所述源域分支的生成器G_S，用于生成伪目标域图像I_S-t；

所述源域分支的判别器D_S，用于判别源域图像和伪源域图像；

所述目标域分支生成器G_T，用于生成伪源域图像I_t-s；

所述目标域分支判别器D_T，用于判别目标域图像和伪目标域图像。

本实施例中，具体的：所述S1双向生成网络所产生的对抗损失如下所示：

其中，为目标域图像分布，/>为源域图像分布。

本实施例中，具体的：在所述S2中，任务网络用于指导和监督生成网络。

本实施例中，具体的：所述S2任务网络所产生的重构损失如下所示：

其中，I_s为源域已有标签的图像，I_t为目标域待分类图像。

本实施例中，具体的：所述S2任务网络生成过程中，生成图像的身份信息与原图像维持一致；

所述任务网络S2，对应I_s的输出为T_s，对应I_t的输出为T_t，对应I_s-t的输出为T_{s_t}，对应I_t-s的输出为T_{t_s}，由此产生的任务和循环一致性损失，如下所示：

本实施例中，具体的：在所述S3中，目标与图像与伪目标域图像的分布尽可能接近，任务网络中首次加入协方差对齐损失，定义形式如下：

其中，C_S为源域图像中心化后的协方差矩阵，C_{T_S}为生成的伪源域图像中心化后的协方差矩阵，C_T为目标域图像中心化后的协方差矩阵，C_{S_T}为生成的伪目标域图像中心化后的协方差矩阵，d为图像通道维度；

利用任务网络所提供的以上监督指导信息，生成网络不断训练迭代，最终生成符合期待的伪源域图像，将伪源域图像作为中间域图像，替代传统深度域适应网络中的目标域图像，经分类网络的再次对齐，得到目标域最终分类结果。

本实施例中，具体的：参照图3，在将源域图像与伪源域图像，同时输入到S3分类网络中，分类网络中的对齐损失定义如下：

其中，X_S和X_Z分别服从分布P(X_S)和分布P(X_z)，当P(X_S)＝P(X_Z)时，M_k(X_S,X_z)＝0，n_s为源域样本数量，n_z为伪源域样本数量，X_Z为伪源域样本；

用于将原变量映射到具有再生性<K(x,.),K(y,.)>_H＝K(x,y)的再生核希尔伯特空间中，分类网络在对齐损失的监督下，经过训练迭代，最终能够实现对伪源域图像的精确分类工作。

工作原理或者结构原理，使用时，本发明提出一种全新的双向生成及中间域对齐的无监督域适应方法框架，利用对抗博弈思想对图像进行训练生成双向生成网络，接着通过重构损失、协方差对齐损失、任务和循环一致性损失来监督指导双向生成网络生成图像的质量，双向生成网络在既保证图像身份信息的同时，又能生成与另一个域样本分布相似的图像。当双向生成网络和任务网络训练完成时，将目标域图像所生成的伪源域图像与源域图像同时输入分类网络，分类网络通过特征提取，分布对齐等操作，令二者分布足够靠近，从而对目标域图像分类，既不会混淆域特有信息和域不变信息，从而导致负迁移的情况出现，又能够使得生成的伪源域样本可以完全符合源域样本分布。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于，包括以下步骤：

S1、双向生成网络：利用对抗博弈思想对图像进行训练生成；

S2、任务网络：通过重构损失、协方差对齐损失、任务和循环一致性损失监督指导S1生成图像的质量，保证图像身份信息，生成与另一个域样本分布相似的图像，将目标域图像所生成的伪源域图像与源域图像同时输入S3网络；

S3、分类网络：特征提取，分布对齐，令伪源域图像与源域图像分布靠近，对目标域图像分类；

在所述S1中，将源域图像与目标域图像进行归一化预处理之后，同时输入到S1生成网络中;

所述S1网络由两个生成器和两个判别器组成，两个生成器和两个判别器分为：源域分支的生成器G_S、目标域分支生成器G_T、源域分支的判别器D_S和目标域分支的判别器D_T；

所述源域分支的生成器G_S，用于生成伪目标域图像I_S-t；

所述源域分支的判别器D_S，用于判别源域图像和伪源域图像；

所述目标域分支生成器G_T，用于生成伪源域图像I_t-s；

所述目标域分支判别器D_T，用于判别目标域图像和伪目标域图像。

2.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S1双向生成网络所产生的对抗损失如下所示：

其中，P_(Xt)为目标域图像分布，P_(Xs)为源域图像分布。

3.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在所述S2中，任务网络用于指导和监督生成网络。

4.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S2任务网络所产生的重构损失如下所示：

其中，I_s为源域已有标签的图像，I_t为目标域待分类图像。

5.根据权利要求4所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S2任务网络生成过程中，生成图像的身份信息与原图像维持一致；

所述任务网络S2，对应I_s的输出为T_s，对应I_t的输出为T_t，对应I_s-t的输出为T_{s_t}，对应I_t-s的输出为T_{t_s}，由此产生的任务和循环一致性损失，如下所示：

6.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在所述S3中，目标与图像与伪目标域图像的分布尽可能接近，任务网络中首次加入协方差对齐损失，定义形式如下：

其中，C_S为源域图像中心化后的协方差矩阵，C_{T_S}为生成的伪源域图像中心化后的协方差矩阵，C_T为目标域图像中心化后的协方差矩阵，C_{S_T}为生成的伪目标域图像中心化后的协方差矩阵，d为图像通道维度；

利用任务网络所提供的以上监督指导信息，生成网络不断训练迭代，最终生成符合期待的伪源域图像，将伪源域图像作为中间域图像，替代传统深度域适应网络中的目标域图像，经分类网络的再次对齐，得到目标域最终分类结果。

7.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在将源域图像与伪源域图像，同时输入到S3分类网络中，分类网络中的对齐损失定义如下：

其中，X_S和X_Z分别服从分布P(X_S)和分布P(X_z)，当P(X_S)＝P(X_Z)时，M_k(X_S,X_z)＝0，n_s为源域样本数量，n_z为伪源域样本数量，X_Z为伪源域样本；

用于将原变量映射到具有再生性<K(x,.),K(y,.)>_H＝K(x,y)的再生核希尔伯特空间中。