CN116824216A - 一种无源无监督域适应图像分类方法 - Google Patents

Abstract

本发明公开了一种无源无监督域适应图像分类方法，使用源域图像及其标签训练一个源域预训练模型，并使用该预训练模型初始化一个目标模型；使用初始化的目标模型计算目标域图像的模型结构级别和数据结构级别的预测分数，将二者结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；将目标域样本的图像、伪标签、置信分数混合；计算双分类器的确定性差异距离用于目标模型的最大最小化训练；最后训练模型，计算相应损失并依次迭代更新优化相应的模型参数，从而明确地识别一些不确定分类的目标样本，再引入权重混合策略来充分利用目标域知识，进一步提高目标域分类准确率。

Description

一种无源无监督域适应图像分类方法

技术领域

本发明涉及迁移学习中的域适应技术领域，特别是涉及一种无源无监督域适应图像分类方法。

背景技术

无监督域适应是利用一个有标记的源域中的知识来帮助学习一个未标记目标域的判别模型，而人们对数据隐私的日益关注给这项任务带来了新的挑战。具体来说，源域和目标域的数据通常被捕获并存储在不同的设备上，并包含私有信息，向目标域公开源数据是有风险的。正是因为无监督域适应在训练过程中需要访问源域数据，所以这也限制了主流的无监督域适应方法在许多现实场景中的应用。

无源无监督域适应的目标是在标记源域不可见的情况下将源域预先训练的模型很好地适应于未标记目标域，它在隐私保护和数据传输方面具有广泛的应用价值，吸引了国内外众多学者的关注。根据适应过程中是否生成伪源数据，又可以分为基于数据生成的无源无监督域适应和基于特征的无源无监督域适应。

现有无源无监督域适应方法大多只使用一个分类器进行决策，但是由于源域数据和目标域数据之间的分布差异，通常会有一些目标实例在决策边界附近，因此产生不确定的分类。除此之外，部分基于置信度评分机制的无源无监督域适应方法只考虑源模型对目标域样本的预测知识，而忽略了目标域样本的内在结构知识，导致目标域信息不能被完全挖掘利用。

发明内容

为了解决以上技术问题，本发明提供一种无源无监督域适应图像分类方法，包括以下步骤

S1、使用源域图像及其标签训练一个源域预训练模型，源域预训练模型包括特征提取器和双分类器，并使用该源域预训练模型初始化一个目标模型用于目标域样本的识别训练，训练过程中源域图像将不可访问；

S2、使用初始化的目标模型计算目标域样本的模型结构级别的预测分数，且计算目标域图像基于高斯混合模型的数据结构级别的预测分数，将两预测分数结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；

S3、对目标域样本使用Mixup技术进行权重混合；

S4、计算双分类器的确定性差异距离，并将此确定性差异距离用于目标模型的最大最小化训练；

S5、对目标模型进行总体训练，总体训练包括步骤S5.1、步骤S5.2以及步骤S5.3，并依次迭代更新优化相应的模型参数，通过步骤S5.1、步骤S5.2以及步骤S5.3不断迭代地交替进行完成目标模型的训练，最终对目标域样本进行分类。

本发明进一步限定的技术方案是：

进一步的，步骤S1具体包括以下分步骤

S1.1、假定(x^s,y^s)为源域有标签样本，x^t为目标域无标签样本，源域样本集合目标域样本集合/>其中，n_s为源域样本数量，n_t为目标域样本数量，/>为源域中第i个样本，/>为该源域样本对应的伪标签，/>为目标域中第i个样本，源域和目标域具有相同的类别数目K；

S1.2、构建一个源域预训练模型F_s，源域预训练模型F_s包括一个特征提取器G、分类器C₁以及分类器C₂；利用源域有监督数据结合交叉熵损失使分类器对源域样本进行分类，由此产生的分类损失如下式所示：

式中，表示平滑标签，α为平滑系数；

S1.3、使用源域预训练模型F_s初始化目标模型F_t，且将目标模型F_t用于目标域样本的识别训练。

前所述的一种无源无监督域适应图像分类方法，步骤S2中，计算目标域样本的置信分数包括以下步骤

S2.1、根据高斯混合模型获得目标域样本的数据结构级别预测概率，公式如下：

式中，π_c、μ_c、∑_c分别代表类别c的混合系数、平均向量以及协方差矩阵，且c,c′∈{1,2,…,K}；

S2.2、计算目标域样本的伪标签并分别在分类器C₁和分类器C₂上计算目标域样本的模型结构级别的预测分数，即MP分数，

式中，m∈{1,2}分别代表分类器C₁和分类器C₂，/>其中/>和/>分别表示在分类器C₁和分类器C₂计算得到的MP分数；

S2.3、计算出目标域样本的次伪标签：

式中，a表示次伪标签为第a个类别；

S2.4、计算伪标签和次伪标签的差异：

式中，为目标域样本的次伪标签；

S2.5、将伪标签和次伪标签的差异归一化为目标域样本的数据结构级别的预测分数，即DS分数，

式中，i,j∈{1,2,…,n_t}；

S2.6、根据目标域样本的MP分数和DS分数，分别在分类器C₁和分类器C₂上计算目标域样本最终的置信分数：

其中，和/>分别表示在分类器C₁和分类器C₂计算得到的目标域样本最终的置信分数。

前所述的一种无源无监督域适应图像分类方法，步骤S2中，使用目标域样本的置信分数对目标域样本分类的交叉熵损失进行加权：

式中，是目标域样本分类的交叉熵损失。

前所述的一种无源无监督域适应图像分类方法，步骤S2中，计算信息最大化损失辅助加权的交叉熵损失训练：

式中，表示所有n_t个样本被预测为第k个类的平均预测概率，表示第j个目标域样本被预测为第k个类的预测概率。

前所述的一种无源无监督域适应图像分类方法，步骤S3中，将目标域样本的图像、伪标签、置信分数混合，混合目标域样本的过程如下：

式中，η～Beta(α,α)且α∈{0,+∞}，为加权参数；和/>为两个随机的目标域样本及其伪标签，样本权重混合损失计算如下：

其中，L_mixup表示样本权重混合损失。

前所述的一种无源无监督域适应图像分类方法，步骤S4中，以对抗性的方式训练分类器C₁和分类器C₂，以学习目标域上的可转移特征和判别决策边界，两个分类器的输出差异定义如下：

式中，0(.,.)为欧氏距离。

前所述的一种无源无监督域适应图像分类方法，步骤S5中，对目标模型进行总体训练，包括以下步骤

S5.1、利用步骤S2得到的损失训练特征提取器G、分类器C₁以及分类器C₂，训练的总体损失如下式所示：

式中，β为损失L_im的超参数,θ_G、以及/>分别表示特征提取器G、分类器C₁以及分类器C₂的网络参数；

S5.2、固定特征提取器G，利用步骤S3和步骤S4得到的损失训练分类器C₁和分类器C₂，训练的总体损失如下式所示：

式中，为权重混合损失的超参数，λ为双分类器输出差异损失的超参数；

S5.3、固定分类器C₁和分类器C₂，利用步骤S4得到的损失训练特征提取器G，训练的总体损失如下式所示：

式中，λ为双分类器输出差异损失的超参数。

本发明的有益效果是：

本发明中，通过计算包含源域和目标域知识的置信分数来加权目标域样本分类的交叉熵损失，防止由于目标域知识的缺失导致置信分数仅包含源域知识而忽略目标域知识的问题；通过将目标域样本的图像、伪标签、置信分数进行混合来充分利用目标域知识；通过设置双分类器进行对抗训练来检测位于决策边界附近且不确定分类的目标样本并完成正确分类；通过三步训练计算相应损失，以对抗的方式交替更新模型参数，对齐源域与目标域分布实现目标域样本的精准分类。

附图说明

图1为本发明的整体框架示意图；

图2为本发明中计算置信分数的框架示意图；

图3为本发明的模型结构示意图。

具体实施方式

本实施例提供的一种无源无监督域适应图像分类方法，如图1至图3所示，包括以下步骤

S1、使用源域图像及其标签训练一个源域预训练模型，源域预训练模型包括特征提取器和双分类器，并使用该源域预训练模型初始化一个目标模型用于目标域样本的识别训练，训练过程中源域图像将不可访问。

步骤S1具体包括以下分步骤

S1.1、在无源无监督域适应中，假定(x^s,y^s)为源域有标签样本，x^t为目标域无标签样本，源域样本集合目标域样本集合/>其中，n_s为源域样本数量，n_t为目标域样本数量，/>为源域中第i个样本，/>为该源域样本对应的伪标签，/>为目标域中第i个样本，源域和目标域具有相同的类别数目K；

S1.2、构建一个源域预训练模型F_s，源域预训练模型F_s包括一个特征提取器G、分类器C₁以及分类器C₂；利用源域有监督数据结合交叉熵损失使分类器对源域样本进行分类，由此产生的分类损失如下式所示：

式中，表示平滑标签，α为平滑系数，根据经验我们将α设置为0.1；

S1.3、使用源域预训练模型F_s初始化目标模型F_t，且将目标模型F_t用于目标域样本的识别训练。

S2、如图2所示，使用初始化的目标模型计算目标域样本的模型结构级别的预测分数，且计算目标域图像基于高斯混合模型GMM的数据结构级别的预测分数，将两预测分数结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练。

计算目标域样本的置信分数包括以下步骤

S2.1、根据高斯混合模型获得目标域样本的数据结构级别预测概率，公式如下：

式中，π_c、μ_c、∑_c分别代表类别c的混合系数、平均向量以及协方差矩阵，且c,c′∈{1,2,…,K}；

S2.2、计算目标域样本的伪标签并分别在分类器C₁和分类器C₂上计算目标域样本的模型结构级别的预测分数(简称为MP分数)，

式中，m∈{1,2}分别代表分类器C₁和分类器C₂，/>其中/>和/>分别表示在分类器C₁和分类器C₂计算得到的MP分数；

S2.3、计算出目标域样本的次伪标签：

式中，a表示次伪标签为第a个类别；

S2.4、计算伪标签和次伪标签的差异：

式中，为目标域样本的次伪标签；

S2.5、将伪标签和次伪标签的差异归一化为目标域样本的数据结构级别的预测分数(简称为DS分数)，

式中，i,j∈{1,2,…,n_t}；

S2.6、根据目标域样本的MP分数和DS分数，分别在分类器C₁和分类器C₂上计算目标域样本最终的置信分数：

其中，和/>分别表示在分类器C₁和分类器C₂计算得到的目标域样本最终的置信分数。

使用目标域样本的置信分数对目标域样本分类的交叉熵损失进行加权：

式中，是目标域样本分类的交叉熵损失。

计算信息最大化损失辅助加权的交叉熵损失训练，使目标输出单独确定且全局多样化，

式中，表示所有n_t个样本被预测为第k个类的平均预测概率，表示第j个目标域样本被预测为第k个类的预测概率。

S3、对目标域样本使用Mixup技术进行权重混合：

目标域中一些样本经过模型训练后可以得到良好的分类结果，这些被称为高置信样本，而剩下的一些样本使用同样的模型训练后得到的分类结果较差，包含很多噪声，这些被称为低置信样本，虽然低置信度样本的标签包含显著的噪声，但它们也包含很多重要的目标域知识。

将目标域样本的图像、伪标签、置信分数混合，充分利用目标域知识来训练一个更具鲁棒性的目标模型，混合目标域样本的过程如下：

式中，η～Beta(α,α)且α∈{0,+∞}，为加权参数；和/>为两个随机的目标域样本及其伪标签，样本权重混合损失计算如下：

其中，L_mixup表示样本权重混合损失。

S4、计算双分类器的确定性差异距离，并将此确定性差异距离用于目标模型的最大最小化训练：

以对抗性的方式训练分类器C₁和分类器C₂，以学习目标域上的可转移特征和判别决策边界，两个分类器的输出差异定义如下：

式中，d(.,.)为欧氏距离。

首先固定特征提取器G，最大化L_cdd来训练分类器C₁和分类器C₂，促进多样性预测以便我们可以检测位于决策边界附近且具有不同预测的不确定分类的目标样本；然后再固定分类器C₁和分类器C₂，最小化L_cdd来训练特征提取器G，鼓励预测一致性并推动源域分布与目标域分布对齐。

S5、对目标模型进行总体训练，总体训练包括步骤S5.1、步骤S5.2以及步骤S5.3，并依次迭代更新优化相应的模型参数，通过步骤S5.1、步骤S5.2以及步骤S5.3不断迭代地交替进行完成目标模型的训练，最终对目标域样本进行分类。

S5.1、利用步骤S2得到的损失训练特征提取器G、分类器C₁以及分类器C₂，来保证泛化界仍然存在，从而产生不同的输出，训练的总体损失如下式所示：

式中，β为损失L_im的超参数,θ_G、以及/>分别表示特征提取器G、分类器C₁以及分类器C₂的网络参数；

S5.2、固定特征提取器G，利用步骤S3和步骤S4得到的损失训练分类器C₁和分类器C₂，来检测位于决策边界附近且具有不同预测的不确定分类的目标样本，从而使目标模型具有鲁棒性，训练的总体损失如下式所示：

式中，为权重混合损失的超参数，λ为双分类器输出差异损失的超参数，根据经验我们将λ设置为0.01；

S5.3、固定分类器C₁和分类器C₂，利用步骤S4得到的损失训练特征提取器G，鼓励预测一致性并推动源域分布与目标域分布对齐，训练的总体损失如下式所示：

式中，λ为双分类器输出差异损失的超参数。

为验证本发明图像分类方法的有效性，分别在Office-Home数据集和Office-31数据集上进行实验，其中，Office-Home数据集共包含65个类别以及15500张图片，这些图片分别来自Art(素描、绘画、装饰品等形式的艺术图片)、Clipart(剪贴画图像合集)、Product(无背景物体图像)以及Real-World(普通相机拍摄的物体图像)四个视觉领域；本发明图像分类方法在Ar->Cl、Ar->Pr、Ar->Rw、Cl->Ar、Cl->Pr、Cl->Rw、Pr->Ar、Pr->Cl、Pr->Rw、Rw->Ar、Rw->Cl和Rw->Pr十二组域适应任务中评估本发明方法的有效性。

Office-31数据集共包含31个类别4652张图片，这些图片分别来自Amazon(电商图片)、Webcam(网络摄像头拍摄图片)和DSLR(单反相机拍摄图片)三个视觉领域；本发明图像分类方法在A->W、A->D、D->A、D->W、W->A和W->D六组域适应任务中评估本发明方法的有效性。

实验结果分别如表1和表2所示，其中BCWA为本发明方法，已加粗表示，为了方便显示，我们在Office-Home数据集上把各个任务的名称进行简写，只使用首个字母。

表1本发明方法在Office-Home数据集上的有效性验证

如表1所示，本发明所提方法BCWA平均分类准确率达到了74.0％，除了个别任务的性能略低于其他方法之外，Ar->Pr任务的准确率达到了80.5％，Pr->Ar任务的准确率达到了68.7％，Rw->Ar任务的准确率达到了75.3％，这几个任务上的平均准确率相比于其他方法有极其显著的提升，且BCWA方法总体上平均分类准确率明显优于其他分类方法。

表2本发明方法在Office-31数据集上的有效性验证

Method	DMCD	SHOT	DIPE	NRC	BAIT	ASL	CoWA	BCWA
									A->D	94.1	94.0	96.6	96.0	92.0	93.4	94.2	95.6
A->W	93.5	90.1	93.1	90.8	94.6	94.1	95.7	94.7
									D->A	76.4	74.7	75.5	75.3	74.6	76.0	77.3	78.7
D->W	98.8	98.4	98.4	99.0	98.1	98.4	98.4	99.6
									W->A	76.4	74.3	77.2	75.0	75.2	75.0	78.0	78.8
W->D	100.0	99.9	99.6	100.0	100.0	99.8	99.8	100.0
									Average	89.9	88.6	90.1	89.4	89.1	89.5	90.6	91.2

如表2所示，本发明方法BCWA平均分类准确率达到了91.2％，明显优于CoWA的准确率90.6％，BCWA方法在W->D任务上达到了100％的分类准确率；除此之外，在D->A，D->W和W->A三个任务中，BCWA分别达到了78.7％，99.6％和78.8％的分类准确率，明显优于CoWA方法在三个任务上的准确率77.3％，98.4％和78.0％。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (8)

1.一种无源无监督域适应图像分类方法，其特征在于：包括以下步骤

S1、使用源域图像及其标签训练一个源域预训练模型，源域预训练模型包括特征提取器和双分类器，并使用该源域预训练模型初始化一个目标模型用于目标域样本的识别训练，训练过程中源域图像将不可访问；

S2、使用初始化的目标模型计算目标域样本的模型结构级别的预测分数，且计算目标域图像基于高斯混合模型的数据结构级别的预测分数，将两预测分数结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；

S3、对目标域样本使用Mixup技术进行权重混合；

S4、计算双分类器的确定性差异距离，并将此确定性差异距离用于目标模型的最大最小化训练；

S5、对目标模型进行总体训练，总体训练包括步骤S5.1、步骤S5.2以及步骤S5.3，并依次迭代更新优化相应的模型参数，通过步骤S5.1、步骤S5.2以及步骤S5.3不断迭代地交替进行完成目标模型的训练，最终对目标域样本进行分类。

2.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S1具体包括以下分步骤

S1.1、假定(x^s,y^s)为源域有标签样本，x^t为目标域无标签样本，源域样本集合目标域样本集合/>其中，n_s为源域样本数量，n_t为目标域样本数量，/>为源域中第i个样本，/>为该源域样本对应的伪标签，/>为目标域中第i个样本，源域和目标域具有相同的类别数目K；

S1.2、构建一个源域预训练模型F_s，源域预训练模型F_s包括一个特征提取器G、分类器C₁以及分类器C₂；利用源域有监督数据结合交叉熵损失使分类器对源域样本进行分类，由此产生的分类损失如下式所示：

式中，表示平滑标签，α为平滑系数；

S1.3、使用源域预训练模型F_s初始化目标模型F_t，且将目标模型F_t用于目标域样本的识别训练。

3.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S2中，计算目标域样本的置信分数包括以下步骤

S2.1、根据高斯混合模型获得目标域样本的数据结构级别预测概率，公式如下：

式中，π_c、μ_c、∑_c分别代表类别c的混合系数、平均向量以及协方差矩阵，且c,c^′∈{1,2,…,K}；

S2.2、计算目标域样本的伪标签并分别在分类器C₁和分类器C₂上计算目标域样本的模型结构级别的预测分数，即MP分数，

式中，m∈{1,2}分别代表分类器C₁和分类器C₂，其中/>和/>分别表示在分类器C₁和分类器C₂计算得到的MP分数；

S2.3、计算出目标域样本的次伪标签：

式中，a表示次伪标签为第a个类别；

S2.4、计算伪标签和次伪标签的差异：

式中，为目标域样本的次伪标签；

S2.5、将伪标签和次伪标签的差异归一化为目标域样本的数据结构级别的预测分数，即DS分数，

式中，i,j∈{1,2,…,n_t}；

S2.6、根据目标域样本的MP分数和DS分数，分别在分类器C₁和分类器C₂上计算目标域样本最终的置信分数：

其中，和/>分别表示在分类器C₁和分类器C₂计算得到的目标域样本最终的置信分数。

4.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S2中，使用目标域样本的置信分数对目标域样本分类的交叉熵损失进行加权：

式中，是目标域样本分类的交叉熵损失。

5.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S2中，计算信息最大化损失辅助加权的交叉熵损失训练：

式中，表示所有n_t个样本被预测为第k个类的平均预测概率，表示第j个目标域样本被预测为第k个类的预测概率。

6.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S3中，将目标域样本的图像、伪标签、置信分数混合，混合目标域样本的过程如下：

式中，η～Beta(α,α)且α∈{0,+∞}，为加权参数；和/>为两个随机的目标域样本及其伪标签，样本权重混合损失计算如下：

其中，L_mixup表示样本权重混合损失。

7.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S4中，以对抗性的方式训练分类器C₁和分类器C₂，以学习目标域上的可转移特征和判别决策边界，两个分类器的输出差异定义如下：

式中，d(.,.)为欧氏距离。

8.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S5中，对目标模型进行总体训练，包括以下步骤

S5.1、利用步骤S2得到的损失训练特征提取器G、分类器C₁以及分类器C₂，训练的总体损失如下式所示：

式中，β为损失L_im的超参数,θ_G、以及/>分别表示特征提取器G、分类器C₁以及分类器C₂的网络参数；

S5.2、固定特征提取器G，利用步骤S3和步骤S4得到的损失训练分类器C₁和分类器C₂，训练的总体损失如下式所示：

式中，为权重混合损失的超参数，λ为双分类器输出差异损失的超参数；

S5.3、固定分类器C₁和分类器C₂，利用步骤S4得到的损失训练特征提取器G，训练的总体损失如下式所示：

式中，λ为双分类器输出差异损失的超参数。