CN117132841A - 一种保守渐进的领域自适应图像分类方法和装置 - Google Patents

Abstract

本发明公开了一种保守渐进的领域自适应图像分类方法和装置，包括：获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；基于源域图像和第一目标域图像进行内循环更新分类器参数；基于源域图像和第二目标域图像进行外循环更新特征提取器参数；提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。这样在内循环中引入重放机制对分类器进行训练，在外循环中引入稀疏注意力机制对特征提取器进行训练，这样联合内外循环更新，延缓图像分类模型在不断进化的目标域中不断遗忘的情况，提升了特征提取器的提取准确性和分类器的分类准确性。

Description

一种保守渐进的领域自适应图像分类方法和装置

技术领域

本发明属于图像分类技术领域，具体涉及一种保守渐进的领域自适应图像分类方法和装置。

背景技术

近年来，尽管深度神经网络在目前取得了巨大的成功，但其通常需要大量的有标记图像，且图像数据在训练和测试时被假设服从相同的分布。然而，图像数据标签的收集通常是费时又费力的，同时的图像数据分布通常也并不能满足假设。图像数据分布与时间、地点或其他动态因素相关，随着动态因素变化。为了解决这些问题，领域自适应提供了一种将学到的知识从减少标记的源域迁移到未标记的目标域的技术，从而能够降低模型在图像数据分布发生变化的情况下性能的下降，并做到从过去学习知识。

大多数领域自适应方法一个关键的问题是需要在测试期间访问源域图像数据，同时由于源源不断地新的训练图像数据的到来，模型容易发生灾难性遗忘。如公开号为CN113869384A的专利文献公开的一种基于领域自适应的隐私保护图像分类方法，首先对数据作预处理以规范数据，数据集要求至少一个有标签的数据集和多个无标签的数据集；然后给出适用于图像数据的差分隐私定义，并对数据加入噪声扰动以满足差分隐私的要求；最后对噪声扰动后的数据进行可用性衡量以保证数据的可用性。第二部分：首先运用概率分布的矩母函数确定适当的特征变换维度，将数据映射到新的特征空间；其次运用第一部分获取的有标签数据在映射后的特征空间训练图像分类模型Cy；然后运用生成对抗网络增强数据从属数据集的不可区分性；最后运用Cy对无标签数据分类。

由于其相关性和实际需求，进化领域自适应（Evolving Domain Adaptation，EDA）被提出。在EDA问题训练期间，可以访问来自源域的部分标记示例，以及来自目标域的部分目标未标记图像数据，这些图像数据在元训练（Meta-Training，简称Meta-训练）阶段随着时间的推移而进化。元测试（Meta-Testing，简称Meta测试）阶段的新目标图像数据从相同的进化目标分布中顺序地在线到达，并且不能被存储。值得注意的是，同时也不能访问源域图像数据并且在线到达的目标图像数据的数目是无限制的。因此，EDA问题给在不断进化的环境下的领域自适应学习带来了新的挑战。

发明内容

鉴于上述，本发明的目的是提供一种保守渐进的领域自适应图像分类方法和装置，通过保守渐进的领域自适应学习来提高图像分类的准确性。

为实现上述发明目的，本发明实施例提供的一种保守渐进的领域自适应图像分类方法，包括以下步骤：

获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；

基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；

提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；

提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。

优选地，所述基于源域图像在特征提取器的图像特征构建类别原型，包括：

提取每张源域图像在特征提取器的图像特征，对属于同一类别的所有源域图像的图像特征求和后再取平均得到的结果作为一个类别原型。

优选地，所述基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，包括：

预设距离阈值，针对每张第一目标域图像，计算第一目标域图像与各类别原型的距离，计算每两类别原型对应距离之差，当距离之差大于距离阈值时，以计算距离之差的两个距离中的小距离对应的类别原型为第一目标域图像的伪标签，否则第一目标域图像的伪标签为0；

采用以下公式基于伪标签更新类别原型：

；

其中，表示第/>个类别对应的类别原型，符号/>表示更新，/>为权重函数，取值为[0.3,0.7]，/>表示指示函数，当满足第i个第一目标域图像的伪标签/>大于0时，则/>取值为1，否则取值为0，/>表示第i个第一目标域图像/>在特征提取器的图像特征。

优选地，所述基于更新的类别原型在分类器的分类结果构建重放损失，包括：

；

其中，表示重放损失，/>表示类别索引，K表示总类别数量，/>表示更新的类别原型，/>表示/>在参数为/>的分类器的分类结果，/>和/>表示调节参数，/>表示交叉熵损失。

优选地，所述基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数，包括：

；

；

其中，表示内循环损失，/>分别表示源域图像及对应的标签，/>表示第一目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示第l轮次时重放损失/>的权重参数，/>表示对/>求梯度，/>表示调节参数，/>和/>分别表示第l次迭代和第l+1次迭代时分类器参数，符号/>表示更新。

优选地，所述引入自编码器基于图像特征构建稀疏掩码，包括：

；

其中，表示第l次迭代时第i个输入图像的图像特征经过自编码器的编码部分的编码结果，B表示一个批次输入图像总量，/>表示/>函数，/>表示经过自编码器的解码部分的解码结果，/>表示二值化函数，当/>括号中结果小于0.5时取值为0，大于0.5时取值为1，/>表示第l次迭代时稀疏掩码。

优选地，所述基于稀疏掩码对图像特征进行掩码得到掩码特征，包括：

将图像特征与基于图像特征通过自编码器构建的稀疏矩阵相乘实现掩码操作，得到掩码特征。

优选地，所述基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数，包括：

；

；

其中，表示外循环损失，/>表示源域图像，/>和/>表示第i-1个和第i个第二目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示取括号中的最大值时的i值，m表示图像数量，符号/>表示更新，分别表示特征提取器、自编码器的编码部分、自编码器的解码部分的参数，表示基于/>以及/>对/>求梯度，/>和/>分别表示第l次迭代和第l+1次迭代时参数/>。

优选地，所述利用图像分类模型进行图像分类，包括：

利用参数更新后的特征提取器提取待分类图像的图像特征，将图像特征输入至参数更新后的分类器进行分类得到分类结果。

为实现上述发明目的，实施例还提供了一种保守渐进的领域自适应图像分类装置，包括图像获取模块、内循环更新模块、外循环更新模块、图像分类模块，

所述获取模块用于获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；

所述内循环更新模块用于基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；

所述外循环更新模块用于提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；

所述图像分类模块用于提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。

与现有技术相比，本发明具有的有益效果至少包括：

以带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像作为图像数据集，在内循环中引入对类别原型的重放机制对分类器进行训练，在外循环中引入稀疏注意力机制对特征提取器进行训练，这样联合内外循环更新，延缓图像分类模型在不断进化的目标域中不断遗忘的情况，提升了特征提取器的提取准确性和分类器的分类准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的一种保守渐进的领域自适应图像分类方法的流程图；

图2是实施例提供的进化领域自适应中不断演化的图像数据分布示意图；

图3是实施例提供的元训练阶段示意图；

图4是实施例提供的元测试阶段示意图；

图5是实施例提供的保守渐进的领域自适应图像分类装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明的发明构思为：为解决当前基于深度神经网络(DNN)的图像分类任务中，对同时不断进化的跨域图像数据进行分类时，DNN往往在不断进化的目标域中产生灾难性遗忘导致图像分类不准确的技术问题，本发明实施例提供了一种保守渐进的领域自适应图像分类方法和装置，从原型重放机制和稀疏注意力机制两方面入手，引入内外循环更新方式用于分步更新图像分类模型参数，延缓模型在不断进化的目标域中不断遗忘的情况，进而提高图像分类准确性。

基于上述发明构思，如图1所示，实施例提供的一种保守渐进的领域自适应图像分类方法，包括以下步骤：

S110，获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像。

实施例中，获取带有标签的源域图像/>组成源域图像集，/>为自然数，为源域图像的总数量。第一目标域图像/>和第二目标域图像/>均来自于目标域且不带有标签，具体地，第一目标域图像/>采样于目标域支持集序列/>，第二目标域图像/>采样于目标域查询集序列，m也为自然数，为目标域图像的总数量。

基于上述图像数据设计的图像分类任务是领域自适应图像分类任务，对于进化中的领域自适应问题中图像数据的设定，在不断进化的目标域中模型需要能够捕获不断进化的目标域信息，并且减少灾难性遗忘的发生。如图2所示，模型提取的特征通常能够捕获由明到暗的不断演化的特征，符合演化规律。

S120，基于源域图像和第一目标域图像进行内循环更新分类器参数。

实施例中，为了更好地聚合和利用源域有标签的静止图像以及减缓灾难性遗忘带来的性能损耗，如图3所示，首先，基于源域图像在特征提取器的图像特征构建类别原型，具体包括：提取每张源域图像在特征提取器的图像特征，对属于同一类别的所有源域图像的图像特征求和后再取平均得到的结果作为一个类别原型，用公式表示为：

；

其中，表示源域图像/>在特征提取器的图像特征，/>表示源域图像集的图像数据总量，/>表述第k个类别的类别原型。

然后，在源域图像的类别原型的基础上，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签，具体包括：预设距离阈值，针对每张第一目标域图像，计算第一目标域图像与各类别原型的距离，计算每两类别原型对应距离之差，当距离之差大于距离阈值时，以计算距离之差的两个距离中的小距离对应的类别原型为第一目标域图像的伪标签，否则第一目标域图像的伪标签为0，用公式表示为：

；

其中，表示伪标签，/>为预设距离阈值，取值范围1.4-1.6，/>和/>分别为第i张第一目标域图像与第/>个类别/>和第/>个类别对应的类别原型的距离，/>表示其他情况；确定伪标签的距离阈值的改变能够改变模型对于不确定的无标签样本的容忍度，优选地，/>取值范围1.4-1.6，以保证模型的分类平均精度达到0.75-0.80。

同时，根据伪标签更新类别原型，以便模型适应不断进化的域，用公式表示为：

；

其中，表示第/>个类别对应的类别原型，符号/>表示更新，/>为权重函数，取值为[0.3,0.7]，/>表示指示函数，当满足第i个第一目标域图像的伪标签/>大于0时，则/>取值为1，否则取值为0，/>表示第i个第一目标域图像/>在特征提取器的图像特征。

接下来，根据更新类别原型进行重放，减缓模型在见到不断到来的目标域原型时的灾难性遗忘，具体基于更新的类别原型在分类器的分类结果构建重放损失，用公式表示为：

；

其中，表示重放损失，/>表示类别索引，K表示总类别数量，/>表示更新的类别原型，/>表示/>在参数为/>的分类器的分类结果，/>和/>表示调节参数，/>表示交叉熵损失。

最后，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数，用公式表示为：

；

；

其中，表示内循环损失，/>分别表示源域图像及对应的标签，/>表示第一目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示第t轮次时重放损失/>的权重参数，/>表示对/>求梯度，/>表示调节参数，/>和/>分别表示第l次迭代和第l+1次迭代时分类器参数，符号/>表示更新。

通过S120的过程，利用原型重放机制渐进地在内循环可以充分利用不断到来的目标域图像数据对分类器参数进行更新。

S130，基于源域图像和第二目标域图像进行外循环更新特征提取器参数。

实施例中，如图3所示，在外循环过程中，首先，提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，用公式表示为：

；

其中，表示第l次迭代时第i个输入图像的图像特征经过自编码器的编码部分的编码结果，B表示一个批次输入图像总量，/>表示/>函数，/>表示经过自编码器的解码部分的解码结果，/>表示二值化函数，当/>括号中结果小于0.5时取值为0，大于0.5时取值为1，/>表示第l次迭代时稀疏掩码。

由于同时考虑到抑制灾难性遗忘的负面影响，对于每一个批次的图像求和后得到稀疏掩码，通过对于一个批次进行求和能够学习到一个统一的域信息，帮助模型更好的产生稀疏掩码。通过对稀疏掩码可视化可得，稀疏掩码对于重要性不同的特征具有不同的注意力得分，能够帮助模型分辨出对于分类更加有帮助的特征向量，保守地保留部分重要向量，以减少模型受到的灾难性遗忘带来的影响。

然后，基于稀疏掩码对图像特征进行掩码得到掩码特征，具体过程为：将图像特征与基于图像特征通过自编码器构建的稀疏矩阵相乘实现掩码操作，得到掩码特征。

最后，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数，用公式表示为：

；

；

其中，表示外循环损失，/>表示源域图像，/>和/>表示第i-1个和第i个第二目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示取括号中的最大值时的i值，符号/>表示更新，/>分别表示特征提取器、自编码器的编码部分、自编码器的解码部分的参数，/>表示基于以及/>对/>求梯度，/>和/>分别表示第l次迭代和第l+1次迭代时参数/>。

通过S130，利用稀疏机制渐进地在外循环可以充分利用不断到来的目标域图像数据对特征提取器参数和自编码器参数进行更新。

经过S120和S130实现进化领域自适应学习的元训练（Meta-训练）阶段，同时还需要进行领域自适应学习的元测试（Meta-测试）阶段，如图4所示，具体元测试阶段时，无标签的新目标图像输入至特征提取器中，具体流程与内循环过程与外循环过程基本相同，不同的是不更新自编码器的编码部分。

S140，提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。

实施例中，经过S120和S130的内外循环训练后，提取参数更新后的特征提取器和分类器组成图像分类模型，并利用图像分类模型进行图像分类，具体过程为：

利用参数更新后的特征提取器提取待分类图像的图像特征，将图像特征输入至参数更新后的分类器进行分类得到分类结果。

基于同样的发明构思，如图5所示，实施例还提供了一种保守渐进的领域自适应图像分类装置500，包括图像获取模块510、内循环更新模块520、外循环更新模块530、图像分类模块540，其中，图像获取模块510用于获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；内循环更新模块520用于基于源域图像和第一目标域图像进行内循环更新分类器参数；外循环更新模块530用于基于源域图像和第二目标域图像进行外循环更新特征提取器参数；图像分类模块540用于提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。

需要说明的是，上述实施例提供的保守渐进的领域自适应图像分类装置在进行领域自适应图像分类时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的保守渐进的领域自适应图像分类装置与保守渐进的领域自适应图像分类方法实施例属于同一构思，其具体实现过程详见保守渐进的领域自适应图像分类方法实施例，这里不再赘述。

上述实施例提供的保守渐进的进化领域自适应图像分类学习方法和装置中，图像分类模型面对的更有可能是以在线和不断进化的方式出现的目标图像。故图像分类模型的设计应不仅针对不断进化的目标领域进行设定，而且不能遗忘先前所学的知识。同时对于计算资源有限的实际图像分类场景，还要考虑图像分类模型在进化领域适应的表现。因此，首先，基于原型的重放机制旨在指导图像分类模型利用源域图像以适应不断进化的目标域图像；其次利用自编码器结构产生一个特定的稀疏注意力机制来激活不同域的不同特征通道，通过掩盖不同的视觉特征通道以保留曾经学到的知识。方法简单，于不断进化的目标域中，比现有的EDA方法更好，并且能捕获到更多的进化目标域中的特征信息，以提升图像分类的准确性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种保守渐进的领域自适应图像分类方法，其特征在于，包括以下步骤：

获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；

基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；

提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；

提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。

2.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于源域图像在特征提取器的图像特征构建类别原型，包括：

提取每张源域图像在特征提取器的图像特征，对属于同一类别的所有源域图像的图像特征求和后再取平均得到的结果作为一个类别原型。

3.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，包括：

预设距离阈值，针对每张第一目标域图像，计算第一目标域图像与各类别原型的距离，计算每两类别原型对应距离之差，当距离之差大于距离阈值时，以计算距离之差的两个距离中的小距离对应的类别原型为第一目标域图像的伪标签，否则第一目标域图像的伪标签为0；

采用以下公式基于伪标签更新类别原型：

；

其中，表示第/>个类别对应的类别原型，符号/>表示更新，/>为权重函数，/>表示指示函数，当满足第i个第一目标域图像的伪标签/>大于0时，则/>取值为1，否则取值为0，/>表示第i个第一目标域图像/>在特征提取器/>的图像特征。

4.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于更新的类别原型在分类器的分类结果构建重放损失，包括：

；

其中，表示重放损失，/>表示类别索引，K表示总类别数量，/>表示更新的类别原型，/>表示/>在参数为/>的分类器的分类结果，/>和/>表示调节参数，/>表示交叉熵损失。

5.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数，包括：

；

；

其中，表示内循环损失，/>分别表示源域图像及对应的标签，/>表示第一目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示第l轮次时重放损失/>的权重参数，/>表示对/>求梯度，/>表示调节参数，/>和/>分别表示第l次迭代和第l+1次迭代时分类器参数，符号/>表示更新。

6.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述引入自编码器基于图像特征构建稀疏掩码，包括：

；

其中，表示第l次迭代时第i个输入图像的图像特征经过自编码器的编码部分的编码结果，B表示一个批次输入图像总量，/>表示/>函数，/>表示经过自编码器的解码部分的解码结果，/>表示二值化函数，当/>括号中结果小于0.5时取值为0，大于0.5时取值为1，/>表示第l次迭代时稀疏掩码。

7.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于稀疏掩码对图像特征进行掩码得到掩码特征，包括：

将图像特征与基于图像特征通过自编码器构建的稀疏矩阵相乘实现掩码操作，得到掩码特征。

8.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数，包括：

；

；

其中，表示外循环损失，/>表示源域图像，/>和/>表示第i-1个和第i个第二目标域图像，/>表示第l次迭代时分类器的分类结果，/>表示L1范数，/>表示求最大均值差异，/>表示取括号中的最大值时的i值，m表示图像数量，符号/>表示更新，分别表示特征提取器、自编码器的编码部分、自编码器的解码部分的参数，表示基于/>以及/>对/>求梯度，/>和/>分别表示第l次迭代和第l+1次迭代时参数/>。

9.根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述利用图像分类模型进行图像分类，包括：

利用参数更新后的特征提取器提取待分类图像的图像特征，将图像特征输入至参数更新后的分类器进行分类得到分类结果。

10.一种保守渐进的领域自适应图像分类装置，其特征在于，包括图像获取模块、内循环更新模块、外循环更新模块、图像分类模块，

所述获取模块用于获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像；

所述内循环更新模块用于基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；

所述外循环更新模块用于提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；

所述图像分类模块用于提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类。