CN112733970A

CN112733970A - 图像分类模型处理方法、图像分类方法及装置

Info

Publication number: CN112733970A
Application number: CN202110344857.5A
Authority: CN
Inventors: 黄志勇; 盛柯恺; 李珂; 姚太平; 孙星; 彭湃; 郭晓威; 黄小明; 吴永坚; 黄飞跃
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2021-04-30
Anticipated expiration: 2041-03-31
Also published as: CN112733970B

Abstract

本申请公开了一种无监督领域自适应的图像分类模型处理方法、图像分类方法、装置、计算机设备及存储介质，属于人工智能技术领域。本申请通过在图像分类模型训练阶段，分别获取源域图像和目标域图像的特征的空间分布，基于两个数据域的特征在空间分布上的相似性，确定两个数据域对应的参考分布信息，应用参考分布信息对对应数据域的特征进行归一化处理，使两个数据域的特征在分布上更接近，图像分类模型根据归一化处理后的特征输出图像分类结果以及模型训练，基于上述方法对图像分类模型进行迭代训练，能够使模型提取到的两个数据域的特征的相似性提高，从而使模型能够逐渐适用于对目标域图像的处理，提高模型在目标域图像处理任务中的模型表现。

Description

图像分类模型处理方法、图像分类方法及装置

技术领域

本申请涉及人工智能技术领域，特别涉及一种无监督领域自适应的图像分类模型处理方法、图像分类方法、装置、计算机设备及存储介质。

背景技术

无监督领域自适应是迁移学习的一种，无监督领域自适应是指，对于应用有标注的源域图像所训练的神经网络模型，将该神经网络模型在源域中所学习到的知识，迁移到目标域中，提高该神经网络模型在目标域上的任务指标。在基于无监督领域自适应的模型训练过程中，由于无需对参与模型训练的目标域图像进行标注，能够有效节省数据标注的人力成本，因此这种模型训练方式的被广泛应用。当前，如何提高上述模型训练过程中，所训练出的模型在目标域上的模型表现，是一个重要研究方向。

发明内容

本申请实施例提供了一种无监督领域自适应的图像分类模型处理方法、图像分类方法、装置、计算机设备及存储介质，能够提高模型训练效果，使训练的得到的图像分类模型在对目标域图像进行分类时，具有良好的模型表现。该技术方案如下。

一方面，提供了一种无监督领域自适应的图像分类模型处理方法，该方法包括：

将至少两个源域图像和至少两个目标域图像输入图像分类模型，该图像分类模型基于该至少两个源域图像训练得到，该至少两个源域图像携带标注信息；

通过该图像分类模型执行下述步骤：

获取第一初始分布信息和第二初始分布信息，该第一初始分布信息用于表示该至少两个源域图像对应的第一特征的分布，该第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布；

基于该第一初始分布信息和该第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，该第一参考分布信息与该第二参考分布信息之间的距离小于该第一初始分布信息和该第二初始分布信息之间的距离；

分别基于该第一参考分布信息和该第二参考分布信息，对至少两个该第一特征和至少两个该第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征；

基于该至少两个第一参考特征和至少两个第二参考特征，输出该至少两个源域图像和该至少两个目标域图像的图像分类结果；

基于该图像分类结果和该至少两个源域图像携带的标注信息，对该图像分类模型进行训练。

一方面，提供了一种图像分类方法，该方法包括：

将待分类的目标域图像输入图像分类模型，该图像分类模型基于源域图像和目标域图像训练得到；

通过该图像分类模型获取该目标域图像对应的初始特征；

通过该图像分类模型基于目标分布信息，对该初始特征进行归一化处理，得到参考特征，该目标分布信息用于指示该目标域图像的特征向源域迁移后所对应的空间分布；

获取该图像分类模型基于该参考特征输出的该目标域图像对应的图像分类结果。

一方面，提供了一种无监督领域自适应的图像分类模型处理装置，该装置包括：

输入模块，用于将至少两个源域图像和至少两个目标域图像输入图像分类模型，该图像分类模型基于该至少两个源域图像训练得到，该至少两个源域图像携带标注信息；

第一获取模块，用于获取第一初始分布信息和第二初始分布信息，该第一初始分布信息用于表示该至少两个源域图像对应的第一特征的分布，该第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布；

第二获取模块，用于基于该第一初始分布信息和该第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，该第一参考分布信息与该第二参考分布信息之间的距离小于该第一初始分布信息和该第二初始分布信息之间的距离；

归一化模块，用于分别基于该第一参考分布信息和该第二参考分布信息，对至少两个该第一特征和至少两个该第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征；

输出模块，用于基于该至少两个第一参考特征和至少两个第二参考特征，输出该至少两个源域图像和该至少两个目标域图像的图像分类结果；

训练模块，用于基于该图像分类结果和该至少两个源域图像携带的标注信息，对该图像分类模型进行训练。

在一种可能实现方式中，该第一获取模块，包括：

确定子模块，用于基于该第一初始分布信息和该第二初始分布信息之间的相似度，确定该源域图像对应的第一互补项和该目标域图像对应的第二互补项，该第一互补项用于指示该源域图像的特征向目标域迁移后所对应的分布信息，该第二互补项用于指示该目标域图像的特征向源域迁移后所对应的分布信息；

获取子模块，用于分别对该第一互补项、该第一初始分布信息，以及该第二互补项、该第二初始分布信息进行处理，得到该第一参考分布信息和该第二参考分布信息。

在一种可能实现方式中，该第一初始分布信息包括第一均值向量和第一方差向量，该第二初始分布信息包括第二均值向量和第二方差向量，均值向量中的一个元素用于指示该图像分类模型中由同一通道输出的特征的均值，方差向量中的一个元素用于指示该图像分类模型中由同一通道输出的特征的方差；

该确定子模块，包括：

第一确定单元，用于基于该第一均值向量和该第二均值向量之间的相似度，确定该第一互补项中的第一均值互补项和该第二互补项中的第二均值互补项；

第二确定单元，用于基于该第一方差向量和该第二方差向量之间的相似度，确定该第一互补项中的第一方差互补项和该第二互补项中的第二方差互补项。

在一种可能实现方式中，该第一确定单元，包括：

第一确定子单元，用于基于该第一均值向量中的各个元素与该第二均值向量中的各个元素之间的相似度，确定第一均值相似度矩阵；

转置子单元，用于对该第一均值相似度矩阵进行转置，得到第二均值相似度矩阵；

第二确定子单元，用于基于该第一均值相似度矩阵和该第一均值向量，确定该第一均值互补项；

第三确定子单元，用于基于该第二均值相似度矩阵和该第二均值向量，确定该第二均值互补项。

在一种可能实现方式中，该第二确定子单元，用于：

对该第一均值相似度矩阵进行归一化处理；

将归一化处理之后的该第一均值相似度矩阵与该第一均值向量相乘，得到该第一均值互补项。

在一种可能实现方式中，该分别获取子模块，用于：

基于第一参考权重，对该第一互补项和该第一初始分布信息进行加权处理，得到该第一参考分布信息；

基于第二参考权重，对该第二互补项和该第二初始分布信息进行加权处理，得到该第二参考分布信息。

在一种可能实现方式中，该训练模块，还用于：

响应于本轮训练所得到的该图像分类模型满足模型收敛条件，获取训练完成的该图像分类模型；

响应于本轮训练所得到的该图像分类模型不满足该模型收敛条件，获取下一批次的源域图像和目标域图像进行模型训练。

在一种可能实现方式中，该图像分类模型还输出该至少两个源域图像和该至少两个目标域图像所对应的域标签，该域标签用于指示图像所属的数据域；

该训练模块，用于：

获取该至少两个源域图像对应的图像分类结果与对应的该标注信息之间的第一误差，该标注信息用于指示该源域图像的正确分类；

获取该源域图像和该目标域图像的域标签与实际所属数据域之间的第二误差；

基于该第一误差和该第二误差，对该图像分类模型进行训练。

在一种可能实现方式中，该装置还包括：

信息获取模块，用于获取在至少一轮模型训练过程中，所生成的至少一个第二参考分布信息；

信息确定模块，用于基于该至少一个第二参考分布信息，确定目标分布信息，该目标分布信息应用于训练完成的图像分类模型中。

一方面，提供了一种图像分类装置，该装置包括：

输入模块，用于将待分类的目标域图像输入图像分类模型，该图像分类模型基于源域图像和目标域图像训练得到；

特征获取模块，用于通过该图像分类模型获取该目标域图像对应的初始特征；

归一化模块，用于通过该图像分类模型基于目标分布信息，对该初始特征进行归一化处理，得到参考特征，该目标分布信息用于指示该目标域图像的特征向源域迁移后所对应的空间分布；

输出模块，用于获取该图像分类模型基于该参考特征输出的该目标域图像对应的图像分类结果。

在一种可能实现方式中，该装置还包括：

信息获取模块，用于获取该图像分类模型在基于源域图像和目标域图像进行训练的过程中，所生成的至少一个第二参考分布信息，该第二参考分布信息用于指示该目标域图像的特征的向源域迁移后的空间分布；

信息确定模块，用于基于该至少一个第二参考分布信息，确定该目标分布信息。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现该无监督领域自适应的图像分类模型处理方法或图像分类方法所执行的操作。

一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现该无监督领域自适应的图像分类模型处理方法或图像分类方法所执行的操作。

一方面，提供了一种计算机程序产品，该计算机程序产品包括至少一条计算机程序，该至少一条计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该至少一条计算机程序，处理器执行该至少一条计算机程序，使得该计算机设备实现该无监督领域自适应的图像分类模型处理方法或图像分类方法所执行的操作。

本申请实施例提供的技术方案，通过在图像分类模型训练阶段，获取源域图像的特征在空间分布上的第一初始分布信息，以及，目标域图像的特征在空间分布上的第二初始分布信息，基于两个数据域的特征在空间分布上的相似性，对获取到的两个初始分布信息进行处理，得到两个数据域对应的两个参考分布信息，再基于该参考分布信息对对应数据域的特征进行归一化处理，从而能够使两个数据域的特征在空间分布上更加接近，在后续的模型训练过程中，由图像分类模型根据归一化处理后得到的第一参考特征、第二参考特征输出图像分类结果以及模型训练，基于上述方法对图像分类模型进行迭代训练，能够使模型所提取到的两个数据域的特征的相似性提高，使模型更加适应对目标域图像的处理，提高模型在目标域图像处理任务中的模型表现。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。

图1是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的实施环境示意图；

图2是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的流程图；

图3是本申请实施例提供的一种图像分类方法的流程图；

图4是本申请实施例提供的一种图像分类模型的模型结构示意图；

图5是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的流程图；

图6是本申请实施例提供的一种第一均值向量获取方法的示意图；

图7是本申请实施例提供的一种参考特征获取过程的示意图；

图8是本申请实施例提供的一种应用图像分类模型对目标域图像进行图像分类方法的流程图；

图9是本申请实施例提供的归一化模块的数据处理示意图；

图10是本申请实施例提供的一种残差模块的示意图；

图11是本申请实施例提供的一种图像特征分布差异的示意图；

图12是本申请实施例提供的一种无监督领域自适应的图像分类模型处理装置的结构示意图；

图13是本申请实施例提供的一种图像分类装置的结构示意图；

图14是本申请实施例提供的一种终端的结构示意图；

图15是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向，本申请实施例涉及人工智能技术中的机器学习技术。

机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术，本申请实施例涉及机器学习中的迁移学习技术。

图1是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的实施环境示意图，参见图1，该实施环境包括终端110和服务器140。

其中，终端110安装和运行有支持图像数据处理的目标应用程序，例如，该目标应用程序能够用于图像分类、图像分割、图像识别等，本申请实施例对此不作限定。可选的，该终端110是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，本申请实施例对该终端110的设备类型不做限定。示例性的，终端110是用户使用的终端，终端110中运行的应用程序内登录有用户账号。终端110泛指多个终端中的一个，本实施例仅以终端110来举例说明。

在一种可能实现方式中，服务器140是一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器140用于为上述目标应用程序提供后台服务。可选的，服务器140承担主要的图像数据处理工作，终端110承担次要的图像数据处理工作；或者，服务器140承担次要的图像数据处理工作，终端110承担主要的图像数据处理工作；或者，服务器140或终端110分别单独承担图像数据处理工作。可选的，服务器140包括：接入服务器、图像处理服务器和数据库。接入服务器用于为终端110提供接入服务。图像处理服务器用于提供图像数据处理的后台服务，示例性的，该图像处理服务器搭载图像处理器（GraphicsProcessing Unit，GPU），支持图像处理器多线程并行计算。示例性的，图像处理服务器是一台或多台。当图像处理服务器是多台时，存在至少两台图像处理服务器用于提供不同的服务，和/或，存在至少两台图像处理服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。在本申请实施例中，图像处理服务器中设置有图像分类模型，该图像分类模型是基于源域图像所训练得到的模型，当有对目标域图像进行处理的需求时，该图像处理服务器能够支持对该图像分类模型进行重新训练，将该图像分类模型在源域图像中所学习到的知识迁移到目标域中，以适用于对目标域图像的处理任务。示例性的，上述服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对服务器的数量和设备类型不作限定。

在本申请实施例中，以基于无监督领域自适应技术对图像分类模型进行训练为例进行说明，在一些实施例中，本方案所提供的模型训练方法应用于视频数据处理模型、文本数据处理模型等其他模型中，本申请实施例对此不作限定。

图2是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的流程图。示例性的，该方法应用于上述终端或者服务器，而终端和服务器均能够视为一种计算机设备，在本申请实施例中，以计算机设备作为执行主体，对该无监督领域自适应的图像分类模型处理方法进行介绍，参见图2，在一种可能实现方式中，该实施例包括以下步骤。

201、计算机设备将至少两个源域图像和至少两个目标域图像输入图像分类模型，该图像分类模型基于该至少两个源域图像训练得到，该至少两个源域图像携带标注信息。

其中，该源域图像和目标域图像是属于不同领域的图像，示例性的，该不同领域指图像风格不同、图像的拍摄视角不同、图像的拍摄仪器不同或者图像的分辨率不同等。示例性的，该源域图像是真实人物图像，该目标域图像是卡通人物图像。示例性的，该至少两个源域图像所携带的标注信息是图像所属类别的分类标签。

在本申请实施例中，该计算机设备通过该图像分类模型执行下述步骤202至步骤205。

202、计算机设备获取第一初始分布信息和第二初始分布信息，该第一初始分布信息用于表示该至少两个源域图像对应的第一特征的分布，该第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布。

在一种可能实现方式中，该计算机设备通过该图像分类模型分别对至少两个源域图像和至少两个目标域图像进行特征提取，得到至少两个第一特征和至少两个第二特征。再基于该至少两个第一特征的分布情况，确定该第一初始分布信息，基于该至少两个第二特征的分布情况，确实该第二初始分布信息。在本申请实施例中，上述分布信息包括均值和方差，分布信息用于指示各个数据的特征的空间分布情况，能够体现不同领域数据的特征在空间分布上的差异。

203、计算机设备基于该第一初始分布信息和该第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，该第一参考分布信息与该第二参考分布信息之间的距离小于该第一初始分布信息和该第二初始分布信息之间的距离。

在本申请实施例中，计算机设备基于该第一初始分布信息和第二初始分布信息之间的相似度，来分别对两个分布信息进行加权处理，来减低两个分布信息之间的差异，得到第一参考分布信息和第二参考分布信息。

204、计算机设备分别基于该第一参考分布信息和该第二参考分布信息，对至少两个该第一特征和至少两个该第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征。

在本申请实施例中，基于第一参考分布信息和第二参考分布信息，对两个数据域的特征进行处理，能够使两个数据域的特征更加接近，该图像分类模型在基于归一化处理后得到的第二参考特征进行图像分类时，能够获取到更准确的图像分类结果。

205、计算机设备基于该至少两个第一参考特征和至少两个第二参考特征，输出该至少两个源域图像和该至少两个目标域图像的图像分类结果。

206、计算机设备基于该图像分类结果和该至少两个源域图像携带的标注信息，对该图像分类模型进行训练。

在一种可能实现方式中，该计算机设备基于该图像分类结果与标注信息之间的误差，对该图像分类模型的参数进行调整，响应于参数调整后的图像分类模型满足模型收敛条件，得到训练好的图像分类模型。其中，该模型收敛条件由开发人员进行设置，本申请实施例对此不作限定。需要说明的是，本申请实施例对图像分类模型的参数调整的方法不作限定。

本申请实施例提供的技术方案，通过图像分类模型，获取源域图像的特征在空间分布上的第一初始分布信息，以及，目标域图像的特征在空间分布上的第二初始分布信息，基于两个数据域的特征在空间分布上的相似性，对获取到的两个初始分布信息进行处理，得到两个数据域对应的两个参考分布信息，再基于该参考分布信息对对应数据域的特征进行归一化处理，从而能够使两个数据域的特征在空间分布上更加接近，在后续的模型训练过程中，由图像分类模型根据归一化处理后得到的第一参考特征、第二参考特征输出图像分类结果以及模型训练，基于上述方法对图像分类模型进行迭代训练，能够使模型所提取到的两个数据域的特征的相似性提高，使模型更加适应对目标域图像的处理，提高模型在目标域图像处理任务中的模型表现。

图3是本申请实施例提供的一种图像分类方法的流程图。示例性的，该方法应用于上述终端或者服务器，而终端和服务器均能够视为一种计算机设备，在本申请实施例中，以计算机设备作为执行主体，对该图像分类方法进行介绍，参见图3，在一种可能实现方式中，该实施例包括以下步骤。

301、计算机设备将待分类的目标域图像输入图像分类模型，该图像分类模型基于源域图像和目标域图像训练得到。

在本申请实施例中，该计算机设备搭载有训练完成的图像分类模型，该图像分类模型是基于图2所示的模型训练方法训练得到，该图像分类模型能够对目标域图像进行分类。

在一种可能实现方式中，计算机设备通过该图像分类模型执行下述步骤302至步骤304。

302、计算机设备获取该目标域图像对应的初始特征。

在一种可能实现方式中，该计算机设备通过该图像分类模型对该目标域图像进行图像特征提取，得到该初始特征。需要说明的是，本申请实施例对该图像特征提取的方法不作限定。

303、计算机设备基于目标分布信息，对该初始特征进行归一化处理，得到参考特征，该目标分布信息用于指示该目标域图像的特征向源域迁移后所对应的空间分布。

在本申请实施例中，基于该目标空间分布信息对该初始特征进行归一化处理，能够提高目标域图像的特征与源域图像的特征之间的相似度，更便于图像分类模型对该目标域图像进行处理。

304、计算机设备基于该参考特征，输出该目标域图像对应的图像分类结果。

在一种可能实现方式中，该图像分类模型基于该目标域图像所对应的参考特征，执行后续的图像分类步骤，图像分类结果。

本申请实施例提供的技术方案，通过基于目标分布信息对提取到的目标域图像的初始特征进行调整，使该目标域图像的特征分布更接近源域图像的特征分布，从而提高目标域图像的特征与源域图像的特征之间的相似度，提高该图像分类模型基于目标域图像的特征进行图像分类时的分类准确度，提高图像分类模型在对目标域图像处理任务中的模型表现。

上述实施例是对本申请实施方式的一个简要介绍，在一种可能实现方式中，上述图像分类模型是基于深度神经网络所构建的模型，示例性的，该图像分类模型是基于ResNet（Residual Network，残差网络）所构建的，本申请实施例对此不作限定。图4是本申请实施例提供的一种图像分类模型的模型结构示意图，如图4中的（a）图所示，该图像分类模型401至少包括一个特征提取模块402和一个归一化模块403。示例性的，该特征提取模块402包括至少一个卷积层，用于对输入数据进行特征提取，归一化模块403用于基于特征的分布信息，对提取到的特征进行归一化处理，在本申请实施例中，在基于源域图像和目标域图像对该图像分类模型进行训练时，该归一化模块403能够基于源域图像的特征和目标域图像的特征，在空间分布上的相似性，对源域图像的特征和目标域图像的特征的分布信息进行处理，以降低源域图像的特征和目标域图像的特征在空间分布上的差异，使模型能够更好地适用于对目标域图像的处理。上述对图像分类模型的结构的说明，仅是一种可能实现方式的示例性说明，在一种可能实现方式中，该图像分类模型还包括输入模块、输出模块等，本申请实施例对此不作限定。在一些实施例中，该图像分类模型包括多个特征提取模块和多个归一化模块，如图4中的（b）图所示，该图像分类模型中的每个特征提取模块后，均设置有归一化模块，由各个归一化模块对前一特征提取模块所输出的特征进行调整。需要说明的是，本申请实施例对该图像分类模型的具体结构不作限定。

图5是本申请实施例提供的一种无监督领域自适应的图像分类模型处理方法的流程图，以图4中的（a）图所示的图像分类模型为例，结合图5对该无监督领域自适应的图像分类模型处理方法进行说明，在一种可能实现方式中，该实施例包括以下步骤。

501、计算机设备获取至少两个源域图像、至少两个目标域图像以及图像分类模型，将该至少两个源域图像和至少两个目标域图像输入该图像分类模型。

在一种可能实现方式中，该计算机设备响应于模型训练指令，获取该待训练的图像分类模型和训练数据，该训练数据即为至少两个源域图像和至少两个目标域图像。需要说明的是，本申请实施例对获取到的源域图像和目标域图像的数目不作限定。在一种可能实现方式中，该源域图像和目标域图像是存储在计算机设备中的图像，或者该源域图像和目标域图像分别是从不同视频中所截取的图像，或者该源域图像和目标域图像是应用具有图像拍摄功能的终端所拍摄的图像，本申请实施例对此不作限定。

在本申请实施例中，该源域图像携带标注信息，该标注信息与该图像分类模型的应用场景，该图像分类模型所执行的具体任务相关。示例性的，该图像分类模型应用在图像审核场景中，用于对图像进行分类，即将图像区分为审核通过和审核不通过两种类别，则该标注信息为图像所属类别的分类标签；示例性的，该图像分类模型用于执行对图像中各个区域进行分类的任务，则该标注信息包括图像中各个区域的区域范围标注以及各个区域范围对应得到分类标签，本申请实施例对该标注信息的具体内容不作限定，在本申请实施例中，以该标注信息包括图像所属类别的分类标签为例进行说明。在一种可能实现方式中，该源域图像和目标域图像还携带有所属数据域的域标签，该图像分类模型能够基于该域标签对各个输入数据所属的数据域进行区分。当然，用于模型训练的源域图像和目标域图像还能够携带其他信息，本申请实施例对此不作限定。

在本申请实施例中，该图像分类模型是基于源域图像训练得到的，在对源域图像进行分类的任务中具有良好的模型表现。在本申请实施例中，结合无监督领域自适应技术，基于源域图像和目标域图像对该图像分类模型再次训练，得到图像分类模型，能够使训练得到的该图像分类模型适用于对目标域图像进行处理的任务中。在一些实施例中，该图像分类模型基于源域图像所执行的图像处理任务，与图像分类模型基于目标域图像所指示的图像处理任务是相同的，例如，图像分类模型用于对源域图像进行图像分类，能够将源域图像分为两类，则后续训练得到的图像分类模型，用于对目标域图像进行数据分类，也能够将目标域图像分为两类。需要说明的是，在一些实施例中，训练得到的图像分类模型与该图像分类模型所执行的图像处理任务不同，本申请实施例对此不作限定。

在一种可能实现方式中，该计算机设备将该源域图像和目标域图像输入该图像分类模型之前，先对该源域图像和目标域图像进行预处理，示例性的，该计算机设备按照实际情况分别对各个源域图像和各个目标域图像进行尺寸缩放，以将各个图像调整为参考尺寸，该参考尺寸由开发人员进行设置，本申请实施例对此不作限定。或者，计算机设备分别对各个源域图像和目标域图像进行数据增强，示例性的，计算机设备对各个图像进行旋转、添加噪声等，本申请实施例对数据增强的方式不作限定。需要说明的是，上述对图像进行预处理方法的说明，仅是一种可能实现方式的示例性说明，本申请实施例对具体采用哪种方法对图像进行预处理不作限定。

502、计算机设备通过图像分类模型分别对该至少两个源域图像和该至少两个目标域图像进行特征提取，得到各个源域图像对应的第一特征和各个目标域图像对应的第二特征。

在一种可能实现方式中，该图像分类模型中包括多个用于进行特征提取的特征提取模块，在本申请实施例中，仅以应用一个特征提取模块对源域图像和目标域图像进行特征提取为例进行说明。示例性的，在一个特征提取模块中，该计算机设备基于该特征提取模块中的至少一个卷积核分别对各个源域图像和各个目标域图像进行卷积处理，得到各个源域图像对应的第一特征和各个目标域图像对应的第二特征。示例性的，以第一特征的获取过程为例进行说明，一个卷积核对一个源域图像进行卷积处理，能够得到一个第一子特征s，该一个第一子特征s是H1*W1维的数据；由C个卷积核分别对该源域图像进行卷积处理，能够得到C个第一子特征，该C个第一子特征能够组成该第一特征x_s，该第一特征x_s是C*H1*W1维的数据；若本次输入图像分类模型的源域图像的数目为N1，则各个源域图像所对应的第一特征能够组成一个源域特征{x_s}，该源域特征{x_s}是N1*C*H1*W1维的数据。其中，C是特征提取模块中所包括的卷积核的数目，在本申请实施例中，C也可以称为通道数目，也即是，一个卷积核对应于一个输出通道，一个卷积核对数据进行卷积处理后，能够输出一个特征。上述H1、W1的数值与源域图像的尺寸、卷积核的尺寸、卷积运算的步长等相关联，本申请实施例对此不作限定。

需要说明的是，该第二特征的获取过程与上述第一特征的获取过程同理，在此不作赘述，一个第二特征x_t是C*H2*W2维的数据，各个目标域图像对应的第二特征能够组成目标域特征{x_t}，该目标域特征{x_t}是N2*C*H2*W2维的数据，其中，N2为本次输入的目标域图像的数目，H2、W2的数值与目标域图像的尺寸、卷积核的尺寸、卷积运算的步长等相关联，本申请实施例对此不作限定。

需要说明的是，上述对第一特征、第二特征获取方法的说明，仅是一种示例性说明，本申请实施例对具体采用哪种方法获取该第一特征和第二特征不作限定。

503、计算机设备通过该图像分类模型，获取该至少两个第一特征的第一初始分布信息，以及，获取该至少两个第二特征的第二初始分布信息。

在本申请实施例中，分布信息包括均值和方差，能够体现特征的空间分布情况，即两个数据域对应的分布信息之间的差异，能够体现两个数据域的特征在空间分布上的差异。在一种可能实现方式中，该第一初始分布信息包括至少两个第一特征对应的第一均值向量和第一方差向量，该第二初始分布信息包括至少第二特征对应的第二均值向量和第二均值方差。在一种可能实现方式中，上述均值向量和方差向量均是C*1维的数据，上述均值向量中的一个元素，用于指示该图像分类模型中由同一通道输出的特征的均值，方差向量中的一个元素，用于指示该图像分类模型中由同一通道输出的特征的方差。以第一均值向量的获取方法为例，图6是本申请实施例提供的一种第一均值向量获取方法的示意图，图6示出了多个源域图像对应的第一特征，分别为x_s1、x_s2和x_s3，对x_s1、x_s2和x_s3中第一通道输出的特征取均值，能够得到第一均值向量中的第一个元素μ_s1，对x_s1、x_s2和x_s3中第n通道输出的特征取均值，得到第一均值向量中的第n个元素μ_sn。需要说明的是，该第一方差向量、第二均值向量、第二方差向量的获取方法，与上述第一均值向量的获取方法同理，在此不作赘述。

504、计算机设备基于该第一初始分布信息和该第二初始分布信息之间的相似度，确定该源域图像对应的该第一互补项。

其中，该第一互补项用于指示源域图像的特征向目标域迁移后，所对应的分布信息。在一种可能实现方式中，该第一互补项包括第一均值互补项和第一方差互补项，其中，该第一均值互补项用于指示源域图像的特征向目标域迁移后，所对应的均值向量，该第一方差互补项用于指示源域图像的特征向目标域迁移后，所对应的方差向量。

在一种可能实现方式中，计算机设备基于该第一初始分布信息中的第一均值向量与该第二初始分布信息中的第二均值向量之间的相似度，确定该第一互补项中的第一均值互补项。示例性的，该计算机设备确定该第一均值互补项的过程包括以下步骤。

步骤一、计算机设备基于该第一均值向量中的各个元素与该第二均值向量中的各个元素之间的相似度，确定第一均值相似度矩阵。也即是，该计算机设备获取各个通道所输出的特征之间的相似度，包括对应通道所输出特征之间的相似度，以及，非对应通道所输出特征之间的相似度，组成该第一均值相似度矩阵。示例性的，该第一均值向量表示为下述公式（1），第二均值向量表示为下述公式（2）：

（1）

（2）

其中，μ_s表示第一均值向量，μ_s1、μ_s2、μ_s3、……、μ_sn分别表示第一均值向量中的元素，μ_sn表示特征提取模块在对源域图像进行特征提取时，通道n所输出的特征的均值。μ_t表示第二均值向量，μ_t1、μ_t2、μ_t3、……、μ_tn分别表示第二均值向量中的元素，μ_tn表示特征提取模块在对目标域图像进行特征提取时，通道n所输出的特征的均值。示例性的，μ_s1和μ_t1是对应通道的特征，μ_s1和μ_t2是非对应通道的特征。

在一种可能实现方式中，该计算机设备获取第一均值向量和第二均值向量中各个元素之间的相似度，也即是，获取该第一均值向量和第二均值向量之间的距离，示例性的，该计算机设备获取该第一均值相似度矩阵的方法表示为下述公式（3）：

（3）

其中，

表示第一均值相似度矩阵，μ_t表示第二均值向量，μ_s表示第一均值向量，

表示第一均值向量的转置。

在一种可能实现方式中，通过上述方法所获得的第一均值相似度矩阵表示为下述公式（4）：

（4）

其中，μ_sntn表示第一均值向量中的元素μ_sn和第二均值向量中的元素μ_tn之间的相似度。

步骤二、计算机设备基于该第一均值相似度矩阵和该第一均值向量，确定该第一均值互补项。在一种可能实现方式中，该计算机设备先对该第一均值相似度矩阵进行归一化处理，再将归一化处理后的第一均值相似度矩阵与该第一均值向量相乘，得到该第一均值互补项。示例性的，该计算机设备基于softmax（逻辑回归）函数，对该第一均值相似度矩阵进行归一化处理，当然，该计算机设备也可以应用其他方法对该第一均值相似度矩阵进行归一化处理，本申请实施例对此不作限定。

需要说明的是，上述对确定第一均值互补项的方法说明，仅是一种可能实现方式的示例性说明，本申请实施例对确定该第一均值互补项的方法不作限定。

在一种可能实现方式中，该计算机设备基于该第一初始分布信息中的第一方差向量与该第二初始分布信息中的第二方差向量之间的相似度，确定该第一互补项中的第一方差互补项。示例性的，计算机设备基于该第一方差向量中的各个元素与第二方差向量中的各个元素之间的相似度，确定第一方差相似度矩阵；再基于该第一方差相似度矩阵和该第一方差向量，确定该第一方差互补项，也即是，对该第一方差相似度矩阵进行归一化处理，再将归一化处理后的第一方差相似度矩阵和该第一方差向量相乘，得到该第一方差互补项。需要说明的是，该计算机设备获取该第一方差互补项的方法与上述获取第一均值互补项的方法同理，在此不作赘述。

505、计算机设备基于该第一初始分布信息和该第二初始分布信息之间的相似度，确定该目标域图像对应的该第二互补项。

其中，该第二互补项用于指示目标域图像的特征向源域迁移后，所对应的分布信息。在一种可能实现方式中，该第二互补项包括第二均值互补项和第二方差互补项，其中，该第二均值互补项用于指示目标域图像的特征向源域迁移后，所对应的均值向量，该第二方差互补项用于指示目标域图像的特征向源域迁移后，所对应的方差向量。

在一种可能实现方式中，该计算机设备基于上述步骤404中所获取到的第一均值相似度矩阵和第二均值向量，确定该第二互补项中的第二均值互补项。示例性的，该计算机设备对该第一均值相似度矩阵进行转置，得到第二均值相似度矩阵；再基于该第二均值相似度矩阵和该第二均值向量，确定该第二均值互补项，例如，该计算机设备对该第二均值相似度矩阵进行归一化处理，将归一化处理后的该第二均值相似度矩阵与该第二均值向量相乘，得到该第二均值互补项。需要说明的是，该第二均值互补项的获取方法与上述步骤504中第一均值互补项的获取方法同理，在此不作赘述。

在一种可能实现方式中，该计算机设备基于上述步骤504中所获取到的第一方差相似度矩阵和第二方差向量，确定该第二方差互补项。示例性的，该计算机设备对该第一方差相似度矩阵进行转置，得到第二方差相似度矩阵；再基于该第二方差相似度矩阵和第二方差向量，确定该第二方差互补项，例如，该计算机设备对该第二方差相似度矩阵进行归一化处理，将归一化处理后的第二方差相似度矩阵与该第二方差向量相乘，得到该第二方差互补项。需要说明的是，该第二方差互补项的获取方法与上述步骤504中第一均值互补项的获取方法同理，在此不作赘述。

需要说明的是，上述步骤504至步骤505，是基于该第一初始分布信息和该第二初始分布信息之间的相似度，确定该源域图像对应的第一互补项和该目标域图像对应的第二互补项的过程。在本申请实施例中，采用先执行确定第一互补项的步骤，再执行确定第二互补项的步骤的执行顺序进行描述，在一些实施例中，也可以先执行确定第二互补项的步骤，再执行确定第一互补项的步骤，或者两个步骤同时执行，本申请实施例对此不作限定。在本申请实施例中，该互补项融合了两个数据域的特征，包括对应通道和非对应通道的特征，以确保全面的获取到两个数据域的特征的关键信息，将该互补项应用于后续的模型训练过程中，能够有效提高模型训练效果。

506、计算机设备基于第一参考权重，对该第一互补项和该至少两个第一特征的第一初始分布信息进行加权处理，得到该至少两个第一特征对应的第一参考分布信息。

其中，该第一参考权重是在该图像分类模型训练过程中确定的，也即是，该图像分类模型的每次迭代训练过程中，逐渐对该第一参考权重的数值进行调整，在获取到训练完成的图像分类模型，即得到图像分类模型后，就能够确定该第一参考权重的数值。在本申请实施例中，该第一参考权重是在模型训练过程中逐渐学习到的，也即是，该第一参考权重能够基于模型的训练目标进行调整，使模型实现领域自适应，使后续训练的到的图像分类模型能够良好的适用于对目标域图像的处理任务中。当然，在一些实施例中，该第一参考权重直接由开发人员进行设置，本申请实施例对此不作限定，在本申请实施例中，仅以该第一参考权重是在图像分类模型训练过程中所学习到的为例进行说明。

在一种可能实现方式中，该第一参考分布信息包括第一参考均值和第一参考方差。示例性的，该计算机设备基于该第一参考权重，对该第一互补项中的第一均值互补项与该第一初始分布信息中的第一均值向量进行加权处理，得到该第一参考均值；该计算机设备基于该第一参考权重，对该第一互补项中的第一方差互补项与该第一初始分布信息中的第一方差向量进行加权处理，得到第一参考方差。在一种可能实现方式中，上述过程表示为下述公式（5）和公式（6）：

（5）

（6）

其中，

表示第一参考均值，

表示第一均值向量，

表示第一均值互补项；

表示第一参考方差，

表示第一方差向量，

表示第一方差互补项。

表示第一参考权重，在一些实施例中，该第一参考权重分为均值子权重

和方差子权重

，该均值子权重

和方差子权重

的数值均在模型训练过程中所学习得到，该均值子权重

和方差子权重

的数值可以相同，也可以不同。

需要说明的是，上述对第一参考分布信息获取方法的说明，仅是一种可能实现方式的示例性说明，本申请实施例对具体采用哪种方法获取该第一参考分布信息不作限定。

507、计算机设备基于第二参考权重，对该第二互补项和该至少两个第二特征的第二初始分布信息进行加权处理，得到该至少两个第二特征对应的第二参考分布信息。

其中，该第二参考权重是在该图像分类模型训练过程中确定的，也即是，该图像分类模型在每次迭代训练过程中，逐渐对该第二参考权重的数值进行调整，在获取到训练完成的图像分类模型，即得到图像分类模型后，就能够确定该第二参考权重的数值。

在一种可能实现方式中，该第二参考分布信息包括第二参考均值和第二参考方差。该第二参考分布信息的获取方法与上述第一参考信息的获取方法同理，也即是，该计算机设备基于该第二参考权重，对该第二互补项中的第二均值互补项和该第二初始分布信息中的第二均值向量进行加权处理，得到该第二参考均值；基于该第二参考权重，对该第二互补项中的第二方差互补项和该第二初始分布信息中的第二方差向量进行加权处理，得到该第二参考方差。同理，该第二参考权重也包括方差子权重和均值子权重，该第二参考权重中的方差子权重用于对上述第二方差互补项和第二方差向量进行加权处理；该第二参考权重中的均值子权重用于对上述第二均值互补项和第二均值向量进行加权处理。

需要说明的是，上述步骤504至步骤507，是通过该图像分类模型基于该第一初始分布信息和该第二初始分布信息之间的相似度，分别对该第一初始分布信息和该第二初始分布信息进行调整，得到第一参考分布信息和第二参考分布信息的步骤，上述步骤504至步骤507均通过该图像分类模型中的归一化模块执行。在本申请实施例中，通过该归一化模块，基于对应通道的特征和非对应通道的特征之间的关联性，来评估各个通道的特征的可迁移性，从而得到互惠互补项，也即是，得到上述第一互补项和第二互补项；再基于自适应融合机制，使图像分类模型自适应的对该互惠互补项与对应数据域的初始分布信息进行加权处理，以降低两个数据域的特征在空间分布上的差异，使模型逐渐适用于对目标域图像的处理。

需要说明的是，在本申请实施例中，采用先执行获取第一参考分布信息的步骤，再执行获取第二参考分布信息的步骤的执行顺序进行描述，在一些实施例中，也可以先执行获取第二参考分布信息的步骤，再获取第一参考分布信息的步骤，或者两个步骤同时执行，本申请实施例对此不作限定。

508、计算机设备分别基于该第一参考分布信息和该第二参考分布信息，对该至少两个第一特征和该至少两个第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征。

在本申请实施例中，该计算机设备基于该第一参考分布信息分别对该至少两个第一特征进行归一化处理，得到第一参考特征；基于该第二参考分布信息分别对该至少两个第二特征进行归一化处理，得到第二参考特征。在一种可能实现方式中，上述归一化处理的方法表示为下述公式（7）和公式（8）：

（7）

（8）

其中，

表示第一参考特征，x_s表示第一特征，

表示第一参考均值，

表示第一参考方差，

表示第二参考特征，x_t表示第二特征，

表示第二参考均值，

表示第二参考方差，参数γ、β、ε的数值在模型训练过程中确定。

需要说明的是，上述对第一参考特征和第二参考特征获取方法的说明，仅是一种可能实现方式的示例性说明，本申请实施例对具体采用哪种方法获取该第一参考特征和第二参考特征不作限定。

图7是本申请实施例提供的一种参考特征获取过程的示意图，以下结合图7，对步骤502至步骤508中，第一参考特征和第二参考特征的获取过程进行说明。在一种可能实现方式中，上述参考特征获取过程由图像分类模型中的归一化模块RN执行，该归一化模块的输入为{x_s，x_t}，即该归一化模块RN之前的特征提取模块所提取到的第一特征和第二特征，该归一化模块RN中包括可学习参数

，其中，

的取值范围是[0.5，1]，

和

用于对源域图像所对应的分布信息进行处理，

和

用于对目标域图像所对应的分布信息进行处理。该归一化模块RN中还配置有可学习仿射参数γ和β，这两个参数应用于数据归一化处理步骤中。如图7中标号701行所指示的，该归一化模块先基于{x_s，x_t}，获取到第一初始分布信息和第二初始分布信息，即

，如702行所示，为表述简洁，将上述第一初始分布信息和第二初始分布信息表示为z∈{μ，σ²}。如703至705行所示，该归一化模块RN基于第一初始分布信息z_s和第二初始分布信息z_t，分别获取第一相似度矩阵

和第二相似度矩阵

；如706至708行所示，该归一化模块RN基于softmax函数，对该第一相似度矩阵

和第二相似度矩阵

进行归一化处理；如709至711行所示，基于归一化处理后的相似度矩阵，分别与对应的初始分布信息相乘，得到第一互补项和第二互补项；如712至714行所示，该归一化模块RN基于可学习参数

，对上述第一互补项和第一初始分布信息，以及，第二互补项和第二初始分布信息进行加权处理，得到第一参考分布信息

和第二参考分布信息

；如715行所示基于该第一参考分布信息、第二参考分布信息，对该第一特征和第二特征分别进行归一化处理，得到第一参考特征和第二参考特征。

509、计算机设备基于该至少两个第一参考特征和至少两个第二参考特征，输出该至少两个源域图像和该至少两个目标域图像的图像分类结果。

在一种可能实现方式中，该图像分类模型将获取到的至少两个第一参考特征和至少两个第二参考特征，继续输入后续的运算层，继续基于该第一参考特征和第二参考特征执行图像分类步骤，直到输出图像分类结果。示例性的，该图像分类模型中后续的运算层包括卷积层、池化层、全连接层等，本申请实施例对此不作限定。需要说明的是，本申请实施例对该图像分类模型的后续运算过程不作限定。

510、计算机设备基于该图像分类结果和该至少两个源域图像携带的标注信息，对该图像分类模型进行训练。

在一种可能实现方式中，该图像分类结果包括各个输入数据对应的分类标签，各个源域图像所携带的标注信息用于指示各个源域图像的正确分类。示例性的，该计算机设备获取该图像分类模型输出的源域图像的分类标签，与该标注信息之间的误差第一误差，该计算机设备应用反向传播法来更新该图像分类模型的参数。例如，计算机设备基于Adam（Adaptive moment estimation，适应性矩估计）算法的梯度下降法求解该图像分类模型中的特征提前模块、归一化模块等各个运算层的参数。需要说明的是，本申请实施例对图像分类模型参数更新的具体方法不作限定。在一种可能实现方式中，计算机设备对该图像分类模型的参数更新完成后，若该图像分类模型满足模型收敛条件，则获取训练完成的图像分类模型，即获取到该图像分类模型；若该图像分类模型不满足模型收敛条件，则继续读取下一批次的训练数据，也即是，继续读取下一批次的源域图像和目标域图像，重新执行上述步骤501至步骤510。其中，该模型收敛条件由开发人员进行设置，本申请实施例对此不作限定。

在一些实施例中，该图像分类结果还包括数据所属数据域的域标签。在一种可能实现方式中，该计算机设备还可以获取该源域图像和该目标域图像的域标签与实际所属数据域之间的第二误差，基于该第一误差和该第二误差，对该图像分类模型进行训练，得到该图像分类模型。也即是，将该第一误差和该第二误差均方向传播至该图像分类模型，以更新该图像分类模型中的各个参数。需要说明的是，本申请实施例对具体采用哪种方法更新该图像分类模型的参数不作限定。

在本申请实施例中，该第一参考特征和第二参考特征中融合了两个数据域的信息，应用该第一参考特征和第二参考特征，对该图像分类模型进行训练，能够将图像分类模型在源域所学习到的知识，逐渐迁移到目标域中，提高图像分类模型在目标域图像处理任务中的模型表现。

在上述实施例中，仅以图像分类模型中的一个特征提取模块和一个归一化模块为例进行说明，若图像分类模型包括多个特征提取模块和多个归一化模块时，也即是，图像分类模型的结构如图4中的（b）图所示时，则归一化模块1基于特征提取模块1所输出的源域图像的特征和目标域图像的特征，执行上述步骤503至步骤508，得到源域图像对应的参考特征和目标域图像对应的参考特征，再将源域图像对应的参考特征和目标域图像对应的参考特征输入后续的运算模块，示例性的，计算机设备将源域图像对应的参考特征和目标域图像对应的参考特征输入激活函数层，由激活函数层对这两个数据域的参考特征进行进一步处理，将处理后的特征输入特征提取模块2，由该特征提取模块2进行进一步特征提取。该图像分类模型中的归一化模块2，能够基于特征提取模块2所输出的两个数据域的特征，执行上述步骤503至步骤508。在本申请实施例中，应用多个归一化模块，依次对两个数据域的特征进行处理，能够进一步降低两个数据域的特征在分布上的差异。需要说明的是，本申请实施例对图像分类模型所包括的特征提取模块和归一化模块的数目不作限定。

在本申请实施例中，提出了一种互惠学习方式，在模型训练过程中，使图像分类模型充分利用非对应通道的关联性来达到更好的领域自适应效果，示例性的，在本申请实施例中，对传统的归一化模块进行优化，在归一化模块中引入了一个互惠互补提取子模块和一个互惠融合子模块。其中，该互惠互补提取子模块用于执行上述步骤503至步骤505的过程，该互惠互补提取子模块通过获取源域图像特征分布和目标域图像的特征分布之间的通道关联性，也即是，各个通道所输出特征的相似度，包括对应通道所输出特征的相似度和非对应通道所输出特征的相似度，基于该通道之间的关联性，找到迁移性高的、彼此能够互相辅助的互惠互补项，该互惠互补项也即是上述第一互补项和第二互补项。该互惠融合子模块能够执行上述步骤506至步骤508的过程，通过该互惠融合子模块，能够自适应地融合本领域特征的初始分布信息和互惠互补项。本申请实施例中所提供的归一化处理方法，能够作为一种通用的归一化方法，应用到各种类型的神经网络模型中。

在一些实施例中，本申请实施例训练得到的图像分类模型的模型数据存储在区块链系统的区块链上，供区块链系统中的各个节点设备应用。在一种可能实现方式中，训练该图像分类模型所使用的源域图像和目标域图像也存储在区块链上。

上述实施例介绍了基于无监督领域自适应技术，对图像分类模型进行训练得到图像分类模型的过程，获取到的图像分类模型能够良好的适用于对目标域图像的处理任务，图8是本申请实施例提供的一种应用图像分类模型对目标域图像进行图像分类方法的流程图，在一种可能实现方式中，该图像分类过程包括以下步骤。

801、计算机设备获取图像分类模型以及待分类的目标域图像，将该目标域图像输入该图像分类模型。

其中，该图像分类模型是基于源域图像和目标域图像训练得到，该图像分类模型能够用于对目标域图像进行图像分类。

在一种可能实现方式中，该计算机设备响应于图像分类指令，获取训练完成的图像分类模型以及待分类的目标域图像，将该目标域图像输入该图像分类模型。当然，该计算机设备在将该待分类的目标域图像输入该图像分类模型之前，还可以对该目标域图像进行预处理，例如，对该目标域图像进行尺寸变换、降噪等，本申请实施例对此不作限定。

802、计算机设备通过该图像分类模型对该目标域图像进行特征提取，得到该目标域图像对应的初始特征。

以图4中（a）图所示的模型结构为例，在一种可能实现方式中，该计算机设备通过该图像分类模型中的特征提取模块，对该目标域图像进行卷积处理，以提取到该目标域图像的初始特征。需要说明的是，本申请实施例对该初始特征的获取方法不作限定。

803、计算机设备通过该图像分类模型基于目标分布信息，对该初始特征进行归一化处理，得到参考特征。

其中，该目标分布信息用于指示该目标域图像的特征向源域迁移后所对应的空间分布。在一种可能实现方式中，该目标分布信息基于该图像分类模型的模型训练过程获取。示例性的，计算机设备获取该图像分类模型在基于源域图像和目标域图像进行训练的过程中，所生成的至少一个第二参考分布信息，该第二参考分布信息用于指示该目标域图像的特征的向源域迁移后的空间分布；再基于该至少一个第二参考分布信息，确定该目标分布信息。在一种可能实现方式中，该计算机设备获取最后目标次的模型训练过程中所生成的第二参考分布信息，对获取到的多个第二参考分布信息取EMA（Exponential MovingAverage，指数移动平均值），得到该目标分布信息。其中，该目标次的数值由开发人员进行设置，例如，计算机设备获取最后10次模型训练过程中所生成的第二参考分布信息，本申请实施例对此不作限定。当然，该计算机设备也可以通过其他方法获取该目标分布信息，本申请实施例对此不作限定。

804、计算机设备通过该图像分类模型基于该参考特征，输出该目标域图像对应的图像分类结果。

在一种可能实现方式中，该计算机设备将该参考特征输入该图像分类模型中后续的运算层，由该图像分类模型基于该参考特征继续执行图像分类步骤，直到输出该图像分类结果。

图9是本申请实施例提供的归一化模块的数据处理示意图，以下结合图9，对图像分类模型中的归一化模块在模型训练阶段和模型应用阶段的数据处理过程进行说明。如图9所示，在模型训练阶段，计算机设备通过图像分类模型中的归一化模块，先获取第一初始分布信息

和第二初始分布信息

，获取该第一初始分布信息和第二初始分布信息之间的相似度矩阵，再基于softmax函数对该相似度矩阵记性归一化处理，将归一化处理后的相似度矩阵分别与各个数据域的初始分布信息相乘，得到第一互补项

和第二互补项

，该计算机设备分别应用这两个互补项与对应数据域的初始分布信息进行加权运算，得到各个数据域对应的参考分布信息，也即是，得到源域对应的第一参考分布信息

和目标域对应的第二参考分布信息

，再分别基于这两个参考信息对对应数据域的特征进行归一化处理。在本申请实施例中，在模型测试阶段以及模型应用阶段，直接获取模型训练阶段所得到的至少两个第二参考分布信息，对该至少两个第二参考分布信息取EMA（Exponential Moving Average，指数移动平均值），得到该目标分布信息，直接基于该目标分布信息对前一特征提取模块所提取到的特征进行归一化处理。在本申请实施例中，提供了一种优化神经网络模型中的归一化模块的方法，充分考虑了神经网络中非对应通道所输出特征之间的关联性，使源域图像的特征与目标域图像的特征之间能够互惠互补，降低两个数据域的特征在空间分布上的差异。

在上述实施例中，仅以图像分类模型中的一个特征提取模块和一个归一化模块为例进行说明，若图像分类模型包括多个特征提取模块和多个归一化模块时，也即是，图像分类模型的结构如图4中的（b）图所示时，则图像分类模型中的各个归一化模块，均能够基于自身训练过程中所产生的第二参考分布信息，来生成一个目标分布信息。示例性的，归一化模块1中的目标分布信息，是基于模型训练过程中归一化模块1所生成的至少一个第二参考分布信息所确定的，归一化模块2中的目标分布信息，是基于模型训练过程中归一化模块2所生成的至少一个第二参考分布信息所确定的。需要说明的是，本申请实施例对图像分类模型中所包括的归一化模块的数目不作限定。

图10是本申请实施例提供的一种残差模块的示意图，如图10所示，该残差模块中原始的归一化模块BN，均能够替换为本申请中训练得到的归一化模块RN。当然，其他神经网络模型中的归一化模块，也可以应用本申请中的归一化模块RN进行替换，以更好地实现迁移学习，本申请实施例对此不作限定。图11是本申请实施例提供的一种图像特征分布差异的示意图，在ResNet-50（残差网络）的模型训练过程中，引入不同的归一化模型，会导致模型表现也有所差异。如图11所示，ResNet-50包括四个级联的中间层，分别是stage1、stage2、stage3和stage4，模型中引入不同的归一化模块后，四个中间层上所提取到的各个数据域的特征的分布情况也不同。在本申请实施例中，应用Office-Home数据集中的四个数据域C、A、P和R，图11中的（a）图是将ResNet-50由数据域C向数据域A迁移时，两个数据域的中间层特征的分布差异；图11中的（b）图是将ResNet-50由数据域P向数据域R迁移时，两个数据域的中间层特征的分布差异；图11中的（c）图是将ResNet-50由数据域R向数据域P迁移时，两个数据域的中间层特征的分布差异；图11中的（d）图是将ResNet-50由数据域R向数据域C迁移时，两个数据域的中间层特征的分布差异。图11中CDAN表示应用CDAN（conditionaldomain adversarial network，条件域对抗网络）中所提供的损失函数，DANN是指应用DANN（Domain-Adversarial Training of Neural Networks，域适应神经网络）中所提供的损失函数，BN指传统的批量归一化算法，RN指本方案所提供的归一化算法。基于图11可知，应用本申请实施例所提供的归一化处理方法，能够有效降低两个数据于的特征分布差异。

表1是应用本申请实施例所提供的模型训练方法所得到的图像分类模型，与应用其他模型训练方法所得到的模型，在目标域图像的分类任务中的模型表现。

表1

模型训练方法	非ACG图像到 ACG 图像	ACG图像到非ACG图像
			直接迁移	31.3	40.4
CDAN	31.7	40.8
			CDAN+本方案的模型训练方法	35.4	42.5

基于表1中的数据可知，模型在ACG（Animation Comics Games，动画漫画游戏）数据和非ACG数据之间进行迁移学习时，应用本方案所提供的模型训练方法，模型输出结果的准确率有显著提高。

表2是应用本申请实施例所提供的模型训练方法所得到的图像分类模型，与应用其他模型训练方法所训练得到的模型，在不同数据集上的模型表现。

表2

方法	ImageCLEF-DA	Office-Home	VisDA-2017
				直接迁移	80.7	46.1	52.4
DANN	85.0	58.3	54.9
				DANN+AutoDIAL	86.9	58.8	62.5
DANN+DSBN	86.1	54.8	65.0
				DANN+TN	87.0	59.3	66.3
DANN+本方案	88.0	63.0	71.4
				JAN	85.8	58.3	61.6
CDAN	87.7	65.8	70.0
				CDAN+AutoDIAL	87.7	67.4	71.8
CDAN+DSBN	86.9	64.1	72.9
				CDAN+TN	88.5	67.6	71.4
CDAN+本方案	89.2	70.6	79.0

ImageCLEF-DA、Office-Home、VisDA-2017表示三个不同的数据集，AutoDIAL（Automatic Domain Alignment Layers，自动域对齐层）是指AutoDIAL中的域适配（domainadaptation）方法，DSBN（Domain-Speciﬁc Batch Normalization for UnsupervisedDomain Adaptation，应用于无监督域适配的特定域批量规范化）是指DSBN中的域适配方法，TN（Transferable Normalization，可迁移规范化）中的归一化方法。基于表2中的数据可知，对于不同数据域中的数据，应用本方案所训练得到的图像分类模型均有较好的模型表现，模型输出结果的准确率较高。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图12是本申请实施例提供的一种无监督领域自适应的图像分类模型处理装置的结构示意图，参见图12，该装置包括：

输入模块1201，用于将至少两个源域图像和至少两个目标域图像输入图像分类模型，该图像分类模型基于该至少两个源域图像训练得到，该至少两个源域图像携带标注信息；

第一获取模块1202，用于获取第一初始分布信息和第二初始分布信息，该第一初始分布信息用于表示该至少两个源域图像对应的第一特征的分布，该第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布；

第二获取模块1203，用于基于该第一初始分布信息和该第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，该第一参考分布信息与该第二参考分布信息之间的距离小于该第一初始分布信息和该第二初始分布信息之间的距离；

归一化模块1204，用于分别基于该第一参考分布信息和该第二参考分布信息，对至少两个该第一特征和至少两个该第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征；

输出模块1205，用于基于该至少两个第一参考特征和至少两个第二参考特征，输出该至少两个源域图像和该至少两个目标域图像的图像分类结果；

训练模块1206，用于基于该图像分类结果和该至少两个源域图像携带的标注信息，对该图像分类模型进行训练。

在一种可能实现方式中，该第一获取模块1202，包括：

该确定子模块，包括：

在一种可能实现方式中，该第一确定单元，包括：

在一种可能实现方式中，该第二确定子单元，用于：

对该第一均值相似度矩阵进行归一化处理；

在一种可能实现方式中，该分别获取子模块，用于：

在一种可能实现方式中，该训练模块1206，还用于：

该训练模块，用于：

在一种可能实现方式中，该装置还包括：

本申请实施例提供的装置，通过图像分类模型，获取源域图像的特征在空间分布上的第一初始分布信息，以及，目标域图像的特征在空间分布上的第二初始分布信息，基于两个数据域的特征在空间分布上的相似性，对获取到的两个初始分布信息进行处理，得到两个数据域对应的两个参考分布信息，再基于该参考分布信息对对应数据域的特征进行归一化处理，从而能够使两个数据域的特征在空间分布上更加接近，在后续的模型训练过程中，由图像分类模型根据归一化处理后得到的第一参考特征、第二参考特征输出图像分类结果以及模型训练，基于上述装置对图像分类模型进行迭代训练，能够使模型所提取到的两个数据域的特征的相似性提高，使模型更加适应对目标域图像的处理，提高模型在目标域图像处理任务中的模型表现。

需要说明的是：上述实施例提供的无监督领域自适应的图像分类模型处理装置在无监督领域自适应的图像分类模型处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的无监督领域自适应的图像分类模型处理装置与无监督领域自适应的图像分类模型处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图13是本申请实施例提供的一种图像分类装置的结构示意图，参见图13，该装置包括：

输入模块1301，用于将待分类的目标域图像输入图像分类模型，该图像分类模型基于源域图像和目标域图像训练得到；

特征获取模块1302，用于通过该图像分类模型获取该目标域图像对应的初始特征；

归一化模块1303，用于通过该图像分类模型基于目标分布信息，对该初始特征进行归一化处理，得到参考特征，该目标分布信息用于指示该目标域图像的特征向源域迁移后所对应的空间分布；

输出模块1304，用于获取该图像分类模型基于该参考特征，输出的该目标域图像对应的图像分类结果。

在一种可能实现方式中，该装置还包括：

本申请实施例提供的装置，通过基于目标分布信息对提取到的目标域图像的初始特征进行调整，使该目标域图像的特征分布更接近源域图像的特征分布，从而提高目标域图像的特征与源域图像的特征之间的相似度，提高该图像分类模型基于目标域图像的特征进行图像分类时的分类准确度，提高图像分类模型在对目标域图像处理任务中的模型表现。

需要说明的是：上述实施例提供的图像分类装置在图像分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像分类装置与图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述技术方案所提供的计算机设备可以实现为终端，例如，图14是本申请实施例提供的一种终端的结构示意图。示例性的，该终端1400是：智能手机、平板电脑、MP3播放器（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1400包括有：一个或多个处理器1401和一个或多个存储器1402。

示例性的，处理器1401包括一个或多个处理核心，比如4核心处理器、8核心处理器等。在一种可能实现方式中，处理器1401采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（ProgrammableLogic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。在一种可能实现方式中，处理器1401包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central Processing Unit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401在集成有GPU（GraphicsProcessing Unit，图像处理器）， GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。

示例性的，存储器1402包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一条计算机程序，该至少一条计算机程序用于被处理器1401所执行以实现本申请中方法实施例提供的无监督领域自适应的图像分类模型处理方法或图像分类方法。

在一些实施例中，终端1400还可选包括有：外围设备接口1403和至少一个外围设备。示例性的，处理器1401、存储器1402和外围设备接口1403之间通过总线或信号线相连。各个外围设备通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。

外围设备接口1403可被用于将I/O（Input /Output，输入/输出）相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和外围设备接口1403中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1404用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。在一些实施例中，射频电路1404通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi（Wireless Fidelity，无线保真）网络。在一些实施例中，射频电路1404还包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不加以限定。

显示屏1405用于显示UI（User Interface，用户界面）。在一些实施例中，该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。在一些实施例中，该触摸信号作为控制信号输入至处理器1401进行处理。此时，显示屏1405还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405为一个，设置终端1400的前面板；在另一些实施例中，显示屏1405为至少两个，分别设置在终端1400的不同表面或呈折叠设计；在一些实施例中，显示屏1405是柔性显示屏，设置在终端1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD（Liquid Crystal Display，液晶显示屏）、OLED（Organic Light-EmittingDiode，有机发光二极管）等材质制备。

摄像头组件1406用于采集图像或视频。可选地，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

在一些实施例中，音频电路1407包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。

定位组件1408用于定位终端1400的当前地理位置，以实现导航或LBS（LocationBased Service，基于位置的服务）。定位组件1408可以是基于美国的GPS（GlobalPositioning System，全球定位系统）、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于：加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。

加速度传感器1411能够检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1411能够用于检测重力加速度在三个坐标轴上的分量。处理器1401能够根据加速度传感器1411采集的重力加速度信号，控制显示屏1405以横向视图或纵向视图进行用户界面的显示。在一些实施例中，加速度传感器1411还用于游戏或者用户的运动数据的采集。

陀螺仪传感器1412能够检测终端1400的机体方向及转动角度，陀螺仪传感器1412能够与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据，能够实现如下功能：动作感应（比如根据用户的倾斜操作来改变UI）、拍摄时的图像稳定、游戏控制以及惯性导航。

在一些实施例中，压力传感器1413设置在终端1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时，能够检测用户对终端1400的握持信号，由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时，由处理器1401根据用户对显示屏1405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1414用于采集用户的指纹，由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。在一些实施例中，指纹传感器1414被设置终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商Logo时，指纹传感器1414可以与物理按键或厂商Logo集成在一起。

光学传感器1415用于采集环境光强度。在一个实施例中，处理器1401能够根据光学传感器1415采集的环境光强度，控制显示屏1405的显示亮度。具体地，当环境光强度较高时，调高显示屏1405的显示亮度；当环境光强度较低时，调低显示屏1405的显示亮度。在另一个实施例中，处理器1401还能够根据光学传感器1415采集的环境光强度，动态调整摄像头组件1406的拍摄参数。

接近传感器1416，也称距离传感器，通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中，当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时，由处理器1401控制显示屏1405从亮屏状态切换为息屏状态；当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时，由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图14中示出的结构并不构成对终端1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述技术方案所提供的计算机设备可以实现为服务器，例如，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器（Central Processing Units，CPU）1501和一个或多个的存储器1502，其中，该一个或多个存储器1502中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1501加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器1500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1500还可以包括其他用于实现设备功能的部件，在此不做赘述。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。也即是，上述终端和服务器均可以作为区块链系统中的节点设备。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由处理器执行以完成上述实施例中的无监督领域自适应的图像分类模型处理方法或图像分类方法。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括至少一条计算机程序，该至少一条计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该至少一条计算机程序，处理器执行该至少一条计算机程序，使得该计算机设备执行上述无监督领域自适应的图像分类模型处理方法或图像分类方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种无监督领域自适应的图像分类模型处理方法，其特征在于，所述方法包括：

将至少两个源域图像和至少两个目标域图像输入图像分类模型，所述图像分类模型基于所述至少两个源域图像训练得到，所述至少两个源域图像携带标注信息；

通过所述图像分类模型执行下述步骤：

获取第一初始分布信息和第二初始分布信息，所述第一初始分布信息用于表示所述至少两个源域图像对应的第一特征的分布，所述第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布；

基于所述第一初始分布信息和所述第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，所述第一参考分布信息与所述第二参考分布信息之间的距离小于所述第一初始分布信息和所述第二初始分布信息之间的距离；

分别基于所述第一参考分布信息和所述第二参考分布信息，对至少两个所述第一特征和至少两个所述第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征；

基于所述至少两个第一参考特征和至少两个第二参考特征，输出所述至少两个源域图像和所述至少两个目标域图像的图像分类结果；

基于所述图像分类结果和所述至少两个源域图像携带的标注信息，对所述图像分类模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一初始分布信息和所述第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，包括：

基于所述第一初始分布信息和所述第二初始分布信息之间的相似度，确定所述源域图像对应的第一互补项和所述目标域图像对应的第二互补项，所述第一互补项用于指示所述源域图像的特征向目标域迁移后所对应的分布信息，所述第二互补项用于指示所述目标域图像的特征向源域迁移后所对应的分布信息；

分别对所述第一互补项、所述第一初始分布信息，以及所述第二互补项、所述第二初始分布信息进行处理，得到所述第一参考分布信息和所述第二参考分布信息。

3.根据权利要求2所述的方法，其特征在于，所述第一初始分布信息包括第一均值向量和第一方差向量，所述第二初始分布信息包括第二均值向量和第二方差向量，均值向量中的一个元素用于指示所述图像分类模型中由同一通道输出的特征的均值，方差向量中的一个元素用于指示所述图像分类模型中由同一通道输出的特征的方差；

所述基于所述第一初始分布信息和所述第二初始分布信息之间的相似度，确定所述源域图像对应的第一互补项和所述目标域图像对应的第二互补项，包括：

基于所述第一均值向量和所述第二均值向量之间的相似度，确定所述第一互补项中的第一均值互补项和所述第二互补项中的第二均值互补项；

基于所述第一方差向量和所述第二方差向量之间的相似度，确定所述第一互补项中的第一方差互补项和所述第二互补项中的第二方差互补项。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一均值向量和所述第二均值向量之间的相似度，确定所述第一互补项中的第一均值互补项和所述第二互补项中的第二均值互补项，包括：

基于所述第一均值向量中的各个元素与所述第二均值向量中的各个元素之间的相似度，确定第一均值相似度矩阵；

对所述第一均值相似度矩阵进行转置，得到第二均值相似度矩阵；

基于所述第一均值相似度矩阵和所述第一均值向量，确定所述第一均值互补项；

基于所述第二均值相似度矩阵和所述第二均值向量，确定所述第二均值互补项。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一均值相似度矩阵和所述第一均值向量，确定所述第一均值互补项，包括：

对所述第一均值相似度矩阵进行归一化处理；

将归一化处理之后的所述第一均值相似度矩阵与所述第一均值向量相乘，得到所述第一均值互补项。

6.根据权利要求2所述的方法，其特征在于，所述分别对所述第一互补项、所述第一初始分布信息，以及所述第二互补项、所述第二初始分布信息进行处理，得到所述第一参考分布信息和所述第二参考分布信息，包括：

基于第一参考权重，对所述第一互补项和所述第一初始分布信息进行加权处理，得到所述第一参考分布信息；

基于第二参考权重，对所述第二互补项和所述第二初始分布信息进行加权处理，得到所述第二参考分布信息。

7.根据权利要求1所述的方法，其特征在于，所述基于所述图像分类结果和所述至少两个源域图像携带的标注信息，对所述图像分类模型进行训练之后，所述方法还包括：

响应于本轮训练所得到的所述图像分类模型满足模型收敛条件，获取训练完成的所述图像分类模型；

响应于本轮训练所得到的所述图像分类模型不满足所述模型收敛条件，获取下一批次的源域图像和目标域图像进行模型训练。

8.根据权利要求1所述的方法，其特征在于，所述图像分类模型还输出所述至少两个源域图像和所述至少两个目标域图像所对应的域标签，所述域标签用于指示图像所属的数据域；

所述基于所述图像分类结果和所述至少两个源域图像携带的标注信息，对所述图像分类模型进行训练，包括：

获取所述至少两个源域图像对应的图像分类结果与对应的所述标注信息之间的第一误差，所述标注信息用于指示所述源域图像的正确分类；

获取所述源域图像和所述目标域图像的域标签与实际所属数据域之间的第二误差；

基于所述第一误差和所述第二误差，对所述图像分类模型进行训练。

9.根据权利要求1所述的方法，其特征在于，所述分别基于所述第一参考分布信息和所述第二参考分布信息，对至少两个所述第一特征和至少两个所述第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征之后，所述方法还包括：

获取在至少一轮模型训练过程中，所生成的至少一个第二参考分布信息；

基于所述至少一个第二参考分布信息，确定目标分布信息，所述目标分布信息应用于训练完成的图像分类模型中。

10.一种图像分类方法，其特征在于，所述方法包括：

将待分类的目标域图像输入图像分类模型，所述图像分类模型基于源域图像和目标域图像训练得到；

通过所述图像分类模型获取所述目标域图像对应的初始特征；

通过所述图像分类模型基于目标分布信息，对所述初始特征进行归一化处理，得到参考特征，所述目标分布信息用于指示所述目标域图像的特征向源域迁移后所对应的空间分布；

获取所述图像分类模型基于所述参考特征输出的所述目标域图像对应的图像分类结果。

11.根据权利要求10所述的方法，其特征在于，所述基于目标分布信息，对所述初始特征进行归一化处理，得到参考特征之前，所述方法还包括：

获取所述图像分类模型在基于源域图像和目标域图像进行训练的过程中，所生成的至少一个第二参考分布信息，所述第二参考分布信息用于指示所述目标域图像的特征的向源域迁移后的空间分布；

基于所述至少一个第二参考分布信息，确定所述目标分布信息。

12.一种无监督领域自适应的图像分类模型处理装置，其特征在于，所述装置包括：

输入模块，用于将至少两个源域图像和至少两个目标域图像输入图像分类模型，所述图像分类模型基于所述至少两个源域图像训练得到，所述至少两个源域图像携带标注信息；

第一获取模块，用于获取第一初始分布信息和第二初始分布信息，所述第一初始分布信息用于表示所述至少两个源域图像对应的第一特征的分布，所述第二初始分布信息用于表示至少两个目标域图像对应的第二特征的分布；

第二获取模块，用于基于所述第一初始分布信息和所述第二初始分布信息之间的相似度，获取第一参考分布信息和第二参考分布信息，所述第一参考分布信息与所述第二参考分布信息之间的距离小于所述第一初始分布信息和所述第二初始分布信息之间的距离；

归一化模块，用于分别基于所述第一参考分布信息和所述第二参考分布信息，对至少两个所述第一特征和至少两个所述第二特征进行归一化处理，得到至少两个第一参考特征和至少两个第二参考特征；

输出模块，用于基于所述至少两个第一参考特征和至少两个第二参考特征，输出所述至少两个源域图像和所述至少两个目标域图像的图像分类结果；

训练模块，用于基于所述图像分类结果和所述至少两个源域图像携带的标注信息，对所述图像分类模型进行训练。

13.一种图像分类装置，其特征在于，所述装置包括：

输入模块，用于将待分类的目标域图像输入图像分类模型，所述图像分类模型基于源域图像和目标域图像训练得到；

特征获取模块，用于通过所述图像分类模型获取所述目标域图像对应的初始特征；

归一化模块，用于通过所述图像分类模型基于目标分布信息，对所述初始特征进行归一化处理，得到参考特征，所述目标分布信息用于指示所述目标域图像的特征向源域迁移后所对应的空间分布；

输出模块，用于获取所述图像分类模型基于所述参考特征输出的所述目标域图像对应的图像分类结果。

14.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的无监督领域自适应的图像分类模型处理方法所执行的操作；或如权利要求10或11所述的图像分类方法所执行的操作。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的无监督领域自适应的图像分类模型处理方法所执行的操作；或如权利要求10或11所述的图像分类方法所执行的操作。