CN115578593A - 一种使用残差注意力模块的域适应方法 - Google Patents

Abstract

本发明提供了一种使用残差注意力模块的域适应方法。该方法包括:在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集；将源域标记的数据集、目标域未标记的数据集和激活图片数据集共同作为输入数据，将输入数据输入到包含卷积加注意力模块和LSE_At结构的特征提取网络，特征提取网络提取输入数据的高维特征图；将高维特征图通过全连接层分类器映射成一维特征向量，实现图像分类，利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型。本发明通过增加原图在数据处理过程中的参与来加深特征提取，提高模型对图像特征提取的多样性和有效性，从而实现对图像特征更加充分的提取提高了图像识别领域适应性能。

Description

一种使用残差注意力模块的域适应方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种使用残差注意力模块的域适应方法。

背景技术

图像分类是机器学习分类任务中的一种，计算机完成对图像的识别分类主要是依靠图像信息反映出来的不同特征，但针对不同领域的图像，相同的图片往往因为图像的尺寸、背景和光照等不同环境表现出不同的特征。计算机在识别过程中无法像人眼一样自主提取感兴趣的目标来排除不必要的特征以准确的完成图像识别，因此训练一个可以在不同领域内可通用的图像识别模型是很有研究价值的。

传统的机器学习在训练模型时会使用来自相同数据分布或针对特定领域的数据集，造成训练好的模型在特定的数据集内表现优异而在被用于处理其他领域的数据时准确率不高的问题，通常这个问题被称为“领域飘移”现象，为迁移学习的发展留下了很大的空间。在迁移学习中，训练集和测试集分别称为源域和目标域，核心目的是训练一种模型减小两域之间的分布差异。当源域和目标的数据分布不同但两个任务相同时，这种特殊的迁移学习叫做域适应(DomainAdaptation，DA)。在计算机视觉中，域适应的应用比较广泛，因为带有标注的数据集很容易取得，但获得的数据集和最终应用的数据集来源的域往往不同。如用艺术品闹钟训练的网络可以很好的识别艺术品闹钟，但对于剪切画的闹钟或者实物商品闹钟的识别效果就比较差，模型在这种场景中表现不佳的原因是域发生了变化。因此，源域和目标域之间的关联程度通常决定了域适应的成功程度。

研究者通过大量实验得出域间差异问题可通过一步域适应解决，目前，现有技术中的一步域适应方法包括如下的三种方案：

1、基于散度的域适应，通过最小化源和目标数据分布之间的散度准则来实现域不变的特征表示。常用的四种散度度量是：最大均值差异(Maximum Mean Discrepancy，MMD)、相关对齐(Correlation Alignment，CORAL)、对比域差异(Contrastive DomainDiscrepancy，CCD)和Wasserstein度量。

2、基于对抗性的域适应，通过对源分布和目标分布使用两个生成器/判别器进行对抗训练来实现域适应，对生成器和判别器的权重进行共享，来学习域不变的特征空间。通过这种方式，可以生成标记的目标数据，这些数据可以进一步用于后续的分类任务中。

3、基于重建的域适应，是基于图像到图像的转换。一种方法是学习从目标域图像到源域图像的转换，然后在源域上训练一个分类器。另一种方法是使用循环生成网络(CycleGAN)，在CycleGAN中采用了基于两种编解码器的神经网络，一个用于将目标转换为源域，另一个用于将源转换为目标域。

上述现有技术中的一步域适应方法的缺点包括：解决域适应问题的方法多依赖于所用的标注数据集，而常用的公共数据集又是人为构造的，提取图像特征时依靠网络的深度和所用算法的准确度。

特征提取的过程中采用复杂的网络结构去优化属性，导致求解最优化模型时的计算量会大幅度升高，使计算变得更加复杂。

对图像特征进行提取时所依靠的神经网络模型以及算法设计不够完善，不能对图像的多尺度特征进行提取，导致对图像的特征提取不够充分。

发明内容

本发明的实施例提供了一种使用残差注意力模块的域适应方法，以实现提高图像识别模型的域适应能力。

为了实现上述目的，本发明采取了如下技术方案。

一种使用残差注意力模块的域适应方法，包括：

在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集；

将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到包括卷积加注意力模块和LSE_At结构的特征提取网络，所述特征提取网络中提取所述输入数据的高维特征图；

将所述高维特征图通过全连接层分类器映射成一维特征向量，实现图像分类，利用负对数似然损失和自由能对齐损失训练验证所述图像分类的结果，根据验证结果调整所述特征提取网络和全连接层分类器的参数，利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型；

利用所述图像识别模型对待识别的图片数据集进行分类处理。

优选地，所述的在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集，包括：

设置标记的源域S＝{(x_s，y_s)}，S代表源域数据集，x_s代表源域数据的图像，y_s代表源域数据的标签；

设置未标记的的目标域T＝{x_t}，目标域T由一个标记了的数据集T_l和一个未标记的数据集T_u组成，T＝T_l∪T_u，目标域T和源域S来自不同的网络，设E表示一种能量函数，则源域的能量形式E_s和目标域的能量形式E_T的能量形式如式1所示：

其中，S表示源域数据集，x_s代表源域数据的图像，y_s代表源域数据的标签，T表示目标域数据集，x_T代表目标域数据的图像，要做的目标就是让通过源域训练的一个神经网络模型，包括找到一个含有参数θ的能量函数E_s，能在图像分类时给正确答案最小的能量，并使得网络模型能在目标域T上有不错的泛化表现；

有了能量函数之后，将最低能量值的标签和次低能量标签的能量值之间的差值作为不确定性的度量，选取激活图片数据集，如式2所示：

U_(x)＝E(x,y^*；θ)-E(x,y′；θ) (2)

其中，U_(x)是最低能量值的标签和次低能量标签的能量值之间的差值,E表示一种能量函数，x代表源域数据的图像，y^*代表最低能量值的标签，y′表示次低能量标签，θ代训练参数。

优选地，所述的将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到包括卷积加注意力模块和LSE_At结构的特征提取网络，所述特征提取网络中提取所述输入数据的高维特征图，包括：

将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到特征提取网络，特征提取网络通过LSE_At结构获取所述输入数据的高维特征图中各个通道的重要程度，根据各个通道的重要程度给高维特征图中的各个特征赋予权重值；

特征提取网络通过卷积加注意力模块序列化地在通道和空间两个维度上产生所述输入数据的注意力特征图信息，将通道和空间两个维度上的注意力特征图信息与原图结合后，再与各个特征的权重值进行相乘，通过自适应特征修正产生所述输入数据的高维特征图。

优选地，所述的将所述高维特征图通过全连接层分类器映射成一维特征向量，实现图像分类，包括：将所述高维特征图输入到全连接层分类器，将全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，将全连接层转化为卷积核为h×w的全局卷积，h,w分别为前层卷积结果的高和宽，全连接的核心操作就是运算矩阵向量乘积后输出一个值，实现图像分类。

优选地，所述的利用负对数似然损失和自由能对齐损失训练验证所述图像分类的结果，根据验证结果调整所述特征提取网络和全连接层分类器的参数，利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型，包括：

给不同的分类任务设置各自的学习率，将各个子数据集作为源域和目标域数据输入到特征提取网络和全连接层分类器构成的图像识别模型中，图像识别模型输出图像分类结果；

利用如下的负对数似然损失公式计算出各个子数据集的能量值：

L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，τ是一个较低的值对应能量在空间上的分布；

利用如下的自由能对齐损失训练公式计算出所述图像识别模型的损失函数的自由能对准损失；

L_fea(x；θ)＝max(0,E(x；θ))

L_fea是自由能对准损失，x代表图像输入，θ是要通过训练得到的参数，并利用公式：

计算出所述图像识别模型的损失函数和精度；

L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，T_u为未标记的目标域数据集，γ是损失超参数。

根据所述图像识别模型的损失函数和精度使用梯度下降法反向传播，调整所述特征提取网络和全连接层分类器的参数，循环执行上述处理过程设定轮次，得到最优的特征提取网络和全连接层分类器，利用最优的特征提取网络和全连接层分类器构成图像识别模型。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过增加原图在数据处理过程中的参与来加深特征提取，提高模型对图像特征提取的多样性和有效性。激活函数结合归一化来调整网络性能，将具有更多网络层数并且使用更够完善激活函数的神经网络模型应用于整个过程，从而实现对图像特征更加充分的提取提高了图像识别领域适应性能。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种模型的整体结构示意图；

图2为本发明实施例提供的一种LSE_At结构示意图；

图3为本发明实施例提供的一种CBAAM模块的结构图；

图4为本发明实施例提供的一种CBAAM模块中的全通道注意力(AChannel)和全空间注意力(ASpatial)模块结构图；

图5为本发明实施例提出的提出一种使用残差注意力的域适应方法的网络模型结构图；

图6为本发明实施例提出的提出一种使用残差注意力的域适应方法的处理流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明以基于散度的域适应为出发点，以最小化源和目标数据分布之间的能量差来实现域不变的特征表示为目的，结合当前研究，提出一种使用残差注意力的域适应方法。

本发明实施例设计了一个改进残差网络结构Resnet，用来提高图像分类准确度的域适应模型。将原有残差块(Residuals)网络结构改成了左压缩激发注意力机制结构(Lift-Squeeze-and-Excitation_Attention，LSE_At)。并且在LSE_At中加入了压缩提取注意力模块(Squeeze-and-Excitation，SE)，SE模块通过一个权重矩阵，从通道域的角度赋予图像不同位置不同的权重，得到更重要的特征信息。

本发明实施例在Resnet主干网络中加入了卷积加注意力模块(ConvolutionalBlockAddAttentionModule，CBAAM)模块来加深特征提取，提高模型对图像特征提取的多样性和有效性,并使用批归一化层(BatchNormalization，BN)调整激活函数性能，避免过拟合，提高泛化性能。

本发明实施例提出的使用残差注意力的域适应方法中的图像识别模型结构主要包括特征提取网络和神经网络分类器，

本发明实施例提出的使用残差注意力的域适应方法中的图像识别模型结构主要包括特征提取网络和全连接层分类器，其中特征提取网络以加入卷积加注意力模块为基本框架，以LSE_At结构为基础块，加入批量归一化层来对输入图像进行特征提取。全连接层将特征提取得到的高维特征图映射成一维特征向量，可以转化为最终分类成各个类别的概率实现分类要求。该方法的最终目的是建立一个域适应的图像识别模型。

本发明实施例提供的一种使用残差注意力的域适应方法的实现原理图如图1所示。首先，在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集；接着将源域标记的数据集、目标域未标记的数据集以及选择的图片数据集共同作为输入数据输入到包括卷积加注意力模块和LSE_At结构的特征提取网络中进行特征提取，其次将得到的高维特征图通过全连接层映射成一维特征向量实现图像分类，并利用标准的负对数似然损失L_nll和所提出的自由能对齐损失来训练网络，最终得到一个精确度更高的域适应的图像识别模型。

结合上述三个本发明要解决的问题，对本发明实施例的图像识别模型的改进算法做如下解释。

1：设计LSE_At结构

在深度学习中，为了增强模型的学习能力，网络层会变得越来越深，但是随着深度的增加，也带来了一些问题。如网络退化，也就是说模型的学习能力达到了饱和，增加网络层数并不能提升精度了。为了解决网络退化问题，在本发明实施例中，提出了在残差块的基础上添加包含LSE_At注意力机制的另外一条左通路的想法。该通路通过自动学习的方式，获取特征图每个通道的重要程度，然后用这个重要程度去给每个特征赋予权重值，从而让神经网络重点关注某些特征通道，提取对当前任务有用的特征图的通道，抑制对当前任务用处不大的特征通道来提取输入图像的更多尺度特征。本发明实施例提供的一种LSE_At结构如图2所示。

2：提出卷积加注意力模块CBAAM

计算机视觉中能够把注意力聚集在图像重要区域而丢弃掉不相关的方法被称作注意力机制。注意力机制可以看做是对图像输入重要信息的动态选择过程，这个过程是由对于特征自适应权重实现的。注意力机制极大提升了计算机视觉任务的性能水平，比如在分类，目标检测，语义分割，人脸识别，动作识别，小样本检测等任务中发挥着重要作用。本发明提出一种混合注意力模块CBAAM能够序列化地在通道和空间两个维度上产生注意力特征图信息，并在原有的空间通道注意力的基础上，增加了原图在整个特征提取过程中的参与，弥合了特征提取时丢失原图信息的缺点。然后两种特征图信息与原图结合后在与之前原输入特征图进行相乘进行自适应特征修正，产生最后的特征图。CBAAM是一种轻量级的模块，可以嵌入到任何主干网络中提高网络的性能。本发明实施例提供的一种CBAAM模块的结构如图3所示,CBAAM模块中的全通道注意力(AChannel)和全空间注意力(ASpatial)模块结构图如图4所示。

(3)加入批量归一化层BN

神经网络最终是为了学习数据的分布，若每一批次训练的数据分布不同，神经网络则需要在这多个分布中寻找平衡点，导致神经网络很难收敛。而且在深层神经网络中，中间某一层的输入是其之前的神经层的输出，之前神经层的参数变化会导致其输入的分布发生较大的差异。利用随机梯度下降更新参数时，每次参数更新都会导致网络中间每一层的输入的分布发生改变。越深的层，其输入分布会改变的越明显(如高层大厦底部发生了微小偏移，楼层越高，偏移越严重)，这个问题被称为内部协变量偏移问题。为了解决内部协变量偏移问题，要使每一个神经层的输入分布在训练过程要保持一致，归一化处理就能解决这个问题。本发明引入BN归一化方法来处理LSE_At和CBAAM模块的数据分布，并利用BN层将参数的量级进行统一来更好的配置优化器的使用，防止过拟合、优化网络性能。

(4)神经网络结构

在主动域适应中，可以访问一个标记的源域S＝{(x_s，y_s)}(其中S代表源域数据集，x_s代表源域数据的图像，y_s代表源域数据的标签)和一个未标记的的目标域T＝{x_t}来自不同的网络。按照主动预适应的要求，需要选择远小于T量的β个活性样本进行注释。所以整个目标域由一个标记了的数据集T_l和一个未标记的数据集T_u组成，即T＝T_l∪T_u。在这项工作中，引入了一种基于能量的策略来选择最有价值的目标数据来帮助域适应。假设可以访问一个标记的源域S＝{(x_s，y_s)]和一个未标记的的目标域T＝{x_t}来自不同的网络。当训练(源)和测试(目标)数据来自不同的分布时，基于能量的模型会表现出自由能偏差。让E代表生成的网络模型，则源域的E_s和目标域的E_T的能量形式如式(1)所示：

要做的目标就是让通过源域训练的具有一个参数θ的神经网络E_s能在目标域E_T上有不错的泛化表现。本发明实施例提出的提出一种使用残差注意力的域适应方法的网络模型结构图如图5所示，Resnet分为5个Stage(阶段)，其中Stage0的结构比较简单，可以视其为对输入(Input)的预处理，后4个Stage都由Bottleneck(Resnet的基本组成块)组成，结构较为相似。Stage 1包含3个Bottleneck，剩下的3个Stage分别包括4个、6个、3个Bottleneck。最后将CBAAM块加到前3个stage块后面用于加强特征提取。

本发明实施例提出的提出一种使用残差注意力的域适应方法的处理流程图如图6所述，包括如下的处理步骤：

步骤S1：配置相应的运行环境。本发明训练模型使用Pytorch架构进行训练，开始训练模型时，需要配备相应的各种包。对于本发明，使用Python3.8并配置了新的虚拟环境。

步骤S2：准备用于训练模型的数据集，数据集包括高维的图像数据x_s和低维的标签数据y_s，以及用于测试的目标域数据集的高维图像X_t。本发明选用的源域数据集和目标数据集均为Office31和Vida2007数据集。

步骤S3：设置配置文件、下载预训练模型。除了设置整个系统的配置文件外，根据Office31、和Vida2007数据集的不同特点，分别设置了属于各自的配置文件，主要的不同是分类数。为了提高Resnet网络的利用率，选择下载相似领域内对本任务训练后的预训练模型参数用于本次训练的基础，以减少训练的运算量并将从开放领域学到的知识迁移到下游任务。

步骤S4：图像预处理和加载阶段。对输入图像进行大小的调整、随即裁剪、归一化等处理，以提高图像的可用性。之后将处理过的源域和目标域的的图像以及配置文件加载到模型内。

步骤S5；预训练阶段。将源域和目标域的图像特征以及标签输入到特征提取网络和全连接层分类器中进行一次模型的训练，得到一个预训练的识别模型。

步骤S6：载入学习率。给不同的分类任务设置各自的学习率，通过设置学习率指导模型如何通过损失函数的梯度调整网络权重的超参数，控制参数更新的速度。

步骤S7：进入域适应阶段。使用Office数据集的各个子数据集作为源域和目标域数据输入到网络模型中,利用公式：

求取各个子数据集的能量值，以便后续得到完整的学习目标损失函数。其中L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，τ是一个较低的值对应能量在空间上的分布。

步骤S8：利用公式L_fea(x；θ)＝max(0,E(x；θ))

设计一个正则化规则，其中L_fea是自由能对准损失，用来减少步骤S7中各个子数据集间的能量差，x代表图像输入，θ是要通过训练得到的参数，并利用公式：

计算出最终要用的损失函数和精度，其中L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，T_u为未标记的目标域数据集，γ是损失超参数。

步骤S9：记录模型训练的准确度。未达到设定的最大epoch(训练轮数)前，每5个epoch计算一次模型的准确度。

步骤S10：每轮模型更新结束，进入目标样本挑选阶段，每5个epoch进行一次目标样本挑选，若当前的epoch属于选择轮数中的数，则通过两次选择来获取更有价值的目标样本，标记后用于训练，提高泛化能力。根据公式(1)计算未标记的目标数据的能量值，选择自由能比较大的α₁％作为备选数据集，然后在备选数据集中根据公式U(x)＝E(x,y^*；θ)-E(x,y'；θ)计算其中差异比较大自由能的α₂％作为激活样本用于训练。

步骤S11：使用梯度下降法，反向传播，通过模型更新参数，更新学习的分类网络并生成网络的权重并保存。

步骤S12：将步骤S10挑选出的样本作为开始输入图像的目标样本输入网络中进行模型训练，可以提高模型的泛化。

步骤S13：计算各个域之间的损失函数和识别准确度，评估图像识别的适应效果。

步骤S14：循环执行步骤S4到步骤S14的处理过程50轮，相当于进行了50次模型训练，能够得到一个相对稳定的模型。为了得到最优的识别模型，分别对不同的数据集进行50、20次的循环训练，最终挑选出一个最优的训练模型。

步骤S15：保存记录的每轮损失、所挑选的目标图像和最终最优的网络模型。

步骤S16：结束整个过程。

综上所述，本发明实施例通过在构造该模型的过程中，通过最大最小能量差选择激活目标样本能够提高模型的泛化能力。设计的LSE_At和CBAAM的块结构的结合能帮助网络提取到更多、更重要的特征信息，提高域适应的准确度，结果如表1所示。引入常用的BN归一化方法来处理LSE_At和CBAAM模块的数据分布，并利用BN层将参数的量级进行统一来更好的配置优化器使用，防止过拟合、优化网络性能。选取Office数据集作为实验数据集进行模型训练，本发明提高了图像识别模型的域适应能力，改善了图像识别模型领域漂移现象。

表1：以5％目标样本为标签预算的Office-31和Vida2007的比较结果

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种使用残差注意力模块的域适应方法，其特征在于，包括：

在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集；

将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到包括卷积加注意力模块和LSE_At结构的特征提取网络，所述特征提取网络中提取所述输入数据的高维特征图；

将所述高维特征图通过全连接层分类器映射成一维特征向量，实现图像分类，利用负对数似然损失和自由能对齐损失训练验证所述图像分类的结果，根据验证结果调整所述特征提取网络和全连接层分类器的参数，利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型；

利用所述图像识别模型对待识别的图片数据集进行分类处理。

2.根据权利要求1所述的方法，其特征在于，所述的在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集，包括：

设置标记的源域S＝{(x_s，y_s)}，S代表源域数据集，x_s代表源域数据的图像，y_s代表源域数据的标签；

设置未标记的的目标域T＝{x_t}，目标域T由一个标记了的数据集T_l和一个未标记的数据集T_u组成，T＝T_l∪T_u，目标域T和源域S来自不同的网络，设E表示一种能量函数，则源域的能量形式E_s和目标域的能量形式E_T的能量形式如式1所示：

其中，S表示源域数据集，x_s代表源域数据的图像，y_s代表源域数据的标签，T表示目标域数据集，x_T代表目标域数据的图像，要做的目标就是让通过源域训练的一个神经网络模型，包括找到一个含有参数θ的能量函数E_s，能在图像分类时给正确答案最小的能量，并使得网络模型能在目标域T上有不错的泛化表现；

有了能量函数之后，将最低能量值的标签和次低能量标签的能量值之间的差值作为不确定性的度量，选取激活图片数据集，如式2所示：

U_(x)＝E(x,y^*；θ)-E(x,y′；θ) (2)

其中，U_(x)是最低能量值的标签和次低能量标签的能量值之间的差值,E表示一种能量函数，x代表源域数据的图像，y^*代表最低能量值的标签，y′表示次低能量标签，θ代训练参数。

3.根据权利要求1所述的方法，其特征在于，所述的将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到包括卷积加注意力模块和LSE_At结构的特征提取网络，所述特征提取网络中提取所述输入数据的高维特征图，包括：

将源域标记的数据集、目标域未标记的数据集和所述激活图片数据集共同作为输入数据，将所述输入数据输入到特征提取网络，特征提取网络通过LSE_At结构获取所述输入数据的高维特征图中各个通道的重要程度，根据各个通道的重要程度给高维特征图中的各个特征赋予权重值；

特征提取网络通过卷积加注意力模块序列化地在通道和空间两个维度上产生所述输入数据的注意力特征图信息，将通道和空间两个维度上的注意力特征图信息与原图结合后，再与各个特征的权重值进行相乘，通过自适应特征修正产生所述输入数据的高维特征图。

4.根据权利要求1所述的方法，其特征在于，所述的将所述高维特征图通过全连接层分类器映射成一维特征向量，实现图像分类，包括：将所述高维特征图输入到全连接层分类器，将全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，将全连接层转化为卷积核为h×w的全局卷积，h,w分别为前层卷积结果的高和宽，全连接的核心操作就是运算矩阵向量乘积后输出一个值，实现图像分类。

5.根据权利要求4所述的方法，其特征在于，所述的利用负对数似然损失和自由能对齐损失训练验证所述图像分类的结果，根据验证结果调整所述特征提取网络和全连接层分类器的参数，利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型，包括：

给不同的分类任务设置各自的学习率，将各个子数据集作为源域和目标域数据输入到特征提取网络和全连接层分类器构成的图像识别模型中，图像识别模型输出图像分类结果；

利用如下的负对数似然损失公式计算出各个子数据集的能量值：

L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，τ是一个较低的值对应能量在空间上的分布；

利用如下的自由能对齐损失训练公式计算出所述图像识别模型的损失函数的自由能对准损失；

L_fea(x；θ)＝max(0,E(x；θ))

L_fea是自由能对准损失，x代表图像输入，θ是要通过训练得到的参数，并利用公式：

计算出所述图像识别模型的损失函数和精度；

L_nll是负对数似然损失函数，x代表图像输入，y代表标签输入，θ是要通过训练得到的参数，T_u为未标记的目标域数据集，γ是损失超参数。

根据所述图像识别模型的损失函数和精度使用梯度下降法反向传播，调整所述特征提取网络和全连接层分类器的参数，循环执行上述处理过程设定轮次，得到最优的特征提取网络和全连接层分类器，利用最优的特征提取网络和全连接层分类器构成图像识别模型。

Images