CN112801209A - 基于双特长教师模型知识融合的图像分类方法及存储介质 - Google Patents

Abstract

本发明涉及一种基于双特长教师模型知识融合的图像分类方法及存储介质，其中图像分类方法包括：步骤1：通过调整训练数据分布分别对两个特长教师模型进行训练，获得双特长教师模型；步骤2：对于双教师模型的不同层特征采用基于注意力转移的逐层融合方式进行融合，训练时分别对教师模型和学生模型计算注意力特征图，通过注意力特征损失函数对学生模型的特征层进行约束；步骤3：采用选择性知识传递机制对教师模型特征进行选择性传递；步骤4：对双教师模型进行融合训练，获取目标模型；步骤5：使用步骤4获取的目标模型进行图像分类。与现有技术相比，本发明具有目标模型获取速度快、学生模型性能好等优点。

Description

基于双特长教师模型知识融合的图像分类方法及存储介质

技术领域

本发明涉及图像分类方法技术领域，尤其是涉及一种基于双特长教师模型知识融合的图像分类方法及存储介质。

背景技术

知识融合是由知识蒸馏衍生出的新的研究方向。传统的知识蒸馏通过教师模型-学生模型的训练范式，达到提升学生模型的训练精度、加快其收敛速度、压缩模型体积的目的。不同于传统的知识蒸馏，知识融合的研究重点在于多教师模型和学生模型之间多对一的知识传递，即将多个能力各异的教师模型相融合，得到一个兼具所有源模型任务能力的目标模型。

作为一个新兴方向，知识融合的相关研究还不广泛。目前，对于知识融合方法的研究主要集中于不同任务下的教师模型融合(即多个教师模型分别负责不同类型的任务，如图像分类、语义分割、平面法向量估计等)，或者异构教师模型的融合(即多个教师模型负责同一个任务但结构各异)，而对于特长教师模型融合方法则鲜有探究。所述特长教师模型是指：针对某一任务而言，存在多个可用的教师模型，而不同的教师模型受训练数据、训练方式等影响，其性能存在差异，即特长教师模型。图像分类是知识融合技术在实际应用落地的一个典型场景与领域。以图像分类任务为例，对于给定的图像分类任务，假设类别及类别数目确定，存在多个教师模型能够完成该分类任务，但是各个教师模型在不同的类别上分别存在各自擅长的分类领域，展示出性能上的优异，例如教师模型1更擅长猫分类，而教师模型2更擅长狗分类。

中国专利CN112199535A中公开了一种基于集成知识蒸馏的图像分类方法，该方法虽然使得学生模型从教师模型中学习知识变得简单，在一定程度上提高了学生模型的性能，但是该方法中的教师模型无差异，仅根据教师模型精度调节知识传递权重过于简单，并且获取目标模型时所需的时间较长，图像分类的精度也较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种目标模型获取速度快、性能好的基于双特长教师模型知识融合的图像分类方法及存储介质。

本发明的目的可以通过以下技术方案来实现：

一种基于双特长教师模型知识融合的图像分类方法，所述的图像分类方法包括：

步骤1：通过调整训练数据分布分别对两个特长教师模型进行训练，获得双特长教师模型；

步骤2：对于双教师模型的不同层特征采用基于注意力转移的逐层融合方式进行融合，训练时分别对教师模型和学生模型计算注意力特征图，通过注意力特征损失函数对学生模型的特征层进行约束；

步骤3：采用选择性知识传递机制对教师模型特征进行选择性传递；

步骤4：对双教师模型进行融合训练，获取目标模型；

步骤5：使用步骤4获取的目标模型进行图像分类。

优选地，所述的步骤1具体为：

按照类别信息将训练数据集均等且分为第一子数据集和第二子数据集，采样第一子数据集中的一半数据连同第二子数据集作为第一特长教师模型的训练数据；采样第二子数据集中的一半数据连同第一子数据集作为第二特长教师模型的训练数据；使用对应的训练数据分别对第一特长教师模型和第二特长教师模型进行训练。

更加优选地，所述的第一特长教师模型和第二特长教师模型均采用卷积神经网络的一般训练方式进行训练。

优选地，所述的步骤2具体为：

基于注意力转移的逐层融合方式将教师模型的特征层分组，每一组获得的特征组计算注意力特征图，通过注意力特征图计算注意力特征损失函数，通过注意力特征损失函数对学生模型的特征层进行约束；

注意力特征图的计算方法为：

其中，C为类别数，A_i为对应特征层的注意力特征图。

更加优选地，所述的注意力特征图的损失函数具体为：

其中，

为学生模型的注意力特征图，

为教师模型的注意力特征图，p为范数。

优选地，所述的步骤3具体为：

采用选择性知识传递机制，基于信息熵或几何中心对不同教师模型的特征进行加权，实现选择性知识传递；

所述的知识传递机制的选取方法为：

计算两种不同知识传递机制下的学生模型精度和收敛速度，选择模型精度高、收敛速度快的知识传递机制。

更加优选地，所述的基于信息熵的选择性知识传递机制具体为：

通过不同教师模型的Logits输出进行统一编码和信息熵计算，经过编码后的Logits信息熵计算方法为：

其中，C为类别数，p(x_i)为样本x_i对应其真实类别上的Logits输出值；

然后使用信息熵对每个源模型特征的表征能力进行量化评价，并作为两个源模型的融合权重。

更加优选地，所述的基于几何中心的选择性知识传递机制具体为：

利用特征与其类别几何中心的距离Dist^C量化评价不同源模型特征的表征效果，实现共享任务域的选择性融合；

Dist^C的计算方法为：

Dist^c＝||F_i-C^GM||₂

其中，F_i为样本对应的特征，C^GM为源模型的类中心，N为C类别下的样本数量。

优选地，所述的步骤4具体为：

采用双教师对比损失函数对双教师模型进行融合训练，该对比损失函数对于分类正确的样本，最小化其损失项，使教师模型与学生模型的特征接近，反之，若样本分类错误，则加以惩罚，使教师模型与学生模型的特征相互远离；

所述的对比损失函数具体为：

其中，y_i为第i个样本的分类结果，margin为损失正则阈值。

一种存储介质，所述的存储介质存储有上述任一项所述的基于双特长教师模型知识融合的图像分类方法。

与现有技术相比，本发明具有以下有益效果：

目标模型获取速度快，学生模型体量小、性能好：本发明中的图像分类方法以双特长教师模型为基础获取符合要求的学生模型，弥补了知识融合研究领域中多模型融合、任务域不对齐条件下的研究空白，相比于现有技术中单教师知识蒸馏的融合方式，能够更充分快速的发掘教师模型中所包含的知识，加快学生模型的获取速度，压缩模型体积的同时，进一步提高学生模型的性能，在CIFAR100数据集上学生模型(WRN-16-2)的图像分类精度可达74.31％，超过了普通单教师知识蒸馏所获得的学生模型，并且所获学生模型性能也优于特长教师，证明了所述知识传递机制的有效性和高效性。

附图说明

图1为本发明中图像分类方法的流程示意图；

图2为本发明实施例中教师模型的结构示意图；

图3为本发明实施例中教师模型的Block结构示意图；

图4为本发明实施例中在CIFAR100上的Resnet_16_2特长教师分类准确率示意图；

图5为本发明实施例中在CIFAR100上的Resnet_40_1特长教师分类准确率示意图；

图6为本发明实施例中在CIFAR100上的Resnet_40_2特长教师分类准确率示意图；

图7为本发明实施例中基于选择性知识传递机制的流程示意图；

图8为本发明实施例中基于信息熵的选择性知识传递机制的流程示意图；

图9为本发明实施例中基于注意力机制的逐层特征融合的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

一种基于双特长教师模型知识融合的图像分类方法，其流程如图1所示，包括：

步骤1：通过调整训练数据分布分别对两个特长教师模型进行训练，获得双特长教师模型，具体为：

按照类别信息将训练数据集均等且分为第一子数据集和第二子数据集，采样第一子数据集中的一半数据连同第二子数据集作为第一特长教师模型的训练数据；采样第二子数据集中的一半数据连同第一子数据集作为第二特长教师模型的训练数据；使用对应的训练数据分别对第一特长教师模型和第二特长教师模型进行训练；

第一特长教师模型和第二特长教师模型均采用卷积神经网络的一般训练方式进行训练；

步骤2：对于双教师模型的不同层特征采用基于注意力转移的逐层融合方式进行融合，具体为：

基于注意力转移的逐层融合方式将教师模型的特征层分组，每一组获得的特征组计算注意力特征图，通过注意力特征图计算注意力特征损失函数，通过注意力特征损失函数对学生模型的特征层进行约束；

注意力特征图的计算方法为：

其中，C为类别数，A_i为对应特征层的注意力特征图；

注意力特征图的损失函数具体为：

其中，

为学生模型的注意力特征图，

为教师模型的注意力特征图，p为范数，本实施例中p的取值为2；

步骤3：采用选择性知识传递机制对教师模型特征进行选择性传递，具体为：

采用选择性知识传递机制，基于信息熵或几何中心对不同教师模型的特征进行加权，实现选择性知识传递；

所述的知识传递机制的选取方法为：

计算两种不同知识传递机制下的学生模型精度和收敛速度，选择模型精度高、收敛速度快的知识传递机制；

基于信息熵的选择性知识传递机制具体为：

通过不同教师模型的Logits输出进行统一编码和信息熵计算，经过编码后的Logits信息熵计算方法为：

其中，C为类别数，p(x_i)为样本x_i对应其真实类别上的Logits输出值；

然后使用信息熵对每个源模型特征的表征能力进行量化评价，并作为两个源模型的融合权重。

基于几何中心的选择性知识传递机制具体为：

利用特征与其类别几何中心的距离Dist^C量化评价不同源模型特征的表征效果，实现共享任务域的选择性融合；

Dist^C的计算方法为：

Dist^c＝||F_i-C^GM||₂

其中，F_i为样本对应的特征，C^GM为源模型的类中心，N为C类别下的样本数量。

步骤4：对双教师模型进行融合训练，获取目标模型，具体为：

采用双教师对比损失函数对双教师模型进行融合训练，该对比损失函数对于分类正确的样本，最小化其损失项，使教师模型与学生模型的特征接近，反之，若样本分类错误，则加以惩罚，使教师模型与学生模型的特征相互远离；

所述的对比损失函数具体为：

其中，y_i为第i个样本的分类结果，margin为损失正则阈值；

步骤5：使用步骤4获取的目标模型进行图像分类。

本实施例还涉及一种存储介质，该存储介质内存储有上述任一项图像分类方法。

下面提供一种具体的实施方式：

步骤1：双特长教师模型的获取

基于CIFAR100图像分类数据集开展所述方法的有效性验证。该数据集包含100个类别共60k个样本，训练集与测试集划分比例为5:1，首先通过调整数据集分布获取双特长教师模型。在构建训练子集时，前50个类别随机采样50％样本与其余50类的所有样本构成子集1，同理，后50个类别随机采样50％样本与其余50类的所有样本构成子集2。基于构建的子集，分别训练特长教师模型。如图4、图5和图6所示，图中展示了教师模型在前一半类别和后一半类别上的平均准确率，并且在对应类别中出现了明显的性能差异。

本实施例中，教师模型搭建自Wide Resnet系列模型(下简称WRN)，是一种常用于图像类任务的卷积神经网络。WRN由一些列相同的卷积模块组(Group)组成，每个Group由N个卷积模块(Block)构成，每个Block则是由两个卷积层组成的基础模块，如图3所示。其中，N称为深度拓展倍率，其卷积层的通道数则是由通道拓展倍率k决定的，其模型结构示意图如图2所示。本实施例采用WRN_16_2、WRN_40_1、WRN_40_2三种模型，均由三个Group组成以WRN_40_2为例，它代表层数为40、通道拓展2倍的WRN模型。

步骤2：基于注意力特征图的知识融合

本实施例中，融合的双教师模型具有相同的模型结构，分别对应的学生模型WRN_16_1、WRN_16_1、WRN_16_2与教师模型的Group数量相同。因此，知识融合在对应Group输出的特征组间展开。具体的融合方法采用基于注意力特征图的方式，如图9所示，对于某一中间特征组F^H×W×C，计算注意力特征图A^H×W，本实施例采用的计算方式为加和，即对于特征图F^{H ×W×C}中每个位置上的元素按通道加和，具体的计算公式如下：

基于注意力特征图的损失项定义为教师模型与学生模型对应特征组(Group)间注意力特征图的二范数，对于双教师模型而言，损失函数分别计算后加和。

步骤3：基于信息熵的选择性知识传递

本实施例中采用基于信息熵的知识传递机制，对步骤3中计算的学生模型与两个教师模型的损失项进行加权。具体地，对于教师模型的Logits层输出，选取对应样本类别的预测置信度作为损失项的权重，具体计算公式如下。

利用上式计算的权重，分别对双教师模型的损失项进行加权，加权后的损失函数如下式所示：

本实施例考虑三个特征组的约束。其中，A代表教师或学生模型对应特征组的注意力特征图，H代表置信度权重。可以看出，教师模型的输出预测置信度越高，则特征的融合比例相应越高。基于选择性知识传递机制的流程示意图如图7所示，基于信息熵的选择性知识传递机制的原理示意图如图8所示。

步骤4：计算对比损失项

本实施例在基于信息熵的选择性知识传递基础上，进一步引入对比损失项，对分类错误的模型所提供的特征进行正则。具体原理为：对于分类正确的样本，最小化对比损失项，使教师与学生模型的特征接近；反之，若样本分类错误，则在一定程度上加大损失项，使教师与学生模型的特征相互远离。对比损失的计算公式如下：

其中，d为对应的教师模型与学生模型注意力特征图损失，y_i为分类结构(分类正确则为1)，margin为损失正则阈值。若当前教师模型分类正确(y_i＝1)，则对d进行正则，希望特征距离减小；若分类错误(y_i＝0)，在margin范围内对-d进行正则，希望特征距离在一定范围内扩大。

最终的损失函数包含分类的交叉熵函数和双教师的对比损失，具体为：

Loss＝Loss_{clsaaification}+β(Loss_{contrastive-T1}+Loss_{contrastive-T2})

本实施例根据上述步骤实施基于信息熵的双教师知识融合。表1展示了WRN_16_2和WRN_40_2作为教师模型、WRN_16_1和WRN_16_2作为学生模型的融合结果。其中，“单教师AT”表示仅使用普通的教师模型进行知识蒸馏，“信息熵加权”表示本发明中基于信息熵加权的融合方式，“对比学习”表示在信息熵加权的基础上加入对比损失项。从融合结果中可以看出，本发明提出的基于信息熵的双教师知识融合方法相比于仅使用单教师的融合方式有一定的性能提升，而在加入基于对比学习的损失项后性能有进一步提升，验证了该方法的有效性。

表1融合结果对比

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的图像分类方法包括：

步骤1：通过调整训练数据分布分别对两个特长教师模型进行训练，获得双特长教师模型；

步骤2：对于双教师模型的不同层特征采用基于注意力转移的逐层融合方式进行融合，训练时分别对教师模型和学生模型计算注意力特征图，通过注意力特征损失函数对学生模型的特征层进行约束；

步骤3：采用选择性知识传递机制对教师模型特征进行选择性传递；

步骤4：对双教师模型进行融合训练，获取目标模型；

步骤5：使用步骤4获取的目标模型进行图像分类。

2.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤1具体为：

按照类别信息将训练数据集均等且分为第一子数据集和第二子数据集，采样第一子数据集中的一半数据连同第二子数据集作为第一特长教师模型的训练数据；采样第二子数据集中的一半数据连同第一子数据集作为第二特长教师模型的训练数据；使用对应的训练数据分别对第一特长教师模型和第二特长教师模型进行训练。

3.根据权利要求2所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的第一特长教师模型和第二特长教师模型均采用卷积神经网络的一般训练方式进行训练。

4.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤2具体为：

基于注意力转移的逐层融合方式将教师模型的特征层分组，每一组获得的特征组计算注意力特征图，通过注意力特征图计算注意力特征损失函数，通过注意力特征损失函数对学生模型的特征层进行约束；

注意力特征图的计算方法为：

F:R^C×H×W→R^H×W

其中，C为类别数，A_i为对应特征层的注意力特征图。

5.根据权利要求4所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的注意力特征图的损失函数具体为：

其中，

为学生模型的注意力特征图，

为教师模型的注意力特征图，p为范数。

6.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤3具体为：

采用选择性知识传递机制，基于信息熵或几何中心对不同教师模型的特征进行加权，实现选择性知识传递；

所述的知识传递机制的选取方法为：

计算两种不同知识传递机制下的学生模型精度和收敛速度，选择模型精度高、收敛速度快的知识传递机制。

7.根据权利要求4所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的基于信息熵的选择性知识传递机制具体为：

通过不同教师模型的Logits输出进行统一编码和信息熵计算，经过编码后的Logits信息熵计算方法为：

其中，C为类别数，p(x_i)为样本x_i对应其真实类别上的Logits输出值；

然后使用信息熵对每个源模型特征的表征能力进行量化评价，并作为两个源模型的融合权重。

8.根据权利要求4所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的基于几何中心的选择性知识传递机制具体为：

利用特征与其类别几何中心的距离Dist^C量化评价不同源模型特征的表征效果，实现共享任务域的选择性融合；

Dist^C的计算方法为：

Dist^c＝||F_i-C^GM||₂

其中，F_i为样本对应的特征，C^GM为源模型的类中心，N为C类别下的样本数量。

9.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤4具体为：

采用双教师对比损失函数对双教师模型进行融合训练，该对比损失函数对于分类正确的样本，最小化其损失项，使教师模型与学生模型的特征接近，反之，若样本分类错误，则加以惩罚，使教师模型与学生模型的特征相互远离；

所述的对比损失函数具体为：

其中，y_i为第i个样本的分类结果，margin为损失正则阈值。

10.一种存储介质，其特征在于，所述的存储介质存储有权利要求1～9任一项所述的基于双特长教师模型知识融合的图像分类方法。

Images