CN108549937A - 一种检测网络的知识迁移方法及装置 - Google Patents

Abstract

本发明公开了一种检测网络的知识迁移方法及装置，通过所述训练样本监督第一神经网络模型进行训练后，先根据第一神经网络的目标窗口与标记窗口的重叠度，分别提取分类和检测的有效知识，之后让小模型学习，其次，联合小模型在训练集上的监督，进行联合训练，解决了现有技术中，用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

Description

一种检测网络的知识迁移方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种检测网络的知识迁移方法及装置。

背景技术

检测网络的知识迁移方法是将神经网络大模型的特征迁移到小模型上，使小模型学习到大模型的特征，同时拥有小体积、速度快的特点，能够运用在嵌入式低端设备中。该技术可广泛用于人脸、虹膜、手掌等目标检测任务中，应用领域广泛，如考勤机、人脸识别sdk，人脸抓拍摄像机等产品和行业，目前，该技术主要为：Hinton提出的KnowledgeDistill，Romero提出的FitNets，Sergey提出的Attention Transfer，其中，KnowledgeDistill是让小模型想学习大模型输出的概率分布，而不是学习训练集中one-hot label；FitNets不仅学习大模型的最终结果，还让小模型学习大模型的中间层，也就是所谓的hinttraining；Attention Transfer则是将大模型的注意力图转移到小网络中，KnowledgeDistill，FitNets和Attention Transfer是用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

发明内容

本发明提供了一种检测网络的知识迁移方法，包括：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，其中，所述第一神经网络模型为大模型；

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识；

将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，所述第二神经网络模型为小模型。

可选地，，获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练具体包括：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，所述训练的第一目标函数具体为：

其中，p_i为所述预测值，t_i为所述坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为Cross Entropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值。

可选地，使用训练样本，进行第一神经网络和第二神经网络的联合训练具体包括：

使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，训练的第二目标函数如下：

其中，L为所述第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识。

可选地，获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识具体包括：

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识。

可选地，所述预设值大于或等于0.3且小于1。

本发明提供的一种检测网络的知识迁移装置，包括：

第一获取模块，用于获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，其中，所述第一神经网络模型为大模型；

第二获取模块，用于获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识；

第一训练模块，用于将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，所述第二神经网络模型为小模型。

可选地，所述第一获取模块具体用于：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，所述训练的第一目标函数具体为：

其中，p_i为所述预测值，t_i为所述坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为Cross Entropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值。

可选地，所述第一训练模块，具体用于：

将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，训练的第二目标函数如下：

其中，L为所述第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识，其中，所述第二神经网络模型为小模型。

可选地，所述第二获取模块，具体用于：

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识。

可选地，所述第二获取模块，具体用于：

获取到目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识，其中，所述预设值大于或等于0.3且小于1。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的一种检测网络的知识迁移方法，包括：获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，其中，所述第一神经网络模型为大模型；获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识；将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，所述第二神经网络模型为小模型。

本发明中，通过所述训练样本监督第一神经网络模型进行训练后，先根据第一神经网络的目标窗口与标记窗口的重叠度，分别提取分类和检测的有效知识，之后让小模型学习，其次，联合小模型在训练集上的监督，进行联合训练，解决了现有技术中，用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的一种检测网络的知识迁移方法的一个实施例的流程示意图；

图2为本发明提供的一种检测网络的知识迁移方法的另一个实施例的流程示意图；

图3为本发明提供的一种检测网络的知识迁移装置的一个实施例的结构示意图。

具体实施方式

本发明实施例提供了一种检测网络的知识迁移方法及装置，解决了现有技术中，用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供了一种检测网络的知识迁移方法的一个实施例，包括：

步骤S101：获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，其中，第一神经网络模型为大模型；

当需要进行检测网络的知识迁移时，需要获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，其中，第一神经网络模型为大模型；

需要说明的是，第一神经网络模型相较于第二神经网络模型，可以是更为复杂，具有更多信息的模型，第一神经网络模型相较于第二神经网络模型为根据训练样本设计得到的；

可选地，训练的第一目标函数具体为：

其中，p_i为预测值，t_i为坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为CrossEntropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值；

步骤S102：获取到第一神经网络的目标窗口与标记窗口的重叠度，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；

在获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练之后，需要获取到第一神经网络的目标窗口与标记窗口的重叠度，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；

其中，目标窗口为第一神经网络的输出窗口；标记窗口即标签，包含在准备好的训练样本中(即训练样本包含了：样本和标签)；

步骤S103：将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型。

在获取到第一神经网络的目标窗口与标记窗口的重叠度，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识之后，需要将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型；

在人脸检测方面，本发明实施例提供的方法在压缩模型大小，加快运算速度的同时，尽可能的减小了精度损失，适用于嵌入式设备中，而且该方法具有通用性，适用于其他目标检测的模型压缩；

可选地，训练的第二目标函数如下：

其中，L为第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识；

本发明实施例中，获取到训练样本，包括样本与标记窗口，通过获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，其中，第一神经网络模型为大模型；获取到第一神经网络的目标窗口与标记窗口的重叠度，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型，本发明实施例在通过训练样本监督第一神经网络模型进行训练后，先根据第一神经网络的目标窗口与标记窗口的重叠度，分别提取分类和检测的有效知识，之后让小模型学习，其次，联合小模型在训练集上的监督，进行联合训练，解决了现有技术中，用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

参照图2，本发明提供的一种检测网络的知识迁移方法的另一个实施例，包括：

步骤S201：获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，其中，训练的第一目标函数具体为：

其中，p_i为预测值，t_i为坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为CrossEntropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值；

当需要进行检测网络的知识迁移时，需要获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练；

步骤S202：获取到第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；

在获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，其中之后，需要获取到第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；

可选地，预设值可以大于或等于0.3且小于1，例如预设值取值为0.35；

步骤S203：将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型，其中，训练的第二目标函数如下：

其中，L为第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识；

在获取到第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识之后，需要将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型；

本发明实施例包括：获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练；获取到第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识；将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，第二神经网络模型为小模型，本发明实施例中，在通过所述训练样本监督第一神经网络模型进行训练后，先根据第一神经网络的目标窗口与标记窗口的重叠度，分别提取分类和检测的有效知识，之后让小模型学习，其次，联合小模型在训练集上的监督，进行联合训练，解决了现有技术中，用小模型对大模型的特征图或目标的整体进行知识迁移，存在着小模型精度损失大的技术问题。

以上是对一种检测网络的知识迁移方法的另一个实施例进行的描述，下面将对一种检测网络的知识迁移装置的一个实施例进行描述。

参照图3，本发明提供的一种检测网络的知识迁移装置的一个实施例，包括：

第一获取模块301，用于获取到训练样本，包括样本与标记窗口，通过训练样本监督第一神经网络模型进行训练，训练的第一目标函数具体为：

其中，p_i为预测值，t_i为坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为CrossEntropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值；

第二获取模块302，用于获取到第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据重叠度提取第一神经网络模型的分类有效知识和检测有效知识，其中，预设值大于或等于0.3且小于1；

第一训练模块303，将分类有效知识和检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，训练的第二目标函数如下：

其中，L为第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识，其中，第二神经网络模型为小模型。

本实施例中的具体实施方式已在上述实施例中说明，这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，系统和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种检测网络的知识迁移方法，其特点在于，包括：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，其中，所述第一神经网络模型为大模型；

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识；

将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，所述第二神经网络模型为小模型。

2.根据权利要求1所述的检测网络的知识迁移方法，其特征在于，获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练具体包括：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，所述训练的第一目标函数具体为：

其中，p_i为所述预测值，t_i为所述坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为CrossEntropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值。

3.根据权利要求2所述的检测网络的知识迁移方法，其特征在于，使用训练样本，进行第一神经网络和第二神经网络的联合训练具体包括：

使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，训练的第二目标函数如下：

其中，L为所述第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识。

4.根据权利要求3所述的检测网络的知识迁移方法，其特征在于，获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识具体包括：

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识。

5.根据权利要求4所述的检测网络的知识迁移方法，其特征在于，所述预设值大于或等于0.3且小于1。

6.一种检测网络的知识迁移装置，其特点在于，包括：

第一获取模块，用于获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，其中，所述第一神经网络模型为大模型；

第二获取模块，用于获取到所述第一神经网络的目标窗口与标记窗口的重叠度，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识；

第一训练模块，用于将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，所述第二神经网络模型为小模型。

7.根据权利要求6所述的检测网络的知识迁移装置，其特征在于，所述第一获取模块具体用于：

获取到训练样本，包括样本与标记窗口，通过所述训练样本监督第一神经网络模型进行训练，所述训练的第一目标函数具体为：

其中，p_i为所述预测值，t_i为所述坐标，p_i ^*为真实值标签，t_i ^*真实值坐标，L_cls为CrossEntropy函数，L_reg为smooth L1损失函数，i为预测值个数，N_cls为每个批次训练中正负样本的总数，N_reg为每个批次训练中正样本的数量，λ₁和λ₂为权重值。

8.根据权利要求7所述的检测网络的知识迁移装置，其特征在于，所述第一训练模块，具体用于：

将所述分类有效知识和所述检测有效知识迁移到第二神经网络，并使用训练样本，进行第一神经网络和第二神经网络的联合训练，其中，训练的第二目标函数如下：

其中，L为所述第一目标函数，λ₃、λ₄、λ₅和λ₆为超参数，f为mean squared函数，为小模型的分类有效知识，为大模型的分类有效知识，为小模型的检测有效知识，为大模型的检测有效知识，其中，所述第二神经网络模型为小模型。

9.根据权利要求8所述的检测网络的知识迁移装置，其特征在于，所述第二获取模块，具体用于：

获取到所述第一神经网络的目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识。

10.根据权利要求9所述的检测网络的知识迁移装置，其特征在于，所述第二获取模块，具体用于：

获取到目标窗口与标记窗口的重叠度，将重叠度不大于预设值的所述第一神经网络模型的分类有效知识和检测有效知识赋值为零，并根据所述重叠度提取所述第一神经网络模型的分类有效知识和检测有效知识，其中，所述预设值大于或等于0.3且小于1。