CN112348110B - 模型训练及图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种模型训练及图像处理方法、装置、电子设备和存储介质，模型训练方法包括：获取多个类别的样本图像；利用样本图像对预设的教师模型进行训练，得到预训练的教师模型；对样本图像中不同类别的图像均衡采样，得到采样的样本图像；利用采样的样本图像对预设的学生模型训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

Description

模型训练及图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种模型训练及图像处理方法、装置、电子设备和存储介质。

背景技术

图像分类问题是计算机视觉领域的常见问题，通常采用训练好的图像分类模型实现图像分类。在训练图像分类模型的过程中，采集到的样本图像往往是不平衡的，长尾的，即一些类别可以采集到大量样本图像，另一些类别只能采集到极少的样本图像。

目前，为了缓解样本图像不均衡对图像分类模型产生的影响，可以基于样本的采样方式进行样本图像的采样，从而提高图像分类模型的网络特征学习能力，也可以基于类别的采样方式进行样本图像的采样，从而提高图像分类模型的分类能力。然而，在使用一种采样方式提升一方面能力的同时，必然会牺牲另一方面的能力，使得图像分类模型的精度较低。

发明内容

本公开实施例期望提供一种模型训练及图像处理方法、装置、电子设备和存储介质。

本公开实施例的技术方案是这样实现的：

本公开实施例提供了一种模型训练方法，所述训练方法包括：

获取多个类别的样本图像；

利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型；

对所述样本图像中不同类别的图像均衡采样，得到采样的样本图像；

利用所述采样的样本图像和对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到预训练的教师模型。

在上述训练方法中，所述利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：

利用所述样本图像对所述预设的教师模型进行训练；

将训练得到的模型确定为所述预训练的教师模型；其中，所述预训练的教师模型与所述多个类别对应。

在上述训练方法中，所述利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：

将所述样本图像中属于同一类别的图像划分为一组，得到多组图像；

统计所述多组图像中每组的图像数量；

根据所述图像数量，将所述多组图像中满足同一预设数量条件的图像组划分到一个集合中，得到多个图像集；

利用所述多个图像集中的每个图像集分别训练所述预设的教师模型，得到多个分类模型；其中，所述多个分类模型中每个分类模型与所述多个图像集中对应图像集包含的样本图像的类别对应；

将所述多个分类模型确定为所述预训练的教师模型。

在上述训练方法中，所述利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型，包括：

根据所述预训练的教师模型，确定目标教师模型；

将所述采样的样本图像在所述目标教师模型中进行前向传输，得到第一网络特征，并将所述采样的样本图像在所述预设的学生模型中进行前向传输，得到第二网络特征；

计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息；

基于所述第一损失信息对所述预设的学生模型进行调整，得到所述训练后的学生模型。

在上述训练方法中，所述根据所述预训练的教师模型，确定目标教师模型，包括：

在所述预训练的教师模型包括分别与所述多个类别中不同类别对应的多个分类模型的情况下，将所述多个分类模型中，与所述采样的样本图像的类别对应的模型确定为所述目标教师模型；

在所述预训练的教师模型为与所述多个类别对应的一个分类模型的情况下，将所述预训练的教师模型确定为所述目标教师模型。

在上述训练方法中，所述计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息，包括：

获取与采样的样本图像的类别对应的所述预设的学生模型的网络特征通道响应分布信息；

根据所述网络特征通道响应分布信息，从所述预设的学生模型的网络特征通道中选取出第一网络特征通道，并从所述目标教师模型中选取出与所述第一网络特征通道对应的第二网络特征通道；

从所述第一网络特征中选取通过所述第一网络特征通道提取的第一目标特征，并从所述第二网络特征中选取通过所述第二网络特征通道提取的第二目标特征；

计算所述第一目标特征和所述第二目标特征之间的损失信息，得到所述第一损失信息。

在上述训练方法中，所述基于所述第一损失信息对所述预设的学生模型进行调整，得到所述训练后的学生模型，包括：

获取预设的与所述采样的样本图像对应的标准网络特征；

计算所述标准网络特征和所述第二网络特征之间的损失信息，得到第二损失信息；

基于所述第一损失信息和所述第二损失信息联合对所述预设的学生模型进行调整，得到所述训练后的学生模型。

本公开实施例提供了一种图像处理方法，包括：

获取待处理图像；

利用训练后的学生模型对所述待处理图像进行图像分类，得到所述待处理图像的图像分类结果；其中，所述训练后的学生模型是通过上述模型训练方法训练得到的。

本公开实施例提供了一种模型训练装置，包括：

样本获取模块，用于获取多个类别的样本图像；

模型训练模块，用于利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型；

图像采样模块，用于对所述样本图像中不同类别的图像均衡采样，得到采样的样本图像；

所述模型训练模块，还用于利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

在上述训练装置中，所述模型训练模块，具体用于利用所述样本图像对所述预设的教师模型进行训练；将训练得到的模型确定为所述预训练的教师模型；其中，所述预训练的教师模型与所述多个类别对应。

在上述训练装置中，所述模型训练模块，具体用于将所述样本图像中属于同一类别的图像划分为一组，得到多组图像；统计所述多组图像中每组的图像数量；根据所述图像数量，将所述多组图像中满足同一预设数量条件的图像组划分到一个集合中，得到多个图像集；利用所述多个图像集中的每个图像集分别训练所述预设的教师模型，得到多个分类模型；其中，所述多个分类模型中每个分类模型与所述多个图像集中对应图像集包含的样本图像的类别对应；将所述多个分类模型确定为所述预训练的教师模型。

在上述训练装置中，所述模型训练模块，具体用于根据所述预训练的教师模型，确定目标教师模型；将所述采样的样本图像在所述目标教师模型中进行前向传输，得到第一网络特征，并将所述采样的样本图像在所述预设的学生模型中进行前向传输，得到第二网络特征；计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息；基于所述第一损失信息对所述预设的学生模型进行调整，得到所述训练后的学生模型。

在上述训练装置中，所述模型训练模块，具体用于在所述预训练的教师模型包括分别与所述多个类别中不同类别对应的多个分类模型的情况下，将所述多个分类模型中，与所述采样的样本图像的类别对应的模型确定为所述目标教师模型；在所述预训练的教师模型为与所述多个类别对应的一个分类模型的情况下，将所述预训练的教师模型确定为所述目标教师模型。

在上述训练装置中，所述模型训练模块，具体用于获取与所述采样的样本图像的类别对应的所述预设的学生模型的网络特征通道响应分布信息；根据所述网络特征通道响应分布信息，从所述预设的学生模型的网络特征通道中选取出第一网络特征通道，并从所述目标教师模型中选取出与所述第一网络特征通道对应的第二网络特征通道；从所述第一网络特征中选取通过所述第一网络特征通道提取的第一目标特征，并从所述第二网络特征中选取通过所述第二网络特征通道提取的第二目标特征；计算所述第一目标特征和所述第二目标特征之间的损失信息，得到所述第一损失信息。

在上述训练装置中，所述模型训练模块，具体用于获取预设的与所述采样的样本图像对应的标准网络特征；计算所述标准网络特征和所述第二网络特征之间的损失信息，得到第二损失信息；基于所述第一损失信息和所述第二损失信息联合对所述预设的学生模型进行调整，得到所述训练后的学生模型。

本公开实施例提供了一种图像处理装置，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于利用训练后的学生模型对所述待处理图像进行图像识别，得到所述待处理图像的图像分类结果；其中，所述训练后的学生模型是通过上述模型训练方法训练得到的。

本公开实施例提供了一种电子设备，包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的一个或多个程序，以实现上述模型训练方法，以及上述图像处理方法。

本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述模型训练方法，以及上述图像处理方法。

本公开实施例提供了一种模型训练方法，包括：获取多个类别的样本图像；利用样本图像对预设的教师模型进行训练，得到预训练的教师模型；对样本图像中不同类别的图像均衡采样，得到采样的样本图像；利用采样的样本图像对预设的学生模型进行训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型。本公开实施例提供的模型训练方法，利用特征提取能力优秀的模型和基于类别均衡采样的图像采样方式，进行预设的学生模型的训练，使训练后的学生模型同时具备良好的特征提取能力和分类能力，从而提高了模型的精度。

附图说明

图1为本公开实施例提供的一种模型训练方法的流程示意图；

图2为本公开实施例提供的一种示例性的模型训练的过程示意图；

图3为本公开实施例提供的一种图像处理方法的流程示意图；

图4为本公开实施例提供的一种图像处理模型的训练装置的结构示意图；

图5为本公开实施例提供的一种图像处理装置的结构示意图；

图6为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

本公开实施例提供了一种模型训练方法，其执行主体可以是模型训练装置，例如，训练方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图1为本公开实施例提供的一种模型训练方法的流程示意图。如图1所示，模型训练方法主要包括以下步骤：

S101、获取多个类别的样本图像。

在本公开的实施例中，模型训练装置可以先获取到多个类别的样本图像。

需要说明的是，在本公开的实施例中，多个类别可以根据实际需求进行选择，针对每个不同类别，可以分别获取对应的样本图像。其中，每个类别的样本图像的数量，根据实际采集的难以度存在一定的差异，即不同类别的图像的数量往往是不平衡的，存在长尾现象。例如，针对一些类别可以采集到大量样本图像，针对另一些类别只能采集到几张样本图像。具体的多个类别和样本图像本公开实施例不作限定。

需要说明的是，在本公开的实施例中，样本图像可以是模型训练装置采集到的，也可以是独立的摄像头、服务器或者云端等设备获取到，并进一步传输给模型训练装置的图像。具体的样本图像的来源本公开实施例不作限定。

S102、利用样本图像对预设的教师模型进行训练，得到预训练的教师模型。

在本公开的实施例中，模型训练装置在得到样本图像之后，即可利用样本图像对预设的教师模型进行训练，得到预训练的教师模型。

需要说明的是，在本公开的实施例中，预设的教师模型可以为预先选择的某一类型的神经网络，具体的预设的教师模型可以根据实际需求确定，本公开实施例不作限定。

需要说明的是，在本公开的实施例中，模型训练装置可以直接利用样本图像对预设的教师模型进行模型训练，从而得到一个训练后的分类模型，该模型即可确定为预训练的教师模型。此外，模型训练装置还可以将样本图像基于不同类别的图像数量进行集合划分，利用划分的每个图像集分别独立的对预设的教师模型进行训练，从而将训练得到的全部分类模型确定为预训练的教师模型。

具体地，在本公开的实施例中，模型训练装置利用样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：利用样本图像对预设的教师模型进行训练；将训练得到的模型确定为预训练的教师模型。

需要说明的是，在本公开的实施例中，针对样本图像中不同类别的图像分布不均衡，即存在长尾现象的问题，在直接利用样本图像训练预设的教师模型的情况下，可以使用开放长尾识别(Open Long-Tailed Recognition，OLTR)等算法，以提升稀少类别的学习精度。

具体地，在本公开的实施例中，模型训练装置利用样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：将样本图像中属于同一类别的图像划分为一组，得到多组图像；统计多组图像中每组的图像数量；根据图像数量，将多组图像中满足同一预设数量条件的图像组划分到一个集合中，得到多个图像集；利用多个图像集中的每个图像集分别训练预设的教师模型，得到多个分类模型；其中，多个分类模型中每个分类模型与多个图像集中对应图像集包含的样本图像的类别对应；将多个分类模型确定为预训练的教师模型。

需要说明的是，在本公开的实施例中，模型训练装置中可以存储有多个预设数量条件。由于每个类别的样本图像的数量是分布不均衡的，因此，可以根据样本图像中每个类别的样本图像的数量，预设一系列的数量阈值作为预设数量条件。具体的预设数量条件本公开实施例不作限定。

示例性的，在本公开的实施例中，设定2个阈值20和100，之后，模型训练装置可以将多组图像中，图像数量大于100的图像组划分到第一集合中，将图像数量在20至100之间的图像组划分到第二集合中，将图像数量小于20的图像组划分到第三集合中。也就是说，第一集合包括的每个类别的样本图像的数量均大于100，第二集合包括的每个类别的样本图像的数量在20至100之间，第三集合包括的每个类别的样本图像的数量小于20。

需要说明的是，在本公开的实施例中，模型训练装置在将样本图像划分成多个图像集之后，即可利用每个图像集分别训练预设的教师模型，从而得到相应的分类模型。

可以理解的是，在本公开的实施例中，模型在训练装置采用多个图像集分别进行预设的教师模型训练的情况下，训练得到的每一个分类模型在其所利用的图像集涵盖的图像类别上，都具有优秀的特征提取能力，即针对相应的图像类别学习到了优秀的网络特征。

S103、对样本图像中不同类别的图像均衡采样，得到采样的样本图像。

在本公开的实施例中，模型训练装置在获取到样本图像之后，可以对样本图像中不同类别的图像均衡采样，得到采样的样本图像。

示例性的，在本公开的实施例中，模型训练装置可以从样本图像中，针对多个类别中的每个类别选取相同数量的样本图像，从而将每个选取出的样本图像确定为采样的样本图像。

需要说明的是，在本公开的实施例中，模型训练装置可以抽取出大量的样本图像作为采样的样本图像，其中，不同类别的采样的样本图像的数量是基本相同的。

可以理解的是，在本公开的实施例中，模型训练装置可以使用基于类别的采样方式对样本图像进行采样，即每个类别的样本图像具有相同的概率被选中，而与每个类别的样本图像的数量无关，从而在利用采样的样本图像进行后续模型训练的过程中，有效的提升模型的分类能力。

S104、利用采样的样本图像对预设的学生模型进行训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

在本公开的实施例中，模型训练装置在得到采样的样本图像之后，即可利用采样的样本图像对预设的教师模型进行训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

需要说明的是，在本公开的实施例中，在步骤S103中，模型训练装置抽取出的样本图像，即采样的样本图像可以有很多，模型训练装置可以利用每个采样的样本图像分别对预设的学生模型进行训练。

具体地，在本公开的实施例中，模型训练装置利用采样的样本图像对预设的学生模型进行训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型，包括：根据预训练的教师模型，确定目标教师模型；将采样的样本图像在目标教师模型中进行前向传输，得到第一网络特征，并将采样的样本图像在预设的学生模型中进行前向传输，得到第二网络特征；计算第一网络特征和第二网络特征之间的损失信息，得到第一损失信息；基于第一损失信息对预设的学生模型进行调整，得到训练后的学生模型。

具体地，在本公开的实施例中，模型训练装置根据预训练的教师模型，确定目标教师模型，包括：在预训练的教师模型包括分别与多个类别中不同类别对应的多个分类模型的情况下，将多个分类模型中，与采样的样本图像的类别对应的模型确定为目标教师模型；在预训练的教师模型为与多个类别对应的一个分类模型的情况下，将预训练的教师模型确定为目标教师模型。

可以理解的是，在本公开的实施例中，如步骤S102所述，模型训练装置有两种可选的模型训练方式进行预训练的教师模型的确定，针对两者可选的模型训练方式，相应的，预训练的教师模型可能是一个分类模型，也可能包括多个分类模型。在预训练的教师模型包括多个分类模型的情况下，模型训练装置可以根据采样的样本图像的类别，选择对应的模型作为目标教师模型。在预训练的教师模型为一个分类模型，即实际用了全部类别的样本图像进行了模型训练，则可以直接将预训练的教师模型作为目标教师模型。

具体地，在本公开的实施例中，模型训练装置计算第一网络特征和第二网络特征之间的损失信息，得到第一损失信息，包括：获取与采样的样本图像的类别对应的预设的学生模型的网络特征通道响应分布信息；根据网络特征通道响应分布信息，从预设的学生模型的网络特征通道中选取出第一网络特征通道，并从目标教师模型中选取出与第一网络特征通道对应的第二网络特征通道；从第一网络特征中选取通过第一网络特征通道提取的第一目标特征，并从第二网络特征中选取通过第二网络特征通道提取的第二目标特征；计算第一目标特征和第二目标特征之间的损失信息，得到第一损失信息。

需要说明的是，在本公开的实施例中，模型训练装置中存储有预设的学生模型，预设的学生模型可以是采用人为构造的均衡的图像集对某一特定类型的模型训练出的模型，在训练得到预设的学生模型后，可以针对每个类别，统计网络特征通道响应分布情况，即记录不同类别下，预设的学生模型中哪些通道具有高响应值，哪些通道具有低响应值，模型训练装置即可在获得采样的样本图像后，获取与采样的样本图像的类别对应的网络特征通道响应分布信息。具体的预设的学生模型本公开实施例不作限定。

需要说明的是，在本公开的实施例中，模型训练装置可以根据获取到的网络特征通道响应分布信息，从预设的学生模型中选取响应值较大的网络特征通道，确定为第一网络特征通道，第一网络特征通道针对于采样的样本图像所对应的类别的图像具有较好的特征提取效果。相应的，模型训练装置可以从目标教师模型中选取出与第一网络特征通道同一位置的通道，即第二网络特征通道。

示例性的，在本公开的实施例中，模型训练装置在得到与采样的样本图像的类别对应的预设的学生模型的网络特征通道分布信息之后，可以根据网络特征通道分布信息，将响应值排在前90％的通道确定为第一网络特征通道，相应的，目标教师模型中与第一网络特征通道对应的通道，即为第二网络特征通道。

可以理解的是，在本公开的实施例中，模型训练装置选取的第一网络特征通道在针对采样的样本图像同一类别的图像上，具有较高的响应，相应的，第一网络特征中通过第一网络特征通道提取的特征，实际上就具有较好的特征表现，而预设的学生模型中与第一网络特征通道不同的特征通道，响应较低，往往蕴含冗余或噪声，因此，仅利用第一网络特征通道提取的第一目标特征进行后续损失信息的计算，可以有效的提升最终的模型训练效果。

可以理解的是，在本公开的实施例中，模型训练装置计算出第一目标特征和第二目标特征之间的损失信息，即第一损失信息，表征了预设的学生模型在与采样的样本图像同一类别的图像上，特征提取的效果与目标教师模型之间的差异，因此，模型训练装置可以基于第一损失信息对预设的学生模型进行调整，使模型对与采样的样本图像同一类别的图像能够更好的提取特征。

具体地，在本申请的实施例中，模型训练装置基于第一损失信息对预设的学生模型进行调整，得到训练后的学生模型，包括：获取预设的与采样的样本图像对应的标准网络特征；计算标准网络特征和第二网络特征之间的损失信息，得到第二损失信息；基于第一损失信息和第二损失信息联合对预设的学生模型进行调整，得到训练后的学生模型。

需要说明的是，在本公开的实施例中，模型训练装置可以预设与采样的样本图像对应的标准网络特征，从而将该标准特征与第二网络特征进行损失信息计算，得到第二损失信息，并基于第一损失信息和第二损失信息联合对预设的学生模型进行调整。

图2为本公开实施例提供的一种示例性的模型训练的过程示意图。如图2所示，模型训练装置利用划分的三个图像集D1、D2和D3分别对预设的教师模型训练，得到对应的三个分类模型M1、M2和M3，即预训练的教师模型，此外，利用人工构造的类别均衡的图像集D训练出预设的学生模型M0。之后，模型训练装置即可针对不同类别的采样的样本图像按照上述步骤S104进行模型训练。其中，在计算损失信息时，可以计算第一损失信息和第二损失信息，将第一损失信息和第二损失信息相加，从而得到总的损失信息，并进一步基于总的损失信息调整预设的学生模型M0。具体地，在计算第一网络特征和第二网络特征之间的损失信息的过程中，根据采样的样本图像类别对应的第二预设分类网络的网络特征通道响应分布信息，进行特征通道选取，从而进一步从第一网络特征和第二网络特征选取对应通道提取的特征以进行损失信息计算。

可以理解的是，在本公开的实施例中，由于预训练的教师模型是利用多个类别的样本图像训练得到的，针对每个类别的图像具有较好的特征提取能力，因此，训练装置利用预训练的教师模型训练预设的学生模型，可以使预设的学生模型学习到针对每个类别图像较好的特征提取能力。此外，模型训练装置在训练预设的学生模型的过程中，利用基于类别的采样方式对样本图像进行采样得到的采样的样本图像进行训练，使模型分类的图像涉及到所有类别，从而有效的提升了模型的分类能力。

本公开实施例提供了一种模型训练方法，包括：获取多个类别的样本图像，得到样本图像；利用样本图像对预设的教师模型进行训练，得到预训练的教师模型；对样本图像中不同类别的图像均衡采样，得到采样的样本图像；利用采样的样本图像对预设的学生模型进行训练，以及对预训练的教师模型进行知识蒸馏，得到训练后的学生模型。本公开实施例提供的模型训练方法，利用特征提取能力优秀的模型和基于类别均衡采样的图像采样方式，进行预设的学生模型的训练，使训练后的学生模型同时具备良好的特征提取能力和分类能力，从而提高了模型的精度。

本公开实施例提供了一种图像处理方法，其执行主体可以是图像处理装置，例如，图像处理方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图3为本公开实施例提供的一种图像处理方法的流程示意图。如图3所示，图像处理方法主要包括以下步骤：

S301、获取待处理图像。

在本公开的实施例中，图像处理装置可以先获取待处理图像。

需要说明的是，在本公开的实施例中，待处理图像为需要确定图像类别的图像，待处理图像可以是图像处理装置采集到的，也可以是独立的摄像头、服务器或者云端等设备获取到，并进一步传输给图像处理装置的图像。具体的待处理图像以及待处理图像的来源本公开实施例不作限定。

S302、利用训练后的学生模型对待处理图像进行图像识别，得到待处理图像的图像分类结果；其中，训练后的学生模型是通过上述模型训练方法训练得到的。

在本公开的实施例中，图像处理装置在获取到待处理图像之后，即可利用训练后的学生模型对待处理图像进行图像识别，得到待处理图像的图像分类结果。

需要说明的是，在本公开的实施例中，图像处理装置利用训练后的学生模型对待处理图像进行图像分类，其中训练后的学生模型为通过上述模型训练方法训练得到的，在特征提取和分类上均具有优秀的表现，能够准确的得到待处理图像的图像分类结果。

本公开实施例提供了一种模型训练装置。图4为本公开实施例提供的一种模型训练装置的结构示意图。如图4所示，模型训练装置包括：

样本获取模块401，用于获取多个类别的样本图像，得到样本图像；

模型训练模块402，用于利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型；

图像采样模块403，用于对所述样本图像中不同类别的图像均衡采样，得到采样的样本图像；

所述模型训练模块402，还用于利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

在本公开一实施例中，所述模型训练模块402，具体用于利用所述样本图像对所述预设的教师模型进行训练；将训练得到的模型确定为所述预训练的教师模型；其中，所述预训练的教师模型与所述多个类别对应。

在本公开一实施例中，所述模型训练模块402，具体用于将所述样本图像中属于同一类别的图像划分为一组，得到多组图像；统计所述多组图像中每组的图像数量；根据所述图像数量，将所述多组图像中满足同一预设数量条件的图像组划分到一个集合中，得到多个图像集；利用所述多个图像集中的每个图像集分别训练所述预设的教师模型，得到多个分类模型；其中，所述多个分类模型中每个分类模型与所述多个图像集中对应图像集包含的样本图像的类别对应；将所述多个分类模型确定为所述预训练的教师模型。

在本公开一实施例中，所述模型训练模块402，具体用于根据所述预训练的教师模型，确定目标教师模型；将所述采样的样本图像在所述目标教师模型中进行前向传输，得到第一网络特征，并将所述采样的样本图像在所述预设的学生模型中进行前向传输，得到第二网络特征；计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息；基于所述第一损失信息对所述预设的嘘声模型进行调整，得到所述训练后的学生模型。

在本公开一实施例中，所述模型训练模块402，具体用于在所述预训练的教师模型包括分别与所述多个类别中不同类别对应的多个分类模型的情况下，将所述多个分类模型中，与所述采样的样本图像的类别对应的模型确定为所述目标教师模型；在所述预训练的教师模型为与所述多个类别对应的一个分类模型的情况下，将所述预训练的教师模型确定为所述目标教师模型。

在本公开一实施例中，所述模型训练模块402，具体用于获取与采样的样本图像的类别对应的所述预设的学生模型的网络特征通道响应分布信息；根据所述网络特征通道响应分布信息，从所述预设的学生模型的网络特征通道中选取出第一网络特征通道，并从所述目标教师模型中选取出与所述第一网络特征通道对应的第二网络特征通道；从所述第一网络特征中选取通过所述第一网络特征通道提取的第一目标特征，并从所述第二网络特征中选取通过所述第二网络特征通道提取的第二目标特征；计算所述第一目标特征和所述第二目标特征之间的损失信息，得到所述第一损失信息。

在本公开一实施例中，所述模型训练模块402，具体用于获取预设的与所述采样的样本图像对应的标准网络特征；计算所述标准网络特征和所述第二网络特征之间的损失信息，得到第二损失信息；基于所述第一损失信息和所述第二损失信息联合对所述预设的学生模型进行调整，得到所述训练后的学生模型。

本公开实施例提供了一种图像处理装置。图5为本公开实施例提供的一种图像处理装置的结构示意图。如图5所示，图像处理装置包括：

图像获取模块501，用于获取待处理图像；

图像处理模块502，用于利用训练后的学生模型对所述待处理图像进行图像识别，得到所述待处理图像的图像分类结果；其中，所述训练后的学生模型是通过上述模型训练方法训练得到的。

本公开实施例提供了一种电子设备，图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示，电子设备包括：处理器601、存储器602和通信总线603；其中，

所述通信总线603，用于实现所述处理器601和所述存储器602之间的连接通信；

所述处理器601，用于执行所述存储器602中存储的一个或多个程序，以实现上述模型训练方法，以及上述图像处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述模型训练方法，以及上述图像处理方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (12)

1.一种模型训练方法，其特征在于，所述训练方法包括：

获取多个类别的样本图像；

利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型；

对所述样本图像中不同类别的图像均衡采样，得到采样的样本图像；

利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

2.根据权利要求1所述的训练方法，其特征在于，所述利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：

利用所述样本图像对所述预设的教师模型进行训练；

将训练得到的模型确定为所述预训练的教师模型；其中，所述预训练的教师模型与所述多个类别对应。

3.根据权利要求1所述的训练方法，其特征在于，所述利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型，包括：

将所述样本图像中属于同一类别的图像划分为一组，得到多组图像；

统计所述多组图像中每组的图像数量；

根据所述图像数量，将所述多组图像中满足同一预设数量条件的图像组划分到一个集合中，得到多个图像集；

利用所述多个图像集中的每个图像集分别训练所述预设的教师模型，得到多个分类模型；其中，所述多个分类模型中每个分类模型与所述多个图像集中对应图像集包含的图像的类别对应；

将所述多个分类模型确定为所述预训练的教师模型。

4.根据权利要求1所述的训练方法，其特征在于，所述利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型，包括：

根据所述预训练的教师模型，确定目标教师模型；

将所述采样的样本图像在所述目标教师模型中进行前向传输，得到第一网络特征，并将所述采样的样本图像在所述预设的学生模型中进行前向传输，得到第二网络特征；

计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息；

基于所述第一损失信息对所述预设的学生模型进行调整，得到所述训练后的学生模型。

5.根据权利要求4所述的训练方法，其特征在于，所述根据所述预训练的教师模型，确定目标教师模型，包括：

在所述预训练的教师模型包括分别与所述多个类别中不同类别对应的多个分类模型的情况下，将所述多个分类模型中，与所述采样的样本图像的类别对应的模型确定为所述目标教师模型；

在所述预训练的教师模型为与所述多个类别对应的一个分类模型的情况下，将所述预训练的教师模型确定为所述目标教师模型。

6.根据权利要求4所述的训练方法，其特征在于，所述计算所述第一网络特征和所述第二网络特征之间的损失信息，得到第一损失信息，包括：

获取与所述采样的样本图像的类别对应的所述预设的学生模型的网络特征通道响应分布信息；

根据所述网络特征通道响应分布信息，从所述预设的学生模型的网络特征通道中选取出第一网络特征通道，并从所述目标教师模型中选取出与所述第一网络特征通道对应的第二网络特征通道；

从所述第一网络特征中选取通过所述第一网络特征通道提取的第一目标特征，并从所述第二网络特征中选取通过所述第二网络特征通道提取的第二目标特征；

计算所述第一目标特征和所述第二目标特征之间的损失信息，得到所述第一损失信息。

7.根据权利要求4所述的训练方法，其特征在于，所述基于所述第一损失信息对所述预设的学生模型进行调整，得到所述训练后的学生模型，包括：

获取预设的与所述采样的样本图像对应的标准网络特征；

计算所述标准网络特征和所述第二网络特征之间的损失信息，得到第二损失信息；

基于所述第一损失信息和所述第二损失信息联合对所述预设的学生模型进行调整，得到所述训练后的学生模型。

8.一种图像处理方法，其特征在于，包括：

获取待处理图像；

利用训练后的学生模型对所述待处理图像进行图像识别，得到所述待处理图像的图像分类结果；其中，所述训练后的学生模型是通过权利要求1-7任一项所述的方法训练得到的。

9.一种模型训练装置，其特征在于，包括：

样本获取模块，用于获取多个类别的样本图像；

模型训练模块，用于利用所述样本图像对预设的教师模型进行训练，得到预训练的教师模型；

图像采样模块，用于对所述样本图像中不同类别的图像均衡采样，得到采样的样本图像；

所述模型训练模块，还用于利用所述采样的样本图像对预设的学生模型进行训练，以及对所述预训练的教师模型进行知识蒸馏，得到训练后的学生模型。

10.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于利用训练后的学生模型对所述待处理图像进行识别，得到所述待处理图像的图像分类结果；其中，所述训练后的学生模型是通过权利要求1-7任一项所述的方法训练得到的。

11.一种电子设备，其特征在于，包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的一个或多个程序，以实现权利要求1-7任一项所述的模型训练方法，以及权利要求8所述的图像处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-7任一项所述的模型训练方法，以及权利要求8所述的图像处理方法。

Images