CN112508120A - 学生模型训练方法、装置、设备、介质和程序产品 - Google Patents

学生模型训练方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN112508120A
CN112508120A CN202011506263.1A CN202011506263A CN112508120A CN 112508120 A CN112508120 A CN 112508120A CN 202011506263 A CN202011506263 A CN 202011506263A CN 112508120 A CN112508120 A CN 112508120A
Authority
CN
China
Prior art keywords
weight data
student
data
teacher
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011506263.1A
Other languages
English (en)
Other versions
CN112508120B (zh
Inventor
杨喜鹏
谭啸
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011506263.1A priority Critical patent/CN112508120B/zh
Publication of CN112508120A publication Critical patent/CN112508120A/zh
Application granted granted Critical
Publication of CN112508120B publication Critical patent/CN112508120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种学生模型训练方法、装置、设备、介质和程序产品，涉及计算机视觉和深度学习等人工智能技术领域。具体实现方案为：获取图像训练样本输入至学生模型后得到的学生特征数据；获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；根据所述学生特征数据，确定目标权重数据；根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。本申请提高了所训练学生模型的学习能力和模型效果。

Description

学生模型训练方法、装置、设备、介质和程序产品
技术领域
本申请涉及人工智能技术领域，尤其涉及计算机视觉和深度学习等方面，具体涉及一种学生模型训练方法、装置、设备、介质和程序产品。
背景技术
近年来在计算机视觉等技术领域，深度学习网络被证明是一种极具成效的问题解决方式。
为了便于模型的部署以及面向移动端的推广，通常采用知识蒸馏的方式，将复杂、学习能力强的教师模型学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生模型。
然而，现有的知识蒸馏方法训练得到的学生模型的学习能力和模型效果普遍较低，不利于模型的使用和推广。
发明内容
本申请提供了一种能够提升学生模型学习能力和模型效果的学生模型训练方法、装置、设备、介质和程序产品。
根据本申请的一方面，提供了一种学生模型训练方法，包括：
获取图像训练样本输入至学生模型后得到的学生特征数据；
获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；
根据所述学生特征数据，确定目标权重数据；
根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。
根据本申请的另一方面，还提供了一种学生模型训练装置，包括：
学生特征数据获取模块，用于获取图像训练样本输入至学生模型后得到的学生特征数据；
教师特征数据获取模块，用于获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；
目标权重确定模块，用于根据所述学生特征数据，确定目标权重数据；
训练指导模块，用于根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。
根据本申请的另一方面，还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例提供的一种学生模型训练方法。
根据本申请的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本申请任一实施例提供的一种学生模型训练方法。
根据本申请的另一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例提供的一种学生模型训练方法。
根据本申请的技术，提高了所训练学生模型的学习能力和模型效果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种学生模型训练方法的流程图；
图2是本申请实施例提供的另一种学生模型训练方法的流程图；
图3A是本申请实施例提供的另一种学生模型训练方法的流程图；
图3B是本申请实施例提供的一种学生模型和教师模块结构示意图；
图3C是本申请实施例提供的一种学生模型训练过程示意图；
图4是本申请实施例提供的一种学生模型训练装置的结构图；
图5是用来实现本申请实施例的学生模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请所提供的各技术方案，适用于在图像分割、目标检测或图像分割等图像处理领域的知识蒸馏的情况。知识蒸馏过程可以理解为通过将训练好的复杂的教师模型的“知识”迁移到一个结构更为简单的学生模型中，或者通过学生模型去学习教师模型的“知识”，使得学生模型可以获得和教师模型相似的性能。其中，学生模型为知识蒸馏过程中待训练的小型神经网络模型，相应的，教师模型为知识蒸馏过程中的大型神经网络模型。也即，学生模型的模型复杂度较教师模型的模型复杂度要低。相应的，本申请中的学生模型和教师模型为具备图像处理能力的模型，例如具备图像分类、目标检测和图像分割等功能中的至少一种。
图1是本申请实施例提供的一种学生模型训练方法，该方法可以由学生模型训练装置执行，该学生模型训练装置可以采用软件和/或硬件实现，并具体配置于电子设备中。
如图1的一种学生模型训练方法，包括：
S101、获取图像训练样本输入至学生模型后得到的学生特征数据。
其中，图像训练样本即为用于进行学生模型训练的图像样本数据。若学生模型的训练过程为有监督学习，则图像训练样本可以是预先标注的样本数据；若学生模型的训练过程为无监督学习，则图像训练样本即为无需标注的样本数据。
为了使所训练学生模型具备较好的性能，通常图像训练样本的数量为多个。其中，图像训练样本的具体数量可以由技术人员根据需要进行设定或调整。
学生特征数据可以理解为图像训练样本输入至学生模型后，学生模型中的某一功能模块所输出的特征数据。其中，功能模块可以由至少一个网络层组合得到，用于对输入数据进行处理实现设定功能。例如，功能模块可以是特征提取模块，用于对输入数据进行特征提取；功能模块还可以是特征融合模块，用于对输入数据进行特征融合；当然，功能模块还可以是具备其他功能的网络模块，本申请实施例对此不做任何限定。
示例性地，可以将图像训练样本预先存储至进行学生模型训练的电子设备本地、或与该电子设备关联的其他存储设备或云端中。相应的，在需要进行学生模型训练时，进行图像训练样本的获取，并将所获取的图像训练样本作为输入数据，输入至待训练的学生模型中，得到学生特征数据。
为了在多个学生模型共同训练的过程中，减少学生模型训练过程的数据运算量，还可以将其中一个学生模型训练时的学生特征数据进行存储；相应的，对其他学生模型进行训练时，直接进行学生特征数据的获取即可，从而实现学生特征数据的复用。
S102、获取图像训练样本输入至训练好的教师模型后得到的教师特征数据；教师特征数据与学生特征数据相关联。
其中，教师模型可以部署在与学生模型相同或不同的设备中。由于教师模型复杂度较高，因此，一般是将教师模型部署在性能更高的其他设备中，并通过其他设备中的教师模型，对性能要求不高的电子设备中的学生模型进行训练。
示例性地，将学生模型前述使用的图像训练样本作为输入数据，输入至训练好的教师模型，得到教师特征数据，用于指导学生模型的后续训练过程。
其中，教师特征数据可以理解为将图像训练样本输入至教师模型后，教师模型中的相应的功能模块所输出的特征数据。其中，功能模块可以由至少一个网络层组合得到，用于对输入数据进行处理实现设定功能。例如，功能模块可以是特征提取模块，用于对输入数据进行特征提取；功能模块还可以是特征融合模块，用于对输入数据进行特征融合；当然，功能模块还可以是具备其他功能的网络模块，本申请实施例对此不做任何限定。其中，教师模型与学生模型相同功能模块所包含的网络层数量和/或结构可以相同或不同。一般而言，相同功能模块在教师模型中的网络结构较学生模型更加复杂。
需要说明的是，本申请中教师特征数据需要与学生特征数据相关联，此种关联关系通过功能模块一致性加以约束。也即，教师特征数据和学生特征数据，分别为教师模型和学生模型中作用相同的功能模块所输出的特征数据。当每个模型中作用相同的功能模块存在至少两个时，可以对各功能模块顺序编号，相应的，教师特征数据和学生特征数据分别为相同序号的功能模块所输出的特征数据。
需要说明的是，本申请对S101和S102的具体执行顺序不做任何限定，也即S102可以在S101之前执行、之后执行或并行执行等。
S103、根据学生特征数据，确定目标权重数据。
其中，目标权重数据用于表征对学生特征数据中不同属性数据的注意力。例如可以是通道属性、空间属性或其他属性等。
可选的，可以通过通道域的注意力模型，对学生特征数据进行处理，确定各通道数据的通道注意力；根据各通道注意力生成目标权重数据。其中，通道域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对学生特征数据进行挤压处理，得到中间学生特征；对该中间学生特征进行激励处理，得到各通道的通道注意力；根据各通道的通道注意力生成目标权重数据。
可选的，可以通过空间域的注意力模型，对学生特征数据进行处理，确定不同位置点的空间注意力；根据各空间注意力生成目标权重数据。其中，空间域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对学生特征数据进行池化处理，得到中间学生特征；对该中间学生特征进行通道降维；将降维后的中间学生特征进行激活处理，得到各像素点的空间注意力；根据各空间注意力生成目标权重数据。
可选的，可以通过通道域和空间域组成的混合域的注意力模型，对学生特征数据进行处理，确定各像素点在通道和空间两个属性下的混合注意力；根据各混合注意力生成目标权重数据。其中，混合域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
需要说明的是，在确定目标权重数据时，引入了学生模型中的学生特征数据，使得目标权重数据中同样涵盖了学生模型自身信息，从而在后续进行学生模型训练时，保证所训练学生模型兼备与教师模型不同的性能，从而提升了学生模型的性能，同时提高了学生模型的学习能力。
S104、根据学生特征数据、教师特征数据和目标权重数据，指导对学生模型的后续训练。
示例性地，确定学生特征数据和教师特征数据之间的差异数据；通过目标权重数据对差异数据进行加权，并根据加权结果对至少一个待训练参数进行调整，直至学生模型满足训练截止条件。
其中，训练截止条件可以是对学生模型的训练次数达到设定次数阈值、图像训练样本的数量达到设定数量阈值、学生模型的准确度大于设定准确度阈值、和学生模型的误差趋于收敛等中的至少一种。其中，设定次数阈值、设定数量阈值或设定准确度阈值的数值，可以由技术人员根据需要或经验值进行设定，或通过大量试验进行调整。其中，误差趋于收敛可以是误差小于设定误差阈值或波动程度小于设定波动阈值等。其中，设定误差阈值或设定波动阈值，可以由技术人员根据需要或经验值进行设定，或通过大量试验进行调整。
在一个具体实现方式中，根据学生特征数据、教师特征数据和目标权重数据，指导对学生模型的后续训练，可以是：确定学生特征数据和教师特征数据之间的特征距离；根据目标权重数据和特征距离，确定目标损失；根据目标损失，指导对学生模型的后续训练。其中，特征距离可以采用欧氏距离、马氏距离或其他距离等，本申请对此不做任何限定。
示例性地，根据目标权重数据和特征距离，确定目标损失，可以是：通过目标权重数据对特征距离进行加权，得到目标损失。
需要说明的是，通过目标权重数据对特征距离进行加权，以对不同属性的特征像素点差异化地进行注意力增强，从而使得最终确定的目标损失在进行学生模型训练时，能够对不同属性对应的待训练参数进行差异化的调整，提高了学生模型的学习能力和自身性能。
可以理解的是，上述通过引入特征距离进行目标损失确定的方式仅作为一个可选实施例进行示例性说明，本领域技术人员还可以根据需要采用现有技术中的其他方式进行目标损失的确定，本申请实施例对此不做任何限定。
需要说明的是，上述示例中进行目标权重数据确定时，引入了一个学生特征数据；当学生特征数据的数量为至少两个时，与学生特征数据相关联的教师特征数据的数量为至少两个；那么，对应的采用前述方式所确定的目标损失的数量同样为至少两个。此时，可以通过各目标损失依次指导学生模型的训练，或者通过各目标损失综合指导学生模型的训练。
在一个可选实施方式中，根据目标损失，指导对学生模型的后续训练，可以是：依次根据各目标损失，指导学生模型的后续训练。其中，对各目标损失的指导顺序不做任何限定。
在另一个可选实施方式中，根据目标损失，指导对学生模型的后续训练，可以是：根据各目标损失确定综合目标损失，并根据综合目标损失，指导对学生模型的后续训练。
需要说明的是，由于在学生模型和教师模型中，各功能模块可能由于自身功能需求，例如上采样或下采样等，会改变所输入图像数据的大小。因此，不同的学生特征数据的矩阵大小也可能参差不齐，相应的，目标损失的矩阵大小也对应不同。因此，在根据各目标损失确定综合目标损失时，需要对各目标损失进行处理，以克服矩阵大小不一致带来计算不便的问题。
示例性地，可以对矩阵大小不同的目标损失进行重构，以使重构后的各目标损失的矩阵大小一致；根据重构后的各目标损失的加权均值，确定综合目标损失。其中，各目标损失的权重可以由技术人员根据需要或经验值进行确定，或通过大量试验进行确定或调整。例如可以通过填零或数据复制的方式，对各目标损失进行重构。
示例性地，由于不同目标损失的矩阵大小可能存在一定规律，例如可以通过调整次序进行矩阵乘法，因此，还可以通过目标损失按照设定次序进行矩阵乘法，确定综合目标损失。
可以理解的是，当目标损失的数量为至少三个时，可以通过依次训练、矩阵乘法确定综合目标损失、和重构加权等方式中的至少一种，对学生模型的后续训练进行指导，从而丰富了根据至少两个特征数据得到至少两个目标损失时对学生模型训练过程的指导方式。
由于目标权重数据可以包括至少两种不同属性的权重数据，当目标权重数据的属性不同时，各目标权重数据的矩阵大小可能也会出现差异。例如，当学生特征数据为W*H*C维时，通道属性的目标权重数据为1*1*C维，空间属性的目标权重数据为W*H*1维。以下将对包括至少两种不同属性的目标权重数据时，对学生模型的训练指导机制进行详细说明。
在一个可选实施例中，根据学生特征数据、教师特征数据和目标权重数据，指导对学生模型的后续训练，可以是：分别根据各属性的目标权重数据，确定各目标损失；依次根据各目标损失，指导对学生模型的后续训练；或者，根据各目标损失确定综合目标损失，并根据综合目标损失，指导对学生模型的后续训练。
由于上述方案需要针对各目标权重数据进行目标损失的确定，当目标权重数据的数量较多时，必然会带来计算量的上升，从而影响学生模型的训练效率。为了避免上述情况的发生，在另一可选实施例中，根据学生特征数据、教师特征数据和目标权重数据，指导对学生模型的后续训练，可以是：根据至少两个属性的目标权重数据，生成综合权重数据；根据学生特征数据、教师特征数据和综合权重数据，指导对学生模型的后续训练。
可以理解的是，通过各目标权重数据进行单一综合权重数据的生成，从而进行学生模型指导训练过程中，仅依据该综合权重数据进行学生模型中待训练参数的调整即可，调整过程更加便捷，从而提高了学生模型训练效率。
可选的，根据至少两个属性的目标权重数据，生成综合权重数据，可以是：分别对各目标权重数据进行重构，以使各目标权重数据的矩阵大小一致；根据重构后的各目标权重数据的加权均值，生成综合权重数据。
示例性地，可以通过填零或数据复制的方式，对各目标权重数据进行重构。
可以理解的是，通过将各目标权重数据重构成矩阵大小一致的数据，克服了由于目标权重数据矩阵大小不一致导致的计算障碍，便于后续对目标权重数据的处理。另外，通过加权均值方式进行综合权重数据的生成，计算更加便捷，为学生模型训练效率的提高奠定了基础。
可选的，根据至少两个属性的目标权重数据，生成综合权重数据，可以是：将各目标权重数据相乘，得到综合权重数据；其中，综合权重数据与学生特征数据矩阵大小一致。
示例性地，依照设定次序将各目标权重数据进行矩阵乘法，将结果矩阵作为综合权重数据。其中，设定次序可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定。
可以理解的是，通过目标权重数据相乘的方式进行综合权重数据的确定，丰富了综合权重的确定方式，同时计算便捷高效，为学生模型训练效率的提高奠定了基础。
示例性地，根据学生特征数据、教师特征数据和综合权重数据，指导对学生模型的后续训练，可以是：确定学生特征数据和教师特征数据之间的特征距离；根据综合权重数据和特征距离，确定目标损失。例如，可以根据综合权重数据对特征距离进行加权，将加权结果作为目标损失。其中，特征距离可以是欧氏距离、马氏距离或其他距离等，本申请实施例对此不做任何限定。
本申请在知识蒸馏过程中，通过教师模型对学生模型进行训练，使得较小的学生模型具备与较大的教师模型相同或相近的能力，也即采用学生模型在对图像进行处理时，能够对教师模型所关注的教师特征数据具备相同或近似的关注能力，从而使学生模型能够吸收教师模型的相关知识。另外，在对学生模型进行训练的过程中，引入基于学生特征数据确定的目标权重数据，指导学生模型训练，使得学生模型在具备教师模型的关注能力的同时，还会对教师模型所关注的教师特征数据以外的其他特征数据(学生特征数据与教师特征数据不同部分)加以关注，实现所关注特征数据的互补，使学生模型在吸收教师模型知识的同时，兼备了自身的学习能力，从而使所训练的学生模型泛化能力更强。同时，对互补的特征数据的关注，提高了学生模型所关注特征数据的丰富性和全面性，从而提高了学生模型的准确度等相关性能。再者，由于学生模型较教师模型复杂度低，因此其对所部署设备的性能要求较低，便于模型的使用和推广。
举例说明，当图像训练样本中包括地面和自行车时，若教师模型所提取的教师特征数据为自行车的车轮花纹和车框等细节信息，那么通过该教师模型所训练的学生模型，将具备对车辆细节信息识别的能力。另外，学生模型在对相同的图像训练样本进行处理时，所提取的学生特征数据中，除了具备与教师特征数据相同或相近的细节信息之外，还包含了其他层面的特征数据，例如车体轮廓等概况信息。因此，基于学生特征数据所确定的目标权重数据，能够在教师特征数据和与教师特征数据互补的其他特征数据之间做一个权衡，从而通过互补的特征数据引导学生模型后续训练时，使最终训练的学生模型既能关注图像中的细节信息(吸收教师模型知识)，又能关注图像中的概况信息(兼备自身学习能力)，提高了学生模型所关注特征数据的丰富性和全面性，从而提高了学生模型的准确度等相关性能，另外，由于学生模型复杂度较低，因此其对所部署设备的性能要求也较低，便于模型的使用和推广。
由于上述技术方案在进行目标权重数据确定时，仅引入了学生特征数据，对教师模型的关注点没有过多关注，将会出现学生模型训练周期较长、或最终训练的学生模型无法很好的具备教师模型的相关性能的情况。为了避免上述情况的发生，在本申请一个可选实施例中，还可以将“根据学生特征数据，确定目标权重数据”，细化为“根据学生特征数据和教师特征数据，确定目标权重数据”，以完善目标权重数据的确定机制。
参见图2所示的一种学生模型训练方法，包括：
S201、获取图像训练样本输入至学生模型后得到的学生特征数据。
S202、获取图像训练样本输入至训练好的教师模型后得到的教师特征数据；教师特征数据与学生特征数据相关联。
需要说明的是，本申请对S101和S102的具体执行顺序不做任何限定，也即S102可以在S101之前执行、之后执行或并行执行等。
S203、根据学生特征数据和教师特征数据，确定目标权重数据。
在一个可选实施例中，根据学生特征数据和教师特征数据，确定目标权重数据，可以是：将学生特征数据和教师特征数据进行融合，得到融合特征数据；根据融合特征数据，确定目标权重数据。
可选的，可以通过通道域的注意力模型，对融合特征数据进行处理，确定各通道数据的通道注意力；根据各通道注意力生成目标权重数据。其中，通道域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对融合特征数据进行挤压处理，得到中间融合特征；对该中间融合特征进行激励处理，得到各通道的通道注意力；根据各通道的通道注意力生成目标权重数据。
可选的，可以通过空间域的注意力模型，对融合特征数据进行处理，确定不同位置点的空间注意力；根据各空间注意力生成目标权重数据。其中，空间域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对融合特征数据进行池化处理，得到中间融合特征；对该中间融合特征进行通道降维；将降维后的中间融合特征进行激活处理，得到各像素点的空间注意力；根据各空间注意力生成目标权重数据。
可选的，可以通过通道域和空间域组成的混合域的注意力模型，对融合特征数据进行处理，确定各像素点在通道和空间两个属性下的混合注意力；根据各混合注意力生成目标权重数据。其中，混合域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
然而上述预先对学生特征数据和教师特征数据进行先融合再进行目标权重数据确定的方式，可能存在所确定的目标权重数据对学生特征数据或教师特征数据的注意力分配不均衡的情况，同时无法有效把控不同特征数据的注意力分配是否合理，从而影响目标权重数据确定结果的准确度，进而对学生模型的训练过程造成影响。
为了避免上述情况的发生，在另一可选实施例中，根据学生特征数据和教师特征数据，确定目标权重数据，可以是：根据学生特征数据，确定学生模型的学生权重数据；根据教师特征数据，确定教师模型的教师权重数据；根据学生权重数据和教师权重数据，确定目标权重数据。
其中，学生权重数据用于表征对学生特征数据中不同属性数据的注意力。示例性地，学生权重数据可以是通道属性的通道权重数据、空间属性的空间权重数据、或者通道和空间混合属性的混合权重数据。
其中，教师权重数据用于表征对教师特征数据中不同属性数据的注意力。示例性地，教师权重数据可以是通道属性的通道权重数据、空间属性的空间权重数据、或者通道和空间混合属性的混合权重数据。
当然，还可以根据需要将所确定的学生权重数据或教师权重数据设置为其他属性的权重数据，本申请实施例对此不做任何限定。
需要说明的是，通过分别设置学生权重数据和教师权重数据的数据属性，提高了最终所确定的目标权重数据的丰富性和多样性，为学生模型训练过程的多样性奠定了基础。
可选的，根据学生特征数据，确定学生模型的学生权重数据，可以是：通过通道域的注意力模型，对学生特征数据进行处理，确定各通道数据的通道注意力；根据各通道注意力生成学生权重数据。其中，通道域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对学生特征数据进行挤压处理，得到中间学生特征；对该中间学生特征进行激励处理，得到各通道的通道注意力；根据各通道的通道注意力生成学生权重数据。
可选的，根据学生特征数据，确定学生模型的学生权重数据，可以是：通过空间域的注意力模型，对学生特征数据进行处理，确定不同位置点的空间注意力；根据各空间注意力生成学生权重数据。其中，空间域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对学生特征数据进行池化处理，得到中间学生特征；对该中间学生特征进行通道降维；将降维后的中间学生特征进行激活处理，得到各像素点的空间注意力；根据各空间注意力生成目标权重数据。
可选的，根据学生特征数据，确定学生模型的学生权重数据，可以是：通过通道域和空间域组成的混合域的注意力模型，对学生特征数据进行处理，确定各像素点在通道和空间两个属性下的混合注意力；根据各混合注意力生成学生权重数据。其中，混合域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
可选的，根据教师特征数据，确定教师模型的教师权重数据，可以是：通过通道域的注意力模型，对教师特征数据进行处理，确定各通道数据的通道注意力；根据各通道注意力生成教师权重数据。其中，通道域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对教师特征数据进行挤压处理，得到中间教师特征；对该中间教师特征进行激励处理，得到各通道的通道注意力；根据各通道的通道注意力生成教师权重数据。
可选的，根据教师特征数据，确定教师模型的教师权重数据，可以是：通过空间域的注意力模型，对教师特征数据进行处理，确定不同位置点的空间注意力；根据各空间注意力生成教师权重数据。其中，空间域的注意力模型可以采用现有技术中的至少一种注意力模型加以实现，本申请实施例对此不做任何限定。
示例性地，可以对教师特征数据进行池化处理，得到中间教师特征；对该中间教师特征进行通道降维；将降维后的中间教师特征进行激活处理，得到各像素点的空间注意力；根据各空间注意力生成目标权重数据。
可选的，根据教师特征数据，确定教师模型的教师权重数据，可以是：通过通道域和空间域组成的混合域的注意力模型，对教师特征数据进行处理，确定各像素点在通道和空间两个属性下的混合注意力；根据各混合注意力生成教师权重数据。
由于相同域下所确定的学生权重数据和教师权重数据对应的属性相同；相应的，两种权重数据的矩阵大小相一致。不同域下所确定的学生权重和教师权重数据对应的属性不同；相应的，两种权重数据的矩阵大小也不同。
在一个可选实施例中，若学生权重数据与教师权重数据两者为不同属性的权重数据时，可选的，可以通过填零或数据复制等方式，分别对学生权重数据和教师权重数据进行重构，以使两权重数据的矩阵大小一致；相应的，通过加权均值的方式，进行目标权重数据的确定。或者可选的，可以通过矩阵相乘的方式，根据学生权重数据和教师权重数据，生成目标权重数据。
然而根据不同属性的学生权重数据和教师权重数据所确定的目标权重数据，虽然能够融合不同属性下的注意力情况，但是可能由于对学生模型和教师模型所分配的注意力属性不同，导致后续对学生模型训练失衡的情况。为了避免上述情况的发生，通常需要设置学生权重数据和教师权重数据为相同属性的权重数据，进而针对相同属性的权重数据进行目标权重数据的生成，从而在相同属性情况下，可控地为教师模型和学生模型进行注意力分配。
示例性地，若学生权重数据和教师权重数据为相同属性的权重数据，则根据学生权重数据和教师权重数据，确定目标权重数据，可以是：根据学生权重数据和教师权重数据的加权均值，确定目标权重数据。其中，学生权重数据和教师权重数据对应的具体权重可以由技术人员根据需要或经验值进行设定，或通过大量试验反复确定或调整。
可以理解的是，通过加权均值的方式，对相同属性的学生权重数据和教师权重数据进行处理，得到目标权重数据，既保证了目标权重数据中携带有教师模型和学生模型的相关信息，又保证了目标权重数据确定过程的便捷度，为学生模型训练结果性能的提高以及训练效率的提高奠定了基础。
在上述各技术方案的基础上，由于针对同一学生特征数据，可以确定至少两种不同属性的学生权重数据；相应的，针对同一教师特征数据，可以确定至少两个不同属性的教师权重数据；后续将针对同一组学生特征数据和教师特征数据，均对应至少两种属性的权重数据的情况，对目标权重数据的确定过程和对学生模型的训练过程进行详细说明。
在一个可选实施例中，可以分别对每组相同属相的学生权重数据和教师权重数据，采用前述方式进行目标权重数据的确定，后续分别采用各目标权重数据依次指导学生模型的训练。其中，对各目标权重数据的指导顺序不做任何限定。
由于采用各目标权重数据分别指导的方式需要反复对学生模型的待训练参数进行调整，导致学生模型训练效率较低，训练周期较长。为了提高学生模型的训练效率和训练过程便捷度，还可以针对不同属性的学生特征数据和教师权重数据，进行单一目标权重数据的确定，用于指导学生模型的后续训练。
在另一可选实施例中，还可以：针对每组相同属性的学生权重数据和教师权重数据，分别确定候选权重数据；根据各候选权重数据，确定目标权重数据，用于指导学生模型的后续训练。
示例性地，针对每组相同属性的学生权重数据和教师权重数据，分别确定候选权重数据，可以是：针对每组相同属性的学生权重数据和教师权重数据，确定两个权重数据的加权均值，将结果数据作为对应的候选权重数据。
在一个具体实现方式中，若学生权重数据包括学生通道权重数据和学生空间权重数据；相应的，教师权重数据包括教师通道权重数据和教师空间权重数据。相应的，根据学生通道权重数据和教师通道权重数据，确定候选通道权重数据；根据学生空间权重数据和教师空间权重数据，确定候选空间权重数据；根据候选通道权重数据和候选空间权重数据，确定目标权重数据。
具体的，可以直接对学生通道权重数据和教师通道权重数据进行加权平均，将结果数据作为候选通道权重数据；对学生空间权重数据和教师空间权重数据进行加权平均，将结果数据作为候选空间权重数据；根据候选通道权重数据和候选空间权重数据，确定目标权重数据。其中，学生通道权重数据、教师通道权重数据、学生空间权重数据和教师空间权重数据的加权平均时的权重可以由技术人员根据需要或经验值进行确定。
由于不同属性的候选权重数据的矩阵大小不同，为了避免由于矩阵大小不一致为目标权重数据确定过程带来的影响，可选的，根据各候选权重数据，确定目标权重数据，可以是：分别对各候选权重数据进行重构，以使各候选权重数据的矩阵大小一致；根据重构后的各候选权重数据的加权均值，确定目标权重数据。
示例性地，可以通过填零或数据复制的方式，对各候选权重数据进行重构。
可以理解的是，通过将各候选权重数据重构成矩阵大小一致的数据，克服了由于候选权重数据矩阵大小不一致导致的计算障碍，为目标权重数据的生成提供了便利。另外，通过加权均值的方式进行目标权重数据的生成，计算更加便捷，为学生模型训练效率的提高奠定了基础。
可选的，根据各候选权重数据，确定目标权重数据，可以是：将各候选权重数据相乘，得到目标权重数据；其中，目标权重数据与学生特征数据矩阵大小一致。
示例性地，依照设定次序将各候选权重数据进行矩阵乘法，将结果矩阵作为目标权重数据。其中，设定次序可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定。
可以理解的是，通过候选权重数据相乘的方式进行目标权重数据的确定，丰富了目标权重数据的确定方式，同时计算便捷高效，为学生模型训练效率的提高奠定了基础。
S204、根据学生特征数据、教师特征数据和目标权重数据，指导对学生模型的后续训练。
示例性地，确定学生特征数据和教师特征数据之间的差异数据；通过目标权重数据对差异数据进行加权，并根据加权结果对至少一种待训练参数进行调整，直至学生模型满足训练截止条件。
其中，目标权重数据对学生模型训练过程的机制导致可参见前述内容，在此不再赘述。
本申请实施例通过将目标权重数据的确定过程，细化为根据学生权重数据和教师权重数据，确定目标权重数据，使得在目标权重数据中包含了教师模型和学生模型两个层面的信息，因此，通过该目标权重数据能够对教师模型和学生模型中的信息同时进行差异化地、针对性地学习，保证了学生模型在具备自身学习能力的同时，能够很好的吸收教师模型的知识，具备教师模型的相关性能。
在上述各实施例的技术方案的基础上，本申请还提供了一种实现学生模型训练方法的优选实施例。在该实施例中，以学生模型和教师模型分别包括n个对应的功能模块为例进行说明。
如图3A所示的一种学生模型训练方法，包括：
S310、目标权重数据确定阶段；以及，
S320、训练指导阶段。
示例性地，目标权重数据确定阶段，包括：
S311、获取新的图像训练样本。
S312、将图像训练样本输入至学生模型得到至少一个学生特征数据；以及，将图像训练样本输入至教师模型得到与各学生特征数据对应的教师特征数据。
参见图3B所示的学生模型和教师模块结构示意图，其中，学生模型中各功能模块Nsi(i＝1,2,…,n)输出的学生特征数据为Fsi(i＝1,2,…,n)。相应的，教师模型中对应的各功能模块Nti(i＝1,2,…,n)输出的教师特征数据为Fti(i＝1,2,…,n)。需要说明的是，学生模型中的功能模块Nsi与教师模型中对应位置的功能模块Nti的功能相同，但复杂度不同，一般而言，教师模型中的功能模块Nti的复杂度高于学生模型中的功能模块Nsi。
S313、采用学生注意力模型，根据学生特征数据，确定学生模块的学生权重数据；以及，采用教师注意力模型，根据教师特征数据，确定教师模型的教师权重数据。
需要说明的是，本申请对教师权重数据和学生权重数据确定的先后顺序不做任何限定。
参见图3C所示的学生模型训练过程示意图。示例性地，教师注意力模型和学生注意力模型可以是通道注意力模型，用于确定通道域注意力权重，或者还可以是空间注意力模型，用于确定空间域的注意力权重。
图3C以通道注意力模型和空间注意力模型为例，进行示意性说明。需要说明的是，图3C仅示例性说明了学生模型训练过程所包含的模块，本领域技术人员可以根据需要增加或删除某一或某些模块，本申请对此不做任何限定。
具体的，采用学生通道注意力模型，确定学生特征数据的注意力数据，得到学生通道权重数据
Figure BDA0002845002070000171
采用教师通道注意力模型，确定教师特征数据Fti的注意力数据，得到教师通道权重数据
Figure BDA0002845002070000172
具体的，采用学生空间注意力模型，确定学生特征数据的注意力数据，得到学生空间权重数据
Figure BDA0002845002070000173
采用教师空间注意力模型，确定教师特征数据Fti的注意力数据，得到教师空间权重数据
Figure BDA0002845002070000174
其中，通道注意力模型和学生注意力模型可以分别采用现有技术中的至少一种注意力模型实现。为了保证生成的学生通道权重数据
Figure BDA0002845002070000175
和教师权重通道数据
Figure BDA0002845002070000178
矩阵大小一致，一般学生通道注意力模型和教师通道注意力模型为结构相同的注意力模型。为了保证生成的学生空间权重数据
Figure BDA0002845002070000176
和教师权重空间数据
Figure BDA0002845002070000177
矩阵大小一致，一般学生空间注意力模型和教师空间注意力模型为结构相同的注意力模型。
S314、采用特征融合模块，根据学生权重数据和教师权重数据，确定目标权重数据。
示例性地，特征融合模块用于分别对学生权重数据和教师权重数据进行加权平均，将结果数据作为目标权重数据。
继续参见图3C，通过特征融合模块确定学生通道权重数据
Figure BDA0002845002070000181
和教师权重通道数据
Figure BDA0002845002070000182
的加权均值，将结果数据作为通道域的目标权重数据Wi c。通过特征融合模块确定学生空间权重数据
Figure BDA0002845002070000183
和教师权重空间数据
Figure BDA0002845002070000184
的加权均值，将结果数据作为空间域的目标权重数据Wi s。
若学生特征数据Fsi的矩阵大小为W*H*C，则相应的学生通道权重数据
Figure BDA0002845002070000185
的矩阵大小为1*1*C，学生空间权重数据
Figure BDA0002845002070000186
的矩阵大小为W*H*1。相应的，教师特征数据Fti的矩阵大小为W*H*C，教师权重通道数据
Figure BDA0002845002070000187
的矩阵大小为1*1*C，教师权重空间数据
Figure BDA0002845002070000188
的矩阵大小为W*H*1。对应的，通道域的目标权重数据Wi c矩阵大小为1*1*C，空间域的目标权重数据Wi s的矩阵大小为W*H*1。
S315、采用特征重构模块，调整不同属性的目标权重数据，以使各目标权重数据矩阵大小一致。
示例性地，调整重构模块用于对输入数据的矩阵大小进行调整。调整方式可以是数据重复或填零等。
由于通道域的目标权重数据和空间域的目标权重数据的矩阵大小不同，需要通过数据重构的方式对这两种不同属性的目标权重数据进行调整，以使两者矩阵大小一致。
继续参见图3C，对通道域的目标权重数据Wi c进行重构，得到矩阵大小为W*H*C的重构结果Wi c'。对空间域的目标权重数据Wi s进行重构，得到矩阵大小为W*H*C的重构结果Wi s'。
示例性地，训练指导阶段，包括：
S321、采用特征距离模块，确定学生特征数据和教师特征数据之间的特征距离。
示例性地，可以确定学生特征数据Fsi和教师特征数据Fti之间的马氏距离、欧式距离或其他距离作为特征距离。
S322、根据目标权重数据对特征距离进行加权，得到目标损失。
继续参见图3C，将重构后的通道域的目标权重数据Wi c'和空间域的目标权重数据Wi s'进行加权，得到综合目标权重数据Wi；根据综合目标权重数据Wi与特征距离的乘积，确定目标损失Lossi。
S323、根据目标损失，调整学生模型中的待训练参数。
示例性地，根据各目标损失Lossi，依次调整学生模型中的至少一个待训练参数。需要说明的是，对各目标损失Lossi的先后使用顺序本申请实施例不做任何限定。
S324、判断学生模型是否收敛，若是，则结束训练过程；否则，返回执行S311。
本申请实施例通过在对学生模型训练过程中，引入基于学生特征数据和教师特征数据共同确定的目标权重数据，并基于该目标权重数据指导学生模型的训练过程，从而使学生模型既能够吸收教师模型的相关知识，使学生模型具备教师模型的相关性能，还能够保持自身的学习能力，进而提高了学生模型的模型性能。
作为对上述各学生模型训练方法的实现，本申请还提供了一种实施学生模型训练方法的虚拟装置的实施例。参见图4所示的一种学生模型训练装置400，包括：学生特征数据获取模块401、教师特征数据获取模块402、目标权重确定模块403和训练指导模块404。其中，
学生特征数据获取模块401，用于获取图像训练样本输入至学生模型后得到的学生特征数据；
教师特征数据获取模块402，用于获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；
目标权重确定模块403，用于根据所述学生特征数据，确定目标权重数据；
训练指导模块404，用于根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。
本申请在知识蒸馏过程中，通过教师模型对学生模型进行训练，使得较小的学生模型具备与较大的教师模型相同或相近的能力，也即采用学生模型在对图像进行处理时，能够对教师模型所关注的教师特征数据具备相同或近似的关注能力，从而使学生模型能够吸收教师模型的相关知识。另外，在对学生模型进行训练的过程中，引入基于学生特征数据确定的目标权重数据，指导学生模型训练，使得学生模型在具备教师模型的关注能力的同时，还会对教师模型所关注的教师特征数据以外的其他特征数据(学生特征数据与教师特征数据不同部分)加以关注，实现所关注特征数据的互补，使学生模型在吸收教师模型知识的同时，兼备了自身的学习能力，从而使所训练的学生模型泛化能力更强。同时，对互补的特征数据的关注，提高了学生模型所关注特征数据的丰富性和全面性，从而提高了学生模型的准确度等相关性能。再者，由于学生模型较教师模型复杂度低，因此其对所部署设备的性能要求较低，便于模型的使用和推广。
在一个可选实施例中，所述目标权重确定模块403，包括：
目标权重确定单元，用于根据所述学生特征数据和所述教师特征数据，确定目标权重数据。
在一个可选实施例中，所述目标权重确定单元，包括：
学生权重确定子单元，用于根据所述学生特征数据，确定所述学生模型的学生权重数据；
教师权重确定子单元，用于根据所述教师特征数据，确定所述教师模型的教师权重数据；
目标权重确定子单元，用于根据所述学生权重数据和所述教师权重数据，确定所述目标权重数据。
在一个可选实施例中，所述学生权重数据和所述教师权重数据为相同属性的权重数据。
在一个可选实施例中，所述学生权重数据为通道权重数据、空间权重数据或混合权重数据；
所述教师权重数据为通道权重数据、空间权重数据或混合权重数据。
在一个可选实施例中，所述目标权重确定子单元，包括：
第一目标权重确定从单元，用于根据所述学生权重数据和所述教师权重数据的加权均值，确定所述目标权重数据。
在一个可选实施例中，若所述学生权重数据包括至少两个不同属性的权重数据；相应的，所述教师权重数据包括至少两个相应属性的权重数据；则所述目标权重确定子单元，包括：
候选权重确定从单元，用于针对每组相同属性的学生权重数据和教师权重数据，分别确定候选权重数据；
第二目标权重确定从单元，用于根据各所述候选权重数据，确定所述目标权重数据。
在一个可选实施例中，所述第二目标权重确定从单元，包括：
第二目标权重确定甲从单元，用于分别对各所述候选权重数据进行重构，以使各所述候选权重数据的矩阵大小一致；根据重构后的各所述候选权重数据的加权均值，确定所述目标权重数据；
或者，
第二目标权重确定乙从单元，用于将各所述候选权重数据相乘，得到目标权重数据；其中，所述目标权重数据与所述学生特征数据矩阵大小一致。
在一个可选实施例中，若所述目标权重数据至少两个属性的权重数据，则所述训练指导模块，包括：
综合权重数据生成单元，用于根据至少两个属性的目标权重数据，生成综合权重数据；
训练指导子单元，用于根据所述学生特征数据、所述教师特征数据和所述综合权重数据，指导对所述学生模型的后续训练。
在一个可选实施例中，所述综合权重数据生成单元，包括：
第一综合权重数据确定子单元，用于分别对各所述目标权重数据进行重构，以使各所述目标权重数据的矩阵大小一致；根据重构后的各所述目标权重数据的加权均值，确定所述综合权重数据；
或者，
第二综合权重数据确定子单元，用于将各所述目标权重数据相乘，得到所述综合权重数据；其中，所述综合权重数据与所述学生特征数据矩阵大小一致。
在一个可选实施例中，所述训练指导模块404，包括：
特征距离确定单元，用于确定所述学生特征数据和所述教师特征数据之间的特征距离；
目标损失确定单元，用于根据所述目标权重数据和所述特征距离，确定目标损失；
训练指导单元，用于根据所述目标损失，指导对所述学生模型的后续训练。
在一个可选实施例中，若所述学生特征数据的数量为至少两个；相应的，所述教师特征数据的数量为至少两个；所述目标损失的数量为至少两个；
所述训练指导单元，包括：
依次指导子单元，用于依次根据各所述目标损失，指导对所述学生模型的后续训练；或者，
重构指导子单元，用于根据各所述目标损失确定综合目标损失，并根据所述综合目标损失，指导对所述学生模型的后续训练。
上述学生模型训练装置可执行本发明任意实施例所提供的学生模型训练方法，具备执行学生模型训练方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如学生模型训练方法。例如，在一些实施例中，学生模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的学生模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行学生模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (27)

1.一种学生模型训练方法，包括：
获取图像训练样本输入至学生模型后得到的学生特征数据；
获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；
根据所述学生特征数据，确定目标权重数据；
根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。
2.根据权利要求1所述的方法，其中，所述根据所述学生特征数据，确定目标权重数据，包括：
根据所述学生特征数据和所述教师特征数据，确定目标权重数据。
3.根据权利要求2所述的方法，其中，所述根据所述学生特征数据和所述教师特征数据，确定目标权重数据，包括：
根据所述学生特征数据，确定所述学生模型的学生权重数据；
根据所述教师特征数据，确定所述教师模型的教师权重数据；
根据所述学生权重数据和所述教师权重数据，确定所述目标权重数据。
4.根据权利要求3所述的方法，其中，所述学生权重数据和所述教师权重数据为相同属性的权重数据。
5.根据权利要求3所述的方法，其中，所述学生权重数据为通道权重数据、空间权重数据或混合权重数据；
所述教师权重数据为通道权重数据、空间权重数据或混合权重数据。
6.根据权利要求4所述的方法，其中，所述根据所述学生权重数据和所述教师权重数据，确定所述目标权重数据，包括：
根据所述学生权重数据和所述教师权重数据的加权均值，确定所述目标权重数据。
7.根据权利要求4所述的方法，若所述学生权重数据包括至少两个不同属性的权重数据；相应的，所述教师权重数据包括至少两个相应属性的权重数据；则所述根据所述学生权重数据和所述教师权重数据，确定所述目标权重数据，包括：
针对每组相同属性的学生权重数据和教师权重数据，分别确定候选权重数据；
根据各所述候选权重数据，确定所述目标权重数据。
8.根据权利要求7所述的方法，其中，所述根据各所述候选权重数据，确定所述目标权重数据，包括：
分别对各所述候选权重数据进行重构，以使各所述候选权重数据的矩阵大小一致；根据重构后的各所述候选权重数据的加权均值，确定所述目标权重数据；
或者，
将各所述候选权重数据相乘，得到目标权重数据；其中，所述目标权重数据与所述学生特征数据矩阵大小一致。
9.根据权利要求1所述的方法，若所述目标权重数据至少两个属性的权重数据，则所述根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练，包括：
根据至少两个属性的目标权重数据，生成综合权重数据；
根据所述学生特征数据、所述教师特征数据和所述综合权重数据，指导对所述学生模型的后续训练。
10.根据权利要求9所述的方法，其中，所述根据至少两个属性的目标权重数据，生成综合权重数据，包括：
分别对各所述目标权重数据进行重构，以使各所述目标权重数据的矩阵大小一致；根据重构后的各所述目标权重数据的加权均值，确定所述综合权重数据；
或者，
将各所述目标权重数据相乘，得到所述综合权重数据；其中，所述综合权重数据与所述学生特征数据矩阵大小一致。
11.根据权利要求1-10任一项所述的方法，其中，所述根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练，包括：
确定所述学生特征数据和所述教师特征数据之间的特征距离；
根据所述目标权重数据和所述特征距离，确定目标损失；
根据所述目标损失，指导对所述学生模型的后续训练。
12.根据权利要求11所述的方法，若所述学生特征数据的数量为至少两个；相应的，所述教师特征数据的数量为至少两个；所述目标损失的数量为至少两个；
所述根据所述目标损失，指导对所述学生模型的后续训练，包括：
依次根据各所述目标损失，指导对所述学生模型的后续训练；或者，
根据各所述目标损失确定综合目标损失，并根据所述综合目标损失，指导对所述学生模型的后续训练。
13.一种学生模型训练装置，包括：
学生特征数据获取模块，用于获取图像训练样本输入至学生模型后得到的学生特征数据；
教师特征数据获取模块，用于获取所述图像训练样本输入至训练好的教师模型后得到的教师特征数据；所述教师特征数据与所述学生特征数据相关联；
目标权重确定模块，用于根据所述学生特征数据，确定目标权重数据；
训练指导模块，用于根据所述学生特征数据、所述教师特征数据和所述目标权重数据，指导对所述学生模型的后续训练。
14.根据权利要求13所述的装置，其中，所述目标权重确定模块，包括：
目标权重确定单元，用于根据所述学生特征数据和所述教师特征数据，确定目标权重数据。
15.根据权利要求14所述的装置，其中，所述目标权重确定单元，包括：
学生权重确定子单元，用于根据所述学生特征数据，确定所述学生模型的学生权重数据；
教师权重确定子单元，用于根据所述教师特征数据，确定所述教师模型的教师权重数据；
目标权重确定子单元，用于根据所述学生权重数据和所述教师权重数据，确定所述目标权重数据。
16.根据权利要求15所述的装置，其中，所述学生权重数据和所述教师权重数据为相同属性的权重数据。
17.根据权利要求15所述的装置，其中，所述学生权重数据为通道权重数据、空间权重数据或混合权重数据；
所述教师权重数据为通道权重数据、空间权重数据或混合权重数据。
18.根据权利要求16所述的装置，其中，所述目标权重确定子单元，包括：
第一目标权重确定从单元，用于根据所述学生权重数据和所述教师权重数据的加权均值，确定所述目标权重数据。
19.根据权利要求16所述的装置，若所述学生权重数据包括至少两个不同属性的权重数据；相应的，所述教师权重数据包括至少两个相应属性的权重数据；则所述目标权重确定子单元，包括：
候选权重确定从单元，用于针对每组相同属性的学生权重数据和教师权重数据，分别确定候选权重数据；
第二目标权重确定从单元，用于根据各所述候选权重数据，确定所述目标权重数据。
20.根据权利要求19所述的装置，其中，所述第二目标权重确定从单元，包括：
第二目标权重确定甲从单元，用于分别对各所述候选权重数据进行重构，以使各所述候选权重数据的矩阵大小一致；根据重构后的各所述候选权重数据的加权均值，确定所述目标权重数据；
或者，
第二目标权重确定乙从单元，用于将各所述候选权重数据相乘，得到目标权重数据；其中，所述目标权重数据与所述学生特征数据矩阵大小一致。
21.根据权利要求13所述的装置，其中，若所述目标权重数据至少两个属性的权重数据，则所述训练指导模块，包括：
综合权重数据生成单元，用于根据至少两个属性的目标权重数据，生成综合权重数据；
训练指导子单元，用于根据所述学生特征数据、所述教师特征数据和所述综合权重数据，指导对所述学生模型的后续训练。
22.根据权利要求21所述的装置，其中，所述综合权重数据生成单元，包括：
第一综合权重数据确定子单元，用于分别对各所述目标权重数据进行重构，以使各所述目标权重数据的矩阵大小一致；根据重构后的各所述目标权重数据的加权均值，确定所述综合权重数据；
或者，
第二综合权重数据确定子单元，用于将各所述目标权重数据相乘，得到所述综合权重数据；其中，所述综合权重数据与所述学生特征数据矩阵大小一致。
23.根据权利要求13-22任一项所述的装置，其中，所述训练指导模块，包括：
特征距离确定单元，用于确定所述学生特征数据和所述教师特征数据之间的特征距离；
目标损失确定单元，用于根据所述目标权重数据和所述特征距离，确定目标损失；
训练指导单元，用于根据所述目标损失，指导对所述学生模型的后续训练。
24.根据权利要求23所述的装置，若所述学生特征数据的数量为至少两个；相应的，所述教师特征数据的数量为至少两个；所述目标损失的数量为至少两个；
所述训练指导单元，包括：
依次指导子单元，用于依次根据各所述目标损失，指导对所述学生模型的后续训练；或者，
重构指导子单元，用于根据各所述目标损失确定综合目标损失，并根据所述综合目标损失，指导对所述学生模型的后续训练。
25.一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的一种学生模型训练方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-12中任一项所述的一种学生模型训练方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的一种学生模型训练方法。
CN202011506263.1A 2020-12-18 2020-12-18 学生模型训练方法、装置、设备、介质和程序产品 Active CN112508120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011506263.1A CN112508120B (zh) 2020-12-18 2020-12-18 学生模型训练方法、装置、设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011506263.1A CN112508120B (zh) 2020-12-18 2020-12-18 学生模型训练方法、装置、设备、介质和程序产品

Publications (2)

Publication Number Publication Date
CN112508120A true CN112508120A (zh) 2021-03-16
CN112508120B CN112508120B (zh) 2023-10-10

Family

ID=74922521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011506263.1A Active CN112508120B (zh) 2020-12-18 2020-12-18 学生模型训练方法、装置、设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN112508120B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113160041A (zh) * 2021-05-07 2021-07-23 深圳追一科技有限公司 一种模型训练方法及模型训练装置
CN113435208A (zh) * 2021-06-15 2021-09-24 北京百度网讯科技有限公司 学生模型的训练方法、装置及电子设备
CN113920574A (zh) * 2021-12-15 2022-01-11 深圳市视美泰技术股份有限公司 图片质量评价模型的训练方法、装置、计算机设备和介质
WO2023155183A1 (en) * 2022-02-21 2023-08-24 Intel Corporation Systems, apparatus, articles of manufacture, and methods for teacher-free self-feature distillation training of machine learning models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144859A2 (en) * 2015-09-18 2017-03-22 Samsung Electronics Co., Ltd. Model training method and apparatus, and data recognizing method
CN111626330A (zh) * 2020-04-23 2020-09-04 南京邮电大学 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统
CN111950638A (zh) * 2020-08-14 2020-11-17 厦门美图之家科技有限公司 基于模型蒸馏的图像分类方法、装置和电子设备
EP3748545A1 (en) * 2019-06-07 2020-12-09 Tata Consultancy Services Limited Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144859A2 (en) * 2015-09-18 2017-03-22 Samsung Electronics Co., Ltd. Model training method and apparatus, and data recognizing method
EP3748545A1 (en) * 2019-06-07 2020-12-09 Tata Consultancy Services Limited Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks
CN111626330A (zh) * 2020-04-23 2020-09-04 南京邮电大学 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统
CN111950638A (zh) * 2020-08-14 2020-11-17 厦门美图之家科技有限公司 基于模型蒸馏的图像分类方法、装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUANYI DONG ET AL: "Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
王金甲;杨倩;崔琳;纪绍男;: "基于平均教师模型的弱标记半监督声音事件检测", 复旦学报(自然科学版), no. 05 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113139463B (zh) * 2021-04-23 2022-05-13 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113160041A (zh) * 2021-05-07 2021-07-23 深圳追一科技有限公司 一种模型训练方法及模型训练装置
CN113160041B (zh) * 2021-05-07 2024-02-23 深圳追一科技有限公司 一种模型训练方法及模型训练装置
CN113435208A (zh) * 2021-06-15 2021-09-24 北京百度网讯科技有限公司 学生模型的训练方法、装置及电子设备
CN113435208B (zh) * 2021-06-15 2023-08-25 北京百度网讯科技有限公司 学生模型的训练方法、装置及电子设备
CN113920574A (zh) * 2021-12-15 2022-01-11 深圳市视美泰技术股份有限公司 图片质量评价模型的训练方法、装置、计算机设备和介质
CN113920574B (zh) * 2021-12-15 2022-03-18 深圳市视美泰技术股份有限公司 图片质量评价模型的训练方法、装置、计算机设备和介质
WO2023155183A1 (en) * 2022-02-21 2023-08-24 Intel Corporation Systems, apparatus, articles of manufacture, and methods for teacher-free self-feature distillation training of machine learning models

Also Published As

Publication number Publication date
CN112508120B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112508120B (zh) 学生模型训练方法、装置、设备、介质和程序产品
CN113657465B (zh) 预训练模型的生成方法、装置、电子设备和存储介质
EP3568811A1 (en) Training machine learning models
US20240127058A1 (en) Training neural networks using priority queues
WO2018039510A1 (en) Reward augmented model training
US20240185030A1 (en) Adjusting neural network resource usage
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113963110B (zh) 纹理图生成方法、装置、电子设备及存储介质
JP2022177201A (ja) 画像処理方法、装置、電子機器及び記憶媒体
CN112241715A (zh) 模型训练方法、表情识别方法、装置、设备及存储介质
CN111553488A (zh) 一种针对用户行为的风险识别模型训练方法及系统
JP7297038B2 (ja) ニューラルネットワークモデルの事前トレーニング方法、装置、電子機器及び媒体
US20220230065A1 (en) Semi-supervised training of machine learning models using label guessing
CN112560985A (zh) 神经网络的搜索方法、装置及电子设备
EP4123595A2 (en) Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium
CN114037003A (zh) 问答模型的训练方法、装置及电子设备
CN111160049A (zh) 文本翻译方法、装置、机器翻译系统和存储介质
CN112949433B (zh) 视频分类模型的生成方法、装置、设备和存储介质
CN113657468A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN114792097B (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN113657466B (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN112200169B (zh) 用于训练模型的方法、装置、设备以及存储介质
CN114969543B (zh) 推广方法、系统、电子设备和存储介质
CN113204973B (zh) 答非所问识别模型的训练方法、装置、设备和存储介质
WO2023088273A1 (en) Methods and devices for meta few-shot class incremental learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant