CN117474037B - 基于空间距离对齐的知识蒸馏方法及装置 - Google Patents

基于空间距离对齐的知识蒸馏方法及装置 Download PDF

Info

Publication number
CN117474037B
CN117474037B CN202311788159.XA CN202311788159A CN117474037B CN 117474037 B CN117474037 B CN 117474037B CN 202311788159 A CN202311788159 A CN 202311788159A CN 117474037 B CN117474037 B CN 117474037B
Authority
CN
China
Prior art keywords
batch
model
training samples
student
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311788159.XA
Other languages
English (en)
Other versions
CN117474037A (zh
Inventor
蒋召
周靖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311788159.XA priority Critical patent/CN117474037B/zh
Publication of CN117474037A publication Critical patent/CN117474037A/zh
Application granted granted Critical
Publication of CN117474037B publication Critical patent/CN117474037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Vaporization, Distillation, Condensation, Sublimation, And Cold Traps (AREA)

Abstract

本公开涉及知识蒸馏技术领域，提供了一种基于空间距离对齐的知识蒸馏方法及装置。该方法包括：分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数。

Description

基于空间距离对齐的知识蒸馏方法及装置
技术领域
本公开涉及知识蒸馏技术领域，尤其涉及一种基于空间距离对齐的知识蒸馏方法及装置。
背景技术
知识蒸馏算法是在训练学生模型时，利用一个训练好的教师模型约束学生模型的输出（实际上是利用教师模型优化学生模型的模型参数）。传统知识蒸馏算法仅是通过比对教师模型和学生模型各自输出特征实现知识蒸馏，传统知识蒸馏算法没有考虑教师模型输出特征之间的关系以及学生模型输出特征之间的关系，导致传统知识蒸馏算法效率低效果差。
发明内容
有鉴于此，本公开实施例提供了一种基于空间距离对齐的知识蒸馏方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，知识蒸馏算法效率低效果差的问题。
本公开实施例的第一方面，提供了一种基于空间距离对齐的知识蒸馏方法，包括：获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征；分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征，其中，训练数据为检测对象的图像；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
本公开实施例的第二方面，提供了一种基于空间距离对齐的知识蒸馏装置，包括：获取模块，被配置为获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，其中，训练数据为检测对象的图像；第一计算模块，被配置为分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；第二计算模块，被配置为计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；第三计算模块，被配置为分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；第四计算模块，被配置为计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；优化模块，被配置为依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，其中，训练数据为检测对象的图像；分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。采用上述技术手段，可以解决现有技术中，知识蒸馏算法效率低效果差的问题，进而提高知识蒸馏效率，提升知识蒸馏效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于空间距离对齐的知识蒸馏方法的流程示意图；
图2是本公开实施例提供的另一种基于空间距离对齐的知识蒸馏方法的流程示意图；
图3是本公开实施例提供的一种基于空间距离对齐的知识蒸馏装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种基于空间距离对齐的知识蒸馏方法和装置。
图1是本公开实施例提供的一种基于空间距离对齐的知识蒸馏方法的流程示意图。图1的基于空间距离对齐的知识蒸馏方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该基于空间距离对齐的知识蒸馏方法包括：
S101，获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征；
S102，分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；
S103，计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；
S104，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；
S105，计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；
S106，依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
本公开实施例可以应用于目标检测领域，比如人脸识别，教师模型和学生模型均是人脸识别模型，区别在于教师模型是训练好的模型，学生模型是待训练的模型；训练数据包括多个人的面部图像。教师模型和学生模型还可以存在区别，比如教师模型为重量级，学生模型为轻量级。教师模型和学生模型可以是同一种类型的人脸识别模型，也可以是不同类型的。常见的人脸识别模型有很多种，本公开实施例使用的人脸识别模型只要是常见的人脸识别模型即可，比如使用深度卷积神经网络。
需要说明的是，在训练中将训练数据中的训练样本划分为多个批次，每次使用一个批次的训练样本训练学生模型，一个批次的训练样本的数量是批处理大小个，批处理大小可以自行设置。
根据本公开实施例提供的技术方案，获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征；分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。采用上述技术手段，可以解决现有技术中，知识蒸馏算法效率低效果差的问题，进而提高知识蒸馏效率，提升知识蒸馏效果。
进一步地，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，包括：将训练数据中的多个训练样本按照批次输入教师模型，通过教师模型中的倒数第二层网络输出各个批次中各个训练样本的教师模型特征；将训练数据中的多个训练样本按照批次输入学生模型，通过学生模型中的倒数第二层网络输出各个批次中各个训练样本的学生模型特征。
比如教师模型和学生模型均是人脸识别模型，人脸识别模型中的最后一层网络是分类层。通过教师模型中分类层的上一层网络输出各个批次中各个训练样本的教师模型特征，通过学生模型中分类层的上一层网络输出各个批次中各个训练样本的学生模型特征。
进一步地，分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征，包括：对各个批次中所有训练样本的教师模型特征求平均，得到各个批次中所有训练样本的教师模型特征对应的教师模型中心特征；对各个批次中所有训练样本的学生模型特征求平均，得到各个批次中所有训练样本的学生模型特征对应的学生模型中心特征。
计算一个批次中所有训练样本的教师模型特征的平均值，将该平均值作为该批次中对应的教师模型中心特征；计算一个批次中所有训练样本的学生模型特征的平均值，将该平均值作为该批次中对应的学生模型中心特征。
进一步地，计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失，包括：计算各个批次对应的教师模型中心特征和学生模型中心特征之间的欧式距离；将各个批次对应的欧式距离作为各个批次对应的中心特征损失。
进一步地，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离，包括：计算各个批次中任意两个训练样本的教师模型特征之间的欧式距离，将各个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的教师模型特征距离；计算各个批次中任意两个训练样本的学生模型特征之间的欧式距离，将各个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的学生模型特征距离。
在实践中发现，教师模型输出特征之间的关系与学生模型输出特征之间的关系是存在关联的。所以本公开实施例通过计算教师模型输出的任意两个特征之间的欧式距离找到教师模型输出特征之间的关系，通过计算学生模型输出的任意两个特征的欧式距离找到学生模型输出特征之间的关系，最后利用教师模型输出特征之间的关系约束学生模型输出特征之间的关系，进而提升知识蒸馏效率和效果。
进一步地，计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失，包括：计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将各个批次中任意两个训练样本对应的均方差作为各个批次中任意两个训练样本对应的特征距离对齐损失。
计算一个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差，将该均方差作为该批次中该任意两个训练样本对应的特征距离对齐损失。
进一步地，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离之后，方法还包括：根据各个批次中任意两个训练样本对应的教师模型特征距离，确定各个批次对应的教师模型特征距离向量；根据各个批次中任意两个训练样本对应的学生模型特征距离，确定各个批次对应的学生模型特征距离向量；计算各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离，将各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离作为各个批次对应的特征距离对齐损失；依据各个批次对应的中心特征损失和特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
比如一个批次有10个训练样本，那么一个批次中的10个训练样本两两组合，共有45个组合。一个批次对应着45个教师模型特征距离，将45个教师模型特征距离拼接就得到了批次对应的教师模型特征距离向量。一个批次对应着45个学生模型特征距离，将45个学生模型特征距离拼接就得到了批次对应的学生模型特征距离向量。
图2是本公开实施例提供的另一种基于空间距离对齐的知识蒸馏方法的示意图。如图2所示，该方法包括：
S201，计算各个批次中各个训练样本的教师模型特征和学生模型特征之间的欧氏距离，将各个批次中各个训练样本对应的欧氏距离作为各个批次中各个训练样本对应的样本特征损失；
S202，通过对学生模型进行多阶段训练，完成从教师模型至学生模型的知识蒸馏：
S203，对学生模型进行第一阶段训练：依据各个批次中各个训练样本对应的样本特征损失优化学生模型的模型参数，当学生模型的精度大于第一阈值，结束第一阶段训练；
S204，对学生模型进行第二阶段训练：依据各个批次对应的中心特征损失优化学生模型的模型参数，当学生模型的精度大于第二阈值，结束第二阶段训练；
S205，对学生模型进行第三阶段训练：依据各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，当学生模型的精度大于第三阈值，结束第三阶段训练。
各个阈值从小到大依次是第一阈值、第二阈值、第三阈值。
在一些实施例中，结束第三阶段训练后，包括：计算任意两个批次中任意两个训练样本的教师模型特征之间的欧式距离，将任意两个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为任意两个批次中任意两个训练样本对应的教师模型特征距离；计算任意两个批次中任意两个训练样本的学生模型特征之间的欧式距离，将任意两个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为任意两个批次中任意两个训练样本对应的教师模型特征距离；计算任意两个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将任意两个批次中任意两个训练样本对应的均方差作为任意两个批次中任意两个训练样本对应的特征距离对齐损失；对学生模型进行第四阶段训练：依据任意两个批次中任意两个训练样本对应的特征距离对齐损失，优化学生模型的模型参数，当学生模型的精度大于第四阈值，结束第四阶段训练。
第四阈值大于第三阈值。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种基于空间距离对齐的知识蒸馏装置的示意图。如图3所示，该基于空间距离对齐的知识蒸馏装置包括：
获取模块301，被配置为获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征；
第一计算模块302，被配置为分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；
第二计算模块303，被配置为计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；
第三计算模块304，被配置为分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；
第四计算模块305，被配置为计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；
优化模块306，被配置为依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
根据本公开实施例提供的技术方案，获取训练数据，将训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征；分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。采用上述技术手段，可以解决现有技术中，知识蒸馏算法效率低效果差的问题，进而提高知识蒸馏效率，提升知识蒸馏效果。
在一些实施例中，获取模块301还被配置为将训练数据中的多个训练样本按照批次输入教师模型，通过教师模型中的倒数第二层网络输出各个批次中各个训练样本的教师模型特征；将训练数据中的多个训练样本按照批次输入学生模型，通过学生模型中的倒数第二层网络输出各个批次中各个训练样本的学生模型特征。
在一些实施例中，第一计算模块302还被配置为对各个批次中所有训练样本的教师模型特征求平均，得到各个批次中所有训练样本的教师模型特征对应的教师模型中心特征；对各个批次中所有训练样本的学生模型特征求平均，得到各个批次中所有训练样本的学生模型特征对应的学生模型中心特征。
在一些实施例中，第二计算模块303还被配置为计算各个批次对应的教师模型中心特征和学生模型中心特征之间的欧式距离；将各个批次对应的欧式距离作为各个批次对应的中心特征损失。
在一些实施例中，第三计算模块304还被配置为计算各个批次中任意两个训练样本的教师模型特征之间的欧式距离，将各个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的教师模型特征距离；计算各个批次中任意两个训练样本的学生模型特征之间的欧式距离，将各个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的学生模型特征距离。
在一些实施例中，第四计算模块305还被配置为计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将各个批次中任意两个训练样本对应的均方差作为各个批次中任意两个训练样本对应的特征距离对齐损失。
在一些实施例中，优化模块306还被配置为根据各个批次中任意两个训练样本对应的教师模型特征距离，确定各个批次对应的教师模型特征距离向量；根据各个批次中任意两个训练样本对应的学生模型特征距离，确定各个批次对应的学生模型特征距离向量；计算各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离，将各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离作为各个批次对应的特征距离对齐损失；依据各个批次对应的中心特征损失和特征距离对齐损失优化学生模型的模型参数，以完成从教师模型至学生模型的知识蒸馏。
在一些实施例中，优化模块306还被配置为计算各个批次中各个训练样本的教师模型特征和学生模型特征之间的欧氏距离，将各个批次中各个训练样本对应的欧氏距离作为各个批次中各个训练样本对应的样本特征损失；通过对学生模型进行多阶段训练，完成从教师模型至学生模型的知识蒸馏：对学生模型进行第一阶段训练：依据各个批次中各个训练样本对应的样本特征损失优化学生模型的模型参数，当学生模型的精度大于第一阈值，结束第一阶段训练；对学生模型进行第二阶段训练：依据各个批次对应的中心特征损失优化学生模型的模型参数，当学生模型的精度大于第二阈值，结束第二阶段训练；对学生模型进行第三阶段训练：依据各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数，当学生模型的精度大于第三阈值，结束第三阶段训练。
在一些实施例中，优化模块306还被配置为计算任意两个批次中任意两个训练样本的教师模型特征之间的欧式距离，将任意两个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为任意两个批次中任意两个训练样本对应的教师模型特征距离；计算任意两个批次中任意两个训练样本的学生模型特征之间的欧式距离，将任意两个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为任意两个批次中任意两个训练样本对应的教师模型特征距离；计算任意两个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将任意两个批次中任意两个训练样本对应的均方差作为任意两个批次中任意两个训练样本对应的特征距离对齐损失；对学生模型进行第四阶段训练：依据任意两个批次中任意两个训练样本对应的特征距离对齐损失，优化学生模型的模型参数，当学生模型的精度大于第四阈值，结束第四阶段训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (6)

1.一种基于空间距离对齐的知识蒸馏方法，应用于目标检测领域，其特征在于，包括：
获取训练数据，将所述训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，其中，训练数据为检测对象的图像；
分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；
计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；
分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；
计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；
依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化所述学生模型的模型参数，以完成从所述教师模型至所述学生模型的知识蒸馏；
其中，分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征，包括：对各个批次中所有训练样本的教师模型特征求平均，得到各个批次中所有训练样本的教师模型特征对应的教师模型中心特征；对各个批次中所有训练样本的学生模型特征求平均，得到各个批次中所有训练样本的学生模型特征对应的学生模型中心特征；
其中，计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失，包括：计算各个批次对应的教师模型中心特征和学生模型中心特征之间的欧式距离；将各个批次对应的欧式距离作为各个批次对应的中心特征损失；
其中，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离，包括：计算各个批次中任意两个训练样本的教师模型特征之间的欧式距离，将各个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的教师模型特征距离；计算各个批次中任意两个训练样本的学生模型特征之间的欧式距离，将各个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的学生模型特征距离；
其中，计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失，包括：计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将各个批次中任意两个训练样本对应的均方差作为各个批次中任意两个训练样本对应的特征距离对齐损失。
2.根据权利要求1所述的方法，其特征在于，将所述训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，包括：
将所述训练数据中的多个训练样本按照批次输入所述教师模型，通过所述教师模型中的倒数第二层网络输出各个批次中各个训练样本的教师模型特征；
将所述训练数据中的多个训练样本按照批次输入所述学生模型，通过所述学生模型中的倒数第二层网络输出各个批次中各个训练样本的学生模型特征。
3.根据权利要求1所述的方法，其特征在于，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离之后，所述方法还包括：
根据各个批次中任意两个训练样本对应的教师模型特征距离，确定各个批次对应的教师模型特征距离向量；
根据各个批次中任意两个训练样本对应的学生模型特征距离，确定各个批次对应的学生模型特征距离向量；
计算各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离，将各个批次对应的教师模型特征距离向量和学生模型特征距离向量之间的欧式距离作为各个批次对应的特征距离对齐损失；
依据各个批次对应的中心特征损失和特征距离对齐损失优化所述学生模型的模型参数，以完成从所述教师模型至所述学生模型的知识蒸馏。
4.一种基于空间距离对齐的知识蒸馏装置，应用于目标检测领域，其特征在于，包括：
获取模块，被配置为获取训练数据，将所述训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，其中，训练数据为检测对象的图像；
第一计算模块，被配置为分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；
第二计算模块，被配置为计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；
第三计算模块，被配置为分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；
第四计算模块，被配置为计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；
优化模块，被配置为依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化所述学生模型的模型参数，以完成从所述教师模型至所述学生模型的知识蒸馏；
其中，分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征，包括：对各个批次中所有训练样本的教师模型特征求平均，得到各个批次中所有训练样本的教师模型特征对应的教师模型中心特征；对各个批次中所有训练样本的学生模型特征求平均，得到各个批次中所有训练样本的学生模型特征对应的学生模型中心特征；
其中，计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失，包括：计算各个批次对应的教师模型中心特征和学生模型中心特征之间的欧式距离；将各个批次对应的欧式距离作为各个批次对应的中心特征损失；
其中，分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离，包括：计算各个批次中任意两个训练样本的教师模型特征之间的欧式距离，将各个批次中任意两个训练样本的教师模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的教师模型特征距离；计算各个批次中任意两个训练样本的学生模型特征之间的欧式距离，将各个批次中任意两个训练样本的学生模型特征之间的欧式距离，作为各个批次中任意两个训练样本对应的学生模型特征距离；
其中，计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失，包括：计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的均方差；将各个批次中任意两个训练样本对应的均方差作为各个批次中任意两个训练样本对应的特征距离对齐损失。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述方法的步骤。
CN202311788159.XA 2023-12-25 2023-12-25 基于空间距离对齐的知识蒸馏方法及装置 Active CN117474037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311788159.XA CN117474037B (zh) 2023-12-25 2023-12-25 基于空间距离对齐的知识蒸馏方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311788159.XA CN117474037B (zh) 2023-12-25 2023-12-25 基于空间距离对齐的知识蒸馏方法及装置

Publications (2)

Publication Number Publication Date
CN117474037A CN117474037A (zh) 2024-01-30
CN117474037B true CN117474037B (zh) 2024-05-10

Family

ID=89623903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311788159.XA Active CN117474037B (zh) 2023-12-25 2023-12-25 基于空间距离对齐的知识蒸馏方法及装置

Country Status (1)

Country Link
CN (1) CN117474037B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565019A (zh) * 2022-01-25 2022-05-31 华东师范大学 一种基于知识蒸馏实现的无数据细粒度分类模型压缩系统及方法
CN114722892A (zh) * 2022-02-22 2022-07-08 中国科学院自动化研究所 基于机器学习的持续学习方法及装置
CN115546840A (zh) * 2022-10-24 2022-12-30 深圳须弥云图空间科技有限公司 基于半监督知识蒸馏的行人重识别模型训练方法及装置
CN115995018A (zh) * 2022-12-09 2023-04-21 厦门大学 基于样本感知蒸馏的长尾分布视觉分类方法
CN116153296A (zh) * 2022-09-07 2023-05-23 浙江大胜达包装股份有限公司 一种基于持续学习模型的语音唤醒方法、装置及存储介质
CN116363423A (zh) * 2023-03-24 2023-06-30 南京大学 面向小样本学习的知识蒸馏方法、装置及存储介质
CN116563925A (zh) * 2023-05-12 2023-08-08 合肥中聚源智能科技有限公司 一种低分辨率条件下的人脸识别方法
CN116976428A (zh) * 2022-10-20 2023-10-31 中移（杭州）信息技术有限公司 模型训练方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565019A (zh) * 2022-01-25 2022-05-31 华东师范大学 一种基于知识蒸馏实现的无数据细粒度分类模型压缩系统及方法
CN114722892A (zh) * 2022-02-22 2022-07-08 中国科学院自动化研究所 基于机器学习的持续学习方法及装置
CN116153296A (zh) * 2022-09-07 2023-05-23 浙江大胜达包装股份有限公司 一种基于持续学习模型的语音唤醒方法、装置及存储介质
CN116976428A (zh) * 2022-10-20 2023-10-31 中移（杭州）信息技术有限公司 模型训练方法、装置、设备及存储介质
CN115546840A (zh) * 2022-10-24 2022-12-30 深圳须弥云图空间科技有限公司 基于半监督知识蒸馏的行人重识别模型训练方法及装置
CN115995018A (zh) * 2022-12-09 2023-04-21 厦门大学 基于样本感知蒸馏的长尾分布视觉分类方法
CN116363423A (zh) * 2023-03-24 2023-06-30 南京大学 面向小样本学习的知识蒸馏方法、装置及存储介质
CN116563925A (zh) * 2023-05-12 2023-08-08 合肥中聚源智能科技有限公司 一种低分辨率条件下的人脸识别方法

Also Published As

Publication number Publication date
CN117474037A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN116403250A (zh) 存在遮挡的人脸识别方法及装置
CN116612500B (zh) 行人重识别模型训练方法及装置
CN109102468B (zh) 图像增强方法、装置、终端设备及存储介质
CN113850298A (zh) 一种图像识别方法、装置及相关设备
CN116912632B (zh) 基于遮挡的目标追踪方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN115147870A (zh) 行人再识别方法及装置
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN116912635B (zh) 目标追踪方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN118036704A (zh) 基于跨层特征对齐的知识蒸馏方法及装置
CN116523028B (zh) 基于图像空间位置的图像表征模型训练方法及装置
CN116912631B (zh) 目标识别方法、装置、电子设备及存储介质
CN117830615A (zh) 基于全局高阶关系的目标重识别方法及装置
CN117456314B (zh) 目标再识别模型的训练方法及装置
CN116935167B (zh) 目标追踪模型的训练方法及装置
CN116341640B (zh) 文本处理模型训练方法及装置
CN117475215A (zh) 目标识别模型的训练方法及装置
CN116630639B (zh) 对象图像的识别方法及装置
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium
CN117893790A (zh) 基于特征对齐的目标重识别方法及装置
CN109711328B (zh) 一种人脸识别方法、装置及电子设备
CN118038146A (zh) 基于特征对齐的知识蒸馏方法及装置
CN116912635A (zh) 目标追踪方法及装置
CN118135186A (zh) 基于多尺度特征的目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant