CN114462546A - 一种基于多模型融合的特征蒸馏方法、系统、设备和介质 - Google Patents

一种基于多模型融合的特征蒸馏方法、系统、设备和介质 Download PDF

Info

Publication number
CN114462546A
CN114462546A CN202210142194.3A CN202210142194A CN114462546A CN 114462546 A CN114462546 A CN 114462546A CN 202210142194 A CN202210142194 A CN 202210142194A CN 114462546 A CN114462546 A CN 114462546A
Authority
CN
China
Prior art keywords
distillation
fusion
network
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210142194.3A
Other languages
English (en)
Inventor
王曦
蹇易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuncong Enterprise Development Co ltd
Original Assignee
Shanghai Yuncong Enterprise Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yuncong Enterprise Development Co ltd filed Critical Shanghai Yuncong Enterprise Development Co ltd
Priority to CN202210142194.3A priority Critical patent/CN114462546A/zh
Publication of CN114462546A publication Critical patent/CN114462546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于多模型融合的特征蒸馏方法、系统、设备和介质，包括：通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征；本发明充分利用不同教师模型的优势，从局部和全局两个方向进行蒸馏学习，提升学生模型的识别性能。

Description

一种基于多模型融合的特征蒸馏方法、系统、设备和介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于多模型融合的特征蒸馏方法、系统、设备和介质。
背景技术
模型压缩以及知识提取是模型部署中关键的步骤，其中以模型蒸馏为主的训练方法被大家广泛使用，主流的模型蒸馏方法会预先训练一个大模型(教师模型)，在分类层计算各个类别的概率，以这个概率分布作为“暗知识”，利用KL散度的距离度量指导小模型(学生模型)学习到大模型的知识.
在人脸识别任务中，此方法面临如下几个问题：人脸识别任务类别数巨大，会造成教师模型中的暗知识矩阵分布过于庞大，不利于学习，甚至十分消耗显存等硬件资源；多个教师模型的特征融合会组成性能更加强大的教师模型，但是不当的训练方式无法充分获得多个教师带来的收益，反而提升了特征的长度，带来计算与存储的负担。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种基于多模型融合的特征蒸馏方法、系统、设备和介质，主要解决现有教师模型暗知识矩阵过于庞大，对硬件要求高，且特征之间存在冗余，不利于学生模型的学习和计算的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
一种基于多模型融合的特征蒸馏方法，包括：
通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；
通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；
将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
可选地，所述第一蒸馏子网络包括：注意力模块、归一化层、相似计算层以及至少一个全连接层，
注意力模块根据所述全连接层输出特征的特征值大小获取对应特征的权重输出至所述归一化层；
所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特征归一化；
相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第一特征之间的相似度。
可选地，所述注意力模块通过映射函数将特征值映射到-1至1之间。
可选地，所述映射函数包括：softmax函数、sigmoid函数。
可选地，所述第二蒸馏子网络与所述蒸馏子网络采用相同的网络结构。
可选地，将所述第一融合特征和第二融合特征输入第二蒸馏子网络之前，还包括：
对所述第一融合特征采用降维算法进行降维处理。
可选地，所述第一蒸馏子网络的数量与所述教师模型的数量相对应，且每个第一蒸馏子网络分别接收一个所述教师模型的第一特征。
一种基于多模型融合的特征蒸馏系统，包括：
第一特征获取模块，用于通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；
学生特征获取模块，用于通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；
融合蒸馏模块，用于将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行所述的基于多模型融合的特征蒸馏方法。
一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的基于多模型融合的特征蒸馏方法。
如上所述，本发明一种基于多模型融合的特征蒸馏方法、系统、设备和介质，具有以下有益效果。
通过蒸馏子网络对主干网的第二特征进行蒸馏处理后，与对应教师模型获取的第一特征进行相似度比对，使得学生模型能够学习到教师模型中的主要特征，再通过融合特征进行蒸馏，通过教师模型的融合特征对学生模型进行全局指导，实现先局部再全局的学习过程，完成充分学习，得到更准确的蒸馏特征。
附图说明
图1为本发明一实施例中基于多模型融合的特征蒸馏方法的流程示意图。
图2为本发明一实施例中基于多模型融合的特征蒸馏系统的模块图。
图3为本发明一实施例中设备的结构示意图。
图4为本发明另一实施例中设备的结构示意图。
图5为本发明一实施例中蒸馏子网络的结构示意图。
图6为本发明一实施例中学生模型的网络结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种基于多模型融合的特征蒸馏方法，包括以下步骤：
步骤S01，通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；
步骤S02，通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；
步骤S03，将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
在一实施例中，可采用多个不同网络结构的模型作为教师模型，预先通过带标签的样本数据对各教师模型进行训练，以确定教师模型的模型参数。为了保障各教师模型得到的特征在进行特征融合时的性能，可选用识别精度相差在一定范围内的教师模型，具体教师模型选择以及预训练过程为现有技术这里不作赘述。
通过预训练的各教师模型分别提取目标数据的特征作为第一特征。其中，目标数据可包括待识别对象的人脸图像、车辆图像等。将各教师模型提取的第一特征存储以备学生模型蒸馏使用。
学生模型可包括主干网、局部蒸馏模块和全局蒸馏模块，其中，局部蒸馏模块包括多个第一蒸馏子网络，全局蒸馏模块将各教师模型得到的目标数据的第一特征进行拼接融合，得到融合特征矩阵。具体地，可将各教师模型的第一特征进行串联得到高维度的特征矩阵，由于此时特征长度线性增长，受限于学生模型的学习能力以及不同教师模型得到的第一特征之间存在相互冗余部分，可采用PCA降维算法对融合特征矩阵进行降维处理，提取主要特征，得到第一融合特征。进一步地，对各第一蒸馏子网络输出的特征采用相同方式进行特征融合，得到第二融合特征，将第一融合特征和第二融合特征输入第二蒸馏子网络得到目标数据的蒸馏特征。第二蒸馏子网络可采用前述蒸馏子网络相同的网络结构。
在一实施例中，学生模型可通过主干网对目标数据进行特征提取，得到第二特征。主干网可采用常规的特征提取网络结构，如通过一个或多个卷积层进行特征提取。也可根据需要采用其他可进行特征提取的网络结构，这里不作限制。主干网可分别与各第一蒸馏子网络建立连接，将提取的第二特征输出至各第一蒸馏子网络进行特征蒸馏。
在一实施例中，第一蒸馏子网络包括：注意力模块、归一化层、相似计算层以及至少一个全连接层；注意力模块根据全连接层输出特征的特征值大小获取对应特征的权重输出至所述归一化层；所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特征归一化；相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第一特征之间的相似度。具体第一蒸馏子网络的网络结构可参阅图5，图5中特征头即表示一个第一蒸馏子网络，特征头包括两个全连接层，两全连接层之间采用RLue函数作为激活函数，通过激活函数选择性的开闭前一个全连接层到后一个全连接层的节点输出，防止过拟合。全连接层的层数可根据实际应用需求进行调整，这里不作限制。这里以两个全连接层的特征头为例，两个全连接层后接一个注意力模块，通过注意力模块将全连接层输出特征的特征值映射到-1到1之间，根据特征值大小计算每个特征对应的权重。由于特征学习对每一个维度并不是同等重要的，绝对值越大的特征维度，权重对最终识别分数影响越大，应该重点学习。因此，增加一个注意力模块，全连接层在经过激活函数堆叠后，输出特定维度的特征，对该特定维度的特征进行归一化后，将权重大小限制在-1～1，再将全连接层输出的特定维度特征的绝对值经过映射函数处理，得到每个维度特征的权重大小。其中，映射函数可采用softmax函数、sigmoid函数等不改变单调性的映射函数，只要保证大的特征值分配到大的权重即可，具体映射函数的选择可根据应用需求进行调整，这里不作限制。将带有权重的归一化特征用于与教师模块输出的第一特征计算相似度。
在一实施例中，每个蒸馏子网络可对接一个教师模型的输出，将教师模型和蒸馏子网络两两组合，通过蒸馏子网络对对应的教师模型输出的特征进行蒸馏。请参阅图6，图中特征头1-3分别对应三个蒸馏子网络，每个特征头通过损失函数计算特征头中归一化后的带权重的特征与教师模型输出的第一特征(即图中教师特征)之间的相似度。其中，损失函数可采用余弦损失函数、欧氏距离损失函数或KL散度损失函数等，具体损失函数可根据实际应用需求进行选择，这里不作限制。如图6所示，先分别对单个特征头进行局部蒸馏训练，单个特征头均带有注意力机制，并采用余弦距离计算特征损失，将各特征头输出特征进行融合得到学生融合特征，再将各教师模型的教师特征串联形成特征矩阵，对特征矩阵采用PCA算法进行降维处理，选出主要特征，得到教师融合特征。通过第二蒸馏子网络(即图中特征头4)计算教师融合特征与学生融合特征的相似度，得到全局的蒸馏特征。第二蒸馏子网络的网络结构可采用与特征头1-3相同的网络结构。
学生模型以教师模型特征为目标，学生模型主干网获取的特征经过第一蒸馏子网络计算特征与教师特征的余弦距离，并构建余弦损失函数进行训练，损失越低表示学生与教师的特征距离越近，学习到的特征越好，在余弦损失函数训练时，特征学习对每一个维度并不是同等重要的，绝对值越大的特征维度权重对最终识别分数影响越大，应该重点学习。因此提出注意力模块，经过全连接层激活函数堆叠后，输出特定维度的特征，归一化后限制权重大小在-1～1，再通过绝对值以及softmax函数获得每一维度特征的权重大小，配合余弦损失函数，可以使学生网络向着更重要的特征维度学习倾斜。
针对多教师特征，设计多个特征头一对一“辅导”学生模型，让学生模型可以更专注地掌握教师的特征知识，从全局的角度上看，最终多个教师的特征会串联成一个融合特征，该特征具有表达能力强但特征维度长的特点，考虑到学生模型的学习能力有限，并且多教师融合的特征冗余，使用PCA降维技术提取指定维度的主要全局特征，供学生模型学习。
针对人脸识别任务，对识别特征进行蒸馏可以大幅节省硬件资源，加入带注意力机制特征头，使学生模型的蒸馏学习更有效率，更快收敛。多模型特征学习充分利用了不同教师模型的优势，从局部和全局两个方向蒸馏学习，进一步提升了学生模型的识别性能。
请参阅图2，本实施例中提供了一种基于多模型融合的特征蒸馏系统，用于执行前述方法实施例中所述的基于多模型融合的特征蒸馏方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
在一实施例中，基于多模型融合的特征蒸馏系统，包括：
第一特征获取模块10，用于通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；学生特征获取模块11，用于通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；融合蒸馏模块12，用于将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中基于多模型融合的特征蒸馏方法所包含步骤的指令(instructions)。
图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图4实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于多模型融合的特征蒸馏方法，其特征在于，包括：
通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；
通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；
将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
2.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第一蒸馏子网络包括：注意力模块、归一化层、相似计算层以及至少一个全连接层；
注意力模块根据所述全连接层输出特征的特征值大小获取对应特征的权重输出至所述归一化层；
所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特征归一化；
所述相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第一特征之间的相似度。
3.根据权利要求2所述的基于多模型融合的特征蒸馏方法，其特征在于，所述注意力模块通过映射函数将特征值映射到-1至1之间。
4.根据权利要求3所述的基于多模型融合的特征蒸馏方法，其特征在于，所述映射函数包括：softmax函数、sigmoid函数。
5.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第二蒸馏子网络与所述第一蒸馏子网络采用相同的网络结构。
6.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，将所述第一融合特征和第二融合特征输入第二蒸馏子网络之前，还包括：
对所述第一融合特征采用降维算法进行降维处理。
7.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第一蒸馏子网络的数量与所述教师模型的数量相对应，且每个第一蒸馏子网络分别接收一个所述教师模型的第一特征。
8.一种基于多模型融合的特征蒸馏系统，其特征在于，包括：
第一特征获取模块，用于通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；
学生特征获取模块，用于通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；
融合蒸馏模块，用于将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。
9.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。
10.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。
CN202210142194.3A 2022-02-16 2022-02-16 一种基于多模型融合的特征蒸馏方法、系统、设备和介质 Pending CN114462546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210142194.3A CN114462546A (zh) 2022-02-16 2022-02-16 一种基于多模型融合的特征蒸馏方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210142194.3A CN114462546A (zh) 2022-02-16 2022-02-16 一种基于多模型融合的特征蒸馏方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN114462546A true CN114462546A (zh) 2022-05-10

Family

ID=81413386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210142194.3A Pending CN114462546A (zh) 2022-02-16 2022-02-16 一种基于多模型融合的特征蒸馏方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114462546A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114625924A (zh) * 2022-05-16 2022-06-14 浙江大学 一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114625924A (zh) * 2022-05-16 2022-06-14 浙江大学 一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统
CN114625924B (zh) * 2022-05-16 2022-08-26 浙江大学 一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统

Similar Documents

Publication Publication Date Title
JP7213358B2 (ja) アイデンティティ検証方法、アイデンティティ検証装置、コンピュータ機器、及びコンピュータプログラム
US11816880B2 (en) Face recognition method and apparatus, computer device, and storage medium
CN112200062B (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
US20230237355A1 (en) Method and apparatus for stochastic inference between multiple random variables via common representation
CN111133453A (zh) 人工神经网络
CN111209878A (zh) 跨年龄人脸识别方法及装置
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
US20230104127A1 (en) Systems, methods, and apparatus for image classification with domain invariant regularization
US20230035366A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN111695458A (zh) 一种视频图像帧处理方法及装置
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN113011387A (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN113609819B (zh) 标点符号确定模型及确定方法
CN114462546A (zh) 一种基于多模型融合的特征蒸馏方法、系统、设备和介质
CN114239805A (zh) 跨模态检索神经网络及训练方法、装置、电子设备、介质
CN114610677A (zh) 一种转换模型的确定方法和相关装置
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN116048682A (zh) 一种终端系统界面布局对比方法及电子设备
CN114419514B (zh) 一种数据处理方法、装置、计算机设备及存储介质
TWI780563B (zh) 圖像定位模型獲取方法、終端和電腦可讀儲存介質
CN114282543A (zh) 文本数据处理方法、装置、计算机设备及存储介质
CN116645700B (zh) 特征提取模型处理方法、装置和特征提取方法、装置
WO2024066927A1 (zh) 图像分类模型的训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination