CN114822518A - 知识蒸馏方法、电子设备和存储介质 - Google Patents
知识蒸馏方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114822518A CN114822518A CN202210476439.6A CN202210476439A CN114822518A CN 114822518 A CN114822518 A CN 114822518A CN 202210476439 A CN202210476439 A CN 202210476439A CN 114822518 A CN114822518 A CN 114822518A
- Authority
- CN
- China
- Prior art keywords
- distillation
- model
- mask
- knowledge
- nar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 45
- 238000004821 distillation Methods 0.000 claims abstract description 80
- 230000006872 improvement Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 abstract description 17
- 238000013459 approach Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000005266 circulating tumour cell Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000014451 palmoplantar keratoderma and congenital alopecia 2 Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 241001672694 Citrus reticulata Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000001617 migratory effect Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 101150096038 PTH1R gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开知识蒸馏方法、电子设备和存储介质，其中，一种知识蒸馏方法，包括：在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask‑CTC的自回归模型，其中，所述Mask‑CTC为通过条件掩码语言模型对CTC结果的改进。结果表明，这种知识转移方法缩小了AR和NAR之间的差距，在更困难的评估集(即AISHELL‑1中的测试集，Librispeech中的test‑other)中，改进明显更大。经过知识转移和蒸馏，由于AR教师的高预测精度，与原始NAR模型相比，长度误差问题得到了很大缓解。
Description
技术领域
本发明属于知识蒸馏技术领域，尤其涉及知识蒸馏方法、电子设备和存储介质。
背景技术
近年来，自动语音识别(Automatic Speech Recognition，ASR)的性能通过序列到序列建模得到了很大的提升，例如连接时序分类(Connectionist TemporalClassification，CTC)、循环神经网络换能器(Recurrent Neural Network Transducer，RNNT)和基于注意力的编码器-解码器(Attention-based Encoder-Decoder，AED)。许多早期的研究都集中在自回归(autoregressive，AR)建模上，它使用从左到右的概率链规则生成令牌序列。尽管它们具有出色的性能，但此类AR模型需要L步增量模型计算来生成L个令牌，从而导致高推理延迟和可观的计算成本。
从另一方面来看，非自回归(non-autoregressive，NAR)建模以恒定步骤生成令牌序列，并消除了链式规则假设。CTC在最近的NAR研究中发挥着重要作用。现代NAR方法通过利用对齐(基于对齐)和输出标记序列(基于标记)来优于CTC。基于联合CTC/注意架构，Mask-CTC利用(条件)掩码语言模型((Conditional)Masked Language Model，(C)MLM)解码器来细化CTC令牌序列。提出了两个辅助任务来解决Mask-CTC中出现的长度预测问题。从另一个角度来看，CTC对齐在Align-Refine、CASS-NAT和ALNAT中显示了其在构建NAR模型方面的优势。此外，自监督预训练模型wav2vec2.0在CTC建模方面取得了可喜的成果。
然而，NAR建模仍然存在两个主要挑战：首先，与最先进的(State-Of-The-Art，SOTA)AR模型相比，NAR模型收敛缓慢且性能较差。其次，虽然NAR模型通常在资源受限的情况下因推理速度快和准确度高而受到青睐，但模型规模大和计算成本高限制了NAR建模的应用。知识蒸馏(迁移学习)通常用于通过教授较小的学生模型来解决此类问题。具体来说，学生的目标是使用Kullback-Leibler散度(Kullback-Leibler Divergence，KLD)来模仿训练有素的教师模型提供的软目标。然而，发明人在实现本申请的过程中发现，当在非自回归ASR上应用知识蒸馏时，可怜的NAR教师模型限制了改进。
发明内容
本发明实施例提供一种知识蒸馏方法、电子设备和存储介质，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种知识蒸馏方法，包括：在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC的自回归模型，其中，所述Mask-CTC为通过条件掩码语言模型对CTC结果的改进。
第二方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的知识蒸馏方法的步骤。
第三方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的知识蒸馏方法的步骤。
本申请的方法提出了一个新的知识转移和提炼架构，从AR教师模型中蒸馏知识到NAR学生模型中，利用AR模型的知识来提高NAR的性能，同时减少模型的大小。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种知识蒸馏方法的流程图；
图2为本发明一实施例提供的波束搜索解码算法图；
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例的知识蒸馏方法可以适用于自回归(AR)教师模型到非自回归(NAR)学生模型，具体可用于自动语音识别。
其中，一种知识蒸馏方法，包括：在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC的自回归模型，其中，所述Mask-CTC为通过条件掩码语言模型对CTC结果的改进。
在一些可选的实施例中，在所述Mask-CTC上利用波束搜索方法，以扩大推理阶段的搜索空间。
进一步可选的，所述波束搜索方法包括：在每次迭代期间，保留一个预设大小的波束，并且更新的令牌的数量固定，至少根据对数域后验概率选择候选集中前预设数量的候选。
在另一些可选的实施例中，所述解码器的蒸馏包括：对于帧级蒸馏，仅选择ymask位置，对目标函数通过<MASK>标记的数量进行归一化，其中，所述ymask位置包括训练期间使用特殊标记随机替换人工标注得到的预测掩码标记；对于序列级蒸馏，使用来自所述候选集的近似概率进行计算。
在另一些可选的实施例中，所述知识蒸馏的最终损失L的计算公式为：
其中，γenc是所述AR教师模型的编码器知识蒸馏的权重系数，γdec是所述AR教师模型的解码器知识蒸馏的权重系数，
是所述NAR学生模型的损失，
是所述AR教师模型的编码器知识蒸馏的损失，
是所述AR教师模型的解码器知识蒸馏的损失。
在进一步可选的实施例中，所述学生模型的损失为具有多任务学习的损失，计算公式如下：
其中，α∈[0,1]是一个超参数，Lctc是连接时序分类的损失，Lmlm是掩码语言模型的损失。
在另一些可选的实施例中，所述NAR学生模型用于自动语音识别。
本实施例的方法提出了一个新的知识转移和提炼架构，从AR教师模型中蒸馏知识到NAR学生模型中，利用AR模型的知识来提高NAR的性能，同时减少模型的大小。
需要说明的是，上述方法步骤并不用于限制各步骤的执行顺序，实际上，某些步骤可能会同时执行或者以与步骤限定的相反的顺序执行，本申请在此没有限制。
下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。
现代非自回归～(NAR)语音识别系统旨在加快推理速度；然而，与自回归～(AR)模型相比，它们存在性能下降以及巨大的模型尺寸问题。
请参考图1，其示出了本申请实施例提出了一个新的知识转移和提炼架构，从自回归(AR)中蒸馏知识到非自回归模型(NAR)，利用AR模型的知识来提高NAR的性能，同时减少模型的大小。其中，中英文对照如下：AR/NAR:自回归/非自回归，Teacher/Student：老师、学生，Linear：线性层，Posterior：后验概率，KD：知识蒸馏，Encoder/Decoder:编码、解码器，CTC：连接时序分类，Masking：做掩膜，Mask、obs：掩码、可观察，MlM：掩码语言模型。
帧和序列级目标是为转移学习而精心设计的。
为了进一步提高NAR的性能，在Mask-CTC上开发了一个波束搜索方法，以扩大推理阶段的搜索空间。
实验表明，在AISHELL-1基准上，所提出的NAR波束搜索方法在可容忍的实时因素～(RTF)增量下相对减少了CER超过5％。
通过知识转移，与AR教师模型具有相同规模的NAR学生在AISHELL-1开发/测试集上获得了8/16％的相对CER降低，在Librispeech测试集上获得了超过25％的相对WER降低。
此外，9倍小的NAR模型在AISHELL-1和Librispeech基准上，通过本申请实施例建议的知识转移和提炼，实现了25％的相对CER/WER降低。本申请实施例的方法能够在提升自动语音识别推理速度的同时，保有高性能。
以下通过介绍发明人实现本申请的过程和所进行的实验及相关的实验数据，以使本领域技术人员更好地理解本申请的方案。
1.简介
近年来，自动语音识别(ASR)的性能通过序列到序列建模得到了很大的提升，例如连接时序分类(CTC)、循环神经网络换能器(RNNT)和基于注意力的编码器-解码器(AED)。许多早期的研究都集中在自回归(AR)建模上，它使用从左到右的概率链规则生成令牌序列。尽管它们具有出色的性能，但此类AR模型需要L步增量模型计算来生成L个令牌，从而导致高推理延迟和可观的计算成本。
从另一方面来看，非自回归(NAR)建模以恒定步骤生成令牌序列，并消除了链式规则假设。CTC在最近的NAR研究中发挥着重要作用。现代NAR方法通过利用对齐(基于对齐)和输出标记序列(基于标记)来优于CTC。基于联合CTC/注意架构，Mask-CTC利用(条件)掩码语言模型((C)MLM)解码器来细化CTC令牌序列。相关技术提出了两个辅助任务来解决Mask-CTC中出现的长度预测问题。从另一个角度来看，CTC对齐在Align-Refine、CASS-NAT和ALNAT中显示了其在构建NAR模型方面的优势。此外，自监督预训练模型wav2vec2.0在CTC建模方面取得了可喜的成果。
然而，NAR建模仍然存在两个主要挑战：首先，与最先进的(SOTA)AR模型相比，NAR模型收敛缓慢且性能较差。其次，虽然NAR模型通常在资源受限的情况下因推理速度快和准确度高而受到青睐，但模型规模大和计算成本高限制了NAR建模的应用。知识蒸馏(迁移学习)通常用于通过教授较小的学生模型来解决此类问题。具体来说，学生模型的目标是使用Kullback-Leibler散度(KLD)来模仿训练有素的教师模型提供的软目标。然而，当在非自回归ASR上应用知识蒸馏时，可怜的NAR教师模型限制了改进。
在本申请实施例中提出了一种新颖的架构，通过将自回归(AR)教师模型的知识转移和提炼到非自回归(NAR)学生模型以及波束搜索解码方法来提高非自回归建模的性能。首先，本申请实施例引入了一种波束搜索解码方法来扩大(条件)掩码语言模型((C)MLM)解码器的搜索空间。然后，本申请实施例通过在两个蒸馏级别将AR教师模型的知识转移到NAR来扩展知识蒸馏技术，从而提高NAR学生模型的表现。编码器蒸馏是按照本申请实施例之前的设置进行的。对于解码器蒸馏，本申请实施例将帧级和序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC。蒸馏损失是为基于令牌的NAR模型定制的，因此NAR解码器可以从AR解码器中受益。
2.自回归和非自回归ASR
基本上，端到端ASR模型将语音特征X＝[x1，x2，…，xT]T，xt∈RF映射到令牌序列y＝[y1，y2，…，yL]T，y1∈U，其中F是特征维度，U表示词汇集。
传统的基于注意力的自回归(AR)ASR模型首先将语音特征X编码为隐藏表示H：H＝Encoder(X)，然后将其与先前的标记y＜1组合以估计后验p(y1|y＜1，X)：
par(yl|y＜l，H)＝Decoder(y＜l，H) (1)
并且整个序列概率是：
在推理过程中，AR模型逐个生成假设
连接时序分类(CTC)是最早的非自回归(NAR)方法之一，它从帧级对齐Z＝[z1，z2，…，zT]T引入多对一函数η，zt∈U∪{blank}到令牌序列y，通过合并相同的标签并去除Z中的空白。序列概率表示为：
其中，η是从Z到y的多对一函数。在推理过程中，贪婪的CTC通过选择每一步概率最高的标记来预测对齐。
Mask-CTC是NAR ASR的流行实例，实际上是通过条件掩码语言模型(MLM)对CTC结果的改进。在训练期间，人工标注的结果(groundtruth)y被特殊标记<MASK>随机替换，MLM解码器根据观察到的标记yobs＝y\ymask预测掩码标记ymask：
在推理过程中，输出由CTC贪婪解码初始化，低置信度令牌根据预定义的阈值pthr用<MASK>代替。之后，使用easy-first(易先)算法填充掩码：在
迭代中填充所有掩码，其中N表示<MASK>的总数，每次迭代预测具有最高置信度的前k个令牌，由MLM引导：
其中，
C是<MASK>标记的候选集和
是掩码填充后的更新结果。
联合CTC/注意力架构广泛用于现代AR和NAR ASR模型，具有基于多任务学习的损失函数：
Ljca＝αLctc+(1-α)Latt (6)
其中α∈[0，1]是一个超参数，对于AR ASR，Latt＝Lar，对于NARASR，Latt＝Lmlm。
3.建议的方法
在本实施例中介绍：(1)提出的NAR波束搜索方法，(2)将知识从AR转移到NAR ASR的蒸馏架构。
3.1NAR ASR的波束搜索
本申请实施例设计了一种波束搜索解码方法来扩大MLM解码器的搜索空间。过程如图2中的算法1所示。Ω1是在一次迭代开始时要更新的排序队列，Ω0存储一次迭代后的最终Ω1。在每次迭代期间，保留一个B大小的波束，并且更新的令牌的数量是固定的，并由k(即
)计算。根据对数域后验概率和公式(5)，选择Top-B候选。
算法解释如下：
算法1：非自回归模型中的波束搜索解码
1将CTC连接时序分类的贪婪搜索结果赋值到y^
2根据p_thr将部分令牌掩膜为mask，生成y^mask，y^obs
3构造接收集合Omega_0，这是一个保存所有可用假设序列的集合，初始化为y^obs
4 for循环，迭代次数最大为N/K次
5构造优先队列Omega_1，用于保存B个待定序列
6计算k
7对于所有在Omega_0中的序列，
8根据公式5得到前B个候选
9将这些候选加入到Omega_1里面
10将Omega_0＝Omega_1
11返回z在Omega_0中的最大后验y^
3.2从自回归到非自回归ASR的知识转移和提炼
如前所述，由于NAR教师的表现不佳，NAR的知识蒸馏性能受到限制。本申请实施例提出了从自回归(AR)到非自回归(NAR)ASR的知识转移和蒸馏，突破了NAR的极限。
首先，本申请实施例介绍了两种基于Kullback-Leibler散度(KLD)的知识蒸馏技术：KLD(P，Q)＝∑iPilog(Pi/Qi)，其中P，Q分别是教师模型和学生模型的输出分布。
作为基本蒸馏标准的帧级知识蒸馏公式如下：
其中Pt(c)和Qt(c)是教师模型P和学生模型Q在时间戳t处标记c的后验概率。H、yobs和y＜t是上述概率的条件，但为简单起见省略。Pt(c)logPt(c)在计算KLD损失时被省略，这是由于训练期间冻结的教师模型。
序列级知识蒸馏是另一个蒸馏标准：
其中，
中是来自教师模型的假设，τ是所有可能序列的集合，并且与等式(7)中类似的省略。使用这种序列级知识蒸馏是无法承受的，因为本申请实施例正在逼近指数大小的序列分布τ。与MWER训练类似，通过波束搜索访问N-best候选集Ω，然后
可以近似为：
然后本申请实施例可以通过以下方式实现知识蒸馏损失：
LKD＝βFLF-KD+βSLS-KD (10)
其中，βF，βS分别是帧级和序列级知识蒸馏的超参数。
图1：从自回归到非自回归ASR提出的知识蒸馏概述。
如图1所示，提出的知识蒸馏方法分为两部分：第一部分是编码器之后的蒸馏，第二部分是解码器之后的蒸馏。编码器蒸馏
是在编码器的线性层之后完成的，其具有与“M.Huang，Y.You，Z.Chen，Y.Qian，and K.Yu，“Knowledge distillation for sequencemodel，”Proc.Interspeech 2018，p.5，2018”类似的LF-KD和LS-KD。解码器蒸馏设置如下。对于帧级蒸馏，仅选择ymask位置，因此目标函数通过<MASK>标记的数量进行归一化：
对于序列级蒸馏，使用来自N-bestΩ的近似概率P′：
那么最终的损失是：
其中，γenc，γdec是编码器和解码器知识蒸馏的权重系数。
4.实验
4.1数据集
本申请实施例的实验是在普通话AISHELL-1和英语Librispeech语料库上进行的。AISHELL-1包含一个150小时的训练集，一个开发(dev)和一个用于评估的测试集，而Librispeech有一个960小时的训练集，用于测试的test-clean/other(测试c/o)。本申请实施例分别在AISHELL-1上报告字符错误率(Character Error Rate，CER)，在Librispeech上报告单词错误率(Word Error Rate，WER)。
表1：AISHELL1语料库(CER)(％)和Librispeech测试语料库(WER)(％)上的知识转移和蒸馏性能，'I+D'是插入和删除错误的总和，'A'是总CER/WER。'#Param'的括号中包含'XS'、'S'、'M'、'L'，如表2所示。'Same size'表示NAR与AR具有相同的模型比例，'Smaller'表示NAR是比AR小9倍。
4.2型号说明
对于声学特征提取，使用全局水平倒谱均值和方差归一化(CMVN)提取80维梅尔滤波器组(Fbank)特征。在数据增强方面，速度扰动仅适用于两个数据集的AISHELL-1和SpecAugment。对于文本建模，英语采用5000个英语字节对编码(BPE)子词单元，普通话采用4233个字符。基线遵循ESPnet v2的配方，这是一个具有四次下采样的12层一致性编码器和一个6层变压器解码器。CTC模块的权重α固定为0.3。
对于知识转移和蒸馏，本申请实施例首先使用LF-KD从头开始训练一个新的NAR学生模型，历时80个epoch。超参数设置为βF＝1.0,βS＝0,γenc＝0.5,γdec＝0.3。然后本申请实施例通过添加LS-KD对蒸馏过程进行微调，调整参数设置为βF＝1.0,βS＝1.0,γenc＝0.5,γdec＝0.5，共20个epoch。在等式8、9中，本申请实施例使用光束尺寸|Ω|＝10，这与AR模型中的解码超参数一致。
表2中探讨了不同的NAR学生模型尺寸，标识为大(L)、中(M)、小(S)和极小(XS)。AR教师模型为Librispeech保持L尺寸，为AISHELL-1保持M尺寸。
在推理阶段，在接下来的实验中不使用语言模型。模型参数在最后5个检查点上取平均值。对于自回归模型，使用联合CTC/注意力单通解码，光束大小等于10，CTC的得分插值为0.3。对于非自回归Mask-CTC解码，本申请实施例遵循第3.1节中的波束解码方法，对于AISHELL-1和Librispeech语料库，波束大小B＝10，阈值pthr＝0.99和K＝2。
4.3.NAR波束解码的结果
如第3.1节所述，本申请实施例首先在表3中使用实时因子(RTF)评估波束搜索性能。RTF是使用Intel-Xeon E5-2690 CPU在测试集上使用单核计算的。NAR(M)模型将AR(M)模型加速了10倍以上，因为AR(M)的RTF为0.58，AR(S)的RTF为0.31。在没有过多降低推理速度的情况下(比“Beam1”慢1.5倍)，与贪心(Beam1)相比，beam解码方法在测试集上实现了更好的性能，相对WER降低了5％～9％。随着光束尺寸B的增大，改进率降低。
表2：L、M、X和XS的不同AR和NAR Conformer尺度的模型超参数。
表3：AISHELL-1语料库上的非自回归Mask-CTC性能(CER)。报告测试集的实时因子(RTF)。
4.4.知识转移和蒸馏结果
表1比较了AISHELL-1和Librispeech数据集上的知识转移蒸馏和其他现代AR和NAR模型，以验证性能。
AISHELL-1：如表1所示，与NAR(M)相比，教师AR模型的CER相对降低24％以上，与NAR(XS)相比降低40％。在知识蒸馏之后，带有“+LF-KD”的NAR(M)在开发集和测试集上分别实现了8％和16％的相对CER减少，而基于“+LF-KD”和“++LS-KD”的NAR(M)'显示测试集上的CER进一步降低了15％。与CASS-NAT或AL-NAT等最先进的NAR模型相比，学生的成绩达到了具有竞争力的性能(5.0％/5.4％CER)。对于蒸馏NAR(XS)，在两个评估集上获得了类似的结果，即18％/25％CER减少。
Librispeech：表1显示了在大型Librispeech语料库上的性能比较。采用AR(L)作为教师模型，而采用NAR(L,S)作为学生模型。观察结果与表1中的AISHELL1一致，LF-KD和LS-KD进一步提高了NAR Mask-CTC模型在L(3.3/7.8％WER)和S(3.7/9.2％WER)尺度下的性能～相对WER减少25％。但是，由于AR教师模型的限制，AR(L)上的插入和删除错误率很高。
结果表明，这种知识转移方法缩小了AR和NAR之间的差距，在更困难的评估集(即AISHELL-1中的测试集，Librispeech中的test-other)中，改进明显更大。经过知识转移和蒸馏，由于AR教师的高预测精度，与原始NAR模型相比，长度误差问题得到了很大缓解。此外，LF-KD和LS-KD都归因于减少插入和删除错误('I+D')，将长度错误问题推到了AISHELL-1中'I+D'的0.2％CER的极限Librispeech test-other为1.4％。同时，NAR学生模型与其他最先进的NAR方法的结果相当，包括wav2vec2-CTC、改进的CASS-NAT和ALNAT。
5.结论
在本文中，本申请实施例提出了一种新颖的知识转移和蒸馏架构，该架构利用来自AR模型的知识来提高NAR性能，同时减小模型大小。为了进一步提高NAR的性能，本申请实施例在Mask-CTC上提出了一种波束搜索方法，该方法在推理阶段扩大了搜索空间。实验表明，NAR波束搜索在AISHELL-1数据集上获得了5％的相对减少，同时具有可容忍的RTF增量。对于知识蒸馏，大多数结果在大型和小型NAR建模上实现了超过15％的相对CER/WER降低。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的知识蒸馏方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC的自回归模型，其中，所述Mask-CTC为通过条件掩码语言模型对CTC结果的改进。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据知识蒸馏装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至知识蒸馏装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项知识蒸馏方法。
图3是本发明实施例提供的电子设备的结构示意图，如图3所示，该设备包括：一个或多个处理器310以及存储器320，图3中以一个处理器310为例。知识蒸馏方法的设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器320为上述的非易失性计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例知识蒸馏方法。输入装置330可接收输入的数字或字符信息，以及产生与通讯补偿装置的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于知识蒸馏装置中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC的自回归模型，其中，所述Mask-CTC为通过条件掩码语言模型对CTC结果的改进。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种知识蒸馏方法，包括：
在两个蒸馏级别将AR教师模型的知识转移到NAR学生模型，其中，两个蒸馏级别包括帧级蒸馏和序列级蒸馏，编码器的帧级蒸馏和所述编码器的序列级蒸馏在所述编码器的线性层之后完成，解码器的帧级蒸馏和所述解码器的序列级蒸馏从基于注意力的自回归模型发展为Mask-CTC的自回归模型，其中，所述Mask-CTC为通过条件掩码语言模型对CTC结果的改进。
2.根据权利要求1所述的方法，其中，在所述Mask-CTC上利用波束搜索方法，以扩大推理阶段的搜索空间。
3.根据权利要求2所述的方法，其中，所述波束搜索方法包括：
在每次迭代期间，保留一个预设大小的波束，并且更新的令牌的数量固定，至少根据对数域后验概率选择候选集中前预设数量的候选。
4.根据权利要求1所述的方法，其中，所述解码器的蒸馏包括：
对于帧级蒸馏，仅选择ymask位置，对目标函数通过<MASK>标记的数量进行归一化，其中，所述ymask位置包括训练期间使用特殊标记随机替换人工标注得到的预测掩码标记；
对于序列级蒸馏，使用来自所述候选集的近似概率进行计算。
5.根据权利要求1所述的方法，其中，所述知识蒸馏的最终损失L的计算公式为：
其中，γenc是所述AR教师模型的编码器知识蒸馏的权重系数，γdec是所述AR教师模型的解码器知识蒸馏的权重系数，
是所述NAR学生模型的损失，
是所述AR教师模型的编码器知识蒸馏的损失，
是所述AR教师模型的解码器知识蒸馏的损失。
6.根据权利要求5所述的方法，其中，所述学生模型的损失为具有多任务学习的损失，计算公式如下：
其中，α∈[0,1]是一个超参数，Lctc是连接时序分类的损失，Lmlm是掩码语言模型的损失。
7.根据权利要求1-6中任一项所述的方法，其中，所述NAR学生模型用于自动语音识别。
8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210476439.6A CN114822518A (zh) | 2022-04-29 | 2022-04-29 | 知识蒸馏方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210476439.6A CN114822518A (zh) | 2022-04-29 | 2022-04-29 | 知识蒸馏方法、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114822518A true CN114822518A (zh) | 2022-07-29 |
Family
ID=82512116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210476439.6A Pending CN114822518A (zh) | 2022-04-29 | 2022-04-29 | 知识蒸馏方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114822518A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558264A (zh) * | 2024-01-12 | 2024-02-13 | 联通(广东)产业互联网有限公司 | 一种基于自知识蒸馏的方言语音识别训练方法及系统 |
| CN117649861A (zh) * | 2023-10-31 | 2024-03-05 | 北京邮电大学 | 基于帧级别情感状态对齐的语音情感识别方法和系统 |
-
2022
- 2022-04-29 CN CN202210476439.6A patent/CN114822518A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649861A (zh) * | 2023-10-31 | 2024-03-05 | 北京邮电大学 | 基于帧级别情感状态对齐的语音情感识别方法和系统 |
| CN117558264A (zh) * | 2024-01-12 | 2024-02-13 | 联通(广东)产业互联网有限公司 | 一种基于自知识蒸馏的方言语音识别训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108417210B (zh) | 一种词嵌入语言模型训练方法、词语识别方法及系统 | |
| US11093813B2 (en) | Answer to question neural networks | |
| EP3516591B1 (en) | Neural machine translation systems | |
| CN110288665B (zh) | 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备 | |
| JP7087938B2 (ja) | 質問生成装置、質問生成方法及びプログラム | |
| US20200285705A1 (en) | Agent persona grounded chit-chat generation framework | |
| US20230074869A1 (en) | Speech recognition method and apparatus, computer device, and storage medium | |
| CN114822518A (zh) | 知识蒸馏方法、电子设备和存储介质 | |
| CN112464676B (zh) | 机器翻译结果打分方法和装置 | |
| Sproat et al. | An RNN Model of Text Normalization. | |
| CN110674646A (zh) | 一种基于字节对编码技术的蒙汉机器翻译系统 | |
| WO2015133238A1 (ja) | 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム | |
| JP2023544336A (ja) | 多言語発話認識フレームワークのためのシステム及び方法 | |
| CN110427629A (zh) | 半监督文本简化模型训练方法和系统 | |
| CN110678882A (zh) | 使用机器学习从电子文档选择回答跨距 | |
| CN113223506B (zh) | 语音识别模型训练方法及语音识别方法 | |
| CN112349294B (zh) | 语音处理方法及装置、计算机可读介质、电子设备 | |
| JP2022037862A (ja) | テキスト基盤の事前学習モデルを活用した縦断型音声言語理解知識を蒸留するための方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
| CN112528598B (zh) | 基于预训练语言模型和信息论的自动化文本摘要评测方法 | |
| CN113421551B (zh) | 语音识别方法、装置、计算机可读介质及电子设备 | |
| CN111178097B (zh) | 基于多级翻译模型生成中泰双语语料的方法及装置 | |
| CN115438678B (zh) | 机器翻译方法、装置、电子设备及存储介质 | |
| CN110287999B (zh) | 基于隐变量模型的故事生成方法及装置 | |
| Okur et al. | End-to-end evaluation of a spoken dialogue system for learning basic mathematics | |
| CN112863486B (zh) | 一种基于音素的口语评测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |