CN116504235B - 基于时间顺序的音频识别模型训练方法及装置 - Google Patents
基于时间顺序的音频识别模型训练方法及装置 Download PDFInfo
- Publication number
- CN116504235B CN116504235B CN202310779759.3A CN202310779759A CN116504235B CN 116504235 B CN116504235 B CN 116504235B CN 202310779759 A CN202310779759 A CN 202310779759A CN 116504235 B CN116504235 B CN 116504235B
- Authority
- CN
- China
- Prior art keywords
- audio
- training
- small
- model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012512 characterization method Methods 0.000 claims abstract description 98
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000008014 freezing Effects 0.000 claims abstract description 30
- 238000007710 freezing Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 95
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010257 thawing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/083—Recognition networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本公开涉及机器学习技术领域，提供了一种基于时间顺序的音频识别模型训练方法及装置。该方法包括：利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N‑K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。采用上述技术手段，解决现有技术中，利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题。
Description
技术领域
本公开涉及机器学习技术领域，尤其涉及一种基于时间顺序的音频识别模型训练方法及装置。
背景技术
为了提高音频识别的效率，可以利用机器学习进行音频识别。目前利用机器学习进行多个音频的识别时，只是将每个音频作为单一的个体，并没有考虑多个音频之间的关联。实际上每次识别的音频如果是同一时间从同一个场景采集得到的，那么该次处理的多个音频是存在时间顺序的，而目前利用机器学习进行音频识别的方法忽略了音频之间可能存在的时间顺序。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题。
发明内容
有鉴于此，本公开实施例提供了一种基于时间顺序的音频识别模型训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题。
本公开实施例的第一方面，提供了一种基于时间顺序的音频识别模型训练方法，包括：利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
本公开实施例的第二方面，提供了一种基于时间顺序的音频识别模型训练装置，包括：构建模块，被配置为利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；第一训练模块，被配置为对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；第二训练模块，被配置为在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。本公开实施例中的N-K个全连接神经网络各自对应一个时刻，所以，采用上述技术手段，可以解决现有技术中，利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题，进而提高音频识别的准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于时间顺序的音频识别模型训练方法的流程示意图；
图2是本公开实施例提供的一种基于时间顺序的音频表征模型训练方法的流程示意图；
图3是本公开实施例提供的一种基于时间顺序的音频识别模型训练装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
图1是本公开实施例提供的一种基于时间顺序的音频识别模型训练方法的流程示意图。图1的基于时间顺序的音频识别模型训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该基于时间顺序的音频识别模型训练方法包括：
S101，利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；
S102，对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；
S103，在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
卷积神经网络可以是任何常见的CNN模型，全称是ConvolutionalNeuralNetworks，卷积神经网络后接池化层，得到非线性编码网络；自注意力网络是self-attentionnetworks，依次连接非线性编码网络、自注意力网络和N-K个全连接神经网络，得到音频表征模型，其中N-K个全连接神经网络之间是并联；自回归循环网络是autoregressive recurrentnetwork，音频表征模型后接自回归循环网络作为音频识别模型。N是训练音频被分割成小音频的数量，K是预设的固定值。
第一阶段训练仅训练音频识别模型中的音频表征模型，该过程中自回归循环网络没有被训练也没有参与；第二阶段训练是对音频识别模型整体的训练，该过程中音频表征模型和自回归循环网络均被训练了。第二阶段训练可以理解为建立一个ASR任务，基于ASR任务对音频识别模型进行语音识别训练，目的是使得音频识别模型可以识别出音频的含义，语音识别训练的方法为现有技术，关于该点不再赘述。本申请实施例是提出了一个全新结构的音频识别模型，对音频识别模型进行多阶段训练。其中，ASR是自动语音识别，全称是Automatic Speech Recognition。
根据本公开实施例提供的技术方案，利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练，因此，采用上述技术手段，可以解决现有技术中，利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题，进而提高音频识别的准确率。
在完成对音频识别模型的第一阶段训练之后，方法还包括：解冻自回归循环网络的模型参数，冻结音频表征模型的模型参数，对自回归循环网络进行解码训练；在完成解码训练后，解冻音频表征模型的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
为了进一步提高最终音频识别模型识别的准确率，可以在对音频识别模型整体进行语音识别训练之前，单独对自回归循环网络进行解码训练，目的是使得自回归循环网络可以基于音频表征模型的输出结果，确定音频对应的识别结果。可以将音频表征模型看做一个编码器，将自回归循环网络看做一个解码器。
在完成对音频识别模型的第二阶段训练之后，方法还包括：在接收到包含多个存在先后次序的小音频的待识别音频后，将待识别音频输入到经过第二阶段训练后的音频识别模型中，输出待识别音频的识别结果；其中，音频识别模型在确定每个小音频的识别结果之后，根据所有小音频的识别结果确定待识别音频的识别结果。
音频识别模型内部的工作过程是：待识别音频输入音频表征模型，输出每个小音频的表征结果，每个小音频的表征结果输入自回归循环网络，输出每个小音频的识别结果，并根据每个小音频的识别结果确定待识别音频的识别结果。
图2是本公开实施例提供的一种基于时间顺序的音频表征模型训练方法的流程示意图。如图2所示，包括：
S201，获取训练数据集，将训练数据集中的训练音频按照时间顺序分割为预设大小且存在先后次序的N个小音频；
S202，通过非线性编码网络确定每个小音频的低维向量表征；
S203，根据前K个小音频的低维向量表征，通过自注意力网络确定前K个小音频的先后时间潜向量，其中，每个小音频的先后时间潜向量和该小音频的低维向量表征以及该小音频的前一个小音频的先后时间潜向量有关；
S204，将第K个小音频的先后时间潜向量分别经过N-K个全连接神经网络，得到第K+1个小音频至第N个小音频的预测向量表征；
S205，根据第K+1个小音频至第N个小音频的低维向量表征和预测向量表征，计算自监督损失；
S206，从训练数据集中确定出前K个小音频的正样本和负样本，根据前K个小音频以及前K个小音频的正样本和负样本的低维向量表征，计算对比学习损失；
S207，根据自监督损失和对比学习损失对音频表征模型进行对比预测编码训练。
需要说明的是，每个全连接神经网络是被随机初始化，所以多个全连接神经网络内部的参数都是不一样的；每个全连接神经网络均可后接一个Relu激活函数，每个全连接神经网络均可以是单层的。训练数据集中具有多个训练音频，为了便于理解后文可以看作是对一个训练音频的处理。按照时间顺序划分训练音频得到的小音频之间存在先后次序，在训练音频中越是靠前的小音频，其先后次序越是靠前。比如一个训练音频划分得到九个小音频，依次是1号、2号、3号、4号、5号、6号、7号、8号、9号，3号小音频之前的所有小音频是1号和2号，3号小音频的前一个小音频是2号。
N是小音频的数量，K是设定的固定值，比如N为9，K为4，那么一个训练音频被分割为九个存在先后次序的小音频，全连接神经网络有5个。所有小音频通过非线性编码网络，得到每个小音频的低维向量表征，前4个小音频的低维向量表征通过自注意力网络，得到前4个小音频的先后时间潜向量（每个小音频有一个先后时间潜向量）；将第4个小音频的先后时间潜向量分别经过5个全连接神经网络，得到5个结果作为后5个小音频的预测向量表征（每个小音频有一个预测向量表征）；根据后5个小音频的低维向量表征和预测向量表征，计算自监督损失；根据前4个以及前4个小音频的正样本和负样本的低维向量表征（每个小音频有一个低维向量表征），计算对比学习损失。一个小音频的正样本和负样本是根据小音频之间的时间顺序确定的，比如第4个小音频的正样本可以是第5个小音频，第4个小音频的负样本可以是第8个小音频，也就是将第K+1个小音频作为第K个小音频的正样本，将第K+4个小音频作为第K个小音频的负样本。
需要说明的是，第1个小音频因为之前没有小音频，所以第1个小音频的先后时间潜向量仅和第1个小音频的低维向量表征有关。第3个小音频的前一个小音频是第2个小音频。
通过如下方式计算第K个小音频的低维向量表征和先后时间潜向量。
zK=Genc(xK)；
cK=Gar(zK，cK-1)；
Genc()表示非线性编码网络，xK表示第K个小音频，zK表示第K个小音频的低维向量表征，Gar()表示自注意力网络，cK表示第K个小音频的先后时间潜向量，cK-1表示第K-1个小音频的先后时间潜向量。
其它小音频的低维向量表征和先后时间潜向量计算也是如此的。
通过如下公式计算自监督损失：
；
其中，MSE（）为均方差函数，为第K+i个小音频的预测向量表征，/>为第K+i个小音频的低维向量表征，i为自然数，i取值在1到N-K之间。
通过如下公式计算对比学习损失：
；
其中，为三元组损失函数，j、/>和/>均为自然数，j取值在1到K之间，第/>个小音频为第j个小音频的正样本，第/>个小音频为第j个小音频的负样本，/>取值在2到K+1之间，/>取值在K+1到N之间，zj为第j个小音频的低维向量表征，/>为第/>个小音频的低维向量表征，/>为第/>个小音频的低维向量表征。
根据自监督损失和对比学习损失更新音频表征模型的模型参数，包括：通过如下公式计算总损失，根据总损失更新音频表征模型的模型参数：
；
其中，为总损失，/>为自监督损失，/>为对比学习损失，/>为权重调节因子，/>的取值范围在0到1之间，可以自行设置。
在一个可选实施例中，对音频表征模型进行多阶段训练：冻结自注意力网络和所有全连接神经网络的模型参数，根据对比学习损失更新非线性编码网络的模型参数，以完成对音频表征模型的第一阶段训练；冻结非线性编码网络和所有全连接神经网络的模型参数，根据音频表征损失更新自注意力网络的模型参数，以完成对音频表征模型的第二阶段训练；冻结非线性编码网络和自注意力网络的模型参数，根据自监督损失更新所有全连接神经网络的模型参数，以完成对音频表征模型的第三阶段训练。
在第一阶段训练中，冻结自注意力网络和所有全连接神经网络的模型参数，根据对比学习损失更新非线性编码网络的模型参数，该过程自注意力网络和所有全连接神经网络均没有参与；第一阶段训练结束后，解冻自注意力网络的模型参数，开始第二阶段训练，冻结非线性编码网络和所有全连接神经网络的模型参数，根据音频表征损失更新自注意力网络的模型参数，该过程非线性编码网络参与了，所有全连接神经网络没有参与（因为自注意力网络的输入使用到了非线性编码网络的输出，所以说该过程非线性编码网络参与了）；第二阶段训练结束后，解冻非线性编码网络和所有全连接神经网络的模型参数，开始第三阶段训练，冻结非线性编码网络和自注意力网络的模型参数，根据自监督损失更新所有全连接神经网络的模型参数，该过程非线性编码网络和自注意力网络都参与了；第三阶段训练完成后，此时确定完成音频识别模型的训练。
在一个可选实施例中，提取前K个小音频的梅尔倒谱系数；根据每个小音频和在该小音频之前的所有小音频的梅尔倒谱系数确定该小音频的综合音频向量；根据前K个小音频的先后时间潜向量和综合音频向量，计算音频表征损失。
第1个小音频的梅尔倒谱系数就是第1个小音频的综合音频向量，第3个小音频的综合音频向量是根据第1个、第2个和第3个小音频的梅尔倒谱系数确定的，可以是将一个小音频和其之前的所有小音频的梅尔倒谱系数拼接在一起作为该小音频的综合音频向量。可以利用交叉熵损失函数计算先后时间潜向量和综合音频向量之间的音频表征损失。
梅尔倒谱系数（Mel-scale FrequencyCepstral Coefficients，简称MFCC），提取MFCC一般会经过如下几个步骤：预加重，分帧，加窗，快速傅里叶变换，梅尔滤波器组，离散余弦变换。
在一个可选实施例中，方法还包括：获取训练数据集，按照预设比例将训练数据集划分为第一训练集、第二训练集和第三训练集；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，利用第一训练集对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；冻结音频表征模型的模型参数，利用第二训练集对自回归循环网络进行解码训练，以完成对音频识别模型的第二阶段训练；根据第三训练集对音频识别模型进行语音识别训练，以完成对音频识别模型的第三阶段训练。
为了进一步提高最终音频识别模型识别的准确率，本申请实施例按照预设比例将训练数据集划分为第一训练集、第二训练集和第三训练集，分别基于第一训练集、第二训练集和第三训练集对音频识别模型进行三个阶段的训练。
本申请实施例中的多阶段训练和上一个实施例中的多阶段训练是类似的，不再赘述。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种基于时间顺序的音频识别模型训练装置的示意图。如图3所示，该基于时间顺序的音频识别模型训练装置包括：
构建模块301，被配置为利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；
第一训练模块302，被配置为对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；
第二训练模块303，被配置为在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
根据本公开实施例提供的技术方案，利用卷积神经网络和池化层构建非线性编码网络，利用非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用音频表征模型和自回归循环网络构建音频识别模型；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；在完成第一阶段训练后，解冻自回归循环网络的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练，因此，采用上述技术手段，可以解决现有技术中，利用机器学习进行音频识别时无法考虑音频之间的时间关联的问题，进而提高音频识别的准确率。
可选地，第二训练模块303还被配置为解冻自回归循环网络的模型参数，冻结音频表征模型的模型参数，对自回归循环网络进行解码训练；在完成解码训练后，解冻音频表征模型的模型参数，对音频识别模型进行语音识别训练，以完成对音频识别模型的第二阶段训练。
可选地，第二训练模块303还被配置为在接收到包含多个存在先后次序的小音频的待识别音频后，将待识别音频输入到经过第二阶段训练后的音频识别模型中，输出待识别音频的识别结果；其中，音频识别模型在确定每个小音频的识别结果之后，根据所有小音频的识别结果确定待识别音频的识别结果。
可选地，第一训练模块302还被配置为获取训练数据集，将训练数据集中的训练音频按照时间顺序分割为预设大小且存在先后次序的N个小音频；通过非线性编码网络确定每个小音频的低维向量表征；通过非线性编码网络确定每个小音频的低维向量表征；根据前K个小音频的低维向量表征，通过自注意力网络确定前K个小音频的先后时间潜向量，其中，每个小音频的先后时间潜向量和该小音频的低维向量表征以及该小音频的前一个小音频的先后时间潜向量有关；将第K个小音频的先后时间潜向量分别经过N-K个全连接神经网络，得到第K+1个小音频至第N个小音频的预测向量表征；根据第K+1个小音频至第N个小音频的低维向量表征和预测向量表征，计算自监督损失；从训练数据集中确定出前K个小音频的正样本和负样本，根据前K个小音频以及前K个小音频的正样本和负样本的低维向量表征，计算对比学习损失；根据自监督损失和对比学习损失对音频表征模型进行对比预测编码训练。
可选地，第一训练模块302还被配置为通过如下方式计算第K个小音频的低维向量表征和先后时间潜向量。
zK=Genc(xK)；
cK=Gar(zK，cK-1)；
Genc()表示非线性编码网络，xK表示第K个小音频，zK表示第K个小音频的低维向量表征，Gar()表示自注意力网络，cK表示第K个小音频的先后时间潜向量，cK-1表示第K-1个小音频的先后时间潜向量。
其它小音频的低维向量表征和先后时间潜向量计算也是如此的。
可选地，第一训练模块302还被配置为通过如下公式计算自监督损失：
；
其中，MSE（）为均方差函数，为第K+i个小音频的预测向量表征，/>为第K+i个小音频的低维向量表征，i为自然数，i取值在1到N-K之间。
通过如下公式计算对比学习损失：
；
其中，为三元组损失函数，j、/>和/>均为自然数，j取值在1到K之间，第/>个小音频为第j个小音频的正样本，第/>个小音频为第j个小音频的负样本，/>取值在2到K+1之间，/>取值在K+1到N之间，zj为第j个小音频的低维向量表征，/>为第/>个小音频的低维向量表征，/>为第/>个小音频的低维向量表征。
可选地，第一训练模块302还被配置为通过如下公式计算总损失，根据总损失更新音频表征模型的模型参数：
；
其中，为总损失，/>为自监督损失，/>为对比学习损失，/>为权重调节因子，/>的取值范围在0到1之间，可以自行设置。
可选地，第一训练模块302还被配置为冻结自注意力网络和所有全连接神经网络的模型参数，根据对比学习损失更新非线性编码网络的模型参数，以完成对音频表征模型的第一阶段训练；冻结非线性编码网络和所有全连接神经网络的模型参数，根据音频表征损失更新自注意力网络的模型参数，以完成对音频表征模型的第二阶段训练；冻结非线性编码网络和自注意力网络的模型参数，根据自监督损失更新所有全连接神经网络的模型参数，以完成对音频表征模型的第三阶段训练。
可选地，第一训练模块302还被配置为提取前K个小音频的梅尔倒谱系数；根据每个小音频和在该小音频之前的所有小音频的梅尔倒谱系数确定该小音频的综合音频向量；根据前K个小音频的先后时间潜向量和综合音频向量，计算音频表征损失。
可选地，第二训练模块303还被配置为获取训练数据集，按照预设比例将训练数据集划分为第一训练集、第二训练集和第三训练集；对音频识别模型进行多阶段训练：冻结自回归循环网络的模型参数，利用第一训练集对音频表征模型进行对比预测编码训练，以完成对音频识别模型的第一阶段训练；冻结音频表征模型的模型参数，利用第二训练集对自回归循环网络进行解码训练，以完成对音频识别模型的第二阶段训练；根据第三训练集对音频识别模型进行语音识别训练，以完成对音频识别模型的第三阶段训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (9)
1.一种基于时间顺序的音频识别模型训练方法，其特征在于，包括：
利用卷积神经网络和池化层构建非线性编码网络，利用所述非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用所述音频表征模型和自回归循环网络构建音频识别模型；
对所述音频识别模型进行多阶段训练：
冻结所述自回归循环网络的模型参数，对所述音频表征模型进行对比预测编码训练，以完成对所述音频识别模型的第一阶段训练；
在完成所述第一阶段训练后，解冻所述自回归循环网络的模型参数，对所述音频识别模型进行语音识别训练，以完成对所述音频识别模型的第二阶段训练；
其中，冻结所述自回归循环网络的模型参数，对所述音频表征模型进行对比预测编码训练，以完成对所述音频识别模型的第一阶段训练，包括：
获取训练数据集，将所述训练数据集中的训练音频按照时间顺序分割为预设大小且存在先后次序的N个小音频；
通过所述非线性编码网络确定每个小音频的低维向量表征；
根据前K个小音频的低维向量表征，通过所述自注意力网络确定前K个小音频的先后时间潜向量，其中，每个小音频的先后时间潜向量和该小音频的低维向量表征以及该小音频的前一个小音频的先后时间潜向量有关；
将第K个小音频的先后时间潜向量分别经过N-K个全连接神经网络，得到第K+1个小音频至第N个小音频的预测向量表征；
根据第K+1个小音频至第N个小音频的低维向量表征和预测向量表征，计算自监督损失；
从所述训练数据集中确定出前K个小音频的正样本和负样本，根据前K个小音频以及前K个小音频的正样本和负样本的低维向量表征，计算对比学习损失；
根据所述自监督损失和所述对比学习损失对所述音频表征模型进行所述对比预测编码训练。
2.根据权利要求1所述的方法，其特征在于，在完成对所述音频识别模型的第一阶段训练之后，所述方法还包括：
解冻所述自回归循环网络的模型参数，冻结所述音频表征模型的模型参数，对所述自回归循环网络进行解码训练；
在完成所述解码训练后，解冻所述音频表征模型的模型参数，对所述音频识别模型进行所述语音识别训练，以完成对所述音频识别模型的第二阶段训练。
3.根据权利要求1所述的方法，其特征在于，在完成对所述音频识别模型的第二阶段训练之后，所述方法还包括：
在接收到包含多个存在先后次序的小音频的待识别音频后，将所述待识别音频输入到经过所述第二阶段训练后的所述音频识别模型中，输出所述待识别音频的识别结果；
其中，所述音频识别模型在确定每个小音频的识别结果之后，根据所有小音频的识别结果确定所述待识别音频的识别结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述音频表征模型进行多阶段训练：
冻结所述自注意力网络和所有全连接神经网络的模型参数，根据所述对比学习损失更新所述非线性编码网络的模型参数，以完成对所述音频表征模型的第一阶段训练；
冻结所述非线性编码网络和所有全连接神经网络的模型参数，根据音频表征损失更新所述自注意力网络的模型参数，以完成对所述音频表征模型的第二阶段训练；
冻结所述非线性编码网络和所述自注意力网络的模型参数，根据所述自监督损失更新所有全连接神经网络的模型参数，以完成对所述音频表征模型的第三阶段训练。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
提取前K个小音频的梅尔倒谱系数；
根据每个小音频和在该小音频之前的所有小音频的梅尔倒谱系数确定该小音频的综合音频向量；
根据前K个小音频的先后时间潜向量和综合音频向量，计算音频表征损失。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集，按照预设比例将所述训练数据集划分为第一训练集、第二训练集和第三训练集；
对所述音频识别模型进行多阶段训练：
冻结所述自回归循环网络的模型参数，利用所述第一训练集对所述音频表征模型进行所述对比预测编码训练，以完成对所述音频识别模型的第一阶段训练；
冻结所述音频表征模型的模型参数，利用所述第二训练集对所述自回归循环网络进行解码训练，以完成对所述音频识别模型的第二阶段训练；
根据所述第三训练集对所述音频识别模型进行所述语音识别训练，以完成对所述音频识别模型的第三阶段训练。
7.一种基于时间顺序的音频识别模型训练装置，其特征在于，包括：
构建模块，被配置为利用卷积神经网络和池化层构建非线性编码网络，利用所述非线性编码网络、自注意力网络和N-K个全连接神经网络构建音频表征模型，利用所述音频表征模型和自回归循环网络构建音频识别模型；
第一训练模块，被配置为对所述音频识别模型进行多阶段训练：冻结所述自回归循环网络的模型参数，对所述音频表征模型进行对比预测编码训练，以完成对所述音频识别模型的第一阶段训练；
第二训练模块，被配置为在完成所述第一阶段训练后，解冻所述自回归循环网络的模型参数，对所述音频识别模型进行语音识别训练，以完成对所述音频识别模型的第二阶段训练；
所述第一训练模块，还被配置为获取训练数据集，将所述训练数据集中的训练音频按照时间顺序分割为预设大小且存在先后次序的N个小音频；通过所述非线性编码网络确定每个小音频的低维向量表征；根据前K个小音频的低维向量表征，通过所述自注意力网络确定前K个小音频的先后时间潜向量，其中，每个小音频的先后时间潜向量和该小音频的低维向量表征以及该小音频的前一个小音频的先后时间潜向量有关；将第K个小音频的先后时间潜向量分别经过N-K个全连接神经网络，得到第K+1个小音频至第N个小音频的预测向量表征；根据第K+1个小音频至第N个小音频的低维向量表征和预测向量表征，计算自监督损失；从所述训练数据集中确定出前K个小音频的正样本和负样本，根据前K个小音频以及前K个小音频的正样本和负样本的低维向量表征，计算对比学习损失；根据所述自监督损失和所述对比学习损失对所述音频表征模型进行所述对比预测编码训练。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779759.3A CN116504235B (zh) | 2023-06-29 | 2023-06-29 | 基于时间顺序的音频识别模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779759.3A CN116504235B (zh) | 2023-06-29 | 2023-06-29 | 基于时间顺序的音频识别模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116504235A CN116504235A (zh) | 2023-07-28 |
| CN116504235B true CN116504235B (zh) | 2023-10-03 |
Family
ID=87328877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779759.3A Active CN116504235B (zh) | 2023-06-29 | 2023-06-29 | 基于时间顺序的音频识别模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116504235B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108417228A (zh) * | 2018-02-02 | 2018-08-17 | 福州大学 | 乐器音色迁移下的人声音色相似性度量方法 |
| CN110310662A (zh) * | 2019-05-21 | 2019-10-08 | 平安科技（深圳）有限公司 | 音节自动标注方法、装置、计算机设备及存储介质 |
| CN110428812A (zh) * | 2019-07-30 | 2019-11-08 | 天津大学 | 基于动态时间规划根据语音信息合成舌超声视频的方法 |
| US10621973B1 (en) * | 2017-03-23 | 2020-04-14 | Vocasso, Inc. | Sub-vocal speech recognition apparatus and method |
| CN112259079A (zh) * | 2020-10-19 | 2021-01-22 | 北京有竹居网络技术有限公司 | 语音识别的方法、装置、设备和计算机可读介质 |
| CN114596839A (zh) * | 2022-03-03 | 2022-06-07 | 网络通信与安全紫金山实验室 | 一种端到端语音识别方法、系统及存储介质 |
| CN115831102A (zh) * | 2022-11-28 | 2023-03-21 | 中国电子科技集团公司第三十六研究所 | 基于预训练特征表示的语音识别方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007271876A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 音声認識装置および音声認識用のプログラム |
-
2023
- 2023-06-29 CN CN202310779759.3A patent/CN116504235B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621973B1 (en) * | 2017-03-23 | 2020-04-14 | Vocasso, Inc. | Sub-vocal speech recognition apparatus and method |
| CN108417228A (zh) * | 2018-02-02 | 2018-08-17 | 福州大学 | 乐器音色迁移下的人声音色相似性度量方法 |
| CN110310662A (zh) * | 2019-05-21 | 2019-10-08 | 平安科技（深圳）有限公司 | 音节自动标注方法、装置、计算机设备及存储介质 |
| CN110428812A (zh) * | 2019-07-30 | 2019-11-08 | 天津大学 | 基于动态时间规划根据语音信息合成舌超声视频的方法 |
| CN112259079A (zh) * | 2020-10-19 | 2021-01-22 | 北京有竹居网络技术有限公司 | 语音识别的方法、装置、设备和计算机可读介质 |
| CN114596839A (zh) * | 2022-03-03 | 2022-06-07 | 网络通信与安全紫金山实验室 | 一种端到端语音识别方法、系统及存储介质 |
| CN115831102A (zh) * | 2022-11-28 | 2023-03-21 | 中国电子科技集团公司第三十六研究所 | 基于预训练特征表示的语音识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116504235A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680582B (zh) | 声学模型训练方法、语音识别方法、装置、设备及介质 | |
| US20220004870A1 (en) | Speech recognition method and apparatus, and neural network training method and apparatus | |
| CN108701452B (zh) | 音频模型学习方法、语音识别方法、音频模型学习装置、语音识别装置及记录介质 | |
| CN110546656B (zh) | 前馈生成式神经网络 | |
| US9595257B2 (en) | Downsampling schemes in a hierarchical neural network structure for phoneme recognition | |
| CN103943104B (zh) | 一种语音信息识别的方法及终端设备 | |
| TW201935464A (zh) | 基於記憶性瓶頸特徵的聲紋識別的方法及裝置 | |
| WO2015089148A2 (en) | Reducing dynamic range of low-rank decomposition matrices | |
| CN111862984B (zh) | 一种信号输入方法、装置、电子设备和可读存储介质 | |
| CN109147774B (zh) | 一种改进的延时神经网络声学模型 | |
| CN109192200A (zh) | 一种语音识别方法 | |
| US11410685B1 (en) | Method for detecting voice splicing points and storage medium | |
| CN116504235B (zh) | 基于时间顺序的音频识别模型训练方法及装置 | |
| CN109545226A (zh) | 一种语音识别方法、设备及计算机可读存储介质 | |
| CN116612500B (zh) | 行人重识别模型训练方法及装置 | |
| CN110708619B (zh) | 一种智能设备的词向量训练方法及装置 | |
| CN112634880A (zh) | 话者识别的方法、装置、设备、存储介质以及程序产品 | |
| CN112786058B (zh) | 声纹模型训练方法、装置、设备以及存储介质 | |
| CN111354373A (zh) | 一种基于神经网络中间层特征滤波的音频信号分类方法 | |
| CN114420136A (zh) | 一种声纹识别模型训练的方法、装置以及存储介质 | |
| Ratajczak et al. | Frame and Segment Level Recurrent Neural Networks for Phone Classification. | |
| CN116523028B (zh) | 基于图像空间位置的图像表征模型训练方法及装置 | |
| CN112951256A (zh) | 语音处理方法及装置 | |
| Long et al. | Offline to online speaker adaptation for real-time deep neural network based LVCSR systems | |
| CN117524201A (zh) | 语音识别模型的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |