CN113362812A - 一种语音识别方法、装置和电子设备 - Google Patents

一种语音识别方法、装置和电子设备 Download PDF

Info

Publication number
CN113362812A
CN113362812A CN202110745579.4A CN202110745579A CN113362812A CN 113362812 A CN113362812 A CN 113362812A CN 202110745579 A CN202110745579 A CN 202110745579A CN 113362812 A CN113362812 A CN 113362812A
Authority
CN
China
Prior art keywords
audio frame
audio
encoder
speech recognition
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110745579.4A
Other languages
English (en)
Other versions
CN113362812B (zh
Inventor
杨文文
王智超
周盼
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202110745579.4A priority Critical patent/CN113362812B/zh
Publication of CN113362812A publication Critical patent/CN113362812A/zh
Application granted granted Critical
Publication of CN113362812B publication Critical patent/CN113362812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G10L2015/0633—Creating reference templates; Clustering using lexical or orthographic knowledge sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种语音识别方法、装置和电子设备，其中，所述方法包括：获取待识别语音数据的多帧声学特征；从多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；以N个音频帧块为音频帧组合，输入语音识别模型进行处理；通过编码器提取所述音频帧组合的隐层特征；以及通过编码器的输出层和预设的加权有限状态转换器WFST网络，对音频帧组合中的目标音频帧块的隐层特征进行解码，得到目标音频帧块的语音识别结果。通过调整音频帧块的长度可以调整语音识别模型的解码速度，从而可以应用于不同延时要求的语音识别场景。

Description

一种语音识别方法、装置和电子设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种语音识别方法、装置和电子设备。
背景技术
语音识别是指将接收到的语音信息转化为文本信息，传统的语音识别系统包括声学模型，语言模型和词典模型。端到端语音识别系统提供了一种方式将这三种模型融合到一个神经网络模型中共同建模，从而简化了语音识别系统的构建流程，也提升了语音识别系统的性能。
一般地，端到端语音识别系统可以分为实时识别系统和非实时识别系统，实时系统和非实时系统在结构上存在一定的差异，需要采用不同的方式进行训练。另外，在实时识别系统当中，针对于不同场景下延时与性能要求，也需要准备多个以不同参数训练的模型。总之，现有技术中针对不同需求的端到端语音识别系统需要分别训练，耗费资源。
发明内容
本申请实施例提供一种语音识别方法，以应用于不同延时要求的语音识别场景。
相应的，本申请实施例还提供了一种语音识别装置和一种电子设备，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种语音识别方法，具体包括：
获取待识别语音数据的多帧声学特征；
从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
可选地，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
可选地，所述从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块，包括：
采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
可选地，所述以N个音频帧块为音频帧组合，输入端到端语音识别模型进行处理，包括：
以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
可选地，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，包括：
采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
可选地，所述采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
本申请实施例还公开了一种语音识别装置，所述装置包括：
声学特征获取模块，用于获取待识别语音数据的多帧声学特征；
音频截取模块，用于从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
模型处理模块，用于以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
可选地，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
可选地，所述音频截取模块包括：
滑窗截取子模块，用于采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
可选地，所述模型处理模块包括：
音频帧组合输入子模块，用于以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
可选地，所述模型处理模块包括：
字序列确定子模块，用于采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
候选识别结果确定子模块，用于采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
识别结果确定子模块，用于根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
可选地，所述候选识别结果确定子模块包括：
网络解码单元，用于将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
候选语句确定单元，用于获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，通过如下模块训练所述语音识别模型：
样本数据获取模块，用于获取样本语音数据和所述样本语音数据对应的文本标注；
样本音频截取模块，用于从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
音频帧组合确定模块，用于以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
编码器处理模块，用于将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块，用于将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述模型训练模块包括：
目标误差确定子模块，用于根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
模型参数调整子模块，用于根据所述目标误差调整语音识别模型的参数。
本申请实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的语音识别方法的步骤。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的语音识别方法的步骤。
本申请实施例包括以下优点：
在本申请实施例中，服务器可以获取待识别语音数据的多帧声学特征；从多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧得到音频帧块；以N个音频帧块为音频帧组合，输入语音识别模型进行处理；语音识别模型包括编码器，编码器具有基于CTC准则训练的输出层；通过编码器可以提取音频帧组合的隐层特征；以及通过编码器的输出层和预设的WFST网络，可以对音频帧组合中的目标音频帧块的隐层特征进行解码，得到音频帧的语音识别结果。本申请实施例中，语音模型的输入为多个音频帧块组成的音频帧组合，通过调整音频帧块的长度可以调整语音识别模型的解码速度，从而可以应用于不同延时要求的语音识别场景，使得对不同延时要求的语音识别场景的输入端的结构一致。并且模型解码时通过编码器的输出层和预设的WFST网络进行解码，可以使得对不同延时要求的语音识别场景的解码方式一致性。
附图说明
图1是本申请的一种语音识别方法实施例的步骤流程图；
图2是本申请实施例中语音识别模型的推理过程的示意图；
图3是本申请实施例中语音识别模型的训练方法的流程图；
图4是本申请实施例中语音识别模型的训练过程的示意图；
图5是本申请的一种语音识别装置实施例的结构框图；
图6是本申请的一种语音识别装置可选实施例的结构框图；
图7根据一示例性实施例示出的一种用于语音识别的电子设备的结构框图；
图8是本申请根据另一示例性实施例示出的一种用于语音识别的电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
端到端识别主要包括：基于连接时序分类(CTC，Connectionist TemporalClassification)准则的端到端识别技术，基于注意力的编解码(AED，Attention-basedEncoder-Decoder)端到端语音识别技术。近年来有研究将基于CTC和基于AED的端到端语音识别技术融合到一起，得到AED-CTC/Attention端到端语音识别模型，在很多公开语音识别任务中取得了突破性的进展。
对于AED-CTC/Attention端到端语音识别模型，模型主要有两个模块：编码器(Encoder)、解码器(Decoder)。其中，编码器可以学习声学特征，解码器可以联合语言信息与声学信息进行解码；编码器具有基于CTC准则训练的输出层，可以自动学习字边界对齐。CTC输出层的自动对齐能力可以使得文本与声学特征上有更强单调对齐关系，解码器解码可以避免长句截断等问题；而解码器的联合建模能力也可以使得CTC输出层带有更丰富的文本上下文能力，拥有更强的识别能力。编码器和解码器可以采用RNN，LSTM，BLSTM，Transformer，Conformer等神经网络结构。
在基于AED-CTC/Attention的端到端识别系统中，分为非实时识别系统和实时识别系统。采用自回归解码方式的非实时系统与实时系统，在结构上存在一定的差异。在非实时识别系统中，编码器的输入为全部音频特征并对其进行编码，解码器利用编码器的编码信息与历史预测来进行解码。而在实时识别系统当中，编码器的输入为采用组块(chunk)形式的部分音频特征，并对其进行编码，解码器需要利用预测器(predictor)来预测每个组块中有几个字，然后利用组块的编码信息与历史预测来进行解码，这就导致了非实时与实时系统在结构上不统一，需要单独训练模型。另外，在实时识别系统当中，针对于不同场景下延时与性能要求，可能需要准备很多个不同的单一组块模型。
本申请的核心构思在于，训练一个可以支持实时、非实时的任意延时的端到端语音识别模型，使得端到端语音识别模型的使用更加简单。
本申请实施例中，采用端到端语音识别模型的语音识别方法可以应用到多种业务场景。例如，在私人场景中，用户的移动终端可以安装有语音输入法，语音输入法可以获取用户的语音数据，语音输入法可以调用语音识别服务器进行非实时语音识别。语音识别服务器可以采用端到端语音识别模型对语音数据进行识别得到语音识别结果，并将语音识别结果返回至语音输入法。
又例如，在车载场景中，车载终端的语音助手可以获取用户的语音数据，语音助手可以调用语音识别服务器进行实时语音识别，语音识别服务器可以采用端到端语音识别模型对语音数据进行识别得到语音识别结果，进一步根据语音识别结果进行语义识别得到语义识别结果，从而使得语音助手可以响应语义识别结果完成交互。
参照图1，示出了本申请的一种语音识别方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，获取待识别语音数据的多帧声学特征。
在本申请实施例的方法可以应用到服务器，如语音识别服务器。服务器可以向客户端(如语音助手、即时通讯APP等)提供非实时语音识别服务和实时语音识别服务。客户端可以根据所在的业务场景请求调用非实时语音识别服务或实时语音识别服务。
服务器部署有语音识别模型，语音识别模型可以为AED-CTC/Attention语音识别模型。语音识别模型可以根据调用请求，执行针对待识别语音数据的非实时语音识别任务或针对待识别语音数据的实时语音识别任务。
客户端可以将待识别语音数据发送至服务器，服务器在接收到待识别语音数据后，对语音数据进行声学特征提取。语音数据可以包括多帧声音信号，可以对每帧声音信号分别提取声学特征。常用的声学特征表现形式包括Fbank(也称为FilterBank)特征向量、MFCC(Mel-frequency cepstral coefficients，梅尔频率倒谱系数)特征向量。
步骤102，从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
音频帧块可以包括多个音频帧，音频帧块的音频长度即所包括的音频帧的帧数。音频帧块的音频长度可以基于预设规则来动态设置，而不是保持不变。在一种可选实施例中，预设规则可以为基于语音识别场景，动态设置音频长度的规则。服务器可以确定当前语音识别场景，根据当前语音识别场景动态设置音频长度；从多帧声学特征，按照设置的音频长度截取音频帧。例如，若是车载系统的语音助手调用服务器，则可以确定当前语音识别场景为需要实时语音识别的场景。若是手机的语音输入法调用服务器，则可以确定当前语音识别场景为非实时语音识别的场景。
在实时语音识别场景下，需要在用户还在说话的时候进行语音识别，为了保证实时性，音频长度可以为有限长的预设帧数，即每次针对预设帧数的音频进行语音识别。在采用预设帧数的音频帧块进行语音识别的方式下，用户能感知到语音识别的延时，实时语音识别场景可以进一步细化为多种场景，不同的细分场景的延时要求不同，可以根据当前场景的延时要求设置音频帧块的长度。音频帧块长度大，延时大但识别效果好；音频帧块长度小，延时小但识别效果会变差。对延时要求高的场景，可以设置音频帧块的长度较小；对延时要求低的场景，可以设置音频帧块长度较大。
在非实时语音识别场景下，可以在获得完整的一句话后才开始进行语音识别，充分利用上下文信息获得最佳识别效果。音频帧块长度可以设置为句子长度，即对待识别语音数据的多帧声学特征，截取从句子开始位置的声学特征到句子结束位置的声学特征。
在本申请一种可选实施例中，还可以采用滑动窗口，从多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。窗口的长度即为基于预设规则动态设置的音频长度。通过滑动窗口，可以依次从多帧声学特征中截取得到多个音频帧块。
步骤103，以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
语音识别模型可以包括编码器和解码器。编码器在编码过程中，每次以音频帧组合进行编码，使得编码器可以从相邻音频帧的学习到上下文信息但又限制了编码长度，编码长度限定在音频帧组合的多个音频帧内，而不再依赖于整段音频进行编码，从而在解码时也可以不依赖整段音频进行解码。
在编码器的末端可以设置有基于CTC准则训练的输出层。在输出层之后可以连接有加权有限状态转换器(WFST，Weighted Finite State Transducers)网络。
在本申请中，在推理时不采用解码器对声学特征进行解码，采用编码器的基于CTC准则训练的输出层和WFST网络进行解码，解码器只在模型训练阶段使用。对于各种长度的音频帧块都可以通过编码器进行编码，通过基于CTC准则训练的输出层和WFST网络进行解码。
在本申请实施例中，以N个音频帧块为音频帧组合，当N为1时，即以1个音频帧块作为音频帧组合；当N为大于或等于2的整数时，以连续的N个音频帧块作为音频帧组合。
在本申请一种可选实施例中，可以以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。历史音频帧块是相对目标音频帧块而言的，是在目标音频帧块之前的相邻的音频帧块；未来音频帧块则是相对目标音频帧块而言的，是在目标音频帧块之后的相邻的音频帧块。
在编码器对音频帧组合进行编码时，可以分别得到历史音频帧块、目标音频帧块、未来音频帧块的隐层特征，目标音频帧块的隐层特征可以包括从历史音频帧块和未来音频帧块学习到的信息，即目标音频帧块的隐层特征可以学习到更多的上下文信息。
对编码器输出的目标音频帧块，通过基于CTC准则训练的输出层和预设的WFST网络，对目标音频帧块的隐层特征进行解码，得到目标音频帧块的语音识别结果。
在本申请一种可选实施例中，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果的步骤可以包括如下子步骤S11-S13：
S11，采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列。
基于CTC准则训练的输出层按照非自回归解码方式解码，每个解码结果之间没有依赖关系，整个输出序列的每个解码结果被并行地同步预测。与非自回归解码方式相对的是自回归解码方式，自回归解码方式每次会使用已生成的解码结果作为已知信息预测下一个解码结果，最终再把每个时间步生成的解码结果拼成一个完整的序列输出。与自回归解码方式相比，按照非自回归解码方式解码可以大幅提升语音识别模型的解码速度。与采用自回归解码的方式相比，通过基于CTC准则训练的输出层按照非自回归解码方式解码，可以大幅提升语音识别模型的解码速度，提高语音识别速度。
S12，采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果。
加权有限状态转换器网络是一种有向图，可以用于表达任意语言，进行语言信息编码。
在本申请实施例中，由于采用基于CTC准则训练的输出层按照非自回归解码方式进行解码，使得每次解码只能输出一个字，导致在解码过程中只能融合字级别的语言模型，而字级别的语言模型建模能力远弱于词级别语言模型，尤其是在专有名词的热词优化上，这使得语言模型对于语音识别模型的识别性能提升不大，也使得语音识别模型在热词领域的识别上存在短板。
对此，可以将词级别语言模型信息编码到WFST网络中，进一步通过WFST网络对编码器的输出层输出的字序列进行解码。从而使语音识别的解码过程，可以融合词级别语言模型信息，一方面解决语音识别模型热词优化难的问题，另一方面提升了语音识别模型的性能。
在本申请一种可选实施例中，所述子步骤S12可以进一步包括：将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
在本申请中，WFST网络可以通过语言模型、词典模型、输出映射模型构建。示例性地，WFST网络可以通过如下公式表示：
WFST网络＝TοLοG，其中“ο”表示复合计算。G为语言模型用于判断一个输入词序列是否符合语言的语法，以及该词序列出现的概率。L为词典模型用于将词序列映射为字序列。T为输出映射模型用于将所述输出层输出的字序列射到单字，其规则是将模型连续多个相同且中间无blank符号(空白建模单元)间隔的输出映射到一个单字，将中间有blank符号间隔的连续相同的输出映射到多个单字，将独立的输出映射到单字，如下所示：
Figure BDA0003142598720000121
Figure BDA0003142598720000122
其中
Figure BDA0003142598720000123
代表blank符号。T，L，G通过复合计算得到最终的WFST网络，其输入为编码器的输出层输出的字序列，而输出为若干候选语句及其对应的评分。
S13，根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
WFST网络可以根据字序列确定一个或多个候选识别结果。候选识别结果可以包括候选语句和候选语句对应的评分。示例性的，可以分别根据候选语句对应的评分，确定对应的归一化概率值；将具有最大归一化概率值的候选语句作为语音识别结果。
在本申请实施例中，服务器可以获取待识别语音数据的多帧声学特征；从多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧得到音频帧块；以连续的多个音频帧块为音频帧组合，输入语音识别模型进行处理；语音识别模型包括编码器，编码器具有基于CTC准则训练的输出层；通过编码器可以提取音频帧组合的隐层特征；以及通过编码器的输出层和预设的WFST网络，可以对音频帧组合中的目标音频帧块的隐层特征进行解码，得到音频帧的语音识别结果。本申请实施例中，语音模型的输入为多个音频帧块组成的音频帧组合，通过调整音频帧块的长度可以调整语音识别模型的解码速度，从而可以应用于不同延时要求的语音识别场景，使得对不同延时要求的语音识别场景的输入端的结构一致。并且模型解码时通过编码器的输出层和预设的WFST网络进行解码，可以使得对不同延时要求的语音识别场景的解码方式一致性。
参照图2所示为本申请实施例中语音识别模型的推理过程的示意图。语音识别模型包括编码器和解码器；在使用音识别模型进行推理时，不使用解码器进行解码，而是基于CTC准则训练的输出层和WFST网络进行解码。
编码器的输入为以由历史音频帧块、目标音频帧块、未来音频帧块组成，也可以称为chunk。音频帧组合可以分别为Nc表示当前有效音频帧块，即目标音频帧块，Nl表示历史音频帧块，Nr表示未来音频帧块。
编码器根据音频帧组合进行编码，得到音频帧组合的隐层特征；音频帧组合的隐层特征可以包括：Nc对应的隐层特征Hc，Nr对应的隐层特征Hr，Nl对应的隐层特征Hl。Nc对应的隐层特征可以包括从Nl和Nr学习到的上下文信息，对于每个音频帧组合，关注是Nc对应的隐层特征Hc，而Nr对应的隐层特征Hr和Nl对应的隐层特征Hl并不关注。因此，只将Nc对应的隐层特征Hc输入到基于CTC准则训练的输出层进行解码，然后通过WFST网络对基于CTC准则训练的输出层的输出进一步进行解码，得到语音识别结果。
参照图3所示为本申请实施例中语音识别模型的训练方法的流程图，语音识别模型的训练方法包括：
步骤301，获取样本语音数据和所述样本语音数据对应的文本标注。
样本语音数据的文本标注，可以是由人工听取样本语音数据后生成，文本标注可以用于辅助训练模型。
步骤302，从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块。
在本申请实施例中，预设长度可以是自定义的长度，语音识别模型在训练时，可以设定多种长度的音频帧块来训练模型，例如多种固定长度的音频帧块，或设置音频帧块的长度为句子长度，使得模型训练完成后能够处理任意长度的音频帧块，即通过训练一个模型就能满足实时语音识别场景和非实时语音识别场景的需求。
步骤303，以N个音频帧为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
具体的，可以采用滑动窗口，从样本语音数据的多帧声学特征按照预设长度截取音频帧，得到音频帧块。例如，对于长度为24帧的声学特征，以4帧为目标音频帧块的长度，依次截取多个音频帧，可以得到6个目标音频帧块。
对于每个目标音频帧块，可以与前后相邻的历史音频帧块、未来音频帧块组成音频帧组合。例如，目标音频帧块包含当前的4个音频帧，可以以目标音频帧块之前的3个音频帧作为历史音频帧块，以目标音频帧块之后的3个音频帧作为未来音频帧块。
步骤304，将多个所述音频帧组合作为语音识别模型的编码器的输入。所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差。
编码器可以对各个音频帧组合分别提取对应的隐层特征。对各个音频帧组合的隐层特征，分别提取出目标音频特征的隐层特征。例如，对于M帧的声学特征进行截取得到多个音频帧块，以连续的三个音频帧块作为音频帧组合，可以分别对每个音频帧组合以中间的音频帧快作为目标音频帧块。抽取出各个音频帧组合的中间音频帧块的隐层特征，将各个目标音频帧块的隐层特征拼接，可以得到对应于L帧的声学特征的隐层特征HL。将拼接得到的隐层特征输入编码器的输出层，通过编码器的输出层对拼接得到的隐层特征进行解码。
步骤305，将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差。
解码器可以根据文本标注进行编码，以及根据编码器输出的隐层特征和文本标注进行预测，通过解码器的输出层预测输出结果解码器的输出层的输出结果可以包括：候选语句以及候选语句对应的概率。
具体的，可以根据解码器的输出结果和文本标注，计算注意力准则损失函数作为误差。示例性的，注意力准则损失函数可以使用交叉熵(CE，Cross-Entropy)损失函数。
步骤306，基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
当CTC准则损失函数与注意力准则损失函数，满足预设条件时，可以确定模型训练完成。例如，当CTC准则损失函数与注意力准则损失函数所对应的误差小于预设误差阈值时，可以确定模型训练完成。
在一种可选实施例中，所述步骤307可以包括：根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；根据所述目标误差调整语音识别模型的参数。
具体的，可以根据CTC准则损失函数与预设第一权重值的乘积，和注意力准则损失函数与预设第二权重值的乘积，确定目标损失函数。根据目标函数调整语音识别模型的参数。
示例性地，目标损失函数可以通过如下公式表示：
LCTC/Attention＝λLctc+(1-λ)LAttention，其中，λ为超参数，用于设置CC准则与注意力准则的权重。λ的取值可以在0～1之间，可以根据进行多次试验计算得到。Lctc为CTC准则损失函数，LAttention为注意力准则损失函数。例如，若λ为0.4，则CTC准则损失函数的第一权重值为0.4，注意力准则损失函数的第二权重值为0.6。在计算得到目标损失函数后，可以目标损失函数调整语音识别模型的参数。通过将CTC准则与注意力准则联合训练，可以使得语音识别模型在模型训练的过程中保持单调，从而使得语音识别模型的输出文本与输入声学特征之间保持隐性对齐，让语音识别训练的更好，从而提升最终的识别准确率。
参照图4所示为本申请实施例中语音识别模型的训练过程的示意图。语音识别模型包括编码器和解码器。
首先从L帧声学特征f1，f2，…，fL采用滑动窗口，截取得到多个音频帧块。对于每个音频帧块，以自身作为当前有效音频帧块Nc，即目标音频帧块，以其前一个音频帧块为历史音频帧块Nl，以其后一个音频帧块为未来音频帧块Nr，将Nc、Nl、Nr作为一个音频帧组合chunk,得到chunk1，chunk2，…，chunkN。
将多个音频帧组合输入到编码器，编码器输出各个音频帧组合的隐层特征。从每个音频帧组合的隐层特征，抽取其中目标音频帧块Nc的隐层特征；将各个目标音频帧块Nc的隐层特征进行拼接，得到L帧声学特征的隐层特征
Figure BDA0003142598720000161
其中
Figure BDA0003142598720000162
分别为多个目标音频帧块的隐层特征。将拼接得到的隐层特征HL输入编码器的输出层，通过输出层对拼接得到的隐层特征进行解码；根据输出层的输出结果计算CTC准则损失函数。
另一方面，将拼接得到的隐层特征HL和已有的文本标注y0，y1,…,yT-1输入编码器，由编码器的输出层预测输出的文本标注y0，y1,…,yT。可以采用编码器输出的文本标注和输入的文本标注，计算交叉熵准则的损失函数。根据CTC准则损失函数和交叉熵准则的损失函数，对模型进行联合训练。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图5，示出了本申请的一种语音识别装置实施例的结构框图，具体可以包括如下模块：
声学特征获取模块501，用于获取待识别语音数据的多帧声学特征；
音频截取模块502，用于从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
模型处理模块503，用于以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
参照图6，示出了本申请的一种语音识别装置可选实施例的结构框图。
本申请一个可选的实施例中，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
本申请一个可选的实施例中，所述音频截取模块502可以包括：
滑窗截取子模块5021，用于采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
本申请一个可选的实施例中，所述模型处理模块503可以包括：
音频帧组合输入子模块5031，用于以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
本申请一个可选的实施例中，所述模型处理模块503可以包括：
字序列确定子模块5032，用于采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
候选识别结果确定子模块5033，用于采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
识别结果确定子模块5034，用于根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
本申请一个可选的实施例中，所述候选识别结果确定子模块5033可以包括：
网络解码单元50331，用于将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
候选语句确定单元50332，用于获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
本申请一个可选的实施例中，通过如下模块训练所述语音识别模型：
样本数据获取模块504，用于获取样本语音数据和所述样本语音数据对应的文本标注；
样本音频截取模块505，用于从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
音频帧组合确定模块506，用于以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
编码器处理模块507，用于将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块508，用于将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块509，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
本申请一个可选的实施例中，所述模型训练模块509可以包括：
目标误差确定子模块5091，用于根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
模型参数调整子模块5092，用于根据所述目标误差调整语音识别模型的参数。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图7是根据一示例性实施例示出的一种用于语音识别的电子设备700的结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，智能穿戴设备等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件706为电子设备700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件714经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件714还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种语音识别方法，所述方法包括：
获取待识别语音数据的多帧声学特征；
从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
可选地，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
可选地，所述从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块，包括：
采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
可选地，所述以N个音频帧块为音频帧组合，输入端到端语音识别模型进行处理，包括：
以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
可选地，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，包括：
采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
可选地，所述采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
图8是本申请根据另一示例性实施例示出的一种用于语音识别的电子设备800的结构示意图。该电子设备800可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器上执行存储介质830中的一系列指令操作。
服务器还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，一个或一个以上键盘856，和/或，一个或一个以上操作系统841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
在示例性实施例中，服务器经配置以由一个或者一个以上中央处理器822执行一个或者一个以上程序包含用于进行以下操作的指令：
获取待识别语音数据的多帧声学特征；
从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
可选地，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
可选地，所述从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块，包括：
采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
可选地，所述以N个音频帧块为音频帧组合，输入端到端语音识别模型进行处理，包括：
以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
可选地，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，包括：
采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
可选地，所述采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，还包含用于进行以下训练所述语音识别模型的指令：
获取样本语音数据和所述样本语音数据对应的文本标注；
从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程语音识别终端设备的处理器以产生一个机器，使得通过计算机或其他可编程语音识别终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程语音识别终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程语音识别终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种语音识别方法、一种语音识别装置和一种电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种语音识别方法，其特征在于，所述方法包括：
获取待识别语音数据的多帧声学特征；
从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
2.根据权利要求1所述的方法，其特征在于，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
3.根据权利要求1所述的方法，其特征在于，所述从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块，包括：
采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
4.根据权利要求1所述的方法，其特征在于，所述以N个音频帧块为音频帧组合，输入端到端语音识别模型进行处理，包括：
以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
5.根据权利要求1所述的方法，其特征在于，所述通过所述编码器的输出层和预设的WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，包括：
采用所述编码器的输出层，对所述目标音频帧块的隐层特征按照非自回归解码方式进行解码，得到字序列；
采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果；
根据所述候选识别结果，确定所述目标音频帧块的语音识别结果。
6.根据权利要求5所述的方法，其特征在于，所述采用编码有语言模型的WFST网络对所述字序列进行解码，得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
7.根据权利要求1所述的方法，其特征在于，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
8.根据权利要求7所述的方法，其特征在于，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
9.一种语音识别装置，其特征在于，所述装置包括：
声学特征获取模块，用于获取待识别语音数据的多帧声学特征；
音频截取模块，用于从所述多帧声学特征，按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块；
模型处理模块，用于以N个音频帧块为音频帧组合，输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述音频帧组合的隐层特征；以及通过所述编码器的输出层和预设的加权有限状态转换器WFST网络，对所述音频帧组合中的目标音频帧块的隐层特征进行解码，得到所述目标音频帧块的语音识别结果，其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块。
10.根据权利要求9所述的装置，其特征在于，所述预设规则为基于语音识别场景，动态设置音频长度的规则。
11.根据权利要求9所述的装置，其特征在于，所述音频截取模块包括：
滑窗截取子模块，用于采用滑动窗口，从所述多帧声学特征按照基于预设规则动态设置的音频长度截取音频帧，得到音频帧块。
12.根据权利要求9所述的装置，其特征在于，所述模型处理模块包括：
音频帧组合输入子模块，用于以连续的历史音频帧块、目标音频帧块、未来音频帧块作为音频帧组合，输入端到端语音识别模型进行处理。
13.根据权利要求9所述的装置，其特征在于，通过如下模块训练所述语音识别模型：
样本数据获取模块，用于获取样本语音数据和所述样本语音数据对应的文本标注；
样本音频截取模块，用于从所述样本语音数据的多帧声学特征截取预设长度的音频帧，得到音频帧块；
音频帧组合确定模块，用于以N个音频帧块为音频帧组合，确定多个音频帧组合；其中，所述N为大于等于1的整数，当N大于或等于2时，音频帧组合包括N个连续的音频帧块；
编码器处理模块，用于将多个所述音频帧组合作为语音识别模型的编码器的输入；所述语音识别模型包括编码器和解码器；通过所述编码器分别提取各个所述音频帧组合的隐层特征；通过所述编码器的输出层，基于各个所述音频帧组合中的目标音频帧块的隐层特征预测输出结果；以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块，用于将各个所述音频帧组合中的目标音频帧块的隐层特征以及所述文本标注，作为所述解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
14.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-8中任一项所述的语音识别方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的语音识别方法的步骤。
CN202110745579.4A 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备 Active CN113362812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745579.4A CN113362812B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745579.4A CN113362812B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113362812A true CN113362812A (zh) 2021-09-07
CN113362812B CN113362812B (zh) 2024-02-13

Family

ID=77537831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745579.4A Active CN113362812B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113362812B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889076A (zh) * 2021-09-13 2022-01-04 北京百度网讯科技有限公司 语音识别及编解码方法、装置、电子设备及存储介质
CN114400006A (zh) * 2022-01-24 2022-04-26 腾讯科技（深圳）有限公司 语音识别方法和装置
CN115132196A (zh) * 2022-05-18 2022-09-30 腾讯科技（深圳）有限公司 语音指令识别的方法、装置、电子设备及存储介质
CN115331660A (zh) * 2022-08-09 2022-11-11 北京市商汤科技开发有限公司 神经网络训练方法、语音识别方法、装置、设备及介质
CN116631379A (zh) * 2023-07-20 2023-08-22 中邮消费金融有限公司 语音识别方法、装置、设备及存储介质
CN117275484A (zh) * 2023-11-17 2023-12-22 深圳市友杰智新科技有限公司 命令词识别方法、装置、设备和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017076222A1 (zh) * 2015-11-06 2017-05-11 阿里巴巴集团控股有限公司 语音识别方法及装置
JP2017219769A (ja) * 2016-06-09 2017-12-14 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
WO2018207390A1 (en) * 2017-05-11 2018-11-15 Mitsubishi Electric Corporation Speech recognition system and method for speech recognition
CN109036391A (zh) * 2018-06-26 2018-12-18 华为技术有限公司 语音识别方法、装置及系统
CN110634469A (zh) * 2019-09-27 2019-12-31 腾讯科技（深圳）有限公司 基于人工智能的语音信号处理方法、装置及存储介质
CN110648658A (zh) * 2019-09-06 2020-01-03 北京达佳互联信息技术有限公司 一种语音识别模型的生成方法、装置及电子设备
US20200126538A1 (en) * 2018-07-20 2020-04-23 Google Llc Speech recognition with sequence-to-sequence models
WO2020119351A1 (zh) * 2018-12-14 2020-06-18 腾讯科技（深圳）有限公司 语音解码方法、装置、计算机设备及存储介质
WO2020171868A1 (en) * 2019-02-21 2020-08-27 Google Llc End-to-end speech conversion
CN112002308A (zh) * 2020-10-30 2020-11-27 腾讯科技（深圳）有限公司 一种语音识别方法及装置
WO2020263034A1 (en) * 2019-06-28 2020-12-30 Samsung Electronics Co., Ltd. Device for recognizing speech input from user and operating method thereof
CN112509564A (zh) * 2020-10-15 2021-03-16 江苏南大电子信息技术股份有限公司 基于连接时序分类和自注意力机制的端到端语音识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017076222A1 (zh) * 2015-11-06 2017-05-11 阿里巴巴集团控股有限公司 语音识别方法及装置
JP2017219769A (ja) * 2016-06-09 2017-12-14 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
WO2018207390A1 (en) * 2017-05-11 2018-11-15 Mitsubishi Electric Corporation Speech recognition system and method for speech recognition
CN109036391A (zh) * 2018-06-26 2018-12-18 华为技术有限公司 语音识别方法、装置及系统
US20200126538A1 (en) * 2018-07-20 2020-04-23 Google Llc Speech recognition with sequence-to-sequence models
WO2020119351A1 (zh) * 2018-12-14 2020-06-18 腾讯科技（深圳）有限公司 语音解码方法、装置、计算机设备及存储介质
WO2020171868A1 (en) * 2019-02-21 2020-08-27 Google Llc End-to-end speech conversion
WO2020263034A1 (en) * 2019-06-28 2020-12-30 Samsung Electronics Co., Ltd. Device for recognizing speech input from user and operating method thereof
CN110648658A (zh) * 2019-09-06 2020-01-03 北京达佳互联信息技术有限公司 一种语音识别模型的生成方法、装置及电子设备
US20200402500A1 (en) * 2019-09-06 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for generating speech recognition model and storage medium
CN110634469A (zh) * 2019-09-27 2019-12-31 腾讯科技（深圳）有限公司 基于人工智能的语音信号处理方法、装置及存储介质
CN112509564A (zh) * 2020-10-15 2021-03-16 江苏南大电子信息技术股份有限公司 基于连接时序分类和自注意力机制的端到端语音识别方法
CN112002308A (zh) * 2020-10-30 2020-11-27 腾讯科技（深圳）有限公司 一种语音识别方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889076A (zh) * 2021-09-13 2022-01-04 北京百度网讯科技有限公司 语音识别及编解码方法、装置、电子设备及存储介质
CN113889076B (zh) * 2021-09-13 2022-11-01 北京百度网讯科技有限公司 语音识别及编解码方法、装置、电子设备及存储介质
CN114400006A (zh) * 2022-01-24 2022-04-26 腾讯科技（深圳）有限公司 语音识别方法和装置
CN114400006B (zh) * 2022-01-24 2024-03-15 腾讯科技（深圳）有限公司 语音识别方法和装置
CN115132196A (zh) * 2022-05-18 2022-09-30 腾讯科技（深圳）有限公司 语音指令识别的方法、装置、电子设备及存储介质
CN115331660A (zh) * 2022-08-09 2022-11-11 北京市商汤科技开发有限公司 神经网络训练方法、语音识别方法、装置、设备及介质
CN116631379A (zh) * 2023-07-20 2023-08-22 中邮消费金融有限公司 语音识别方法、装置、设备及存储介质
CN116631379B (zh) * 2023-07-20 2023-09-26 中邮消费金融有限公司 语音识别方法、装置、设备及存储介质
CN117275484A (zh) * 2023-11-17 2023-12-22 深圳市友杰智新科技有限公司 命令词识别方法、装置、设备和介质
CN117275484B (zh) * 2023-11-17 2024-02-20 深圳市友杰智新科技有限公司 命令词识别方法、装置、设备和介质

Also Published As

Publication number Publication date
CN113362812B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113362812B (zh) 一种语音识别方法、装置和电子设备
CN109801644B (zh) 混合声音信号的分离方法、装置、电子设备和可读介质
CN110634483B (zh) 人机交互方法、装置、电子设备及存储介质
CN107291690B (zh) 标点添加方法和装置、用于标点添加的装置
CN107221330B (zh) 标点添加方法和装置、用于标点添加的装置
CN110097890B (zh) 一种语音处理方法、装置和用于语音处理的装置
CN113362813B (zh) 一种语音识别方法、装置和电子设备
CN111612070B (zh) 基于场景图的图像描述生成方法及装置
CN111583944A (zh) 变声方法及装置
CN111524521A (zh) 声纹提取模型训练方法和声纹识别方法、及其装置和介质
CN110992942B (zh) 一种语音识别方法、装置和用于语音识别的装置
CN108364635B (zh) 一种语音识别的方法和装置
CN110415702A (zh) 训练方法和装置、转换方法和装置
US20230064756A1 (en) Streaming End-to-End Speech Recognition Method, Apparatus and Electronic Device
CN113409764A (zh) 一种语音合成方法、装置和用于语音合成的装置
CN115273831A (zh) 语音转换模型训练方法、语音转换方法和装置
US11354520B2 (en) Data processing method and apparatus providing translation based on acoustic model, and storage medium
CN111199160A (zh) 即时通话语音的翻译方法、装置以及终端
CN111640424B (zh) 一种语音识别方法、装置和电子设备
CN113539233A (zh) 一种语音处理方法、装置和电子设备
WO2022147692A1 (zh) 一种语音指令识别方法、电子设备以及非瞬态计算机可读存储介质
CN113345452B (zh) 语音转换方法、语音转换模型的训练方法、装置和介质
CN113115104B (zh) 视频处理方法、装置、电子设备及存储介质
CN113409765B (zh) 一种语音合成方法、装置和用于语音合成的装置
CN112951202A (zh) 语音合成方法、装置、电子设备以及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant