CN111009237B - 语音识别方法、装置、电子设备及存储介质 - Google Patents
语音识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111009237B CN111009237B CN201911274852.9A CN201911274852A CN111009237B CN 111009237 B CN111009237 B CN 111009237B CN 201911274852 A CN201911274852 A CN 201911274852A CN 111009237 B CN111009237 B CN 111009237B
- Authority
- CN
- China
- Prior art keywords
- voice
- speaker
- sequence
- speech
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 101001018259 Homo sapiens Microtubule-associated serine/threonine-protein kinase 1 Proteins 0.000 description 3
- 101000693728 Homo sapiens S-acyl fatty acid synthase thioesterase, medium chain Proteins 0.000 description 3
- 102100025541 S-acyl fatty acid synthase thioesterase, medium chain Human genes 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000012085 test solution Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本公开关于一种语音识别方法、装置、电子设备及存储介质。所述方法包括：从当前说话人的待识别语音数据中提取相应的原始语音特征序列；将原始语音特征序列输入至语音识别模型；对原始语音特征序列进行编码，生成对应的语音特征序列；根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；对目标语音特征序列进行解码，生成语音识别结果。通过选择多个说话人特征作为基础特征组，当前说话人的说话人特征由这些基础特征计算得到，从而不需要使用单独的模型提取当前说话人的说话人特征，简化了当前说话人的说话人特征获取过程。
Description
技术领域
本公开涉及语音识别技术领域，尤其涉及一种语音识别方法、装置、电子设备及存储介质。
背景技术
自动语音识别技术(Automatic Speech Recognition,ASR)是通过算法将人类的语音转化成相应文本的过程。近年来，基于深度学习的语音识别技术迅猛发展。语音识别系统无论从性能上还是鲁棒性上都获得了大幅提升，实际语音识别系统的识别率逐渐接近实用水平，无论是基于语音的产品还是创业公司，以及语音识别技术本身都如雨后春笋搬成长起来。
语音识别领域目前新兴的方法是基于端到端技术。在相关技术中，使用端到端的语音识别系统，通常需要单独构造一个说话人特征提取模块，将提取出的特征作为辅助特征输入到端到端模型。在相关技术中，识别时需要首先使用用户语音提取其特定的说话人特征，这一点在实际应用中较难实现。
发明内容
本公开提供一种语音识别方法、装置、电子设备及存储介质，以至少解决相关技术中使用用户语音提取其特定的说话人特征较难的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种语音识别方法，包括：
从当前说话人的待识别语音数据中提取相应的原始语音特征序列；
将原始语音特征序列输入至语音识别模型；
对原始语音特征序列进行编码，生成对应的语音特征序列；
根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；
根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；
对目标语音特征序列进行解码，生成语音识别结果。
根据本公开实施例的第二方面，提供一种语音识别装置，包括：
语音特征提取模块，被配置为执行从当前说话人的待识别语音数据中提取相应的原始语音特征序列；
输入模块，被配置为执行将原始语音特征序列输入至语音识别模型；
编码器模块，被配置为执行对原始语音特征序列进行编码，生成对应的语音特征序列；
注意力模块，被配置为执行根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；
目标语音特征序列生成模块，被配置为执行根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；
语音识别模块，被配置为执行对目标语音特征序列进行解码，生成语音识别结果。
根据本公开的第三方面，提供一种电子设备，包括：
处理器；用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现上述第一方面任一所述的语音识别方法的步骤。
根据本公开的第四方面，提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面任一所述的语音识别方法的步骤。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品在处理器上被执行时，实现上述第一方面任一所述的语音识别方法的步骤。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过利用已训练成熟的语音识别模型对当前说话人的语音数据对应的原始语音特征序列进行编码，生成对应的语音特征序列；然后，根据语音特征序列和语音识别模型中已有的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；最后，对目标语音特征序列进行解码，生成语音识别结果。上述技术方案通过选择多个说话人的特征作为基础特征组，当前说话人的说话人特征由这些基础特征计算得到，从而不需要使用单独的说话人特征提取模型对当前说话人的语音进行特征提取，简化了当前说话人的说话人特征获取过程。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种语音识别方法的应用环境图；
图2是根据一示例性实施例示出的一种语音识别方法的流程图；
图3是根据一示例性实施例示出的一种SAST模型的结构图；
图4是根据一示例性实施例示出的计算当前说话人每帧语音特征对应的说话人特征的示意图；
图5是根据一示例性实施例示出的一种计算当前说话人的说话人特征序列的流程图；
图6是根据一示例性实施例示出的一种生成基础特征组的流程图；
图6a是根据一示例性实施例示出的基础特征组中说话人特征数量与字符错误率的趋势图；
图7是根据一示例性实施例示出的一种语音识别模型的生成方法的流程图；
图8是根据一示例性实施例示出的一种语音识别方法的流程图；
图9是根据一示例性实施例示出的一种语音识别装置的框图；
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的语音识别方法，可以应用于如图1所示的应用环境中。该应用环境包括终端110和服务器120。终端110通过网络与服务器120进行通信。语音识别方法可以通过终端110，也可以通过服务器120实现，下文以通过终端110为例进行说明。当前说话人的语音数据可以预先存储在服务器120中，也可以通过语音采集装置实时采集得到。语音采集装置可以设置在终端110中，也可以是单独的设备。终端110可以是具有较强数据存储能力和计算能力的电子设备，其中设置有已训练成熟的语音识别模型。具体地，终端110从当前说话人的待识别语音数据中提取相应的原始语音特征序列；将原始语音特征序列输入至训练成熟的语音识别模型；对原始语音特征序列进行编码，生成对应的语音特征序列；根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；对目标语音特征序列进行解码，生成语音识别结果。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种语音识别方法的流程图，如图2所示，语音方法用于终端110中，包括以下步骤。
在步骤S110中，从当前说话人的待识别语音数据中提取相应的原始语音特征序列。
其中，待识别语音数据是指当前说话人输入的语音数据。具体地，当说话人想要通过语音的方式与终端进行交互时，可以直接对着语音采集装置说话，终端通过该语音采集装置获取说话人所说的话，作为待识别语音数据。终端在通过语音识别模型识别待识别语音数据之前，通常需要对待识别语音数据进行特征提取。对待识别语音数据进行特征提取具体可以通过以下方式实现。首先，通过一个高通滤波器对该待识别语音数据进行预加重。由于语音信号具有短时平稳性，可以将待识别语音数据按照时间步长进行处理，每一个时间步长称为一帧，每一帧对应的时间步长可以取20～30ms之间任意数值。为了避免相邻两帧的变化过大，因此可以在两相邻帧之间设置一段重叠区域。然后，将每一帧进行加窗处理，以增加帧左端和右端的连续性，例如使用25ms的窗口进行计算，每10ms进行移位。接着，对加窗后的待识别语音数据进行傅里叶变换得到频谱图并进行滤波，使频谱图更为紧凑。最后，可以使用谱或者倒谱分析得到待识别语音数据的原始语音特征，所得到的原始语音特征可以是FBank(FilterBank，滤波器组)，MFCCs(Mel Frequency CepstralCoefficents，在梅尔标度频率域提取出来的倒谱参数)或者PLP(Perceptual LinearPredict ive，感知线性预测)特征。
在步骤S120中，将原始语音特征序列输入至语音识别模型。
其中，语音识别模型是指已经训练成熟的模型，语音识别模型可以是任意能够进行语音识别的模型，例如，基于E2E(end-to-end，端到端)的CTC(Connectionist TemporalClassification，基于联结时序分类的声学模型)、attention basedencoder-decodernetworks(基于注意力的编码器-解码器网络)、RNN-T(Recurrent Neural NetworkTransducer，端到端语音识别框架)、ST(Speaker Transformer，说话人语音识别模型)等。在本实施例中，将采用一种基于ST模型改进的SAST模型(Speaker Aware SpeechTransformer，说话人已知的端到端语音识别模型)，图3示例性地示出了该SAST模型的结构图。如图3所示，该SAST模型包括两部分：SAM(Speaker Attention Module，注意力模块)和主要语音识别模块。其中，注意力模块包括SKB(the Speaker Knowledge Block，说话人已知模块)和MHA(Multi-Head Attention，注意力机制)，SKB可以是一个包含多个说话人特征的基础特征组的静态存储器。主要语音识别模块包括编码器和解码器。在本实施例中，在将原始语音特征输入至语音识别模型前，还可以对原始语音特征序列进行预处理，将原始语音特征在左侧堆叠3帧，然后再向下采样至33.3Hz帧频。
在步骤S130中，对原始语音特征序列进行编码，生成对应的语音特征序列。
具体地，在原始语音特征序列输入至训练好的语音识别模型后，该语音识别模型中的编码器会对原始语音特征序列进行编码。编码器可以是基于注意力的编码器，包括多个结构相同的依次连接的编码单元，每个编码单元包括两个子层：MHA注意力机制和FFNN(Position-wise Feed-Forward Networks，位置全链接前馈网络)。在该两个子层中还使用了一个Residual connections(残差连接)和layer normalization(层标准化)。编码器对原始语音特征序列中的每帧语音特征进行处理后，生成对应的语音特征序列，并将该语音特征序列输入至注意力模块。在本实施例中，由于编码器中包括多个编码单元，输入至注意力模块中的语音特征序列可以是任意编码单元输出的序列，在此不做限定。
在步骤S140中，根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列。
其中，基础特征组中包含的说话人特征可以是从标准语音数据集中提取到的，标准语音数据集可以是在安静环境中，使用专业语音采集装置采集并经过严格质量检验的开源语音数据集，例如AISHELL-1/2(希尔贝壳中文数据集)、Primewords Chinese CorpusSet 1(汉语原始词语料库1)等。基础特征组中的说话人特征可以但不限于是i-vector((Identity Vector，身份向量)、d-vector(通过深度神经网络Deep Neural Network提取的一种特征)、x-vector(一种身份特征向量)特征。具体地，图4示例性地示出了计算当前说话人的每帧语音特征对应的说话人特征的示意图。其中，由包含多个说话人特征的基础特征组构成说话者空间，在当前说话人的语音特征序列输入至注意力模块后，基于注意力机制计算语音特征序列中每帧语音特征与说话者空间中每个说话人特征的相似度，以获取每个说话人特征的权重(图4中黑条下方的浮点数)。最后，可以根据基础特征组和权重计算得到当前说话人每帧语音特征对应的说话人特征。
在步骤S150中，根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列。
具体地，在计算得到当前说话人的说话人特征序列后，语音识别模型可以将该说话人特征序列与编码器输出的语音特征序列进行串联操作，得到输入至解码器的目标语音特征序列。本实施例中，通过将编码器输出的当前说话人的语音特征序列一同输入至解码器中，可以使该语音识别模型能够更好的适应不同的说话人的语音变化，从而提高了语音识别的精度。
在步骤S160中，对目标语音特征序列进行解码，生成语音识别结果。
具体地，解码器会对目标语音特征序列进行解码。解码器可以是基于注意力的解码器，包括多个结构相同的解码单元，每个解码单元包括三个子层：MHA注意力机制、encoder-decoder attention(编码器-解码器注意力机制)和FFNN(Position-wise Feed-Forward Networks，位置全链接前馈网络)。对于每帧语音特征，解码器通过将每帧语音特征对应的目标语音特征与该每帧语音特征的前一帧位置的解码器输出一起进行解码，得到每帧语音特征对应的概率分布。进一步地，可以对得到的每帧语音特征的概率分布进行归一化处理，从而得到语音识别结果。进一步地，上述语音识别方法还可以推广到其他类型的E2E系统，例如LAS模型(the popular listen,attend and spell，一种端到端语音失识别架构)，在此不做进一步阐述。
上述语音识别方法中，通过利用已训练成熟的语音识别模型对当前说话人的语音数据对应的原始语音特征序列进行编码，生成对应的语音特征序列；然后，根据语音特征序列和语音识别模型中已有的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；最后，对目标语音特征序列进行解码，生成语音识别结果。上述技术方案通过选择多个说话人的特征作为基础特征组，当前说话人的说话人特征由这些基础特征计算得到，从而不需要使用单独的说话人特征提取模型对当前说话人的语音进行特征提取，简化了当前说话人的说话人特征获取过程。
图5是根据一示例性实施例示出的当前说话人的说话人特征序列的获取方式，如图5所示，在步骤140中，根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列，具体可以通过以下步骤实现：
在步骤141中，对于语音特征序列中的每帧语音特征，计算每帧语音特征与基础特征组中的每个说话人特征的相似度。
在步骤142中，根据相似度确定每个说话人特征的权重，并根据每个说话人特征的权重进行加权和，得到每帧语音特征对应的说话人特征。
在步骤143中，根据每帧语音特征对应的说话人特征得到当前说话人的说话特征序列。
具体地，在本实施例中，以注意力机制为多头注意力机制为例进行说明。假设将基础特征组中多个说话人特征构成的说话人空间表示为m＝(m1,...,mN)，其中N表示基础特征组中的说话人特征数量，例如100个。输入至语音识别模型的原始语音特征序列为(x1,...,xT)，其中T表示总时间步长，每个时间步长表示一帧。经过编码器输出的语音特征序列为(z1,...,zT)。基于多头注意力机制，根据基础特征组(m1,...,mN)与编码器输出的语音特征序列为(z1,...,zT)，计算得到当前说话人的说话人特征序列(e1,...,eT)，可以通过下列方式计算得到，以第i头注意力机制为例：
(1)分别对基础特征组(m1,...,mN)和语音特征序列(z1,...,zT)进行投影，将编码器输出的每帧语音特征和基础特征组中的每个说话人特征各自转换至相同的维度dq和dkv：
其中
和
是进行线性变换处理的权重矩阵，多头注意力机制中每头对应的权重矩阵可以不同，权重矩阵可以在模型训练时得到。
(2)通过scaled dot-product attention(点乘注意力)计算编码器输出的每帧语音特征与基础特征组中的每个说话人特征的相似度：
(3)根据该基础特征组中的每个说话人特征的相似度进行加权和计算，得到每帧语音特征对应的说话人特征：
(4)由于本实施例中采用的是多头注意力机制，因此，需要将每头注意力机制得到的每帧语音特征对应的说话人特征进行拼接，生成每帧语音特征对应的说话人特征et，进而得到说话人特征序列(e1,...,eT)，并将该说话人特征序列(e1,...,eT)和编码器输出的语音特征序列(z1,...,zT)进行拼接，得到输入至解码器的目标语音特征序列
由于每头注意力机制的权重矩阵维度可能不同，因此，在拼接前可以对每头注意力机制的每帧语音特征对应的说话人特征
进行线性变换处理转换成相同的维度。可以理解的是，上述方法是基于soft attention(软注意力机制)，即，在对每帧语音特征进行计算时会照顾到基础特征组中全部的说话人特征，且对于基础特征组中不同的说话人特征权重可能不同。进一步地，在一个示例性实施例中，还可以采用hard attention(硬注意力机制)，即，在对每帧语音特征进行计算时只考虑一个说话人特征，在此不做进一步阐述。
进一步地，在本实施例中是以“帧”为单位计算得到当前说话人的说话人特征序列，因为帧级语音特征可以比较容易捕获语音随时间的变化，包括速度、心情和语调等。在一个示例性实施例中，还可以以当前说话人的待识别语音数据时长为单位进行计算。当以当前说话人的待识别语音数据时间进行计算时，上述(1)中的公式
将被替换为：
其中，T为一句语音的总时间步长。
本实施例中，通过使用注意力机制能够全局捕捉上下文联系；且由于注意力机制可以并行化计算，因为可以使模型简单、参数较少，在进行语音识别时效率更高。
图6是根据一示例性实施例示出的基础特征组的获取方式，可以包括以下步骤。
在步骤601中，从第一标准语音数据集中获取预设数量的标准语音数据。
其中，第一标准语音数据集可以是指在安静环境中，使用专业语音采集装置采集并经过严格质量检验的开源语音数据集，例如AISHELL-1/2(希尔贝壳中文数据集)、Primewords Chinese Corpus Set 1(汉语原始词语料库1)等。具体地，在从第一标准语音数据集中选择说话人时可以考虑性别平衡，即一半的说话人是男性，另一半是女性。由于当前说话人的说话人特征序列是由基础特征组中的说话人特征计算得到的，因此基础特征组中的说话人特征对注意力模块的性能有一定的影响，从而会影响到语音识别模型的识别效果。其中一个影响的因素，是基础特征组中的说话人特征数量。图6a示例性地示出了说话人特征的数量对语音识别效果的影响，其中分别比较了ST模型和基于ST模型改进得到的SAST模型在相同说话人特征数量下，使用AISHELL-1开发集或者测试集分别得到的字符错误率CER。由图6可知，在说话人特征的数量为100个时，SAST模型的语音识别的字符错误率CER(Character Error Rate)最低。需要说明的是，在进行图6a中的实验时，输入至注意力模块的语音特征序列是编码器的顶端编码单元输出的特征序列。
在步骤602中，从标准语音数据中提取出对应的标准语音特征。
具体地，获取一定数量的标准语音数据后，可以对标准语音数据进行特征提取。对标准语音数据进行特征提取具体可以通过以下方式实现。首先，通过一个高通滤波器对该标准语音数据进行预加重。由于语音信号具有短时平稳性，可以将标准语音数据按照时间步长进行处理，每一个时间步长称为一帧，每一帧对应的时间步长可以取20～30ms之间任意数值。为了避免相邻两帧的变化过大，因此可以在两相邻帧之间设置一段重叠区域。然后，将每一帧进行加窗处理，以增加帧左端和右端的连续性，例如使用25ms的窗口进行计算，每10ms进行移位。接着，对加窗后的标准语音数据进行傅里叶变换得到频谱图并进行滤波，使频谱图更为紧凑。最后，可以使用谱或者倒谱分析得到标准语音数据的标准语音特征。
在步骤603中，通过训练得到的声学模型对标准语音特征进行特征提取，得到基础特征组。
其中，基础特征组中的说话人特征可以但不限于是i-vector、d-vector,、x-vector。当基础特征组中的说话人特征为i-vector特征时，声学模型则对应i-vector模型。具体地，可以使用预训练的UBM模型(Universal Background Model，通用背景模型)提取标准语音特征中的均值超矢量，UBM的训练可以通过EM(Expectation-Maximizationalgorithm，期望最大化算法)算法完成。然后通过预训练的i-vector模型从该均值超矢量中提取出i-vector。进一步地，还可以通过线性判别分析(LDA，LinearDiscriminant Analysis)对提取出的i-vector的进行降低维度。
在本实施例中，为了在提高对标准语音特征进行特征提取的精度，可以使用第一标准数据集的母集(本实施例中称为第二标准语音数据集)对声学模型进行训练，例如，第一标准数据集若为AISHELL-1语音数据集，那么训练声学模型可以使用AISHELL-2语音数据集。AISHELL-1数据集包括178小时数据的中文普通话语料库。它由来自中国不同口音地区的400位演讲者录制，其中分为训练集340个人，测试解20个人，验证集40个人。AISHELL-2是AISHELL-1的母集，语音时长为1000小时，由1991名来自中国不同口音区域的发言人参与录制。
在本实施例中，通过使用高质量的标准语音数据集提取得到基础特征组中的说话人特征，可以使得模型能够更好的识别根据该基础特征组计算得到的当前说话人的说话人特征。通过使用提取基础特征组的第一标准数据集的母集对声学模型进行训练，可以提高基础特征组中说话人特征提取的准确率，进而提高语音识别模型的识别准确率。
在一个实施例中，原始语音特征序列通过语音识别模型中的编码器进行编码，编码器包括多个编码单元，语音特征序列为顶端编码器单元输出的特征序列。
具体地，对注意力模块性能产生影响的另一个因素，是注意力模块位于编码器中的位置，即，输入至注意力模块中的语音特征序列为哪层编码器单元输出的特征序列。参考表1，表1是以编码器包括6个结构相同的编码单元，且基础特征组中的说话人特征来源于AISHELL-1、数量为100个进行实验的。表1示例性地示出了注意力模块位于编码器的位置与语音识别模型的CER之间的关系，其中，输入至注意力模块中的语音特征序列分别为第2个编码单元、第4个编码单元以及第6个编码单元(即顶端编码单元)输出的特征序列。由表1可知，当输入至注意力模块的语音特征序列为顶端编码单元输出的特征序列时，语音识别模型的CER最小。
表1，注意力模块位于编码器的位置与语音识别模型的CER之间的关系：
可以理解的是，当输入至注意力模块的语音特征序列为中间的编码单元输出的特征序列时，在步骤S150中，生成目标语音特征序列使用的仍然是注意力模块输出的当前说话人的说话人特征序列，以及编码器的顶端编码单元输出的语音特征序列，从而可以确保语音识别模型能够适应不同的说话人的语音变化。
图7示例性地示出了上述语音识别方法中所用到的语音识别模型的生成方法，包括以下步骤：
在步骤710中，从样本语音数据中提取出样本原始语音特征序列。
其中，样本语音数据可以是任意已经标注好的语音数据集，例如，可以使用现有的开源语音数据集AISHELL-1、AISHELL-2等中的训练集作为样本语音数据。关于提取出样本原始语音特征序列的说明，可以参考步骤S110，在此将不做进一步阐述。
在步骤720中，对样本原始语音特征序列进行编码，生成样本语音特征序列。
具体地，在样本原始语音特征序列输入至待训练语音识别模型后，该待训练语音识别模型中的编码器会对原始语音特征序列进行编码。编码器可以是基于注意力的编码器，包括多个结构相同的依次连接的编码单元，每个编码单元包括两个子层：MHA注意力机制和FFNN网络。在该连个子层中还使用了一个残差连接和层标准化。编码器对样本原始语音特征序列中的每帧样本语音特征进行处理后，生成对应的样本语音特征序列，并将该语音特征序列输入至注意力模块。在本实施例中，由于编码器中包括多个编码单元，输入至注意力模块中的样本语音特征序列可以是任意编码单元输出的序列，在此不做限定。
在步骤730中，根据样本语音特征序列和基础特征组，计算得到样本语音数据对应的样本说话人特征序列。
具体地，将样本语音特征序列输入至注意力模块，基于MHA注意力机制计算每帧样本语音特征与基础特征组中的每个说话人特征的权重系数。根据该权重系数与基础特征组中的每个说话人特征进行加权和，计算得到每帧样本语音特征对应的样本说话人特征，进而得到对应的样本说话人特征序列。
在步骤740中，根据样本语音数据对应的样本说话人特征序列和样本语音特征序列，生成样本目标语音特征序列。
在步骤750中，对样本目标语音特征序列进行解码，生成样本识别结果。
具体地，在计算得到样本说话人特征序列后，可以将该样本说话人特征序列与编码器输出的样本语音特征序列进行串联操作，得到输入至解码器的样本目标语音特征序列。解码器会对样本目标语音特征序列进行解码。解码器可以是基于注意力的解码器，包括多个结构相同的解码单元，每个解码单元包括三个子层：MHA注意力机制、encoder-decoderattention(编码器-解码器注意力机制)和FFNN网络。解码器通过将每帧样本语音特征对应的样本目标语音特征与每帧语音的前一帧位置的解码器输出进行解码一起进行解码，得到每帧样本语音特征的概率分布。进一步对得到的每帧样本语音特征的概率分布进行归一化处理，从而得到样本识别结果，作为对待训练语音识别模型进行训练的训练集。
在步骤760中，根据样本识别结果，对待训练语音识别模型进行迭代训练，得到语音识别模型。
具体地，可以将所得到的训练集随机进行划分batchsize(一次训练所选取的样本数，例如256个)对待训练语音识别模型进行训练。示例性地，对待训练模型进行训练的超参数可以是：学习策略使用Adam优化算法(一种可以替代传统随机梯度下降过程的一阶优化算法)，其中使用参数β1＝0.9，非默认参数β2＝0.98、ε＝10-9，学习率则随着迭代的次数改变。在训练过程中，可以设置label smoothing(标签平滑)的值为ε1s＝0.1，使得模型可以学到更多的不确定因素，改善了模型训练的准确度。通过60个epoch(1个epoch相当于使用训练集中的全部样本训练一次)迭代训练，在每进行2个迭代训练后，使用开发集评估经训练的语音识别模型。最终，保存性能最佳的经训练的语音识别模型，并将该性能最佳的语音识别模型之前的5个写入checkpoints(检查点)，平均求出训练成熟的语音识别模型。在开发集评估后，还可以使用beam search(集束搜索)算法，beam的大小可以为5，length penalty(长度的惩罚系数)α可以为0.6。
图8是根据一示例性实施例示出的一种语音识别方法的流程图。参照图8，包括以下步骤：
在步骤801中，从第一标准语音数据集中获取预设数量的标准语音数据。其中，第一标准语音数据集可以为AISHELL-1数据集，预设数量可以为100个。
在步骤802中，从标准语音数据中提取出对应的标准语音特征。
具体地，可以对标准语音数据依次进行预加重、分帧加窗并进行傅里叶变换得到频谱图。然后，使用Mel滤波使频谱图更为紧凑。最后，进行倒谱分析得到标准语音特征。
在步骤803中，通过训练得到的声学模型对标准语音特征进行特征提取，得到基础特征组。
具体地，声学模型可以使用AISHELL-2数据集训练得到。声学模型可以是i-vector模型，提取得到对应的多个i-vector特征，并根据该多个i-vector特征构成基础特征组。
在步骤804中，对待训练语音识别模型进行训练，得到训练成熟的语音识别模型。其中，语音识别模型包括SAM模块和主要语音识别模块，SAM模块包括SKB(the SpeakerKnowledge Block，说话人已知模块，是一个包含基础特征组的静态存储器)和MHA注意力机制。可以使用AISHELL-1数据集中的训练集对待训练语音识别模型进行训练。
在步骤805中，终端获取当前说话人输入的待识别语音数据。
在步骤806中，对待识别语音数据进行特征提取，得到原始语音特征序列。
在步骤807中，将原始语音特征序列输入至训练成熟的语音识别模型。
在步骤808中，通过语音识别模型中的编码器对原始语音特征序列进行编码，得到语音特征序列。
示例性地，编码器可以包括6个编码单元，每个编码单元中包括16 attentionheads(16头的注意力机制)和一个中间层维度为2048维FFNN网络，每个编码单元输入输出的样本语音特征维度则为512维。
在步骤809中，通过语音识别模型中的注意力模块，根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列。
示例性地，MHA注意力机制可以是16 attention heads(16头的注意力机制)，每头注意力机制计算得到的说话人特征为32维，将每头注意力机制各自对应的说话人特征进行拼接后，可以得到512维的与当前说话人每帧语音特征对应的说话人特征。
在步骤810中，将当前说话人的说话人特征序列和编码器输出的语音特征序列进行拼接，生成目标语音特征序列。
在步骤811中，通过语音识别模型中的解码器对目标语音特征序列进行解码。
在步骤812中，对解码后的目标语音特征序列进行归一化处理，生成生成语音识别结果。
图9是根据一示例性实施例示出的一种语音识别装置框图。参照图9，该装置包括语音特征提取模块901、输入模块902、编码器模块903、注意力模块904、目标语音特征序列生成模块905和语音识别模块906。
语音特征提取模块901，被配置为执行从当前说话人的待识别语音数据中提取相应的原始语音特征序列；
输入模块902，被配置为执行将原始语音特征序列输入至语音识别模型；
编码器模块903，被配置为执行对原始语音特征序列进行编码，生成对应的语音特征序列；
注意力模块904，被配置为执行根据语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；
目标语音特征序列生成模块905，被配置为执行根据当前说话人的说话人特征序列和语音特征序列，生成目标语音特征序列；
语音识别模块906，被配置为执行对目标语音特征序列进行解码，生成语音识别结果。
在一个示例性实施例中，注意力模块904，还被配置为执行对于语音特征序列中的每帧语音特征，计算每帧语音特征与基础特征组中的每个说话人特征的相似度；根据相似度确定每个说话人特征的权重，并根据每个说话人特征的权重进行加权和，得到每帧语音特征对应的说话人特征；根据每帧语音特征对应的说话人特征得到当前说话人的说话特征序列。
在一个示例性实施例中，语音识别装置900还包括：获取模块(图9中未示出)，被配置为执行从第一标准语音数据集中获取预设数量的标准语音数据；语音特征提取模块901，还被配置为执行从标准语音数据中提取出对应的标准语音特征；基础特征组生成模块(图9中未示出)，被配置为执行通过训练得到的声学模型对标准语音特征进行特征提取，得到基础特征组。
在一个示例性实施例中，声学模型是使用第二标准语音数据集训练而成的，第一标准语音数据集是第二标准语音数据集的子集。
在一个示例性实施例中，原始语音特征序列通过语音识别模型中的编码器进行编码，编码器包括多个编码单元，语音特征序列为顶端编码器单元输出的特征序列。
在一个示例性实施例中，语音特征提取模块901，还被配置为执行从样本语音数据中提取出样本原始语音特征序列；编码器模块903，还被配置为执行对样本原始语音特征序列进行编码，生成样本语音特征序列；注意力模块904，还被配置为执行根据样本语音特征序列和基础特征组，计算得到样本语音数据对应的说话人特征序列；目标语音特征序列生成模块905，还被配置为执行根据样本语音数据对应的说话人特征序列和样本语音特征序列，生成样本目标语音特征序列；装置还包括样本识别结果生成模块，被配置为执行对样本目标语音特征序列进行解码，生成样本识别结果；模型训练模块，被配置为执行根据样本识别结果，对待训练语音识别模型进行迭代训练，得到语音识别模型。
关于上述实施例中的语音识别装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种用于语音识别的电子设备1000的框图。例如，电子设备1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图10，设备1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制电子设备1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020说来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在电子设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变，用户与电子设备1000接触的存在或不存在，电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1004，上述指令可由电子设备1000的处理器1020执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种语音识别方法，其特征在于，包括：
从当前说话人的待识别语音数据中提取相应的原始语音特征序列；
将所述原始语音特征序列输入至语音识别模型，所述语音识别模型包括注意力模块、编码器和解码器，所述注意力模块存储有包含多个说话人特征的基础特征组；
通过所述编码器对所述原始语音特征序列进行编码，生成对应的语音特征序列；
通过所述注意力模块根据所述语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；
根据所述当前说话人的说话人特征序列和所述语音特征序列，生成目标语音特征序列；
通过所述解码器对所述目标语音特征序列进行解码，生成语音识别结果。
2.根据权利要求1所述的语音识别方法，其特征在于，所述通过所述注意力模块根据所述语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列，包括：
对于所述语音特征序列中的每帧语音特征，通过所述注意力模块计算所述每帧语音特征与所述基础特征组中的每个说话人特征的相似度；
根据所述相似度确定所述每个说话人特征的权重，并根据所述每个说话人特征的权重进行加权和，得到每帧语音特征对应的说话人特征；
根据每帧语音特征对应的说话人特征得到当前说话人的说话特征序列。
3.根据权利要求1所述的语音识别方法，其特征在于，所述基础特征组的生成方式，包括：
从第一标准语音数据集中获取预设数量的标准语音数据；
从所述标准语音数据中提取出对应的标准语音特征；
通过训练得到的声学模型对所述标准语音特征进行特征提取，得到所述基础特征组。
4.根据权利要求3所述的语音识别方法，其特征在于，所述声学模型是使用第二标准语音数据集训练而成的，所述第一标准语音数据集是所述第二标准语音数据集的子集。
5.根据权利要求1所述的语音识别方法，其特征在于，所述编码器包括多个编码单元，所述语音特征序列为顶端编码器单元输出的特征序列。
6.根据权利要求1～5任一项所述的语音识别方法，其特征在于，所述语音识别模型的生成方式，包括：
从样本语音数据中提取出样本原始语音特征序列；
对所述样本原始语音特征序列进行编码，生成样本语音特征序列；
根据所述样本语音特征序列和所述基础特征组，计算得到所述样本语音数据对应的样本说话人特征序列；
根据所述样本语音数据对应的样本说话人特征序列和所述样本语音特征序列，生成样本目标语音特征序列；
对所述样本目标语音特征序列进行解码，生成样本识别结果；
根据所述样本识别结果，对待训练语音识别模型进行迭代训练，得到所述语音识别模型。
7.一种语音识别装置，其特征在于，包括：
语音特征提取模块，被配置为执行从当前说话人的待识别语音数据中提取相应的原始语音特征序列；
输入模块，被配置为执行将所述原始语音特征序列输入至语音识别模型，所述语音识别模型包括注意力模块、编码器和解码器，所述注意力模块存储有包含多个说话人特征的基础特征组；
编码器模块，被配置为执行通过所述编码器对所述原始语音特征序列进行编码，生成对应的语音特征序列；
注意力模块，被配置为执行通过所述语音识别模型中的注意力模块根据所述语音特征序列和训练得到的包含多个说话人特征的基础特征组，计算得到当前说话人的说话人特征序列；
目标语音特征序列生成模块，被配置为执行根据所述当前说话人的说话人特征序列和所述语音特征序列，生成目标语音特征序列；
语音识别模块，被配置为执行通过所述解码器对所述目标语音特征序列进行解码，生成语音识别结果。
8.根据权利要求7所述的语音识别装置，其特征在于，所述注意力模块，被配置为执行：
对于所述语音特征序列中的每帧语音特征，通过所述语音识别模型中的注意力模块计算所述每帧语音特征与所述基础特征组中的每个说话人特征的相似度；
根据所述相似度确定所述每个说话人特征的权重，并根据所述每个说话人特征的权重进行加权和，得到每帧语音特征对应的说话人特征；
根据每帧语音特征对应的说话人特征得到当前说话人的说话特征序列。
9.根据权利要求7所述的语音识别装置，其特征在于，所述装置还包括：
获取模块，被配置为执行从第一标准语音数据集中获取预设数量的标准语音数据；
所述语音特征提取模块，还被配置为执行从所述标准语音数据中提取出对应的标准语音特征；
基础特征组生成模块，被配置为执行通过训练得到的声学模型对所述标准语音特征进行特征提取，得到所述基础特征组。
10.根据权利要求9所述的语音识别装置，其特征在于，所述声学模型是使用第二标准语音数据集训练而成的，所述第一标准语音数据集是所述第二标准语音数据集的子集。
11.根据权利要求7所述的语音识别装置，其特征在于，所述编码器包括多个编码单元，所述语音特征序列为顶端编码器单元输出的特征序列。
12.根据权利要求7所述的语音识别装置，其特征在于，所述语音特征提取模块，还被配置为执行从样本语音数据中提取出样本原始语音特征序列；
所述编码器模块，还被配置为执行对所述样本原始语音特征序列进行编码，生成样本语音特征序列；
所述注意力模块，还被配置为执行根据所述样本语音特征序列和所述基础特征组，计算得到所述样本语音数据对应的样本说话人特征序列；
所述目标语音特征序列生成模块，还被配置为执行根据所述样本语音数据对应的样本说话人特征序列和所述样本语音特征序列，生成样本目标语音特征序列；
所述装置还包括样本识别结果生成模块，被配置为执行对所述样本目标语音特征序列进行解码，生成样本识别结果；
模型训练模块，被配置为执行根据所述样本识别结果，对待训练语音识别模型进行迭代训练，得到所述语音识别模型。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的语音识别方法。
14.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的语音识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274852.9A CN111009237B (zh) | 2019-12-12 | 2019-12-12 | 语音识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274852.9A CN111009237B (zh) | 2019-12-12 | 2019-12-12 | 语音识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111009237A CN111009237A (zh) | 2020-04-14 |
| CN111009237B true CN111009237B (zh) | 2022-07-01 |
Family
ID=70114448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911274852.9A Active CN111009237B (zh) | 2019-12-12 | 2019-12-12 | 语音识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111009237B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583909B (zh) * | 2020-05-18 | 2024-04-12 | 科大讯飞股份有限公司 | 一种语音识别方法、装置、设备及存储介质 |
| CN111696519A (zh) * | 2020-06-10 | 2020-09-22 | 苏州思必驰信息科技有限公司 | 藏语声学特征模型的构建方法及系统 |
| CN111881726B (zh) * | 2020-06-15 | 2022-11-25 | 马上消费金融股份有限公司 | 一种活体检测方法、装置及存储介质 |
| CN111739517B (zh) * | 2020-07-01 | 2024-01-30 | 腾讯科技（深圳）有限公司 | 语音识别方法、装置、计算机设备及介质 |
| CN111899727B (zh) * | 2020-07-15 | 2022-05-06 | 思必驰科技股份有限公司 | 用于多说话人的语音识别模型的训练方法及系统 |
| CN112071325B (zh) * | 2020-09-04 | 2023-09-05 | 中山大学 | 一种基于双声纹特征向量和序列到序列建模的多对多语音转换方法 |
| CN112217947B (zh) * | 2020-10-10 | 2021-09-21 | 携程计算机技术（上海）有限公司 | 客服电话语音转录文本方法、系统、设备及存储介质 |
| US11715461B2 (en) * | 2020-10-21 | 2023-08-01 | Huawei Technologies Co., Ltd. | Transformer-based automatic speech recognition system incorporating time-reduction layer |
| CN112599118B (zh) * | 2020-12-30 | 2024-02-13 | 中国科学技术大学 | 语音识别方法、装置、电子设备和存储介质 |
| CN114708857A (zh) * | 2020-12-31 | 2022-07-05 | 中兴通讯股份有限公司 | 语音识别模型训练方法、语音识别方法及相应装置 |
| CN113380237A (zh) * | 2021-06-09 | 2021-09-10 | 中国科学技术大学 | 增强局部依赖关系无监督预训练语音识别模型及训练方法 |
| CN113724713A (zh) * | 2021-09-07 | 2021-11-30 | 科大讯飞股份有限公司 | 一种语音识别方法、装置、设备及存储介质 |
| CN117690435A (zh) * | 2024-02-04 | 2024-03-12 | 深圳市索迪新创科技有限公司 | 用于窗帘控制的智能语音识别电开关 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590625A (zh) * | 2016-03-18 | 2016-05-18 | 上海语知义信息技术有限公司 | 声学模型自适应方法及系统 |
| CN108109613A (zh) * | 2017-12-12 | 2018-06-01 | 苏州思必驰信息科技有限公司 | 用于智能对话语音平台的音频训练和识别方法及电子设备 |
| CN108694954A (zh) * | 2018-06-13 | 2018-10-23 | 广州势必可赢网络科技有限公司 | 一种性别年龄识别方法、装置、设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9858919B2 (en) * | 2013-11-27 | 2018-01-02 | International Business Machines Corporation | Speaker adaptation of neural network acoustic models using I-vectors |
| US10354656B2 (en) * | 2017-06-23 | 2019-07-16 | Microsoft Technology Licensing, Llc | Speaker recognition |
-
2019
- 2019-12-12 CN CN201911274852.9A patent/CN111009237B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590625A (zh) * | 2016-03-18 | 2016-05-18 | 上海语知义信息技术有限公司 | 声学模型自适应方法及系统 |
| CN108109613A (zh) * | 2017-12-12 | 2018-06-01 | 苏州思必驰信息科技有限公司 | 用于智能对话语音平台的音频训练和识别方法及电子设备 |
| CN108694954A (zh) * | 2018-06-13 | 2018-10-23 | 广州势必可赢网络科技有限公司 | 一种性别年龄识别方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111009237A (zh) | 2020-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111009237B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| Czyzewski et al. | An audio-visual corpus for multimodal automatic speech recognition | |
| WO2021143326A1 (zh) | 语音识别方法、装置、设备和存储介质 | |
| CN110956966B (zh) | 声纹认证方法、装置、介质及电子设备 | |
| WO2022078146A1 (zh) | 语音识别方法、装置、设备以及存储介质 | |
| US10375534B2 (en) | Video transmission and sharing over ultra-low bitrate wireless communication channel | |
| CN107409061A (zh) | 语音总结程序 | |
| CN110246488B (zh) | 半优化CycleGAN模型的语音转换方法及装置 | |
| Bahat et al. | Self-content-based audio inpainting | |
| Tao et al. | End-to-end audiovisual speech activity detection with bimodal recurrent neural models | |
| Michelsanti et al. | Vocoder-based speech synthesis from silent videos | |
| CN112837669B (zh) | 语音合成方法、装置及服务器 | |
| WO2021082941A1 (zh) | 视频人物识别方法、装置、存储介质与电子设备 | |
| CN110505504A (zh) | 视频节目处理方法、装置、计算机设备及存储介质 | |
| Qu et al. | LipSound: Neural Mel-Spectrogram Reconstruction for Lip Reading. | |
| CN110136726A (zh) | 一种语音性别的估计方法、装置、系统及存储介质 | |
| Hong et al. | Speech reconstruction with reminiscent sound via visual voice memory | |
| Fu et al. | SVoice: enabling voice communication in silence via acoustic sensing on commodity devices | |
| Parthasarathi et al. | Wordless sounds: Robust speaker diarization using privacy-preserving audio representations | |
| Wang et al. | Fastlts: Non-autoregressive end-to-end unconstrained lip-to-speech synthesis | |
| CN114283783A (zh) | 语音合成方法、模型训练方法、设备及存储介质 | |
| JP2015175859A (ja) | パターン認識装置、パターン認識方法及びパターン認識プログラム | |
| US20230223006A1 (en) | Voice conversion method and related device | |
| Haq et al. | Using lip reading recognition to predict daily Mandarin conversation | |
| CN114141271B (zh) | 心理状态检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |