CN112397051A - 语音识别方法、装置及终端设备 - Google Patents
语音识别方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112397051A CN112397051A CN201910757311.5A CN201910757311A CN112397051A CN 112397051 A CN112397051 A CN 112397051A CN 201910757311 A CN201910757311 A CN 201910757311A CN 112397051 A CN112397051 A CN 112397051A
- Authority
- CN
- China
- Prior art keywords
- english
- monosyllabic
- voice
- chinese
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 37
- 238000003062 neural network model Methods 0.000 claims description 35
- 238000001228 spectrum Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 15
- 238000009432 framing Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 244000248349 Citrus limon Species 0.000 description 3
- 235000005979 Citrus limon Nutrition 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/027—Syllables being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/086—Recognition of spelled words
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
本申请适用于语音处理技术领域，提供了语音识别方法、装置及终端设备，包括：获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段；根据所述单音节序列，得到所述待识别语音对应的识别文本。本申请实施例能够高效地识别中英文混合语音。
Description
技术领域
本申请属于语音处理技术领域，尤其涉及一种语音识别方法、装置及终端设备。
背景技术
在中国，英文作为大部分人的第一外语，中英文混合的语言表达越来越常见，因此对中英文混合语音的识别也逐渐成为语音识别领域中的一个研究重点。
现有的中英文混合语音识别方法主要有基于语种识别的混合语音识别方法、多个单语言识别器并联的混合语音识别方法及基于片段切分的多语言混合语音识别方法。基于语种识别的混合语音识别方法是基于多个对应不同语种的语音识别器，首先确定语音的语言种类，根据确定结果将语音输入到对应的语音识别器，各自得到对应的文本；多个单语言识别器并联的混合语音识别方法也是搭建多个对应不同语音的语音识别器，将语音同时输入多个语音识别器进行识别，最终从所有识别结果中选择似然度最大的一个；而基于片段切分的多语言混合语音识别方法是首先根据语音特征将语音按照词段自动切分成较小的片段，并对每一个小片段进行语种分类，然后整合相邻同语种的片段，将整合好的片段输入到该片段语种对应的语音识别器中进行识别。
上述三种方法均需要多个语音识别器才能对中英文混合语音进行识别，都存在着系统复杂，占用较大计算资源，识别效率低的缺陷。
发明内容
有鉴于此，本申请实施例提供了语音识别方法、装置及终端设备，以解决现有技术中如何实现高效地识别中英文混合语音的问题。
本申请实施例的第一方面提供了一种语音识别方法，包括：
获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段；
根据所述单音节序列，得到所述待识别语音对应的识别文本。
本申请实施例的第二方面提供了一种语音识别装置，包括：
单音节序列获取单元，用于获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段；
识别文本获取单元，用于根据所述单音节序列，得到所述待识别语音对应的识别文本。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述语音识别方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述语音识别方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，由于根据预存的中英文单音节音子集，就能够同时对语音中的中文和英文进行转换，得到待识别语音对应的单音节序列，并根据该单音节序列得到对应的识别文本，无需多个对应不同语种的语音识别器，因此简化了系统组成，节约了计算资源，提高对中英文混合语音进行语音识别时的识别效率。同时，由于对中英文的识别都是先将待识别语音转换为对应的单音节，因此能够解决了英文单词多音节和中文拼音单音节的不对称问题，利于语音的对齐，提高语音识别的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的第一种语音识别方法的实现流程示意图；
图2是本申请实施例提供的一种语音识别神经网络模型的结构示意图；
图3是本申请实施例提供的第二种语音识别方法的实现流程示意图；
图4是本申请实施例提供的一种语音识别装置的示意图；
图5是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一：
图1示出了本申请实施例提供的第一种语音识别方法的流程示意图，详述如下：
在S101中，获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段。
预存的中英文单音节音子集为提前构建存储的、由单音节作为音子组成的音子集合。该预存的中英文单音节音子集中既包含中文单音节音子又包含英文单音节音子。其中，由于中文中的每个汉字对应的拼音都为单音节，因此以汉字拼音作为中文单音节音子；而对于英文来说，一个英文单词即有可能是单音节词也可能是多音节词，因此需要对英文单词按照其音节进行划分，得到每个英文单词对应的单音节词片段，每个单音节词片段对应一个单音节音子。这里的单音节不仅包括声带振动的单个响音，还包括单个气流音，例如单词结尾有/s/、/k/等发音的也视为一个单音节，同样划分该单音节对应的词片段作为音子。该英文单词的单音节词片段可以为单音节小写词片段、单音节大写词片段或者单音节大小写混合词片段。例如，对于英文单词“Susan”，该英文单词的前两个字母连起来发一个单音节、后两个字母连起来发另一个单音节，因此将该英文单词前两个字母划分为该英文单词的第一个单音节词片段，后两个字母划分为英文单词的第二个单音节词片段，这两个单音节词片段可以为单音节小写词片段“su”“san”，也可以为单音节大写词片段“SU”“SAN”，还可以为单音节大小写混合词片段“Su”“san”。
可选地，所述英文单词的单音节词片段具体为英文单词的单音节大写词片段。
本申请实施例中，将根据英文单词的音节划分的单音节对应的词片段都统一转换为单音节大写词片段，即具体由英文大写字母组合来作为单音节词片段。
表1给出了英文单词划分的对应的单音节大写词片段的示例：
表1：
| 英文单词 | 单音节大写词片段 |
| boss | ‘BO’,‘SS’ |
| failed | ‘FA’,‘IL’,‘ED’ |
| it | ‘I’,‘T’ |
| hero | ‘HE’,‘RO’ |
| fire | ‘FI’,‘RE’ |
| maps | ‘MA’,‘P’,‘SS’ |
| lemon | ‘LE’,‘MON’ |
| that | ‘TH’,‘AT’ |
| over | ‘O’,‘VER’ |
| momo | ‘MO’,‘MO’ |
| so | ‘SO’ |
| ‘FA’,‘CE’,‘BOO’,‘K’ |
例如，对于单词lemon，包含两个音节，其音节划分为le/mon，即前面的le发一个音节，后面的mon发一个音节，因此从单词lemon可以得到两个单音节词片段：‘le’和‘mon’。为了使英文单音节词片段与中文拼音不混淆(例如英文单音节小写词片段‘le’可能与汉字“了”的拼音混淆)，将得到的单音节词片段转换为大写，从而最终得到两个单音节大写词片段：‘LE’和‘MON’，这两个单音节大写词片段分别作为预存的中英文单音节音子集中两个单独的音子。本申请实施例中，由于英文单词的单音节词片段具体为英文单词的单音节大写词片段，因此能够避免和汉字拼音的混淆，使得生成的单音节序列能够更好地区分开汉字拼音和英文单词的单音节词片段，从而能够提高语音识别的准确率。
通过读取预存的音频文件、直接通过麦克风等语音信号采集设备采集音频信号、光盘音频抓轨或者提取视频文件中的语音数据，获取待识别语音。得到待识别语音后，根据该预存的中英文单音节音子集，将该待识别语音转换为对应的单音节序列。具体地，可以预先存储该预存的中英文单音节音子集中每个单音节音子对应的音频信号，得到音频信号集，将预存的中英文单音节音子集中的每个单音节音子与该音频信号集中的每段音频信号对应绑定。获取待识别语音后，将该待识别语音的音频信号与音频信号集进行比对，得到待识别语音中每个发音对应的一段音频信号，再获取与该音频信号对应绑定的单音节音子，从而得到该待识别语音对应的单音节序列。
可选地，在所述获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列之前，还包括：
获取标注了单音节标签的中英文语音样本数据，根据所述单音节标签构建中英文单音节音子集并进行存储，得到所述预存的中英文单音节音子集。
获取预设数量的中英文语音样本数据，该中英文语音样本数据中包括中英文混合语音、纯中文语音以及纯英文语音。获得中英文语音样本数据后，通过人工标注或者特定标注工具自动标注的方式，为中英文语音样本数据中的每一个音节标注上对应的单音节标签，得到标注了单音节标签的中英文语音样本数据。根据中英文语音样本数据对应的单音节标签，进行汇集、构建、存储，得到预存的中英文单音节音子集。
可选地，所述获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，包括：
A1：获取待识别语音，根据单音节目标长度对所述待识别语音进行分帧处理。
A2：将分帧处理后的待识别语音通过变换处理得到所述待识别语音对应的梅尔频谱数据。
A3：根据所述梅尔频谱数据、所述单音节目标长度以及预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列。
在步骤A1中，单音节目标长度为每个单音节发音平均所需的时长或者帧数。例如，以帧率为40fps的语音数据为例，平均5帧对应一个单音节发音，因此单音节目标长度为5帧。根据该单音节目标长度，对获取的待识别语音进行分帧加窗处理，将该待识别语音分割为若干个长度为单音节目标长度的短音频。可选地，获取待识别语音后，先对该待识别语音进行数据清洗，过滤掉噪音之后，再进行分帧处理。
在步骤A2中，将分帧处理后的待识别语音的每一段短音频分别进行傅里叶变换，得到每一段短音频对应的频谱；将得到的所有频谱进行拼接得到该待识别语音对应的完整声谱，并将该声谱通过梅尔标度滤波器组(mel-scale filter banks)，变换得到该待识别语音对应的梅尔频谱数据。
在步骤A3中，根据得到的梅尔频谱数据及预存的中英文单音节音子集，以单音节目标长度为一个频谱单元，查询每个频谱单元对应的音子，最终得到该待识别语音对应的单音节序列。
由于在对待识别语音进行频域变换及在根据梅尔频谱数据得到单音节序列时，都以单音节目标长度为转换单元，因此能够提高将待识别语音转换为单音节序列的准确性。
在S102中，根据所述单音节序列，得到所述待识别语音对应的识别文本。
根据得到的单音节序列，结合预存的中英文单音节音子集并联系上下文，区分出单音节序列中的拼音、英文单词的单音节词片段。将单音节序列中的拼音通过转换为对应的汉字，将单音节序列中的单音节词片段结合上下文组成单词，最终得到待识别语音对应的识别文本。
可选地，根据得到的单音节序列，将单音节序列中的每个小写字母组合识别为拼音，通过读取汉语词典数据得到该拼音对应的汉字；将单音节序列中的每个单音节大写词片段识别为英文单词对应的词片段，联系上下文，将该词片段与其它单音节大写词片段进行组合，得到英文单词。依照此方法按顺序依次将单音节序列中的音节进行转换，得到待识别语音对应的识别文本。
本申请实施例中，由于根据预存的中英文单音节音子集，就能够同时对语音中的中文和英文进行转换得到待识别语音对应的单音节序列，并根据该单音节序列得到对应的识别文本，无需多个对应不同语种的语音识别器，因此简化了系统组成，节约了计算资源，提高对中英文混合语音进行语音识别时的识别效率。同时，由于对中英文的识别都是先将待识别语音转换为对应的单音节，因此能够解决了英文单词多音节和中文拼音单音节的不对称问题，利于语音的对齐，提高语音识别的准确率。并且，由于是以单音节作为建模单元，相对于以音素为建模单元的模型具有减少计算数据、提高语音识别鲁棒性(即对有口音的发音也具有容错能力)的优点。
实施例二：
本申请实施例中，具体通过端到端的语音识别神经网络模型执行语音识别方法，如图2示出了该语音识别神经网络模型2的组成结构示意图，该语音识别神经网络模型2由声学模型21及语言模型22组成，其中该声学模型21及语言模型22均为具有深度学习能力的神经网络模型。
具体地，该语音识别神经网络模型的表达式可以由以下公式表示：
其中，Y表示语音识别神经网络模型的输入——待识别语音；W*为语音识别神经网络模型的输出——待识别语音对应的识别文本；W表示预先给定的文本序列。公式1表示根据待识别语音Y及给定的文本序列W，通过最大后验概率算法得到的可能性最大的待识别语音对应的输出文本序列W*。公式2为根据贝叶斯公式将公式1转换得到的公式，其中P(Y)表示待识别语音出现的概率，由于该概率与所要求解的识别文本词序列没有参数关系，因此可以在求解时略去，进而得到公式3。在公式3中，P(YW)表示给定文本序列W时输出该待识别语音Y的概率，它即为语音识别神经网络模型中声学模型的表达式；P(W)表示出现该给定文本序列W的概率，它即为语音识别神经网络模型中语言模型的表达式。
图3示出了本申请实施例提供的第二种语音识别方法的流程示意图，详述如下：
在S301中，获取待识别语音，通过所述语音识别神经网络模型的声学模型对所述待识别语音进行处理，得到所述待识别语音对应的单音节序列，其中所述声学模型包含预存的中英文单音节音子集信息。
通过读取预存的音频文件、直接通过麦克风等语音信号采集设备采集音频信号、光盘音频抓轨或者提取视频文件中的语音数据，获取待识别语音。将获取到的待识别语音通过语音识别神经网络模型的声学模型进行处理，把待识别语音转换为对应的单音节序列，其中该语音识别神经网络模型为已提前训练好的模型。具体地，该声学模型包含预存的中英文单音节音子集信息，以该预存的中英文单音节音子集中的每个单音节音子作为声学模型对语音进行识别预测时的可选单音节匹配选项，通过已训练好的声学模型，为待识别语音中的每段单音节音频识别匹配对应的单音节音子，最终得到该待识别语音对应的单音节序列。具体地，根据单音节目标长度，将待识别语音划分为若干个目标长度的短音频，为每个短音频匹配一个单音节音子，即以目标长度为单位对应一个预测值，最终将所有得到的预测值进行拼接得到该待识别语音对应的单音节序列。可选地，在对待识别语音进行预测匹配单音节前，将该待识别语音转换成预设维度(例如80维)的梅尔频谱数据。
可选地，所述声学模型为基于注意力机制的编码解码模型。
声学模型具体由编码模块及解码模块组成，并嵌入注意力机制，从而能够进一步提高语音识别的准确率。具体地，编码模块由n层(n为正整数，优选为3、4或5)长短期记忆网络(Long Short-Term Memory,LSTM)构成，每层LSTM有预设个神经元(例如256个)；解码模块由有m(m优选为2)层LSTM构成，每层LSTM有预设个神经元(例如512个)。优选地，编码模块和/或解码模块由双向的LSTM构成，双向的LSTM能够更好地联系上下文信息，从而进一步提高语音识别的准确率。
在S302中，通过所述语音识别神经网络模型的语言模型对所述单音节序列进行处理，得到所述待识别语音对应的识别文本。
通过已训练好的语言模型对单音节序列进行处理，预测单音节序列对应的识别文本。具体地，将单音节序列中的拼音通过转换为对应的汉字，将单音节序列中的单音节词片段结合上下文组成单词，最终得到待识别语音对应的识别文本。可选地，英文单词的单音节词片段具体为英文单词的单音节大写词片段，因此对于单音节序列中由小写字母组成的单音节识别为拼音，并联系上下文为该拼音匹配对应的汉字；对于单音节序列中由大写字母组成的单音节识别为英文对应的单音节词片段，联系上下文，将该单音节词片段与其它单音节词片段进行组合，得到英文单词。依照此预测方法按顺序依次将单音节序列中的音节进行识别，得到待识别语音对应的识别文本。
可选地，所述语言模型为基于条件随机场的LSTM神经网络模型。
语言模型具体为单向双层的LSTM神经网络模型，LSTM神经网络模型能够在处理数据时联系上下文，而双层的LSTM神经网络可以使得在单音节序列转换成识别文本时能够进一步加强上下文联系，例如单个文字与单个文字之间的联系及组成一个英文单词的不同词片段的联系，提高语音识别的准确率；同时，由于语言模型的作用为将单音节序列转换为识别文本，而单音节序列及识别文本均为文本类型一维数据，因此可以仅采用单层的网络结构就可以保证较高的识别准确率，节约系统运算资源。另外，由于语言模型处理的是单音节序列，即处理的为序列数据，因此为该语言模型嵌入条件随机场算法(Conditional RandomField,CRF)，能够进一步提高语音识别的准确率。可选地，语言模型中还可以嵌入注意力机制，进一步加强单音节序列转换成识别文本时的上下文联系，从而进一步地提高识别准确率。
可选地，在所述步骤S301之前，还包括：
获取对所述语音识别神经网络模型进行训练。
获取预设数量的标注了文字标签的中英文语音样本数据，对语音识别神经网络模型进行预设轮次的端到端联合训练，得到训练好的语音识别神经网络模型。
可选地，在所述步骤S301之前，还包括：
S300B1：获取标注了单音节标签的中英文语音样本数据，并将所述中英文语音样本数据输入声学模型进行声学模型训练；
S300B2：获取标注了文字标签的中英文单音节序列样本数据，并将所述中英文单音节序列样本数据输入语言模型进行语言模型训练。
声学模型具体以中英文语音样本数据为输入，以单音节序列为输出进行训练。在步骤S300B1中，获取预设数量(例如总计音频时长超过2000小时)的标注了单音节标签的中英文语音样本数据，该中英文语音样本数据具体包括中英混合语音样本数据、纯中文语音样本数据、纯英文语音样本数据。将该中英文语音样本数据输入声学模型之后，该中英文语音样本数据转换成第一预设维度(例如80维)的梅尔频谱数据，并将该梅尔频谱数据进行分段处理，以中英文语音样本数据中预设帧数(例如5帧)的语音对应一段梅尔频谱数据，一段梅尔频谱数据声学模型的一个预测值(即一个单音节)，进行批量训练，可选地，批量大小为128。可选地，中英文语音样本数据中，每帧语音的长度为0.025秒，帧移为0.01秒。通过多轮训练，直到验证集准确率达到平稳状态，不再升高时，停止训练，得到训练后的声学模型。同时根据中英文语音样本数据的单音节标签，可以构建声学模型中的中英文单音节音子集，得到预存的中英文单音节音子集。
语言模型具体以单音节序列为输入，以文本序列为输出进行训练。在步骤S300B2中，获取预设数量的标注了对应文字标签的中英文单音节序列样本数据，其中该中英文单音节序列样本数据包括中英文混合文本对应的单音节序列、纯中文文本对应的单音节序列、纯英文文本对应的单音节序列。将该中英文单音节序列样本数据输入语言模型进行多轮训练，直到验证集准确率达到平稳状态，不再升高时，停止训练，得到训练后的语言模型。可选地，英文单音节序列样本数据输入语言模型后，将每个单音节初始化为一个第二预设维度(例如256维)的向量，并以预设批量大小(例如4096)进行批量训练。
可选地，声学模型的训练及语言模型的训练均采用分布式训练的方式，以提高训练速度。
由于汉字数量远高于拼音，采用端到端联合训练的方式对语音识别神经网络模型进行训练时所需的语音样本数据数量远高于单纯的声学模型训练所需的语音样本数据数量，同时考虑到语言模型相对于声学模型较为简单，所需训练时间较短，因此将语音识别神经网络模型进行非端到端的两段式训练，即将声学模型及语言模型进行分开训练，通过增加训练语言模型的单音节序列样本数据来降低训练时所需的语音样本数据，降低算力要求，缩短训练时间，从而提高模型训练效率。
本申请实施例中，由于具体采用包含预存的中英文单音节音子集的端到端的语音识别神经网络模型来实现语音识别方法，因此能够通过一个模型将两种语言统一识别，提高对中英文混合语音进行识别的识别效率；同时，相对于传统的语音识别，端到端的神经网络模型识别准确率更高。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三：
图4示出了本申请实施例提供的一种语音识别装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：
该语音识别装置包括：单音节序列获取单元41、识别文本获取单元42。其中：
单音节序列获取单元41，用于获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段。
预存的中英文单音节音子集为提前构建存储的、由单音节作为音子组成的音子集合。该预存的中英文单音节音子集中既包含中文单音节音子又包含英文单音节音子。其中，由于中文中的每个汉字对应的拼音都为单音节，因此以汉字拼音作为中文单音节音子；而对于英文来说，一个英文单词即有可能是单音节词也可能是多音节词，因此需要对英文单词按照其音节进行划分，得到每个英文单词对应的单音节词片段，每个单音节词片段对应一个单音节音子，这里的单音节不仅包括声带振动的单个响音，还包括单个气流音，例如单词结尾有/s/、/k/等发音的也视为一个单音节，同样划分该单音节对应的词片段作为音子。该英文单词的单音节词片段可以为单音节小写词片段、单音节大写词片段或者单音节大小写混合词片段。例如，对于英文单词“Susan”，该英文单词的前两个字母连起来发一个单音节、后两个字母连起来发另一个单音节，因此将该英文单词前两个字母划分为该英文单词的第一个单音节词片段，后两个字母划分为英文单词的第二个单音节词片段，这两个单音节词片段可以为单音节小写词片段“su”“san”，也可以为单音节大写词片段“SU”“SAN”，还可以为单音节大小写混合词片段“Su”“san”。
通过读取预存的音频文件、直接通过麦克风等语音信号采集设备采集音频信号、光盘音频抓轨或者提取视频文件中的语音数据，获取待识别语音。得到待识别语音后，根据该预存的中英文单音节音子集，将该待识别语音转换为对应的单音节序列。具体地，可以预先存储该预存的中英文单音节音子集中每个单音节音子对应的音频信号，得到音频信号集，将预存的中英文单音节音子集中的每个单音节音子与该音频信号集中的每段音频信号对应绑定。获取待识别语音后，将该待识别语音的音频信号与音频信号集进行比对，得到待识别语音中每个发音对应的一段音频信号，再获取与该音频信号对应绑定的单音节音子，从而得到该待识别语音对应的单音节序列。
可选地，所述英文单词的单音节词片段具体为英文单词的单音节大写词片段。
本申请实施例中，将根据英文单词的音节划分的单音节对应的词片段都统一转换为单音节大写词片段，即具体由英文大写字母组合来作为单音节词片段。
可选地，所述语音识别装置还包括：
中英文单音节音子集构建单元，用于获取标注了单音节标签的中英文语音样本数据，根据所述单音节标签构建中英文单音节音子集并进行存储，得到所述预存的中英文单音节音子集。
可选地，所述单音节序列获取单元41包括分帧模块、梅尔频谱数据获取模块、单音节序列获取模块：
分帧模块，用于获取待识别语音，根据单音节目标长度对所述待识别语音进行分帧处理。
梅尔频谱数据获取模块，用于将分帧处理后的待识别语音通过变换处理得到所述待识别语音对应的梅尔频谱数据。
单音节序列获取模块，用于根据所述梅尔频谱数据、所述单音节目标长度以及预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列。
识别文本获取单元42，用于根据所述单音节序列，得到所述待识别语音对应的识别文本。
根据得到的单音节序列，结合预存的中英文单音节音子集并联系上下文，区分出单音节序列中的拼音、英文单词的单音节词片段。将单音节序列中的拼音通过转换为对应的汉字，将单音节序列中的单音节词片段结合上下文组成单词，最终得到待识别语音对应的识别文本。
可选地，根据得到的单音节序列，将单音节序列中的每个小写字母组合识别为拼音，通过读取汉语词典数据得到该拼音对应的汉字；将单音节序列中的每个单音节大写词片段识别为英文单词对应的词片段，联系上下文，将该词片段与其它单音节大写词片段进行组合，得到英文单词。依照此方法按顺序依次将单音节序列中的音节进行转换，得到待识别语音对应的识别文本。
可选地，所述语音识别装置4具体包括语音识别神经网络模型单元，所述语音识别神经网络模型单元包括声学模型模块及语言模型模块，此时所述单音节序列获取单元41具体为声学模型模块，所述识别文本获取单元42具体为语言模型模块：
声学模型模块，用于获取待识别语音，通过所述语音识别神经网络模型的声学模型对所述待识别语音进行处理，得到所述待识别语音对应的单音节序列，其中所述声学模型包含预存的中英文单音节音子集信息。
可选地，所述声学模型模块包括基于注意力机制的编码解码模型。
语言模型模块，用于通过所述语音识别神经网络模型的语言模型对所述单音节序列进行处理，得到所述待识别语音对应的识别文本。
可选地，所述语言模型模块包括基于条件随机场的LSTM神经网络模型。
可选地，所述语音识别装置还包括训练单元，所述训练单元包括第一训练模块及第二训练模块：
第一训练模块，用于获取标注了单音节标签的中英文语音样本数据，并将所述中英文语音样本数据输入声学模型进行声学模型训练；
第二训练模块，用于获取标注了文字标签的中英文单音节序列样本数据，并将所述中英文单音节序列样本数据输入语言模型进行语言模型训练。
本申请实施例中，由于根据预存的中英文单音节音子集，就能够同时对语音中的中文和英文进行转换得到待识别语音对应的单音节序列，并根据该单音节序列得到对应的识别文本，无需多个对应不同语种的语音识别器，因此简化了系统组成，节约了计算资源，提高对中英文混合语音进行语音识别时的识别效率。同时，由于对中英文的识别都是先将待识别语音转换为对应的单音节，因此能够解决了英文单词多音节和中文拼音单音节的不对称问题，利于语音的对齐，提高语音识别的准确率。
实施例四：
图5是本申请一实施例提供终端设备的示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如语音识别程序。所述处理器50执行所述计算机程序52时实现上述各个语音识别方法实施例中的步骤，例如图1所示的步骤S101至S102。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块41至42的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如，所述计算机程序52可以被分割成单音节序列获取单元、识别文本获取单元，各单元具体功能如下：
单音节序列获取单元，用于获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段。
识别文本获取单元，用于根据所述单音节序列，得到所述待识别语音对应的识别文本。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (11)
1.一种语音识别方法，其特征在于，包括：
获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段；
根据所述单音节序列，得到所述待识别语音对应的识别文本。
2.如权利要求1所述的语音识别方法，其特征在于，所述英文单词的单音节词片段具体为英文单词的单音节大写词片段。
3.如权利要求1所述的语音识别方法，其特征在于，在所述获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列之前，还包括：
获取标注了单音节标签的中英文语音样本数据，根据所述单音节标签构建中英文单音节音子集并进行存储，得到所述预存的中英文单音节音子集。
4.如权利要求1所述的语音识别方法，其特征在于，所述语音识别方法通过端到端的语音识别神经网络模型实现，其中所述语音识别神经网络模型由声学模型及语言模型组成；
对应地，所述获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，包括：
获取待识别语音，通过所述语音识别神经网络模型的声学模型对所述待识别语音进行处理，得到所述待识别语音对应的单音节序列，其中所述声学模型包含预存的中英文单音节音子集信息；
对应地，所述根据所述单音节序列，得到所述待识别语音对应的识别文本，包括：
通过所述语音识别神经网络模型的语言模型对所述单音节序列进行处理，得到所述待识别语音对应的识别文本。
5.如权利要求4所述的语音识别方法，其特征在于，在所述获取待识别语音，通过所述语音识别神经网络模型的声学模型对所述待识别语音进行处理之前，还包括：
获取标注了单音节标签的中英文语音样本数据，并将所述中英文语音样本数据输入声学模型进行声学模型训练；
获取标注了文字标签的中英文单音节序列样本数据，并将所述中英文单音节序列样本数据输入语言模型进行语言模型训练。
6.如权利要求4所述的语音识别方法，其特征在于，所述声学模型为基于注意力机制的编码解码模型。
7.如权利要求4所述的语音识别方法，其特征在于，所述语言模型为基于条件随机场的LSTM神经网络模型。
8.如权利要求1所述的语音识别方法，其特征在于，所述获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，包括：
获取待识别语音，根据单音节目标长度对所述待识别语音进行分帧处理；
将分帧处理后的待识别语音通过变换处理得到所述待识别语音对应的梅尔频谱数据；
根据所述梅尔频谱数据、所述单音节目标长度以及预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列。
9.一种语音识别装置，其特征在于，包括：
单音节序列获取单元，用于获取待识别语音，根据预存的中英文单音节音子集，得到所述待识别语音对应的单音节序列，其中所述中英文单音节音子集包括汉字拼音、英文单词的单音节词片段；
识别文本获取单元，用于根据所述单音节序列，得到所述待识别语音对应的识别文本。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910757311.5A CN112397051B (zh) | 2019-08-16 | 2019-08-16 | 语音识别方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910757311.5A CN112397051B (zh) | 2019-08-16 | 2019-08-16 | 语音识别方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112397051A true CN112397051A (zh) | 2021-02-23 |
| CN112397051B CN112397051B (zh) | 2024-02-02 |
Family
ID=74602777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910757311.5A Active CN112397051B (zh) | 2019-08-16 | 2019-08-16 | 语音识别方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112397051B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668704A (zh) * | 2021-03-16 | 2021-04-16 | 北京世纪好未来教育科技有限公司 | 音频识别模型的训练方法、装置和音频识别方法、装置 |
| CN113643700A (zh) * | 2021-07-27 | 2021-11-12 | 广州市威士丹利智能科技有限公司 | 一种智能语音开关的控制方法及系统 |
| WO2022178996A1 (zh) * | 2021-02-26 | 2022-09-01 | 平安科技（深圳）有限公司 | 多语言语音模型生成方法、装置、计算机设备及存储介质 |
| WO2023173966A1 (zh) * | 2022-03-14 | 2023-09-21 | 中国移动通信集团设计院有限公司 | 语音识别方法、终端设备及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163767A (en) * | 1997-09-19 | 2000-12-19 | International Business Machines Corporation | Speech recognition method and system for recognizing single or un-correlated Chinese characters |
| CN1731511A (zh) * | 2004-08-06 | 2006-02-08 | 摩托罗拉公司 | 用于对多语言的姓名进行语音识别的方法和系统 |
| JP2008249761A (ja) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | 統計的言語モデル生成装置及び方法、及びこれを用いた音声認識装置 |
| US20090265159A1 (en) * | 2008-04-18 | 2009-10-22 | Li Tze-Fen | Speech recognition method for both english and chinese |
| CN101826325A (zh) * | 2010-03-10 | 2010-09-08 | 华为终端有限公司 | 对中英文语音信号进行识别的方法和装置 |
| CN103578464A (zh) * | 2013-10-18 | 2014-02-12 | 威盛电子股份有限公司 | 语言模型的建立方法、语音辨识方法及电子装置 |
| CN105096953A (zh) * | 2015-08-11 | 2015-11-25 | 东莞市凡豆信息科技有限公司 | 实现多语种混合使用的语音识别方法 |
| WO2017080195A1 (zh) * | 2015-11-12 | 2017-05-18 | 深圳Tcl数字技术有限公司 | 音频识别方法及装置 |
| US20180322867A1 (en) * | 2017-05-04 | 2018-11-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for recognizing speech based on chinese-english mixed dictionary |
-
2019
- 2019-08-16 CN CN201910757311.5A patent/CN112397051B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163767A (en) * | 1997-09-19 | 2000-12-19 | International Business Machines Corporation | Speech recognition method and system for recognizing single or un-correlated Chinese characters |
| CN1731511A (zh) * | 2004-08-06 | 2006-02-08 | 摩托罗拉公司 | 用于对多语言的姓名进行语音识别的方法和系统 |
| JP2008249761A (ja) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | 統計的言語モデル生成装置及び方法、及びこれを用いた音声認識装置 |
| US20090265159A1 (en) * | 2008-04-18 | 2009-10-22 | Li Tze-Fen | Speech recognition method for both english and chinese |
| CN101826325A (zh) * | 2010-03-10 | 2010-09-08 | 华为终端有限公司 | 对中英文语音信号进行识别的方法和装置 |
| CN103578464A (zh) * | 2013-10-18 | 2014-02-12 | 威盛电子股份有限公司 | 语言模型的建立方法、语音辨识方法及电子装置 |
| CN105096953A (zh) * | 2015-08-11 | 2015-11-25 | 东莞市凡豆信息科技有限公司 | 实现多语种混合使用的语音识别方法 |
| WO2017080195A1 (zh) * | 2015-11-12 | 2017-05-18 | 深圳Tcl数字技术有限公司 | 音频识别方法及装置 |
| US20180322867A1 (en) * | 2017-05-04 | 2018-11-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for recognizing speech based on chinese-english mixed dictionary |
Non-Patent Citations (2)
| Title |
|---|
| 李伟 等: "基于中英文混合模型的语音识别研究", 电声技术, pages 42 - 44 * |
| 李梓钰;林子明;程晓东;杨洁;: "基于中英文数字语音登陆系统的仿真研究", 电子产品世界, no. 06, pages 61 - 63 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022178996A1 (zh) * | 2021-02-26 | 2022-09-01 | 平安科技（深圳）有限公司 | 多语言语音模型生成方法、装置、计算机设备及存储介质 |
| CN112668704A (zh) * | 2021-03-16 | 2021-04-16 | 北京世纪好未来教育科技有限公司 | 音频识别模型的训练方法、装置和音频识别方法、装置 |
| CN113643700A (zh) * | 2021-07-27 | 2021-11-12 | 广州市威士丹利智能科技有限公司 | 一种智能语音开关的控制方法及系统 |
| CN113643700B (zh) * | 2021-07-27 | 2024-02-27 | 广州市威士丹利智能科技有限公司 | 一种智能语音开关的控制方法及系统 |
| WO2023173966A1 (zh) * | 2022-03-14 | 2023-09-21 | 中国移动通信集团设计院有限公司 | 语音识别方法、终端设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112397051B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10621972B2 (en) | Method and device extracting acoustic feature based on convolution neural network and terminal device | |
| CN112397051B (zh) | 语音识别方法、装置及终端设备 | |
| CN111292720A (zh) | 语音合成方法、装置、计算机可读介质及电子设备 | |
| CN107729313B (zh) | 基于深度神经网络的多音字读音的判别方法和装置 | |
| CN109686383B (zh) | 一种语音分析方法、装置及存储介质 | |
| CN110706690A (zh) | 语音识别方法及其装置 | |
| CN110097870B (zh) | 语音处理方法、装置、设备和存储介质 | |
| CN111402862B (zh) | 语音识别方法、装置、存储介质及设备 | |
| CN112397056B (zh) | 语音评测方法及计算机存储介质 | |
| CN112927674B (zh) | 语音风格的迁移方法、装置、可读介质和电子设备 | |
| CN110335608B (zh) | 声纹验证方法、装置、设备及存储介质 | |
| CN110503956B (zh) | 语音识别方法、装置、介质及电子设备 | |
| CN111816166A (zh) | 声音识别方法、装置以及存储指令的计算机可读存储介质 | |
| CN112037776A (zh) | 一种语音识别方法、语音识别装置及终端设备 | |
| CN112818680A (zh) | 语料的处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114999463B (zh) | 语音识别方法、装置、设备及介质 | |
| JP2018072697A (ja) | 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム | |
| CN112331229A (zh) | 语音检测方法、装置、介质和计算设备 | |
| Hanani et al. | Spoken Arabic dialect recognition using X-vectors | |
| CN115457938A (zh) | 识别唤醒词的方法、装置、存储介质及电子装置 | |
| CN112133285B (zh) | 语音识别方法、装置、存储介质和电子设备 | |
| McInnes et al. | Unsupervised extraction of recurring words from infant-directed speech | |
| CN115512692B (zh) | 语音识别方法、装置、设备及存储介质 | |
| CN113053409A (zh) | 音频测评方法及装置 | |
| CN113823271A (zh) | 语音分类模型的训练方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |