CN105632499B - 用于优化语音识别结果的方法和装置 - Google Patents
用于优化语音识别结果的方法和装置 Download PDFInfo
- Publication number
- CN105632499B CN105632499B CN201410602377.4A CN201410602377A CN105632499B CN 105632499 B CN105632499 B CN 105632499B CN 201410602377 A CN201410602377 A CN 201410602377A CN 105632499 B CN105632499 B CN 105632499B
- Authority
- CN
- China
- Prior art keywords
- keyword
- segment
- speech recognition
- acoustic distance
- phoneme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 16
- 235000013399 edible fruits Nutrition 0.000 description 28
- 241001122767 Theaceae Species 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供用于优化语音识别结果的方法和装置。根据一个实施方式，用于优化语音识别结果的装置包括：接收单元，其接收语音识别结果；计算单元，其计算上述语音识别结果中的片段和关键词列表中的关键词之间的发音相似度；以及替换单元，其在上述发音相似度高于第1阈值的情况下，将上述片段替换为上述关键词。
Description
技术领域
本发明涉及语音识别技术，具体地，涉及用于优化语音识别结果的方法和装置。
背景技术
在语音识别的一些应用场景中，说话内容往往包含一些关键词，这些关键词能否被正确识别出来密切影响着语音识别系统的用户体验。例如，在会议支援应用中，语音识别系统把发言人说话的内容识别出来，而会议中所涉及的重要人名、地名、技术术语等词汇就是关键词，其识别率是此类应用最主要的性能指标。
关键词可以分为两类，如果关键词不在语音识别的系统词典里，可称之为新词，如果在词典内，则可称之为核心词。由于新词未在系统词典里注册，而语音识别系统只能输出系统词典里存在的词条，所以新词完全无法被直接识别出来。
虽然大部分新词可以由系统词典里的词条拼接后间接输出，但由于这种拼接的情况在训练语料里很少见，导致其语言模型得分很低，因此被成功识别出来的概率依然很小。
对已在系统词典里注册过的核心词而言，如果系统词典里存在其他发音相同或相似但语言模型得分更高的非核心词，则语音识别系统会错误的选择该非核心词作为输出结果。
因此，普通的语音识别系统对关键词的识别率都很低，而错误的识别结果一般都是读音相同或相似的其他词汇。
提高关键词的识别率的关键是提升关键词的语言模型得分。通常，使用基于类的语音模型来提升关键词的语言模型得分。在该方法中，可以创建一些类来对应各种关键词，如人名类、地名类、技术术语类等，并在系统词表里挑选一定数目符合某类别性质的典型词汇加入相应的类。在训练语言模型时，每个类的语言模型得分由对该类所包含的所有典型词汇共同统计后得出。在语音识别之前，把关键词添加到系统词典里并关联到所属的类，而在语音识别的过程中，关键词则共享其所属类的语言模型得分。由于典型词汇的语言模型得分都比较高，所以关键词的语言模型得分被大为提升，其识别率也得以大幅度提高。
发明内容
本发明的发明人发现即使采用上述基于类的语言模型方法，仍然有一定比例的关键词不能被正确识别，从而影响语音识别系统，尤其是会议支援系统中的用户体验。
为了解决现有技术中存在的上述问题，本发明的实施方式提供是一种通过关键词列表优化语音识别结果的语音识别后处理技术，其不涉及对语音识别引擎的修改，功能实现非常容易，计算量非常小，使用方便，添加或更改关键词只需修改对应的关键词列表文件。具体而言，提供以下用于优化语音识别结果的技术方案。
[1]一种用于优化语音识别结果的方法，包括以下步骤：
接收语音识别结果；
计算上述语音识别结果中的片段和关键词列表中的关键词之间的发音相似度；以及
在上述发音相似度高于第1阈值的情况下，将上述片段替换为上述关键词。
上述方案[1]的用于优化语音识别结果的方法，通过关键词列表对语音识别结果中被错误识别的关键词进行优化，能够提高语音识别结果的质量，改善语音识别系统，尤其是会议支援系统的性能。上述方案[1]的方法不涉及对语音识别引擎的修改，功能实现非常容易，计算量非常小，使用方便，添加或更改关键词只需修改对应的关键词列表文件。
[2]根据上述[1]所述的方法，其中，上述替换步骤包括以下步骤：
在上述发音相似度高于上述第1阈值且上述片段的语言模型得分低于第2阈值的情况下，将上述片段替换为上述关键词。
上述方案[2]的方法通过仅对语言模型得分低的片段进行替换，能够提高替换的正确率。另外，由于语言模型得分是利用语音识别结果中已有的数据，因此计算量非常小。
[3]根据上述[1]或[2]所述的方法，其中，上述计算步骤包括以下步骤：
计算上述语音识别结果中的语言模型得分低于第2阈值的片段和上述关键词列表中的关键词之间的发音相似度。
上述方案[3]的方法通过仅对语言模型得分低的片段进行计算，能够进一步降低计算量。
[4]根据上述[1]～[3]的任一方案所述的方法，其中，上述计算步骤包括以下步骤：
计算上述语音识别结果中的片段和关键词列表中的关键词之间的声学距离，并基于上述声学距离除以上述关键词的字数、音节数或音素数的平均声学距离，计算上述发音相似度。
上述方案[4]的方法中，由于声学距离计算是字一级或词一级的处理，因此计算量非常小。
[5]根据上述[1]～[4]的任一方案所述的方法，其中，上述计算步骤包括以下步骤：
计算上述片段的音素序列和上述关键词的音素序列之间的音素声学距离。
[6]根据上述[5]所述的方法，其中，上述计算步骤包括以下步骤：
利用音素混淆矩阵作为权重来计算上述片段的音素序列和上述关键词的音素序列之间的音素声学距离。
[7]根据上述[1]～[6]的任一方案所述的方法，其中，上述计算步骤包括以下步骤：
计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离。
[8]根据上述[7]所述的方法，其中，上述计算步骤包括以下步骤：
利用音调混淆矩阵作为权重计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离。
[9]根据上述[1]～[8]的任一方案所述的方法，其中，上述计算步骤包括以下步骤：
计算上述片段和上述关键词的音素序列之间的音素声学距离和上述片段和上述关键词的音调序列之间的音调声学距离的加权平均值，作为上述片段和上述关键词之间的上述声学距离。
[10]根据上述[1]～[9]的任一方案所述的方法，其中，
上述片段包括上述语音识别结果中的词、相邻的多个词的组合或相邻的多个字的组合。
[11]根据上述[1]～[10]的任一方案所述的方法，其中，
上述片段的语言模型得分基于与上述片段相关的词的语言模型得分计算。
[12]一种用于优化语音识别结果的装置，包括：
接收单元，其接收语音识别结果；
计算单元，其计算上述语音识别结果中的片段和关键词列表中的关键词之间的发音相似度；以及
替换单元，其在上述发音相似度高于第1阈值的情况下，将上述片段替换为上述关键词。
上述方案[12]的用于优化语音识别结果的装置，通过关键词列表对语音识别结果中被错误识别的关键词进行优化，能够提高语音识别结果的质量，改善语音识别系统，尤其是会议支援系统的性能。上述方案[12]的装置不涉及对语音识别引擎的修改，功能实现非常容易，计算量非常小，使用方便，添加或更改关键词只需修改对应的关键词列表文件。
[13]根据上述[12]所述的装置，其中，
上述替换单元，在上述发音相似度高于上述第1阈值且上述片段的语言模型得分低于第2阈值的情况下，将上述片段替换为上述关键词。
上述方案[13]的装置通过仅对语言模型得分低的片段进行替换，能够提高替换的正确率。另外，由于语言模型得分是利用语音识别结果中已有的数据，因此计算量非常小。
[14]根据上述[12]或[13]所述的装置，其中，
上述计算单元，计算上述语音识别结果中的语言模型得分低于第2阈值的片段和上述关键词列表中的关键词之间的发音相似度。
上述方案[14]的装置通过仅对语言模型得分低的片段进行计算，能够进一步降低计算量。
[15]根据上述[12]～[14]的任一方案所述的装置，其中，
上述计算单元，计算上述语音识别结果中的片段和关键词列表中的关键词之间的声学距离，并基于上述声学距离除以上述关键词的字数、音节数或音素数的平均声学距离，计算上述发音相似度。
上述方案[15]的装置中，由于声学距离计算是字一级或词一级的处理，因此计算量非常小。
[16]根据上述[12]～[15]的任一方案所述的装置，其中，
上述计算单元，计算上述片段的音素序列和上述关键词的音素序列之间的音素声学距离。
[17]根据上述[16]所述的装置，其中，
上述计算单元，利用音素混淆矩阵作为权重来计算上述片段的音素序列和上述关键词的音素序列之间的音素声学距离。
[18]根据上述[12]～[17]的任一方案所述的装置，其中，
上述计算单元，计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离。
[19]根据上述[18]所述的装置，其中，
上述计算单元，利用音调混淆矩阵作为权重计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离。
[20]根据上述[12]～[19]的任一方案所述的装置，其中，
上述计算单元，计算上述片段和上述关键词的音素序列之间的音素声学距离和上述片段和上述关键词的音调序列之间的音调声学距离的加权平均值，作为上述片段和上述关键词之间的上述声学距离。
[21]根据上述[12]～[20]的任一方案所述的装置，其中，
上述片段包括上述语音识别结果中的词、相邻的多个词的组合或相邻的多个字的组合。
[22]根据上述[12]～[21]的任一方案所述的装置，其中，
上述片段的语言模型得分基于与上述片段相关的词的语言模型得分计算。
附图说明
结合附图，从下面对本发明的实施例的详细描述中本发明的目的、特点和优点将显而易见，其中：
图1示出了根据本发明的一个实施方式的用于优化语音识别结果的方法的流程图。
图2示出了本发明的用于优化语音识别结果的方法的一个优选实施例的流程图。
图3示出了对语音识别结果和关键词列表进行匹配的一个实例。
图4示出了计算平均声学距离的一个具体实例。
图5示出了根据本发明的另一个实施方式的用于优化语音识别结果的装置的框图。
具体实施方式
下面，结合附图对本发明的实施方式进行详细描述。
<用于优化语音识别结果的方法>
本发明的第1实施方式提供一种用于优化语音识别结果的方法，包括以下步骤：接收语音识别结果；计算上述语音识别结果中的片段和关键词列表中的关键词之间的发音相似度；以及在上述发音相似度高于第1阈值的情况下，将上述片段替换为上述关键词。
图1示出了根据本发明的第1实施方式的用于优化语音识别结果的方法的流程图。
首先，如图1所示，在步骤S101，接收来自语音识别引擎的语音识别结果10。
在本实施方式中，接收的语音识别结果10可以是利用本领域的技术人员公知的任何语音识别引擎或系统获得的结果，其可以是各种语言的语音识别结果，例如汉语、英语、日语等，本发明对此没有任何限制。
接着，在步骤S105，计算语音识别结果10中的片段和关键词列表20中的关键词之间的发音相似度。
在本实施方式中，语音识别结果的片段包括语音识别结果中的词、相邻的多个词的组合或相邻的多个字的组合。
在本实施方式中，步骤S105计算发音相似度的过程实际上是对语音识别结果与关键词列表进行匹配的过程，即利用关键词列表捕捉语音识别结果中的错误输出片段的过程。
在步骤S105中，优选，从语音识别结果的开头进行匹配，直到对所有识别结果完成匹配。另外，为了节约计算量，也可以只对语音识别结果中的语言模型得分低于第2阈值的片段和关键词列表进行匹配。语音识别结果的片段的语言模型得分可以基于与该片段相关的词的语言模型得分计算，而语音识别结果的词的语言模型得分是语音识别结果中已有的数据。
图3示出了对语音识别结果和关键词列表进行匹配的一个实例。
如图3所示，语音识别结果“高强度{gao1qiang2du4,LMS1}茶{cha2,LMS2}果{guo3,LMS3}制作{zhi4zuo4,LMS4}”包括4个词、每个词的语言模型得分LMS和每个词的每个字的拼音和音调。关键词列表“关键词_1{PinYin_1}，...叉管{cha1guan3}，...关键词_N{PinYin_N}”包括N个关键词和每个关键词的每个字的拼音和音调。
在图3所示的实例中，将第2个词“茶{cha2,LMS2}”和第3个词“果{guo3,LMS3}”组合成一个片段，并将关键词列表中的每个关键词分别与语音识别结果的3个片段进行匹配，求出每个关键词与每个片段之间的发音相似度。
在该实例中，尽管示出了对于所有的关键词，都将第2个词“茶{cha2,LMS2}”和第3个词“果{guo3,LMS3}”组合成一个片段，但是本实施方式并不限于此，也可以针对每个关键词，对语音识别结果中的相邻的多个词或相邻的多个字进行组合。
下面以“高强度茶果制作”和“叉管”为例说明匹配方法。
语音识别结果：高强度茶果制作
待匹配的关键词：叉管
一种匹配方法是词一级别的模糊匹配：
待匹配片断将是一个或多个邻近词，至少包括了下面几种相似度计算:
茶<->叉管
茶果<->叉管
茶果制作<->叉管
果制作<->叉管
高强度茶果制作<->叉管
...
另一种匹配方法是字一级别的模糊匹配：
待匹配片断将是一个或多个邻近字，需要匹配的种类要比第一种情况多，至少包括了下面几种相似度计算:
强度<->叉管
度<->叉管
度茶<->叉管
茶<->叉管
茶果<->叉管
果制<->叉管
高强度茶果制作<->叉管
...
上述匹配方法的具体算法优选使用动态规划算法，可以有效降低算法的消耗时间。
在本实施方式中，片段和关键词之间的发音相似度是指二者的发音的相似程度，其优选通过二者的声学距离进行计算。如果二者的声学距离越小，则二者的相似程度越高。声学距离的计算将在下文中结合附图进行详细描述。
接着，在步骤S110，在片段和关键词的发音相似度高于第1阈值的情况下，将片段替换为关键词。
在本实施方式中，第1阈值和第2阈值可以根据实际需要进行设置，本实施方式对此没有任何限制。
下面结合图2至图4详细说明本发明的用于优化语音识别结果的方法的一个优选实施例。
如图2所述，在步骤S201，与步骤S101相同，接收语音识别结果10。
接着，在步骤S205，计算语音识别结果10中的片段和关键词列表20中的关键词之间的平均声学距离。
在本实施例中，声学距离的计算是比较语音识别结果10中的片段的音素序列和关键词音素序列的差异，优选通过音素混淆矩阵来加权每一个音素对之间的声学距离。音素是发音的基本单元，对中文而言，音素可以是拼音，也可以把拼音再拆为声母(Initial)和韵母(Final)，甚至把复韵母再细拆为各单韵母。一般情况下声母加韵母的音素划分对本实施方式的方法已非常精确。音素混淆矩阵是根据对识别结果的统计所得到的反映各音素彼此之间易混淆程度的定量描述，即为一种从语音识别角度对声学相似度的描述。两个发音比较类似的音素之间声学距离较近，比如“in”和“ing”发音比较类似，“in”被误识别成“ing”或者“ing”被误识别成“in”的概率都很大，所以当输出片段和关键词的音素序列中出现这种发音差异时，其对声学距离的贡献较小。反之两个发音差异较大的音素之间的声学距离也较大。
由于中文是带调语言，在计算声学距离时可再加入对音调序列的比较，且优选使用音调混淆矩阵进行加权。
在本实施方式中，音素序列的声学距离和音调序列的声学距离，优选通过一定权重相加，例如将两者的权重分别设为w和1-w。若只考虑计算音素序列的声学距离，则其对应于w＝1的情况。进而，语音识别结果的片段和关键词之间的声学距离再除以关键词的字的个数、音节的个数或音素的个数，得到单个字、单个音节或者单个音素的平均声学距离。
下面结合图4详细描述计算平均声学距离的过程。
如图4所述，以片段“茶{cha2}果{guo3}”和关键词“叉管{cha1guan3}”为例进行描述。
第一，基于片段“茶{cha2}果{guo3}”的音素序列“ch,a,g,uo”和关键词“叉管{cha1guan3}”的音素序列“ch,a,g,uan”计算二者的音素声学距离，在计算过程中，利用音素混淆矩阵对每个音素对之间的声学距离进行加权。
第二，基于片段“茶{cha2}果{guo3}”的音调序列“2,3”和关键词“叉管{cha1guan3}”的音调序列“1,3”计算二者的音调声学距离，在计算过程中，利用音调混淆矩阵对每个音调对之间的声学距离进行加权。
第三，将音素声学距离和音调声学距离的权重分别设为w和1-w，计算二者的加权平均值，作为上述片段和关键词之间的声学距离，
第四，将上述片段和关键词之间的声学距离再除以关键词的字数‘2’、音节数‘2’或音素数‘4’，得到单个字、单个音节或者单个音素的平均声学距离。
返回图2，接着，在步骤S210，对步骤S205计算得到的平均声学距离与第1阈值TH1进行比较，在平均声学距离小于TH1的情况下，进入步骤S215，否则，进入步骤S225。
在步骤S215，对片段“茶{cha2}果{guo3}”的语言模型得分与第2阈值进行比较。片段“茶{cha2}果{guo3}”的语言模型得分基于片段中的词“茶{cha2}”的语音模型得分LMS3和词“果{guo3}”的语音模型得分LMS4，例如将二者的乘积作为该片段的语音模型得分。
在步骤S215，在语言模型得分小于TH2的情况下，进入步骤S220，否则，进入步骤S225。
在步骤S220，将片段“茶{cha2}果{guo3}”替换为关键词“叉管{cha1guan3}”。在步骤S225，保留片段“茶{cha2}果{guo3}”而不进行替换。
本实施方式的用于优化语音识别结果的方法，通过关键词列表20对语音识别结果10中被错误识别的关键词进行优化，能够提高语音识别结果的质量，改善语音识别系统，尤其是会议支援系统的性能。本实施方式的方法不涉及对语音识别引擎的修改，功能实现非常容易，计算量非常小，使用方便，添加或更改关键词只需修改对应的关键词列表文件。
本实施方式的方法优选仅对语言模型得分低的片段进行替换，能够提高替换的正确率。另外，由于语言模型得分是利用语音识别结果中已有的数据，因此计算量非常小。本实施方式的方法优选仅对语言模型得分低的片段进行计算，能够进一步降低计算量。本实施方式的方法优选通过字一级或词一级的处理计算声学距离，因此计算量非常小。
<用于优化语音识别结果的装置>
在同一发明构思下，图5示出了根据本发明的另一个实施方式的用于优化语音识别结果的装置的框图。下面就结合该图，对本实施例进行描述。对于那些与前面实施例相同的部分，适当省略其说明。
如图5所示，本实施例的用于优化语音识别结果的装置500包括：接收单元501，其接收语音识别结果；计算单元505，其计算上述语音识别结果中的片段和关键词列表中的关键词之间的发音相似度；以及替换单元510，其在上述发音相似度高于第1阈值的情况下，将上述片段替换为上述关键词。
在本实施方式中，接收单元501接收来自语音识别引擎的语音识别结果10。
在本实施方式中，接收单元501接收的语音识别结果10可以是利用本领域的技术人员公知的任何语音识别引擎或系统获得的结果，其可以是各种语言的语音识别结果，例如汉语、英语、日语等，本发明对此没有任何限制。
在本实施方式中，计算单元505计算语音识别结果10中的片段和关键词列表20中的关键词之间的发音相似度。
在本实施方式中，语音识别结果的片段包括语音识别结果中的词、相邻的多个词的组合或相邻的多个字的组合。
在本实施方式中，计算单元505计算发音相似度的过程实际上是对语音识别结果与关键词列表进行匹配的过程，即利用关键词列表捕捉语音识别结果中的错误输出片段的过程。
计算单元505，优选，从语音识别结果的开头进行匹配，直到对所有识别结果完成匹配。另外，为了节约计算量，也可以只对语音识别结果中的语言模型得分低于第2阈值的片段和关键词列表进行匹配。语音识别结果的片段的语言模型得分可以基于与该片段相关的词的语言模型得分计算，而语音识别结果的词的语言模型得分是语音识别结果中已有的数据。
计算单元505对语音识别结果和关键词列表进行匹配的具体实例如图3所示，具体内容与上述结合图3的描述相同，在此不再赘述。
计算单元505对语音识别结果和关键词进行匹配的方法可以使用上述步骤S105中描述的词一级别的模糊匹配方法或者字一级别的模糊匹配方法，在此不再赘述。这些匹配方法的具体算法优选使用动态规划算法，可以有效降低算法的消耗时间。
在本实施方式中，片段和关键词之间的发音相似度是指二者的发音的相似程度，其优选通过二者的声学距离进行计算。如果二者的声学距离越小，则二者的相似程度越高。声学距离的计算将在下文中结合附图进行详细描述。
在本实施方式中，替换单元510在片段和关键词的发音相似度高于第1阈值的情况下，将片段替换为关键词。
在本实施方式中，第1阈值和第2阈值可以根据实际需要进行设置，本实施方式对此没有任何限制。
下面详细说明本发明的用于优化语音识别结果的装置的一个优选实施例。
在本实施例中，接收单元501接收语音识别结果10。
在本实施例中，计算单元505计算语音识别结果10中的片段和关键词列表20中的关键词之间的平均声学距离。
在本实施例中，声学距离的计算是比较语音识别结果10中的片段的音素序列和关键词音素序列的差异，优选通过音素混淆矩阵来加权每一个音素对之间的声学距离。音素是发音的基本单元，对中文而言，音素可以是拼音，也可以把拼音再拆为声母(Initial)和韵母(Final)，甚至把复韵母再细拆为各单韵母。一般情况下声母加韵母的音素划分对本实施方式的方法已非常精确。音素混淆矩阵是根据对识别结果的统计所得到的反映各音素彼此之间易混淆程度的定量描述，即为一种从语音识别角度对声学相似度的描述。两个发音比较类似的音素之间声学距离较近，比如“in”和“ing”发音比较类似，“in”被误识别成“ing”或者“ing”被误识别成“in”的概率都很大，所以当输出片段和关键词的音素序列中出现这种发音差异时，其对声学距离的贡献较小。反之两个发音差异较大的音素之间的声学距离也较大。
由于中文是带调语言，在计算声学距离时可再加入对音调序列的比较，且优选使用音调混淆矩阵进行加权。
在本实施方式中，音素序列的声学距离和音调序列的声学距离，优选通过一定权重相加，例如将两者的权重分别设为w和1-w。若只考虑计算音素序列的声学距离，则其对应于w＝1的情况。进而，语音识别结果的片段和关键词之间的声学距离再除以关键词的字的个数、音节的个数或音素的个数，得到单个字、单个音节或者单个音素的平均声学距离。
下面以片段“茶{cha2}果{guo3}”和关键词“叉管{cha1guan3}”为例对计算单元505计算平均声学距离的过程进行描述。
第一，基于片段“茶{cha2}果{guo3}”的音素序列“ch,a,g,uo”和关键词“叉管{cha1guan3}”的音素序列“ch,a,g,uan”计算二者的音素声学距离，在计算过程中，利用音素混淆矩阵对每个音素对之间的声学距离进行加权。
第二，基于片段“茶{cha2}果{guo3}”的音调序列“2,3”和关键词“叉管{cha1guan3}”的音调序列“1,3”计算二者的音调声学距离，在计算过程中，利用音调混淆矩阵对每个音调对之间的声学距离进行加权。
第三，将音素声学距离和音调声学距离的权重分别设为w和1-w，计算二者的加权平均值，作为上述片段和关键词之间的声学距离，
第四，将上述片段和关键词之间的声学距离再除以关键词的字数‘2’、音节数‘2’或音素数‘4’，得到单个字、单个音节或单个音素的平均声学距离。
在本实施例中，还包括比较单元，其对计算单元505计算得到的平均声学距离与第1阈值TH1进行比较，在平均声学距离小于TH1的情况下，比较单元继续对片段“茶{cha2}果{guo3}”的语言模型得分与第2阈值进行比较。片段“茶{cha2}果{guo3}”的语言模型得分基于片段中的词“茶{cha2}”的语音模型得分LMS3和词“果{guo3}”的语音模型得分LMS4，例如将二者的乘积作为该片段的语音模型得分。
在语言模型得分小于TH2的情况下，替换单元510将片段“茶{cha2}果{guo3}”替换为关键词“叉管{cha1guan3}”。在平均声学距离大于等于TH1或者语言模型得分大于等于TH2的情况下，替换单元510不进行替换而保留片段“茶{cha2}果{guo3}”。
本实施方式的用于优化语音识别结果的装置，通过关键词列表20对语音识别结果10中被错误识别的关键词进行优化，能够提高语音识别结果的质量，改善语音识别系统，尤其是会议支援系统的性能。本实施方式的装置不涉及对语音识别引擎的修改，功能实现非常容易，计算量非常小，使用方便，添加或更改关键词只需修改对应的关键词列表文件。
本实施方式的装置优选仅对语言模型得分低的片段进行替换，能够提高替换的正确率。另外，由于语言模型得分是利用语音识别结果中已有的数据，因此计算量非常小。本实施方式的装置优选仅对语言模型得分低的片段进行计算，能够进一步降低计算量。本实施方式的装置优选通过字一级或词一级的处理计算声学距离，因此计算量非常小。
本领域的普通技术人员可以理解上述的方法和装置可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD－ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本实施例的方法和装置也可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以由上述硬件电路和软件的结合例如固件来实现。
虽然以上结合具体实施例对本发明的用于优化语音识别结果的方法和装置进行了详细描述，但本发明并不限于此，本领域普通技术人员能够理解可以对本发明进行多种变换、替换和修改而不偏离本发明的精神和范围；本发明的保护范围由所附权利要求来限定。
Claims (5)
1.一种用于优化语音识别结果的装置，包括：
接收单元，其从语音识别引擎接收语音识别结果；
计算单元，其计算上述语音识别结果中的片段的音素序列和关键词列表中的关键词的音素序列之间的音素声学距离，计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离，计算上述音素声学距离和上述音调声学距离的加权平均值，计算将上述加权平均值除以上述关键词的字数、音节数或音素数而得的平均声学距离，基于上述片段中的每个词的语言模型得分来计算上述片段的语言模型得分；以及
替换单元，其在上述平均声学距离低于第1阈值且上述语言模型得分低于第2阈值的情况下，将上述片段替换为上述关键词。
2.根据权利要求1所述的装置，其中，
上述计算单元，计算上述语音识别结果中的语言模型得分低于上述第2阈值的片段和上述关键词列表中的关键词之间的平均声学距离。
3.根据权利要求1所述的装置，其中，
上述计算单元，利用音素混淆矩阵作为权重来计算上述片段的音素序列和上述关键词的音素序列之间的音素声学距离。
4.根据权利要求1所述的装置，其中，
上述计算单元，利用音调混淆矩阵作为权重计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离。
5.一种用于优化语音识别结果的方法，包括以下步骤：
从语音识别引擎接收语音识别结果；
计算上述语音识别结果中的片段的音素序列和关键词列表中的关键词的音素序列之间的音素声学距离；
计算上述片段的音调序列和上述关键词的音调序列之间的音调声学距离；
计算上述音素声学距离和上述音调声学距离的加权平均值；
计算平均声学距离，上述平均声学距离通过上述加权平均值除以上述关键词的字数、音节数或音素数来获取；
基于上述片段中的每个词的语言模型得分来计算上述片段的语言模型得分；以及
在上述平均声学距离低于第1阈值且上述语言模型得分低于第2阈值的情况下，将上述片段替换为上述关键词。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410602377.4A CN105632499B (zh) | 2014-10-31 | 2014-10-31 | 用于优化语音识别结果的方法和装置 |
| US14/748,474 US9672817B2 (en) | 2014-10-31 | 2015-06-24 | Method and apparatus for optimizing a speech recognition result |
| JP2015211710A JP6204959B2 (ja) | 2014-10-31 | 2015-10-28 | 音声認識結果最適化装置、音声認識結果最適化方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410602377.4A CN105632499B (zh) | 2014-10-31 | 2014-10-31 | 用于优化语音识别结果的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105632499A CN105632499A (zh) | 2016-06-01 |
| CN105632499B true CN105632499B (zh) | 2019-12-10 |
Family
ID=55853359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410602377.4A Active CN105632499B (zh) | 2014-10-31 | 2014-10-31 | 用于优化语音识别结果的方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9672817B2 (zh) |
| JP (1) | JP6204959B2 (zh) |
| CN (1) | CN105632499B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10134388B1 (en) * | 2015-12-23 | 2018-11-20 | Amazon Technologies, Inc. | Word generation for speech recognition |
| CN106205613B (zh) * | 2016-07-22 | 2019-09-06 | 广州市迈图信息科技有限公司 | 一种导航语音识别方法及系统 |
| CN106297797B (zh) * | 2016-07-26 | 2019-05-31 | 百度在线网络技术（北京）有限公司 | 语音识别结果纠错方法和装置 |
| CN106710592B (zh) * | 2016-12-29 | 2021-05-18 | 北京奇虎科技有限公司 | 一种智能硬件设备中的语音识别纠错方法和装置 |
| JP6812843B2 (ja) * | 2017-02-23 | 2021-01-13 | 富士通株式会社 | 音声認識用コンピュータプログラム、音声認識装置及び音声認識方法 |
| CN107293299A (zh) * | 2017-06-16 | 2017-10-24 | 朱明增 | 一种提高调度员查找图纸效率的语音识别定位系统 |
| CN109785842B (zh) * | 2017-11-14 | 2023-09-05 | 蔚来(安徽)控股有限公司 | 语音识别纠错方法以及语音识别纠错系统 |
| US10546062B2 (en) * | 2017-11-15 | 2020-01-28 | International Business Machines Corporation | Phonetic patterns for fuzzy matching in natural language processing |
| CN107993653A (zh) * | 2017-11-30 | 2018-05-04 | 南京云游智能科技有限公司 | 语音识别设备的错误发音自动纠正更新方法和更新系统 |
| CN109961791B (zh) * | 2017-12-22 | 2021-10-22 | 北京搜狗科技发展有限公司 | 一种语音信息处理方法、装置及电子设备 |
| US11250840B1 (en) * | 2018-04-09 | 2022-02-15 | Perceive Corporation | Machine-trained network detecting context-sensitive wake expressions for a digital assistant |
| JP2019211599A (ja) * | 2018-06-04 | 2019-12-12 | 本田技研工業株式会社 | 音声認識装置、音声認識方法およびプログラム |
| CN108777142A (zh) * | 2018-06-05 | 2018-11-09 | 上海木木机器人技术有限公司 | 一种基于机场环境的语音交互识别方法及语音交互机器人 |
| JP6763527B2 (ja) * | 2018-08-24 | 2020-09-30 | ソプラ株式会社 | 認識結果補正装置、認識結果補正方法、およびプログラム |
| US10811003B2 (en) * | 2018-10-31 | 2020-10-20 | International Business Machines Corporation | Language phonetic processing based on fine-grained mapping of phonetic components |
| CN110111778B (zh) * | 2019-04-30 | 2021-11-12 | 北京大米科技有限公司 | 一种语音处理方法、装置、存储介质及电子设备 |
| KR20210029354A (ko) * | 2019-09-06 | 2021-03-16 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| CN110544477A (zh) * | 2019-09-29 | 2019-12-06 | 北京声智科技有限公司 | 一种语音识别方法、装置、设备及介质 |
| CN111554297B (zh) | 2020-05-15 | 2023-08-22 | 阿波罗智联(北京)科技有限公司 | 语音识别方法、装置、设备及可读存储介质 |
| CN111723204B (zh) * | 2020-06-15 | 2021-04-02 | 龙马智芯（珠海横琴）科技有限公司 | 语音质检区域的校正方法、装置、校正设备及存储介质 |
| CN113053362A (zh) * | 2021-03-30 | 2021-06-29 | 建信金融科技有限责任公司 | 语音识别的方法、装置、设备和计算机可读介质 |
| CN113593579B (zh) * | 2021-07-23 | 2024-04-30 | 马上消费金融股份有限公司 | 一种声纹识别方法、装置和电子设备 |
| CN114927128A (zh) * | 2022-04-21 | 2022-08-19 | 清华大学 | 语音关键词的检测方法、装置、电子设备及可读存储介质 |
| CN114927135B (zh) * | 2022-07-22 | 2022-12-13 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979638A (zh) * | 2005-12-02 | 2007-06-13 | 中国科学院自动化研究所 | 一种语音识别结果纠错方法 |
| CN101447185A (zh) * | 2008-12-08 | 2009-06-03 | 深圳市北科瑞声科技有限公司 | 一种基于内容的音频快速分类方法 |
| CN101785051A (zh) * | 2007-08-22 | 2010-07-21 | 日本电气株式会社 | 语音识别装置和语音识别方法 |
| CN104036774A (zh) * | 2014-06-20 | 2014-09-10 | 国家计算机网络与信息安全管理中心 | 藏语方言识别方法及系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04235630A (ja) * | 1990-07-30 | 1992-08-24 | Ronald L Colier | 可聴コマンドでコンピュータのプログラミングを行うための方法及び装置 |
| JP3581752B2 (ja) * | 1995-10-09 | 2004-10-27 | 株式会社リコー | 音声認識装置及び音声認識方法 |
| JP3126945B2 (ja) | 1997-10-30 | 2001-01-22 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 文字誤り校正装置 |
| US7120582B1 (en) | 1999-09-07 | 2006-10-10 | Dragon Systems, Inc. | Expanding an effective vocabulary of a speech recognition system |
| US7418386B2 (en) | 2001-04-03 | 2008-08-26 | Intel Corporation | Method, apparatus and system for building a compact language model for large vocabulary continuous speech recognition (LVCSR) system |
| JP4171323B2 (ja) | 2003-02-27 | 2008-10-22 | 日本電信電話株式会社 | 認識誤り訂正方法、装置、およびプログラム |
| JP2005084436A (ja) | 2003-09-09 | 2005-03-31 | Advanced Telecommunication Research Institute International | 音声認識装置及びコンピュータプログラム |
| JP4595415B2 (ja) | 2004-07-14 | 2010-12-08 | 日本電気株式会社 | 音声検索システムおよび方法ならびにプログラム |
| KR100717385B1 (ko) * | 2006-02-09 | 2007-05-11 | 삼성전자주식회사 | 인식 후보의 사전적 거리를 이용한 인식 신뢰도 측정 방법및 인식 신뢰도 측정 시스템 |
| JP2008064885A (ja) * | 2006-09-05 | 2008-03-21 | Honda Motor Co Ltd | 音声認識装置、音声認識方法、及び音声認識プログラム |
| US8457946B2 (en) | 2007-04-26 | 2013-06-04 | Microsoft Corporation | Recognition architecture for generating Asian characters |
| JP5308786B2 (ja) | 2008-11-20 | 2013-10-09 | Ｋｄｄｉ株式会社 | 文書データ検索装置 |
| JP4966324B2 (ja) | 2009-01-19 | 2012-07-04 | 株式会社東芝 | 音声翻訳装置、および方法 |
| JP5148671B2 (ja) | 2010-09-15 | 2013-02-20 | 株式会社エヌ・ティ・ティ・ドコモ | 音声認識結果出力装置、音声認識結果出力方法、及び音声認識結果出力プログラム |
| KR20120066530A (ko) | 2010-12-14 | 2012-06-22 | 한국전자통신연구원 | 언어 모델 가중치 추정 방법 및 이를 위한 장치 |
| TWI441163B (zh) | 2011-05-10 | 2014-06-11 | Univ Nat Chiao Tung | 中文語音辨識裝置及其辨識方法 |
| CN103544140A (zh) * | 2012-07-12 | 2014-01-29 | 国际商业机器公司 | 一种数据处理方法、展示方法和相应的装置 |
-
2014
- 2014-10-31 CN CN201410602377.4A patent/CN105632499B/zh active Active
-
2015
- 2015-06-24 US US14/748,474 patent/US9672817B2/en active Active
- 2015-10-28 JP JP2015211710A patent/JP6204959B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979638A (zh) * | 2005-12-02 | 2007-06-13 | 中国科学院自动化研究所 | 一种语音识别结果纠错方法 |
| CN101785051A (zh) * | 2007-08-22 | 2010-07-21 | 日本电气株式会社 | 语音识别装置和语音识别方法 |
| CN101447185A (zh) * | 2008-12-08 | 2009-06-03 | 深圳市北科瑞声科技有限公司 | 一种基于内容的音频快速分类方法 |
| CN104036774A (zh) * | 2014-06-20 | 2014-09-10 | 国家计算机网络与信息安全管理中心 | 藏语方言识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6204959B2 (ja) | 2017-09-27 |
| CN105632499A (zh) | 2016-06-01 |
| US9672817B2 (en) | 2017-06-06 |
| US20160125874A1 (en) | 2016-05-05 |
| JP2016091028A (ja) | 2016-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105632499B (zh) | 用于优化语音识别结果的方法和装置 | |
| US10152971B2 (en) | System and method for advanced turn-taking for interactive spoken dialog systems | |
| CN110675855B (zh) | 一种语音识别方法、电子设备及计算机可读存储介质 | |
| Schuster et al. | Japanese and korean voice search | |
| US11282513B2 (en) | Negative n-gram biasing | |
| CN103971685B (zh) | 语音命令识别方法和系统 | |
| US20180137109A1 (en) | Methodology for automatic multilingual speech recognition | |
| EP1575030A1 (en) | New-word pronunciation learning using a pronunciation graph | |
| Wester | Pronunciation modeling for ASR–knowledge-based and data-derived methods | |
| Aleksic et al. | Improved recognition of contact names in voice commands | |
| WO2018009351A1 (en) | Follow-up voice query prediction | |
| US9135912B1 (en) | Updating phonetic dictionaries | |
| US20170032781A1 (en) | Collaborative language model biasing | |
| WO2018192186A1 (zh) | 语音识别方法及装置 | |
| JP2007041319A (ja) | 音声認識装置および音声認識方法 | |
| CN110473527B (zh) | 一种语音识别的方法和系统 | |
| KR20130126570A (ko) | 핵심어에서의 음소 오류 결과를 고려한 음향 모델 변별 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN113053414A (zh) | 一种发音评测方法及装置 | |
| CN118202405A (zh) | 用于语音识别系统中的一元语法的无监督发现的方法和系统 | |
| KR20050101695A (ko) | 인식 결과를 이용한 통계적인 음성 인식 시스템 및 그 방법 | |
| CN114023327B (zh) | 基于语音识别的文本修正方法、装置、设备及介质 | |
| JP6199994B2 (ja) | コンテキスト情報を使用した音声認識システムにおける誤警報低減 | |
| Wang et al. | Optimization of spoken term detection system | |
| Siu et al. | Improved named entity extraction from conversational speech with language model adaptation | |
| Scharenborg et al. | A two-pass approach for handling out-of-vocabulary words in a large vocabulary recognition task |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |