CN113223495A - 一种基于语音识别的异常检测方法及装置 - Google Patents
一种基于语音识别的异常检测方法及装置 Download PDFInfo
- Publication number
- CN113223495A CN113223495A CN202110445990.XA CN202110445990A CN113223495A CN 113223495 A CN113223495 A CN 113223495A CN 202110445990 A CN202110445990 A CN 202110445990A CN 113223495 A CN113223495 A CN 113223495A
- Authority
- CN
- China
- Prior art keywords
- path
- audio data
- determining
- recognition
- search space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 230000005856 abnormality Effects 0.000 claims abstract description 47
- 238000002372 labelling Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种基于语音识别的异常检测方法及装置，可先获取识别错误的音频数据及其在全局搜索空间中的错误识别路径。之后，根据该音频数据的标注结果，确定该音频数据对应的音素序列，以基于该音素序列，确定该音频数据的局部搜索空间，并从该局部搜索空间中确定该音频数据的正确识别路径。最后，结合该音频数据的错误识别路径以及正确识别路径，确定语音识别产生异常的原因类型。通过比较同一音频数据的错误识别路径以及正确识别路径，从而定位语音识别异常的原因，提高了语音识别异常检测的效率，降低了人为归因的成本。
Description
技术领域
本申请涉及语音识别技术领域，尤其涉及一种基于语音识别的异常检测方法及装置。
背景技术
语音识别是将人的语音信号转换为文字的过程，随着人工智能技术的发展，语音识别也广泛应用于各个领域，如，智能机器人等。
图1为语音识别原理的基本框架图，在语音识别过程中，具体的，可先对待识别的语音段进行预处理，得到该语音段中每帧语音的音频特征。之后，将该语音段对应的音频特征序列，输入语音识别的解码器中进行解码，得到该语音段的识别结果。其中，解码的过程就是从全局搜索空间中找寻最优路径的过程，而该全局搜索空间是预先基于声学模型、语言模型以及发音词典构建的。
但是实际的语音识别过程中，并非所有语音段都能得到正确识别，往往还存在部分识别出错的语音段。而对于识别出错的语音段，则需要对该语音段进行分析，确定识别出错的原因，以调试优化解码器。
目前在分析语音段识别出错的原因时，往往由研发人员根据经验分析，准确度以及效率均较低，且人力成本较高。因此如何高效准确的确定语音段识别出错的原因，成为亟待解决的问题。
发明内容
本说明书实施例提供一种基于语音识别的异常检测方法及装置，用于部分解决现有技术中的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种基于语音识别的异常检测方法，包括：
获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径；
确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列；
根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径；
根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
可选地，根据所述标注结果，确定所述音频数据对应的标注音素序列，具体包括：
根据所述标注结果，以及发音词典中各音素与各词语的映射关系，确定所述音频数据对应的音素序列。
可选地，根据所述音素序列，确定所述音频数据的局部搜索空间，具体包括：
根据所述音素序列中各音素的排列顺序，以及预设的若干静音单元，确定所述音频数据的若干待选识别路径；
根据确定出的若干待选识别路径，确定所述音频数据的局部搜索空间。
可选地，确定所述音频数据在所述局部搜索空间中的识别路径，具体包括：
获取所述音频数据通过声学模型得到的匹配结果；
根据所述匹配结果，确定所述音频数据在所述局部搜索空间中的识别路径。
可选地，所述音频数据通过声学模型得到的匹配结果采用以下方式确定：
针对所述音频数据包含的每帧音频，确定该帧音频的音频特征；
将该帧音频的音频特征输入声学模型中，确定所述声学模型输出的匹配结果；
其中，所述匹配结果包含该帧音频与各声学建模单元的匹配概率。
可选地，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型，具体包括：
根据所述错误识别路径的声学总得分以及所述正确识别路径的声学总得分，确定语音识别产生异常是否为声学模型异常；和/或
根据所述错误识别路径的语言总得分以及所述正确识别路径的语言总得分，确定语音识别产生异常是否为语言模型异常。
可选地，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型，具体包括：
根据所述错误识别路径中每个状态节点的声学得分，以及所述正确识别路径中每个状态节点的声学得分，确定语音识别产生异常的状态节点；和/或
根据所述错误识别路径中每个词语对应的语言得分，以及所述正确识别路径中每个词语对应的语言得分，确定语音识别产生异常的词语。
本说明书提供一种基于语音识别的异常检测装置，包括：
获取模块，获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径；
标注模块，确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列；
确定模块，根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径；
检测模块，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于语音识别的异常检测方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于语音识别的异常检测方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书中，可先获取识别错误的音频数据及其在全局搜索空间中的错误识别路径。之后，根据该音频数据的标注结果，确定该音频数据对应的音素序列，以基于该音素序列，确定该音频数据的局部搜索空间，并从该局部搜索空间中确定该音频数据的正确识别路径。最后，结合该音频数据的错误识别路径以及正确识别路径，确定语音识别产生异常的原因类型。通过比较同一音频数据的错误识别路径以及正确识别路径，从而定位语音识别异常的原因，提高了语音识别异常检测的效率，降低了人为归因的成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种语音识别原理的基本框架图；
图2为本说明书实施例提供的一种基于语音识别的异常检测方法的流程示意图；
图3为本说明书实施例提供的一种FST网络的示意图；
图4为本说明书实施例提供的一种基于语音识别的异常检测装置的结构示意图；
图5为本说明书实施例提供的实现基于语音识别的异常检测方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
基于上述存在的技术问题，本说明书提供一种基于语音识别的异常检测方法，如图2所示。
图2为本说明书实施例提供的一种基于语音识别的异常检测方法的流程示意图，具体可包括以下步骤：
S100：获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径。
一般的，在语音识别过程中，首先，需要对待识别的音频数据进行预处理，确定该音频数据包含的若干帧音频。之后，针对该音频数据包含的每帧音频，提取该帧音频的音频特征，并通过声学模型确定该帧音频与各声学建模单元的匹配概率。最后，依次根据各帧音频与各声学建模单元的匹配概率，从预先构建的全局搜索空间中，确定对应各帧音频的状态节点，以基于各状态节点，确定该音频数据对应的识别路径。其中，该音频特征可以是梅尔频率倒谱系数(Mel-frequency cepstral coefficients，MFCC)，也可以是滤波器网络(Filter Banks，FBANK)，声学建模单元可以是隐马尔可夫(Hidden Markov Model，HMM)状态，也可以是音素或字符等，本说明书对此不做限制，具体可根据需要设置。该全局搜索空间为预先基于声学模型、发音词典以及语言模型构建的一个包含所有词序列的解码网络。
而在进行语音识别时，难免出现语音识别错误的情况。如，将“我要出发”误识别为“我要触发”，导致识别错误。本说明书提供的异常检测方法，可确定该音频数据识别错误的路径，并与得到正确识别结果的路径进行比较，从而定位语音识别产生异常的原因类型。于是在本说明书中，可先获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，并将该识别路径作为错误识别路径。
S102：确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列。
在本说明书实施例中，当通过步骤S100确定出该音频数据及错误识别路径后，还需确定该音频数据的正确识别路径，以通过后续步骤进行路径比较，确定语音识别产生异常的原因。
具体的，可通过人工识别该音频数据对应的文字，并根据人工识别的文字对该音频数据进行标注，确定该音频数据的标注结果。之后，根据该标注结果，以及发音词典中各音素与各词语的映射关系，确定该音频数据对应的音素序列。其中，发音词典通常为语言专家预先构建的，其中包含有各音素与各词语的映射关系。
例如，当确定该音频数据的标注结果为“发生重度拥堵”时，可根据该标注结果，以及发音词典中各音素与各词语的映射关系中，确定该音频数据对应的音素序列有“f a sheng zh ong d u y ong d u”以及“f a sh eng ch ong d u y ong d u”。其中，由于“重”为多音字，因此对应有两个不同的音素。
S104：根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径。
在本说明书实施例中，导致语音识别出错的原因是在全局搜索空间中匹配到了错误的状态节点，从而导致确定的识别路径出错。于是本说明书在确定该音频数据的正确识别路径时，可通过缩小搜索空间的范围的方式，提高解码的准确性，将该音频数据的识别结果限制在正确的识别路径上来。
具体的，可根据该音素序列中各音素的排列顺序，以及预设的若干静音单元，确定该音频数据的若干待选识别路径。之后，根据若干待选识别路径，确定该音频数据的局部搜索空间。最后，根据该音频数据通过声学模型得到的匹配结果，从该局部搜索空间中确定对应的状态节点，并根据该局部搜索空间中对应的各状态节点，确定该音频数据在该局部搜索空间中的识别路径，作为正确识别路径。
进一步的，在确定该音频数据的局部搜索空间时，可根据该音频数据中每帧音频可能对应的音素以及静音单元，确定有限状态转换器(Finite State Transducers，FST)网络，该FST网络中包含有若干状态节点，各状态节点之间通过转移边连接。该FST网络即为该音频数据的局部搜索空间，该音频数据对应的正确识别路径存在于该FST网络中。
更进一步的，在确定该音频数据通过声学模型得到的匹配结果时，可针对该音频数据包含的每帧音频，确定该帧音频的音频特征。之后，将该帧音频的音频特征输入声学模型中，确定该声学模型输出的匹配结果。其中，该匹配结果包含该帧音频与各声学建模单元的匹配概率。
需要说明的是，由于每个人说话的语速不同、停顿不同，因此在不同的音频数据中的不同位置可能存在不同时长的静音单元。于是在该搜索空间中，还需包含有静音节点，以根据各帧音频与各声学建模单元的匹配概率，确定属于静音的各帧音频。
图3为本说明书实施例提供的一种FST网络示意图，在图3中，各圆圈表示状态节点，各圆圈内的数字为状态节点的标识，各圆圈之间连接的单向箭头表示状态节点之间的转移边，各转移边上标注有对应的音素，若当前帧音频特征与该转移边上的音素匹配时，可通过该转移边转移至下一状态节点。其中，标有数字0的圆圈表示开始节点，标有数字20的同心圆表示结束节点，sil表示静音单元。
在基于该FST网络确定该音频数据的正确识别路径时，可根据声学模型确定出的各帧音频数据与各声学建模单元的匹配概率，以及语言模型确定出的若干帧音频对应的词语组成语句的语言概率，依次从该FST网络中确定匹配的各状态节点，以基于该匹配的各状态节点，确定识别路径。具体的，当处于初始节点时，可根据该音频数据中的第一帧音频与各声学建模单元的匹配概率，从该局部搜索空间中确定转移的下一状态节点。若该帧音频与sil匹配概率较大时，可确定转移的下一状态节点为1，若该帧音频与发音f匹配概率较大时，可确定转移的下一状态节点为2。其中，由于仅根据第一帧音频无法确定对应的词语，此时的语言模型并未输出语言概率。
之后以此类推，逐一针对输入的每帧音频，根据该帧音频与各声学建模单元的匹配概率，以及若干帧音频对应的词语组成语句的语言概率，从该FST网络中，确定对应的状态节点，并根据确定出的各状态节点，确定该音频数据在该FST网络中的识别路径。
S106：根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
在本说明书实施例中，当确定出同一音频数据的错误识别路径与正确识别路径后，便可对两者进行比较，以定位语音识别异常的原因。
在从搜索空间中确定识别路径时，是根据各路径的路径得分，从中确定得分最高的路径，作为该音频数据在该搜索空间中的识别路径。每个路径对应的路径得分包含通过声学模型得到的声学得分与通过语言模型得到的语言得分之和。其中，声学模型输出的声学得分是各帧音频与各声学建模单元的匹配概率。语言模型输出的语言得分是若干帧音频对应的词组成语句的概率。
于是在本说明书中进行路径比较时，具体的，可根据该错误识别路径的声学总得分以及该正确识别路径的声学总得分，确定该声学总得分的差值。之后，判断该声学总得分的差值是否超出第一预设阈值，当该声学总得分的差值超出第一预设阈值时，可确定是由于声学模型异常导致的语音识别产生异常。
或者，也可根据该错误识别路径的语言总得分以及该正确识别路径的语言总得分，确定该语言总得分的差值。之后，判断该语言总得分的差值是否超出第二预设阈值，当该语言总得分的差值超出第二预设阈值时，可确定是由于语言模型异常导致的语音识别产生异常。
当然，也可以结合该错误识别路径与该正确识别路径的声学总得分以及语言总得分，检测语言模型以及声学模型是否发生异常。
另外，在本说明书其它实施例中，为了进一步精确定位语言识别异常的原因，还可根据该错误识别路径中每个状态节点的声学得分，以及该正确识别路径中每个状态节点的声学得分，判断各状态节点的声学得分的差值是否超出第三预设阈值，若超出第三预设阈值，则确定该状态节点产生异常，否则，则表明该状态节点正常。并根据产生异常的状态节点，检测是否由于声学模型中的声学建模单元异常，导致语音识别产生异常。
或者，也可根据该错误识别路径中每个词语对应的语言得分，以及该正确识别路径中每个词语对应的语言得分，判断各词语对应的语言得分的差值是否超出第四预设阈值，若超出则表明该词语识别出现异常，并根据产生异常的词语，检测是否由于语言模型中的语言建模单元异常，导致语音识别产生异常。
当然，也可以结合该错误识别路径与该正确识别路径中各状态节点的声学得分以及各词语对应的语言得分，检测语言模型的语言建模单元以及声学模型的声学建模单元是否发生异常。
上述第一预设阈值、第二预设阈值、第三预设阈值以及第四预设阈值可以设置为相同数值，也可设置为不同数值，具体可根据需要设置，本说明书对此不做限制。
基于图2所示的异常检测方法，可先获取识别错误的音频数据及其在全局搜索空间中的错误识别路径。之后，根据该音频数据的标注结果，确定该音频数据对应的音素序列，以基于该音素序列，确定该音频数据的局部搜索空间，并从该局部搜索空间中确定该音频数据的正确识别路径。最后，结合该音频数据的错误识别路径以及正确识别路径，确定语音识别产生异常的原因类型。通过比较同一音频数据的错误识别路径以及正确识别路径，定位语音识别异常的原因，提高了语音识别异常检测的效率，降低了人为分析的成本。
在本说明书实施例中，若确定出错误识别路径的声学得分以及语言得分，均与正确识别路径的声学得分和语言得分相近，则可确定并非声学模型和语言模型出现异常，而是由其它原因类型导致的语音识别异常。其中，该其它原因类型包括但不限于是解码器裁剪引入导致的误识别。
基于图2所示的一种基于语音识别的异常检测方法，本说明书实施例还对应提供一种基于语音识别的异常检测装置的结构示意图，如图4所示。
图4为本说明书实施例提供的一种基于语音识别的异常检测装置的结构示意图，包括：
获取模块200，获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径；
标注模块202，确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列；
确定模块204，根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径；
检测模块206，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
可选地，所述标注模块202具体用于，根据所述标注结果，以及发音词典中各音素与各词语的映射关系，确定所述音频数据对应的音素序列。
可选地，所述确定模块204具体用于，根据所述音素序列中各音素的排列顺序，以及预设的若干静音单元，确定所述音频数据的若干待选识别路径，根据确定出的若干待选识别路径，确定所述音频数据的局部搜索空间。
可选地，所述确定模块204具体用于，获取所述音频数据通过声学模型得到的匹配结果，根据所述匹配结果，确定所述音频数据在所述局部搜索空间中的识别路径。
可选地，所述确定模块204具体用于，针对所述音频数据包含的每帧音频，确定该帧音频的音频特征，将该帧音频的音频特征输入声学模型中，确定所述声学模型输出的匹配结果，其中，所述匹配结果包含该帧音频与各声学建模单元的匹配概率。
可选地，所述检测模块206具体用于，根据所述错误识别路径的声学总得分以及所述正确识别路径的声学总得分，确定语音识别产生异常是否为声学模型异常，和/或根据所述错误识别路径的语言总得分以及所述正确识别路径的语言总得分，确定语音识别产生异常是否为语言模型异常。
可选地，所述检测模块206具体用于，根据所述错误识别路径中每个状态节点的声学得分，以及所述正确识别路径中每个状态节点的声学得分，确定语音识别产生异常的状态节点，和/或根据所述错误识别路径中每个词语对应的语言得分，以及所述正确识别路径中每个词语对应的语言得分，确定语音识别产生异常的词语。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图2提供的基于语音识别的异常检测方法。
根据图2所示的一种基于语音识别的异常检测方法，本说明书实施例还提出了图5所示的电子设备的示意结构图。如图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2所示的基于语音识别的异常检测方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和生成专用的集成电路芯片。而且，如今，取代手工地生成集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于语音识别的异常检测方法，其特征在于，包括：
获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径；
确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列；
根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径；
根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
2.如权利要求1所述的方法，其特征在于，根据所述标注结果，确定所述音频数据对应的标注音素序列，具体包括：
根据所述标注结果，以及发音词典中各音素与各词语的映射关系，确定所述音频数据对应的音素序列。
3.如权利要求1所述的方法，其特征在于，根据所述音素序列，确定所述音频数据的局部搜索空间，具体包括：
根据所述音素序列中各音素的排列顺序，以及预设的若干静音单元，确定所述音频数据的若干待选识别路径；
根据确定出的若干待选识别路径，确定所述音频数据的局部搜索空间。
4.如权利要求1所述的方法，其特征在于，确定所述音频数据在所述局部搜索空间中的识别路径，具体包括：
获取所述音频数据通过声学模型得到的匹配结果；
根据所述匹配结果，确定所述音频数据在所述局部搜索空间中的识别路径。
5.如权利要求4所述的方法，其特征在于，所述音频数据通过声学模型得到的匹配结果采用以下方式确定：
针对所述音频数据包含的每帧音频，确定该帧音频的音频特征；
将该帧音频的音频特征输入声学模型中，确定所述声学模型输出的匹配结果；
其中，所述匹配结果包含该帧音频与各声学建模单元的匹配概率。
6.如权利要求1所述的方法，其特征在于，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型，具体包括：
根据所述错误识别路径的声学总得分以及所述正确识别路径的声学总得分，确定语音识别产生异常是否为声学模型异常；和/或
根据所述错误识别路径的语言总得分以及所述正确识别路径的语言总得分，确定语音识别产生异常是否为语言模型异常。
7.如权利要求1所述的方法，其特征在于，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型，具体包括：
根据所述错误识别路径中每个状态节点的声学得分，以及所述正确识别路径中每个状态节点的声学得分，确定语音识别产生异常的状态节点；和/或
根据所述错误识别路径中每个词语对应的语言得分，以及所述正确识别路径中每个词语对应的语言得分，确定语音识别产生异常的词语。
8.一种基于语音识别的异常检测装置，其特征在于，包括：
获取模块，获取识别错误的音频数据及其在全局搜索空间中确定的识别路径，作为错误识别路径；
标注模块，确定所述音频数据的标注结果，并根据所述标注结果，确定所述音频数据对应的音素序列；
确定模块，根据所述音素序列，确定所述音频数据的局部搜索空间，并确定所述音频数据在所述局部搜索空间中的识别路径，作为正确识别路径；
检测模块，根据所述错误识别路径以及所述正确识别路径，确定语音识别产生异常的原因类型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110445990.XA CN113223495B (zh) | 2021-04-25 | 2021-04-25 | 一种基于语音识别的异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110445990.XA CN113223495B (zh) | 2021-04-25 | 2021-04-25 | 一种基于语音识别的异常检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223495A true CN113223495A (zh) | 2021-08-06 |
| CN113223495B CN113223495B (zh) | 2022-08-26 |
Family
ID=77088619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110445990.XA Active CN113223495B (zh) | 2021-04-25 | 2021-04-25 | 一种基于语音识别的异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223495B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08171396A (ja) * | 1994-12-20 | 1996-07-02 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 音声認識装置 |
| CN102402984A (zh) * | 2011-09-21 | 2012-04-04 | 哈尔滨工业大学 | 基于置信度的关键词检出系统裁剪方法 |
| CN108682415A (zh) * | 2018-05-23 | 2018-10-19 | 广州视源电子科技股份有限公司 | 语音搜索方法、装置和系统 |
| CN110808032A (zh) * | 2019-09-20 | 2020-02-18 | 平安科技（深圳）有限公司 | 一种语音识别方法、装置、计算机设备及存储介质 |
| CN111862959A (zh) * | 2020-08-07 | 2020-10-30 | 广州视琨电子科技有限公司 | 发音错误检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-25 CN CN202110445990.XA patent/CN113223495B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08171396A (ja) * | 1994-12-20 | 1996-07-02 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 音声認識装置 |
| CN102402984A (zh) * | 2011-09-21 | 2012-04-04 | 哈尔滨工业大学 | 基于置信度的关键词检出系统裁剪方法 |
| CN108682415A (zh) * | 2018-05-23 | 2018-10-19 | 广州视源电子科技股份有限公司 | 语音搜索方法、装置和系统 |
| CN110808032A (zh) * | 2019-09-20 | 2020-02-18 | 平安科技（深圳）有限公司 | 一种语音识别方法、装置、计算机设备及存储介质 |
| CN111862959A (zh) * | 2020-08-07 | 2020-10-30 | 广州视琨电子科技有限公司 | 发音错误检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 付跃文等: "多预测子融合实时连续语音识别输出词正误判别", 《中文信息学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223495B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11164566B2 (en) | Dialect-specific acoustic language modeling and speech recognition | |
| CN106683677B (zh) | 语音识别方法及装置 | |
| JP6131537B2 (ja) | 音声認識システム、音声認識プログラム、記録媒体及び音声認識方法 | |
| US8818813B2 (en) | Methods and system for grammar fitness evaluation as speech recognition error predictor | |
| US8069042B2 (en) | Using child directed speech to bootstrap a model based speech segmentation and recognition system | |
| JP2019215513A (ja) | 音声区間の検出方法および装置 | |
| CN111797632B (zh) | 信息处理方法、装置及电子设备 | |
| US20090112595A1 (en) | Discriminative training of multi-state barge-in models for speech processing | |
| CN112331206A (zh) | 语音识别方法及设备 | |
| CN112331229B (zh) | 语音检测方法、装置、介质和计算设备 | |
| US20030009331A1 (en) | Grammars for speech recognition | |
| US11132998B2 (en) | Voice recognition device and voice recognition method | |
| Hu et al. | Phoneme-based contextualization for cross-lingual speech recognition in end-to-end models | |
| CN113887227A (zh) | 一种模型训练与实体识别方法及装置 | |
| CN111128174A (zh) | 一种语音信息的处理方法、装置、设备及介质 | |
| CN111862960B (zh) | 发音错误检测方法、装置、电子设备及存储介质 | |
| Fujimura et al. | Simultaneous speech recognition and acoustic event detection using an LSTM-CTC acoustic model and a WFST decoder | |
| Braun et al. | A comparison of methods for oov-word recognition on a new public dataset | |
| CN113223495B (zh) | 一种基于语音识别的异常检测方法及装置 | |
| US20040034519A1 (en) | Dynamic language models for speech recognition | |
| CN112259084A (zh) | 语音识别方法、装置和存储介质 | |
| CN111862958A (zh) | 发音插入错误检测方法、装置、电子设备及存储介质 | |
| CN113053415B (zh) | 一种连读的检测方法、装置、设备及存储介质 | |
| CN115620706A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
| Švec et al. | Semantic entity detection from multiple ASR hypotheses within the WFST framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |