CN115527520A - 异常检测方法、装置、电子设备和计算机可读存储介质 - Google Patents
异常检测方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115527520A CN115527520A CN202211000156.0A CN202211000156A CN115527520A CN 115527520 A CN115527520 A CN 115527520A CN 202211000156 A CN202211000156 A CN 202211000156A CN 115527520 A CN115527520 A CN 115527520A
- Authority
- CN
- China
- Prior art keywords
- voice recognition
- text
- voice
- word
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 230000002159 abnormal effect Effects 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000005856 abnormality Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000002372 labelling Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 13
- 238000013518 transcription Methods 0.000 abstract description 30
- 230000035897 transcription Effects 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229940037201 oris Drugs 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
Abstract
本公开提供一种异常检测方法、装置以及电子设备和计算机可读存储介质，涉及语音识别技术领域。该异常检测方法包括：获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息；对语音识别文本进行语义特征提取，以获得识别文本语义特征；对语音识别模型信息进行特征提取，以获得语音识别模型特征；将识别文本语义特征和语音识别模型特征融合，以获得异常衡量特征；通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。本公开实施例可以准确的确定根据语音数据转录形成的语音识别文本是否正确。
Description
技术领域
本公开涉及语音识别技术领域，尤其涉及一种异常检测方法及装置、电子设备和计算机可读存储介质。
背景技术
由于语音数据口语化严重或者语音数据中包含多种方言、特殊领域词汇、新词汇等，所以通过语音识别模型进行的语音数据的文本转录可能会出错。检测这些转录错误，既可以及时纠正语音识别文本的错误，避免对文本转录下游任务带来影响；还可以对语音识别模型进行优化。因此，语音数据的文本转录异常识别对于语音数据的识别来说，具有重大的意义。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种异常检测方法、装置、电子设备以及计算机可读存储介质，可以通过异常检测模型对语音识别文本对应的异常衡量特征进行处理，以便确定通过语音识别模型对语音数据进行的文本转录是否正确。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供了一种异常检测方法，包括：获取语音识别文本，所述语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，所述语音识别模型在对所述语音数据进行语音识别的过程中输出语音识别模型信息；对所述语音识别文本进行语义特征提取，以获得识别文本语义特征；对所述语音识别模型信息进行特征提取，以获得语音识别模型特征；将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征；通过异常检测模型对所述异常衡量特征进行处理，以确定将所述语音数据识别为所述语音识别文本的识别效果。
在一些实施例中，对所述语音识别文本进行语义特征提取，以获得识别文本语义特征，包括：确定所述语音识别文本中的每个字或词的状态信息，所述状态信息包括当前状态信息、在先状态信息和在后状态信息；根据所述语音识别文本中的各个字或词的状态信息，确定所述语音识别文本的字特征信息；对所述语音识别文本进行特征提取，确定所述语音识别文本的句子特征信息；根据所述字特征信息和所述句子特征信息生成所述识别文本语义特征。
在一些实施例中，所述语音识别文本包括目标字或目标词；其中，确定所述语音识别文本中的每个字或词的状态信息，所述状态信息包括当前状态信息、在先状态信息和在后状态信息，包括：根据所述目标字或目标词在所述语音识别文本中的前n-1个字或词确定所述目标字或目标词的在先状态信息；根据所述目标字或目标词在所述语音识别文本中的前(n-1)/2个字或词和后(n-1)/2个字或词确定所述目标字或目标词的当前状态信息；根据所述目标字或目标词在所述语音识别文本中的后n-1个字或词确定所述目标字或目标词的在后状态信息，n为大于或者等于1的整数。
在一些实施例中，在获取语音识别文本之前，所述方法还包括：通过所述语音识别模型对所述语音数据进行语音识别处理，以确定多个待选文本，其中每个待选文本分别对应一个后验概率；确定后验概率最大的待选文本，作为所述语音识别文本。
在一些实施例中，所述语音识别模型信息包括所述多个待选文本中的最大后验概率、所述待选文本中的次大后验概率、各个字或词的持续帧、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距；其中，对所述语音识别模型信息进行特征提取，以获得语音识别模型特征，包括：根据所述最大后验概率、所述次大后验概率、各个字或词的持续帧长、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距生成所述语音识别模型特征。
在一些实施例中，所述方法还包括：对所述语音数据和所述语音识别文本进行处理，以确定所述语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度；根据所述语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度生成语音质量特征；其中，将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征，包括：将所述识别文本语义特征、所述语音识别模型特征和所述语音质量特征融合，以获得所述异常衡量特征。
在一些实施例中，通过异常检测模型对所述异常衡量特征进行处理，以确定所述语音识别模型将所述语音数据转录为所述语音识别文本的识别效果，包括：通过异常检测模型对所述异常衡量特征进行处理，以确定异常预测序列，所述异常预测序列用于表示所述语音识别文本中的字或词是否转录正确；获取异常标注序列，所述异常标注序列用于标注所述语音识别文本中字或词是否转录正确；通过所述异常标注序列和所述异常预测序列对所述异常检测模型进行训练。
在一些实施例中，获取异常标注序列，包括：获取所述语音数据对应的标注文本；将所述标注文本与所述语音识别文本对齐；根据对齐后的标注文本和对齐后的语音识别文本生成所述异常标注序列。
在一些实施例中，确定将所述语音数据识别为所述语音识别文本的识别效果，包括：根据所述异常预测序列确定所述语音识别文本中转录不正确的字和词的比例；若所述比例超过目标阈值，则确定所述语音识别文本转录异常。
本公开实施例提供了一种异常检测装置，包括：语音识别文本获取模块、语义特征提取模块、语音识别模型特征获取模块、融合模块和异常判断模块。
其中，所述语音识别文本获取模块用于获取语音识别文本，所述语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，所述语音识别模型在对所述语音数据进行语音识别的过程中输出语音识别模型信息；所述语义特征提取模块可以用于对所述语音识别文本进行语义特征提取，以获得识别文本语义特征；所述语音识别模型特征获取模块可以用于对所述语音识别模型信息进行特征提取，以获得语音识别模型特征；所述融合模块可以用于将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征；所述异常判断模块可以用于通过异常检测模型对所述异常衡量特征进行处理，以确定将所述语音数据识别为所述语音识别文本的识别效果。
本公开实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器调用所述存储器存储的所述程序指令，用于实现上述任一项所述的异常检测方法。
本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一项所述的异常检测方法。
本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述异常检测方法。
本公开实施例提供的异常检测方法、装置及电子设备和计算机可读存储介质，一方面，可以通过异常检测模型对语音识别文本对应的异常衡量特征进行处理，以便确定通过语音识别模型对语音数据进行的文本转录是否正常；另一方面，上述异常衡量特征既融合了语音识别文本的语义特征，又融合了语音识别模型对语义数据进行文本转录时产生的语音识别模型特征，使得文本转录异常判断结果更加准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用于本公开实施例的异常检测方法或异常检测装置的示例性系统架构的示意图。
图2是根据一示例性实施例示出的一种异常检测方法的流程图。
图3是根据一示例性实施例示出的一种识别文本语义特征确定方法的流程图。
图4是根据一示例性实施例示出的一种状态信息确定方法的示意图。
图5是根据一示例性实施例示出的异常检测方法的流程图。
图6是根据一示例性实施例示出的一种异常检测模型训练方法的流程图。
图7是根据一示例性实施例示出的一种异常检测方法的流程图。
图8是根据一示例性实施例示出的一种异常检测装置的框图。
图9示出了适于用来实现本公开实施例的的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本申请的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的异常检测方法或异常检测装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等，本公开对此不做限制。
服务器105可例如获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息；服务器105可例如对语音识别文本进行语义特征提取，以获得识别文本语义特征；服务器105可例如对语音识别模型信息进行特征提取，以获得语音识别模型特征；服务器105可例如将识别文本语义特征和语音识别模型特征融合，以获得异常衡量特征；服务器105可例如通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
图2是根据一示例性实施例示出的一种异常检测方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
参照图2，本公开实施例提供的异常检测方法可以包括以下步骤。
步骤S202，获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息。
其中，语音识别模型可以是端到端语音识别模型，例如可以是CTC(Connectionisttemporal classification，一种用于解决输入和输出序列长度不一、无法对齐的问题)算法与深度神经网络搭建的模型，本申请对语音识别模型的具体架构不做限制，本领域技术人员可以根据实际需求进行设置。
其中，上述语音识别模型信息可以是语音识别模型对语音数据进行语音识别的过程中输出的信息。例如，该语音识别模型信息可以包括语音识别文本相对于语音数据的后验概率，可以包括语音识别文本中的每个词或字的后验概率，可以包括每个词或字的帧间距，可以包括词(或字)和词(或字)之间的帧间距(或者时间间距)等，本申请对此不做限制。
在一些实施例中，可以通过语音识别模型对语音数据进行语音识别处理，以确定多个待选文本，其中每个待选文本分别对应一个后验概率；然后确定后验概率最大的待选文本，作为语音识别文本。
在一些实施例中，语音识别模型在进行语音转录时可以是逐字逐句地转录。在转录过程中，语音识别模型可以针对每一个位置处的文本给出多个待选字(或者词)，其中每个字(或词)可以对应一个后验概率。在一些实施例中，可以将目标位置处对应地多个待选字(或者词)中后验概率最大地字(或者词)作为该位置处地转录文本。
在一些实施例中，语音识别模型在进行语音转录时可以是逐字逐句地转录。在转录过程中，可以针对每个位置处的转录后的词或者字给出对应的帧间距、帧时长等。
步骤S204，对语音识别文本进行语义特征提取，以获得识别文本语义特征。
在一些实施例中，上述识别文本语义特征可以指的是从语义识别文本中提取的能够对语义识别文本中的相关信息进行表示的特征信息，如当前词(或字)和在先词(或字)之间的状态信息，如当前词(或字)和在后词(或字)之间的状态信息等，本公开对此不做限制。
步骤S206，对语音识别模型信息进行特征提取，以获得语音识别模型特征。
其中，语义识别模型特征可以包括语音识别模型对语音数据进行语音识别过程中的相关信息，例如语音识别文本中每个词或字的后验概率、或者每个词或字的持续帧长或者词(或字)与词(或字)之间的帧间距等。
在一些实施例中，语音识别模型信息可以包括多个待选文本中的最大后验概率、待选文本中的次大后验概率、待选文本中的各个字或字对应的最大后验概率、次最大后验概率、各个字或词的持续帧、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距
在一些实施例中，可以根据语音识别文本对应的最大后验概率、次大后验概率、各个字或词的持续帧长、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距生成语音识别模型特征。
在一些实施例中，可以根据各个字或词对应的最大后验概率、次大后验概率、各个字或词的持续帧长、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距生成语音识别模型特征。
步骤S208，将识别文本语义特征和语音识别模型特征融合，以获得异常衡量特征。
步骤S210，通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。
在一些实施例中，可以通过异常检测模型对异常衡量特征进行处理以获得一异常预测序列，其中异常预测序列中可以包括多个值，每个值用来预测相应位置处的词或字是否转录异常。
在一些实施例中，可以根据异常预测序列确定语音识别文本中转录不正确的字和词的比例；若比例超过目标阈值，则确定语音识别文本转录异常。
上述实施例，一方面，可以通过异常检测模型对语音识别文本对应的异常衡量特征进行处理，以便确定通过语音识别模型对语音数据进行的文本转录是否正常；另一方面，上述异常衡量特征既融合了语音识别文本的语义特征，又融合了语音识别模型对语义数据进行文本转录获得语音识别文本过程中的语音识别模型特征，使得文本转录异常判断结果更加准确。
图3是根据一示例性实施例示出的一种识别文本语义特征确定方法的流程图。
参考图3，上述识别文本语义特征确定方法可以包括以下步骤。
步骤S302，确定语音识别文本中的每个字或词的状态信息，状态信息包括当前状态信息、在先状态信息和在后状态信息。
在一些实施例中，语音识别文本中可以包括目标字或目标词。下面将以目标词或字为例解释如何确定每个词(或字)的状态信息。
如图4所示，可以根据目标字或目标词(如图4中的“天”)在语音识别文本中的前n-1个字或词(如图4中“说”和“今”)确定目标字或目标词的在先状态信息(Previous state)。
例如，可以使用n-gram语言模型对目标词(或者目标字)与前n-1个词(或字)共同计算得到目标词(或者目标字)的在先状态信息(Previousstate)。
如图4所示，根据目标字或目标词(如图4中的“天”)在语音识别文本中的前(n-1)/2个字或词(如图4中的“今”)和后(n-1)/2个字或词(如图4中的第二个“天”)确定目标字或目标词的当前状态信息。
例如，可以使用n-gram语言模型对目标词(或者目标字)与前n-1/2与后n-1/2个词(或字)共同计算得到目标词(或者目标字)的当前状态信息(Current state)。
如图4，可以根据目标字或目标词(如图4中的“天”在语音识别文本中的后n-1个字或词(如图4中的“天气”)确定目标字或目标词的在后状态信息，n为大于或者等于1的整数。
例如，可以使用n-gram语言模型对目标词(或者目标字)与后n-1个词(或字)共同计算得到目标词(或者目标字)的在后状态信息(nextstate)。
上述n可以为3、5、7……等奇数。
其中，上述n-gram可以是通过语音数据所在数据领域的文本数据进行训练获得的。例如，上述语音数据可以是运营商领域语音数据，那么就可以使用运营商领域文本数据对n-gram语言模型进行建模。
步骤S304，根据语音识别文本中的各个字或词的状态信息，确定语音识别文本的字特征信息。
在一些实施例中，可以将语音识别文本中每个字或每个词的当前状态信息、在先状态信息和在后状态信息拼接，以作为该字或者词的字特征信息。
步骤S306，对语音识别文本进行特征提取，确定语音识别文本的句子特征信息。
在一些实施例中，可以通过语言模型提取语音识别文本中的文本特征。
在一些实施例中，可以使用通用域训练语言模型提取语音识别文本中的文本特征。
步骤S308，根据字特征信息和句子特征信息生成识别文本语义特征。
通过上述方法，既可以通过语音数据所在领域的n-gram提取出语音识别文本中每个词(或字)的各个状态信息，又可以通过通用域训练语言模型对语音识别文本的整体文本特征进行提取，使得通过字特征信息和句子特征信息生成的识别文本语义特征既可以从微观上表达每个字的特征信息又可以从宏观上表达文本特征信息，使得语音识别文本语义特征信息包含的信息更加丰富，从而使得异常识别效果更加准确。
图5是根据一示例性实施例示出的异常检测方法的流程图。
参考图5，上述异常检测方法可以包括以下步骤。
步骤S502，获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息。
步骤S504，对语音识别文本进行语义特征提取，以获得识别文本语义特征。
步骤S506，对语音识别模型信息进行特征提取，以获得语音识别模型特征。
步骤S508，对语音数据和语音识别文本进行处理，以确定语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度。
步骤S510，根据语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度生成语音质量特征。
步骤S512，将识别文本语义特征、语音识别模型特征和语音质量特征融合，以获得异常衡量特征。。
步骤S514，通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。
上述实施例，一方面，可以通过异常检测模型对语音识别文本对应的异常衡量特征进行处理，以便确定通过语音识别模型对语音数据进行的文本转录是否正常；另一方面，上述异常衡量特征既融合了语音识别文本的语义特征，又融合了语音识别模型对语义数据进行文本转录获得语音识别文本过程中的语音识别模型特征，还融合了语音数据的音频长度、识别文本长度、语音能量和语音速度等，使得文本转录异常判断结果更加准确。
图6是根据一示例性实施例示出的一种异常检测模型训练方法的流程图。
参考图6，上述异常检测模型训练方法可以包括以下步骤。
步骤S602，通过异常检测模型对异常衡量特征进行处理，以确定异常预测序列，异常预测序列用于表示语音识别文本中的字或词是否转录正确。
步骤S604，获取异常标注序列，异常标注序列用于标注语音识别文本中字或词是否转录正确。
其中，获取异常标注序列可以包括以下步骤：获取语音数据对应的标注文本；将标注文本与语音识别文本对齐；根据对齐后的标注文本和对齐后的语音识别文本生成异常标注序列。
步骤S606，通过异常标注序列和异常预测序列对异常检测模型进行训练。
通过上述实施例，可以将预先标注的标注文本异常标注序列和使用异常预测模型对语音识别文件进行预测的异常预测序列进行比较，以实现对异常预测模型的训练，从而提高异常预测模型的预测准确率。
在相关技术中，深度神经网络模型(例如端到端深度神经网络模型)在语音识别任务中取得了优异的效果，并且赋能于产业界的各种应用，在客服场景下对文本进行转录辅助客服人员进行智慧服务就是其应用场景之一。尽管当前前沿的语音识别模型的准确率达到了良好的效果，但相比于普通的文本转录任务而言，场景更为复杂、客户群体更加多样的客服场景的文本转录任务则遇见了一个不可避免的困难：线上海量多样的无标注语音数据的识别效果是不可评估的，线上语音识别任务的异常可能会对下游任务带来不可挽回的损失。客服场景下的文本转录任务可能由于遇见包含多种方言、口语化严重、特殊领域词汇、新词汇等各种突发异常情况导致模型的识别效果变差，检测这些异常导致的转录错误不论对及时纠正文本错误避免对下游任务带来影响还是对语音识别模型的优化而言，都具有重大的意义。
对于当前的语音识别模型来说，文本转录的异常检测方式可以分为以下两类：
1)语音识别模型方面：直接使用语音识别输出结果的后验概率作为置信度估计分数，对于分数过低的转录结果判定为识别错误，此种方式由于过度依赖语音识别模型的性能而导致结果不能得到很好的检测。
2)识别文本方面：对语音识别模型输出的句子使用语言模型进行语义层面的估计，求得句子困惑度等分数，再采用阈值进行判定是否含有异常，此种方式由于只采用了语义层面的信息而导致评估效果不能得到保证。
为了解决上述技术问题，本申请提出了一下技术方案。
如图7所示，本申请提出的技术方案主要分为三阶段：语音识别、异常情况融合特征提取、异常检测模块。
其整体流程图如下图7所示，首先，端到端语音识别模型对语音数据进行识别，其后，针对语音识别过程与结果，本申请所提出的三个特征提取器分别提取语音质量特征、识别文本语义特征、语音识别模型特征，将以上特征提取器的结果融合形成异常衡量特征，最终在异常检测模块建立基于双向GRU神经网络的异常情况检测模型对语音识别异常情况进行预测。
阶段一：语音识别
(1)选取当前主流的端到端语音识别模型、对语音数据进行识别得到识别文本，针对每一段语音时间长度为T的音频[t1,t2,…tT]可以得到对应的长度为n的识别文本[c1,c2,…cn]。其中，端到端语音识别模型为基于CTC算法与深度神经网络搭建的模型，在此，不对语音识别模型的相关内部结构进行详细描述，本申请直接选取训练完成的冻结模型进行语音识别。对于每一帧音频，其基于以下识别公式(1)求得字典Y中的概率最大的字符c，并基于CTC算法得到最终的文本序列[c1,c2,…cn]。
P(c)＝max(P(y|x))) (1)
(2)若每一段语音音频的标注文本长度为L，设其为[c1’,c2’,…cL’]，则将其与以上语音识别文本进行对齐可以得到长度为d的异常标注序列[x1,x2,…xd]。对于每一个标注文本与识别文本，若相同则x为0，否则为1，其中，文本中的插入字符错误与替换字符错误以空白进行替换，故d为n与L中的较大值。
阶段二：异常情况融合特征提取
异常情况融合特征提取分为三个部分：语音质量特征提取、识别文本语义特征提取、语音识别模型特征提取。
(1)语音质量特征提取：对每一条识别语音计算语音音频长度、语音识别文本长度、语音能量、语音速度。将每一条语音的语音质量特征进行合并得到特征矩阵ai。
(2)识别文本语义特征提取：使用运营商领域文本数据对n-gram语言模型建模，其后，针对每一条运营商领域语音的识别文本，基于n-gram语言模型计算current state(当前状态信息)、previous state(在先状态信息)、next state(在后状态信息)。
Previous state计算方式为使用n-gram语言模型对当前识别文本与前n-1个文本共同计算得到。Current state基于当前文本与前n-1/2与后n-1/2个文本计算得到,nextstate基于当前文本与后n-1个文本计算得到，n通常取值3或者5。采用通用领域预训练语言模型提取文本特征，并将其与以上语义特征进行合并得到语义特征矩阵ei。
(3)端到端语音识别模型相关特征提取：对于每一条语音音频的识别文本储存以下语音识别模型相关信息：
1、最大后验概率：代表了模型对于每一帧音频在候选集中选择结果的确信程度。
2、次大后验概率：候选集中的第二名，可以反映模型对于结果的困惑程度。
3、持续帧长：每一个识别文本(字)所包含帧数量。
4、与上一个识别字或词之间的帧间距：CTC算法解码时会将相同文本帧合并，该指标可以用来衡量CTC算法效果。
5、与下一个字或词之间的帧间距。
6、每一段语音最后得到模型特征矩阵mi。
(4)可以参考公式(2)对以上特征矩阵进行进一步融合，对于不同语音获得三种特征权重更合理的异常衡量融合特征表达x’，融合特征计算方式可以通过对不同类型特征设置超参权重得到：
x’＝αai+βei+γmi (2)
阶段三：异常检测模块
在本阶段，基于以上提取的语音质量特征、识别文本语义特征、语音识别模型特征建立基于双向GRU神经网络的异常检测编码-解码器，预测语音识别文本中的异常情况。
建立语音识别异常检测编码-解码器：为了进一步融合阶段二中所得多源融合特征，基于双向GRU神经网络建立编码器，其后，使用全连接神经网络作为解码器预测异常概率。
其中，双向GRU神经网络描述为公式(3)～公式(4)：
其中，ei为阶段二中所得多源融合特征，
或者
是双向GRU神经网络中的参数。解码器基于以下公式对异常情况进行预测：
Pi＝P(yi＝1|X)＝σ(Whi+b) (6)
其中，识别文本的概率越接近1表示异常概率越大。
基于阶段一所得异常检测模型标注数据进行模型训练，获得异常检测模型，设定合适的阈值，对于异常检测模型输出的概率大于阈值的线上数据判定为含有异常。
本申请基于双向GRU神经网络与多源特征融合技术，面向复杂运营商场景，提出了一种语音识别的异常情况自动检测算法，其创新性的提出了语音识别整个流水线过程中的语音质量、语音识别模型、识别文本多层次特征构建方式，形成多源融合特征并建立异常情况检测模块，从而自动检测语音识别错误文本，解决了当前线上语音识别模型对于无标注语音数据识别效果无法评估的问题，避免异常识别对下游任务带来负面影响，同时，可以进一步根据检测结果反馈优化语音识别模型的效果与缺点。
本申请所阐明的方法可以用于语音识别模型对自身识别效果进行评估以及检测语音识别模型的识别异常。
本申请针对包含多方言、多用户群体等因素的复杂运营商场景下的语音识别的异常检测问题，提出了一种基于双向GRU与多源特征融合的语音识别异常自动检测算法。其创新性的提出了通过利用语音所包含的语音质量、环境影响等多层次信息、识别文本所包含的语义信息、语音识别模型中包含的识别效果相关信息，生成异常情况融合特征，并构建基于双向GRU神经网络的异常检测编码器-解码器，从而对语音识别结果的异常情况进行自动化预测。
基于同一发明构思，本公开实施例中还提供了一种异常检测装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图8是根据一示例性实施例示出的一种异常检测装置的框图。参照图8，本公开实施例提供的异常检测装置800可以包括：语音识别文本获取模块801、语义特征提取模块802、语音识别模型特征获取模块803、融合模块804和异常判断模块805。
其中，语音识别文本获取模块801可以用于获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息；语义特征提取模块802可以用于对语音识别文本进行语义特征提取，以获得识别文本语义特征；语音识别模型特征获取模块803可以用于对语音识别模型信息进行特征提取，以获得语音识别模型特征；融合模块804可以用于将识别文本语义特征和语音识别模型特征融合，以获得异常衡量特征；异常判断模块805可以用于通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。
此处需要说明的是，上述语音识别文本获取模块801、语义特征提取模块802、语音识别模型特征获取模块803、融合模块804和异常判断模块805对应于方法实施例中的S202～S210，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，语义特征提取模块802可以包括：状态信息确定单元、字特征信息确定单元、句子特征信息确定单元和识别文本语义特征确定单元。
其中，状态信息确定单元可以用于确定语音识别文本中的每个字或词的状态信息，状态信息包括当前状态信息、在先状态信息和在后状态信息；字特征信息确定单元可以用于根据语音识别文本中的各个字或词的状态信息，确定语音识别文本的字特征信息；句子特征信息确定单元可以用于对语音识别文本进行特征提取，确定语音识别文本的句子特征信息；识别文本语义特征确定单元可以用于根据字特征信息和句子特征信息生成识别文本语义特征。
在一些实施例中，语音识别文本包括目标字或目标词；其中，状态信息确定单元可以包括：在先状态信息确定字单元、当前状态信息确定子单元和在后状态信息确定子单元。
其中，在先状态信息确定字单元可以用于根据目标字或目标词在语音识别文本中的前n-1个字或词确定目标字或目标词的在先状态信息；当前状态信息确定子单元可以用于根据目标字或目标词在语音识别文本中的前(n-1)/2个字或词和后(n-1)/2个字或词确定目标字或目标词的当前状态信息；在后状态信息确定子单元可以用于根据目标字或目标词在语音识别文本中的后n-1个字或词确定目标字或目标词的在后状态信息，n为大于或者等于1的整数。
在一些实施例中，异常检测装置可以包括后验概率确定模块和语音识别文本确定模块。
其中，后验概率确定模块可以用于在获取语音识别文本之前，通过语音识别模型对语音数据进行语音识别处理，以确定多个待选文本，其中每个待选文本分别对应一个后验概率；语音识别文本确定模块可以用于确定后验概率最大的待选文本，作为语音识别文本。
在一些实施例中，语音识别模型信息包括多个待选文本中的最大后验概率、待选文本中的次大后验概率、各个字或词的持续帧、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距；其中，语音识别模型特征获取模块803可以包括：语音识别模型特征。
其中，语音识别模型特征可以用于根据最大后验概率、次大后验概率、各个字或词的持续帧长、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距生成语音识别模型特征。
在一些实施例中，异常检测装置还可以包括：语音质量确定模块和特征融合模块。
其中，语音质量确定模块可以用于对语音数据和语音识别文本进行处理，以确定语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度；特征融合模块可以用于根据语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度生成语音质量特征；融合模块804还可以用于将识别文本语义特征、语音识别模型特征和语音质量特征融合，以获得异常衡量特征。
在一些实施例中，异常判断模块805可以包括：异常预测序列确定单元、异常标注序列获取单元和训练单元。
其中，异常预测序列确定单元可以用于通过异常检测模型对异常衡量特征进行处理，以确定异常预测序列，异常预测序列用于表示语音识别文本中的字或词是否转录正确；异常标准序列获取单元可以用于获取异常标注序列，异常标注序列用于标注语音识别文本中字或词是否转录正确；训练单元可以用于通过异常标注序列和异常预测序列对异常检测模型进行训练。
在一些实施例中，异常标准序列获取单元可以包括：标准文本获取子单元、对齐子单元和异常标注序列获取子单元。
其中，标准文本获取子单元可以用于获取语音数据对应的标注文本；对齐子单元可以用于将标注文本与语音识别文本对齐；异常标注序列获取子单元可以用于根据对齐后的标注文本和对齐后的语音识别文本生成异常标注序列。
在一些实施例中，异常判断模块805可以包括：比例确定单元和转录异常判断单元。
其中，比例确定单元可以用于根据异常预测序列确定语音识别文本中转录不正确的字和词的比例；转录异常判断单元可以用于若比例超过目标阈值，则确定语音识别文本转录异常。
由于装置800的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
描述于本申请实施例中所涉及到的模块和/或单元和/或子单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元和/或子单元也可以设置在处理器中。其中，这些模块和/或单元和/或子单元的名称在某种情况下并不构成对该模块和/或单元和/或子单元本身的限定。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
图9示出了适于用来实现本公开实施例的的电子设备的结构示意图。需要说明的是，图9示出的电子设备900仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从储存部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的储存部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分908。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取语音识别文本，语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，语音识别模型在对语音数据进行语音识别的过程中输出语音识别模型信息；对语音识别文本进行语义特征提取，以获得识别文本语义特征；对语音识别模型信息进行特征提取，以获得语音识别模型特征；将识别文本语义特征和语音识别模型特征融合，以获得异常衡量特征；通过异常检测模型对异常衡量特征进行处理，以确定将语音数据识别为语音识别文本的识别效果。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例的各种可选实现方式中提供的方法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本公开实施例的方法，例如图2、图3、图5～图7中的一个或多个所示的步骤。
本领域技术人员在考虑说明书及实践在这里公开的公开后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (12)
1.一种异常检测方法，其特征在于，包括：
获取语音识别文本，所述语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，所述语音识别模型在对所述语音数据进行语音识别的过程中输出语音识别模型信息；
对所述语音识别文本进行语义特征提取，以获得识别文本语义特征；
对所述语音识别模型信息进行特征提取，以获得语音识别模型特征；
将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征；
通过异常检测模型对所述异常衡量特征进行处理，以确定将所述语音数据识别为所述语音识别文本的识别效果。
2.根据权利要求1所述方法，其特征在于，对所述语音识别文本进行语义特征提取，以获得识别文本语义特征，包括：
确定所述语音识别文本中的每个字或词的状态信息，所述状态信息包括当前状态信息、在先状态信息和在后状态信息；
根据所述语音识别文本中的各个字或词的状态信息，确定所述语音识别文本的字特征信息；
对所述语音识别文本进行特征提取，确定所述语音识别文本的句子特征信息；
根据所述字特征信息和所述句子特征信息生成所述识别文本语义特征。
3.根据权利要求2所述方法，其特征在于，所述语音识别文本包括目标字或目标词；其中，确定所述语音识别文本中的每个字或词的状态信息，所述状态信息包括当前状态信息、在先状态信息和在后状态信息，包括：
根据所述目标字或目标词在所述语音识别文本中的前n-1个字或词确定所述目标字或目标词的在先状态信息；
根据所述目标字或目标词在所述语音识别文本中的前(n-1)/2个字或词和后(n-1)/2个字或词确定所述目标字或目标词的当前状态信息；
根据所述目标字或目标词在所述语音识别文本中的后n-1个字或词确定所述目标字或目标词的在后状态信息，n为大于或者等于1的整数。
4.根据权利要求1所述方法，其特征在于，在获取语音识别文本之前，所述方法还包括：
通过所述语音识别模型对所述语音数据进行语音识别处理，以确定多个待选文本，其中每个待选文本分别对应一个后验概率；
确定后验概率最大的待选文本，作为所述语音识别文本。
5.根据权利要求4所述方法，其特征在于，所述语音识别模型信息包括所述多个待选文本中的最大后验概率、所述待选文本中的次大后验概率、各个字或词的持续帧、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距；其中，对所述语音识别模型信息进行特征提取，以获得语音识别模型特征，包括：
根据所述最大后验概率、所述次大后验概率、各个字或词的持续帧长、各个字或词与上一个字或词之间的帧间距以及各个字或词与下一个字或词之间的帧间距生成所述语音识别模型特征。
6.根据权利要求1所述方法，其特征在于，所述方法还包括：
对所述语音数据和所述语音识别文本进行处理，以确定所述语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度；
根据所述语音数据的语音音频长度、语音识别文本长度、语音能量和语音速度生成语音质量特征；
其中，将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征，包括：
将所述识别文本语义特征、所述语音识别模型特征和所述语音质量特征融合，以获得所述异常衡量特征。
7.根据权利要求1所述方法，其特征在于，通过异常检测模型对所述异常衡量特征进行处理，以确定所述语音识别模型将所述语音数据转录为所述语音识别文本的识别效果，包括：
通过异常检测模型对所述异常衡量特征进行处理，以确定异常预测序列，所述异常预测序列用于表示所述语音识别文本中的字或词是否转录正确；
获取异常标注序列，所述异常标注序列用于标注所述语音识别文本中字或词是否转录正确；
通过所述异常标注序列和所述异常预测序列对所述异常检测模型进行训练。
8.根据权利要求7述方法，其特征在于，获取异常标注序列，包括：
获取所述语音数据对应的标注文本；
将所述标注文本与所述语音识别文本对齐；
根据对齐后的标注文本和对齐后的语音识别文本生成所述异常标注序列。
9.根据权利要求7所述方法，其特征在于，确定将所述语音数据识别为所述语音识别文本的识别效果，包括：
根据所述异常预测序列确定所述语音识别文本中转录不正确的字和词的比例；
若所述比例超过目标阈值，则确定所述语音识别文本转录异常。
10.一种异常检测装置，其特征在于，包括：
语音识别文本获取模块，用于获取语音识别文本，所述语音识别文本是通过语音识别模型对语音数据进行语音识别后获得的，所述语音识别模型在对所述语音数据进行语音识别的过程中输出语音识别模型信息；
语义特征提取模块，用于对所述语音识别文本进行语义特征提取，以获得识别文本语义特征；
语音识别模型特征获取模块，用于对所述语音识别模型信息进行特征提取，以获得语音识别模型特征；
融合模块，用于将所述识别文本语义特征和所述语音识别模型特征融合，以获得异常衡量特征；
异常判断模块，用于通过异常检测模型对所述异常衡量特征进行处理，以确定将所述语音数据识别为所述语音识别文本的识别效果。
11.一种电子设备，其特征在于，包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器被用于基于存储在所述存储器中的指令，执行如权利要求1-9任一项所述的异常检测方法。
12.机可读存储介质，其上存储有程序指令，该程序指令被处理器执行时实现如权利要求1-9任一所述的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211000156.0A CN115527520A (zh) | 2022-08-19 | 2022-08-19 | 异常检测方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211000156.0A CN115527520A (zh) | 2022-08-19 | 2022-08-19 | 异常检测方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115527520A true CN115527520A (zh) | 2022-12-27 |
Family
ID=84696592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211000156.0A Pending CN115527520A (zh) | 2022-08-19 | 2022-08-19 | 异常检测方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115527520A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048282A (zh) * | 2023-03-06 | 2023-05-02 | 中国医学科学院生物医学工程研究所 | 一种数据处理方法、系统、装置、设备及存储介质 |
-
2022
- 2022-08-19 CN CN202211000156.0A patent/CN115527520A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048282A (zh) * | 2023-03-06 | 2023-05-02 | 中国医学科学院生物医学工程研究所 | 一种数据处理方法、系统、装置、设备及存储介质 |
| CN116048282B (zh) * | 2023-03-06 | 2023-08-04 | 中国医学科学院生物医学工程研究所 | 一种数据处理方法、系统、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111309915B (zh) | 联合学习的自然语言训练方法、系统、设备及存储介质 | |
| CN107844481B (zh) | 识别文本检错方法及装置 | |
| WO2020082734A1 (zh) | 文本情感识别方法、装置、电子设备及计算机非易失性可读存储介质 | |
| CN111737991B (zh) | 文本断句位置的识别方法及系统、电子设备及存储介质 | |
| CN107291775B (zh) | 错误样本的修复语料生成方法和装置 | |
| CN109920431B (zh) | 用于输出信息的方法和装置 | |
| CN114416943B (zh) | 对话模型的训练方法、装置、电子设备及存储介质 | |
| CN113469298B (zh) | 模型训练方法及资源推荐方法 | |
| CN111414745A (zh) | 文本标点确定方法与装置、存储介质、电子设备 | |
| CN111027291A (zh) | 文本中标点符号添加、模型训练方法、装置及电子设备 | |
| CN113743101B (zh) | 文本纠错方法、装置、电子设备和计算机存储介质 | |
| CN113158656B (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
| CN112668333A (zh) | 命名实体的识别方法和设备、以及计算机可读存储介质 | |
| CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
| CN115527520A (zh) | 异常检测方法、装置、电子设备和计算机可读存储介质 | |
| CN113889092A (zh) | 语音识别结果的后处理模型的训练方法、处理方法及装置 | |
| CN111241843A (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN113889088B (zh) | 训练语音识别模型的方法及装置、电子设备和存储介质 | |
| CN115240712A (zh) | 一种基于多模态的情感分类方法、装置、设备及存储介质 | |
| CN114528851A (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
| CN112863493A (zh) | 语音数据标注方法和装置，电子设备 | |
| CN112906650B (zh) | 教学视频的智能处理方法、装置、设备和存储介质 | |
| CN117077656B (zh) | 论证关系挖掘方法、装置、介质及电子设备 | |
| CN116012656B (zh) | 样本图像的生成方法和图像处理模型的训练方法、装置 | |
| CN115131709B (zh) | 视频类别预测方法、视频类别预测模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |