CN109817243B - 一种基于语音识别和能量检测的语音质量检测方法和系统 - Google Patents

Abstract

本发明提供一种基于语音识别和能量检测的语音质量检测方法和系统，所述方法包括：S1、识别通话时两端语音中表征通话异常的特征词，并记录特征词出现的时刻；S2、分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的能量，将能量异常的语音段标记为异常语音段，记录所述异常语音段的起始时刻和结束时刻；S3、基于记录的所述异常语音段和所述特征词进行语音质量检测。基于语音还原技术和语义识别技术检测会话内容是否出现了表征通话语音异常中断的特征词，结合语音能量检测分析出现特征词前后一段时间对应对端相同时间段内的语音能量，若语音能量异常或为零，则确定为异常通话，对语音异常类型进行全面判定。

Description

一种基于语音识别和能量检测的语音质量检测方法和系统

技术领域

本发明涉及通信技术领域，更具体地，涉及一种基于语音识别和能量检测的语音质量检测方法和系统。

背景技术

随着通信技术的不断发展，TD-LTE(Time Division Long Term Evolution,分时长期演进)网络已经进入了人们的视野之中，在TD-LTE系统提供的众多业务中，语音业务是最基本最重要的业务，且语音业务的承载已不再是传统的电路域交换方式而是采用与数据业务相同的分组域交换方式，语音业务将通过IP网络实现。

语音通话质量可采用主观方法和客观方法来进行检测。主观方法作为一种人为检测方法,是人们凭主观的判断、通过实际通话，由人耳来感知通话质量的好坏；人类的听觉和感知语音的行为被量化后，从而得到语音质量的级别；在20世纪90年代由国际电信联盟ITU-T发布了P.800，使用MOS(平均主观评分)以规范化主观的检测语音质量的方法；利用人本身的主观感受为听到的语音的满意度进行评分，评分的基本指标是可理解程度；其中，定义了绝对种类评定值(ACR)测量方法；该方法是要求20～50人分别听完一段语音片段后根据自己的感受打出一个主观分值；测试完成后，对所有评分取平均值，这个平均主观值MOS(Mean Opinion Score)是被广泛应用的语音质量量化标准；是广泛认同的语音质量标准,虽然检测结果能够反映大多数人的质量感受,但成本太高,费时太长；客观方法则是用某个特定的参数去表征语音通过编码或传输系统后的失真程度，并以此来检测处理系统的性能优劣，其无须人力成本,检测结果较为准确,因此得到更多的研究；在客观评价方法中,PSQM、PESQ主要基于传统的电话网络,用于分析个别设备的问题,而不能反映诸如延时、抖动和丢包等数据网络特有的问题,没有考虑网络故障对用户感觉造成的影响,因此不太适合于VoIP语音质量检测。

根据上述缺点，已有改进的语音评价方法是基于传输质量中语音丢包统计，如图1所示，通过采集IP网络的RTP包，基于RTP丢包周期检测，通过统计通话在网络上一定周期内的丢包率和连续丢包数，并设定阀值门限，对每个方向上的不发送RTP的时长进行判断，来确定用户不说话时长，判断通话是单通、双不通、断续或吞字。但这种方式任然存在缺点：丢包只是传输质量差的一种表现形式，还存在错包、误包等情形；RTP丢失包并不一定包含有用的语音信息，对实际通话过程未造成实质性的影响；仅能识别部分单通情况，对于终端异常、编解码异常等情况无法发现，和实际用户感知对应差。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于语音识别和能量检测的语音质量检测方法和系统，解决了现有技术中仅能识别部分单通情况、对于终端异常、编解码异常等情况无法发现，且和实际用户感知对应差的问题。

根据本发明的一个方面，提供一种语音质量检测方法，包括：

S1、识别通话时两端语音中表征通话异常的特征词，并记录特征词出现的时刻；

S2、分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的能量，将能量异常的语音段标记为异常语音段，记录所述异常语音段的起始时刻和结束时刻；

S3、基于记录的异常语音段和特征词进行语音质量检测。

作为优选的，所述步骤S1具体包括：

S11、将每个语音质量问题与若干表征该语音质量问题的特征词匹配，为每个特征词建立特征波形，构建特征词波形特征库；

S12、在网络侧采集通话过程中的实时传输RTP原始码流，解码并还原通话的语音波形，将同一单通话的上下行语音进行编组，区分本端语音和对端语音；

S13、基于特征词波形特征库，通过波形匹配分别对本端语音和对端语音中的特征波形进行标注，记录本端语音和对端语音中出现特征波形的时刻。

作为优选的，所述步骤S2具体包括：

S21、分析所述一端语音特征词前后设定时间段对应对端相同时间段内的语音能量，若语音能量异常或为零，则确定该语音能量对应的语音段为异常语音段；

S22、对所述异常语音段进行识别，记录所述异常语音段出现的起始时刻和结束时刻，并计算异常语音段的时长。

作为优选的，所述步骤S21还包括：

若通话过程中存在人声或背景噪声，则判断通话过程语音传递无异常。

作为优选的，所述步骤S22具体包括：

对所述异常语音段进行分析识别，得到异常语音段的起止端点，计算得到所述异常语音段出现的时刻及时长。

作为优选的，所述步骤S3具体包括：

若本端语音和对端语音中的一端语音出现异常无声，且在所述设定时间段内另一端的语音中出现特征词，则判断为单通；

若本端语音和对端语音末尾都出现异常无声，且都出现特征词，则判断为双不通；

若本端语音或对端语音中一端语音出现特征词，且另一端语音中异常语音段占比大于N％，则判断为断续；

若本端语音或对端语音中一端语音出现短时异常语音段，且在所述短时异常语音段开始时刻另一端语音中出现特征词，则判断为吞字；所述短时异常语音段为连续的多个时长小于设定阈值的语音段。

一种语音质量检测系统，包括特征词波形特征库、特征词检测模块、异常语音段检测模块和语音质量检测模型；

所述特征词波形特征库用于将每个语音质量问题与若干表征该语音质量问题的特征词匹配，并为每个特征词建立特征波形；

所述特征词检测模块用于识别通话时两端语音中表征通话异常的特征词，并记录特征词出现的时刻；

分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的能量，将能量异常的语音段标记为异常语音段，记录所述异常语音段的起始时刻和结束时刻；

所述语音质量检测模型用于基于记录的异常语音段和特征词进行语音质量检测，判断语音质量问题类型。

一种语音质量检测设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的语音质量检测方法。

一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述的语音质量检测方法。

一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述的语音质量检测方法。

本发明提出一种基于语音识别和能量检测的语音质量检测方法和系统，通过在网络侧抓取用户会话过程中传输的语音，基于语音还原技术和语义识别技术检测会话内容是否出现了表征通话语音异常中断的特征词，结合语音能量检测分析出现特征词前后一段时间对应对端相同时间段内的语音能量，若语音能量异常或为零，则确定为异常通话，通过语音识别、声音能量和异常时间段等因子的组合门限，对语音异常类型进行判定，判定语音质量全面，包含所有端到端环节的问题，且能够完全符合用户感知。

附图说明

图1为现有技术中语音质量检测方法流程图；

图2为根据本发明实施例的语音质量检测方法流程框图；

图3为根据本发明实施例的语音检测方法具体流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，图中示出了一种基于语音识别和能量检测的语音质量检测方法，包括：

S1、识别通话时两端语音中表征通话异常的特征词，并记录特征词出现的时刻；

S2、分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的能量，将能量异常的语音段标记为异常语音段，记录所述异常语音段的起始时刻和结束时刻；

S3、基于记录的异常语音段和特征词进行语音质量检测。

在本实施例中，所述步骤2中，还可以不考虑特征词，单独分析通话过程中的异常语音段，在通话过程中如果存在人声和背景噪声，则表明整个声音的传递无异常，出现的白噪声、系统噪声和无能量判定为异常无声。对大于一定时长的异常语音段进行识别并记录出现的时刻。最后在分别根据特征词、异常语音段及它们出现的时刻进行语音质差问题的判断。

在本实施例中，首先通过语音识别技术，提取用户双方会话中出现的可表征通话异常的特征词，若出现特征词，则表明通话存在异常，具体的，所述步骤S1具体包括：

S11、将每个语音质量问题与若干表征该语音质量问题的特征词匹配，为每个特征词建立特征波形，构建特征词波形特征库；

S12、在网络侧采集通话过程中的实时传输RTP原始码流，解码并还原通话的语音波形，将同一单通话的上下行语音进行编组，区分本端语音和对端语音；

S13、基于特征词波形特征库，通过波形匹配分别对本端语音和对端语音中的特征波形进行标注，记录本端语音和对端语音段中出现特征波形的时刻。

在本实施例中，通话过程中当一端用户听另一端语音异常是，如吞字、断续、单通等情况，该端的用户语音则会出现“喂喂”、“听不到”、“再说一遍”等特征词，针对不同的语音质量问题会对应不同的特征词，例如，单通的特征词中包括“喂”、“喂喂”、“还在吗”、“信号不好”等，断续或吞字的特征词则包括“卡”、“再讲一遍”等，所述步骤S11中，统计这些可表征通话语音异常的特征词，为每个特征词建立特征波形，构建特征词波形特征库，由于不同用户的说话习惯、用词以及方言等影响，还需要对这些特征词进行定期更新；为后语音质量检测中异常语音识别做准备。

在本实施例的步骤S12中，通过在通信网络的核心网接口采集用户通话的RTP(Real-time Transport Protocol，实时传输协议)原始码流，抓取用户会话过程中传输的语音包，对抽取的媒体面语音包样本进行解码并还原语音波形，将单一通话的上下行语音进行编组，区分本端语音和对端语音。

在本实施例的步骤S13中，基于特征词波形特征库，通过波形匹配分别对本端语音和对端语音中的特征波形进行标注，即提取通话过程中的表征通话语音异常的特征词，记录本端语音和对端语音段中出现特征波形的时刻。

在本实施例中，所述步骤S2具体包括：

S21、分析所述一端语音特征词前后设定时间段对应对端相同时间段内的语音能量，若语音能量异常或为零，则确定该语音能量对应的语音段为异常语音段；在通话过程中如果存在人声和背景噪声，则表明整个声音的传递无异常，出现的白噪声、系统噪声和无能量判定为异常无声。

S22、对所述异常语音段进行识别，记录所述异常语音段出现的时刻及时长。对所述异常语音段进行分析识别，得到异常语音段的起止端点，计算得到所述异常语音段出现的时刻及时长。

在本实施例中，具体的，可通过短时能量检测方法进行语音段起止端点检测，短时能量法是根据环境噪声和系统输入噪声比较小，以致能够保证系统的信噪比相当高，因此通过计算输入信号的短时能量能够把语音段和噪声背景区分开。还可以通过频带方差检测法进行语音段起止端点的识别，语音和噪声的频谱特性差异是很大，在噪声的频谱中,各频带之间变化很平缓,这与“白噪声”的称谓相符；而语音则是有“色”的,各频带之间变化较激烈，根据这一特征,可以很明显地区分语音和噪声。当然还可以通过其他方法进行分析，本实施例中不做限定。

在本实施例中，如图3所示，基于记录的异常语音段和特征词进行语音质量检测，所述步骤S3具体包括：

一、若本端语音和对端语音中的一端语音出现异常无声，且另一端的语音中出现特征词，则判断为单通；单通指的是通话双方仅一方能听到对方语音，而另一方却什么也听不到；

规则：A端出现异常中断语音，在异常中断语音时间点之后一段时间内B端出现单通特征词，在B端出现单通特征词后一段时间内，A端仍未出现正常人声语音；

二、若本端语音和对端语音末尾都出现异常无声，且都出现特征词，则判断为双不通；

双不通即通话双方均无法听到对方的内容，在本实施例中分为两种情形：

1、双方上行正常，即语音均能到达网络侧，但是下行存在问题；

规则：通话结束前一段时间内(可预设为第一预设时间)，双方均存在特征词，且最后一个语音为特征词；

2、双方上行均存在异常，语音无法到达网络侧；

规则：通话结束前一段时间内(第二预设时间)双方均存在一定比例的异常中断语音，即异常语音段，且持续到通话结束。

三、若本端语音或对端语音中一端语音出现特征词，且另一端语音中异常语音段占比大于N％，则判断为断续；

规则：一段时间内A端出现N个及N个以上小于一定时长的异常语音段，B端在异常语音段开始时间点之后一段时间内出现断续吞字特征词；

四、若本端语音或对端语音中一端语音出现异常语音段，且另一端语音中出现特征词，则判断为吞字。

规则：A端出现出现短时异常语音段，B端在异常中断语音段开始时刻后一段时间内出现断续吞字特征词；所述短时异常语音段为连续的多个时长小于设定阈值的语音段。

一种语音质量检测系统，包括特征词波形特征库、特征词检测模块、异常语音段检测模块和语音质量检测模型；

所述特征词波形特征库用于将每个语音质量问题与若干表征该语音质量问题的特征词匹配，并为每个特征词建立特征波形；

所述特征词检测模块用于检测通话过程中表征通话语音异常的特征词，并记录特征词出现的时刻；

所述异常语音段检测模块用于对所述特征词前后设定时间段对端相同时间段内的语音段进行分析，检测出异常语音段，记录异常语音段的起始时刻和结束时刻；

所述语音质量检测模型用于基于记录的异常语音段和特征词进行语音质量检测，判断语音质量问题类型。

本实施例中还提供了一种语音质量检测设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的基于语音识别和能量检测的语音质量检测方法。

本实施例中还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述的基于语音识别和能量检测的语音质量检测方法。

本实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述的基于语音识别和能量检测的语音质量检测方法。

本发明提出一种基于语音识别和能量检测的语音质量检测方法和系统，通过在网络侧抓取用户会话过程中传输的语音，基于语音还原技术和语义识别技术检测会话内容是否出现了表征通话语音异常中断的特征词，结合语音能量检测分析出现特征词前后一段时间对应对端相同时间段内的语音能量，若语音能量异常或为零，则确定为异常通话，通过语音识别、声音能量和异常时间段等因子的组合门限，对语音异常类型进行判定，判定语音质量全面，包含所有端到端环节的问题，且能够完全符合用户感知。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种语音质量检测方法，其特征在于，包括：

S1、识别通话时两端语音中表征通话异常的特征词，并记录特征词出现的时刻；

S2、分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的能量，将能量异常的语音段标记为异常语音段，记录所述异常语音段的起始时刻和结束时刻；

S3、基于记录的所述异常语音段和所述特征词进行语音质量检测；所述步骤S1具体包括：

S11、将每个语音质量问题与若干表征该语音质量问题的特征词匹配，为每个特征词建立特征波形，构建特征词波形特征库；

S12、在网络侧采集通话过程中的实时传输RTP原始码流，解码并还原通话的语音波形，将同一单通话的上下行语音进行编组，区分本端语音和对端语音；

S13、基于特征词波形特征库，通过波形匹配分别对本端语音和对端语音中的特征波形进行标注，记录本端语音、对端语音中出现特征波形的时刻；

所述步骤S3具体包括：

若本端语音和对端语音中的一端语音出现异常无声，且在所述设定时间段内另一端的语音中出现特征词，则判断为单通；

若本端语音和对端语音末尾都出现异常无声，且都出现特征词，则判断为双不通；

若本端语音或对端语音中一端语音出现特征词，且另一端语音中异常语音段占比大于N％，则判断为断续；

若本端语音或对端语音中一端语音出现短时异常语音段，且在所述短时异常语音段开始时刻另一端语音中出现特征词，则判断为吞字；所述短时异常语音段为连续的多个时长小于设定阈值的异常语音段。

2.根据权利要求1所述的语音质量检测方法，其特征在于，所述步骤S2具体包括：

S21、分析一端语音中所述特征词前后设定时间段内，对应对端语音中语音段的语音能量，若语音能量异常或为零，则确定该语音能量对应的语音段为异常语音段；

S22、对所述异常语音段进行识别，记录所述异常语音段出现的起始时刻和结束时刻，并计算异常语音段的时长。

3.根据权利要求2所述的语音质量检测方法，其特征在于，所述步骤S21还包括：

若通话过程中存在人声或背景噪声，则判断通话过程语音传递无异常。

4.根据权利要求2所述的语音质量检测方法，其特征在于，所述步骤S22具体包括：

对所述异常语音段进行分析识别，得到异常语音段的起止端点，计算得到所述异常语音段出现的时刻及时长。

5.一种语音质量检测设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于语音质量检测设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。

Images