CN109065024A - 异常语音数据检测方法及装置 - Google Patents
异常语音数据检测方法及装置 Download PDFInfo
- Publication number
- CN109065024A CN109065024A CN201811301169.5A CN201811301169A CN109065024A CN 109065024 A CN109065024 A CN 109065024A CN 201811301169 A CN201811301169 A CN 201811301169A CN 109065024 A CN109065024 A CN 109065024A
- Authority
- CN
- China
- Prior art keywords
- voice data
- abnormal
- voice
- unit
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 184
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了一种异常语音数据检测方法及装置,本申请考虑了异常语音数据的声学特性本质,即相比于正常语音数据,异常语音数据的语音单元不具有规律性,其中语音单元为组成语音数据的基本单元或基本单元的组合,基于此,本申请获取待检测语音数据后,确定待检测语音数据对应的语音单元信息,该语音单元信息表明语音单元是否具备规律性,进而可以根据语音单元信息,识别待检测语音数据是否为异常语音数据,实现准确的对语音数据异常与否的判断,进而能够避免使用机器模型对异常语音数据进行评分,导致评分效果差的问题。
Description
技术领域
本申请涉及语音处理技术领域,更具体地说,涉及一种异常语音数据检测方法及装置。
背景技术
随着教育改革的不断深入,口语能力越来越被重视,并逐渐成为素质教育中非常重要的一部分。相应地,口语测试也在不断普及,且规模不断增大,比如,全国各地都需要进行普通话水平测试,大学英语四、六级等都增加了口语水平测试等。
目前,口语考试有两种常用的评分方法,即人工评分和机器评分。随着口语考试规模的日益增大,人工评分方法由于评分员资源短缺、评分主观性高等缺点而逐渐被机器评分方法取代。机器评分方法能够客观、批量地处理各种语音数据。然而对于音质异常的语音数据,可能因为异常导致机器评分出错,评分效果较差。示例如,对于低信噪比等多种类型的异常语音数据,通过机器评分效果较差。因此,如何判断一段语音是否为异常语音数据,从而决定是否对其进行机器评分,成为亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种异常语音数据检测方法及装置,能够实现对语音数据异常与否进行判断,避免使用机器模型对异常语音数据进行评分,导致评分效果差的问题。
为了实现上述目的,现提出的方案如下:
一种异常语音数据检测方法,包括:
获取待检测语音数据;
确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
优选地,所述确定所述待检测语音数据对应的语音单元信息,包括:
提取所述待检测语音数据的声学特征;
根据所述声学特征确定所述待检测语音数据对应的语音单元序列,作为所述待检测语音数据对应的语音单元信息。
优选地,所述提取所述待检测语音数据的声学特征,包括:
提取所述待检测语音数据中每一语音帧的声学特征;
所述根据所述声学特征确定所述待检测语音数据对应的语音单元序列,包括:
针对每一语音帧,根据所述语音帧的声学特征,及所述语音帧前后若干语音帧的声学特征,确定所述语音帧对应的语音单元;
由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
优选地,所述确定所述待检测语音数据对应的语音单元信息,还包括:
对所述语音单元序列进行修正,并将修正后的语音单元序列作为所述待检测语音数据对应的语音单元信息。
优选地,所述根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据,包括:
确定所述语音单元信息中,语音单元的统计特征;
至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
优选地,所述至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据,包括:
将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第一异常判决模型为以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
优选地,该方法还包括:
根据所述语音单元信息,确定所述待检测语音的文本识别结果;
确定所述识别结果与评测标准文本的匹配特征,所述评测标准文本用于评测所述待检测语音的水平;
所述至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据,包括:
将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第二异常判决模型为以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
优选地,所述确定所述语音单元信息中,语音单元的统计特征,包括:
确定所述语音单元信息中,语音单元的持续时长的均值和/或方差、语音单元最长持续时长、语音单元变化率中的任意一项或多项。
优选地,所述语音单元为音素或音素状态或音节。
一种异常语音数据检测装置,包括:
语音数据获取单元,用于获取待检测语音数据;
语音单元信息确定单元,用于确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
异常语音数据识别单元,用于根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
优选地,所述语音单元信息确定单元,包括:
声学特征提取单元,用于提取所述待检测语音数据的声学特征;
语音单元序列确定单元,用于根据所述声学特征确定所述待检测语音数据对应的语音单元序列,作为所述待检测语音数据对应的语音单元信息。
优选地,所述声学特征提取单元,包括:
声学特征提取子单元,用于提取所述待检测语音数据中每一语音帧的声学特征;
所述语音单元序列确定单元,包括:
语音单元确定单元,用于针对每一语音帧,根据所述语音帧的声学特征,及所述语音帧前后若干语音帧的声学特征,确定所述语音帧对应的语音单元;
语音单元序列组合单元,用于由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
优选地,所述语音单元信息确定单元,还包括:
修正处理单元,用于对所述语音单元序列进行修正,并将修正后的语音单元序列作为所述待检测语音数据对应的语音单元信息。
优选地,所述异常语音数据识别单元,包括:
统计特征确定单元,用于确定所述语音单元信息中,语音单元的统计特征;
语音数据判决单元,用于至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
优选地,所述语音数据判决单元,包括:
第一语音数据判决子单元,用于将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第一异常判决模型为以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
优选地,还包括:
语音识别单元,根据所述语音单元信息,确定所述待检测语音的文本识别结果;
匹配特征确定单元,用于确定所述识别结果与评测标准文本的匹配特征,所述评测标准文本用于评测所述待检测语音的水平;
所述语音数据判决单元,包括:
第二语音数据判决子单元,用于将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第二异常判决模型为以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
优选地,所述统计特征确定单元包括:
统计特征确定子单元,用于确定所述语音单元信息中,语音单元的持续时长的均值和/或方差、语音单元最长持续时长、语音单元变化率中的任意一项或多项。
一种异常语音数据检测设备,包括存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如上所述的异常语音数据检测方法的各个步骤。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的异常语音数据检测方法的各个步骤。
从上述的技术方案可以看出,本申请实施例提供的异常语音数据检测方法,考虑了异常语音数据的声学特性本质,即相比于正常语音数据,异常语音数据的语音单元不具有规律性,其中语音单元为组成语音数据的基本单元或基本单元的组合,基于此,本申请获取待检测语音数据后,确定待检测语音数据对应的语音单元信息,该语音单元信息表明语音单元是否具备规律性,进而可以根据语音单元信息,识别待检测语音数据是否为异常语音数据,实现准确的对语音数据异常与否的判断,进而能够避免使用机器模型对异常语音数据进行评分,导致评分效果差的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种异常语音数据检测方法流程图;
图2示例了一种正常语音数据的语音帧与音素间对应关系图;
图3示例了一种异常语音数据的语音帧与音素间对应关系图;
图4为本申请实施例公开的一种异常语音数据检测装置结构示意图;
图5为本申请实施例公开的一种异常语音数据检测设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了实现对语音数据异常与否进行判断,本案发明人进行了深入研究,过程中:
发明人首先想到的是利用机器学习模型,对语音数据异常与否进行分类判断。而为了使得模型具备对语音数据异常与否的判断能力,发明人想到的一种最直接的方案即,收集异常语音数据作为负例样本,收集正常语音数据作为正例样本,进而利用收集的正例负例样本训练模型。
但是,发明人进一步研究发现,上述方案中训练的模型的分类判断能力很大程度上依赖于训练数据的覆盖程度,泛化能力较弱。而实际应用中异常语音数据的种类千变万化,很难罗列完全,进而导致模型对异常语音数据的判断容易出错。
为此,本案发明人做了进一步深入的研究,并最终得到下述实施例介绍的方案。
本申请提供的异常语音数据检测方案,可以适用于包含口语考试的场景下。一般地,测试者在测试过程中,可能由于外部环境,或者测试者自身产生噪音,而使得到的待检测语音数据出现异常。对于待检测语音数据,可以由终端设备进行异常语音数据的检测过程。这里,终端设备可以是具备数据处理能力的设备。接下来,结合附图1对本申请异常语音数据检测方法进行介绍,如图1所示,该方法可以包括:
步骤S100、获取待检测语音数据。
具体地,待检测语音数据是指需要进行异常检测的语音数据。例如,在口语测试场景下,待检测语音数据可以为测试者讲话时录制的语音数据。
这里,待检测语音数据可以是通过终端设备的麦克风组件接收的语音数据。或者,可以是由第三方收声设备采集语音数据后,发送给终端设备的。
步骤S110、确定所述待检测语音数据对应的语音单元信息。
其中,所述语音单元信息表明语音单元是否具备规律性。语音单元可以具备规律性,也可以不具备规律性,则语音单元信息用来标明语音单元是否具备规律性。本步骤中语音单元可以是组成语音数据的基本单元或基本单元的组合,示例如语音单元可以是音素,或音素状态或音节等。示例如,待检测语音数据对应文本为“答题”,则该待检测语音数据对应的音素包括“d”、“a”、“t”和“i”。
步骤S120、根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
具体地,待检测语音数据可能是正常语音数据,也可能是异常语音数据。正常语音数据对应的语音单元呈现一定的规律性,而异常语音数据对应的语音单元不具有规律性。因此,本步骤中可以根据待检测语音数据对应的语音单元信息,识别待检测语音数据是否为异常语音数据。
本申请实施例提供的异常语音数据检测方法,考虑了异常语音数据的声学特性本质,即相比于正常语音数据,异常语音数据的语音单元不具有规律性,基于此,本申请获取待检测语音数据后,确定待检测语音数据对应的语音单元信息,该语音单元信息表明语音单元是否具备规律性,进而可以根据语音单元信息,识别待检测语音数据是否为异常语音数据,实现准确的对语音数据异常与否的判断,进而能够避免使用机器模型对异常语音数据进行评分,导致评分效果差的问题。
本申请的另一个实施例中,对上述步骤S110,确定所述待检测语音数据对应的语音单元信息的过程进行介绍,可选的,该过程可以包括:
S1、提取所述待检测语音数据的声学特征。
这里,待检测语音数据的声学特征可以是频谱特征,例如梅尔频率倒谱系数(MelFrequency CepstrumCoefficient,MFCC)特征、或FilterBank特征等。
S2、根据所述声学特征确定所述待检测语音数据对应的语音单元序列,作为所述待检测语音数据对应的语音单元信息。
具体地,以语音单元为音素为例,本步骤的具体实现过程可以包括:将所述声学特征输入预置的声学模型,得到声学模型输出的待检测语音数据中每帧属于各类型音素的概率,进一步将概率最大的类型的音素作为对应帧所属的音素,得到待检测语音数据对应的音素序列。
其中,声学模型可以是以语音训练数据的声学特征为训练样本,以标注的语音训练数据对应的音素为样本标签训练得到。
其中,待检测语音数据可以包含若干帧语音,多个连续的语音帧属于一个语音单元,则每一帧语音所属的语音单元作为该帧语音对应的语音单元,待检测语音数据中各帧语音对应的语音单元组成语音单元序列。
可选的,上述S1提取声学特征的过程,可以包括:
提取所述待检测语音数据中每一语音帧的声学特征。
具体地,待检测语音数据由若干帧组成,基于此在提取声学特征时,可以按照语音帧为单位,提取每一语音帧的声学特征。
基于此,本实施例介绍了两种上述S2步骤的实现方式,分别如下:
第一种、
针对每一语音帧,根据所述语音帧的声学特征,确定所述语音帧对应的语音单元。
也即,对于组成待检测语音数据的每一语音帧,可以将每一语音帧作为声学模型的输入,进一步将声学模型的输出代入解码网络,得到每一语音帧对应的语音单元。
进一步地,由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
第二种、
为了提高所述待检测语音数据的声学特征的区分性,本实施例中还可以对提取的每一语音帧的声学特征进行变换,针对第i个语音帧,利用该第i个语音帧前后若干语音帧的声学特征,对第i个语音帧的声学特征进行变换,以提高待检测语音数据的声学特征的区分性。
基于此,S2的实现过程可以包括:
针对每一语音帧,根据所述语音帧的声学特征,及所述语音帧前后若干语音帧的声学特征,确定所述语音帧对应的语音单元。
示例如,以第i(i∈[1,n],n为待检测语音数据包含语音帧总个数)个语音帧为例,可以取第i个语音帧前的n1个语音帧的声学特征,以及第i个语音帧后的n2个语音帧的声学特征,与第i个语音帧的声学特征共同输入声学模型,进一步将声学模型的输出代入解码网络,得到第i个语音帧对应的语音单元。
进一步地,由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
可选的,上述S2中得到待检测语音数据对应的语音单元序列,其中语音单元序列可能存在噪点,为了提高结果的准确性,本实施例中可以去除其中的噪点,具体处理方式可以包括:
对所述语音单元序列进行修正,并将修正后的语音单元序列作为所述待检测语音数据对应的语音单元信息。
具体地,前述已经说明了,待检测语音数据可以包含若干语音帧,且多个连续的语音帧可能对应一个语音单元。语音单元序列中包含了与每一语音帧对应的语音单元。若属于一个目标语音单元的连续语音帧的帧数小于设定帧数阈值,且语音单元序列中与该目标语音单元前后相邻的两个语音单元相同,则可以将目标语音单元修正为前后相邻的语音单元。
为了便于理解,通过一个例子对上述修正过程进行介绍:
示例如,语音单元序列为音素序列,假设待检测语音数据包含17个语音帧,定义为t1-t17语音帧。其中,t1-t8语音帧及t12-t17语音帧对应音素“a”,t9-t11语音帧对应音素“b”。预先设定的帧数阈值为5帧,则属于音素“b”的t9-t11语音帧的帧数为3帧,小于设定帧数阈值5帧,且与音素“b”前后相邻的两个音素都为“a”,则t9-t11语音帧对应的音素“b”为噪点,修正处理后可以将t9-t11语音帧对应的音素“b”更正为音素“a”,得到t1-t17语音帧对应音素均为“a”的音素串,并可以将该音素串作为待检测语音数据对应的音素信息。
本实施例又一个实施例中,介绍了上述步骤S120,根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据的几种可选实施方式,接下来分别进行介绍。
前述已经说明,异常语音数据的语音单元不具有规律性,因此可以通过分析语音单元信息,来识别待检测语音数据是否为异常语音数据。
第一种可选的方式:
可以基于语音单元信息绘制待检测语音数据中各语音帧与语音单元间的对应关系图。该对应关系图反映了各语音帧对应语音单元的变化情况。
可以理解的是,对于正常语音数据,上述对应关系图中语音帧与语音单元间的变化会呈现一定的规律性。而对于异常语音数据,上述对应关系图中语音帧与语音单元间的变化不具有规律性。本实施例中以语音单元为音素为例进行说明,分别参照图2和图3,图2示例了一种正常语音数据的语音帧与音素间对应关系图。图3示例了一种异常语音数据的语音帧与音素间对应关系图。
对比可知,对于正常语音数据而言,一般性的多帧连续语音对应同一音素,而对于异常语音数据而言,其不存在任何规律性,各帧语音对应的音素也毫无规律而言。
反映到图例中,相同时长的一段语音,异常语音数据对应折线图中顶点个数要远远多于正常语音数据。这里,顶点可以理解为折线图中斜率出现变化时的点。
基于此,可以通过分析上述对应关系图中顶点个数来判断待检测语音数据是否为异常语音数据。
示例如,预先设置单位时间内顶点个数阈值,当根据对应关系图确定的待检测语音数据的单位时间内顶点个数超过设定顶点个数阈值时,可以判定待检测语音数据为异常语音数据。
第二种可选的方式:
本实施例可以根据语音单元信息的统计特征,确定待检测语音数据是否为异常语音数据。具体实现过程可以包括:
1)、确定所述语音单元信息中,语音单元的统计特征。
可选的,语音单元的统计特征包括但不限于如下几项:
语音单元的持续时长的均值、语音单元的持续时长的方差、语音单元最长持续时长、语音单元变化率。
其中,语音单元最长持续时长为,待检测语音数据中一个语音单元的最长持续出现的时长。语音单元变化率是指单位时间内,语音单元变化个数。其计算公式如下:
语音单元变化率=语音单元变化个数/总时长
接下来以语音单元为音素为例,通过一个例子对上述示例的统计特征进行说明。
例如,一段待检测语音数据的持续时长共25秒,其中,第1-8秒出现音素“a”,第9-19秒出现音素“b”,第20-25秒出现音素“a”。
音素“a”的持续时长的均值为:(8+6)/2=7。
音素“a”的持续时长的方差为:
音素最长持续时长为音素“b”所持续的时长,也即第9-19秒包含的时长,因此音素最长持续时长为:19-9+1=11。
音素变化率为:2/25。
2)、至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
具体地,由于正常语音数据的语音单元存在一定规律性,而异常语音数据的语音单元不具有规律性,因此在上述统计得到待检测语音数据的语音单元的统计特征之后,可以基于该统计特征来识别待检测语音数据是否为异常语音数据。
本申请实施例中介绍了几种上述2)的可选实施方式,分别如下:
第一种、
由于正常语音数据的语音单元存在一定规律性,因此对应的语音单元的统计特征也存在一定规律,可以基于此预先设定统计特征的验证规则,对于符合该验证规则的,可以认定为正常语音数据,否则,认定为异常语音数据。
因此,在得到待检测语音数据的语音单元的统计特征之后,将统计特征与预设的验证规则进行比对,判断统计特征是否符合预设的验证规则,如果不符合,则确定待检测语音数据为异常语音数据。
第二种、
本实施例可以借助神经网络模型来进行异常语音数据判断。具体地,可以预先训练第一异常判决模型。该第一异常判决模型可以是以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。也即,第一异常判决模型可以基于语音数据的语音单元的统计特征,来识别语音数据是否为异常语音数据。
基于此,可以将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据。
这里,第一异常判决模型可以是多种结构的神经网络模型,如CNN、DNN、LSTM等各种结构的神经网络模型。
第三种、
对于口语评测场景,一般会预先设置评测标准文本。对于待评测语音数据,通过获取其识别结果,进一步确定识别结果与评测标准文本的匹配特征,根据该匹配特征来确定待评测语音数据的水平。其中,匹配特征可以包括识别结果对评测标准文本的命中率等。
可以理解的是,对于异常语音数据而言,其识别精度应该是很低的,因此对应的识别结果与评测标准文本之间差异应该是很大的。也即,本申请可以将识别结果与评测标准文本的匹配特征作为一个考虑因素,来判断待检测语音数据是否为异常语音数据。
基于此,本申请异常语音数据检测方法,在S110,确定所述待检测语音数据对应的语音单元信息之后,可以增加如下步骤:
根据所述语音单元信息,确定所述待检测语音的文本识别结果;确定所述识别结果与评测标准文本的匹配特征。
在此基础上,上述2)至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据的过程,可以包括:
将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据。
其中,所述第二异常判决模型可以是以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
对比可知,第二异常判决模型相比于第一异常判决模型,在训练过程训练样本增加了语音数据的文本识别结果与评测标准文本的匹配特征。由于第二异常判决模型额外考虑了该匹配特征这一影响因素,因此相比于第一异常判决模型,其异常判决结果的准确度会更高。
下面对本申请实施例提供的异常语音数据检测装置进行描述,下文描述的异常语音数据检测装置与上文描述的异常语音数据检测方法可相互对应参照。
参见图4,图4为本申请实施例公开的一种异常语音数据检测装置结构示意图。
如图4所示,该装置可以包括:
语音数据获取单元11,用于获取待检测语音数据;
语音单元信息确定单元12,用于确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
异常语音数据识别单元13,用于根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
可选的,上述语音单元信息确定单元可以包括:
声学特征提取单元,用于提取所述待检测语音数据的声学特征;
语音单元序列确定单元,用于根据所述声学特征确定所述待检测语音数据对应的语音单元序列,作为所述待检测语音数据对应的语音单元信息。
可选的,上述声学特征提取单元可以包括:
声学特征提取子单元,用于提取所述待检测语音数据中每一语音帧的声学特征;基于此,上述语音单元序列确定单元可以包括:
语音单元确定单元,用于针对每一语音帧,根据所述语音帧的声学特征,及所述语音帧前后若干语音帧的声学特征,确定所述语音帧对应的语音单元;
语音单元序列组合单元,用于由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
可选的,上述语音单元信息确定单元可以还包括:
修正处理单元,用于对所述语音单元序列进行修正,并将修正后的语音单元序列作为所述待检测语音数据对应的语音单元信息。
可选的,上述异常语音数据识别单元可以包括:
统计特征确定单元,用于确定所述语音单元信息中,语音单元的统计特征;
语音数据判决单元,用于至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
可选的,上述语音数据判决单元可以包括:
第一语音数据判决子单元,用于将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第一异常判决模型为以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
可选的,本申请的装置还可以包括:
语音识别单元,根据所述语音单元信息,确定所述待检测语音的文本识别结果;
匹配特征确定单元,用于确定所述识别结果与评测标准文本的匹配特征,所述评测标准文本用于评测所述待检测语音的水平;基于此,上述语音数据判决单元可以包括:
第二语音数据判决子单元,用于将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第二异常判决模型为以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
可选的,上述统计特征确定单元可以包括:
统计特征确定子单元,用于确定所述语音单元信息中,语音单元的持续时长的均值和/或方差、语音单元最长持续时长、语音单元变化率中的任意一项或多项。
其中,上述语音单元可以是音素或音素状态或音节等。
本申请实施例提供的异常语音数据检测装置可应用于异常语音数据检测设备,如PC终端、云平台、服务器及服务器集群等。可选的,图5示出了异常语音数据检测设备的硬件结构框图,参照图5,异常语音数据检测设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
获取待检测语音数据;
确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
获取待检测语音数据;
确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种异常语音数据检测方法,其特征在于,包括:
获取待检测语音数据;
确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待检测语音数据对应的语音单元信息,包括:
提取所述待检测语音数据的声学特征;
根据所述声学特征确定所述待检测语音数据对应的语音单元序列,作为所述待检测语音数据对应的语音单元信息。
3.根据权利要求2所述的方法,其特征在于,所述提取所述待检测语音数据的声学特征,包括:
提取所述待检测语音数据中每一语音帧的声学特征;
所述根据所述声学特征确定所述待检测语音数据对应的语音单元序列,包括:
针对每一语音帧,根据所述语音帧的声学特征,及所述语音帧前后若干语音帧的声学特征,确定所述语音帧对应的语音单元;
由所述待检测语音数据包含的各语音帧对应的语音单元依序组成语音单元序列。
4.根据权利要求2所述的方法,其特征在于,所述确定所述待检测语音数据对应的语音单元信息,还包括:
对所述语音单元序列进行修正,并将修正后的语音单元序列作为所述待检测语音数据对应的语音单元信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据,包括:
确定所述语音单元信息中,语音单元的统计特征;
至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
6.根据权利要求5所述的方法,其特征在于,所述至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据,包括:
将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第一异常判决模型为以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
7.根据权利要求5所述的方法,其特征在于,该方法还包括:
根据所述语音单元信息,确定所述待检测语音的文本识别结果;
确定所述识别结果与评测标准文本的匹配特征,所述评测标准文本用于评测所述待检测语音的水平;
所述至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据,包括:
将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第二异常判决模型为以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
8.根据权利要求5所述的方法,其特征在于,所述确定所述语音单元信息中,语音单元的统计特征,包括:
确定所述语音单元信息中,语音单元的持续时长的均值和/或方差、语音单元最长持续时长、语音单元变化率中的任意一项或多项。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述语音单元为音素或音素状态或音节。
10.一种异常语音数据检测装置,其特征在于,包括:
语音数据获取单元,用于获取待检测语音数据;
语音单元信息确定单元,用于确定所述待检测语音数据对应的语音单元信息,所述语音单元信息表明语音单元是否具备规律性;
异常语音数据识别单元,用于根据所述语音单元信息,识别所述待检测语音数据是否为异常语音数据。
11.根据权利要求10所述装置,其特征在于,所述异常语音数据识别单元,包括:
统计特征确定单元,用于确定所述语音单元信息中,语音单元的统计特征;
语音数据判决单元,用于至少基于所述语音单元的统计特征,识别所述待检测语音数据是否为异常语音数据。
12.根据权利要求11所述装置,其特征在于,所述语音数据判决单元,包括:
第一语音数据判决子单元,用于将所述语音单元的统计特征输入预置的第一异常判决模型,得到第一异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第一异常判决模型为以训练语音数据的语音单元的统计特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
13.根据权利要求11所述装置,其特征在于,还包括:
语音识别单元,根据所述语音单元信息,确定所述待检测语音的文本识别结果;
匹配特征确定单元,用于确定所述识别结果与评测标准文本的匹配特征,所述评测标准文本用于评测所述待检测语音的水平;
所述语音数据判决单元,包括:
第二语音数据判决子单元,用于将所述语音单元的统计特征,及所述匹配特征输入预置的第二异常判决模型,得到第二异常判决模型输出的异常判决结果,所述异常判决结果表明所述待检测语音数据是否为异常语音数据;
所述第二异常判决模型为以训练语音数据的语音单元的统计特征,及训练语音数据的文本识别结果与评测标准文本的匹配特征为训练样本,以标注的训练语音数据是否为异常语音数据的结果为样本标签训练得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301169.5A CN109065024B (zh) | 2018-11-02 | 2018-11-02 | 异常语音数据检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301169.5A CN109065024B (zh) | 2018-11-02 | 2018-11-02 | 异常语音数据检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109065024A true CN109065024A (zh) | 2018-12-21 |
CN109065024B CN109065024B (zh) | 2023-07-25 |
Family
ID=64789064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811301169.5A Active CN109065024B (zh) | 2018-11-02 | 2018-11-02 | 异常语音数据检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109065024B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033785A (zh) * | 2019-03-27 | 2019-07-19 | 深圳市中电数通智慧安全科技股份有限公司 | 一种呼救识别方法、装置、可读存储介质及终端设备 |
CN113205801A (zh) * | 2021-05-08 | 2021-08-03 | 国家计算机网络与信息安全管理中心 | 恶意语音样本的确定方法、装置、计算机设备和存储介质 |
CN113516970A (zh) * | 2020-03-27 | 2021-10-19 | 北京奇虎科技有限公司 | 基于语言模型的报警方法、设备、存储介质及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090193959A1 (en) * | 2008-02-06 | 2009-08-06 | Jordi Janer Mestres | Audio recording analysis and rating |
WO2014058270A1 (en) * | 2012-10-12 | 2014-04-17 | Samsung Electronics Co., Ltd. | Voice converting apparatus and method for converting user voice thereof |
CN103810996A (zh) * | 2014-02-21 | 2014-05-21 | 北京凌声芯语音科技有限公司 | 待测试语音的处理方法、装置及系统 |
CN104464755A (zh) * | 2014-12-02 | 2015-03-25 | 科大讯飞股份有限公司 | 语音评测方法和装置 |
CN107562760A (zh) * | 2016-06-30 | 2018-01-09 | 科大讯飞股份有限公司 | 一种语音数据处理方法及装置 |
CN108364634A (zh) * | 2018-03-05 | 2018-08-03 | 苏州声通信息科技有限公司 | 基于深度神经网络后验概率算法的口语发音评测方法 |
-
2018
- 2018-11-02 CN CN201811301169.5A patent/CN109065024B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090193959A1 (en) * | 2008-02-06 | 2009-08-06 | Jordi Janer Mestres | Audio recording analysis and rating |
WO2014058270A1 (en) * | 2012-10-12 | 2014-04-17 | Samsung Electronics Co., Ltd. | Voice converting apparatus and method for converting user voice thereof |
CN103810996A (zh) * | 2014-02-21 | 2014-05-21 | 北京凌声芯语音科技有限公司 | 待测试语音的处理方法、装置及系统 |
CN104464755A (zh) * | 2014-12-02 | 2015-03-25 | 科大讯飞股份有限公司 | 语音评测方法和装置 |
CN107562760A (zh) * | 2016-06-30 | 2018-01-09 | 科大讯飞股份有限公司 | 一种语音数据处理方法及装置 |
CN108364634A (zh) * | 2018-03-05 | 2018-08-03 | 苏州声通信息科技有限公司 | 基于深度神经网络后验概率算法的口语发音评测方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033785A (zh) * | 2019-03-27 | 2019-07-19 | 深圳市中电数通智慧安全科技股份有限公司 | 一种呼救识别方法、装置、可读存储介质及终端设备 |
CN113516970A (zh) * | 2020-03-27 | 2021-10-19 | 北京奇虎科技有限公司 | 基于语言模型的报警方法、设备、存储介质及装置 |
CN113205801A (zh) * | 2021-05-08 | 2021-08-03 | 国家计算机网络与信息安全管理中心 | 恶意语音样本的确定方法、装置、计算机设备和存储介质 |
CN113205801B (zh) * | 2021-05-08 | 2024-03-19 | 国家计算机网络与信息安全管理中心 | 恶意语音样本的确定方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109065024B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101740024B (zh) | 基于广义流利的口语流利度自动评估方法 | |
CN103559894B (zh) | 口语评测方法及系统 | |
CN103559892B (zh) | 口语评测方法及系统 | |
CN109192224B (zh) | 一种语音评测方法、装置、设备及可读存储介质 | |
CN101710490B (zh) | 语音评测的噪声补偿方法及装置 | |
CN103594087B (zh) | 提高口语评测性能的方法及系统 | |
US9177558B2 (en) | Systems and methods for assessment of non-native spontaneous speech | |
CN105845134A (zh) | 自由朗读题型的口语评测方法及系统 | |
EP0692135B1 (en) | Method and apparatus for voice-interactive language instruction | |
KR100699663B1 (ko) | 음성 인식 모델링을 사용하는 자동 언어 평가 시스템 및 방법 | |
CN103617799B (zh) | 一种适应于移动设备的英语语句发音质量检测方法 | |
US20090171661A1 (en) | Method for assessing pronunciation abilities | |
CN100514446C (zh) | 一种基于语音识别及语音分析的发音评估方法 | |
CN106782603B (zh) | 智能语音评测方法及系统 | |
CN110782921A (zh) | 语音测评方法和装置、存储介质及电子装置 | |
CN105488142B (zh) | 成绩信息录入方法及系统 | |
CN109979486B (zh) | 一种语音质量评估方法及装置 | |
CN101751919A (zh) | 一种汉语口语重音自动检测方法 | |
CN109065024A (zh) | 异常语音数据检测方法及装置 | |
CN108648766A (zh) | 语音评测方法及系统 | |
CN108766415A (zh) | 一种语音测评方法 | |
CN107886968A (zh) | 语音评测方法及系统 | |
CN107240394A (zh) | 一种动态自适应语音分析技术以用于人机口语考试的方法及系统 | |
CN104700831B (zh) | 分析音频文件的语音特征的方法和装置 | |
CN114220419A (zh) | 一种语音评价方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |