CN109087667B - 语音流利度识别方法、装置、计算机设备及可读存储介质 - Google Patents
语音流利度识别方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN109087667B CN109087667B CN201811093169.0A CN201811093169A CN109087667B CN 109087667 B CN109087667 B CN 109087667B CN 201811093169 A CN201811093169 A CN 201811093169A CN 109087667 B CN109087667 B CN 109087667B
- Authority
- CN
- China
- Prior art keywords
- voice
- fluency
- detected
- customer service
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 27
- 238000007689 inspection Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种语音流利度识别方法、装置、计算机设备及可读存储介质，其中的方法包括：构建语音识别模型；对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；当相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；当不同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度。本发明的有益效果为：实现了基于深度学习网络神经的对客服语音的更智能、更准确的流利度判断。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种语音流利度识别方法、装置、计算机设备及可读存储介质。
背景技术
客服坐席指的是在公司企业中的呼叫中心或客服部门的工作岗位，其一般通过语音为进线客户提供业务上的咨询或指导等，在这个过程中，客服坐席的语音流利度会影响到进线客户对于该公司或企业的直接感受，因此，对于公司或企业而言客服坐席的语音流利度指标同样至关重要，因此对客服语音进行质检在服务行业是必不可少的一项工作。
质检一方面对客服的通话起到监督的作用，另一方面也可以快速定位到问题，从而提高客服的服务质量，而传统的质检有效率低、覆盖面小、反馈不及时的劣势，智能质检的出现解决了这些问题，通过语音识别、自然语言处理等技术，对客服的语音进行快速高效地质检，但是在质检环节中，系统判定客服说话是否流利是一个难题。
传统的语音流利度评估方法仅从识别的特征层次考虑语音流利质量等级，而伴随着语音数据的发展，流利度不再属于一个单纯的衡量发音标准的指标，而是需要综合性地进行识别，这些都不符合现有阶段的语音识别。目前还没有能够较好地在金融服务领域解决上述问题的方法或者装置出现。
发明内容
为了克服相关技术中存在的问题，本发明提供一种语音流利度识别方法、装置、计算机设备及可读存储介质，以实现采用深度学习神经网络构建训练模型的方法对客服的语音流利度进行质检，更加准确和更加综合性地对客服人员的语音流利度进行识别。
第一方面，本发明实施例提供了一种语音流利度识别方法，所述方法包括：
通过序列到序列的深度学习网络构建语音识别模型；
对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；
当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；
当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度。
结合另一方面，本发明另一可实行实施方式中，通过序列到序列的尝试学习网络构建语音识别模型之前，所述方法还包括：
获取若干客服记录中的客服语音并创建语音数据库；
对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
结合另一方面，本发明另一可实行实施方式中，所述对待检测语音进行预处理得到连续的语音帧序列，包括：
对待检测语音进行去噪处理；
对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
对所述帧数据进行序列转换得到所述语音帧序列。
结合另一方面，本发明另一可实行实施方式中，
所述根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度，包括：
获取输入的所述语音帧序列的特性；
结合注意力机制，通过语音识别模型中的解码器为每一输入的所述语音帧序列输出对应的单一标签；
将所述单一标签作为所述语音帧序列的分类标注。
结合另一方面，本发明另一可实行实施方式中，所述方法还包括：
获取所述语音识别模型的客服语音-分类标注；
通过语音识别模型得到所述客服语音－分类标注的分布式特征表示，映射到所述数据库；
对所述分布式特征进行组合得到各分类标注的整体特征；
根据所述整体特征对客服语音进行检测。
第二方面，本发明还涉及一种客服语音流利度识别装置，所述装置包括：
构建模块，用于通过序列到序列的深度学习网络构建语音识别模型；
输入模块，用于对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
确定模块，用于根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
检测模块，用于检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；
第一输出模块，用于当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；
第二输出模块，用于当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度。
上述的装置，所述装置还包括：
获取模块，用于获取若干客服记录中的客服语音并创建语音数据库；
人工标记模块，用于对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
上述的装置，所述输入模块包括：
去噪子模块，用于对待检测语音进行去噪处理；
分段子模块，用于对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
转换子模块，用于对所述帧数据进行序列转换得到所述语音帧序列。
第三方面，本发明还涉及一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明通过构建采用了RNNs神经网络的语音识别模型实现了通过序列分析语音以进行质检，快速地对客服语音进行识别和判断，其基于深度学习的RNNs循环神经网络不断的训练和学习的过程中其识别的准确性还能够自我提升，解决了目前对于客服语音进行人工识别质检的问题，实现了基于深度学习网络神经的对客服语音的更智能、更准确的流利度判断。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种语音流利度识别方法的流程示意图。
图2是根据一示例性实施例示出的语音识别模型的结构示意图。
图3是根据一示例性实施例示出的一种语音流利度识别方法的预处理流程示意图。
图4是根据一示例性实施例示出的语音识别模型训练学习的示意图。
图5是根据一示例性实施例示出的语音流利度识别装置的示意性框图。
图6是根据一示例性实施例示出的计算机设备的框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图中将各步骤描述成顺序的处理，但是其中的许多步骤可以并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排，当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图内的其它步骤。处理可以对应于方法、函数、规程、子例程、子程序等。
本发明涉及一种语音流利度识别方法、装置、计算机设备及可读存储介质，其主要运用于需要对客服语音进行质量检测、流利度判断的场景中，其基本思想是：在对客服语音流利度进行监控时，获取每一位客服的语音或至少一部分的语音的片段，通过序列分析实现语音识别，在此之前需要首先构建语音识别系统，其基于深度学习的RNNs循环神经网络实现对原始语音数据的模型构建并实现对输入的训练数据的学习过程，在对获取的待判断的语音进行预处理后，通过将任意长度的待判断的语音的语音帧序列输入到深度学习模型运行后得到对应的语音流利度，实现了基于深度学习网络神经的对客服语音的更智能、更准确的流利度判断。
本实施例可适用于带有深度学习模型的智能型终端中以进行深度学习的客服语音流利度识别的情况中，该方法可以由深度学习模型的装置来执行，其中该装置可以由软件和/或硬件来实现，一般地可集成于服务器端或云端中，或者终端中的中心控制模块来控制，如图1所示，为本发明的一种语音流利度识别方法的基本流程示意图，所述方法具体包括如下步骤：
在步骤110中，通过序列到序列的深度学习网络构建语音识别模型；
所述语音识别模型的核心是通过序列到序列的RNN网络实现的，利用RNNs神经网络(recurrent neural networks,RNNs，循环神经网络也可称之为递归神经网络)的长短期记忆模型功能还可实现对任意长度的语音或语音片段进行流利度的识别。
在本发明一种可行的实施场景中，如图2所示，为本发明的RNNs网络结构示意图，其采用一个6层的编码-解码结构实现了RNNs神经网络，这个结构可以使RNN处理和分类任意长度的输入序列，其主要包括编码器、解码器以及全连接层，基于该结构建立语音识别模型，且这个结构可以使RNN处理和分类任意长度的输入序列。
其中的编码器由3层组成的，包括分别为128神经元和64神经元的2个双向循环层，有32个循环神经元的单向层。编码器被设置为可以处理最大长度为设定的值的任意序列。编码器里所有的循环神经元都是GRU(Gated Recurrent Unit，选通重复单元)，它结构比较简单，通过更新门和重置门来决定对之前状态的依赖程度，从而可以很好解决远距离依赖及对较长时间之前的信息的处理的问题。
固定的编码层：编码器输出的最后一层是一个固定参数的有32神经元的激活层，被用来初始化解码器。
解码器：由一个单独的循环层构成，它具有64个长短时记忆(LSTM)单元，且结合了注意力机制。注意力机制使该网络主要关注输入特性的显著部分，并最终提高分类性能，输入的特性为由上下项组成的组中接收两个及以上的特性，包括但不限于：语性特性、音素、语言注音特性、上下文特性、语义特性以及环境特性、场景特性等。目前，我们的解码器设置为对每个输入序列输出一个单一的分类标注(标签)，即语音流利度1-5级中的一级。
全连接层：在解码器之后，设置一个具有256个ReLU神经元的全连接层,将学到的“分布式特征表示”映射到样本标记空间，组合学习到的多个特征，从而得到语音流利度整体的特征。
分类：最后的分类层使用softmax输出一个分类标签。Softmax函数可以将输入映射成为(0,1)的值，将这个值理解为概率，便可以选取最大的概率的结果作为分类的结果(语音流利度1-5级中的一级)。
本发明示例性实施例的一种可行的实施场景中，在构建上述流利度识别所用的深度学习网络的数据库时，可以先创建一个有2000条客服语音服务记录的数据库，对每一条客服语音流利度进行人工标记，流利度按照1级到5级的顺序进行标签的标注，1级到5级代表的分别是非常不流利、不流利、勉强流利、基本流利、非常流利，可以认识到的是，上述1级到5级标签的形式可以为其它各种形式，并不以上述实施方式为限。
在步骤120中，对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
本发明示例性实施例的一种可行的实施场景中，在对客服语音质检过程中，电话平台的录音模块对客服客户的谈话语音进行记录，因为电话平台对语音的记录是双声道的，所以可以提取出客服的语音部分，在记录以及提取的过程中语音信息出现背景噪音、电平噪音以及静音等情形，因此，需要对其进行预处理一般为去噪处理后得到较为纯净的语音片段，此过程可进一步保证获取的语音源对于语音流利度识别的准确性。
对于在信号传输过程中产生的不相关的数据,如静音和背景噪音,通过对低能量的窗口的检测的方法来达到去除它们的目的。
经过去噪处理后的语音被转换成每帧有若干频率分量的序列，这些序列及对应的标签(语音流利度1-5级中的一级)将输入到所述语音识别模型中作为训练RNNs的数据。
在步骤130中，根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
运行深度学习模型可得到待检测语音的分类标注结果，其为预设的分类标注流利度1级到5级中的一级。
在一种可行的具体实施方式中，初期可根据语音帧序列与人工标记的语音帧进行匹配以得出其流利度，进一步地，在语音识别模型不断的学习深化过程中，在得到分类标注的整体特征(如为语义中间存在停顿现象)之后，例如对于出现停顿现象的待检测语音即可评价“非常不流利”的分类标注，即标签1级-非常不流利，并且对于之后得到的所有出现停顿现象的客服语音均能够较为迅速地判定其语音流利度为1级的非常不流利。
在步骤140中，检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；若相同执行步骤150，若不同，执行步骤160。
一个待检测语音的语音片段中可包括若干个连续的经过预处理之后的语音帧序列，而对于语音流利度的识别时，不仅包括对语音帧序列的识别，更需要通过上升到一个语音片段以至连续的多个语音片段及一整段语音的流利度的整体识别，在多个语音片段的流利度识别的过程中，其中某一语音片段的识别分类标注结果无法体现出对应的客服人员的整体流利度水平。
本发明示例性实施例的一种可行的实施场景中，对于一整段语音可用“A”表示，而每一语音片段可用“A1”/“A2”“A3”“A4”“A5”……表示，而对于每一语音片段中的语音帧序列，则可通过“A11”“A12”“A13”……“A21”“A22”“A23”……“A31”“A32”“A33”……等表示。
在步骤150中，当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述语音片段对应的客户的流利度；
当“A11”“A12”“A13”……的流利度分类标注结果为5级，“A21”“A22”“A23”……的流利度分类标注结果为5级，而“A31”“A32”“A33”流利度分类标注结果为5级时，则表示该语音片段中连续的语音帧序列确定得到的语音流利度相同，此时确定所述语音片段对应的流利度为5级“非常流利”。
在步骤160中，当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述语音片段的流利度。
当“A11”“A12”“A13”……的流利度分类标注结果为5级，“A21”“A22”“A23”……的流利度分类标注结果为5级，而“A31”“A32”“A33”流利度分类标注结果为4级时，则表示该待检测语音的语音片段中连续的语音帧序列确定得到的语音流利度并不相同，此时需要进行进一步的处理：将4级流利度作为该语音片段的流利度分类标注结果，该出现的4级流利度会影响语音整段的流利度。
对于语音片段中出现的不同于其它语音片段中的流利度对于语音整段的影响，可根据流利度计算算法进行确定，不同的流利度计算算法对于最终得到的客服人员的流利也不尽相同。
本发明的方法，通过选取序列到序列的深度学习循环神经网络RNNs构建深度学习模型实现对客服语音流利度的监控，通过原始语音数据的输入以及训练语音数据的输入进行不断训练，使得对获取的待判断的语音进行预处理后，将任意长度的待判断的语音的语音帧序列输入到深度学习模型运行后得到对应的语音流利度，实现了基于深度学习网络神经的对客服语音的更智能、更准确的流利度判断，进一步提升客服语音智能质检的有效性。
本发明示例性实施例的一种可行的实施场景中，所述根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度，包括：获取输入的所述语音帧序列的特性；如语性特性、音素、语言注音特性、上下文特性、语义特性以及环境特性、场景特性等；结合注意力机制，通过语音识别模型中的解码器为每一输入的所述语音帧序列输出对应的单一标签；将所述单一标签作为所述语音帧序列的分类标注，最终通过解码器设置为对每个输入序列输出一个单一的分类标注(标签)，即输出语音流利度1-5级中的一级。
本发明示例性实施例的一种可行的实施场景中，在得到所述语音识别模型的客服语音-分类标注之后，所述方法还包括通过全连接层映射学习的过程，这一过程主要包括：
通过语音识别模型得到分布式特征表示，映射到所述数据库；
在分布式特征表示中，特征的意义是单独而言的，无论非该特征之外的其它特征如何改变其都不会改变，得到的分布式特征表示映射到数据库，实现语音识别模型学习和捕捉对于该分布式特征表示中关于语音流利度判断方面的内容。
对所述分布式特征进行组合得到各分类标注的整体特征；
根据所述整体特征对客服语音进行检测。
在语音识别模型不断的学习深化过程中，在得到分类标注的整体特征(如为语义中间存在停顿现象)之后，例如对于“非常不流利”的分类标注，即标签1级，则对于之后得到的所有出现停顿现象的客服语音均能够较为迅速地判定其语音流利度为1级的非常不流利。
本发明的方法，在得到分类标注即标签的整体特征之后能够实现对客服语音的更加迅速、更为准确的判断和评价，大幅提升了质检效率。
在本发明的一种可行的实施方式中，在构建语音识别模型之前，所述方法还包括对数据库的构建过程，以便于帮助构建客服语音-分类标注的所述语音识别模型中，这一过程可包括如下步骤：
获取若干客服记录中的客服语音并创建语音数据库；
对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
本发明示例性实施例中创建一个有2000条客服服务记录的数据库。将客服语音流利程度进行人工标记，按照1级到5级的顺序进行打标签，1级到5级分别代表非常不流利、不流利、勉强流利、基本流利、非常流利。
前期通过大量的客服服务记录中的客服语言进行人工打标签的操作，使得构建深度学习神经网络时学习基础客服语音-分类标注的数据更符合设定的判断标准，并使得后续在对客服语音进行质检的过程中得到的结果更为准确。
本发明示例性实施例的一种可行的实施场景中，还包括对获取到的客服语音进行预处理的过程，在实际的质检过程中，电话平台的录音模块对客服客户的谈话语音进行记录，因为电话平台对语音的记录是双声道的，所以可以提取出客服的语音部分，而提取出的客服语音由于在电子设备中传输不可避免地产生的底噪等杂音，因此，如图3所示，结合图4中的语音识别的流程示意图，这一过程可包括如下步骤：
在步骤310中，对待检测语音进行去噪处理；
在信号传输过程中产生的不相关的数据,如静音和背景噪音,通过对低能量的窗口的检测的方法来达到去除它们的目的，实际操作中可通过设计信号调理电路使传感器可以放大心率信号和完全消除环境信号干扰，以实现去噪处理。
在步骤320中，对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
在预处理过程中,对声波数据流进行分段成为每4毫秒长的帧。
在步骤330中，对所述帧数据进行序列转换得到所述语音帧序列。
经过去噪之后的窗口被转换为每帧有64个频率分量的序列，这些序列及对应的标签(语音流利度1-5级中的一级)将作为训练RNNs的数据被使用。
图5为本发明实施例提供的一种语音流利度识别装置的结构示意图，该装置可由软件和/或硬件实现，一般地集成于服务器端，可通过语音流利度识别方法来实现。如图所示，本实施例可以以上述实施例为基础，提供了一种语音流利度识别装置，结合图5所示，其主要包括了构建模块510、输入模块520、确定模块530、检测模块540、第一输出模块550以及第二输出模块560。
其中的构建模块510，用于通过序列到序列的深度学习网络构建语音识别模型；
其中的输入模块520，用于对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
其中的确定模块530，根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
其中的检测模块540，用于检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；
其中的第一输出模块550，用于当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；
其中的第二输出模块560，用于当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度。
本发明示例性实施例的一种可行的实施场景中，所述装置还包括：
获取模块，用于获取若干客服记录中的客服语音并创建语音数据库；
人工标记模块，用于对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
本发明示例性实施例的一种可行的实施场景中，所述输入模块包括：
去噪子模块，用于对待检测语音进行去噪处理；
分段子模块，用于对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
转换子模块，用于对所述帧数据进行序列转换得到所述语音帧序列。
上述实施例中提供的语音流利度识别装置可执行本发明中任意实施例中所提供的语音流利度识别方法，具备执行该方法相应的功能模块和有益效果，未在上述实施例中详细描述的技术细节，可参见本发明任意实施例中所提供的语音流利度识别方法。
将意识到的是，本发明也扩展到适合于将本发明付诸实践的计算机程序，特别是载体上或者载体中的计算机程序。程序可以以源代码、目标代码、代码中间源和诸如部分编译的形式的目标代码的形式，或者以任何其它适合在按照本发明的方法的实现中使用的形式。也将注意的是，这样的程序可能具有许多不同的构架设计。例如，实现按照本发明的方法或者系统的功能性的程序代码可能被再分为一个或者多个子例程。
用于在这些子例程中间分布功能性的许多不同方式将对技术人员而言是明显的。子例程可以一起存储在一个可执行文件中，从而形成自含式的程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如，Java解释器指令)。可替换地，子例程的一个或者多个或者所有子例程都可以存储在至少一个外部库文件中，并且与主程序静态地或者动态地(例如在运行时间)链接。主程序含有对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括对应于所阐明方法中至少一种方法的处理步骤的每一步骤的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图6所示。需要指出的是，图6仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的RNNs神经网络的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如实现深度学习模型的各层结构，以实现上述实施例的语音流利度识别方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储金融小程序，被处理器执行时实现上述实施例的语音流利度识别方法。
另一个涉及计算机程序产品的实施例包括对应于所阐明的系统和/或产品中至少一个的装置中每个装置的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
计算机程序的载体可以是能够运载程序的任何实体或者装置。例如，载体可以包含存储介质，诸如(ROM例如CDROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地，载体可以是可传输的载体，诸如电学或者光学信号，其可以经由电缆或者光缆，或者通过无线电或者其它手段传递。当程序具体化为这样的信号时，载体可以由这样的线缆或者装置组成。可替换地，载体可以是其中嵌入有程序的集成电路，所述集成电路适合于执行相关方法，或者供相关方法的执行所用。
应该留意的是，上文提到的实施例是举例说明本发明，而不是限制本发明，并且本领域的技术人员将能够设计许多可替换的实施例，而不会偏离所附权利要求的范围。在权利要求中，任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本发明可以通过包括几个明显不同的组件的硬件，以及通过适当编程的计算机而实现。在列举几种装置的装置权利要求中，这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。
如果期望的话，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外，如果期望的话，以上所描述的一个或多个功能可以是可选的或者可以进行组合。
如果期望的话，上文所讨论的各步骤并不限于各实施例中的执行顺序，不同步骤可以以不同顺序执行和/或彼此同时执行。此外，在其他实施例中，以上所描述的一个或多个步骤可以是可选的或者可以进行组合。
虽然本发明的各个方面在独立权利要求中给出，但是本发明的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合，而并非仅是权利要求中所明确给出的组合。
这里所要注意的是，虽然以上描述了本发明的示例实施方式，但是这些描述并不应当以限制的含义进行理解。相反，可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本发明的范围。
本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的计算装置来实现，各模块可以集中在单个计算装置或者计算装置组成的网络组中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。
本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的移动终端来实现，各模块可以集中在单个移动终端或者移动终端组成的装置组合中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过编辑可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。
注意，上述仅为本发明的示例性实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种语音流利度识别方法，其特征在于，所述方法包括：
通过序列到序列的深度学习网络构建语音识别模型；
对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
检测待检测语音中所述连续的语音帧序列，确定得到的各语音流利度是否相同；
当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；
当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度；
其中，所述根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度，包括：
获取输入的所述连续的语音帧序列的特性；其中，所述特性包括：语性特性、音素、语言注音特性、上下文特性、语义特性以及环境特性、场景特性；
结合注意力机制对所述特性进行关注，并通过所述语音识别模型中的解码器为每一输入的所述语音帧序列输出对应的单一标签；
将所述单一标签作为所述语音帧序列的分类标注。
2.根据权利要求1所述的方法，其特征在于，所述通过序列到序列的尝试学习网络构建语音识别模型之前，所述方法还包括：
获取若干客服记录中的客服语音并创建语音数据库；
对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
3.根据权利要求1所述的方法，其特征在于，所述对待检测语音进行预处理得到连续的语音帧序列，包括：
对待检测语音进行去噪处理；
对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
对所述帧数据进行序列转换得到所述语音帧序列。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述语音识别模型的客服语音-分类标注；
通过语音识别模型得到所述客服语音－分类标注的分布式特征表示，映射到数据库；
对所述分布式特征进行组合得到各分类标注的整体特征；
根据所述整体特征对客服语音进行检测。
5.一种客服语音流利度识别装置，其特征在于，所述装置包括：
构建模块，用于通过序列到序列的深度学习网络构建语音识别模型；
输入模块，用于对待检测语音进行预处理得到连续的语音帧序列，将所述连续的语音帧序列输入到所述语音识别模型中；
确定模块，用于根据所述语音识别模型确定出所述连续的语音帧序列对应的语音流利度；
所述确定模块，还用于：
获取输入的所述连续的语音帧序列的特性；其中，所述特性包括：语性特性、音素、语言注音特性、上下文特性、语义特性以及环境特性、场景特性；结合注意力机制对所述特性进行关注，并通过所述语音识别模型中的解码器为每一输入的所述语音帧序列输出对应的单一标签；将所述单一标签作为所述语音帧序列的分类标注；
检测模块，用于检测待检测语音中所述连续的语音帧序列确定得到的各语音流利度是否相同；
第一输出模块，用于当所述待检测语音中所述连续的语音帧序列确定得到的各语音流利度相同时，将所述语音流利度确定为所述待检测语音对应的客户的流利度；
第二输出模块，用于当所述待检测语音中连续的语音帧序列确定得到的各语音流利度不相同时，将各所述语音流利度中较低一级的语音流利度确定为所述待检测语音的流利度。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取若干客服记录中的客服语音并创建语音数据库；
人工标记模块，用于对所述若干客服记录中的客服语音进行人工标记，为每一客服语音设置分类标注的标签。
7.根据权利要求5所述的装置，其特征在于，所述输入模块包括：
去噪子模块，用于对待检测语音进行去噪处理；
分段子模块，用于对去噪处理后的待检测语音进行分段，每段包括预设帧长度的帧数据；
转换子模块，用于对所述帧数据进行序列转换得到所述语音帧序列。
8.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811093169.0A CN109087667B (zh) | 2018-09-19 | 2018-09-19 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
| PCT/CN2018/124442 WO2020056995A1 (zh) | 2018-09-19 | 2018-12-27 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811093169.0A CN109087667B (zh) | 2018-09-19 | 2018-09-19 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109087667A CN109087667A (zh) | 2018-12-25 |
| CN109087667B true CN109087667B (zh) | 2023-09-26 |
Family
ID=64842144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811093169.0A Active CN109087667B (zh) | 2018-09-19 | 2018-09-19 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109087667B (zh) |
| WO (1) | WO2020056995A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087667B (zh) * | 2018-09-19 | 2023-09-26 | 平安科技（深圳）有限公司 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
| CN109602421A (zh) * | 2019-01-04 | 2019-04-12 | 平安科技（深圳）有限公司 | 健康监测方法、装置及计算机可读存储介质 |
| CN112951270B (zh) * | 2019-11-26 | 2024-04-19 | 新东方教育科技集团有限公司 | 语音流利度检测的方法、装置和电子设备 |
| CN112185380A (zh) * | 2020-09-30 | 2021-01-05 | 深圳供电局有限公司 | 一种用于供电智能客户的语音识别转文本处理方法 |
| CN112599122B (zh) * | 2020-12-10 | 2022-10-14 | 平安科技（深圳）有限公司 | 基于自注意力机制和记忆网络的语音识别方法及装置 |
| CN116032662B (zh) * | 2023-03-24 | 2023-06-16 | 中瑞科技术有限公司 | 一种对讲机数据加密传输系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN102237081A (zh) * | 2010-04-30 | 2011-11-09 | 国际商业机器公司 | 语音韵律评估方法与系统 |
| CN102509483A (zh) * | 2011-10-31 | 2012-06-20 | 苏州思必驰信息科技有限公司 | 一种口语考试的分布式自动评分系统及其方法 |
| KR101609473B1 (ko) * | 2014-10-14 | 2016-04-05 | 충북대학교 산학협력단 | 영어 말하기 시험의 유창성 평가 시스템 및 방법 |
| CN105741832A (zh) * | 2016-01-27 | 2016-07-06 | 广东外语外贸大学 | 一种基于深度学习的口语评测方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10249292B2 (en) * | 2016-12-14 | 2019-04-02 | International Business Machines Corporation | Using long short-term memory recurrent neural network for speaker diarization segmentation |
| CN109087667B (zh) * | 2018-09-19 | 2023-09-26 | 平安科技（深圳）有限公司 | 语音流利度识别方法、装置、计算机设备及可读存储介质 |
-
2018
- 2018-09-19 CN CN201811093169.0A patent/CN109087667B/zh active Active
- 2018-12-27 WO PCT/CN2018/124442 patent/WO2020056995A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN102237081A (zh) * | 2010-04-30 | 2011-11-09 | 国际商业机器公司 | 语音韵律评估方法与系统 |
| CN102509483A (zh) * | 2011-10-31 | 2012-06-20 | 苏州思必驰信息科技有限公司 | 一种口语考试的分布式自动评分系统及其方法 |
| KR101609473B1 (ko) * | 2014-10-14 | 2016-04-05 | 충북대학교 산학협력단 | 영어 말하기 시험의 유창성 평가 시스템 및 방법 |
| CN105741832A (zh) * | 2016-01-27 | 2016-07-06 | 广东外语外贸大学 | 一种基于深度学习的口语评测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020056995A1 (zh) | 2020-03-26 |
| CN109087667A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087667B (zh) | 语音流利度识别方法、装置、计算机设备及可读存储介质 | |
| CN107103903B (zh) | 基于人工智能的声学模型训练方法、装置及存储介质 | |
| CN109743311B (zh) | 一种WebShell检测方法、装置及存储介质 | |
| CN113192516B (zh) | 语音角色分割方法、装置、计算机设备及存储介质 | |
| KR20230175258A (ko) | 반복적 화자 임베딩을 통한 종단간 화자 분리 | |
| CN109670148A (zh) | 基于语音识别的催收辅助方法、装置、设备和存储介质 | |
| CN112084752A (zh) | 基于自然语言的语句标注方法、装置、设备及存储介质 | |
| CN112735479A (zh) | 语音情绪识别方法、装置、计算机设备和存储介质 | |
| CN115687934A (zh) | 意图识别方法、装置、计算机设备及存储介质 | |
| CN114637843A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 | |
| CN113989720A (zh) | 目标检测方法、训练方法、装置、电子设备及存储介质 | |
| CN111899718B (zh) | 用于识别合成语音的方法、装置、设备和介质 | |
| CN110674497B (zh) | 一种恶意程序相似度计算的方法和装置 | |
| CN114694637A (zh) | 混合语音识别方法、装置、电子设备及存储介质 | |
| CN112669850A (zh) | 语音质量检测方法、装置、计算机设备及存储介质 | |
| CN110910905B (zh) | 静音点检测方法及装置、存储介质、电子设备 | |
| CN116741155A (zh) | 语音识别方法、语音识别模型的训练方法、装置及设备 | |
| CN113763968B (zh) | 用于识别语音的方法、装置、设备、介质和产品 | |
| CN114783423A (zh) | 基于语速调整的语音切分方法、装置、计算机设备及介质 | |
| CN114333848A (zh) | 声纹识别方法、装置、电子设备及存储介质 | |
| CN112309405A (zh) | 多种声音事件的检测方法、装置、计算机设备及存储介质 | |
| CN110795941A (zh) | 一种基于外部知识的命名实体识别方法、系统及电子设备 | |
| CN113836915B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN115879446B (zh) | 文本处理方法、深度学习模型训练方法、装置以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |