CN110931013A - 一种语音数据的处理方法及装置 - Google Patents
一种语音数据的处理方法及装置 Download PDFInfo
- Publication number
- CN110931013A CN110931013A CN201911219481.4A CN201911219481A CN110931013A CN 110931013 A CN110931013 A CN 110931013A CN 201911219481 A CN201911219481 A CN 201911219481A CN 110931013 A CN110931013 A CN 110931013A
- Authority
- CN
- China
- Prior art keywords
- voice data
- voice
- speaker
- result
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 239000012634 fragment Substances 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 25
- 238000012512 characterization method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 230000009191 jumping Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种语音数据的处理方法，包括：获取第一语音数据；对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。本发明实现了提高说话人归档准确率的技术效果。同时，本发明还公开了一种语音数据的处理装置和计算机可读存储介质。
Description
技术领域
本发明涉及语音识别技术领域，尤其涉及一种语音数据的处理方法及装置。
背景技术
随着音频处理技术的不断提高，从海量的数据中(例如：电话录音、新闻广播、会议录音等)获取感兴趣的特定人声已成为研究热点。另外，如何对这类音频文档进行合理有效的管理，也是目前存在的一个挑战。
说话人归档(Speaker Diarization)，解决的就是“谁在什么时候说话”的问题，可以对输入的音频信号根据说话人信息进行分割，并分配说话人标签，是说话人分割和说话人识别的结合，可以很好地对音频文档进行合理有效的管理。
但是，在现有技术中，在进行说话人归档时，存在准确率不高的技术问题，导致用户体验较差。
发明内容
本发明实施例通过提供一种语音数据的处理方法及装置，解决了现有技术中在进行说话人归档时，存在准确率不高的技术问题，实现了提高说话人归档准确率的技术效果。
第一方面，本发明通过本发明的一实施例提供如下技术方案：
一种语音数据的处理方法，包括：
获取第一语音数据；
对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；
基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；
基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
优选地，所述对所述第一语音数据进行语音识别，获得语音识别结果，包括：
通过声学模型对所述第一语音数据进行识别，获得所述第一语音数据对应的；
通过语言模型对所述发音单元序列进行识别，获得所述语音识别结果；其中，所述声学模型和所述语言模型均是基于特定数量级的训练样本训练获得的。
优选地，所述M个分词中的每个分词均携带有时间位置信息，所述基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，包括：
基于所述M个分词中每个分词的时间位置信息，从所述第一语音数据中提取出M个第一语音数据片段，其中，所述M个第一语音数据片段与所述M个分词一一对应，所述M个第一语音数据片段构成所述第二语音数据。
优选地，在所述从所述第一语音数据中提取出M个第一语音数据片段之后，还包括：
检测在所述M个第一语音数据片段中是否存在目标语音数据片段，其中，所述目标语音数据片的时长小于第一预设时长；
若存在，则将所述目标语音数据片段与预设语音片段合并，其中，所述预设语音片段属于所述M个第一语音数据片段，所述预设语音片段与所述目标语音数据片段相邻。
优选地，所述基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果，包括：
针对所述M个第一语音数据片段中的每个第一语音数据片段，进行切分，获得N个第二语音数据片段，N为大于M的整数；
提取所述N个第二语音数据片段中的每个第二语音数据片的说话人表征向量，获得N个说话人表征向量，所述N个说话人表征向量与所述N个第二语音数据片段一一对应；
将所述N个说话人表征向量输入到聚类模型中，以对所述N个第二语音数据片段进行聚类，获得聚类结果，所述聚类结果包括R类第二语音数据片段，R为正整数；
基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果。
优选地，所述基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果，包括：
基于所述聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量R，并对应生成R类说话人标签；
从所述语音识别结果中确定出与每一类第二语音数据片段对应的分词；
将与同一类第二语音数据片段对应的分词添加上相同的说话人标签，且不同类的第二语音数据片段对应的分词的说话人标签不同，获得所述归档结果。
优选地，在所述对所述第二语音数据进行说话人归档，获得归档结果之后，还包括：
对所述归档结果进行校正。
优选地，所述对所述归档结果进行校正，包括：
检测所述归档结果中是否存在目标分词，所述目标分词对应两个以上的说话人标签；
若存在，则基于所述两个以上的说话人标签中每个说话人标签对应的时间占比，从所述两个以上的说话人标签中确定一目标说话人标签，其中，所述目标说话人标签的时间占比最大，所述时间占比是指占据所述目标分词的时长比例；
将所述目标分词的说话人标签统一修改为所述目标说话人标签。
优选地，所述语音识别结果中还包含标点符号，所述对所述归档结果进行校正，包括：
确定所述归档结果中标点符号的时间位置；
在所述标点符号的时间位置附近第二预设时长范围内检测是否存在跳变点，所述跳变点前后的说话人标签不同；
若存在，则将所述跳变点的时间位置移动到所述标点符号的时间位置。
优选地，所述对所述归档结果进行校正，包括：
统计所述归档结果中每个第三预设时长内的跳变点的平均数量，所述跳变点前后的说话人标签不同；
判断所述跳变点的平均数量是否大于一预设值；
若大于，则调整所述聚类模型的参数，以使得所述聚类结果中的类别数R减少，并基于调参后的聚类模型获得新的归档结果。
基于同一发明构思，第二方面，本发明通过本发明的一实施例，提供如下技术方案：
一种语音数据的处理装置，包括：
获取模块，用于获取第一语音数据；
识别模块，用于对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；
提取模块，用于基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；
归档模块，用于基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
优选地，所述识别模块，具体用于：
通过声学模型对所述第一语音数据进行识别，获得所述第一语音数据对应的发音单元序列；通过语言模型对所述发音单元序列进行识别，获得所述语音识别结果；其中，所述声学模型和所述语言模型均是基于特定数量级的训练样本训练获得的。
优选地，所述M个分词中的每个分词均携带有时间位置信息，所述提取模块，具体用于：
基于所述M个分词中每个分词的时间位置信息，从所述第一语音数据中提取出M个第一语音数据片段，其中，所述M个第一语音数据片段与所述M个分词一一对应，所述M个第一语音数据片段构成所述第二语音数据。
优选地，所述提取模块，还用于：
在所述从所述第一语音数据中提取出M个第一语音数据片段之后，检测在所述M个第一语音数据片段中是否存在目标语音数据片段，其中，所述目标语音数据片的时长小于第一预设时长；若存在，则将所述目标语音数据片段与预设语音片段合并，其中，所述预设语音片段属于所述M个第一语音数据片段，所述预设语音片段与所述目标语音数据片段相邻。
优选地，所述归档模块，具体用于：
针对所述M个第一语音数据片段中的每个第一语音数据片段，进行切分，获得N个第二语音数据片段，N为大于M的整数；提取所述N个第二语音数据片段中的每个第二语音数据片的说话人表征向量，获得N个说话人表征向量，所述N个说话人表征向量与所述N个第二语音数据片段一一对应；将所述N个说话人表征向量输入到聚类模型中，以对所述N个第二语音数据片段进行聚类，获得聚类结果，所述聚类结果包括R类第二语音数据片段，R为正整数；基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果。
优选地，所述聚类结果包括R类第二语音数据片段，R为正整数，所述归档模块，还用于：
基于所述聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量R，并对应生成R类说话人标签；从所述语音识别结果中确定出与每一类第二语音数据片段对应的分词；将与同一类第二语音数据片段对应的分词添加上相同的说话人标签，且不同类的第二语音数据片段对应的分词的说话人标签不同，获得所述归档结果。
优选地，所述装置，还包括：
校正模块，用于在所述对所述第二语音数据进行说话人归档，获得归档结果之后，对所述归档结果进行校正。
优选地，所述校正模块，具体用于：
检测所述归档结果中是否存在目标分词，所述目标分词对应两个以上的说话人标签；若存在，则基于所述两个以上的说话人标签中每个说话人标签对应的时间占比，从所述两个以上的说话人标签中确定一目标说话人标签，其中，所述目标说话人标签的时间占比最大，所述时间占比是指占据所述目标分词的时长比例；将所述目标分词的说话人标签统一修改为所述目标说话人标签。
优选地，所述语音识别结果中还包含标点符号，所述校正模块，具体用于：
确定所述归档结果中标点符号的时间位置；在所述标点符号的时间位置附近第二预设时长范围内检测是否存在跳变点，所述跳变点前后的说话人标签不同；若存在，则将所述跳变点的时间位置移动到所述标点符号的时间位置。
优选地，所述校正模块，具体用于：
统计所述归档结果中每个第三预设时长内的跳变点的平均数量，所述跳变点前后的说话人标签不同；判断所述跳变点的平均数量是否大于一预设值；若大于，则调整所述聚类模型的参数，以使得所述聚类结果中的类别数R减少，并基于调参后的聚类模型获得新的归档结果。
基于同一发明构思，第三方面，本发明通过本发明的一实施例，提供如下技术方案：
一种语音数据的处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可以实现上述第一方面中任一实施方式的方法步骤。。
基于同一发明构思，第四方面，本发明通过本发明的一实施例，提供如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可以实现上述第一方面中任一实施方式的方法步骤。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本发明实施例中，公开了一种语音数据的处理方法，包括：获取第一语音数据；对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。由于基于语音识别结果从第一语音数据中提取出第二语音数据，第二语音数据与M个分词对应，再基于第二语音数据对语音识别结果进行说话人归档，也就是说，只利用有识别文字结果的语音片段来进行说话人归档，如此，避开了没有语音识别结果的异常数据，消除了异常数据的干扰，故而，解决了现有技术中在进行说话人归档时，存在准确率不高的技术问题，实现了提高说话人归档准确率的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种语音数据的处理方法的流程图；
图2～图4本发明实施例中一种语音数据的处理方法的应用场景图；
图5为本发明实施例中将归档结果进行展示的效果图；
图6为本发明实施例中一种语音数据的处理方法装置的结构图；
图7为本发明实施例中一种语音数据的处理方法装置的结构图；
图8为本发明实施例中一种语音数据的处理方法装置作为服务器时的结构图。
具体实施方式
本发明实施例通过提供一种语音数据的处理方法及装置，解决了现有技术中在进行说话人归档时，存在准确率不高的技术问题，实现了提高说话人归档准确率的技术效果。
本发明实施例的技术方案为解决上述技术问题，总体思路如下：
一种语音数据的处理方法，包括：获取第一语音数据；对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。由于基于语音识别结果从第一语音数据中提取出第二语音数据，第二语音数据与M个分词对应，再基于第二语音数据对语音识别结果进行说话人归档，也就是说，只利用有识别文字结果的语音片段来进行说话人归档，如此，避开了没有语音识别结果的异常数据，消除了异常数据的干扰，故而，解决了现有技术中在进行说话人归档时，存在准确率不高的技术问题，实现了提高说话人归档准确率的技术效果。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
其次说明，本文中出现的术语“多个”，一般是指“两个以上”，包含“两个”的情况。
实施例一
本实施例提供了一种语音数据的处理方法，应用于电子设备中，所述电子设备可以为：录音笔、或翻译机、或PC(Personal Computer，个人电脑)、或智能手机、或平板电脑、或智能电视、或服务器、等等。此处，对于所述电子设备具体是何种设备，本实施例不做具体限定。
如图1所示，所述语音数据的处理方法，包括：
步骤S101：获取第一语音数据。
在具体实施过程中，所述第一语音数据可以是：电子设备启动录音功能录制的一段语音数据，或者，是用户从网上下载的一段语音数据，或者，是电子设备接收其它设备发来的一段语音数据，或者，用户从其它设备上拷贝的一段语音数据，等等。此处，对于第一语音数据的获取方式，不做具体限定。其中，第一语音数据是音频数据。
举例来讲，如图2所示，第一语音数据Date1的时间范围在t1～t23，其中，t1是第一语音数据Date1的起点时刻，t23是第一语音数据Date1的终点时刻。第一语音数据Date1可以以数字信号的形式存储在电子设备中。
在具体实施过程中，第一语音数据中包含一个人或多个人的说话内容，本发明就是要将每个说话人区分出来，并在每个说话人对应语音识别结果(即：识别出来的文字)上添加对应说话人的标签。在本文中，将这样的标签叫做“说话人标签”，用于区分不同的说话人。
步骤S102：对第一语音数据进行语音识别，获得语音识别结果，语音识别结果中包含M个分词，M为大于或等于2的整数。
作为一种可选的实施例，步骤S102，包括：
通过声学模型对第一语音数据进行识别，获得第一语音数据对应的发音单元序列；通过语言模型对发音单元序列进行识别，获得语音识别结果；其中，声学模型和语言模型均是基于特定数量级的训练样本训练获得的。
举例来讲，可以先利用声学模型识别出第一语音数据的发音单元序列，其中，发音单元可以是音素(phoneme)或音节(syllable)，由于在汉语中，一个发音会常常对应多个汉字(例如：拼音“míng”对应的汉字就有“明”、“名”、“铭”、“鸣”、“茗”、等等)，所以需要再利用语言模型对发音单元序列进行词级别的识别，最终确定一个汉字(或词语)，这个汉字(或词语)就是用户真实要表达的。
在具体实施过程中，在语音识别结果中，包含：多个分词(即：M个分词)和标点符号，且每个分词均携带有一时间位置信息。
举例来讲，如图2所示，在对第一语音数据Date1进行语音识别后，获得的语音识别结果为：“作业什么时候交？明天上课前。”，其中，包含7个分词，分别为“作业”、“什么”、“时候”、“交”、“明天”、“上课”、“前”；同时，语言模型还可以进一步识别出标点符号，例如，“交”字后面的问号和“前”字后面的句号。
在具体实施过程中，声学模型和语言模型均属于语音识别模型，均是基于大规模的真实场景数据和各种增广后的仿真数据训练得到的，训练样本数量一般可达到几十万甚至上百万，训练得到的模型对噪声的鲁棒性很高。
需要说明的是：在现有的说话人归档技术中，通常是利用SAD(Speech ActivityDetection，语音活动检测)模块来对进行语音检测(即：检测是否有人说话)，但是，在一些复杂场景下(例如：语音能量小、背景噪声嘈杂、远场混响干扰、等等)，SAD模块容易出现误判问题，导致语音检测结果的准确率较低。而在本实施例中，是基于语音识别结果进行语音检测，由于声学模型和语言模型对噪声鲁棒性很高，可以很好的应对上述复杂的场景，从而获得更准确的语音检测结果。
步骤S103：基于语音识别结果，从第一语音数据中提取出第二语音数据，第二语音数据与所述M个分词对应。
作为一种可选的实施例，步骤S103，包括：
基于所述M个分词中每个分词的时间位置信息，从第一语音数据中提取出M个第一语音数据片段，其中，所述M个分词中的每个分词均携带有时间位置信息，所述M个第一语音数据片段与所述M个分词一一对应，所述M个第一语音数据片段构成第二语音数据。
在具体实施过程中，在语音识别结果中的每个分词均携带有一时间位置信息，该时间位置信息包含一起点时刻和一终点时刻，用于表示对应分词在第一语音数据中的时间位置。
举例来讲，如图2所示，分词“作业”的时间位置信息为“t2～t5”，其中，t2是起点时刻，t5是终点时刻，该时间位置信息的含义是分词“作业”位于第一语音数据中t2～t5的时间位置。同理，分词“什么”的时间位置信息为“t5～t8”，分词“时候”的时间位置信息为“t8～t11”，分词“交”的时间位置信息为“t11～t13”，分词“明天”的时间位置信息为“t13～t17”，分词“上课”的时间位置信息为“t17～t20”，分词“前”的时间位置信息为“t20～t22”。
在具体实施过程中，在获得每个分词的时间位置信息后，则可以基于每个分词的时间位置信息从第一语音数据中，找到每个分词对应的语音片段(即：第一语音数据片段)并截取这些语音片段。
举例来讲，如图2所示，基于分词“作业”的时间位置信息“t2～t5”，在第一语音数据Date1中可以截取到位于t2～t5之间的语音片段1，分词“作业”与语音片段1对应；基于分词“什么”的时间位置信息“t5～t8”，在第一语音数据Date1中可以截取到位于t5～t8之间的语音片段2，分词“什么”与语音片段2对应；基于分词“时候”的时间位置信息“t8～t11”，在第一语音数据Date1中可以截取到位于t8～t11之间的语音片段3，分词“时候”与语音片段3对应；基于分词“交”的时间位置信息“t11～t13”，在第一语音数据Date1中可以截取到位于t11～t13之间的语音片段4，分词“交”与语音片段4对应；基于分词“明天”的时间位置信息“t13～t17”，在第一语音数据Date1中可以截取到位于t13～t17之间的语音片段5，分词“明天”与语音片段5对应；基于分词“上课”的时间位置信息“t17～t20”，在第一语音数据Date1中可以截取到位于t17～t20之间的语音片段6，分词“上课”与语音片段6对应；基于分词“前”的时间位置信息“t20～t22”，在第一语音数据Date1中可以截取到位于t20～t22之间的语音片段7，分词“前”与语音片段7对应。
在具体实施过程中，在从第一语音数据中提取出M个第一语音数据片段之后，所述M个第一语音数据片段即构成了第二语音数据。其中，第二语音数据也是音频数据。
举例来讲，如图2所示，在获得了语音片段1至语音片段7(7个语音片)之后，语音片段1至语音片段7则构成了第二语音数据Date2，如图3所示，第二语音数据Date2的时间点为t2～t22。
在本实施例中，由于基于所述M个分词中每个分词的时间位置信息，从第一语音数据中提取出M个第一语音数据片段，获得了第二语音数据(第二语音数据在后续步骤中，用于进行说话人归档)，如此，去除了非语音段(即：无识别文字片段)，第二语音数据中不存在没有语音识别结果的部分，在基于第二语音数据进行说话人归档时，避开了没有语音识别结果的异常数据，消除了异常数据的干扰。故而，提高了说话人归档准确率，解决了或部分改善了现有技术中在进行说话人归档时，存在准确率不高的技术问题。
作为一种可选的实施例，在从第一语音数据中提取出所述M个第一语音数据片段之后，还包括：对所述M个第一语音数据片段进行预处理。
其中，所述预处理的方式为：检测在所述M个第一语音数据片段中是否存在目标语音数据片段，其中，目标语音数据片的时长小于第一预设时长；若存在，则将目标语音数据片段与预设语音片段合并，其中，预设语音片段属于所述M个第一语音数据片段，预设语音片段与目标语音数据片段相邻。
在具体实施过程中，若某个分词对应的第一语音片段的时长太短，其数据量太少，在后续进行说话人归档时，很难提取到足够多的说话人信息，很难准确地进行说话人的区分。所以，此处需要判断每个第一语音数据片段的时长是否小于第一预设时长，若小于，则将这样的第一语音数据片视为目标语音数据片段，并将其与时间位置上相邻的其它语音片段(即：预设语音片段)合并。
举例来讲，如图2所示，以第一预设时长位0.5秒为例，若语音片段7的时长t20～t22小于0.5秒，则将语音片段7与语音片段6合并。这里，假设语音片段7的时长为0.2秒，则将语音片段7与语音片段6合并，获得新的语音片段6，其对应的分词变为“上课前”，对应的时间位置信息为“t17～t22”。此时，第二语音数据Date2则由7个语音片段变成了6个语音片段，后文则以第二语音数据Date2包含6个语音片段进行举例说明。
步骤S104：基于语音识别结果和第二语音数据进行说话人归档，获得归档结果。
其中，归档结果为携带有说话人标签的文本和时间位置信息，说话人标签用于区分语音识别结果中包含的不同的说话人。
作为一种可选的实施例，步骤S104，包括：
针对所述M个第一语音数据片段中的每个第一语音数据片段，进行切分，获得N个第二语音数据片段，N为大于M的整数；提取所述N个第二语音数据片段中的每个第二语音数据片的说话人表征向量，获得N个说话人表征向量，所述N个说话人表征向量与所述N个第二语音数据片段一一对应；将所述N个说话人表征向量输入到聚类模型中，以对所述N个第二语音数据片段进行聚类，获得聚类结果，聚类结果包括R类第二语音数据片段，R为正整数；基于聚类结果，对语音识别结果分配说话人标签，获得归档结果。
举例来讲，如图3所示，第二语音数据Date2中共包含6个语音片段，分别为：语音片段1(t2～t5)、语音片段2(t5～t8)、语音片段3(t8～t11)、语音片段4(t11～t13)、语音片段5(t13～t17)、语音片段6(t17～t22)。此处，需要对这6个语音片段中的每个语音片段进行切分。
具体地，将语音片段1(t2～t5)切分为语音片段11(t2～t3)、语音片段12(t3～t4)、语音片段13(t4～t5)；将语音片段2(t5～t8)切分为语音片段21(t5～t6)、语音片段22(t6～t7)、语音片段23(t7～t8)；将语音片段3(t8～t11)切分为语音片段31(t8～t9)、语音片段32(t9～t10)、语音片段33(t10～t11)；将语音片段4(t11～t13)切分为语音片段41(t11～t12)、语音片段42(t12～t13)；将语音片段5(t13～t17)切分为语音片段51(t13～t14)、语音片段52(t14～t15)、语音片段53(t15～t16)、语音片段54(t16～t17)；将语音片段6(t17～t22)切分为语音片段61(t17～t18)、语音片段62(t18～t19)、语音片段63(t19～t20)、语音片段64(t20～t21)、语音片段65(t21～t22)。此处，切分后获得的语音片段即为第二语音数据片，共获得21个第二语音数据片段。其中，每个第二语音片段的时长可以相等，也可以不等，对此本实施例不做具体限定。
针对这21个语音数据片段(即：第二语音片段)，需要提取每个语音数据的说话人表征向量(例如：采用深度学习模型进行提取)，共获得21个说话人表征向量；然后利用聚类模型(例如：多级聚类模型)计算这21个说话人表征向量之间相似度，从而对这21个语音数据片段进行聚类，获得聚类结果。
其中，涉及到的聚类算法，可以为：K-Means算法，Hierarchical Clustering算法，Spectral Clustering算法，等等。
在本实施例中，需要对针对所述M个第一语音数据片段中的每个第一语音数据片段，再进行切分，获得N个第二语音数据片段。此处切分其目的是：避免说话人由于语速太快，且不同说话人连续说话或抢话，导致后续在提取说话人表征向量时，提取到两个以上的说话人的说话内容。本实施例进行更细粒度的切分，可以保证切分后的每个语音片段(即：第二语音数据片段)中尽量只包含一个说话人的说话内容。
在具体实施过程中，聚类结果包括R类第二语音数据片段，则表示第二语音数据中包含R个人的说话内容，
进一步，所述基于聚类结果，对语音识别结果分配说话人标签，获得归档结果，包括：
基于聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量为R，并生成R类说话人标签；从所述语音识别结果中确定出与每一类第二语音数据片段对应的分词；将与同一类第二语音数据片段对应的分词都添加上相同的说话人标签，且不同类的第二语音数据片段对应的分词的说话人标签不同，获得归档结果。
在具体实施过程中，聚类算法可以将相似度较高的第二语音数据片段聚在一起，聚在一起的第二语音数据片则可以视为是同一个说话人的说话内容。所以，可以基于聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量R，并对应生成R类说话人标签。
举例来讲，在对上文中的21个语音数据片进行聚类时，若聚类结果为聚成了两类，则表明在第二语音数据中包含两个说话人，即R＝2；若聚类结果为聚成了3类，则表明在第二语音数据中包含3个说话人，即R＝3。
如图3所示，图3示出了聚类结果为聚成两类的情况，对应生成了两种说话人标签，即S1和S2(S1的含义是Speaker1，S2的含义是Speaker2)，用于区分这两个说话人。其中，语音片段11(t2～t3)、语音片段12(t3～t4)、语音片段13(t4～t5)、语音片段21(t5～t6)、语音片段22(t6～t7)、语音片段23(t7～t8)、语音片段31(t8～t9)、语音片段32(t9～t10)、语音片段33(t10～t11)、语音片段41(t11～t12)、语音片段42(t12～t13)，这11个语音片段都聚在了同一类，可以确定这11个语音片段对应的说话人是同一个人，则将这11个语音片段对应的每个分词(时间位置对应)都打上相同的说话人标签(即：将分词“作业”、“什么”、“时候”、“交”都标记为S1)。类似地，语音片段51(t13～t14)、语音片段52(t14～t15)、语音片段53(t15～t16)、语音片段54(t16～t17)、语音片段61(t17～t18)、语音片段62(t18～t19)、语音片段63(t19～t20)、语音片段64(t20～t21)、语音片段65(t21～t22)，这9个语音片段都聚在了同一类，可以确定这9个语音片段对应的说话人是同一个人，则将这9个语音片段对应的每个分词(时间位置对应)都打上相同的说话人标签(即：将分词“明天”、“上课”、“前”都标记为S2)。如此，则完成了说话人归档的工作。
如图5所示，可以将归档结果展示在电子设备的屏幕上，可以基于说话人标签的不同，将语音识别结果分开进行展示。这样，用户就可以直观地看到每个人的说话内容。
作为一种可选的实施例，在步骤S104之后，还包括：对归档结果进行校正。
在实际应用过程中，可能会遇到各种复杂的场景，导致归档出错，所以，还需要对归档结果进行校正。
在具体实施过程中，所述对归档结果进行校正，包括以下三种方式：
方式一：检测归档结果中是否存在目标分词，目标分词对应两个以上的说话人标签；若存在，则基于两个以上的说话人标签中每个说话人标签对应的时间占比，从两个以上的说话人标签中确定一目标说话人标签，其中，目标说话人标签的时间占比最大，时间占比是指占据目标分词的时长比例；将目标分词的说话人标签统一修改为目标说话人标签。
举例来讲，如图3所示，若分词“上课”对应有2个说话人标签(例如：同时具有说话人标签S1和有说话人标签S2)，则需要确定每个说话人标签对应的时间占比，例如，分词“上课”的时间位置“t17～t18”的说话人标签为S1，其时长占比为1/3，“t18～t20”的说话人标签为S2，其时长占比为2/3，则以时间占比最大的S2为准(即：S2为目标说话人标签)，则将分词“上课”的说话人标签统一修改为S2。
此处，若一个分词存在两个以上的说话人标签，则大概率是出现了归档错误，此时可以基于每个说话人标签对应的时间占比，来修改该分词的说话人标签，从而提高归类结果的准确性。
方式二：确定归档结果中每个标点符号的时间位置；基于每个标点符号的时间位置，在每个标点符号的时间位置附近第二预设时长范围内检测是否存在跳变点，跳变点就是不同说话人的说话内容的边界分割点，跳变点前后的说话人标签不同(即：跳变点前面一个第二语音片段的说话人标签和后面一个第二语音片段的说话人标签不同)；若存在，则将跳变点的时间位置移动到对应的标点符号的时间位置。
举例来讲，如图4所示，问号的时间位置在t13，在问号前后各0.5秒钟的范围内，例如，在t10～t14内存在跳变点J，J前面的第二语音片段属于S1类，J后面的第二语音片段属于S2类，则将跳变点J移动到问号t13位置，如图3所示，也就是说，将S1和S2的分界点移动到了t13位置。
此处，考虑到标点符号可以作为不同说话人的说话内容的分界点，基于标点符号对跳变点位置进行调整，可以提升说话人跳变点的准确率，可以很好的解决边界分割不准确问题，提高归类结果的准确性。
方式三：统计归档结果中每个第三预设时长内的跳变点的平均数量；判断该平均数量是否大于一预设值；若大于，则调整聚类模型的参数，使得聚类模型基于所述N个说话人表征向量对所述N个第二语音数据片段重新进行聚类时，聚类结果中的R值变小，并基于调参后的聚类模型重新进行聚类，并基于新获得的聚类结果获得新的归档结果。
举例来讲，如图3所示，以第三预设时长为1秒钟为例，可以统计t2～t22这段时间内平均每秒钟有几个跳变点，若跳变点数量大于预设值(例如：3)，则表明聚类结果中的说话人数量偏多，则需要减少分类结果中的类别数量(即：减少R的值)。具体可以修改聚类模型的参数，从而减少分类结果中的类别数量(例如：R从3减少到2)，再参考步骤S104，基于调参后的聚类模型重新获得一归档结果(这个结果就是校正后的归档结果)。此处，基于短句内说话人个数，对聚类模型进行优化，可以进一步提升归档准确率。
在具体实施过程中，上述三种校正方式可以同时使用，也可以只选择其中的一个或两个使用。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种语音数据的处理方法，包括：获取第一语音数据；对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。由于基于语音识别结果从第一语音数据中提取出第二语音数据，第二语音数据与M个分词对应，再基于第二语音数据对语音识别结果进行说话人归档，也就是说，只利用有识别文字结果的语音片段来进行说话人归档，如此，避开了没有语音识别结果的异常数据，消除了异常数据的干扰，故而，解决了现有技术中在进行说话人归档时，存在准确率不高的技术问题，实现了提高说话人归档准确率的技术效果。
实施例二
基于同一发明构思，如图6所示，本实施例提供了一种语音数据的处理装置200，包括：
获取模块201，用于获取第一语音数据；
识别模块202，用于对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；
提取模块203，用于基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；
归档模块204，用于基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
其中，所述归档结果为携带有说话人标签的文本和时间位置信息，所述说话人标签用于区分所述语音识别结果中包含的不同的说话人。
作为一种可选的实施例，所述识别模块202，具体用于：
通过声学模型对所述第一语音数据进行识别，获得所述第一语音数据对应的发音单元序列；通过语言模型对所述发音单元序列进行识别，获得所述语音识别结果；其中，所述声学模型和所述语言模型均是基于特定数量级的训练样本训练获得的。
作为一种可选的实施例，所述M个分词中的每个分词均携带有时间位置信息，所述提取模块203，具体用于：
基于所述M个分词中每个分词的时间位置信息，从所述第一语音数据中提取出M个第一语音数据片段，其中，所述M个第一语音数据片段与所述M个分词一一对应，所述M个第一语音数据片段构成所述第二语音数据。
作为一种可选的实施例，所述提取模块203，还用于：
在所述从所述第一语音数据中提取出M个第一语音数据片段之后，检测在所述M个第一语音数据片段中是否存在目标语音数据片段，其中，所述目标语音数据片的时长小于第一预设时长；若存在，则将所述目标语音数据片段与预设语音片段合并，其中，所述预设语音片段属于所述M个第一语音数据片段，所述预设语音片段与所述目标语音数据片段相邻。
作为一种可选的实施例，所述归档模块204，具体用于：
针对所述M个第一语音数据片段中的每个第一语音数据片段，进行切分，获得N个第二语音数据片段，N为大于M的整数；提取所述N个第二语音数据片段中的每个第二语音数据片的说话人表征向量，获得N个说话人表征向量，所述N个说话人表征向量与所述N个第二语音数据片段一一对应；将所述N个说话人表征向量输入到聚类模型中，以对所述N个第二语音数据片段进行聚类，获得聚类结果，所述聚类结果包括R类第二语音数据片段，R为正整数；基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果。
作为一种可选的实施例，所述归档模块204，还用于：
基于所述聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量R，并对应生成R类说话人标签；从所述语音识别结果中确定出与每一类第二语音数据片段对应的分词；将与同一类第二语音数据片段对应的分词添加上相同的说话人标签，且不同类的第二语音数据片段对应的分词的说话人标签不同，获得所述归档结果。
作为一种可选的实施例，所述装置200，还包括：
校正模块，用于在所述对所述第二语音数据进行说话人归档，获得归档结果之后，对所述归档结果进行校正。
作为一种可选的实施例，所述校正模块，具体用于：
检测所述归档结果中是否存在目标分词，所述目标分词对应两个以上的说话人标签；若存在，则基于所述两个以上的说话人标签中每个说话人标签对应的时间占比，从所述两个以上的说话人标签中确定一目标说话人标签，其中，所述目标说话人标签的时间占比最大，所述时间占比是指占据所述目标分词的时长比例；将所述目标分词的说话人标签统一修改为所述目标说话人标签。
作为一种可选的实施例，所述语音识别结果中还包含标点符号，所述校正模块，具体用于：
确定所述归档结果中标点符号的时间位置；在所述标点符号的时间位置附近第二预设时长范围内检测是否存在跳变点，所述跳变点前后的说话人标签不同；若存在，则将所述跳变点的时间位置移动到所述标点符号的时间位置。
作为一种可选的实施例，所述校正模块，具体用于：
统计所述归档结果中每个第三预设时长内的跳变点的平均数量，所述跳变点前后的说话人标签不同；判断所述跳变点的平均数量是否大于一预设值；若大于，则调整所述聚类模型的参数，以使得所述聚类结果中的类别数R减少，并基于调参后的聚类模型获得新的归档结果。
由于本实施例所介绍的语音数据的处理装置为实施本发明实施例中语音数据的处理方法所采用的装置，故而基于本发明实施例中所介绍的语音数据的处理方法，本领域所属技术人员能够了解本实施例的语音数据的处理装置的具体实施方式以及其各种变化形式，所以在此对于该语音数据的处理装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中语音数据的处理方法所采用的装置，都属于本发明所欲保护的范围。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种语音数据的处理装置的结构图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置800的处理器执行时，使得装置800能够执行一种语音数据的处理方法，包括：获取第一语音数据；对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
图8是本发明实施例中一种语音数据的处理装置作为服务器时的结构图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种语音数据的处理方法，其特征在于，包括：
获取第一语音数据；
对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；
基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；
基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
2.如权利要求1所述的方法，其特征在于，所述对所述第一语音数据进行语音识别，获得语音识别结果，包括：
通过声学模型对所述第一语音数据进行识别，获得所述第一语音数据对应的发音单元序列；
通过语言模型对所述发音单元序列进行识别，获得所述语音识别结果；其中，所述声学模型和所述语言模型均基于特定数量级的训练样本训练获得的。
3.如权利要求1所述的方法，其特征在于，所述M个分词中的每个分词均携带有时间位置信息，所述基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，包括：
基于所述M个分词中每个分词的时间位置信息，从所述第一语音数据中提取出M个第一语音数据片段，其中，所述M个第一语音数据片段与所述M个分词一一对应，所述M个第一语音数据片段构成所述第二语音数据。
4.如权利要求3所述的方法，其特征在于，在所述从所述第一语音数据中提取出M个第一语音数据片段之后，还包括：
检测在所述M个第一语音数据片段中是否存在目标语音数据片段，其中，所述目标语音数据片的时长小于第一预设时长；
若存在，则将所述目标语音数据片段与预设语音片段合并，其中，所述预设语音片段属于所述M个第一语音数据片段，所述预设语音片段与所述目标语音数据片段相邻。
5.如权利要求3所述的方法，其特征在于，所述基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果，包括：
针对所述M个第一语音数据片段中的每个第一语音数据片段，进行切分，获得N个第二语音数据片段，N为大于M的整数；
提取所述N个第二语音数据片段中的每个第二语音数据片的说话人表征向量，获得N个说话人表征向量，所述N个说话人表征向量与所述N个第二语音数据片段一一对应；
将所述N个说话人表征向量输入到聚类模型中，以对所述N个第二语音数据片段进行聚类，获得聚类结果，所述聚类结果包括R类第二语音数据片段，R为正整数；
基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果。
6.如权利要求5所述的方法，其特征在于，所述基于所述聚类结果，对所述语音识别结果分配说话人标签，获得所述归档结果，包括：
基于所述聚类结果，确定所述N个第二语音数据片段中包含的说话人的数量R，并对应生成R类说话人标签；
从所述语音识别结果中确定出与每一类第二语音数据片段对应的分词；
将与同一类第二语音数据片段对应的分词添加上相同的说话人标签，且不同类的第二语音数据片段对应的分词的说话人标签不同，获得所述归档结果。
7.如权利要求5或6任一所述的方法，其特征在于，在所述对所述第二语音数据进行说话人归档，获得归档结果之后，还包括：
对所述归档结果进行校正。
8.一种语音数据的处理装置，其特征在于，包括：
获取模块，用于获取第一语音数据；
识别模块，用于对所述第一语音数据进行语音识别，获得语音识别结果，所述语音识别结果中包含M个分词，M为大于或等于2的整数；
提取模块，用于基于所述语音识别结果，从所述第一语音数据中提取出第二语音数据，所述第二语音数据与所述M个分词对应；
归档模块，用于基于所述语音识别结果和所述第二语音数据进行说话人归档，获得归档结果。
9.一种语音数据的处理装置，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可以实现如权利要求1～7任一权项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可以实现如权利要求1～7任一权项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219481.4A CN110931013B (zh) | 2019-11-29 | 2019-11-29 | 一种语音数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219481.4A CN110931013B (zh) | 2019-11-29 | 2019-11-29 | 一种语音数据的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110931013A true CN110931013A (zh) | 2020-03-27 |
| CN110931013B CN110931013B (zh) | 2022-06-03 |
Family
ID=69848553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219481.4A Active CN110931013B (zh) | 2019-11-29 | 2019-11-29 | 一种语音数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110931013B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793592A (zh) * | 2021-10-29 | 2021-12-14 | 浙江核新同花顺网络信息股份有限公司 | 一种区分说话人的方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682760A (zh) * | 2011-03-07 | 2012-09-19 | 株式会社理光 | 重叠语音检测方法和系统 |
| KR20140082157A (ko) * | 2012-12-24 | 2014-07-02 | 한국전자통신연구원 | 다중 음향 모델을 이용하여 음성을 인식하기 위한 장치 및 그 방법 |
| CN106331893A (zh) * | 2016-08-31 | 2017-01-11 | 科大讯飞股份有限公司 | 实时字幕显示方法及系统 |
| CN107993665A (zh) * | 2017-12-14 | 2018-05-04 | 科大讯飞股份有限公司 | 多人会话场景中发言人角色确定方法、智能会议方法及系统 |
| CN109785846A (zh) * | 2019-01-07 | 2019-05-21 | 平安科技（深圳）有限公司 | 单声道的语音数据的角色识别方法及装置 |
| CN110444223A (zh) * | 2019-06-26 | 2019-11-12 | 平安科技（深圳）有限公司 | 基于循环神经网络和声学特征的说话人分离方法及装置 |
-
2019
- 2019-11-29 CN CN201911219481.4A patent/CN110931013B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682760A (zh) * | 2011-03-07 | 2012-09-19 | 株式会社理光 | 重叠语音检测方法和系统 |
| KR20140082157A (ko) * | 2012-12-24 | 2014-07-02 | 한국전자통신연구원 | 다중 음향 모델을 이용하여 음성을 인식하기 위한 장치 및 그 방법 |
| CN106331893A (zh) * | 2016-08-31 | 2017-01-11 | 科大讯飞股份有限公司 | 实时字幕显示方法及系统 |
| CN107993665A (zh) * | 2017-12-14 | 2018-05-04 | 科大讯飞股份有限公司 | 多人会话场景中发言人角色确定方法、智能会议方法及系统 |
| CN109785846A (zh) * | 2019-01-07 | 2019-05-21 | 平安科技（深圳）有限公司 | 单声道的语音数据的角色识别方法及装置 |
| CN110444223A (zh) * | 2019-06-26 | 2019-11-12 | 平安科技（深圳）有限公司 | 基于循环神经网络和声学特征的说话人分离方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793592A (zh) * | 2021-10-29 | 2021-12-14 | 浙江核新同花顺网络信息股份有限公司 | 一种区分说话人的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110931013B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107291690B (zh) | 标点添加方法和装置、用于标点添加的装置 | |
| CN107632980B (zh) | 语音翻译方法和装置、用于语音翻译的装置 | |
| CN107221330B (zh) | 标点添加方法和装置、用于标点添加的装置 | |
| CN111145756B (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
| CN110210310B (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
| CN107992812A (zh) | 一种唇语识别方法及装置 | |
| CN108399914B (zh) | 一种语音识别的方法和装置 | |
| US20190251972A1 (en) | Speech processing method and device | |
| CN107564526B (zh) | 处理方法、装置和机器可读介质 | |
| CN107291704B (zh) | 处理方法和装置、用于处理的装置 | |
| CN108073572B (zh) | 信息处理方法及其装置、同声翻译系统 | |
| CN109471919B (zh) | 零代词消解方法及装置 | |
| CN109819288B (zh) | 广告投放视频的确定方法、装置、电子设备及存储介质 | |
| CN108628819B (zh) | 处理方法和装置、用于处理的装置 | |
| CN111369978B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN111831806A (zh) | 语义完整性确定方法、装置、电子设备和存储介质 | |
| CN111160047A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN112735396A (zh) | 语音识别纠错方法、装置及存储介质 | |
| CN111144101A (zh) | 错别字处理方法和装置 | |
| CN113343675A (zh) | 一种字幕生成方法、装置和用于生成字幕的装置 | |
| CN112035651B (zh) | 语句补全方法、装置及计算机可读存储介质 | |
| CN110931013B (zh) | 一种语音数据的处理方法及装置 | |
| CN113343720A (zh) | 一种字幕翻译方法、装置和用于字幕翻译的装置 | |
| CN111640452A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN111832297A (zh) | 词性标注方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |