CN110473566A - 音频分离方法、装置、电子设备及计算机可读存储介质 - Google Patents
音频分离方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110473566A CN110473566A CN201910678465.5A CN201910678465A CN110473566A CN 110473566 A CN110473566 A CN 110473566A CN 201910678465 A CN201910678465 A CN 201910678465A CN 110473566 A CN110473566 A CN 110473566A
- Authority
- CN
- China
- Prior art keywords
- voice
- vocal print
- text
- print feature
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000001755 vocal effect Effects 0.000 claims abstract description 151
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 56
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013136 deep learning model Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 4
- 235000015170 shellfish Nutrition 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 description 32
- 238000009434 installation Methods 0.000 description 28
- 238000013135 deep learning Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005520 electrodynamics Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
Abstract
本发明涉及一种音频分离方法、装置、电子设备及计算机可读存储介质。所述方法包括：获取语音；对所述语音进行噪声过滤；从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到预设语音分类模型进行分类得到分类结果，根据所述分类结果将相同的声纹特征数据对应的语音进行编码并存储为单独的语音文件而将所述语音进行分离处理；及对经过分离处理后的语音进行识别以获取所述语音的识别文本。本发明通过利用预设语音分类模型对过滤后的语音按照语音的声纹特征做分离处理，及对经过分离处理后的语音进行识别以获取所述语音的识别文本，可以识别出语音中不同人说的话语的语音文本，提高了语音识别的准确率。
Description
技术领域
本发明涉及语音处理领域，具体涉及一种音频分离方法、装置、电子设备及计算机可读存储介质。
背景技术
目前，通用的语音识别中，如果存在多个人讲话，识别出来的文字包含了多个人的说话内容，因而无法区分这些文字分别是谁说的，从而影响识别的效果和准确率。
发明内容
鉴于以上内容，有必要提出一种音频分离方法、装置、电子设备及计算机可读存储介质提高语音识别的准确率。
本申请的第一方面提供一种音频分离方法，所述方法包括：
获取语音；
对所述语音进行噪声过滤；
从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到预设语音分类模型进行分类得到分类结果，根据所述分类结果将相同的声纹特征数据对应的语音进行编码并存储为单独的语音文件而将所述语音进行分离处理；及
对经过分离处理后的语音进行识别以获取所述语音的识别文本。
优选的，所述预设语音分类模型的训练过程包括：
获取正样本的声纹特征数据及负样本的声纹特征数据，并将正样本的声纹特征数据标注声纹特征类别，以使正样本的声纹特征数据携带声纹特征类别标签；
将所述正样本的声纹特征数据及所述负样本的声纹特征数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述预设语音分类模型，并利用所述验证集验证训练后的所述预设语音分类模型的准确率；
若所述准确率大于或者等于预设准确率时，则结束训练，并以训练后的所述预设语音分类模型作为分类器识别所述声纹特征数据的类别；及
若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述预设语音分类模型直至所述准确率大于或者等于预设准确率。
优选的，所述对所述语音进行噪声过滤包括：
从所述语音中选择语音分贝超过第一分贝阈值的语音信息作为环境噪声，并将语音分贝超过第一分贝阈值的所述环境噪声进行删除。
优选的，所述对所述语音进行噪声过滤包括：
建立机器学习及深度学习模型；建立声纹识别模型；将获取的所述语音通过所述机器学习及深度学习模型进行学习，对所述语音中的环境噪声进行识别区分；将经过所述机器学习及深度学习模型识别后的语音进行过滤，剔除掉所述语音中不属于人说话音频的环境噪声，得到经过初步筛查的语音；判断经过初步筛查的语音是否达到预设阈值；当确定经过初步筛查的语音达到预设阈值时，将达到预设阈值的语音与所述声纹识别模型进行对比提取，保留与所述声纹识别模型相符合的语音频率及语谱图像，剔除掉与所述声纹识别模型不符合的语音，得到声纹降噪处理的语音。
优选的，所述对经过分离处理后的语音进行识别以获取所述语音的识别文本包括：
通过语音识别将经过分离处理后的语音转化为文本，作为初始语音识别文本；及
将所述初始语音识别文本与预设文本数据库进行匹配，得到匹配后的语音识别文本。
优选的，所述通过语音识别将经过分离处理后的语音转化为文本包括：
提取所述语音的音频特征，转换为预设长度的声学特征向量；
根据解码算法将所述特征向量解码成词序；
通过HMM音素模型得到对应词序的子词，所述子词为声母和韵母；
根据预设的发音字典将多个子词拼接成文字；及
使用维特比算法解码得到最优序列，得到文本。
优选的，所述声纹特征包括，梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature以及能量规整谱系数PNCC。
申请的第二方面提供一种音频分离装置，所述装置包括：
获取模块，用于获取语音；
噪声过滤模块，用于对所述语音进行噪声过滤；
语音分离模块，用于从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到预设语音分类模型进行分类得到分类结果，根据所述分类结果将相同的声纹特征数据对应的语音进行编码并存储为单独的语音文件而将所述语音进行分离处理；及
文本识别模块，用于对经过分离处理后的语音进行识别以获取所述语音的识别文本。
本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述音频分离方法。
本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述音频分离方法。
本发明通过利用预设语音分类模型对过滤后的语音按照语音的声纹特征做分离处理，及对经过分离处理后的语音进行识别以获取所述语音的识别文本，可以识别出语音中不同人说的话语的语音文本，提高了语音识别的准确率。
附图说明
图1是本发明一实施方式中音频分离方法的流程图。
图2是本发明一实施方式中音频分离方法的应用环境示意图。
图3是本发明一实施方式中页音频分离装置的示意图。
图4是本发明一实施方式中电子设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明音频分离方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。
所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例1
图1是本发明一实施方式中音频分离方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图1所示，所述音频分离方法具体包括以下步骤：
步骤S11、获取语音。
请参考图2，所示为本发明一实施方式中音频分离方法的应用环境图。本实施方式中，所述方法应用在一终端装置1中。所述终端装置1包括一语音获取单元11。所述终端装置1通过所述语音获取单元11获取语音。本实施方式中，所述语音获取单元11可以包括，但不限于电动式、电容式、压电式、电磁式、半导体式麦克风。在另一实施方式中，所述终端装置1可以接收与所述终端装置1通信连接的外部设备2发送的语音。在其他实施方式中，所述终端装置1从终端装置1的存储设备中获取语音。
步骤S12、对所述语音进行噪声过滤。
在一实施方式中，所述终端装置1对所述语音中的环境噪声进行过滤。例如，当所述终端装置1从嘈杂的环境中通过所述语音获取单元11获取语音时，所述语音中包括了终端装置1所处环境的环境噪声。在一具体实施方式中，所述终端装置1检测获取的语音的语音分贝是否处于预设分贝阈值范围，当所述语音的语音分贝不在预设分贝阈值范围内时，则所述终端装置1对所述语音进行噪声过滤。所述预设分贝阈值可以根据需要进行设定，本实施方式中，所述预设分贝阈值范围可以设定为70-80db。所述终端装置1从所述语音中，选择语音分贝超过第一分贝阈值的语音信息作为所述环境噪声，并将语音分贝超过第一分贝阈值的所述环境噪声进行删除，如此实现对所述语音的噪声过滤。本实施方式中，根据需要可以对所述第一分贝阈值进行设定，例如可将所述第一分贝阈值设定为80db。
在一实施方式中，所述终端装置1通过深度学习的声纹降噪方法对所述语音中的环境噪声进行过滤。在具体实施方法中，所述通过深度学习的声纹降噪方法对所述语音中的环境噪声进行过滤包括：建立机器学习及深度学习模型；建立声纹识别模型；将获取的所述语音通过机器学习及深度学习模型进行学习，对所述语音中的环境噪声进行识别区分；将经过所述机器学习及深度学习模型识别后的语音进行过滤，剔除掉所述语音中不属于人说话音频的环境噪声，得到经过初步筛查的语音；判断经过初步筛查的语音是否达到预设阈值；当确定经过初步筛查的语音达到预设阈值时，将达到预设阈值的语音与所述声纹识别模型进行对比提取，保留与所述声纹识别模型相符合的语音频率及语谱图像，剔除掉与所述声纹识别模型不符合的语音，得到声纹降噪处理的语音。
本实施方式中，所述终端装置1利用大量获得的说话环境音频以及大量的特定人说话音频建立一个机器学习及深度学习模型；将说话环境音频及特定人说话音频全部转换成为波普图的形式并导入到终端装置1中，通过大量反复训练，通过机器学习及深度学习区分环境噪声(环境音)和特定人说话的语音波普图。
本实施方式中，每个人独具一格的声纹可以用语普图观察出来。获取特定说话人的声音声纹，将所述人的声纹先进行特征提取操作，用已有的所述特定说话人的声纹建立声纹语谱图，进行声纹语谱图上的特征提取后便可以建立起只属于该人的声纹识别模型。声纹识别模型的建模方法分为三种类型，分别为：文本相关、文本无关和文本提示。由于不能决定输入的语音内容，因此选择文本无关类型进行声纹建模，从而得到所述声纹识别模型。其中，文本无关包括：GMM-UBM、GMM-SVM、GMM-UBM-LF、i-vector/PLDA)。本实施方式中，选取GMM-UBM建立说话人确认系统声纹建模，当输入多个说话人的声音和测试语音，通过MFCC特征向量提取，经过大量人声纹数据的反复训练和MAP自适应处理及确认决策，得到一个声纹识别率较高的人声纹识别模型。本实施方式中，MFCC特征向量提取过程包括输入样本语音，所述样本语音预加重、分帧、加窗，将处理好的样本语音做傅里叶变换，进行Mel频率滤波，进行Log对数能量，对样本求倒谱，输出MFCC图像。
在另一实施方式中，所述终端装置1对所述语音中的白噪声进行滤除。其中，白噪声是指在较宽的频率范围内，各等带宽的频带所含的噪声能量相等的噪声。本实施方式中，可以通过小波变换算法或卡尔曼滤波算法去除所述语音中的白噪声。
步骤S13、从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到所述预设语音分类模型进行分类得到分类结果，并根据分类结果将相同的声纹特征数据对应的语音进行编码存储为单独的语音文件而将所述语音进行分离处理。
由于现实世界中每个人都具有特定的声纹特征，这是由我们的发声器官在成长过程中逐渐形成的特征，无论别人对我们的说话模仿的多么相似，声纹特征其实都是具有显著区别的。因此，本实施方式中可以利用声纹特征对说话人进行身份验证及对说话人的语音进行区别。在具体的实际应用中，所述声纹特征数据包括，但不限于，梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature以及能量规整谱系数PNCC等。当所述语音经过噪声过滤后，所述终端装置1通过小波变换技术，提取所述语音中的梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature或能量规整谱系数PNCC等声纹特征数据，并依据所述梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature或能量规整谱系数PNCC声纹特征数据输入到所述预设语音分类模型得到分类结果，根据分类结果，将相同的声纹特征数据对应的语音进行编码，存储为单独的语音文件。
本实施方式中，所述预设语音分类模型包括以下至少一项：向量机模型、随机模型和神经网络模型。具体的，所述终端装置根据提取出的声纹特征数据利用预先训练好的预设语音分类模型确定所述声纹特征数据的类别。在本发明中，所述声纹特征数据的类别包括：第一声纹特征类别、第二声纹特征类别、第三声纹特征类别。本实施方式中，所述预设语音分类模型的训练过程包括：
1)获取正样本的声纹特征数据及负样本的声纹特征数据，并将正样本的声纹特征数据标注声纹特征类别，以使正样本的声纹特征数据携带声纹特征类别标签。
例如，分别选取500个第一声纹特征类别、第二声纹特征类别、第三声纹特征类别对应的声纹特征数据，并对每个声纹特征数据标注类别，可以以“1”作为第一声纹特征类别的声纹特征标签，以“2”作为第二声纹特征类别的声纹特征标签，以“3”作为第三声纹特征类别的声纹特征标签。
2)将所述正样本的声纹特征数据及所述负样本的声纹特征数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述预设语音分类模型，并利用所述验证集验证训练后的所述预设语音分类模型的准确率。
先将不同声纹特征的训练集中的训练样本分发到不同的文件夹里。例如，将第一声纹特征类别的训练样本分发到第一文件夹里、第二声纹特征类别的训练样本分发到第二文件夹里、第三声纹特征类别的训练样本分发到第三文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行所述预设语音分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的所述预设语音分类模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述预设语音分类模型作为分类器识别所述声纹特征数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述预设语音分类模型直至所述准确率大于或者等于预设准确率。
本实施方式中，所述终端装置1还用于将相同的声纹特征数据对应的语音进行加强放大处理；对经过加强放大处理后的语音进行编码。也即，所述终端装置1把所述语音中按照声纹特征分离出来不同声纹特征的语音后将分离出来的语音分别加强放大处理，并将对应于相同的声纹特征的语音进行编码，存储为单独的语音文件，并单独存储为语音文件。
步骤S14、对经过分离处理后的语音进行识别以获取所述语音的识别文本。
本实施方式中，所述终端装置1通过语音识别将经过分离处理后的语音转化为文本，作为初始语音识别文本；并将所述初始语音识别文本与预设文本数据库进行匹配，得到匹配后的语音识别文本。
本实施方式中，所述终端装置1通过语音识别将经过分离处理后的语音转化为文本的具体过程包括：
1)提取所述语音的音频特征，转换为预设长度的声学特征向量；
2)根据解码算法将所述特征向量解码成词序；
3)通过HMM音素模型得到对应词序的子词，所述子词为声母和韵母；
4)根据预设的发音字典将多个子词拼接成文字；
5)使用语言模型语法规则解码得到最优序列，得到文本。
本实施方式中，所述语法规则为维特比算法。例如，所述待识别的语音为“你好”，经过特征提取后转化为39维的声学特征向量，通过多个HMM音素模型得到对应的多个子词/n//i//h//ao/，根据预设的发音字典将多个子词拼接成字，如你，尼；好，号。通过维特比算法解码得到最优序列“你好”并将文本输出。
本实施方式中，可以预先设置至少两个文本数据库，例如，第一文本数据库及第二文本数据库。第一文本数据库可以专用于存储多个语气词，如“嗯”、“啊”、“是吧”等，语气词与会议内容无关，且又易影响语音转换为文本后的可读性。第二文本数据库可以专用于存储多个专业词及对应的拼音，如“特征向量”、“特征矩阵”、“张量分析”等，专业词较复杂，因而在识别语音的过程中容易批量出现错误。本发明还可以根据实际情况预先设置第三文本数据库等，专用于存储诸如姓名或者地名等的语句。本文对于预先设置的本文数据库的数量及对应的内容不作具体限制。
本实施方式中，所述终端装置1将所述初始语音识别文本与预设文本数据库进行匹配具体包括：
1)将所述初始语音识别文本与预设第一文本数据库进行匹配，得到第一匹配结果；及
2)将所述第一匹配结果与预设第二文本数据库进行匹配，得到第二匹配结果；
具体地，所述将所述初始语音识别文本与预设第一文本数据库进行匹配包括：判断所述初始语音识别文本中是否存在与预设第一文本数据库中的词语相匹配的第一词语；当确定所述初始语音识别文本中存在与预设第一文本数据库中的词语相匹配的第一词语时，将所述初始语音识别文本中相匹配的第一词语进行处理。
优选地，所述将所述初始语音识别文本中相匹配的第一词语进行处理还可以进一步包括：根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语是否为待删除的语气词；当确定所述相匹配的第一词语为待删除的语气词时，将所述初始语音识别文本中相匹配的第一词语进行剔除；当确定所述相匹配的第一词语不为待删除的语气词时，将所述初始语音识别文本中相匹配的第一词语进行保留。
举例而言，假设初始语音识别文本为“这个挺好用的”，预设第一文本数据库中存储有语气词“这个”，则将初始语音识别文本与预设第一文本数据库进行匹配后确定了相匹配的词语为“这个”，然后根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语“这个”是否为待删除的语气词，所述基于深度学习网络的语气词模型确定相匹配的第一词语“这个”在“这个挺好用的”中不属于待删除的语气词，则将所述初始语音识别文本中相匹配的第一词语进行保留，得到的第一匹配结果为“这个挺好用的”。
再如，假设初始语音识别文本为“这个，我们要开会了”，预设第一文本数据库中存储有语气词“这个”，则将初始语音识别文本与预设第一文本数据库进行匹配后确定了相匹配的词语为“这个”，然后根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语“这个”是否为待删除的语气词，所述基于深度学习网络的语气词模型确定相匹配的第一词语“这个”在“这个，我们要开会了”中属于待删除的语气词，则将所述初始语音识别文本中相匹配的第一词语进行剔除，得到的第一匹配结果为“我们要开会了”。
具体地，所述将所述第一匹配结果与预设第二文本数据库进行匹配包括：
1)将所述第一匹配结果中的词语转换为第一拼音；
2)判断所述预设第二文本数据库中是否存在与所述第一拼音相同的第二拼音；
3)当确定所述预设第二文本数据库中存在与所述第一拼音相同的第二拼音时，将第二拼音对应的词语提取出来，作为第一拼音对应的词语。
例如，假设第一匹配结果为“这是一个原始巨震”，将第一匹配结果中的词语转换为第一拼音为“zhe shi yige yuanshi juzhen”；预设第二文本数据库中储存有专业词“矩阵”及对应的第二拼音“juzheng”,则在确定所述预设第二文本数据库中存在与所述第一拼音相同的第二拼音时，将第二拼音“juzheng”对应的词语“矩阵”提取出来，作为第一拼音“juzheng”对应的词语，得到的第二匹配结果为“这是一个原始矩阵”。
本发明通过语音识别技术将经过分离处理后的语音转化为文本，作为初始语音识别文本；并将所述初始语音识别文本与预设文本数据库进行匹配,得到匹配后的语音识别文本，可以识别出语音中不同人说的话语的语音文本，方便记录人员进行信息汇整。
实施例2
图3为本发明一实施方式中音频分离装置40的示意图。
在一些实施例中，所述音频分离装置40运行于电子设备中。所述音频分离装置40可以包括多个由程序代码段所组成的功能模块。所述音频分离装置40中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行音频分离的功能。
本实施例中，所述音频分离装置40根据其所执行的功能，可以被划分为多个功能模块。参阅图3所示，所述音频分离装置40可以包括获取模块401、噪声过滤模块402、语音分离模块403及文本识别模块404。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述获取模块401用于获取语音。
所述获取模块401通过所述语音获取单元11获取语音。本实施方式中，所述语音获取单元11可以包括，但不限于电动式、电容式、压电式、电磁式、半导体式麦克风。在另一实施方式中，所述获取模块401可以接收与所述终端装置1通信连接的外部设备2发送的语音。在其他实施方式中，所述获取模块401从终端装置1的存储设备中获取语音。
所述噪声过滤模块402用于对所述语音进行噪声过滤。
在一实施方式中，所述噪声过滤模块402对所述语音中的环境噪声进行过滤。在一具体实施方式中，所述噪声过滤模块402检测获取的语音的语音分贝是否处于预设分贝阈值范围，当所述语音的语音分贝不在预设分贝阈值范围内时，所述噪声过滤模块402对所述语音进行噪声过滤。所述预设分贝阈值可以根据需要进行设定，本实施方式中，所述预设分贝阈值范围可以设定为70-80db。所述噪声过滤模块402从所述语音中，选择语音分贝超过第一分贝阈值的语音信息作为所述环境噪声，并将语音分贝超过第一分贝阈值的所述环境噪声进行删除，如此实现对所述语音的噪声过滤。本实施方式中，根据需要可以对所述第一分贝阈值进行设定，例如可将所述第一分贝阈值设定为80db。
在一实施方式中，所述噪声过滤模块402通过深度学习的声纹降噪方法对所述语音中的环境噪声进行过滤。在具体实施方法中，所述通过深度学习的声纹降噪方法对所述语音中的环境噪声进行过滤包括：建立机器学习及深度学习模型；建立声纹识别模型；将获取的所述语音通过机器学习及深度学习模型进行学习，对所述语音中的环境噪声进行识别区分；将经过所述机器学习及深度学习模型识别后的语音进行过滤，剔除掉所述语音中不属于人说话音频的环境噪声，得到经过初步筛查的语音；判断经过初步筛查的语音是否达到预设阈值；当确定经过初步筛查的语音达到预设阈值时，将达到预设阈值的语音与所述声纹识别模型进行对比提取，保留与所述声纹识别模型相符合的语音频率及语谱图像，剔除掉与所述声纹识别模型不符合的语音，得到声纹降噪处理的语音。
本实施方式中，所述噪声过滤模块402利用大量获得的说话环境音频以及大量的特定人说话音频建立一个机器学习及深度学习模型；将说话环境音频及特定人说话音频全部转换成为波普图的形式并导入到终端装置1中，通过大量反复训练，通过机器学习及深度学习区分环境噪声(环境音)和特定人说话的语音波普图。
本实施方式中，每个人独具一格的声纹可以用语普图观察出来。获取特定说话人的声音声纹，将所述人的声纹先进行特征提取操作，用已有的所述特定说话人的声纹建立声纹语谱图，进行声纹语谱图上的特征提取后便可以建立起只属于该人的声纹识别模型。声纹识别模型的建模方法分为三种类型，分别为：文本相关、文本无关和文本提示。由于不能决定输入的语音内容，因此选择文本无关类型进行声纹建模，从而得到所述声纹识别模型。其中，文本无关包括：GMM-UBM、GMM-SVM、GMM-UBM-LF、i-vector/PLDA)。本实施方式中，选取GMM-UBM建立说话人确认系统声纹建模，当输入多个说话人的声音和测试语音，通过MFCC特征向量提取，经过大量人声纹数据的反复训练和MAP自适应处理及确认决策，得到一个声纹识别率较高的人声纹识别模型。本实施方式中，MFCC特征向量提取过程包括输入样本语音，所述样本语音预加重、分帧、加窗，将处理好的样本语音做傅里叶变换，进行Mel频率滤波，进行Log对数能量，对样本求倒谱，输出MFCC图像。
在另一实施方式中，所述噪声过滤模块402对所述语音中的白噪声进行滤除。其中，白噪声是指在较宽的频率范围内，各等带宽的频带所含的噪声能量相等的噪声。本实施方式中，可以通过小波变换算法或卡尔曼滤波算法去除所述语音中的白噪声。
所述语音分离模块403用于利用预设语音分类模型对过滤后的语音按照语音的声纹特征做分离处理。
本实施方式中，所述语音分离模块403利用预设语音分类模型对过滤后的语音按照语音的声纹特征做分离处理包括：从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到所述预设语音分类模型进行分类得到分类结果，根据分类结果，将相同的声纹特征数据对应的语音进行编码，存储为单独的语音文件，如此实现对所述语音进行分离处理。
由于现实世界中每个人都具有特定的声纹特征，这是由我们的发声器官在成长过程中逐渐形成的特征，无论别人对我们的说话模仿的多么相似，声纹特征其实都是具有显著区别的。因此，本实施方式中可以利用声纹特征对说话人进行身份验证及对说话人的语音进行区别。在具体的实际应用中，所述声纹特征数据包括，但不限于，梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature以及能量规整谱系数PNCC等。当所述语音经过噪声过滤后，所述语音分离模块403通过小波变换技术，提取所述语音中的梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature或能量规整谱系数PNCC等声纹特征数据，并依据所述梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature或能量规整谱系数PNCC声纹特征数据输入到所述预设语音分类模型得到分类结果，根据分类结果，将相同的声纹特征数据对应的语音进行编码，存储为单独的语音文件。
本实施方式中，所述预设语音分类模型包括以下至少一项：向量机模型、随机模型和神经网络模型。具体的，所述终端装置根据提取出的声纹特征数据利用预先训练好的预设语音分类模型确定所述声纹特征数据的类别。在本发明中，所述声纹特征数据的类别包括：第一声纹特征类别、第二声纹特征类别、第三声纹特征类别。本实施方式中，将所述声纹特征数据输入到所述预设语音分类模型进行分类得到分类结果的训练过程包括：
1)获取正样本的声纹特征数据及负样本的声纹特征数据，并将正样本的声纹特征数据标注声纹特征类别，以使正样本的声纹特征数据携带声纹特征类别标签。
例如，分别选取500个第一声纹特征类别、第二声纹特征类别、第三声纹特征类别对应的声纹特征数据，并对每个声纹特征数据标注类别，可以以“1”作为第一声纹特征类别的声纹特征标签，以“2”作为第二声纹特征类别的声纹特征标签，以“3”作为第三声纹特征类别的声纹特征标签。
2)将所述正样本的声纹特征数据及所述负样本的声纹特征数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述预设语音分类模型，并利用所述验证集验证训练后的所述预设语音分类模型的准确率。
先将不同声纹特征的训练集中的训练样本分发到不同的文件夹里。例如，将第一声纹特征类别的训练样本分发到第一文件夹里、第二声纹特征类别的训练样本分发到第二文件夹里、第三声纹特征类别的训练样本分发到第三文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行所述预设语音分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的所述预设语音分类模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述预设语音分类模型作为分类器识别所述声纹特征数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述预设语音分类模型直至所述准确率大于或者等于预设准确率。
本实施方式中，所述语音分离模块403还用于将相同的声纹特征数据对应的语音进行加强放大处理；对经过加强放大处理后的语音进行编码。也即，所述终端装置1把所述语音中按照声纹特征分离出来不同声纹特征的语音后将分离出来的语音分别加强放大处理，并将对应于相同的声纹特征的语音进行编码，存储为单独的语音文件，并单独存储为语音文件。
所述文本识别模块404用于对经过分离处理后的语音进行识别以获取所述语音的识别文本。
本实施方式中，所述文本识别模块404通过语音识别将经过分离处理后的语音转化为文本，作为初始语音识别文本；并将所述初始语音识别文本与预设文本数据库进行匹配，得到匹配后的语音识别文本。
本实施方式中，所述文本识别模块404通过语音识别将经过分离处理后的语音转化为文本的具体过程包括：
1)提取所述语音的音频特征，转换为预设长度的声学特征向量；
2)根据解码算法将所述特征向量解码成词序；
3)通过HMM音素模型得到对应词序的子词，所述子词为声母和韵母；
4)根据预设的发音字典将多个子词拼接成文字；
5)使用语言模型语法规则解码得到最优序列，得到文本。
本实施方式中，所述语法规则为维特比算法。例如，所述待识别的语音为“你好”，经过特征提取后转化为39维的声学特征向量，通过多个HMM音素模型得到对应的多个子词/n//i//h//ao/，根据预设的发音字典将多个子词拼接成字，如你，尼；好，号。通过维特比算法解码得到最优序列“你好”并将文本输出。
本实施方式中，可以预先设置至少两个文本数据库，例如，第一文本数据库及第二文本数据库。第一文本数据库可以专用于存储多个语气词，如“嗯”、“啊”、“是吧”等，语气词与会议内容无关，且又易影响语音转换为文本后的可读性。第二文本数据库可以专用于存储多个专业词及对应的拼音，如“特征向量”、“特征矩阵”、“张量分析”等，专业词较复杂，因而在识别语音的过程中容易批量出现错误。本发明还可以根据实际情况预先设置第三文本数据库等，专用于存储诸如姓名或者地名等的语句。本文对于预先设置的本文数据库的数量及对应的内容不作具体限制。
本实施方式中，所述文本识别模块404将所述初始语音识别文本与预设文本数据库进行匹配具体包括：
1)将所述初始语音识别文本与预设第一文本数据库进行匹配，得到第一匹配结果；及
2)将所述第一匹配结果与预设第二文本数据库进行匹配，得到第二匹配结果；
具体地，所述将所述初始语音识别文本与预设第一文本数据库进行匹配包括：判断所述初始语音识别文本中是否存在与预设第一文本数据库中的词语相匹配的第一词语；当确定所述初始语音识别文本中存在与预设第一文本数据库中的词语相匹配的第一词语时，将所述初始语音识别文本中相匹配的第一词语进行处理。
优选地，所述将所述初始语音识别文本中相匹配的第一词语进行处理还可以进一步包括：根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语是否为待删除的语气词；当确定所述相匹配的第一词语为待删除的语气词时，将所述初始语音识别文本中相匹配的第一词语进行剔除；当确定所述相匹配的第一词语不为待删除的语气词时，将所述初始语音识别文本中相匹配的第一词语进行保留。
举例而言，假设初始语音识别文本为“这个挺好用的”，预设第一文本数据库中存储有语气词“这个”，则将初始语音识别文本与预设第一文本数据库进行匹配后确定了相匹配的词语为“这个”，然后根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语“这个”是否为待删除的语气词，所述基于深度学习网络的语气词模型确定相匹配的第一词语“这个”在“这个挺好用的”中不属于待删除的语气词，则将所述初始语音识别文本中相匹配的第一词语进行保留，得到的第一匹配结果为“这个挺好用的”。
再如，假设初始语音识别文本为“这个，我们要开会了”，预设第一文本数据库中存储有语气词“这个”，则将初始语音识别文本与预设第一文本数据库进行匹配后确定了相匹配的词语为“这个”，然后根据预先训练的所述基于深度学习网络的语气词模型判断所述相匹配的第一词语“这个”是否为待删除的语气词，所述基于深度学习网络的语气词模型确定相匹配的第一词语“这个”在“这个，我们要开会了”中属于待删除的语气词，则将所述初始语音识别文本中相匹配的第一词语进行剔除，得到的第一匹配结果为“我们要开会了”。
具体地，所述将所述第一匹配结果与预设第二文本数据库进行匹配包括：
1)将所述第一匹配结果中的词语转换为第一拼音；
2)判断所述预设第二文本数据库中是否存在与所述第一拼音相同的第二拼音；
3)当确定所述预设第二文本数据库中存在与所述第一拼音相同的第二拼音时，将第二拼音对应的词语提取出来，作为第一拼音对应的词语。
例如，假设第一匹配结果为“这是一个原始巨震”，将第一匹配结果中的词语转换为第一拼音为“zhe shi yige yuanshi juzhen”；预设第二文本数据库中储存有专业词“矩阵”及对应的第二拼音“juzheng”,则在确定所述预设第二文本数据库中存在与所述第一拼音相同的第二拼音时，将第二拼音“juzheng”对应的词语“矩阵”提取出来，作为第一拼音“juzheng”对应的词语，得到的第二匹配结果为“这是一个原始矩阵”。
本发明通过语音识别技术将经过分离处理后的语音转化为文本，作为初始语音识别文本；并将所述初始语音识别文本与预设文本数据库进行匹配,得到匹配后的语音识别文本，可以识别出语音中不同人说的话语的语音文本，方便记录人员进行信息汇整。
实施例3
图4为本发明电子设备7较佳实施例的示意图。
所述电子设备7包括存储器71、处理器72以及存储在所述存储器71中并可在所述处理器72上运行的计算机程序73。所述处理器72执行所述计算机程序73时实现上述音频分离方法实施例中的步骤，例如图1所示的步骤S11～S14。或者，所述处理器72执行所述计算机程序73时实现上述音频分离装置实施例中各模块/单元的功能，例如图3中的模块401～404。
示例性的，所述计算机程序73可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器72执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序73在所述电子设备7中的执行过程。例如，所述计算机程序73可以被分割成图3中的获取模块401、噪声过滤模块402、语音分离模块403及文本识别模块404，各模块具体功能参见实施例二。
本实施方式中，所述电子设备7与终端装置1为同一装置。在其他实施方式中，所述电子设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器72可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器72也可以是任何常规的处理器等，所述处理器72是所述电子设备7的控制中心，利用各种接口和线路连接整个电子设备7的各个部分。
所述存储器71可用于存储所述计算机程序73和/或模块/单元，所述处理器72通过运行或执行存储在所述存储器71内的计算机程序和/或模块/单元，以及调用存储在存储器71内的数据，实现所述计电子设备7的各种功能。所述存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备7的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述电子设备7集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种音频分离方法，其特征在于，所述方法包括：
获取语音；
对所述语音进行噪声过滤；
从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到预设语音分类模型进行分类得到分类结果，根据所述分类结果将相同的声纹特征数据对应的语音进行编码并存储为单独的语音文件而将所述语音进行分离处理；及
对经过分离处理后的语音进行识别以获取所述语音的识别文本。
2.如权利要求1所述的音频分离方法，其特征在于，所述预设语音分类模型训练过程包括：
获取正样本的声纹特征数据及负样本的声纹特征数据，并将正样本的声纹特征数据标注声纹特征类别，以使正样本的声纹特征数据携带声纹特征类别标签；
将所述正样本的声纹特征数据及所述负样本的声纹特征数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述预设语音分类模型，并利用所述验证集验证训练后的所述预设语音分类模型的准确率；
若所述准确率大于或者等于预设准确率时，则结束训练，并以训练后的所述预设语音分类模型作为分类器识别所述声纹特征数据的类别；及
若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述预设语音分类模型直至所述准确率大于或者等于预设准确率。
3.如权利要求1所述的音频分离方法，其特征在于，所述对所述语音进行噪声过滤包括：
从所述语音中选择语音分贝超过第一分贝阈值的语音信息作为环境噪声，并将语音分贝超过第一分贝阈值的所述环境噪声进行删除。
4.如权利要求1所述的音频分离方法，其特征在于，所述对所述语音进行噪声过滤包括：
建立机器学习及深度学习模型；建立声纹识别模型；将获取的所述语音通过所述机器学习及深度学习模型进行学习，对所述语音中的环境噪声进行识别区分；将经过所述机器学习及深度学习模型识别后的语音进行过滤，剔除掉所述语音中不属于人说话音频的环境噪声，得到经过初步筛查的语音；判断经过初步筛查的语音是否达到预设阈值；当确定经过初步筛查的语音达到预设阈值时，将达到预设阈值的语音与所述声纹识别模型进行对比提取，保留与所述声纹识别模型相符合的语音频率及语谱图像，剔除掉与所述声纹识别模型不符合的语音，得到声纹降噪处理的语音。
5.如权利要求1所述的音频分离方法，其特征在于，所述对经过分离处理后的语音进行识别以获取所述语音的识别文本包括：
通过语音识别将经过分离处理后的语音转化为文本，作为初始语音识别文本；及
将所述初始语音识别文本与预设文本数据库进行匹配，得到匹配后的语音识别文本。
6.如权利要求5所述的音频分离方法，其特征在于，所述通过语音识别将经过分离处理后的语音转化为文本包括：
提取所述语音的音频特征，转换为预设长度的声学特征向量；
根据解码算法将所述特征向量解码成词序；
通过HMM音素模型得到对应词序的子词，所述子词为声母和韵母；
根据预设的发音字典将多个子词拼接成文字；及
使用维特比算法解码得到最优序列，得到文本。
7.如权利要求1所述的音频分离方法，其特征在于，
所述声纹特征包括梅尔倒谱系数MFCC、感知线性预测系数PLP、深度特征Deep Feature以及能量规整谱系数PNCC。
8.一种音频分离装置，其特征在于，所述装置包括：
获取模块，用于获取语音；
噪声过滤模块，用于对所述语音进行噪声过滤；
语音分离模块，用于从过滤后的语音中提取声纹特征数据，将所述声纹特征数据输入到预设语音分类模型进行分类得到分类结果，根据所述分类结果将相同的声纹特征数据对应的语音进行编码并存储为单独的语音文件而将所述语音进行分离处理；及
文本识别模块，用于对经过分离处理后的语音进行识别以获取所述语音的识别文本。
9.一种电子设备，其特征在于：所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一项所述音频分离方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述音频分离方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910678465.5A CN110473566A (zh) | 2019-07-25 | 2019-07-25 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
| PCT/CN2020/086757 WO2021012734A1 (zh) | 2019-07-25 | 2020-04-24 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910678465.5A CN110473566A (zh) | 2019-07-25 | 2019-07-25 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110473566A true CN110473566A (zh) | 2019-11-19 |
Family
ID=68508340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910678465.5A Pending CN110473566A (zh) | 2019-07-25 | 2019-07-25 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110473566A (zh) |
| WO (1) | WO2021012734A1 (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110970036A (zh) * | 2019-12-24 | 2020-04-07 | 网易（杭州）网络有限公司 | 声纹识别方法及装置、计算机存储介质、电子设备 |
| CN111081275A (zh) * | 2019-12-20 | 2020-04-28 | 惠州Tcl移动通信有限公司 | 基于声音分析的终端处理方法、装置、存储介质及终端 |
| CN111105801A (zh) * | 2019-12-03 | 2020-05-05 | 云知声智能科技股份有限公司 | 一种角色语音分离方法及装置 |
| CN111462754A (zh) * | 2020-04-16 | 2020-07-28 | 深圳航天科创实业有限公司 | 一种电力系统调度控制语音识别模型建立方法 |
| CN111489756A (zh) * | 2020-03-31 | 2020-08-04 | 中国工商银行股份有限公司 | 一种声纹识别方法及装置 |
| CN111552777A (zh) * | 2020-04-24 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 一种音频识别方法、装置、电子设备及存储介质 |
| CN111627457A (zh) * | 2020-05-13 | 2020-09-04 | 广州国音智能科技有限公司 | 语音分离方法、系统及计算机可读存储介质 |
| CN111768801A (zh) * | 2020-06-12 | 2020-10-13 | 瑞声科技(新加坡)有限公司 | 气流杂音消除方法、装置、计算机设备及存储介质 |
| CN111968657A (zh) * | 2020-08-17 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 语音处理方法、装置、电子设备和计算机可读介质 |
| CN112084746A (zh) * | 2020-09-11 | 2020-12-15 | 广东电网有限责任公司 | 一种实体识别方法、系统、存储介质及设备 |
| CN112102854A (zh) * | 2020-09-22 | 2020-12-18 | 福建鸿兴福食品有限公司 | 一种录音过滤方法、装置及计算机可读存储介质 |
| CN112233694A (zh) * | 2020-10-10 | 2021-01-15 | 中国电子科技集团公司第三研究所 | 一种目标识别方法、装置、存储介质及电子设备 |
| CN112242137A (zh) * | 2020-10-15 | 2021-01-19 | 上海依图网络科技有限公司 | 一种人声分离模型的训练以及人声分离方法和装置 |
| WO2021012734A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
| CN112634875A (zh) * | 2021-03-04 | 2021-04-09 | 北京远鉴信息技术有限公司 | 语音分离方法、语音分离装置、电子设备及存储介质 |
| CN112792849A (zh) * | 2021-01-06 | 2021-05-14 | 厦门攸信信息技术有限公司 | 碰撞检测方法、机器人、移动终端及存储介质 |
| CN112989107A (zh) * | 2021-05-18 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 音频分类和分离方法、装置、电子设备以及存储介质 |
| CN112992153A (zh) * | 2021-04-27 | 2021-06-18 | 太平金融科技服务（上海）有限公司 | 音频处理方法、声纹识别方法、装置、计算机设备 |
| CN113035225A (zh) * | 2019-12-09 | 2021-06-25 | 中国科学院自动化研究所 | 视觉声纹辅助的语音分离方法及装置 |
| WO2021139294A1 (zh) * | 2020-01-07 | 2021-07-15 | 腾讯科技（深圳）有限公司 | 语音分离模型训练方法、装置、存储介质和计算机设备 |
| CN113314144A (zh) * | 2021-05-19 | 2021-08-27 | 中国南方电网有限责任公司超高压输电公司广州局 | 声音识别及电力设备故障预警方法、系统、终端及介质 |
| CN113314108A (zh) * | 2021-06-16 | 2021-08-27 | 深圳前海微众银行股份有限公司 | 语音数据的处理方法、装置、设备、存储介质和程序产品 |
| CN113505612A (zh) * | 2021-07-23 | 2021-10-15 | 平安科技（深圳）有限公司 | 多人对话语音实时翻译方法、装置、设备及存储介质 |
| CN113539292A (zh) * | 2021-07-28 | 2021-10-22 | 联想(北京)有限公司 | 语音分离方法及装置 |
| US11303464B2 (en) * | 2019-12-05 | 2022-04-12 | Microsoft Technology Licensing, Llc | Associating content items with images captured of meeting content |
| CN116504246A (zh) * | 2023-06-26 | 2023-07-28 | 深圳市矽昊智能科技有限公司 | 基于蓝牙设备的语音遥控方法、设备、存储介质及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404160A (zh) * | 2008-11-21 | 2009-04-08 | 北京科技大学 | 一种基于音频识别的语音降噪方法 |
| CN103871413A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 基于svm和hmm混合模型的男女说话声音分类方法 |
| CN105427858A (zh) * | 2015-11-06 | 2016-03-23 | 科大讯飞股份有限公司 | 实现语音自动分类的方法及系统 |
| US20170061978A1 (en) * | 2014-11-07 | 2017-03-02 | Shannon Campbell | Real-time method for implementing deep neural network based speech separation |
| CN106782565A (zh) * | 2016-11-29 | 2017-05-31 | 重庆重智机器人研究院有限公司 | 一种声纹特征识别方法及系统 |
| CN106971737A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种基于多人说话的声纹识别方法 |
| CN108564952A (zh) * | 2018-03-12 | 2018-09-21 | 新华智云科技有限公司 | 语音角色分离的方法和设备 |
| WO2018224739A1 (fr) * | 2017-06-09 | 2018-12-13 | Orange | Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal |
| CN109065075A (zh) * | 2018-09-26 | 2018-12-21 | 广州势必可赢网络科技有限公司 | 一种语音处理方法、装置、系统及计算机可读存储介质 |
| CN109256150A (zh) * | 2018-10-12 | 2019-01-22 | 北京创景咨询有限公司 | 基于机器学习的语音情感识别系统及方法 |
| CN109272993A (zh) * | 2018-08-21 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 语音类别的识别方法、装置、计算机设备和存储介质 |
| CN109920435A (zh) * | 2019-04-09 | 2019-06-21 | 厦门快商通信息咨询有限公司 | 一种声纹识别方法及声纹识别装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103811020B (zh) * | 2014-03-05 | 2016-06-22 | 东北大学 | 一种智能语音处理方法 |
| CN105719659A (zh) * | 2016-02-03 | 2016-06-29 | 努比亚技术有限公司 | 基于声纹识别的录音文件分离方法及装置 |
| CN108198569B (zh) * | 2017-12-28 | 2021-07-16 | 北京搜狗科技发展有限公司 | 一种音频处理方法、装置、设备及可读存储介质 |
| CN108831440A (zh) * | 2018-04-24 | 2018-11-16 | 中国地质大学（武汉） | 一种基于机器学习及深度学习的声纹降噪方法及系统 |
| CN108922557A (zh) * | 2018-06-14 | 2018-11-30 | 北京联合大学 | 一种聊天机器人的多人语音分离方法及系统 |
| CN109065051B (zh) * | 2018-09-30 | 2021-04-09 | 珠海格力电器股份有限公司 | 一种语音识别处理方法及装置 |
| CN109545228A (zh) * | 2018-12-14 | 2019-03-29 | 厦门快商通信息技术有限公司 | 一种端到端说话人分割方法及系统 |
| CN110473566A (zh) * | 2019-07-25 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
-
2019
- 2019-07-25 CN CN201910678465.5A patent/CN110473566A/zh active Pending
-
2020
- 2020-04-24 WO PCT/CN2020/086757 patent/WO2021012734A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404160A (zh) * | 2008-11-21 | 2009-04-08 | 北京科技大学 | 一种基于音频识别的语音降噪方法 |
| CN103871413A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 基于svm和hmm混合模型的男女说话声音分类方法 |
| US20170061978A1 (en) * | 2014-11-07 | 2017-03-02 | Shannon Campbell | Real-time method for implementing deep neural network based speech separation |
| CN105427858A (zh) * | 2015-11-06 | 2016-03-23 | 科大讯飞股份有限公司 | 实现语音自动分类的方法及系统 |
| CN106971737A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种基于多人说话的声纹识别方法 |
| CN106782565A (zh) * | 2016-11-29 | 2017-05-31 | 重庆重智机器人研究院有限公司 | 一种声纹特征识别方法及系统 |
| WO2018224739A1 (fr) * | 2017-06-09 | 2018-12-13 | Orange | Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal |
| CN108564952A (zh) * | 2018-03-12 | 2018-09-21 | 新华智云科技有限公司 | 语音角色分离的方法和设备 |
| CN109272993A (zh) * | 2018-08-21 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 语音类别的识别方法、装置、计算机设备和存储介质 |
| CN109065075A (zh) * | 2018-09-26 | 2018-12-21 | 广州势必可赢网络科技有限公司 | 一种语音处理方法、装置、系统及计算机可读存储介质 |
| CN109256150A (zh) * | 2018-10-12 | 2019-01-22 | 北京创景咨询有限公司 | 基于机器学习的语音情感识别系统及方法 |
| CN109920435A (zh) * | 2019-04-09 | 2019-06-21 | 厦门快商通信息咨询有限公司 | 一种声纹识别方法及声纹识别装置 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021012734A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
| CN111105801A (zh) * | 2019-12-03 | 2020-05-05 | 云知声智能科技股份有限公司 | 一种角色语音分离方法及装置 |
| CN111105801B (zh) * | 2019-12-03 | 2022-04-01 | 云知声智能科技股份有限公司 | 一种角色语音分离方法及装置 |
| US11303464B2 (en) * | 2019-12-05 | 2022-04-12 | Microsoft Technology Licensing, Llc | Associating content items with images captured of meeting content |
| CN113035225A (zh) * | 2019-12-09 | 2021-06-25 | 中国科学院自动化研究所 | 视觉声纹辅助的语音分离方法及装置 |
| CN113035225B (zh) * | 2019-12-09 | 2023-02-28 | 中国科学院自动化研究所 | 视觉声纹辅助的语音分离方法及装置 |
| CN111081275A (zh) * | 2019-12-20 | 2020-04-28 | 惠州Tcl移动通信有限公司 | 基于声音分析的终端处理方法、装置、存储介质及终端 |
| CN110970036A (zh) * | 2019-12-24 | 2020-04-07 | 网易（杭州）网络有限公司 | 声纹识别方法及装置、计算机存储介质、电子设备 |
| CN110970036B (zh) * | 2019-12-24 | 2022-07-12 | 网易（杭州）网络有限公司 | 声纹识别方法及装置、计算机存储介质、电子设备 |
| WO2021139294A1 (zh) * | 2020-01-07 | 2021-07-15 | 腾讯科技（深圳）有限公司 | 语音分离模型训练方法、装置、存储介质和计算机设备 |
| US11908455B2 (en) | 2020-01-07 | 2024-02-20 | Tencent Technology (Shenzhen) Company Limited | Speech separation model training method and apparatus, storage medium and computer device |
| CN111489756B (zh) * | 2020-03-31 | 2024-03-01 | 中国工商银行股份有限公司 | 一种声纹识别方法及装置 |
| CN111489756A (zh) * | 2020-03-31 | 2020-08-04 | 中国工商银行股份有限公司 | 一种声纹识别方法及装置 |
| CN111462754A (zh) * | 2020-04-16 | 2020-07-28 | 深圳航天科创实业有限公司 | 一种电力系统调度控制语音识别模型建立方法 |
| CN111552777B (zh) * | 2020-04-24 | 2023-09-26 | 北京达佳互联信息技术有限公司 | 一种音频识别方法、装置、电子设备及存储介质 |
| CN111552777A (zh) * | 2020-04-24 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 一种音频识别方法、装置、电子设备及存储介质 |
| CN111627457A (zh) * | 2020-05-13 | 2020-09-04 | 广州国音智能科技有限公司 | 语音分离方法、系统及计算机可读存储介质 |
| CN111768801A (zh) * | 2020-06-12 | 2020-10-13 | 瑞声科技(新加坡)有限公司 | 气流杂音消除方法、装置、计算机设备及存储介质 |
| CN111968657A (zh) * | 2020-08-17 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 语音处理方法、装置、电子设备和计算机可读介质 |
| CN112084746A (zh) * | 2020-09-11 | 2020-12-15 | 广东电网有限责任公司 | 一种实体识别方法、系统、存储介质及设备 |
| CN112102854A (zh) * | 2020-09-22 | 2020-12-18 | 福建鸿兴福食品有限公司 | 一种录音过滤方法、装置及计算机可读存储介质 |
| CN112233694B (zh) * | 2020-10-10 | 2024-03-05 | 中国电子科技集团公司第三研究所 | 一种目标识别方法、装置、存储介质及电子设备 |
| CN112233694A (zh) * | 2020-10-10 | 2021-01-15 | 中国电子科技集团公司第三研究所 | 一种目标识别方法、装置、存储介质及电子设备 |
| CN112242137A (zh) * | 2020-10-15 | 2021-01-19 | 上海依图网络科技有限公司 | 一种人声分离模型的训练以及人声分离方法和装置 |
| CN112792849A (zh) * | 2021-01-06 | 2021-05-14 | 厦门攸信信息技术有限公司 | 碰撞检测方法、机器人、移动终端及存储介质 |
| CN112792849B (zh) * | 2021-01-06 | 2022-07-26 | 厦门攸信信息技术有限公司 | 碰撞检测方法、机器人、移动终端及存储介质 |
| CN112634875B (zh) * | 2021-03-04 | 2021-06-08 | 北京远鉴信息技术有限公司 | 语音分离方法、语音分离装置、电子设备及存储介质 |
| CN112634875A (zh) * | 2021-03-04 | 2021-04-09 | 北京远鉴信息技术有限公司 | 语音分离方法、语音分离装置、电子设备及存储介质 |
| CN112992153A (zh) * | 2021-04-27 | 2021-06-18 | 太平金融科技服务（上海）有限公司 | 音频处理方法、声纹识别方法、装置、计算机设备 |
| CN112992153B (zh) * | 2021-04-27 | 2021-08-17 | 太平金融科技服务（上海）有限公司 | 音频处理方法、声纹识别方法、装置、计算机设备 |
| CN112989107A (zh) * | 2021-05-18 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 音频分类和分离方法、装置、电子设备以及存储介质 |
| CN112989107B (zh) * | 2021-05-18 | 2021-07-30 | 北京世纪好未来教育科技有限公司 | 音频分类和分离方法、装置、电子设备以及存储介质 |
| CN113314144A (zh) * | 2021-05-19 | 2021-08-27 | 中国南方电网有限责任公司超高压输电公司广州局 | 声音识别及电力设备故障预警方法、系统、终端及介质 |
| CN113314108A (zh) * | 2021-06-16 | 2021-08-27 | 深圳前海微众银行股份有限公司 | 语音数据的处理方法、装置、设备、存储介质和程序产品 |
| CN113314108B (zh) * | 2021-06-16 | 2024-02-13 | 深圳前海微众银行股份有限公司 | 语音数据的处理方法、装置、设备、存储介质和程序产品 |
| CN113505612A (zh) * | 2021-07-23 | 2021-10-15 | 平安科技（深圳）有限公司 | 多人对话语音实时翻译方法、装置、设备及存储介质 |
| CN113539292A (zh) * | 2021-07-28 | 2021-10-22 | 联想(北京)有限公司 | 语音分离方法及装置 |
| CN116504246B (zh) * | 2023-06-26 | 2023-11-24 | 深圳市矽昊智能科技有限公司 | 基于蓝牙设备的语音遥控方法、设备、存储介质及装置 |
| CN116504246A (zh) * | 2023-06-26 | 2023-07-28 | 深圳市矽昊智能科技有限公司 | 基于蓝牙设备的语音遥控方法、设备、存储介质及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021012734A1 (zh) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473566A (zh) | 音频分离方法、装置、电子设备及计算机可读存储介质 | |
| WO2021208287A1 (zh) | 用于情绪识别的语音端点检测方法、装置、电子设备及存储介质 | |
| WO2021128741A1 (zh) | 语音情绪波动分析方法、装置、计算机设备及存储介质 | |
| EP3469582A1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
| CN108847241A (zh) | 将会议语音识别为文本的方法、电子设备及存储介质 | |
| CN109791616A (zh) | 自动语音识别 | |
| Devi et al. | Speaker emotion recognition based on speech features and classification techniques | |
| KR101068122B1 (ko) | 음성인식기에서 가비지 및 반단어 모델 기반의 거절 장치 및 방법 | |
| Chauhan et al. | Speaker recognition and verification using artificial neural network | |
| CN106297769B (zh) | 一种应用于语种识别的鉴别性特征提取方法 | |
| CN108564956A (zh) | 一种声纹识别方法和装置、服务器、存储介质 | |
| CN110136726A (zh) | 一种语音性别的估计方法、装置、系统及存储介质 | |
| CN115171731A (zh) | 一种情绪类别确定方法、装置、设备及可读存储介质 | |
| Biagetti et al. | Speaker identification in noisy conditions using short sequences of speech frames | |
| El-Moneim et al. | Text-dependent and text-independent speaker recognition of reverberant speech based on CNN | |
| CN108665901B (zh) | 一种音素/音节提取方法及装置 | |
| CN114927126A (zh) | 基于语义分析的方案输出方法、装置、设备以及存储介质 | |
| Badhon et al. | A machine learning approach to automating Bengali voice based gender classification | |
| Sekkate et al. | Speaker identification for OFDM-based aeronautical communication system | |
| Rabiee et al. | Persian accents identification using an adaptive neural network | |
| CN110232928A (zh) | 文本无关说话人验证方法和装置 | |
| Revathy et al. | Performance comparison of speaker and emotion recognition | |
| Gaudani et al. | Comparative study of robust feature extraction techniques for ASR for limited resource Hindi language | |
| Reimao | Synthetic speech detection using deep neural networks | |
| Johar | Paralinguistic profiling using speech recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |