CN108777146A - 语音模型训练方法、说话人识别方法、装置、设备及介质 - Google Patents
语音模型训练方法、说话人识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN108777146A CN108777146A CN201810549432.6A CN201810549432A CN108777146A CN 108777146 A CN108777146 A CN 108777146A CN 201810549432 A CN201810549432 A CN 201810549432A CN 108777146 A CN108777146 A CN 108777146A
- Authority
- CN
- China
- Prior art keywords
- target
- model
- voice data
- vocal print
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 142
- 230000001755 vocal effect Effects 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims description 40
- 238000003062 neural network model Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 230000000644 propagated effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000017105 transposition Effects 0.000 claims description 5
- 210000004218 nerve net Anatomy 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000009432 framing Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/06—Decision making techniques; Pattern matching strategies
Abstract
本发明公开了一种语音模型训练方法、说话人识别方法、装置、设备及介质。语音模型训练方法包括：基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型；基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型；基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量；将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。采用该语音模型训练方法获取的目标说话人语音识别模型进行说话人识别能够得到精确的识别结果。
Description
技术领域
本发明涉及语音处理领域，尤其涉及一种语音模型训练方法、说话人识别方法、装置、设备及介质。
背景技术
目前在进行说话人语音识别时，大多数都是根据语音特征进行识别，这些语音特征有的维度太高，包含了太多非关键信息；有的维度太低，不能充分体现说话人语音的特点，使得当前说话人识别时精确度较低，无法对说话人语音进行有效的识别，制约说话人语音识别的应用。
发明内容
本发明实施例提供一种语音模型训练方法、装置、设备及介质，以解决当前说话人识别准确度低的问题。
本发明实施例还提供一种说话人识别方法、装置、设备及介质，以解决当前说话人识别准确度低的问题。
第一方面，本发明实施例提供一种语音模型训练方法，包括：
基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型；
基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型；
基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量；
将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
第二方面，本发明实施例提供一种语音模型训练装置，包括：
通用背景模型获取模块，用于基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型；
目标声纹特征模型获取模块，用于基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型；
目标声纹特征向量获取模块，用于基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量；
目标说话人语音识别模型获取模块，用于将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
第三方面，本发明实施例提供一种说话人识别方法，包括：
获取待识别语音数据，所述待识别语音数据与用户标识相关联；
基于通用背景模型对所述待识别语音数据进行自适应处理，获取待识别声纹特征模型；
基于所述待识别声纹特征模型，获取对应的待识别声纹特征向量；
根据所述用户标识获取与所述用户标识相对应的目标说话人语音识别模型，采用所述目标说话人语音识别模型对所述待识别声纹特征向量，获取识别概率值；若所述识别概率值大于预设概率值，则确定为用户本人；其中，所述目标说话人语音识别模型是采用所述语音模型训练方法获取到的。
第四方面，本发明实施例提供一种说话人识别装置，包括：
待识别语音数据获取模块，用于获取待识别语音数据，所述待识别语音数据与用户标识相关联；
待识别声纹特征模型获取模块，用于基于通用背景模型对所述待识别语音数据进行自适应处理，获取待识别声纹特征模型；
待识别声纹特征向量获取模块，用于基于所述待识别声纹特征模型，获取对应的待识别声纹特征向量；
识别模块，用于根据所述用户标识获取与所述用户标识相对应的目标说话人语音识别模型，采用所述目标说话人语音识别模型对所述待识别声纹特征向量，获取识别概率值；若所述识别概率值大于预设概率值，则确定为用户本人；其中，所述目标说话人语音识别模型是采用所述语音模型训练方法获取到的。
第五方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述语音模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现所述说话人识别方法的步骤。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述语音模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现所述说话人识别方法的步骤。
本发明实施例所提供的语音模型训练方法、装置、设备及介质中，首先获取通用背景模型，然后再基于通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型，通用背景模型涵盖训练语音数据各个维度的语音特征，可以通过该背景模型对数据量较少的目标说话人语音数据进行自适应补充处理，使得在数据量很少的情况下同样能够得到代表目标说话人语音数据的目标声纹特征模型。接着基于目标声纹特征模型获取目标说话人语音数据的目标声纹特征向量，该目标声纹特征向量可以在较低维度下便体现目标说话人语音数据，在进行与该目标声纹特征向量相关的计算时，能够大大减少计算量，提高效率，并在提高效率的同时，保证目标声纹特征向量在较低维度下仍然能够保留与目标说话人语音数据相关的关键声纹特征。最后将目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型，该目标声纹向量能够较好地描述语音特征，可以在该目标声纹特征向量的基础上进行语音特征的深层提取，在经过深度神经网络的训练后，用较低的语音特征维度便能够全面地描述语音特征，得到识别准确性较高的目标说话人语音识别模型。
本发明实施例所提供的说话人识别方法、装置、设备及介质中，通过待识别语音数据获取对应的待识别声纹特征模型，将待识别声纹特征向量输入到待识别语音数据关联的用户标识对应的目标说话人语音识别模型中进行识别，实现说话人识别。该说话人语音识别模型用较低维度的目标声纹特征向量便能够全面地描述语音特征，采用该说话人识别方法进行说话人语音识别时，能达到识别准确率较高的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中语音模型训练方法的一流程图。
图2是图1中步骤S10的一流程图。
图3是图1中步骤S20的一流程图。
图4是图1中步骤S30的一流程图。
图5是图1中步骤S40的一流程图。
图6是本发明一实施例中语音模型训练装置的一原理框图。
图7是本发明一实施例中说话人识别方法的一流程图。
图8是本发明一实施例中说话人识别装置的一原理框图。
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出本发明一实施例中语音模型训练方法的一流程图。该语音模型训练方法可应用在银行、证券、投资和保险等金融机构或者需进行说话人识别的其他机构的计算机设备上，用于训练语音模型，以便利用训练好的语音模型进行说话人识别，达到人工智能目的。其中，该计算机设备是可与用户进行人机交互的设备，包括但不限于电脑、智能手机和平板等设备。如图1所示，该语音模型训练方法包括如下步骤：
S10：基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型。
其中，训练语音数据是用于训练通用背景模型的语音数据。该训练语音数据可以是计算机设备上集成的录音模块或与计算机设备相连的录音设备对大量的不带标识的用户进行录音所采集的录音数据，也可以是直接采用网上开源的语音数据训练集作为训练语音数据。通用背景模型(Universal Background Model，简称UBM)是一个表示大量非特定说话人语音特征分布的高斯混合模型(Gaussian Mixture Model，简称GMM)，由于UBM的训练通常采用大量的与特定说话人无关、信道无关的语音数据，因此通常可以认为UBM是与特定说话人无关的模型，它只是拟合人的语音特征分布，而并不代表某个具体的说话人。高斯混合模型是用高斯概率密度函数(即正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数(即正态分布曲线)形成的模型。
本实施例中，采用预先准备好的训练语音数据训练通用背景模型。通用背景模型的表达式为高斯概率密度函数：其中，x表示训练语音数据，K表示组成通用背景模型的高斯分布的个数，Ck表示第k个混合高斯的系数，N(x；mk,Rk)表示均值mk是D维矢量，D×D维对角协方差矩阵Rk的高斯分布。由通用背景模型的表达式可知，训练通用背景模型实际上就是求出该表达式中的参数(Ck、mk和Rk)。该通用背景模型的表达式为高斯概率密度函数，因此可以采用最大期望算法(Expectation Maximization Algorithm，简称EM算法)求出该表达式中的参数(Ck、mk和Rk)。EM算法是一种迭代算法，用于对含有隐变量的概率参数模型进行最大似然估计或最大后验概率估计。在统计学里，隐变量是指不可观测的随机变量，但可以通过可观测变量的样本对隐变量作出推断，在训练通用背景模型的过程中由于训练过程是不可观测的(或者说隐藏的)，因此通用背景模型中的参数实际上是隐变量。采用EM算法可以基于最大似然估计或最大后验概率估计求出通用背景模型中的参数，求得参数后即得到通用背景模型。通过获取该通用背景模型，为后续在目标说话人语音数据较少或不足的情况下能够基于该通用背景模型，获取到相应的目标声纹特征模型提供重要的实现基础。
在一实施例中，如图2所示，步骤S10中，基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型，包括如下步骤：
S11：基于训练语音数据，获取训练语音特征。
本实施例中，训练语音数据是计算机设备内置的录音模块或外部的录音设备直接采集到的语音数据，不能被计算机直接识别，使其不能直接用于训练通用背景模型的，因此，需将训练语音数据先转化为计算机能够识别的训练语音特征。该训练语音特征具体可以是梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,简称MFCC)，该MFCC特征具有39个维度的特征(以向量的形式表示)，能够较好地描述训练语音数据。
具体地，该获取训练语音特征的过程具体如下：
(1)对训练语音数据进行预处理。
对训练语音数据进行预处理能够更好地提取训练语音数据的训练语音特征，使得提取出的训练语音特征更能代表该训练语音数据。该预处理具体包括：
对训练语音数据作预加重处理。预加重处理的计算公式为s'n＝sn-a*sn-1，其中，sn为时域上的信号幅度，sn-1为与sn相对应的上一时刻的信号幅度，s'n为预加重后时域上的信号幅度，a为预加重系数，a的取值范围为0.9<a<1.0。其中，预加重是一种在发送端对输入信号高频分量进行补偿的信号处理方式。随着信号速率的增加，信号在传输过程中受损很大，为了在接收终端能得到比较好的信号波形，就需要对受损的信号进行补偿。预加重技术的思想就是在传输线的始端增强信号的高频成分，以补偿高频分量在传输过程中的过大衰减。预加重对噪声并没有影响，因此能够有效提高输出信噪比。采用该预加重处理能够消除说话人发声过程中声带和嘴唇等造成的干扰，可以有效补偿训练语音数据被压抑的高频部分，并且能够突显训练语音数据高频的共振峰，加强训练语音数据的信号幅度，有助于提取训练语音特征。
将预加重后的训练语音数据进行分帧处理。分帧是指将整段的语音信号切分成若干段的语音处理技术，每帧的大小在10-30ms的范围内，以大概1/2帧长作为帧移。帧移是指相邻两帧间的重叠区域，能够避免相邻两帧变化过大的问题。对训练语音数据进行分帧处理能够将训练语音数据分成若干段的语音数据，可以细分训练语音数据，便于训练语音特征的提取。
将分帧后的训练语音数据进行加窗处理。在对训练语音数据进行分帧处理后，每一帧的起始段和末尾端都会出现不连续的地方，所以分帧越多与原始信号的误差也就越大。采用加窗能够解决这个问题，可以使分帧后的训练语音数据变得连续，并且使得每一帧能够表现出周期函数的特征。加窗处理具体是指采用窗函数对训练语音数据进行处理，窗函数可以选择汉明窗，则该加窗的公式为N为汉明窗窗长，n为时间，sn为时域上的信号幅度，s'n为加窗后时域上的信号幅度。对训练语音数据进行加窗处理，能够使得分帧后的训练语音数据在时域上的信号变得连续，有助于提取训练语音数据的训练语音特征。
(2)对预处理后的训练语音数据作快速傅里叶变换，获取训练语音数据的频谱，并根据频谱获取训练语音数据的功率谱。
其中，快速傅里叶变换(Fast Fourier Transformation，简称FFT),指利用计算机计算离散傅里叶变换的高效、快速计算方法的统称。采用这种计算方法能使计算机计算离散傅里叶变换所需要的乘法次数大为减少，特别是被变换的抽样点数越多，FFT算法计算量的节省就越显著。
本实施例中，对预处理后的训练语音数据作快速傅里叶变换具体包括如下过程：首先，采用计算频谱的公式对预处理后的训练语音数据进行计算，获取训练语音数据的频谱。该计算频谱的公式为1≤k≤N，N为帧的大小，s(k)为频域上的信号幅度，s(n)为时域上的信号幅度，n为时间，i为复数单位。然后，采用计算功率谱的公式对获取到的训练语音数据的频谱进行计算，求得训练语音数据的功率谱。该计算训练语音数据的功率谱的公式为1≤k≤N，N为帧的大小，s(k)为频域上的信号幅度。通过将训练语音数据从时域上的信号幅度转换为频域上的信号幅度，再根据该频域上的信号幅度获取训练语音数据的功率谱，为从训练语音数据的功率谱中提取训练语音特征提供重要的技术前提。
(3)采用梅尔刻度滤波器组处理训练语音数据的功率谱，获取训练语音数据的梅尔功率谱。
其中，采用梅尔刻度滤波器组处理训练语音数据的功率谱是对功率谱进行的梅尔频率分析，而梅尔频率分析是基于人类听觉感知的分析。观测发现人耳就像一个滤波器组一样，只关注某些特定的频率分量(即人的听觉对频率是有选择性的)，也就是说人耳只让某些频率的信号通过，而直接无视不想感知的某些频率信号。具体地，梅尔刻度滤波器组包括多个滤波器，这些滤波器在频率坐标轴上却不是统一分布的，在低频区域有很多的滤波器，分布比较密集，但在高频区域，滤波器的数目就变得比较少，分布很稀疏。可以理解地，梅尔刻度滤波器组在低频部分的分辨率高，跟人耳的听觉特性是相符的，这也是梅尔刻度的物理意义所在。通过采用梅尔频率刻度滤波器组对频域信号进行切分，使得最后每个频率段对应一个能量值，若滤波器的个数为22，那么将得到训练语音数据的梅尔功率谱相对应的22个能量值。通过对训练语音数据的功率谱进行梅尔频率分析，使得该功率谱保留着与人耳特性密切相关的频率部分，该频率部分能够很好地反映出训练语音数据的特征。
(4)在梅尔功率谱上进行倒谱分析，获取训练语音数据的梅尔频率倒谱系数，并将获取到的梅尔频率倒谱系数确定为训练语音特征。
其中，倒谱(cepstrum)是指一种信号的傅里叶变换谱经对数运算后再进行的傅里叶反变换，由于一般傅里叶谱是复数谱，因而倒谱又称复倒谱。通过倒谱分析，可以将原本特征维数过高，难以直接使用的训练语音数据的梅尔功率谱中包含的特征，通过在梅尔功率谱上进行倒谱分析，转换成能够在模型训练过程中直接使用的训练语音特征，该特征即梅尔频率倒谱系数。
S12：采用训练语音特征进行通用背景模型训练，获取通用背景模型。
本实施例中，在获取训练语音特征(如MFCC特征)后，该训练语音特征可以以向量(矩阵)的形式表示，计算机设备可以直接读取向量形式的训练语音数据，在进行通用背景模型训练时，将训练语音特征按帧输入，并采用EM算法迭代计算得出通用背景模型表达式中的参数(第k个混合高斯的系数Ck、均值mk和协方差Rk)，从而获取通用背景模型，EM算法是计算含有隐变量的概率密度函数的常用数学方法，在此不进行赘述。
S20：基于通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型。
其中，目标说话人语音数据是指训练目标声纹特征模型所需的语音数据。目标声纹特征模型是指与某些目标说话人相关的声纹特征模型。可以理解地，在需要训练某些说话人的声纹特征模型时，这些说话人就是目标说话人。为了区分不同目标说话人对应的语音数据，可使每一目标说话人语音数据携带相应的用户标识，该用户标识是用于唯一识别用户的标识，具体可以为目标说话人的身份证号或电话号码等。
本实施例中，目标说话人语音数据在某些场景下是比较难获取的(如在银行等办理业务的场景下)，因此造成了目标说话人语音数据的数据样本比较少。采用数据样本少的目标说话人语音数据直接训练获取的目标声纹特征模型在后续计算目标声纹特征向量时的效果非常差，无法体现出目标说话人语音数据的语音(声纹)特征。因此，本实施例采用通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型，以使得获取到的目标声纹特征模型的准确性更高。通用背景模型是一个表示大量非特定说话人语音特征分布的高斯混合模型，将通用背景模型中大量非特定说话人语音特征自适应地添加到目标说话人语音数据中，相当与把通用背景模型中的一部分非特定说话人语音特征作为目标说话人语音数据一同训练，可以很好地“补充”目标说话人语音数据，以训练目标声纹特征模型。
其中，自适应处理是指将通用背景模型中的与目标说话人语音数据相近的一部分非特定说话人语音特征作为目标说话人语音数据的处理方法，该自适应处理具体可以采用最大后验估计算法(Maximum A Posteriori，简称MAP)实现。最大后验估计是根据经验数据获得对难以观察的量的估计，估计过程中，需利用先验概率和贝叶斯定理得到后验概率，目标函数(即表示目标声纹特征模型的表达式)为后验概率的似然函数，求得该似然函数最大时的参数值(可采用梯度下降算法求出似得然函数的最大值)，也就实现将通用背景模型中的与目标说话人语音数据相近的一部分非特定说话人语音特征作为目标说话人语音数据一同训练的效果，根据求得的似然函数最大时的参数值获取到与目标说话人语音数据相对应的目标声纹特征模型。
需要说明的是，目标说话人语音数据在采用最大后验估计算法进行自适应处理，训练目标声纹特征模型时，应先提取出相应的语音特征才可以进行计算和训练，本实施例提及的通用背景模型对目标说话人语音数据进行自适应处理，应将目标说话人语音数据看作是提取好特征的目标说话人语音特征，该语音特征应与训练通用背景模型的语音特征相同，如都采用MFCC特征。
在一实施例中，如图3所示，步骤S20中，基于通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型，包括如下步骤：
S21：采用奇异值分解对通用背景模型进行特征降维处理，获取目标背景模型。
其中，由通用背景模型的表达式：x表示训练语音数据，K表示组成通用背景模型的高斯分布的个数，Ck表示第k个混合高斯的系数，N(x；mk,Rk)表示均值mk是D维矢量，D×D维对角协方差矩阵Rk的高斯分布，可知，通用背景模型采用高斯概率密度函数表示，该通用背景模型参数中的协方差矩阵Rk采用矢量(矩阵)表示，可以采用奇异值分解的方式对通用背景模型进行特征降维处理，去除通用背景模型中的噪音数据。奇异值分解是指线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广，在信号处理、统计学等领域有重要应用。
本实施例中，采用奇异值分解对通用背景模型进行特征降维。具体地，将通用背景模型中参数协方差矩阵Rk相对应的矩阵进行奇异值分解，用公式表示为：mk＝σ1u1v1 T+σ2u2v2 T+...+σnunvn T，其中，等式右边每一项前的系数σ为奇异值，σ是对角矩阵，u为是一个方阵，u包含的向量是正交的，称为左奇异矩阵，v为是一个方阵，v包含的向量是正交的，称为右奇异矩阵，T表示矩阵转置的矩阵运算。该等式中uvT都是秩为1的矩阵，并且奇异值满足σ1≥σ2≥σn>0。可以理解地，奇异值越大表示该奇异值对应的分项σuvT代表在Rk中越重要的特征，奇异值越小的特征认为是越不重要的特征。在训练通用背景模型中，难免也会有噪音数据的影响，导致训练出来的通用背景模型不仅特征维度高，而且还不够客观精确，采用奇异值分解的方式，可以对通用背景模型参数中的矩阵进行特征降维处理，把原本特征维度较高的通用背景模型降维到特征较低的目标背景模型，去除掉奇异值较小的分项。需要说明的是，该特征降维处理不但没有减弱特征表达通用背景模型的能力，实际上反而是增强了，因为在进行奇异值分解时去除的部分特征维度，该特征维度中都是σ比较小的特征，这些σ比较小的特征实际上就是训练通用背景模型时的噪音部分。因此，采用奇异值分解对通用背景模型进行特征降维处理，能够去除通用背景模型中的噪音部分代表的特征维度，获取目标背景模型(该目标背景模型是优化后的通用背景模型，可以替代原本的通用背景模型对目标说话人语音数据进行自适应处理，并能达到更好的效果)。该目标背景模型以较低特征维度良好展现了训练语音数据的语音特征，并且在进行与目标背景模型相关的计算(如采用目标背景模型对目标说话人语音数据进行自适应处理)时会大大减少计算量，提高效率。
S22：采用目标背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型。
本实施例中，对目标说话人语音数据进行自适应处理采用的通用背景模型具体是目标背景模型，该目标背景模型是指对原本的通用背景模型通过奇异值分解进行特征降维获取到的优化后的通用背景模型。对目标说话人语音数据进行自适应处理的过程参考步骤S20，在此不再赘述。
S30：基于目标声纹特征模型，获取目标说话人语音数据的目标声纹特征向量。
其中，目标声纹特征模型是用于计算目标声纹特征向量的模型，目标声纹特征向量是指通过目标声纹特征模型获取的，代表目标说话人语音数据的特征向量。
本实施例中，目标声纹特征模型实际上就是目标说话人语音数据对应的混合高斯模型(GMM)，该目标声纹特征模型的表达式与通用背景模型相似，只是表达式中具体的参数的值不同。基于目标声纹特征模型，在目标背景模型已知的情况下，能够求得目标声纹特征向量。获取的目标声纹特征向量在较低维度下仍然能够保留与目标说话人语音数据相关的关键声纹特征。
在一实施例中，如图4所示，步骤S30中，基于目标声纹特征模型，获取目标说话人语音数据的目标声纹特征向量，包括如下步骤：
S31：基于目标声纹特征模型，获取目标说话人语音数据的声纹特征向量空间。
在已知目标声纹特征模型和目标背景模型的情况下，将目标声纹特征模型参数中的均值(通用背景模型的均值用mk表示，这这里目标声纹特征模型的均值可以采用mk'进行表示)连接组成A×K维的超矢量M(i)，将目标背景模型参数中的均值(mk)连接组成A×K维的超矢量M0，声纹特征向量空间T是(A×K)×F维的描述总体变化的矩阵。声纹特征向量空间T的参数含有隐变量，无法直接得到，但是能够根据已知的M(i)和M0，具体可以是采用EM算法，根据M(i)和M0迭代计算求出声纹特征向量空间T。
S32：根据声纹特征向量空间，获取目标声纹特征向量。
本实施例中，根据声纹特征向量空间T，可以通过以下公式计算获取目标声纹特征向量：M(i)＝M0+Tw(i)，其中M0是由目标背景模型参数中的均值(mk)连接组成的A×K维超矢量(目标背景模型中的均值是降维过的，降维后均值表示为A维矢量)，M(i)是由目标声纹特征模型参数中的均值(mk')连接组成的A×K维超矢量，T是(A×K)×F维的描述总体变化的矩阵，即声纹特征向量空间，w(i)表示一个F维矢量符合标准的正太分布，该w(i)即为目标声纹特征向量。目标声纹特征向量可以在较低维度下体现目标说话人语音数据中的声纹特征，在进行与该目标声纹特征向量相关的计算时，能够大大减少计算量，提高效率，并在提高效率的同时，保证目标声纹特征向量在较低维度下仍然能够保留与目标说话人语音数据相关的关键声纹特征。
S40：将目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
其中，深度神经网络(Deep Neural Networks，简称DNN)模型中包括由神经元组成的输入层、隐藏层和输出层。该深度神经网络模型中包括各层之间各个神经元连接的权值和偏置，这些权值和偏置决定了DNN模型的性质及识别效果。目标说话人识别模型是指能够对特定的、想要识别的目标说话人进行识别的模型。
本实施例中，将目标声纹特征向量输入到深度神经网络模型中进行训练，更新该深度神经网络模型的网络参数(即权值和偏置)，获取目标说话人语音识别模型。目标声纹特征在较低的特征维度下包括了目标说话人语音数据的大部分关键声纹特征，在一定程度上可以代表目标说话人语音数据。本实施例中将目标声纹特征向量通过在DNN模型中训练，进一步地提取目标说话人语音数据的特征，在目标声纹特征向量的基础上进行深层特征的提取，该深层特征通过目标说话人识别模型中的网络参数表达，可以根据该目标说话人识别模型提取目标声纹特征向量的深层特征，以便后续根据该深层特征进行说话人识别时，采用该目标说话人识别模型能达到非常精确的识别效果。训练采用的目标声纹特征向量的维度并不高，可以大大提高模型训练的效率，用较少维度的特征就可以代表目标说话人语音数据。
在一实施例中，如图5所示，步骤S40中，将目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型，包括如下步骤：
S41：初始化深度神经网络模型。
本实施例中，初始化DNN模型，该初始化操作即设置DNN模型中权值和偏置的初始值，该初始值可以设置为较小的值，如设置在区间[-0.3-0.3]之间，或者直接采用经验值设置初始的权值和偏置。合理的初始化DNN模型可以使DNN模型在初期有较灵活的调整能力，可以在DNN模型训练过程中对模型进行有效的调整，使得训练出的DNN模型识别效果较好。
S42：将目标声纹特征向量分组输入到深度神经网络模型中，根据前向传播算法获取深度神经网络模型的输出值，目标声纹特征向量的第i组样本在深度神经网络模型的当前层的输出值用公式表示为ai,l＝σ(Wlai,l-1+bl)，其中，a为输出值，i表示输入的目标声纹特征向量的第i组样本，l为深度神经网络模型的当前层，σ为激活函数，W为权值，l-1为深度神经网络模型的当前层的上一层，b为偏置。
本实施例中，先将目标声纹特征向量分成预设组数的样本，再分组输入到DNN模型中进行训练，即将分组后的样本分别输入到DNN模型进行训练。DNN的前向传播算法是根据DNN模型中连接各个神经元的权值W,偏置b和输入值(向量xi)在DNN模型中进行的一系列线性运算和激活运算，从输入层开始，一层层运算，一直运算到输出层，得到输出值为止。根据前向传播算法可以计算DNN模型中网络每一层的输出值，直至算到最后一层的输出值。
具体地，有DNN模型的总层数为L，DNN模型中连接各个神经元的权值W,偏置b和输入值向量xi，输出层的输出值ai,L(i表示输入的目标声纹特征向量的第i组样本)，则a1＝xi(第一层的输出为在输入层输入的目标声纹特征向量，即输入值向量xi)，根据前向传播算法可知输出ai,l＝σ(Wlai,l-1+bl)，其中，l表示深度神经网络模型的当前层，σ为激活函数，这里具体采用的激活函数可以是sigmoid或者tanh激活函数。根据上述计算ai,l的公式按层数逐层进行前向传播，获取DNN模型中网络最终的输出值ai,L(即深度神经网络模型的输出值)，有了输出值ai,L即可以根据输出值ai,L对DNN模型中的网络参数(连接各个神经元的权值W,偏置b)进行调整，以获取拥有优异说话人识别能力的目标说话人语音识别模型。
S43：基于深度神经网络模型的输出值进行误差反传，更新深度神经网络模型各层的权值和偏置，获取目标说话人语音识别模型，其中，更新权值的计算公式为l为深度神经网络模型的当前层，W为权值，α为迭代步长，m为输入的目标声纹特征向量的样本总数，δi,l为当前层的灵敏度；zi,l＝Wlai,l-1+bl，ai,l-1为上一层的输出，T表示矩阵转置运算，表示两个矩阵对应元素相乘的运算(Hadamard积)，更新偏置的计算公式为
本实施例中，在根据前向传播算法获取DNN模型的输出值ai,L后，可以根据ai,L与预先设置好标签值(该标签值是根据实际情况设置的用于与输出值进行比较，获取误差的值)的目标声纹特征向量计算目标声纹特征向量在该DNN模型中训练时产生的误差，并根据该误差构建合适的误差函数(如采用均方差来度量误差的误差函数)，根据误差函数进行误差反传，以调整更新DNN模型各层的权值W和偏置b。
更新DNN模型各层的权值W和偏置b采用的是后向传播算法，根据后向传播算法求误差函数的极小值，以优化更新DNN模型各层的权值W和偏置b，获取目标说话人语音识别模型。具体地，设置模型训练的迭代步长为α，最大迭代次数MAX与停止迭代阈值∈。在后向传播算法中，灵敏度δi,l是每次更新参数都会出现的公共因子，因此可以借助灵敏度δi,l计算误差，以更新DNN模型中的网络参数。已知a1＝xi(第一层的输出为在输入层输入的目标声纹特征向量，即输入值向量xi)，则先求出输出层的灵敏度zi,l＝Wlai,l-1+bl，其中i表示输入的目标声纹特征向量的第i组样本，y为标签值(即用来与输出值ai,L相比较的值)。再根据δi,L求出深度神经网络模型的第l层的灵敏度δi,l，根据后向传播算法可以计算得出深度神经网络模型的第l层的灵敏度得到深度神经网络模型的第l层的灵敏度δi,l后，即可更新DNN模型各层的权值W和偏置b，更新后的权值为更新后的偏置为其中，α为模型训练的迭代步长，m为输入的目标声纹特征向量的样本总数，T表示矩阵转置运算。当所有W和b的变化值都小于停止迭代阈值∈时，即可停止训练；或者，训练达到最大迭代次数MAX时，停止训练。通过目标声纹特征向量在DNN模型中的输出值和预先设置好的标签值之间产生的误差，实现DNN模型各层的权值W和偏置b的更新，使得最终获取的目标说话人语音识别模型能够根据目标声纹特征向量进行说话人识别。
步骤S41-S43采用目标声纹特征向量对DNN模型进行训练，使得训练获取的目标说话人语音识别模型可以有效进行说话人识别，在采用较低维度的目标声纹特征向量就可以实现精确的说话人识别效果。具体地，目标说话人语音识别模型在模型训练过程中进一步提取了目标声纹特征向量的深层特征，模型中训练好的权值和偏置体现了该基于目标声纹特征向量的深层特征。目标说话人语音识别模型能够基于说话人的目标声纹特征向量进行深层特征的识别，实现对说话人的精确识别。
本实施例所提供的语音模型训练方法中，首先获取通用背景模型，然后采用奇异值分解对通用背景模型进行特征降维处理，获取目标背景模型，把原本特征维度较高的通用背景模型降维到特征较低的目标背景模型，并且可以去除通用背景模型中的噪音部分代表的特征维度，再通过该目标背景模型对数据量较少的目标说话人语音数据进行自适应补充处理，使得在数据量很少的情况下同样能够得到代表目标说话人语音数据的目标声纹特征模型。接着基于目标声纹特征模型获取目标说话人语音数据的目标声纹特征向量，该目标声纹特征向量可以在较低维度下便体现目标说话人语音数据，在进行与该目标声纹特征向量相关的计算时，能够大大减少计算量，提高效率，并在提高效率的同时，保证目标声纹特征向量在较低维度下仍然能够保留与目标说话人语音数据相关的关键声纹特征。最后将目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型，该目标声纹向量能够较好地描述语音特征，可以在该目标声纹特征向量的基础上进行语音特征的深层提取，训练采用的目标声纹特征向量的维度并不高，可以大大提高模型训练的效率，用较少维度的特征就可以代表目标说话人语音数据，得到识别准确性较高的目标说话人语音识别模型。
图6示出与实施例中语音模型训练方法一一对应的语音模型训练装置的原理框图。该参数修改装置包括通用背景模型获取模块10、目标声纹特征模型获取模块20、目标声纹特征向量获取模块30和目标模型获取模块40。其中，通用背景模型获取模块10、目标声纹特征模型获取模块20、目标声纹特征向量获取模块30和目标模型获取模块40的实现功能与实施例中语音模型训练方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
通用背景模型获取模块10，用于基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型。
目标声纹特征模型获取模块20，用于基于通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型。
目标声纹特征向量获取模块30，用于基于目标声纹特征模型，获取目标说话人语音数据的目标声纹特征向量。
目标模型获取模块40，用于将目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
优选地，通用背景模型获取模块10包括训练语音特征单元11和通用背景模型获取单元12。
训练语音特征单元11，用于基于训练语音数据，获取训练语音特征。
通用背景模型获取单元12，用于采用训练语音特征进行通用背景模型训练，获取通用背景模型。
优选地，训练语音特征单元11包括预处理子单元111、功率谱获取子单元112、梅尔功率谱子单元113和训练语音特征确定子单元114。
预处理子单元111，用于对训练语音数据进行预处理。
功率谱获取子单元112，用于对预处理后的训练语音数据作快速傅里叶变换，获取训练语音数据的频谱，并根据频谱获取训练语音数据的功率谱。
梅尔功率谱子单元113，用于采用梅尔刻度滤波器组处理训练语音数据的功率谱，获取训练语音数据的梅尔功率谱。
训练语音特征确定子单元114，用于在梅尔功率谱上进行倒谱分析，获取训练语音数据的梅尔频率倒谱系数，并将获取到的梅尔频率倒谱系数确定为训练语音特征。
优选地，目标声纹特征模型获取模块20包括目标背景模型获取单元21和目标声纹特征模型获取单元22。
目标背景模型获取单元21，用于采用奇异值分解对通用背景模型进行特征降维处理，获取目标背景模型。
目标声纹特征模型获取单元22，用于采用目标背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型。
优选地，目标声纹特征向量获取模块30包括声纹特征向量空间获取单元31和目标声纹特征向量获取单元32。
声纹特征向量空间获取单元31，用于基于目标声纹特征模型，获取目标说话人语音数据的声纹特征向量空间。
目标声纹特征向量获取单元32，用于根据声纹特征向量空间，获取目标声纹特征向量。
优选地，目标模型获取模块40包括初始化单元41、输出值获取单元42和更新单元43。
初始化单元41，用于初始化深度神经网络模型。
输出值获取单元42，用于将目标声纹特征向量分组输入到深度神经网络模型中，根据前向传播算法获取深度神经网络模型的输出值，目标声纹特征向量的第i组样本在深度神经网络模型的当前层的输出值用公式表示为ai,l＝σ(Wlai,l-1+bl)，其中，a为输出值，i表示输入的目标声纹特征向量的第i组样本，l为深度神经网络模型的当前层，σ为激活函数，W为权值，l-1为深度神经网络模型的当前层的上一层，b为偏置。
更新单元43，用于基于深度神经网络模型的输出值进行误差反传，更新深度神经网络模型各层的权值和偏置，获取目标说话人语音识别模型，其中，更新权值的计算公式为l为深度神经网络模型的当前层，W为权值，α为迭代步长，m为输入的目标声纹特征向量的样本总数，δi,l为当前层的灵敏度；zi,l＝Wlai,l-1+bl，ai,l-1为上一层的输出，T表示矩阵转置运算，表示两个矩阵对应元素相乘的运算(Hadamard积)，更新偏置的计算公式为
图7示出本实施例中说话人识别方法的一流程图。该说话人识别方法可应用在银行、证券、投资和保险等金融机构或者需进行说话人识别的其他机构的计算机设备上，以便进行说话人识别，达到人工智能目的。如图7所示，该说话人识别方法包括如下步骤：
S50：获取待识别语音数据，待识别语音数据与用户标识相关联。
其中，待识别语音数据是指待进行识别用户的语音数据，用户标识是用于唯一识别用户的标识，该用户标识可以是用户身份证号和用户电话号码等能够唯一识别用户的标识。
本实施例中，获取待识别语音数据，具体可以是通过计算机设备内置的录音模块或者外部的录音设备采集，该待识别语音数据与用户标识相关联，通过该用户标识可以查找到对应的目标说话人语音识别模型，以通过该目标说话人语音识别模型对待识别语音数据进行识别，通过待识别语音数据判断是不是用户本人，实现说话人识别。
S60：基于通用背景模型对待识别语音数据进行自适应处理，获取待识别声纹特征模型。
其中，待识别声纹特征模型是基于通用背景模型，通过目标背景模型对待识别语音数据自适应处理后，与待识别语音数据相关的声纹特征模型。
本实施例步骤与步骤S21-S22相似，请参考步骤S21-S22，在此不再赘述。该步骤的目的在于获取待识别声纹特征模型，以根据该模型获取待识别声纹特征向量。
S70：基于待识别声纹特征模型，获取对应的待识别声纹特征向量。
其中，待识别声纹特征向量是指通过待识别声纹特征模型获取的，代表待识别语音数据的特征向量。
本实施例步骤与步骤S31-S32相似，请参考步骤S31-S32，在此不再赘述。
步骤S50-S70是为了获取能够代表待识别语音数据的待识别声纹特征向量，以根据该待识别声纹特征向量在目标说话人语音识别模型进行说话人识别，判断待识别语音数据是否属于用户本人。
S80：根据用户标识，获取与用户标识相对应的目标说话人语音识别模型，采用目标说话人语音识别模型对待识别声纹特征向量进行识别，获取识别概率值；若识别概率值大于预设概率值，则确定为用户本人；其中，目标说话人语音识别模型是采用实施例语音模型训练方法获取到的。
本实施例中，根据用户标识获取与用户标识相对应的目标说话人语音识别模型，该目标说话人语音识别模型是预先存储在数据库中的识别模型，该识别模型与目标说话人语音数据相关，即与目标说话人语音数据对应的用户标识相关联。因此，根据用户标识就可以获取对应的目标说话人识别模型。在数据库调用并获取目标说话人语音识别模型后，将待识别声纹特征向量输入到目标说话人语音识别模型中进行识别，能够得到该待识别声纹特征向量在该识别模型中的识别概率值，若识别概率值大于预设概率值，则认为该待识别声纹特征向量代表的待识别语音数据是用户本人的语音，则可以确定该待识别语音数据是由用户本人发出的，实现说话人识别。其中，预设概率值是指预先设置的判别待识别语音数据是否由用户本人发出的参考阈值，采用概率值表示，如预设概率值为95％。
本实施例所提供的说话人识别方法中，通过待识别语音数据获取对应的待识别声纹特征模型，将待识别声纹特征向量输入到待识别语音数据关联的用户标识对应的目标说话人语音识别模型中进行识别，实现说话人识别。该说话人语音识别模型用较低维度的目标声纹特征向量便能够全面地描述语音特征，采用该说话人识别方法进行说话人语音识别时能实现较高的识别准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图8示出与实施例中说话人识别方法一一对应的说话人识别训练装置的原理框图。该说话人识别装置包括待识别语音数据获取模块50、待识别声纹特征模型获取模块60、待识别声纹特征向量获取模块70和识别模块80。其中，待识别语音数据获取模块50、待识别声纹特征模型获取模块60、待识别声纹特征向量获取模块70和识别模块80的实现功能与实施例中语音模型训练方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
待识别语音数据获取模块50，用于获取待识别语音数据，待识别语音数据与用户标识相关联。
待识别声纹特征模型获取模块60，用于基于通用背景模型对待识别语音数据进行自适应处理，获取待识别声纹特征模型。
待识别声纹特征向量获取模块70，用于待识别声纹特征向量获取模块70，用于基于待识别声纹特征模型，获取对应的待识别声纹特征向量。
识别模块80，用于根据用户标识，获取与用户标识相对应的目标说话人语音识别模型，采用目标说话人语音识别模型对待识别声纹特征向量进行识别，获取识别概率值；若识别概率值大于预设概率值，则确定为用户本人；其中，目标说话人语音识别模型是采用实施例语音模型训练方法获取到的。
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例中语音模型训练方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例中说话人语音区分装置中各模块/单元的功能，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例中说话人识别方法中各步骤的功能，为避免重复，此处不一一赘述。或者，该计算机程序被处理器执行时实现实施例中说话人识别装置中各模块/单元的功能，为避免重复，此处不一一赘述。
可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号和电信信号等。
图9是本发明一实施例提供的终端设备的示意图。如图9所示，该实施例的终端设备90包括：处理器91、存储器92以及存储在存储器92中并可在处理器91上运行的计算机程序93，该计算机程序93被处理器91执行时实现实施例中语音模型训练方法，为避免重复，此处不一一赘述。或者，该计算机程序93被处理器91执行时实现实施例中语音模型训练装置中各模型/单元的功能，为避免重复，此处不一一赘述。或者，该计算机程序93被处理器91执行时实现实施例中说话人识别方法中各步骤的功能，为避免重复，此处不一一赘述。或者，该计算机程序93被处理器91执行时实现实施例中说话人识别装置中各模块/单元的功能。为避免重复，此处不一一赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种语音模型训练方法，其特征在于，包括：
基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型；
基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型；
基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量；
将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
2.根据权利要求1所述的语音模型训练方法，其特征在于，所述基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型，包括：
基于所述训练语音数据，获取训练语音特征；
采用所述训练语音特征进行通用背景模型训练，获取通用背景模型；
其中，所述基于所述训练语音数据，获取训练语音特征，包括：
对所述训练语音数据进行预处理；
对预处理后的所述训练语音数据作快速傅里叶变换，获取训练语音数据的频谱，并根据所述频谱获取训练语音数据的功率谱；
采用梅尔刻度滤波器组处理所述训练语音数据的功率谱，获取训练语音数据的梅尔功率谱；
在所述梅尔功率谱上进行倒谱分析，获取训练语音数据的梅尔频率倒谱系数，并将获取到的梅尔频率倒谱系数确定为所述训练语音特征。
3.根据权利要求1所述的语音模型训练方法，其特征在于，所述基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型，包括：
采用奇异值分解对所述通用背景模型进行特征降维处理，获取目标背景模型；
采用所述目标背景模型对所述目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型。
4.根据权利要求1所述的语音模型训练方法，其特征在于，所述基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量，包括：
基于所述目标声纹特征模型，获取目标说话人语音数据的声纹特征向量空间；
根据所述声纹特征向量空间，获取目标声纹特征向量。
5.根据权利要求1所述的语音模型训练方法，其特征在于，所述将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型，包括：
初始化深度神经网络模型；
将所述目标声纹特征向量分组输入到所述深度神经网络模型中，根据前向传播算法获取深度神经网络模型的输出值，目标声纹特征向量的第i组样本在深度神经网络模型的当前层的输出值用公式表示为ai,l＝σ(Wlai,l-1+bl)，其中，a为输出值，i表示输入的目标声纹特征向量的第i组样本，l为深度神经网络模型的当前层，σ为激活函数，W为权值，l-1为深度神经网络模型的当前层的上一层，b为偏置；
基于深度神经网络模型的输出值进行误差反传，更新深度神经网络模型各层的权值和偏置，获取目标说话人语音识别模型，其中，更新权值的计算公式为l为深度神经网络模型的当前层，W为权值，α为迭代步长，m为输入的目标声纹特征向量的样本总数，δi,l为当前层的灵敏度；zi,l＝Wlai,l-1+bl，ai,l-1为上一层的输出，T表示矩阵转置运算，表示两个矩阵对应元素相乘的运算，更新偏置的计算公式为
6.一种说话人识别方法，其特征在于，包括：
获取待识别语音数据，所述待识别语音数据与用户标识相关联；
基于通用背景模型对所述待识别语音数据进行自适应处理，获取待识别声纹特征模型；
基于所述待识别声纹特征模型，获取对应的待识别声纹特征向量；
根据所述用户标识，获取与所述用户标识相对应的目标说话人语音识别模型，采用所述目标说话人语音识别模型对所述待识别声纹特征向量进行识别，获取识别概率值；若所述识别概率值大于预设概率值，则确定为用户本人；其中，所述目标说话人语音识别模型是采用权利要求1-5任一项所述语音模型训练方法获取到的。
7.一种语音模型训练装置，其特征在于，包括：
通用背景模型获取模块，用于基于预先准备的训练语音数据进行通用背景模型训练，获取通用背景模型；
目标声纹特征模型获取模块，用于基于所述通用背景模型对目标说话人语音数据进行自适应处理，获取相对应的目标声纹特征模型；
目标声纹特征向量获取模块，用于基于所述目标声纹特征模型，获取所述目标说话人语音数据的目标声纹特征向量；
目标说话人语音识别模型获取模块，用于将所述目标声纹特征向量输入到深度神经网络中进行训练，获取目标说话人语音识别模型。
8.一种说话人识别装置，其特征在于，包括：
待识别语音数据获取模块，用于获取待识别语音数据，所述待识别语音数据与用户标识相关联；
待识别声纹特征模型获取模块，用于基于通用背景模型对所述待识别语音数据进行自适应处理，获取待识别声纹特征模型；
待识别声纹特征向量获取模块，用于基于所述待识别声纹特征模型，获取对应的待识别声纹特征向量；
识别模块，用于根据所述用户标识获取与所述用户标识相对应的目标说话人语音识别模型，将所述待识别声纹特征向量输入到所述目标说话人语音识别模型中进行识别，获取识别概率值；若所述识别概率值大于预设概率值，则确定为用户本人；其中，所述目标说话人语音识别模型是采用权利要求1-5任一项所述语音模型训练方法获取到的。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述语音模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现如权利要求6所述说话人识别方法的步骤。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述语音模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现如权利要求6所述说话人识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549432.6A CN108777146A (zh) | 2018-05-31 | 2018-05-31 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
| PCT/CN2018/094406 WO2019227586A1 (zh) | 2018-05-31 | 2018-07-04 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549432.6A CN108777146A (zh) | 2018-05-31 | 2018-05-31 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108777146A true CN108777146A (zh) | 2018-11-09 |
Family
ID=64028243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810549432.6A Pending CN108777146A (zh) | 2018-05-31 | 2018-05-31 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108777146A (zh) |
| WO (1) | WO2019227586A1 (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109686382A (zh) * | 2018-12-29 | 2019-04-26 | 平安科技（深圳）有限公司 | 一种说话人聚类方法和装置 |
| CN110084371A (zh) * | 2019-03-27 | 2019-08-02 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的模型迭代更新方法、装置和计算机设备 |
| CN110428842A (zh) * | 2019-08-13 | 2019-11-08 | 广州国音智能科技有限公司 | 语音模型训练方法、装置、设备及计算机可读存储介质 |
| CN110491373A (zh) * | 2019-08-19 | 2019-11-22 | Oppo广东移动通信有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN110781519A (zh) * | 2019-10-31 | 2020-02-11 | 东华大学 | 一种语音数据发布的安全脱敏方法 |
| CN110956957A (zh) * | 2019-12-23 | 2020-04-03 | 苏州思必驰信息科技有限公司 | 语音增强模型的训练方法及系统 |
| CN111816185A (zh) * | 2020-07-07 | 2020-10-23 | 广东工业大学 | 一种对混合语音中说话人的识别方法及装置 |
| CN111883139A (zh) * | 2020-07-24 | 2020-11-03 | 北京字节跳动网络技术有限公司 | 用于筛选目标语音的方法、装置、设备和介质 |
| CN112669836A (zh) * | 2020-12-10 | 2021-04-16 | 鹏城实验室 | 命令的识别方法、装置及计算机可读存储介质 |
| CN112669820A (zh) * | 2020-12-16 | 2021-04-16 | 平安科技（深圳）有限公司 | 基于语音识别的考试作弊识别方法、装置及计算机设备 |
| CN112687290A (zh) * | 2020-12-30 | 2021-04-20 | 同济大学 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
| CN112820299A (zh) * | 2020-12-29 | 2021-05-18 | 马上消费金融股份有限公司 | 声纹识别模型训练方法、装置及相关设备 |
| CN113077798A (zh) * | 2021-04-01 | 2021-07-06 | 山西云芯新一代信息技术研究院有限公司 | 一种居家老人呼救设备 |
| CN114049900A (zh) * | 2021-12-08 | 2022-02-15 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
| WO2022121155A1 (zh) * | 2020-12-10 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于元学习的自适应语音识别方法、装置、设备及介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243576B (zh) * | 2020-01-16 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 语音识别以及模型训练方法、装置、设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096940A (zh) * | 2015-06-30 | 2015-11-25 | 百度在线网络技术（北京）有限公司 | 用于进行语音识别的方法和装置 |
| CN105575394A (zh) * | 2016-01-04 | 2016-05-11 | 北京时代瑞朗科技有限公司 | 基于全局变化空间及深度学习混合建模的声纹识别方法 |
| US20170169815A1 (en) * | 2015-12-10 | 2017-06-15 | Nuance Communications, Inc. | System and methods for adapting neural network acoustic models |
| CN107564513A (zh) * | 2016-06-30 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
| CN107680600A (zh) * | 2017-09-11 | 2018-02-09 | 平安科技（深圳）有限公司 | 声纹模型训练方法、语音识别方法、装置、设备及介质 |
| CN107785015A (zh) * | 2016-08-26 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 一种语音识别方法及装置 |
| KR101843074B1 (ko) * | 2016-10-07 | 2018-03-28 | 서울대학교산학협력단 | Vae를 이용한 화자 인식 특징 추출 방법 및 시스템 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9858919B2 (en) * | 2013-11-27 | 2018-01-02 | International Business Machines Corporation | Speaker adaptation of neural network acoustic models using I-vectors |
| JP6243858B2 (ja) * | 2015-02-05 | 2017-12-06 | 日本電信電話株式会社 | 音声モデル学習方法、雑音抑圧方法、音声モデル学習装置、雑音抑圧装置、音声モデル学習プログラム及び雑音抑圧プログラム |
| CN107610707B (zh) * | 2016-12-15 | 2018-08-31 | 平安科技（深圳）有限公司 | 一种声纹识别方法及装置 |
| CN106847292B (zh) * | 2017-02-16 | 2018-06-19 | 平安科技（深圳）有限公司 | 声纹识别方法及装置 |
| CN107146601B (zh) * | 2017-04-07 | 2020-07-24 | 南京邮电大学 | 一种用于说话人识别系统的后端i-vector增强方法 |
-
2018
- 2018-05-31 CN CN201810549432.6A patent/CN108777146A/zh active Pending
- 2018-07-04 WO PCT/CN2018/094406 patent/WO2019227586A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096940A (zh) * | 2015-06-30 | 2015-11-25 | 百度在线网络技术（北京）有限公司 | 用于进行语音识别的方法和装置 |
| US20170169815A1 (en) * | 2015-12-10 | 2017-06-15 | Nuance Communications, Inc. | System and methods for adapting neural network acoustic models |
| CN105575394A (zh) * | 2016-01-04 | 2016-05-11 | 北京时代瑞朗科技有限公司 | 基于全局变化空间及深度学习混合建模的声纹识别方法 |
| CN107564513A (zh) * | 2016-06-30 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
| CN107785015A (zh) * | 2016-08-26 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 一种语音识别方法及装置 |
| KR101843074B1 (ko) * | 2016-10-07 | 2018-03-28 | 서울대학교산학협력단 | Vae를 이용한 화자 인식 특징 추출 방법 및 시스템 |
| CN107680600A (zh) * | 2017-09-11 | 2018-02-09 | 平安科技（深圳）有限公司 | 声纹模型训练方法、语音识别方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 付金会: "《统计学》", 30 April 2017 * |
| 吴迪: "《智能环境下基于音视频多模态融合的身份识别》", 31 March 2018 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109686382A (zh) * | 2018-12-29 | 2019-04-26 | 平安科技（深圳）有限公司 | 一种说话人聚类方法和装置 |
| CN110084371A (zh) * | 2019-03-27 | 2019-08-02 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的模型迭代更新方法、装置和计算机设备 |
| CN110428842A (zh) * | 2019-08-13 | 2019-11-08 | 广州国音智能科技有限公司 | 语音模型训练方法、装置、设备及计算机可读存储介质 |
| CN110491373A (zh) * | 2019-08-19 | 2019-11-22 | Oppo广东移动通信有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN110781519A (zh) * | 2019-10-31 | 2020-02-11 | 东华大学 | 一种语音数据发布的安全脱敏方法 |
| CN110956957B (zh) * | 2019-12-23 | 2022-05-17 | 思必驰科技股份有限公司 | 语音增强模型的训练方法及系统 |
| CN110956957A (zh) * | 2019-12-23 | 2020-04-03 | 苏州思必驰信息科技有限公司 | 语音增强模型的训练方法及系统 |
| CN111816185A (zh) * | 2020-07-07 | 2020-10-23 | 广东工业大学 | 一种对混合语音中说话人的识别方法及装置 |
| CN111883139A (zh) * | 2020-07-24 | 2020-11-03 | 北京字节跳动网络技术有限公司 | 用于筛选目标语音的方法、装置、设备和介质 |
| CN112669836A (zh) * | 2020-12-10 | 2021-04-16 | 鹏城实验室 | 命令的识别方法、装置及计算机可读存储介质 |
| CN112669836B (zh) * | 2020-12-10 | 2024-02-13 | 鹏城实验室 | 命令的识别方法、装置及计算机可读存储介质 |
| WO2022121155A1 (zh) * | 2020-12-10 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于元学习的自适应语音识别方法、装置、设备及介质 |
| CN112669820A (zh) * | 2020-12-16 | 2021-04-16 | 平安科技（深圳）有限公司 | 基于语音识别的考试作弊识别方法、装置及计算机设备 |
| CN112669820B (zh) * | 2020-12-16 | 2023-08-04 | 平安科技（深圳）有限公司 | 基于语音识别的考试作弊识别方法、装置及计算机设备 |
| CN112820299B (zh) * | 2020-12-29 | 2021-09-14 | 马上消费金融股份有限公司 | 声纹识别模型训练方法、装置及相关设备 |
| CN112820299A (zh) * | 2020-12-29 | 2021-05-18 | 马上消费金融股份有限公司 | 声纹识别模型训练方法、装置及相关设备 |
| CN112687290B (zh) * | 2020-12-30 | 2022-09-20 | 同济大学 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
| CN112687290A (zh) * | 2020-12-30 | 2021-04-20 | 同济大学 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
| CN113077798A (zh) * | 2021-04-01 | 2021-07-06 | 山西云芯新一代信息技术研究院有限公司 | 一种居家老人呼救设备 |
| CN114049900A (zh) * | 2021-12-08 | 2022-02-15 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
| CN114049900B (zh) * | 2021-12-08 | 2023-07-25 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019227586A1 (zh) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108777146A (zh) | 语音模型训练方法、说话人识别方法、装置、设备及介质 | |
| Luo et al. | Conv-tasnet: Surpassing ideal time–frequency magnitude masking for speech separation | |
| Zhao et al. | Monaural speech dereverberation using temporal convolutional networks with self attention | |
| CN107633842B (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| Michelsanti et al. | Conditional generative adversarial networks for speech enhancement and noise-robust speaker verification | |
| CN108922515A (zh) | 语音模型训练方法、语音识别方法、装置、设备及介质 | |
| CN108922513B (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
| CN109326299B (zh) | 基于全卷积神经网络的语音增强方法、装置及存储介质 | |
| CN107680582A (zh) | 声学模型训练方法、语音识别方法、装置、设备及介质 | |
| CN110459225B (zh) | 一种基于cnn融合特征的说话人辨认系统 | |
| CN107331384A (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| CN107785015A (zh) | 一种语音识别方法及装置 | |
| CN111785288B (zh) | 语音增强方法、装置、设备及存储介质 | |
| CN108986798B (zh) | 语音数据的处理方法、装置及设备 | |
| CN111899757B (zh) | 针对目标说话人提取的单通道语音分离方法及系统 | |
| CN109785852A (zh) | 一种增强说话人语音的方法及系统 | |
| CN108899047A (zh) | 音频信号的掩蔽阈值估计方法、装置及存储介质 | |
| CN110751944A (zh) | 构建语音识别模型的方法、装置、设备和存储介质 | |
| CN111091809B (zh) | 一种深度特征融合的地域性口音识别方法及装置 | |
| CN111798875A (zh) | 一种基于三值量化压缩的vad实现方法 | |
| WO2017117412A1 (en) | System and method for neural network based feature extraction for acoustic model development | |
| KR102026226B1 (ko) | 딥러닝 기반 Variational Inference 모델을 이용한 신호 단위 특징 추출 방법 및 시스템 | |
| Cao et al. | Underwater target classification at greater depths using deep neural network with joint multiple‐domain feature | |
| CN111666996A (zh) | 一种基于attention机制的高精度设备源识别方法 | |
| Agrawal et al. | Unsupervised modulation filter learning for noise-robust speech recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181109 |
|
| RJ01 | Rejection of invention patent application after publication |