CN112259105A - 一种声纹识别模型的训练方法、存储介质和计算机设备 - Google Patents
一种声纹识别模型的训练方法、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN112259105A CN112259105A CN202011076711.9A CN202011076711A CN112259105A CN 112259105 A CN112259105 A CN 112259105A CN 202011076711 A CN202011076711 A CN 202011076711A CN 112259105 A CN112259105 A CN 112259105A
- Authority
- CN
- China
- Prior art keywords
- speaker
- layer
- loss
- classifier
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 3
- 210000004556 brain Anatomy 0.000 abstract description 2
- 230000008485 antagonism Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000003800 pharynx Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明一种声纹识别模型的训练方法、存储介质和计算机设备，提取包含说话人身份信息的语音学特征作为输入特征，利用说话人的性别等标签进行多任务训练，并结合对抗训练方法来解决跨信道问题，最终提取反映说话人身份本质的、稳定的特征。本发明结合了语音学特征以及深度神经网络模拟人类大脑的学习机制，从而提高说话人身份本质特征的提取能力、稳定性和可解释性，最终提升自动声纹识别的准确率和召回率。
Description
技术领域
本发明涉及自动声纹识别领域，尤其是一种面向司法语音证据评估模式的声纹识别模型的训练方法、存储介质和计算机设备。
背景技术
在司法语音领域的说话人同一性鉴定任务中，目前国内主流的鉴定方法基于看、听、测等几个维度，依赖声纹鉴定专家的个人经验。这种方法耗时、耗力，而且包含鉴定专家的主观判断，无法在更大的从业群体中快速推广。此外，受限于此类方法的特点，其只能适于小规模的检材和样本场景，当待比对的检材和样本成百上千甚至更多时，声纹鉴定专家不足以应付工作量如此巨大的任务。鉴于此类原因，基于似然比计算框架的证据评估模式被提上议程，在欧美部分国家（比如美国、英国）中正在被逐步采用并实践。在基于似然比计算框架的司法语音证据评估模式中，自动声纹识别是其核心基础。
自动声纹识别的技术路线中，基于统计机器学习的身份向量（i-vector）提取方法和基于深度神经网络的身份向量（embedding）提取方法逐渐成为当前学术界和工业界的主流方法，但是基于这些方法所开发的声纹识别系统，经常会出现一些显而易见的错误。比如存在以下几种情况：第一种，听觉感知上的明显差异未能区分，比对排名靠前的结果中，存在听感上存在明显差异的比对结果；第二种，男女差异未能区分，将一个女性的声音片段从大量声纹库中作比对，比对排名靠前的结果中会出现男性的结果；第三种，同一人跨信道语音的相似度计算结果大于非同一人同信道语音的相似度计算结果。虽然现代自动声纹识别技术在识别率上有突飞猛进的发展，但是，以上三种明显的缺陷，会经常存在于自动声纹比对结果中。
此外，当前及今后相当长的一段时间内，电信网络诈骗案件频发、将有增无减，在大部分地区，电信网络诈骗案件的占比升至50%以上，公安部门借助并全面推广自动声纹识别技术打击电信网络诈骗（由于案件的特殊性，只能获得为数不多的语音证据），并依托司法部门出具说话人同一性鉴定报告。为了应对此种日益增加的、急迫的社会需求，提升自动声纹识别的准确率及其可解释性，已经刻不容缓。
目前自动声纹识别算法使用的特征，主要是Fbank（Filter bank Coefficents）特征和MFCC（Mel Frequency Cepstral Coefficents）特征。这些特征是建立在对人耳听觉机理（人耳对不同频率的声波有不同的听觉敏感）的研究基础上所提出的，已在语音识别中获得广泛应用，同时也在自动声纹识中得到广泛应用。但是，在司法语音领域中经常用到的却不是这些特征，因为这些特征不具备直观的、可解释的物理意义。因而如宽带语谱图、长时LPC曲线、Pitch曲线、嗓音特征等图谱得到更多、更广泛地使用。
在声纹特征的提取方面，目前已经由2000年以后被广泛使用的高斯混合模型及特征空间自适应（Gaussian Mixture Model and Feature Space Adaptation）方式，逐步过渡到基于统计机器学习的i-vector身份向量以及基于深度神经网络的embedding身份向量的提取方式。深度神经网络方面，主要的网络结构有时延神经网络（TDNN）、残差网络（ResNet）、时延神经网络的扩展版（Extended TDNN, E-TDNN）以及分解时延神经网络（Factorized TDNN, F-TDNN）等。其基本原理都是通过神经网络提取embedding向量来表征说话人唯一性的身份向量（一般是数百维，比如512维），然后，利用距离度量计算方法（比如PLDA分类器、余弦距离）来衡量两个embedding向量之间的相似度，以此作为评估不同语音是否属于同一说话人的依据。
但是，使用上面的方法来解决跨信道问题时，需要大量说话人的、标注好信道来源的语音数据。这在实际中是很难获取的，尤其是同一人的各种信道来源的数据。因此，学术界利用迁移学习中的域对抗训练（DAT）技术来解决跨信道问题。这种方法只要求一个信道提供说话人ID，而另外一个信道不作要求。这种类型的数据相对容易获取，因此具有实操性。
当然，由于语音中包含的性别、方言等说话人人身信息，在频谱上表现为频率的不同分布，而信道差异主要是反映在频域上变化，因此性别、方言等信息会使得信道差异更加复杂。
发明内容
本发明为解决上述问题，提供了一种基于启发式语音学特征、多任务学习和对抗训练的面向司法语音证据评估模式的声纹识别模型的训练方法、存储介质和计算机设备，提取包含说话人身份信息的语音学特征作为输入特征，利用说话人的性别等标签进行多任务训练，并结合对抗训练方法来解决跨信道问题，最终提取反映说话人身份本质的、稳定的特征。
本发明一种声纹识别模型的训练方法，包括如下步骤：
步骤1、收集待训练的语音样本集合
收集要进行声纹识别比对训练的两信道的语音样本，其中一个信道采集的语音样本需要根据样本对象来标注特征标签；另外一个信道采集的语音样本不标注特征标签；
步骤2、对每一个语音样本进行预处理提取输入特征
针对步骤1所收集的每一个语音样本分别提取启发式语音学特征和MFCC特征，将二者拼接融合后形成输入特征；
步骤3、将步骤2提取的输入特征输入到特征提取器中，从输入特征中提取说话人声纹特征向量；
步骤4、特征提取器提取的说话人声纹特征向量经过池化层，用于处理变长音频的问题，并拼接成特征向量；
步骤5、将步骤4得到的特征向量通过说话人分类器获取说话人embedding向量和计算得到说话人损失函数值Loss(Speaker)；
步骤6、域分类器中的梯度反转层和说话人分类器连接，说话人分类器输出的说话人embedding向量通过梯度反转层进行梯度反转，进而构成对抗训练，使得提取的说话人embedding向量在对抗训练中，区分不出来自哪个信道，计算得到域分类损失函数值Loss(Domain)；
步骤7、说话人分类器直接连接性别分类器的分类层，将步骤5提取的说话人embedding向量通过性别分类器进行性别分类，使得提取的说话人embedding向量包含性别信息，在后续步骤9中和域分类器同时作用，使得提取的说话人embedding向量由于性别和信道不同造成的差异降到最小，计算得到性别损失函数值Loss(Gender)；
步骤8、根据需要对应于步骤1的特征标签，说话人分类器直接连接至少一个其他特征分类器的分类层，将步骤5说话人分类器提取的embedding向量通过其他特征分类器进行分类，使得提取的说话人embedding向量包含其他特征信息，在后续的步骤9和域分类器同时作用，使得提取的说话人embedding向量由于其他特征和信道不同造成的差异降到最小，计算得到其他特征损失函数值Loss(Other)；
步骤9、整个神经网络的损失函数值Loss(Total)为所有分类器损失函数值之和，即Loss(Total)=Loss(Speaker)+Loss(Domain)+Loss(Gender)+Loss(Other)，若损失函数值Loss(Total)未达到预设阈值，则返回步骤1并通过随机梯度下降算法SGD优化神经网络构造中引入的各种权重，循环往复执行步骤1至9，在优化过程中使得损失函数值Loss(Total)越来越小，直到整个神经网络的损失函数值Loss(Total) 达到预设阈值，即损失函数值Loss(Total)达到最小化，则完成模型训练。
该步骤3中的特征提取器由五层时延神经网络TDNN堆叠而成，具体设定为：
第一TDNN层：上下帧范围为{-2，-1，0，1，2},维度为512；
第二TDNN层：上下帧范围为{-2，0，2}，维度为512；
第三TDNN层：上下帧范围为{-3，0，3}，维度为512；
第四TDNN层：上下帧范围为{0}，维度为512；
第五TDNN层：上下帧范围为{0}，维度为1500。
该步骤5中的说话人分类器包括第一层全连接层、第二层全连接层、第三层为分类层和计算损失函数，将通过池化层后的特征向量标成3000维，通过第一层全连接层，维度为512维，通过第二层全连接层，维度为512维，获取说话人embedding向量，该说话人embedding向量再通过第三层的分类层，维度为说话人个数，计算得到说话人损失函数值Loss(Speaker)。
所述步骤6中的该域分类器依次包括梯度反转层、第一全连接层、第二全连接层、分类层和计算损失函数，说话人分类器的第二层全连接层连接域分类器，将第二层全连接层的输出结果输入域分类器后，通过梯度反转层进行梯度反转，进而构成对抗训练，该梯度反转层后面接第一全连接层，维度为512，用于努力使得提取的说话人embedding向量不具有信道信息，后面接第二全连接层，维度为128，用于信道分类，努力区分说话人embedding向量来自哪个信道，再通过分类层，维度为2，计算得到域损失函数值Loss(Domain)。
所述步骤8中的其他特征分类器，为方言分类器、身高分类器、地域分类器或者年龄段分类器。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的任意一种声纹识别模型的训练方法。
一种计算机设备，所述计算机设备包括一个或多个位于本地或云端的处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的任意一种声纹识别模型的训练方法。
本发明的有益效果是：
（1）采用启发式语音学特征与一般倒谱特征相融合，区别于语音识别单一采用的一般倒谱特征，能够有效地引导和启发神经网络提取稳定的、可解释的、反映说话人身份本质的特征；
（2）基于对抗性训练解决跨信道问题，可以解决实际应用中同一个人多种不同信道语音获取存在困难的问题；
（3）基于多任务训练，可以利用已有的语音标签（性别、年龄段、口音等），使得提取的说话人embedding向量本身强制包含这些信息，约束神经网络的训练过程，从而在声纹辨认中能够提高召回率和准确率。
（4）更重要的是，联合对抗性训练和基于语音标签的多任务学习这个两个方法，可以解决由性别、口音等语音特征分布不一致引起的关于信道差异的更复杂的问题，能使对抗训练发挥更好的学习效果。
由此，本发明这种结合了启发式语音学特征、约束性训练（多任务学习）和对抗训练的声纹识别模型的训练方法，结合了语音学特征以及深度神经网络模拟人类大脑的学习机制，从而提高说话人身份本质特征的提取能力、稳定性和可解释性，最终提升自动声纹识别的准确率和召回率。
附图说明
图1为本发明的工作流程图。
以下结合附图和具体实施例对本发明做进一步详述。
具体实施方式
如图1所示，本发明一种声纹识别模型的训练方法，具体包括如下步骤：
步骤1、收集待训练的语音样本集合
收集要进行声纹识别比对训练的两信道的语音样本各10万条，其中一个信道每个样本对象采集1条语音样本，共10万人，针对该信道采集的每一条语音样本需要根据样本对象来标注关于性别、方言等特征标签；另外一个信道也是每个样本对象采集1条语音样本，共10万人，采集的语音样本不需要标注上述标签，对于需要标注标签的信道的样本对象在选取时，要尽可能考虑性别、方言等特征的分布均匀，对于无需标注标签的信道，在选取样本对象时，并不要求很严格的分布均匀；
例如要进行标准采集器录音信道和微信语音信道之间的声纹识别训练，就需要获取经由标准采集器录音信道的语音样本和经由微信语音信道的语音样本，其中，若经由标准采集器录音信道的语音样本根据样本对象标注性别、方言等特征标签，那么对应的经由微信语音信道的语音样本，则不需要标注标签；
步骤2、对每一个语音样本进行预处理提取输入特征
针对步骤1所收集的每一个语音样本分别提取启发式语音学特征（以嗓音特征为例，比如声音类型、喉头紧张级别、声道紧张级别、喉部高度、咽部类型、唇展类型等）和MFCC特征（即一般倒谱特征），将二者拼接融合后形成输入特征；
步骤3、将步骤2提取的输入特征输入到特征提取器中，在本实施例中，该特征提取器由五层时延神经网络TDNN堆叠而成，用于提取说话人声纹特征向量，具体设定为：
第一TDNN层：上下帧范围为{-2，-1，0，1，2},维度为512；
第二TDNN层：上下帧范围为{-2，0，2}，维度为512；
第三TDNN层：上下帧范围为{-3，0，3}，维度为512；
第四TDNN层：上下帧范围为{0}，维度为512；
第五TDNN层：上下帧范围为{0}，维度为1500；
本发明实施例中采用的时延神经网络结构TDNN（Time-Delay Deep Neural Network），能适应时序信号，逐帧处理语音。该提取说话人声纹特征向量的时延神经网络TDNN，包含三种神经元层Layer，结构为：帧级层Frame-Level Layer、池化层Statistics Pooling Layer和语音段层Segment-Level Layer，通过帧级层Frame-Level Layer逐个处理语音帧，而语音段层Segment-Level Layer处理语音段，并将语音段归类到人（即身份标签），其中，池化层Statistics Pooling Layer就是负责把帧级层Frame-Level Layer的帧，汇总到一起计算其统计量（均值和方差），并传递到语音段层Segment-Level Layer。
所述提取说话人声纹特征向量的时延神经网络TDNN，相当于一个流式处理网络，它的帧级层逐个处理语音帧，并在语音段结束时，它的池化层将各个帧对应的权重进行计算，获得Segment-Level级的权重信息，并传递到后续的分类器进行分类。
步骤4、特征提取器提取的说话人声纹特征向量经过池化层，用于处理变长音频的问题，本实施例通过时间维度上求取均值和方差，拼接成特征向量；
步骤5、将步骤4得到的特征向量通过说话人分类器获取说话人embedding向量和计算得到说话人损失函数值Loss(Speaker)：
本实施例使用的说话人分类器包括第一层全连接层、第二层全连接层、第三层为分类层和计算损失函数，将通过池化层后的特征向量标成3000维，通过第一层全连接层，维度为512维，通过第二层全连接层，维度为512维，获取说话人embedding向量，该说话人embedding向量再通过第三层的分类层，维度为说话人个数，这里为100000，计算得到说话人损失函数值Loss(Speaker) ，本实施例此处损失函数使用Softmax Loss；
步骤6、说话人分类器的第二层全连接层连接域分类器，将第二层全连接层的输出结果输入域分类器，使得提取的说话人embedding向量在对抗训练中，区分不出来自哪个信道，计算得到域分类损失函数值Loss(Domain)：
该域分类器依次包括梯度反转层、第一全连接层、第二全连接层、分类层和计算损失函数，将说话人分类器的第二层全连接层的输出结果通过梯度反转层，进行梯度反转，进而构成对抗训练，该梯度反转层后面接第一全连接层，维度为512，用于努力使得提取的说话人embedding向量不具有信道信息，后面接第二全连接层，维度为128，用于信道分类，努力区分说话人embedding向量来自哪个信道，再通过分类层，由于本实施例为两类，维度为2，计算得到域损失函数值Loss(Domain)，本实施例此处损失函数使用Softmax Loss；
步骤7、说话人分类器的第二层全连接层直接连接性别分类器的分类层，将步骤5提取的说话人embedding向量通过性别分类器进行性别分类，使得提取的说话人embedding向量包含性别信息，在后续步骤9中和域分类器同时作用，使得提取的说话人embedding向量由于性别和信道不同造成的差异降到最小，计算得到性别损失函数值Loss(Gender)，本实施例此处损失函数使用Softmax Loss；
步骤8、说话人分类器的第二层全连接层直接连接方言分类器的分类层，将步骤5说话人分类器提取的embedding向量通过方言分类器进行方言分类，使得提取的说话人embedding向量包含方言信息，在后续的步骤9和域分类器同时作用，使得提取的说话人embedding向量由于方言和信道不同造成的差异降到最小，计算得到方言损失函数值Loss(Dialect)，本实施例此处损失函数使用Softmax Loss；
步骤9、循环往复执行步骤1至9，直到整个神经网络的损失函数值Loss(Total) 达到最小化，则完成模型训练：
该整个神经网络的损失函数值Loss(Total)为所有分类器损失函数值之和，即Loss(Total)=Loss(Speaker)+Loss(Domain)+Loss(Gender)+Loss(Dialect)，若损失函数值Loss(Total)未达到预设阈值，则返回步骤1并通过随机梯度下降算法（SGD）优化神经网络构造中引入的各种权重，循环往复执行步骤1至9，在优化过程中使得损失函数值Loss(Total)越来越小，直到整个神经网络的损失函数值Loss(Total) 达到预设阈值，即损失函数值Loss(Total)达到最小化，则完成模型训练。
上述步骤8后说话人分类器的第二层全连接层还可以连接其他特征分类器的分类层，这里的其他特征分类器可以是任何已知的语音中包含的信息，比如身高、地域、年龄段等。
本发明从三个方面进行创新，改进上述显而易见的技术缺陷。这三个方面的创新，分别针对已有缺陷而提出，包括：第一，启发式学习，利用说话人嗓音特征等可解释性强的生理和习惯特征，指导深度神经网络的监督性学习，避免比对结果中出现听感上差异明显的结果；第二，约束性训练，利用性别、年龄段、身高等说话人标签信息，设计多任务深度神经网络结构，约束神经网络的有监督地学习参数，避免比对结果中出现性别不同等明显错误的结果；第三，对抗训练，利用神经网络的对抗训练单元，基于少量可获得的信道标签数据，提取能反映说话人身份本质区别的特征，避免跨信道导致的语音特征差异给自动声纹识别带来的相似度计算问题。
以上所述，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (7)
1.一种声纹识别模型的训练方法，其特征在于包括如下步骤：
步骤1、收集待训练的语音样本集合
收集要进行声纹识别比对训练的两信道的语音样本，其中一个信道采集的语音样本需要根据样本对象来标注特征标签；另外一个信道采集的语音样本不标注特征标签；
步骤2、对每一个语音样本进行预处理提取输入特征
针对步骤1所收集的每一个语音样本分别提取启发式语音学特征和MFCC特征，将二者拼接融合后形成输入特征；
步骤3、将步骤2提取的输入特征输入到特征提取器中，从输入特征中提取说话人声纹特征向量；
步骤4、特征提取器提取的说话人声纹特征向量经过池化层，用于处理变长音频的问题，并拼接成特征向量；
步骤5、将步骤4得到的特征向量通过说话人分类器获取说话人embedding向量和计算得到说话人损失函数值Loss(Speaker)；
步骤6、域分类器中的梯度反转层和说话人分类器连接，说话人分类器输出的说话人embedding向量通过梯度反转层进行梯度反转，进而构成对抗训练，使得提取的说话人embedding向量在对抗训练中，区分不出来自哪个信道，计算得到域分类损失函数值Loss(Domain)；
步骤7、说话人分类器直接连接性别分类器的分类层，将步骤5提取的说话人embedding向量通过性别分类器进行性别分类，使得提取的说话人embedding向量包含性别信息，在后续步骤9中和域分类器同时作用，使得提取的说话人embedding向量由于性别和信道不同造成的差异降到最小，计算得到性别损失函数值Loss(Gender)；
步骤8、根据需要对应于步骤1的特征标签，说话人分类器直接连接至少一个其他特征分类器的分类层，将步骤5说话人分类器提取的embedding向量通过其他特征分类器进行分类，使得提取的说话人embedding向量包含其他特征信息，在后续的步骤9和域分类器同时作用，使得提取的说话人embedding向量由于其他特征和信道不同造成的差异降到最小，计算得到其他特征损失函数值Loss(Other)；
步骤9、整个神经网络的损失函数值Loss(Total)为所有分类器损失函数值之和，即Loss(Total)=Loss(Speaker)+Loss(Domain)+Loss(Gender)+Loss(Other)，若损失函数值Loss(Total)未达到预设阈值，则返回步骤1并通过随机梯度下降算法SGD优化神经网络构造中引入的各种权重，循环往复执行步骤1至9，在优化过程中使得损失函数值Loss(Total)越来越小，直到整个神经网络的损失函数值Loss(Total) 达到预设阈值，即损失函数值Loss(Total)达到最小化，则完成模型训练。
2.根据权利要求1所述的一种声纹识别模型的训练方法，其特征在于：该步骤3中的特征提取器由五层时延神经网络TDNN堆叠而成，具体设定为：
第一TDNN层：上下帧范围为{-2，-1，0，1，2},维度为512；
第二TDNN层：上下帧范围为{-2，0，2}，维度为512；
第三TDNN层：上下帧范围为{-3，0，3}，维度为512；
第四TDNN层：上下帧范围为{0}，维度为512；
第五TDNN层：上下帧范围为{0}，维度为1500。
3.根据权利要求2所述的一种声纹识别模型的训练方法，其特征在于：该步骤5中的说话人分类器包括第一层全连接层、第二层全连接层、第三层为分类层和计算损失函数，将通过池化层后的特征向量标成3000维，通过第一层全连接层，维度为512维，通过第二层全连接层，维度为512维，获取说话人embedding向量，该说话人embedding向量再通过第三层的分类层，维度为说话人个数，计算得到说话人损失函数值Loss(Speaker)。
4.根据权利要求3所述的一种声纹识别模型的训练方法，其特征在于：所述步骤6中的该域分类器依次包括梯度反转层、第一全连接层、第二全连接层、分类层和计算损失函数，说话人分类器的第二层全连接层连接域分类器，将第二层全连接层的输出结果输入域分类器后，通过梯度反转层进行梯度反转，进而构成对抗训练，该梯度反转层后面接第一全连接层，维度为512，用于努力使得提取的说话人embedding向量不具有信道信息，后面接第二全连接层，维度为128，用于信道分类，努力区分说话人embedding向量来自哪个信道，再通过分类层，维度为2，计算得到域损失函数值Loss(Domain)。
5.根据权利要求1所述的一种声纹识别模型的训练方法，其特征在于：所述步骤8中的其他特征分类器，为方言分类器、身高分类器、地域分类器或者年龄段分类器。
6.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至5所述的任意一种声纹识别模型的训练方法。
7.一种计算机设备，所述计算机设备包括一个或多个位于本地或云端的处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5所述的任意一种声纹识别模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011076711.9A CN112259105B (zh) | 2020-10-10 | 2020-10-10 | 一种声纹识别模型的训练方法、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011076711.9A CN112259105B (zh) | 2020-10-10 | 2020-10-10 | 一种声纹识别模型的训练方法、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112259105A true CN112259105A (zh) | 2021-01-22 |
| CN112259105B CN112259105B (zh) | 2022-09-20 |
Family
ID=74241903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011076711.9A Active CN112259105B (zh) | 2020-10-10 | 2020-10-10 | 一种声纹识别模型的训练方法、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112259105B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949708A (zh) * | 2021-02-26 | 2021-06-11 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备和存储介质 |
| CN113077796A (zh) * | 2021-03-17 | 2021-07-06 | 山东师范大学 | 说话人辨认方法及系统 |
| CN113077797A (zh) * | 2021-03-22 | 2021-07-06 | 山东师范大学 | 基于多源注意力网络的说话人识别方法及系统 |
| CN113129900A (zh) * | 2021-04-29 | 2021-07-16 | 科大讯飞股份有限公司 | 一种声纹提取模型构建方法、声纹识别方法及其相关设备 |
| CN113327619A (zh) * | 2021-02-26 | 2021-08-31 | 山东大学 | 一种基于云—边缘协同架构的会议记录方法及系统 |
| CN113421573A (zh) * | 2021-06-18 | 2021-09-21 | 马上消费金融股份有限公司 | 身份识别模型训练方法、身份识别方法及装置 |
| CN113705671A (zh) * | 2021-08-27 | 2021-11-26 | 厦门大学 | 一种基于文本相关信息感知的说话人识别方法与系统 |
| CN114049900A (zh) * | 2021-12-08 | 2022-02-15 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
| WO2023103375A1 (zh) * | 2021-12-08 | 2023-06-15 | 深圳大学 | 用于说话人识别的网络模型训练方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260550A1 (en) * | 2003-06-20 | 2004-12-23 | Burges Chris J.C. | Audio processing system and method for classifying speakers in audio data |
| CN110120223A (zh) * | 2019-04-22 | 2019-08-13 | 南京硅基智能科技有限公司 | 一种基于时延神经网络tdnn的声纹识别方法 |
| CN110931023A (zh) * | 2019-11-29 | 2020-03-27 | 厦门快商通科技股份有限公司 | 性别识别方法、系统、移动终端及存储介质 |
| CN111243602A (zh) * | 2020-01-06 | 2020-06-05 | 天津大学 | 基于性别、国籍和情感信息的声纹识别方法 |
| CN111312283A (zh) * | 2020-02-24 | 2020-06-19 | 中国工商银行股份有限公司 | 跨信道声纹处理方法及装置 |
| CN111524521A (zh) * | 2020-04-22 | 2020-08-11 | 北京小米松果电子有限公司 | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 |
-
2020
- 2020-10-10 CN CN202011076711.9A patent/CN112259105B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260550A1 (en) * | 2003-06-20 | 2004-12-23 | Burges Chris J.C. | Audio processing system and method for classifying speakers in audio data |
| CN110120223A (zh) * | 2019-04-22 | 2019-08-13 | 南京硅基智能科技有限公司 | 一种基于时延神经网络tdnn的声纹识别方法 |
| CN110931023A (zh) * | 2019-11-29 | 2020-03-27 | 厦门快商通科技股份有限公司 | 性别识别方法、系统、移动终端及存储介质 |
| CN111243602A (zh) * | 2020-01-06 | 2020-06-05 | 天津大学 | 基于性别、国籍和情感信息的声纹识别方法 |
| CN111312283A (zh) * | 2020-02-24 | 2020-06-19 | 中国工商银行股份有限公司 | 跨信道声纹处理方法及装置 |
| CN111524521A (zh) * | 2020-04-22 | 2020-08-11 | 北京小米松果电子有限公司 | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 |
Non-Patent Citations (2)
| Title |
|---|
| SNYDER D: ""X-Vectors: Robust DNN Embeddings for Speaker Recognition"", 《ICASSP》 * |
| 高骥: ""基于语种对抗训练的跨语种说话人识别研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949708A (zh) * | 2021-02-26 | 2021-06-11 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备和存储介质 |
| CN112949708B (zh) * | 2021-02-26 | 2023-10-24 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备和存储介质 |
| CN113327619B (zh) * | 2021-02-26 | 2022-11-04 | 山东大学 | 一种基于云—边缘协同架构的会议记录方法及系统 |
| CN113327619A (zh) * | 2021-02-26 | 2021-08-31 | 山东大学 | 一种基于云—边缘协同架构的会议记录方法及系统 |
| WO2022178942A1 (zh) * | 2021-02-26 | 2022-09-01 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备和存储介质 |
| CN113077796A (zh) * | 2021-03-17 | 2021-07-06 | 山东师范大学 | 说话人辨认方法及系统 |
| CN113077797B (zh) * | 2021-03-22 | 2022-06-24 | 山东师范大学 | 基于多源注意力网络的说话人识别方法及系统 |
| CN113077797A (zh) * | 2021-03-22 | 2021-07-06 | 山东师范大学 | 基于多源注意力网络的说话人识别方法及系统 |
| CN113129900A (zh) * | 2021-04-29 | 2021-07-16 | 科大讯飞股份有限公司 | 一种声纹提取模型构建方法、声纹识别方法及其相关设备 |
| CN113421573A (zh) * | 2021-06-18 | 2021-09-21 | 马上消费金融股份有限公司 | 身份识别模型训练方法、身份识别方法及装置 |
| CN113421573B (zh) * | 2021-06-18 | 2024-03-19 | 马上消费金融股份有限公司 | 身份识别模型训练方法、身份识别方法及装置 |
| CN113705671A (zh) * | 2021-08-27 | 2021-11-26 | 厦门大学 | 一种基于文本相关信息感知的说话人识别方法与系统 |
| CN113705671B (zh) * | 2021-08-27 | 2023-08-29 | 厦门大学 | 一种基于文本相关信息感知的说话人识别方法与系统 |
| CN114049900A (zh) * | 2021-12-08 | 2022-02-15 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
| WO2023103375A1 (zh) * | 2021-12-08 | 2023-06-15 | 深圳大学 | 用于说话人识别的网络模型训练方法、装置及存储介质 |
| CN114049900B (zh) * | 2021-12-08 | 2023-07-25 | 马上消费金融股份有限公司 | 模型训练方法、身份识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112259105B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112259105B (zh) | 一种声纹识别模型的训练方法、存储介质和计算机设备 | |
| CN112259104B (zh) | 一种声纹识别模型的训练装置 | |
| CN105632501B (zh) | 一种基于深度学习技术的自动口音分类方法及装置 | |
| CN105023573B (zh) | 使用听觉注意力线索的语音音节/元音/音素边界检测 | |
| CN106611604B (zh) | 一种基于深度神经网络的自动语音叠音检测方法 | |
| CN109346088A (zh) | 身份识别方法、装置、介质及电子设备 | |
| CN108876951A (zh) | 一种基于声音识别的教学考勤方法 | |
| CN108899033B (zh) | 一种确定说话人特征的方法及装置 | |
| CN113327626A (zh) | 语音降噪方法、装置、设备及存储介质 | |
| CN106782603A (zh) | 智能语音评测方法及系统 | |
| CN109378014A (zh) | 一种基于卷积神经网络的移动设备源识别方法及系统 | |
| CN102201237A (zh) | 基于模糊支持向量机的可靠性检测的情感说话人识别方法 | |
| Kumar et al. | Significance of GMM-UBM based modelling for Indian language identification | |
| Ranjard et al. | Integration over song classification replicates: Song variant analysis in the hihi | |
| CN117727307B (zh) | 基于特征融合的鸟类声音智能识别方法 | |
| CN113555023B (zh) | 一种语音鉴伪与说话人识别联合建模的方法 | |
| CN114220419A (zh) | 一种语音评价方法、装置、介质及设备 | |
| CN112992155B (zh) | 一种基于残差神经网络的远场语音说话人识别方法及装置 | |
| Chaves et al. | Katydids acoustic classification on verification approach based on MFCC and HMM | |
| CN111489736A (zh) | 座席话术自动评分装置及方法 | |
| CN111475634B (zh) | 基于座席语音切分的代表性话术片段抽取装置及方法 | |
| CN114822557A (zh) | 课堂中不同声音的区分方法、装置、设备以及存储介质 | |
| CN114678039A (zh) | 一种基于深度学习的歌唱评价方法 | |
| Bhaskar et al. | Analysis of language identification performance based on gender and hierarchial grouping approaches | |
| Prapcoyo et al. | Implementation of Mel Frequency Cepstral Coefficient and Dynamic Time Warping For Bird Sound Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |