CN108417217B - 说话人识别网络模型训练方法、说话人识别方法及系统 - Google Patents
说话人识别网络模型训练方法、说话人识别方法及系统 Download PDFInfo
- Publication number
- CN108417217B CN108417217B CN201810025592.0A CN201810025592A CN108417217B CN 108417217 B CN108417217 B CN 108417217B CN 201810025592 A CN201810025592 A CN 201810025592A CN 108417217 B CN108417217 B CN 108417217B
- Authority
- CN
- China
- Prior art keywords
- speaker
- utterance
- vector information
- triple
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 title claims abstract description 84
- 238000013528 artificial neural network Methods 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims description 62
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 238000012795 verification Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/18—Artificial neural networks; Connectionist approaches
Abstract
本发明公开一种说话人识别网络模型训练方法，包括：从训练数据集中获取第i话语三元组并将第i话语三元组输入至卷积神经网络，卷积神经网络对第i话语三元组进行特征提取得到第i话语特征三元组并输入至线性神经网络；将预先获取的第一说话人的第一身份向量信息和第二说话人的第二身份向量信息输入至线性神经网络进行融合处理，以得到融合后的第i话语特征三元组；根据融合后的第i话语特征三元组计算三元组损失，以调整所述网络模型。本发明实施例得到的说话人识别网络模型能够更加准确的实现说话人的识别功能，具有最低的等错误率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种说话人识别网络模型训练方法、说话人识别方法及系统。
背景技术
说话人识别技术作为生物特征识别的一个方向，在理论和应用领域都得到了快速发展和广泛关注。在对经典说话人识别算法的中，从理论和实际应用中分析了经典算法存在的缺陷，由此推出了基于i-vector的说话人识别算法，在i-vector框架中，对每一帧语音数据提取i-vector低维表示，将所有帧的低维表示进行平均得到说话人的表示。
但是，发明人在实现本发明的过程中发现，在注册语句较短的情况下，i-vector作为说话人的表示类内方差较大(即，对于同一说话人的不同话语的识别结果之间距离相差较大)，类间方差小(即，不同说话人的识别结果之间距离较小)，从而导致识别准确率在注册语句较短时较低。
发明内容
本发明实施例提供一种说话人识别网络模型训练方法、说话人识别方法及系统，至少能够用于解决现有技术中说话人识别准确率低的技术问题。
第一方面，本发明实施例提供一种说话人识别网络模型训练方法，所述网络模型包括卷积神经网络和线性神经网络，所述方法包括：
从训练数据集中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成；
将所述第i话语三元组输入至所述卷积神经网络，所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息；
将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组；
根据所述融合后的第i话语特征三元组计算三元组损失(TripletLoss)，以调整所述网络模型，其中i取值1至N，N为训练数据集中所包含的所有话语三元组的个数。
第二方面，本发明实施例提供一种说话人识别方法，基于本发明实施例中所述的网络模型实现，所述方法包括：
说话人注册：
将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
基于所述多个注册话语生成对应于说话人的注册身份向量信息；
所述线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别：
将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
基于所述测试话语生成对应于说话人的测试身份向量信息；
所述线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
第三方面，本发明实施例提供一种说话人识别网络模型训练系统，所述网络模型包括卷积神经网络和线性神经网络，所述系统包括：
话语三元组获取程序模块，用于从训练数据集中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成；
第一数据传输程序模块，用于将所述第i话语三元组输入至所述卷积神经网络，以使所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息；
第二数据传输程序模块，用于将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，以使所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组；
网络模型调整程序模块，用于根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述网络模型，其中i取值1至N，N为训练数据集中所包含的所有话语三元组的个数。
第四方面，本发明实施例提供一种说话人识别装置，包括：
本发明实施例中所述的网络模型；
说话人注册程序模块：
第一注册信息获取程序单元，用于将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
第二注册信息获取程序单元，用于基于所述多个注册话语生成对应于说话人的注册身份向量信息；
所述网络模型的线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别程序模块：
第一测试信息获取程序单元，用于将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
第二测试信息获取程序单元，用于基于所述测试话语生成对应于说话人的测试身份向量信息；
所述网络模型的线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
判定相似度值计算程序单元，用于计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
说话人识别判定程序单元，用于当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
第五方面，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项说话人识别网络模型训练方法和/或说话人识别方法。
第六方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项说话人识别网络模型训练方法和/或说话人识别方法。
第七方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项说话人识别网络模型训练方法和/或说话人识别方法。
本发明实施例的有益效果在于：本发明实施例融合了句子级别的特征信息(第一至第三话语向量信息)和说话人级别的特征信息(身份向量信息)，实现了两者之间的互补融合，将i-vector和基于神经网络的端到端模型作为整体进行联合训练，得到的说话人识别网络模型能够更加准确的实现说话人的识别功能。实验表明，该方案具有最低的等错误率(EER)，并且联合学习的嵌入方式在不同的说话者嵌入方式下表现出最高的识别能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中的基于i-Vector的说话人识别系统原理框图；
图2为本发明中的一种端到端的说话者验证原理框图；
图3为本发明中的说话人识别网络模型的原理框图；
图4为本发明说话人识别网络模型训练方法的一实施例的流程图；
图5为本发明说话人识别网络模型训练方法的另一实施例的流程图；
图6为本发明说话人识别方法的一实施例的流程图；
图7为本发明中的卷积神经网络的一实施例的结构示意图；
图8为本发明中对比不同说话人识别方法的示意图；
图9为本发明说话人识别网络模型训练系统的一实施例的原理框图；
图10为本发明中的话语三元组获取程序模块一实施例的原理框图；
图11为本发明的说话人识别装置的一实施例的原理框图；
图12为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
基于因子分析的i-vector方法遵循生成建模范式，而基于神经网络的端到端模型则被区分地训练，发明人在实现本发明的过程中惊喜的发现两者所获得的说话者信息是相辅相成的。因此，发明人将这两种架构合并为一个集成框架，以兼顾两者的优点来用于提升说话人识别的准确性。
如图1所示，为基于i-Vector的说话人识别系统原理框图。基于GMM-UBM的说话人系统通用背景模型(UBM)是由大量说话人的语料通过期望最大化(EM)训练得到的，其代表着统计平均的说话人信息和信道信息，在此基础上，将注册语料通过最大后验概率算法(MAP)自适应得到目标说话人模型。
基于身份认证矢量i-vector方法的基本思想是：在假定说话人信息和信道都涵盖在Gaussian Mixture Model的高维均值矢量(Super Vector，SV)空间的基础上，通过利用在这个超矢量空间上训练包括说话人信息和信道差异的全差异(Total Variability，TV)空间，将每个说话人的语音数据特征的高维均值超矢量s可以分解成：
s＝m+Tω (1)
上式中s表示的是高维均值超矢量，而m表示的是与某一说话人信息和信道信息没有关系的一个Super Vector，T为全差异空间，将维数较高的GMM均值超矢量在该子空间上进行投影，得到维数较低的总体变化因子矢量ω，ω是一个包含整个训练语音中不同说话人信息和信道信息的全差异因子，即i-Vector。
如图2所示，为一种端到端的说话者验证原理框图。本发明实施例中采用的端到端的说话者验证是基于三元组损失的端到端系统。
在训练阶段，帧级特征被提取并馈送到深度神经网络(Deep Neural Network，DNN)模型中。从深度神经网络模型导出的帧嵌入在时间池化层中被平均以形成话语嵌入，话语嵌入然后被L2归一化到单位超球上。三重损失是使用在相同三重中的话语嵌入来计算的，并且执行反向传播算法以更新深度神经网络模型的参数。
在评估阶段，对来自同一说话者的注册话语嵌入进行平均以获得说话者嵌入。计算说话者嵌入和测试话语嵌入之间的欧几里得距离，可用于最后的说话者验证决策。
发明人为了兼顾i-vector和基于神经网络的端到端模型的优点来用于提升说话人识别的准确性，进行了无数的尝试与实验，并且从不同的层面进行了实践，例如，从分数融合和模型融合两个层面，以下分别举例说明：
分数融合层面：分数融合，即直接将通过端到端系统和i-Vector系统获得的分数标准化为可比较的尺度，并取平均值以获得决策的最终分数，本方案虽然在一定程度上能够实现说话人识别的一定提升，但由于机械的生拼硬凑，并没有做足够的优化，所达到的效果并不算太理想。
模型融合层面：发明人在尝试了分数层面的解决方案之后，进一步从模型融合的方案，提出以下方案：
直接连接：嵌入的直接连结的模型融合模式来将i-vector和基于神经网络的端到端模型进行融合。具体地，端到端系统的最后一层可以看作是一个嵌入提取层。这个层的输出被认为是嵌入的说话者表示，然后可以将学习到的嵌入与标准i-Vector直接连结以形成用于说话者表示的新的组合向量。需要说明的是，直接连结方式也很简单，不需要额外的训练阶段，然而，它可能不能充分地探讨两种说话者嵌入的完全互补性。而且，直接连结增加了测试中消耗更多计算成本的向量维数。
变换连接：即嵌入的变化连接，整个架构可以分为两部分，说话者嵌入学习和嵌入融合学习，我们希望在第一部分提取说话者判别特征，并学习如何在第二部分有效地结合不同的说话者嵌入。对于这种变换连结，假设说话者判别特征的质量足够高，我们保持固定前端CNN网络的参数，只对线性变换投影层进行训练。如上所述的相同的三重损失被用来优化变换的投影层。
联合学习：最后，发明人惊喜的发现将i-vector和基于神经网络的端到端模型作为整体进行联合训练，得到的说话人识别网络模型能够更加准确的实现说话人的识别功能。实验表明，该方案具有最低的等错误率(EER)，并且联合学习的嵌入方式在不同的说话者嵌入方式下表现出最高的识别能力，具体介绍如下：
如图3所示，为本发明的说话人识别网络模型的原理框图。整个架构可以分为两部分，说话者嵌入学习和嵌入融合学习，其中，说话者学习部分包括卷积神经网络(CNN)，实际使用中可以设置三个CNN，并且相互之间共享参数，或者仅仅设置一个CNN即可；嵌入融合学习部分包括线性神经网络，实际使用中可以设置三个线性神经网络并且相互之间共享参数，或者仅仅设置一个线性神经网络即可。第一部分(说话者嵌入学习)提取说话者判别特征，并学习如何在第二部分(嵌入融合学习)有效地结合不同的说话者嵌入。
在训练该说话人识别网络模型时所采用的输入为话语三元组，并且通过计算三元组损失来进一步对说话人识别网络模型进行调整更新，例如更新调整卷积神经网络和/或线性神经网络的内部参数，以使得最终得到的网络模型输出的三元组损失达到预定要求。
采用话语三元组损失来训练说话人识别网络模型，能够减少类内距离，同时最大化类间距离。话语三元组损失需要三个输入，包括锚点(anchor，来自特定说话者的话语)、正样本(positive，来自同一说话者的话语)和负样本(negative，来自不同说话者的话语)。话语三元组(ua，up，un)的损失L被定义为：
L(ua、up，un)＝[||f(ua)-f(up)||-||f(ua)-f(un)||+α]+ (2)
其中，f(u)表示话语u的嵌入，α是在正对和负对之间强加的一个经验定义的边际，而运算符[x]+＝max(x，0)。‖f(μa)-f(μp)‖表示两个嵌入f(μa)-f(μp)之间的欧几里德距离。总损失是所有三元组计算的损失总和。
三元组采样策略在神经网络的训练中起着至关重要的作用，我们将说话者分成不同的组(不同组内的说话者的特征信息相互接近)，并在同一组中生成三元组。具体而言，给定每个组由n个说话者组成，每个人有k个话语，我们为每个正对创建三元组，并随机选择负样本，本发明的三元组采样策略使得神经网络的训练能够快速收敛，并且具有高验证准确性。
在每个时期，创建n×k×(k-1)/2个三元组，并且通过仅保持违反约束条件||f(ua)-f(up)||+α＜||f(ua)-f(un)||的三元组来进一步减少三元组的数目，其中α在本发明实施例中一般取值0.2。
进一步地，本发明实施例中还应用硬试验选择来提高系统性能。我们选择话语层面或说话者层面的硬负样本。在话语层面的硬负采样意味着，对于每一个三元组，我们选择其欧几里德距离最接近锚点的负样本。说话者层面的硬负采样将具有类似嵌入的说话者聚集到同一组中。更具体地说，我们从训练集中随机选择一个说话者作为中心，在说话者嵌入空间中找到他的(n-1)个最近的邻居，形成一个包含n个说话者的组，并在其中创建三元组。在我们的实验中，在说话者层面的硬负采样显然优于话语层面，并且获得了相当大的EER减少。
如图4所示，本发明的实施例提供一种说话人识别网络模型训练方法，所述网络模型包括卷积神经网络和线性神经网络，所述方法包括：
S10、从训练数据集中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成。
本发明实施例中，第一说话人和第二说话人并非特指固定的两个人，而是随着i的变化会相应的产生变化的，i的取值为1至N，N为训练数据集中所包含的所有话语三元组的个数。
S20、将所述第i话语三元组输入至所述卷积神经网络，所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息。
本发明实施例中的卷积神经网络实际上是一种基于神经网络的端到端模型，通过将话语三元组输入卷积神经网络进行特征提取的方式实现了卷积神经网络的训练学习，实现了说话者嵌入学习，得到了用于获取说话者句子级别信息的卷积神经网络，从而能够在采用其进行说话人识别时充分融合说话人当前说话的特征信息来进行识别。
S30、将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组。
在一些实施例中，所述第一身份向量信息包括第一子身份向量信息和第二子身份向量信息，该两个子向量信息可以是基于第一说话人的所有话语生成的用于表征第一说话人的向量信息(具体地，可以是基于说话人的每一句话生成一个身份向量信息，之后将所得到的所有的身份向量信息取平均值得到本实施了中的第一子身份向量信息或者第二子身份向量信息)，或者第一子身份向量信息可以是基于第一说话人的第一话语所生成的用于表征第一说话的向量信息，第二子身份向量信息可以是基于第一说话人的第二话语所生成的用于表征第一说话人的向量信息。
本实施例中所述的身份向量信息指的是i-vector，是预先通过收集说话人的话语来提取的，该提取方法可以采用本领域的通用的提取技术，本发明不对此进行限制。将说话人的身份向量信息与说话人的当前话语向量信息(第一至第三话语向量信息)结合到了一块用于进行说话人识别网络模型的训练，实现了i-vector与卷积神经网络的联合学习训练。
S40、根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述网络模型。
本发明实施例中通过三元组损失的计算使得训练得到的说话人识别网络模型作为一个整体进行联合学习训练，最终达到满足：||f(ua)-f(up)||+α＜||f(ua)-f(un)||的要求的方法来得到能够更加准确的进行说话人识别的网络模型。
本发明实施例融合了句子级别的特征信息(第一至第三话语向量信息)和说话人级别的特征信息(身份向量信息)，实现了两者之间的互补融合，将i-vector和基于神经网络的端到端模型作为整体进行联合训练，得到的说话人识别网络模型能够更加准确的实现说话人的识别功能。实验表明，该方案具有最低的等错误率(EER)，并且联合学习的嵌入方式在不同的说话者嵌入方式下表现出最高的识别能力。
如图5所示，在一些实施例中，所述从训练数据集中获取第i话语三元组包括：
S11、预先获取训练数据集中的所述多个说话人的身份向量信息。本发明实施例中的身份向量信息为说话人的i-vector信息，当然也可以是其它能够表征说话人话语特征的其它形式的信息，本发明不对此进行限定，需要注意的是，凡是能够用于表征说话人话语特征的其它形式的信息都应该视为本发明实施例中的身份向量信息的等同置换，同样属于本发明所要求保护的范围。
S12、计算两两说话人的身份向量信息之间的余弦相似度值。本发明实施例示例性的采用余弦相似度值来度量两两说话人之间的距离，但是本发明不对此进行限定，需要注意的是，凡是能够用于度量两两说话人之间的距离的其它形式(欧几里德距离)都应该视为本发明实施例中的身份向量信息的等同置换，同样属于本发明所要求保护的范围。
S13、将余弦相似度值小于预设值的说话人划分为一组，以得到多个说话人分组。
具体地，首先从训练数据集中随机选择一个说话人样本作为第分一组，然后从剩余的其它说话人样本，计算两者之间的相似度距离，如果小于预设值，则将其划分入第一分组，如果不小于则为当前被选择的说话人配置为第二分组；然后，再从剩下的其它说话者中选择一个进行相同的计算与比较进行分类直到完成训练数据集中所有说话人的分类。
S14、按组从所述多个说话人分组中获取第i话语三元组。
本发明实施中通过预先将训练数据集中是所有的说话人按照相互之间的话语特征相似程度进行划分，将话语特征相似程度较高的说话人分为一组，之后按进行三元组采样以实现i-vector和卷积神经网络(基于神经网络的端到端网络模型)的联合学习训练，从而提高了训练的效率(因为如果采用本身区分度就很大的两个人的话语来构成三元组，这对说话人识别网络模型的联合学习训练是没有太大意义的，因为本身区分度就已经很明显了，所以并不能够提升说话人识别网络模型的识别度)，导致了说话人识别网络的快速收敛和高验证准确性。
在一些实施例中，所述根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述网络模型包括：
根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述卷积神经网络和/或线性神经网络。
另一方面，本发明实施例还提供一种说话人识别方法。
如图6所示，为本发明说话人识别方法的一实施例的流程图，该方法，基于本发明前述任一项所述的方法训练得到的网络模型实现，所述方法包括：
说话人注册步骤：
S51、将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
S52、基于所述多个注册话语生成对应于说话人的注册身份向量信息；
S53、所述线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别步骤：
S54、将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
S55、基于所述测试话语生成对应于说话人的测试身份向量信息；
S56、所述线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
S57、计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
S58、当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
本发明实施例融合了句子级别的特征信息(第一至第三话语向量信息)和说话人级别的特征信息(身份向量信息)，实现了两者之间的互补融合，采用将i-vector和基于神经网络的端到端模型作为整体进行联合训练得到的说话人识别网络模型，本发明实施例的说话人识别方法能够更加准确的实现说话人的识别功能。实验表明，该方案具有最低的等错误率(EER)，并且联合学习的嵌入方式在不同的说话者嵌入方式下表现出最高的识别能力。
为证明本发明实施例的说话人识别网络模型训练方法，说话人识别方法及系统能够达到预期效果，发明人进行了以下实验：
1)、数据准备
评估本发明的方法及系统在从NIST SRE(National Insitute of Standerds andTechnology Speaker Recognition Evaluation)语料库生成的短期数据集上的性能。这个与文本无关的短时间任务对于说话者验证来说更加困难和有趣。
训练集由SRE04-08、交换机II阶段2和3以及交换机蜂窝部分1、部分2的选定数据组成。使用基于能量的VAD消除静音帧后，这些话语被切成短片段(范围为3-5S)。最后的训练集包含4000个说话者，每个说话者有40个短话语。
注册集和测试集是根据类似的程序从NIST SRE 2010获得的。注册集为300人(男性150人，女性150人)，每位说话者注册5个话语。测试集包含来自注册集中的300个说话者的4500个话语，每个说话者有15个测试话语。我们创建的试验列表包含15个正样本和1490个负样本(总计300×(15+1490)＝451500个试验)。1490个负样本是通过从其他149位具有相同性别的说话者中随机选择10个话语而产生的，不存在跨性别试验。
2)、实施细节
基线是基于Kaldi SRE10 V1配方的标准i-Vector/PLDA系统。前端特征是20维MFCC，帧长为30ms。增量和加速度被添加来创建60维特征向量。使用生成的训练集训练2048混合全协方差UBM和总变化矩阵。提取的i-Vector的维数为400，PLDA作为打分后端。
在本发明的端到端系统中，36维Fbank特征被提取为前端特征。附加17帧上下文窗口以形成每帧17×36时频特征映射。在本发明的系统中采用了图7所示的VGG型CNN，它包含4个卷积层、2个合并层和1个完全连接层以产生帧嵌入。然后将帧嵌入平均为具有时间合并和L2归一化的话语嵌入。在训练过程中，每个时期从60位说话者中选择2400个话语。对于每个正对，我们随机选择另一个负话语来创建一个三重(三元组)。每个时期共生成60×40×39/2＝46800三重。
i-Vector和端到端基线的性能显示在表1中。在我们的实验中，使用5个话语来注册。实验结果表明，我们的端到端系统比i-Vector系统要好。
表1-采用不同方法结合i-vector和端到端系统情况下等错误了比较
3)、结果与分析
3.1)、将i-Vector与端到端说话者验证系统集成的评估
提出的将i-Vector与端到端框架集成的新方法进行了评估，结果在表1的底部进行了说明(注册5个话语)。在表1中，“基本”和“硬试验”是指两个三重采样策略。据观察，对于所有涉及端到端的说话者验证系统，硬试验采样策略始终优于基本采样策略。与两条基线相比，无论采用哪种组合模式，将i-Vector与端到端系统集成均可提高系统性能。直接分数融合和朴素嵌入连结实现了明显的改进。但是，这些改进并不像其他两种具有参数更新的方法那么大。这些结果揭示了几点：(1)训练端到端系统需要仔细的数据准备和试验选择，例如，诸如硬试验选择等策略帮助很大。(2)i-vector系统和端到端系统在说话者知识表示方面具有巨大的互补性，可以用来提高系统的性能。(3)直接分数融合或朴素嵌入连结方法不能充分利用互补性，相反，嵌入连结和参数更新获得更大的改进。
在所有系统中，具有联合学习i向量集成的端到端说话者验证系统实现了最佳的系统性能。EER从4.96％减少到3.42％，比i-Vector系统提高了31.0％。
然后，在所提出的系统上调查不同注册话语数量的影响。表2给出了EER的比较。我们最新提出的通过联合学习将i-Vector与端到端系统集成的架构在所有条件下具有不同的注册话语数量，明显优于传统的i-Vector和基本的端到端系统。另一个有趣的发现是，新提出的方法和以前的方法之间的表现差距由于注册话语人数量的增加而显著扩大。
表2-不同注册话语数量下等错误率对比
3.2)、说话者嵌入可视化和分析
如图8所示，为对比不同说话人识别方法的示意图，不同的说话者嵌入(包括标准的i-Vector、来自基本端到端系统的嵌入和来自联合学习端到端系统的嵌入)被可视化和比较。每个点代表一个话语嵌入，每一堆点代表一个说话者。据观察，尽管i-Vector在说话者之间有明显的区别，但说话者内的变化很大。从基本的端到端系统中提取的嵌入显示减少了说话者内的差异，这受益于模型优化的三重损失准则。但是，一些说话者之间的说话者间距离还不够大。从新近提出的联合学习端到端系统中提取的嵌入既利用了前两种说话者嵌入的优点，又表现出了对于说话者内差异和说话者间距离的优越性。这一观察结果也与表1和表2的结果一致。
这项工作表明，基于因子分析的i-Vector和基于深度模型的端到端系统包含高度互补的说话者知识。因此，我们探索一个框架，将i-Vector和端到端技术集成到一个范例中，以提高系统性能。四个组合方法是在基于SRE 2010的短期文本无关说话者验证数据集上开发和评估。与i-Vector基线相比，提出的联合学习框架相对减少了31.0％的EER。如果有更多的注册话语，这种改善可以进一步扩大到36.9％。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
如图9所示，本发明的实施例还提供一种说话人识别网络模型训练系统900，所述网络模型包括卷积神经网络和线性神经网络，所述系统包括：
话语三元组获取程序模块910，用于从训练数据集中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成；
第一数据传输程序模块920，用于将所述第i话语三元组输入至所述卷积神经网络，以使所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息；
第二数据传输程序模块930，用于将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，以使所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组；
网络模型调整程序模940块，用于根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述网络模型，其中i取值1至N，N为训练数据集中所包含的所有话语三元组的个数。
如图10所示，在一些实施例中，所述话语三元组获取程序模块910包括：
向量信息获取程序单元911，用于预先获取训练数据集中的所述多个说话人的身份向量信息；
相似度值计算程序单元912，用于计算两两说话人的身份向量信息之间的余弦相似度值；
说话人分组程序单元913，用于将余弦相似度值小于预设值的说话人划分为一组，以得到多个说话人分组；
话语三元组获取程序单元914，用于按组从所述多个说话人分组中获取第i话语三元组。
在一些实施例中，所述根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述网络模型包括：
根据所述融合后的第i话语特征三元组计算三元组损失(Triplet Loss)，以调整所述卷积神经网络和/或线性神经网络。
如图11所示，本发明实施例还提供一种说话人识别装置1100，包括：
本发明上述实施例中任意所述的说话人识别网络模型1110；
说话人注册程序模块1120：
第一注册信息获取程序单元1121，用于将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
第二注册信息获取程序单元1122，用于基于所述多个注册话语生成对应于说话人的注册身份向量信息；所述网络模型的线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别程序模块1130：
第一测试信息获取程序单元1131，用于将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
第二测试信息获取程序单元1132，用于基于所述测试话语生成对应于说话人的测试身份向量信息；所述网络模型的线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
判定相似度值计算程序单元1133，用于计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
说话人识别判定程序单元1134，用于当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项说话人识别网络模型训练方法和/或说话人识别方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项说话人识别网络模型训练方法和/或说话人识别方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行说话人识别网络模型训练方法和/或说话人识别方法。
在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现说话人识别网络模型训练方法和/或说话人识别方法。
上述本发明实施例的实现说话人识别网络模型训练系统和/或说话人识别系统可用于执行本发明实施例的实现说话人识别网络模型训练方法和/或说话人识别方法，并相应的达到上述本发明实施例的实现说话人识别网络模型训练方法和/或说话人识别方法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardwareprocessor)来实现相关功能模块。
图12是本申请另一实施例提供的执行实现说话人识别网络模型训练方法和/或说话人识别方法的电子设备的硬件结构示意图，如图12所示，该设备包括：
一个或多个处理器1210以及存储器1220，图12中以一个处理器1210为例。
执行实现说话人识别网络模型训练方法和/或说话人识别方法的设备还可以包括：输入装置1230和输出装置1240。
处理器1210、存储器1220、输入装置1230和输出装置1240可以通过总线或者其他方式连接，图12中以通过总线连接为例。
存储器1220作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的实现说话人识别网络模型训练方法和/或说话人识别方法对应的程序指令/模块。处理器1210通过运行存储在存储器1220中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例实现说话人识别网络模型训练方法和/或说话人识别方法。
存储器1220可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现说话人识别网络模型训练的装置和/或说话人识别装置的使用所创建的数据等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1220可选包括相对于处理器1210远程设置的存储器，这些远程存储器可以通过网络连接至说话人识别网络模型训练的装置和/或说话人识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1230可接收输入的数字或字符信息，以及产生与说话人识别网络模型训练的装置和/或说话人识别装置的用户设置以及功能控制有关的信号。输出装置1240可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器1220中，当被所述一个或者多个处理器1210执行时，执行上述任意方法实施例中的说话人识别网络模型训练方法和/或说话人识别方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种说话人识别网络模型训练方法，所述网络模型包括卷积神经网络和线性神经网络，所述方法包括：
预先获取训练数据集中的多个说话人的身份向量信息；计算两两说话人的身份向量信息之间的余弦相似度值；将余弦相似度值小于预设值的说话人划分为一组，以得到多个说话人分组；按组从所述多个说话人分组中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成；
将所述第i话语三元组输入至所述卷积神经网络，所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息；
将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组；
根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述网络模型，其中i取值1至N，N为训练数据集中所包含的所有话语三元组的个数。
2.根据权利要求1所述的方法，其中，所述根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述网络模型包括：
根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述卷积神经网络和/或线性神经网络。
3.一种说话人识别方法，基于权利要求1-2中任一项所述的方法训练得到的说话人识别网络模型实现，所述说话人识别方法包括：
说话人注册：
将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
基于所述多个注册话语生成对应于说话人的注册身份向量信息；
所述线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别：
将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
基于所述测试话语生成对应于说话人的测试身份向量信息；
所述线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
4.一种说话人识别网络模型训练系统，所述网络模型包括卷积神经网络和线性神经网络，所述系统包括：
话语三元组获取程序模块，用于从训练数据集中获取第i话语三元组，所述训练数据集中包括多个说话人的话语，每个说话人对应多个话语，所述第i话语三元组由选自所述多个说话人的第一说话人的第一话语和第二话语，以及选自所述多个说话人的第二说话人的第三话语构成；
第一数据传输程序模块，用于将所述第i话语三元组输入至所述卷积神经网络，以使所述卷积神经网络对所述第i话语三元组进行特征提取得到第i话语特征三元组并输入至所述线性神经网络，所述第i话语特征三元组包括对应于所述第一至第三话语的第一至第三话语向量信息；
第二数据传输程序模块，用于将预先获取的所述第一说话人的第一身份向量信息和所述第二说话人的第二身份向量信息输入至所述线性神经网络，以使所述线性神经网络将所述第一身份向量信息分别与所述第一话语向量信息和第二话语向量信息进行加权和，并将所述第二身份向量信息与所述第三话语向量信息进行加权和，以得到融合后的第i话语特征三元组；
网络模型调整程序模块，用于根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述网络模型，其中i取值1至N，N为训练数据集中所包含的所有话语三元组的个数；
所述话语三元组获取程序模块包括：
向量信息获取程序单元，用于预先获取训练数据集中的所述多个说话人的身份向量信息；
相似度值计算程序单元，用于计算两两说话人的身份向量信息之间的余弦相似度值；
说话人分组程序单元，用于将余弦相似度值小于预设值的说话人划分为一组，以得到多个说话人分组；
话语三元组获取程序单元，用于按组从所述多个说话人分组中获取第i话语三元组。
5.根据权利要求4所述的系统，其中，所述根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述网络模型包括：
根据所述融合后的第i话语特征三元组计算三元组损失，以调整所述卷积神经网络和/或线性神经网络。
6.一种说话人识别装置，包括：
根据权利要求4-5中任一项所述的说话人识别网络模型训练系统训练得到的说话人识别网络模型；
说话人注册程序模块：
第一注册信息获取程序单元，用于将获取说话人的多个注册话语输入至所述卷积神经网络以得到相应的注册话语向量信息；
第二注册信息获取程序单元，用于基于所述多个注册话语生成对应于说话人的注册身份向量信息；所述网络模型的线性神经网络基于所述注册身份向量信息和所述注册话语向量信息生成注册融合向量信息并存储；
说话人识别程序模块：
第一测试信息获取程序单元，用于将说话人的测试话语输入至所述卷积神经网络以得到相应的测试话语向量信息；
第二测试信息获取程序单元，用于基于所述测试话语生成对应于说话人的测试身份向量信息；所述网络模型的线性神经网络基于所述测试身份向量信息和所述测试话语向量信息生成测试融合向量信息并存储；
判定相似度值计算程序单元，用于计算所述测试融合向量信息与所述注册融合向量信息之间的判定余弦相似度值；
说话人识别判定程序单元，用于当所述判定余弦相似度值小于预设判定值时，确定当前说话人为已注册用户。
7.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任意一项所述方法的步骤。
8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-2中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810025592.0A CN108417217B (zh) | 2018-01-11 | 2018-01-11 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810025592.0A CN108417217B (zh) | 2018-01-11 | 2018-01-11 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108417217A CN108417217A (zh) | 2018-08-17 |
| CN108417217B true CN108417217B (zh) | 2021-07-13 |
Family
ID=63125465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810025592.0A Active CN108417217B (zh) | 2018-01-11 | 2018-01-11 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108417217B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11887579B1 (en) | 2022-09-28 | 2024-01-30 | Intuit Inc. | Synthetic utterance generation |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830201B (zh) * | 2018-06-01 | 2020-06-23 | 平安科技（深圳）有限公司 | 样例三元组的获取方法、装置、计算机设备以及存储介质 |
| CN110164452B (zh) * | 2018-10-10 | 2023-03-10 | 腾讯科技（深圳）有限公司 | 一种声纹识别的方法、模型训练的方法以及服务器 |
| CN109243466A (zh) * | 2018-11-12 | 2019-01-18 | 成都傅立叶电子科技有限公司 | 一种声纹鉴权训练方法及系统 |
| CN109346088A (zh) * | 2018-12-06 | 2019-02-15 | 泰康保险集团股份有限公司 | 身份识别方法、装置、介质及电子设备 |
| CN110010133A (zh) * | 2019-03-06 | 2019-07-12 | 平安科技（深圳）有限公司 | 基于短文本的声纹检测方法、装置、设备及存储介质 |
| CN110047490A (zh) * | 2019-03-12 | 2019-07-23 | 平安科技（深圳）有限公司 | 声纹识别方法、装置、设备以及计算机可读存储介质 |
| CN110223699B (zh) * | 2019-05-15 | 2021-04-13 | 桂林电子科技大学 | 一种说话人身份确认方法、装置及存储介质 |
| CN110196911B (zh) * | 2019-06-06 | 2022-04-22 | 申林森 | 一种民生数据自动分类管理系统 |
| CN110377733B (zh) * | 2019-06-28 | 2023-11-24 | 平安科技（深圳）有限公司 | 一种基于文本的情绪识别方法、终端设备及介质 |
| CN111712874B (zh) * | 2019-10-31 | 2023-07-14 | 支付宝(杭州)信息技术有限公司 | 用于确定声音特性的方法、系统、装置和存储介质 |
| CN111091835B (zh) * | 2019-12-10 | 2022-11-29 | 携程计算机技术（上海）有限公司 | 模型训练的方法、声纹识别的方法、系统、设备及介质 |
| CN111161713A (zh) * | 2019-12-20 | 2020-05-15 | 北京皮尔布莱尼软件有限公司 | 一种语音性别识别方法、装置及计算设备 |
| CN111145761B (zh) * | 2019-12-27 | 2022-05-24 | 携程计算机技术（上海）有限公司 | 模型训练的方法、声纹确认的方法、系统、设备及介质 |
| CN111191787B (zh) * | 2019-12-30 | 2022-07-15 | 思必驰科技股份有限公司 | 提取说话人嵌入特征的神经网络的训练方法和装置 |
| CN111081255B (zh) * | 2019-12-31 | 2022-06-03 | 思必驰科技股份有限公司 | 说话人确认方法和装置 |
| CN113538075A (zh) * | 2020-04-14 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 数据的处理方法、模型的训练方法、装置和设备 |
| CN111833851B (zh) * | 2020-06-16 | 2021-03-16 | 杭州云嘉云计算有限公司 | 一种自动学习优化声学模型的方法 |
| CN111933152B (zh) * | 2020-10-12 | 2021-01-08 | 北京捷通华声科技股份有限公司 | 注册音频的有效性的检测方法、检测装置和电子设备 |
| CN112420057B (zh) * | 2020-10-26 | 2022-05-03 | 四川长虹电器股份有限公司 | 基于距离编码的声纹识别方法、装置、设备及存储介质 |
| CN112420054B (zh) * | 2020-11-20 | 2022-07-12 | 湖北第二师范学院 | 一种基于说话人向量复用的语音识别系统及方法 |
| CN112863521B (zh) * | 2020-12-24 | 2022-07-05 | 哈尔滨理工大学 | 一种基于互信息估计的说话人识别方法 |
| CN113129908B (zh) * | 2021-03-24 | 2022-07-26 | 中国科学院声学研究所南海研究站 | 基于循环帧级特征融合的端到端猕猴声纹验证方法及系统 |
| CN113362829B (zh) * | 2021-06-04 | 2022-05-24 | 思必驰科技股份有限公司 | 说话人验证方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732978A (zh) * | 2015-03-12 | 2015-06-24 | 上海交通大学 | 基于联合深度学习的文本相关的说话人识别方法 |
| CN105869630A (zh) * | 2016-06-27 | 2016-08-17 | 上海交通大学 | 基于深度学习的说话人语音欺骗攻击检测方法及系统 |
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN106683680A (zh) * | 2017-03-10 | 2017-05-17 | 百度在线网络技术（北京）有限公司 | 说话人识别方法及装置、计算机设备及计算机可读介质 |
| US9824692B1 (en) * | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
| EP3542314A1 (en) * | 2016-11-18 | 2019-09-25 | Salesforce.com, Inc. | Spatial attention model for image captioning |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201236B (zh) * | 2011-04-06 | 2012-12-19 | 中国人民解放军理工大学 | 一种高斯混合模型和量子神经网络联合的说话人识别方法 |
| CN103971690A (zh) * | 2013-01-28 | 2014-08-06 | 腾讯科技（深圳）有限公司 | 一种声纹识别方法和装置 |
| US20160293167A1 (en) * | 2013-10-10 | 2016-10-06 | Google Inc. | Speaker recognition using neural networks |
| US9846836B2 (en) * | 2014-06-13 | 2017-12-19 | Microsoft Technology Licensing, Llc | Modeling interestingness with deep neural networks |
| KR102204919B1 (ko) * | 2014-06-14 | 2021-01-18 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들 |
| CN104008751A (zh) * | 2014-06-18 | 2014-08-27 | 周婷婷 | 一种基于bp神经网络的说话人识别方法 |
| CN105261358A (zh) * | 2014-07-17 | 2016-01-20 | 中国科学院声学研究所 | 用于语音识别的n元文法模型构造方法及语音识别系统 |
| CN105096955B (zh) * | 2015-09-06 | 2019-02-01 | 广东外语外贸大学 | 一种基于模型生长聚类的说话人快速识别方法及系统 |
| CN107492382B (zh) * | 2016-06-13 | 2020-12-18 | 阿里巴巴集团控股有限公司 | 基于神经网络的声纹信息提取方法及装置 |
| CN106845330A (zh) * | 2016-11-17 | 2017-06-13 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的二维人脸识别模型的训练方法 |
| CN107222865B (zh) * | 2017-04-28 | 2019-08-13 | 北京大学 | 基于可疑行为识别的通讯诈骗实时检测方法和系统 |
| CN107180628A (zh) * | 2017-05-19 | 2017-09-19 | 百度在线网络技术（北京）有限公司 | 建立声学特征提取模型的方法、提取声学特征的方法、装置 |
| CN107292915A (zh) * | 2017-06-15 | 2017-10-24 | 国家新闻出版广电总局广播科学研究院 | 基于卷积神经网络的目标跟踪方法 |
| CN107527620B (zh) * | 2017-07-25 | 2019-03-26 | 平安科技（深圳）有限公司 | 电子装置、身份验证的方法及计算机可读存储介质 |
| CN107464568B (zh) * | 2017-09-25 | 2020-06-30 | 四川长虹电器股份有限公司 | 基于三维卷积神经网络文本无关的说话人识别方法及系统 |
| CN108830201B (zh) * | 2018-06-01 | 2020-06-23 | 平安科技（深圳）有限公司 | 样例三元组的获取方法、装置、计算机设备以及存储介质 |
-
2018
- 2018-01-11 CN CN201810025592.0A patent/CN108417217B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN104732978A (zh) * | 2015-03-12 | 2015-06-24 | 上海交通大学 | 基于联合深度学习的文本相关的说话人识别方法 |
| CN105869630A (zh) * | 2016-06-27 | 2016-08-17 | 上海交通大学 | 基于深度学习的说话人语音欺骗攻击检测方法及系统 |
| US9824692B1 (en) * | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
| EP3542314A1 (en) * | 2016-11-18 | 2019-09-25 | Salesforce.com, Inc. | Spatial attention model for image captioning |
| CN106683680A (zh) * | 2017-03-10 | 2017-05-17 | 百度在线网络技术（北京）有限公司 | 说话人识别方法及装置、计算机设备及计算机可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| "基于优化检测网络和MLP特征改进发音错误检测的方法";袁桦 钱彦旻 赵军红 刘加;《清华大学学报（自然科学版）》;20121231;第52卷(第4期);全文 * |
| "基于卷积神经网络的语音情感识别";陈晓东;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115(第01（2016）期);全文 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11887579B1 (en) | 2022-09-28 | 2024-01-30 | Intuit Inc. | Synthetic utterance generation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108417217A (zh) | 2018-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108417217B (zh) | 说话人识别网络模型训练方法、说话人识别方法及系统 | |
| JP7110292B2 (ja) | 話者検証のためのニューラルネットワーク | |
| CN109637546B (zh) | 知识蒸馏方法和装置 | |
| Heigold et al. | End-to-end text-dependent speaker verification | |
| CN108109613B (zh) | 用于智能对话语音平台的音频训练和识别方法及电子设备 | |
| Diez et al. | Speaker Diarization based on Bayesian HMM with Eigenvoice Priors. | |
| Chen et al. | Multi-task learning for text-dependent speaker verification | |
| Dey et al. | Speech biometric based attendance system | |
| CN108417201B (zh) | 单信道多说话人身份识别方法及系统 | |
| CN108417207B (zh) | 一种深度混合生成网络自适应方法及系统 | |
| CN108091326A (zh) | 一种基于线性回归的声纹识别方法及系统 | |
| Rohdin et al. | End-to-end DNN based text-independent speaker recognition for long and short utterances | |
| Yu et al. | Cam: Context-aware masking for robust speaker verification | |
| Kumar et al. | Designing neural speaker embeddings with meta learning | |
| Hu et al. | Speaker recognition based on short utterance compensation method of generative adversarial networks | |
| Cui et al. | Multi-view and multi-objective semi-supervised learning for large vocabulary continuous speech recognition | |
| CN113362829B (zh) | 说话人验证方法、电子设备及存储介质 | |
| de Abreu Campos et al. | A framework for speaker retrieval and identification through unsupervised learning | |
| Sholokhov et al. | Baselines and protocols for household speaker recognition | |
| US20230206926A1 (en) | A deep neural network training method and apparatus for speaker verification | |
| Shi et al. | Multi-view (joint) probability linear discrimination analysis for j-vector based text dependent speaker verification | |
| Hibraj et al. | Speaker clustering using dominant sets | |
| Zhang et al. | Text independent voiceprint recognition model based on I-vector | |
| Shi et al. | A double joint bayesian approach for j-vector based text-dependent speaker verification | |
| Liu et al. | Factor analysis method for text-independent speaker identification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200616 Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Applicant after: AI SPEECH Co.,Ltd. Applicant after: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd. Address before: Suzhou City, Jiangsu Province, Suzhou Industrial Park 215123 Xinghu Street No. 328 Creative Industry Park 9-703 Applicant before: AI SPEECH Co.,Ltd. Applicant before: SHANGHAI JIAO TONG University |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201022 Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Applicant after: AI SPEECH Co.,Ltd. Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Applicant before: AI SPEECH Co.,Ltd. Applicant before: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd. |
|
| CB02 | Change of applicant information |
Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Applicant before: AI SPEECH Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Training methods, speaker recognition methods, and systems for speaker recognition network models Effective date of registration: 20230726 Granted publication date: 20210713 Pledgee: CITIC Bank Limited by Share Ltd. Suzhou branch Pledgor: Sipic Technology Co.,Ltd. Registration number: Y2023980049433 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |