CN111785287B - 说话人识别方法、装置、电子设备及存储介质 - Google Patents

说话人识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111785287B
CN111785287B CN202010641026.XA CN202010641026A CN111785287B CN 111785287 B CN111785287 B CN 111785287B CN 202010641026 A CN202010641026 A CN 202010641026A CN 111785287 B CN111785287 B CN 111785287B
Authority
CN
China
Prior art keywords
audio
audio file
identified
target
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010641026.XA
Other languages
English (en)
Other versions
CN111785287A (zh
Inventor
李航
丁文彪
刘子韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202010641026.XA priority Critical patent/CN111785287B/zh
Publication of CN111785287A publication Critical patent/CN111785287A/zh
Priority to PCT/CN2021/104600 priority patent/WO2022007766A1/zh
Application granted granted Critical
Publication of CN111785287B publication Critical patent/CN111785287B/zh
Priority to US18/069,272 priority patent/US11676609B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种说话人识别方法、装置、电子设备及存储介质。具体实现方案为：将目标音频文件和待识别音频文件分别分割成多个音频单元；从每个音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量；基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别待识别音频文件中属于目标说话人的音频单元。利用本申请实施例能够提高说话人识别精度。

Description

说话人识别方法、装置、电子设备及存储介质
技术领域
本申请涉及语音识别技术领域，尤其涉及一种说话人识别方法、装置、电子设备及存储介质。
背景技术
说话人识别是一种通过音频特征判别说话人身份的技术。已有的说话人识别方法大致是使用编码器模型对目标音频文件与待识别音频文件进行编码，再通过比较编码后的向量相似度对目标检测结果进行判定，采用的编码器模型大多是普通的深度神经网络模型，例如CNN(Convolutional Neural Networks，卷积神经网络)或RNN(Recurrent NeuralNetwork，循环神经网络)等。
以课堂质量评价的应用场景为例，教师与学生说话的次数与两者之间的交互时长被认为是评价课堂质量好坏的重要指标。通过说话人识别技术，可将课堂内教师与学生各自说话的时间在课堂的时间轴上准确地标记出来，从而获取精确的师生说话次数与时长的统计量。但是应用已有方法提取的特征表达能力较弱，说话人识别结果的准确率偏低。
发明内容
本申请实施例提供一种说话人识别方法、装置、电子设备及存储介质，以解决相关技术存在的问题，技术方案如下：
第一方面，本申请实施例提供了一种说话人识别方法，包括：
获取目标音频文件和待识别音频文件，目标音频文件中包括目标说话人的音频；
将目标音频文件和待识别音频文件分别分割成多个音频单元；
从每个音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量；
基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别待识别音频文件中属于目标说话人的音频单元。
在一种实施方式中，利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，包括：
利用孪生神经网络中的第一神经网络，对目标音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量；以及，利用孪生神经网络中的第二神经网络，对待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量。
在一种实施方式中，第一神经网络或第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU的双向递归神经网络、基于长短期记忆LSTM的双向递归神经网络或基于自注意力模块的序列编码网络。
在一种实施方式中，利用孪生神经网络中的第二神经网络，对待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量，包括：
针对待识别音频文件的当前音频单元，分别计算当前音频单元和待识别音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据权值，将待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元对应的特征向量。
在一种实施方式中，利用孪生神经网络中的第一神经网络，对目标音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量，包括：
针对目标音频文件的当前音频单元，分别计算当前音频单元和目标音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据权值，将目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元对应的特征向量；
将目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到目标音频文件对应的特征向量。
在一种实施方式中，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别待识别音频文件中属于目标说话人的音频单元，包括：
基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，计算待识别音频文件中的多个音频单元各自的注意力分值；
在注意力分值大于等于预设的判别阈值的情况下，确定待识别音频文件中的音频单元属于目标说话人。
在一种实施方式中，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，计算待识别音频文件中的多个音频单元各自的注意力分值，包括：
将目标音频文件对应的特征向量作为查询向量，将待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算查询向量和键向量的内积；
利用sigmoid函数对内积进行归一化处理，得到待识别音频文件中的多个音频单元各自的注意力分值。
在一种实施方式中，将目标音频文件和待识别音频文件分别分割成多个音频单元，包括：
利用语音活动检测模型去除目标音频文件和待识别音频文件中的静音片段；
将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
在一种实施方式中，从每个音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列，包括：
利用声纹编码模型提取每个音频单元的对应的音频特征；
分别针对目标音频文件和待识别音频文件，将音频特征按时间顺序进行排列，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列。
在一种实施方式中，上述方法还包括：
在待识别音频文件中，将时间上连续的属于目标说话人的音频单元进行连接，得到属于目标说话人的至少一个说话时间段。
第二方面，本申请实施例提供了一种说话人识别装置，包括：
获取模块，用于获取目标音频文件和待识别音频文件，所述目标音频文件中包括目标说话人的音频；
分割模块，用于将所述目标音频文件和所述待识别音频文件分别分割成多个音频单元；
提取模块，用于从每个所述音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
学习模块，用于利用孪生神经网络对所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量；
识别模块，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别所述待识别音频文件中属于所述目标说话人的音频单元。
在一种实施方式中，所述学习模块包括：
第一学习子模块，用于利用所述孪生神经网络中的第一神经网络，对所述目标音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量；以及，
第二学习子模块，用于利用所述孪生神经网络中的第二神经网络，对所述待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量。
在一种实施方式中，所述第一神经网络或所述第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU的双向递归神经网络、基于长短期记忆LSTM的双向递归神经网络或基于自注意力模块的序列编码网络。
在一种实施方式中，所述第二学习子模块具体用于：
针对待识别音频文件的当前音频单元，分别计算当前音频单元和待识别音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量。
在一种实施方式中，所述第一学习子模块具体用于：
针对目标音频文件的当前音频单元，分别计算当前音频单元和目标音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量；
将所述目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到所述目标音频文件对应的特征向量。
在一种实施方式中，所述识别模块包括：
计算子模块，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，计算所述待识别音频文件中的多个音频单元各自的注意力分值；
确定子模块，用于在所述注意力分值大于等于预设的判别阈值的情况下，确定所述待识别音频文件中的音频单元属于所述目标说话人。
在一种实施方式中，所述计算子模块具体用于：
将所述目标音频文件对应的特征向量作为查询向量，将所述待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算所述查询向量和所述键向量的内积；
利用sigmoid函数对所述内积进行归一化处理，得到所述待识别音频文件中的多个音频单元各自的注意力分值。
在一种实施方式中，所述分割模块包括：
去除子模块：用于利用语音活动检测模型去除所述目标音频文件和所述待识别音频文件中的静音片段；
分割子模块，用于将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
在一种实施方式中，所述提取模块，包括：
提取子模块，用于利用声纹编码模型提取每个所述音频单元的对应的音频特征；
排列子模块，用于分别针对所述目标音频文件和所述待识别音频文件，将所述音频特征按时间顺序进行排列，得到所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列。
在一种实施方式中，所述装置还包括：
连接模块，用于在所述待识别音频文件中，将时间上连续的属于所述目标说话人的音频单元进行连接，得到属于所述目标说话人的至少一个说话时间段。
第三方面，本申请实施例提供了一种电子设备，该设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。
上述技术方案中的优点或有益效果至少包括：本申请实施例利用孪生神经网络对音频文件的音频特征序列进行特征学习，可充分利用长段音频文件中前后语音信号的连续信息帮助模型取得更为精确的识别结果，在此基础上利用基于注意力分的说话人角色判断结构进一步提升说话人识别的准确率。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易理解的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为根据本申请实施例的说话人识别方法的流程图；
图2为根据本申请另一实施例的说话人识别方法的流程图；
图3为根据本申请又一实施例的说话人识别方法的第二神经网络的处理流程图；
图4为根据本申请另一实施例的说话人识别方法的第一神经网络的处理流程图；
图5为根据本申请另一实施例的说话人识别方法的基于注意力机制的机器学习模型的处理流程图；
图6为根据本申请另一实施例的说话人识别方法的基于注意力机制的机器学习模型的处理流程图；
图7为根据本申请另一实施例的说话人识别方法的预测结果示意图；
图8为根据本申请实施例的说话人识别装置的结构示意图；
图9为根据本申请实施例的说话人识别装置的学习模块的结构示意图；
图10为根据本申请实施例的说话人识别装置的识别模块的结构示意图；
图11为根据本申请实施例的说话人识别装置的分割模块的结构示意图；
图12为根据本申请实施例的说话人识别装置的提取模块的结构示意图；
图13为根据本申请另一实施例的说话人识别装置的结构示意图；
图14为用来实现本申请实施例的电子设备的框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1为根据本申请实施例的说话人识别方法的流程图。如图1所示，该说话人识别方法可以包括：
步骤S101，获取目标音频文件和待识别音频文件，目标音频文件中包括目标说话人的音频；
步骤S102，将目标音频文件和待识别音频文件分别分割成多个音频单元；
步骤S103，从每个音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
步骤S104，利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量；
步骤S105，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别待识别音频文件中属于目标说话人的音频单元。
孪生神经网络可以由两个网络结构相同并且权值共享的神经网络组成。这两个神经网络分别将各自的输入映射到新的空间，形成输入信息在新的空间的表示，将输入信息转换为向量。传统的说话人识别方法通常是针对音频文件的每个小段的编码逐一进行比较。这样的比较方法损失了音频文件前后小段的序列信息。传统方法具体存在如下技术缺陷：
1)在对目标音频文件进行编码的时候，通常会将目标音频文件切成等时间长度的小段，之后取每个小段的平均作为目标音频文件的编码结果。这种取小段平均的方式会减弱特征的表达能力，对后续的相似度计算存在消极的影响。
2)在处理待识别音频文件的时候也是将音频切分成为等长的小段，再用每个小段的编码与目标音频文件的编码结果进行一一比较。这样的比较损失了待识别音频文件前后小段的序列信息，因此对后续的相似度计算也存在一定的消极影响。
本申请实施例利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，可充分利用长段音频文件中前后语音信号的连续信息帮助模型取得更为精确的识别结果。
以课堂质量评价的应用场景为例，通过说话人识别技术，可识别出课堂现场录音中的每个音频单元是否属于教师，将课堂内教师与学生各自说话的时间在课堂的时间轴上准确地标记出来，从而获取精确的师生说话次数与时长的统计量。
仍以课堂质量评价的应用场景作为示例，在步骤S101中获取目标音频文件和待识别音频文件。其中，目标说话人可以是教师。可预先录制教师在任意场合发言的录音，作为目标音频文件。参见图2中的(教师语音样本(Teacher Vocal Sample)表示目标音频文件。可将课堂现场录音作为待识别音频文件。参见图2中的(课堂现场录音(ClassroomRecording)表示待识别音频文件。在步骤S102中，可使用预设的固定长度的滑窗将作为目标音频文件的教师语音样本和作为待识别音频文件的课堂现场录音分别分割成多个音频单元。
在一种实施方式中，图1中的步骤S102，将目标音频文件和待识别音频文件分别分割成多个音频单元，具体可包括：
利用语音活动检测模型去除目标音频文件和待识别音频文件中的静音片段；
将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
参见图2的示例，在步骤S102中，可将教师语音样本和课堂现场录音输入到特征抽取模块(Feature Extraction)中。在特征抽取模块中，首先将教师语音样本和课堂现场录音输入VAD(Voice Activity Detection，语音活动检测)模型，利用语音活动检测模型去除教师语音样本和课堂现场录音中的静音片段，得到两类输入音频中各自的音频片段。其中，VAD又称说话区间检测、语音端点检测或语音边界检测。通过VAD可从声音信号流里识别和消除长时间的静音期。
在图2所示的片段(Segments)中，标号为1的音频片段表示静音片段(no voice ornoise)。图2中的Windows表示预设滑窗。如图2所示，针对教师语音样本和课堂现场录音中去除静音片段后的音频片段，使用固定长度的滑窗将每段音频片段分割成为更细小的音频单元。其中，标号2表示声音角色属于教师的音频片段和音频单元(teacher talk)；标号3表示声音角色属于学生的音频片段和音频单元(student talk)。
在一种实施方式中，图1中的步骤S103，从每个音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列，具体可包括：
利用声纹编码模型提取每个音频单元的对应的音频特征；
分别针对目标音频文件和待识别音频文件，将音频特征按时间顺序进行排列，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列。
参见图2的示例，在步骤S103中，针对每个音频单元，使用预训练得到的声纹编码模型提取每个单元的对应音频特征。在一个示例中，该音频特征的维度可以是64维。在得到每个音频单元的音频特征之后，将这些音频特征按其出现的时间顺序进行排列，分别得到教师语音样本的音频特征序列和课堂现场录音的音频特征序列。图2中的预训练模型的语音特征表示(Pre-train Voice Reps.)表示特征抽取模块的输出结果。
在一种实施方式中，图1中的步骤S104，利用孪生神经网络对目标音频文件的音频特征序列和待识别音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，具体可包括：
利用孪生神经网络中的第一神经网络，对目标音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量；以及，利用孪生神经网络中的第二神经网络，对待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量。
本申请实施例中的孪生神经网络可包括第一神经网络和第二神经网络。其中第一神经网络和第二神经网络的输入信息分别是目标音频文件的音频特征序列和待识别音频文件的音频特征序列。在一个示例中，音频特征序列是按时间顺序进行排列的每个所述音频单元的对应的音频特征。第二神经网络针对待识别音频文件中的每个音频单元得到输出结果，其输出结果为待识别音频文件中的多个音频单元各自对应的特征向量。第一神经网络针对目标音频文件的整体特征进行学习得到输出结果，其输出结果为目标音频文件对应的特征向量。
在一种实施方式中，第一神经网络或第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU(Gated Recurrent Unit)的双向递归神经网络、基于长短期记忆LSTM(Long Short-Term Memory)的双向递归神经网络或基于自注意力(self-attention)模块的序列编码网络。
参见图2的示例，图2中的特征学习模块(Representation Learning)中，将来自教师语音样本和课堂现场录音的滑窗级别的语音特征(Window-Level Vocal Reps.)分别输入孪生神经网络的第一神经网络和第二神经网络中。如图2所示，第一神经网络或第二神经网络包括以下至少一种：DNN(Deep Neural Networks，深度神经网络)、BiGRU(BidirectionGated Recurrent Unit，基于门控循环单元的双向递归神经网络)、BiLSTM(Bi-directional LSTM，基于长短期记忆的双向递归神经网络)或Transformer(转换器，基于自注意力模块的序列编码网络)。
图3为根据本申请又一实施例的说话人识别方法的第二神经网络的处理流程图。如图3所示，在一种实施方式中，利用孪生神经网络中的第二神经网络，对待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量，具体可包括：
步骤S301，针对待识别音频文件的当前音频单元，分别计算当前音频单元和待识别音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
步骤S302，根据权值，将待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元对应的特征向量。
在一个示例中，待识别音频文件的音频特征序列中包括n个音频单元，记为v1、v2、…、vn。则分别计算当前音频单元和待识别音频文件的音频特征序列中的所有音频单元中的每个音频单元的相似度。具体可计算当前音频单元和待识别音频文件中所有音频单元的各自音频特征的相似度。
例如当前音频单元为v1，则计算v1与v1、v1与v2、v1与v3、…、v1与vn的相似度，记为v11、v12、v13、…、v1n。将v11、v12、v13、…、v1n做归一化处理后得到v11′、v12′、v13′、…、v1n′。将v11′作为v1对应的权值、将v12′作为v2对应的权值、将v13′作为v3对应的权值、…，以及将v1n′作为vn对应的权值。再将待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元v1对应的特征向量：
A1＝v11＇v1+v12＇v2+v13＇v3+…+v1n＇vn
再如当前音频单元为v2，则计算v2与v1、v2与v2、v2与v3、…、v2与vn的相似度，记为v21、v22、v23、…、v2n。将v21、v22、v23、…、v2n做归一化处理后得到v21′、v22′、v23′、…、v2n′。将v21′作为v1对应的权值、将v22′作为v2对应的权值、将v23′作为v3对应的权值、…，以及将v2n′作为vn对应的权值。再将待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元v2对应的特征向量：
A2＝v21′v1+v22′v2+v23′v3+…+v2n′vn
在图2所示的示例中，待识别音频文件为课堂现场录音。图2中的课堂现场录音的序列特征(Classroom Sequential Reps.)表示第二神经网络的输出结果为课堂现场录音中音频单元对应的特征向量。
图4为根据本申请另一实施例的说话人识别方法的第一神经网络的处理流程图。如图4所示，在一种实施方式中，利用孪生神经网络中的第一神经网络，对目标音频文件的音频特征序列进行特征学习，得到目标音频文件对应的特征向量，具体可包括：
步骤S401，针对目标音频文件的当前音频单元，分别计算当前音频单元和目标音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
步骤S402，根据权值，将目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元对应的特征向量；
步骤S403，将目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到目标音频文件对应的特征向量。
在一个示例中，目标音频文件的音频特征序列中包括m个音频单元，记为u1、u2、…、um。则分别计算当前音频单元和目标音频文件的音频特征序列中的所有音频单元中的每个音频单元的相似度。具体可计算当前音频单元和目标音频文件中所有音频单元的各自音频特征的相似度。
例如当前音频单元为u1，则计算u1与u1、u1与u2、u1与u3、…、u1与um的相似度，记为u11、u12、u13、…、u1m。将u11、u12、u13、…、u1m做归一化处理后得到u11′、u12′、u13′、…、u1m′。将u11′作为u1对应的权值、将u12′作为u2对应的权值、将u13′作为u3对应的权值、…，以及将u1m′作为um对应的权值。再将目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元u1对应的特征向量：
B1＝u11′u1+u12′u2+u13′u3+…+u1m′um
再如当前音频单元为u2，则计算u2与u1、u2与u2、u2与u3、…、u2与um的相似度，记为u21、u22、u23、…、u2m。将u21、u22、u23、…、u2m做归一化处理后得到u21′、u22′、u23′、…、u2m′。将u21′作为u1对应的权值、将u22′作为u2对应的权值、将u23′作为u3对应的权值、…，以及将u2m′作为um对应的权值。再将目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到当前音频单元u2对应的特征向量：
B2＝u21′u1+u22′u2+u23′u3+…+u2m′um
最后，将目标音频文件中的所有音频单元对应的特征向量B1、B2、…Bn进行平均池化操作，得到目标音频文件对应的特征向量。
池化过程是一个降维过程。比如将一个矩阵中每个2×2的子矩阵通过平均池化，即取子矩阵中所有元素的平均值的方法，将子矩阵化简为一个值。上述过程称为经过了2×2的池化。通过池化层可在神经网络上减小特征空间维度。
在图2所示的示例中，目标音频文件为教师语音样本。将目标音频文件中的所有音频单元对应的特征向量进行平均池化(Mean Pooling)操作。图2中的第一神经网络的输出结果为教师语音样本的聚合特征(Teacher′s Aggregated Reps.)。教师语音样本的聚合特征是对教师语音样本中所有音频单元对应的特征向量进行平均池化操作后，得到的鲁棒性增强的特征向量。
本申请实施例中，将目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，最终得到了一个鲁棒性较强的目标音频文件对应的特征向量，能够更好地表征目标说话人的音频特征。
在一种实施方式中，第一神经网络和第二神经网络可以采用Transformer(转换器，基于自注意力模块的序列编码网络)。在Transformer中利用注意力机制计算目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量。注意力机制可包括由一个查询向量(query)到一系列的键向量key-值向量value对的映射。注意力机制输出结果的计算过程是通过对value进行加权求和来得到，每一个value所对应的权值是由query和key计算得到。
在这种实施方式中，将目标音频文件和待识别音频文件的音频特征序列分别输入孪生神经网络的Transfomer之后，在每个Transfomer的处理流程中，首先利用三个特征提取层针对音频特征序列进行特征提取，再利用三个全连接层分别产生查询向量query、键向量key和值向量value。在一个示例中，查询向量query、键向量key和值向量value中的任意两个向量彼此互不相等。用于产生以上三个向量的三个全连接层的参数互不相同。
在之前的处理流程中，利用预设滑窗将目标音频文件和待识别音频文件分别分割成多个音频单元。每个窗口对应一个音频单元。在目标音频文件和待识别音频文件中，上述key表示每个窗口对应的键向量，query表示当前查询窗口对应的查询向量。将query和所有音频单元中的每个音频单元对应的key进行相似度计算得到每个音频单元相对当前查询窗口对应的权重，常用的相似度函数包括点积等。然后可使用一个softmax函数对上述权重进行归一化处理。最后将所有音频单元对应的权重和对应的value进行加权求和，得到当前查询窗口对应的特征向量。其中，Sigmoid是一个非线性变换函数：f(x)＝1/(1+e^-x)。
在待识别音频文件和目标音频文件中，当前查询窗口对应于当前音频单元。将目标音频文件和待识别音频文件的音频特征序列分别输入孪生神经网络的Transfomer之后，可得到待识别音频文件的当前音频单元对应的特征向量和目标音频文件的当前音频单元对应的特征向量。根据上述方法分别遍历待识别音频文件和目标音频文件中的所有音频单元，可得到所有音频单元对应的特征向量。然后再将目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到所述目标音频文件对应的特征向量。
本申请实施例中，在以上各种形式的加权求和计算中，以音频单元之间的相似度作为权值，使得最终得到的音频单元对应的特征向量融合了音频文件中其他音频单元的音频特征。通过以上各种形式的加权求和计算，使得目标音频文件的音频特征序列和待识别音频文件的音频特征序列经过孪生神经网络结构的处理后，音频特征序列中每个音频单元的特征被前后音频单元内的特征所加强，其特征表达能力得到了加强。将本申请实施例的方法与现有技术相比较可知，现有技术中针对音频文件的每个小段的编码独立比对，损失了音频文件前后小段的序列信息。本申请实施例中充分利用长段音频文件中前后语音信号的连续信息，帮助模型取得更为精确的识别结果。
图5为根据本申请另一实施例的说话人识别方法的基于注意力机制的机器学习模型的处理流程图。如图5所示，在一种实施方式中，图1中的步骤S105，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别待识别音频文件中属于目标说话人的音频单元，具体可包括：
步骤S501，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，计算待识别音频文件中的多个音频单元各自的注意力分值；
步骤S502，在注意力分值大于等于预设的判别阈值的情况下，确定待识别音频文件中的音频单元属于目标说话人。
图6为根据本申请另一实施例的说话人识别方法的基于注意力机制的机器学习模型的处理流程图。如图6所示，在一种实施方式中，图5中的步骤S501，基于目标音频文件对应的特征向量和待识别音频文件中的多个音频单元各自对应的特征向量，计算待识别音频文件中的多个音频单元各自的注意力分值，包括：
步骤S601，将目标音频文件对应的特征向量作为查询向量，将待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算查询向量和键向量的内积；
步骤S602，利用sigmoid函数对内积进行归一化处理，得到待识别音频文件中的多个音频单元各自的注意力分值。
本申请实施例中，基于注意力机制的机器学习模型中，注意力分值根据查询向量query和键向量key计算得到。仍以课堂质量评价的应用场景为例，将教师语音样本对应的特征向量作为查询向量query，将课堂现场录音中的多个音频单元中各自对应的特征向量作为键向量key，将查询向量和键向量作内积计算。再利用sigmoid函数对内积计算的结果进行归一化处理，得到课堂现场录音中的多个音频单元各自的注意力分值。其中，Sigmoid是一个非线性变换函数：f(x)＝1/(1+e^-x)。
在计算得到注意力分值后，可根据预设的判别阈值判断待识别音频文件中的音频单元是否属于教师。例如，预设的判别阈值为0.5。则当课堂现场录音中的某个音频单元的注意力分值大于等于0.5时，机器学习模型将判断该音频单元的声音角色属于教师；当课堂现场录音中的某个音频单元的注意力分值小于0.5时，则机器学习模型判断该音频单元的声音角色属于学生。
参见图2的示例，在基于注意力机制的机器学习预测模块(AttentionalPrediction)中，将教师语音样本的聚合特征(Teacher′s Aggregated Reps.)和课堂现场录音的序列特征(Classroom Sequential Reps.)输入到基于注意力机制的预测模型(Attentional Prediction)中，得到滑窗级别的检测结果(Window-Level DetectionResults)。
在一种实施方式中，上述方法还包括：在待识别音频文件中，将时间上连续的属于目标说话人的音频单元进行连接，得到属于目标说话人的至少一个说话时间段。
经过以上处理过程识别出属于教师的音频单元，然后将属于相同角色且时间上连续的音频单元进行连接，得到了整段课堂现场录音中的教师与学生说话时间段的区间。
在一个示例中，利用滑窗将课堂现场录音分割成音频单元之后，可记录每个音频单元的语音序号，也就是标记每个音频单元对应于第几个滑窗窗口，并且记录每个音频单元在课堂现场录音中对应的开始时间。然后利用本申请实施例的说话人识别方法识别出属于教师的音频单元。通过使用预先标记的语音序号及记录的对应的开始时间，将属于教师且时间上连续的音频单元进行连接，得到课堂现场录音中的教师说话时间段。
图7为根据本申请另一实施例的说话人识别方法的预测结果示意图。如图7所示，通过使用预先标记的语音序号及记录的对应的开始时间，将每个说话时间段在课堂现场录音的时间轴上标记为不同颜色，最终结果的形式呈现如图7所示。在图7中，“目标说话”表示与教师对应的说话时间段；“非目标说话”表示与学生对应的说话时间段。
本申请实施例利用孪生神经网络对音频文件的音频特征序列进行特征学习，可充分利用长段音频文件中前后语音信号的连续信息帮助模型取得更为精确的识别结果，在此基础上利用基于注意力分的说话人角色判断结构进一步提升说话人识别的准确率。
图8为根据本申请实施例的说话人识别装置的结构示意图。如图8所示，该装置可以包括：
获取模块100，用于获取目标音频文件和待识别音频文件，所述目标音频文件中包括目标说话人的音频；
分割模块200，用于将所述目标音频文件和所述待识别音频文件分别分割成多个音频单元；
提取模块300，用于从每个所述音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
学习模块400，用于利用孪生神经网络对所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量；
识别模块500，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别所述待识别音频文件中属于所述目标说话人的音频单元。
图9为根据本申请实施例的说话人识别装置的学习模块的结构示意图。如图9所示，在一些实施方式中，学习模块400包括：
第一学习子模块410，用于利用所述孪生神经网络中的第一神经网络，对所述目标音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量；以及，
第二学习子模块420，用于利用所述孪生神经网络中的第二神经网络，对所述待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量；
在一种实施方式中，第一神经网络或第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU的双向递归神经网络、基于长短期记忆LSTM的双向递归神经网络或基于自注意力模块的序列编码网络。
在一些实施方式中，第二学习子模块420具体用于：
针对待识别音频文件的当前音频单元，分别计算当前音频单元和待识别音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量。
在一些实施方式中，第一学习子模块410具体用于：
针对目标音频文件的当前音频单元，分别计算当前音频单元和目标音频文件中所有音频单元的各自音频特征的相似度，将相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量；
将所述目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到所述目标音频文件对应的特征向量。
图10为根据本申请实施例的说话人识别装置的识别模块的结构示意图。如图10所示，在一些实施方式中，识别模块500包括：
计算子模块510，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，计算所述待识别音频文件中的多个音频单元各自的注意力分值；
确定子模块520，用于在所述注意力分值大于等于预设的判别阈值的情况下，确定所述待识别音频文件中的音频单元属于所述目标说话人。
在一些实施方式中，计算子模块510具体用于：
将所述目标音频文件对应的特征向量作为查询向量，将所述待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算所述查询向量和所述键向量的内积；
利用sigmoid函数对所述内积进行归一化处理，得到所述待识别音频文件中的多个音频单元各自的注意力分值。
图11为根据本申请实施例的说话人识别装置的分割模块的结构示意图。如图11所示，在一些实施方式中，分割模块200包括：
去除子模块210：用于利用语音活动检测模型去除所述目标音频文件和所述待识别音频文件中的静音片段；
分割子模块220，用于将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
图12为根据本申请实施例的说话人识别装置的提取模块的结构示意图。如图12所示，在一些实施方式中，提取模块300，包括：
提取子模块310，用于利用声纹编码模型提取每个所述音频单元的对应的音频特征；
排列子模块320，用于分别针对所述目标音频文件和所述待识别音频文件，将所述音频特征按时间顺序进行排列，得到所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列。
图13为根据本申请另一实施例的说话人识别装置的结构示意图。如图13所示，在一些实施方式中，说话人识别装置还包括：
连接模块600，用于在所述待识别音频文件中，将时间上连续的属于所述目标说话人的音频单元进行连接，得到属于所述目标说话人的至少一个说话时间段。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
在其他一些实施方式中，本实施例还提供一种电子设备，其包括处理器和存储器，存储器中存储指令，指令由处理器加载并执行，以实现如上述实施例的方法。
在其他一些实施方式中，本实施例还提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如上述实施例的方法。
图14为用来实现本申请实施例的电子设备的框图。如图14所示，该电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的说话人识别方法。存储器910和处理器920的数量可以为一个或多个。
该电子设备还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种说话人识别方法，其特征在于，包括：
获取目标音频文件和待识别音频文件，所述目标音频文件中包括目标说话人的音频；
将所述目标音频文件和所述待识别音频文件分别分割成多个音频单元；
从每个所述音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
利用孪生神经网络对所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量；
基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别所述待识别音频文件中属于所述目标说话人的音频单元。
2.根据权利要求1所述的方法，其特征在于，利用孪生神经网络对所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，包括：
利用所述孪生神经网络中的第一神经网络，对所述目标音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量；以及，利用所述孪生神经网络中的第二神经网络，对所述待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量。
3.根据权利要求2所述的方法，其特征在于，所述第一神经网络或所述第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU的双向递归神经网络、基于长短期记忆LSTM的双向递归神经网络或基于自注意力模块的序列编码网络。
4.根据权利要求2所述的方法，其特征在于，利用所述孪生神经网络中的第二神经网络，对所述待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量，包括：
针对所述待识别音频文件的当前音频单元，分别计算当前音频单元和所述待识别音频文件中所有音频单元的各自音频特征的相似度，将所述相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量。
5.根据权利要求2所述的方法，其特征在于，利用所述孪生神经网络中的第一神经网络，对所述目标音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量，包括：
针对所述目标音频文件的当前音频单元，分别计算当前音频单元和所述目标音频文件中所有音频单元的各自音频特征的相似度，将所述相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量；
将所述目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到所述目标音频文件对应的特征向量。
6.根据权利要求1至5中任一项所述的方法，其特征在于，基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别所述待识别音频文件中属于所述目标说话人的音频单元，包括：
基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，计算所述待识别音频文件中的多个音频单元各自的注意力分值；
在所述注意力分值大于等于预设的判别阈值的情况下，确定所述待识别音频文件中的音频单元属于所述目标说话人。
7.根据权利要求6所述的方法，其特征在于，基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，计算所述待识别音频文件中的多个音频单元各自的注意力分值，包括：
将所述目标音频文件对应的特征向量作为查询向量，将所述待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算所述查询向量和所述键向量的内积；
利用sigmoid函数对所述内积进行归一化处理，得到所述待识别音频文件中的多个音频单元各自的注意力分值。
8.根据权利要求1至5中任一项所述的方法，其特征在于，将所述目标音频文件和所述待识别音频文件分别分割成多个音频单元，包括：
利用语音活动检测模型去除所述目标音频文件和所述待识别音频文件中的静音片段；
将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
9.根据权利要求1至5中任一项所述的方法，其特征在于，从每个所述音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列，包括：
利用声纹编码模型提取每个所述音频单元的对应的音频特征；
分别针对所述目标音频文件和所述待识别音频文件，将所述音频特征按时间顺序进行排列，得到所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列。
10.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
在所述待识别音频文件中，将时间上连续的属于所述目标说话人的音频单元进行连接，得到属于所述目标说话人的至少一个说话时间段。
11.一种说话人识别装置，其特征在于，包括：
获取模块，用于获取目标音频文件和待识别音频文件，所述目标音频文件中包括目标说话人的音频；
分割模块，用于将所述目标音频文件和所述待识别音频文件分别分割成多个音频单元；
提取模块，用于从每个所述音频单元提取对应的音频特征，得到目标音频文件的音频特征序列和待识别音频文件的音频特征序列；
学习模块，用于利用孪生神经网络对所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量；
识别模块，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，利用基于注意力机制的机器学习模型识别所述待识别音频文件中属于所述目标说话人的音频单元。
12.根据权利要求11所述的装置，其特征在于，所述学习模块包括：
第一学习子模块，用于利用所述孪生神经网络中的第一神经网络，对所述目标音频文件的音频特征序列进行特征学习，得到所述目标音频文件对应的特征向量；以及，
第二学习子模块，用于利用所述孪生神经网络中的第二神经网络，对所述待识别音频文件的音频特征序列进行特征学习，得到待识别音频文件中的多个音频单元各自对应的特征向量。
13.根据权利要求12所述的装置，其特征在于，所述第一神经网络或所述第二神经网络包括以下至少一种：深度神经网络、基于门控循环单元GRU的双向递归神经网络、基于长短期记忆LSTM的双向递归神经网络或基于自注意力模块的序列编码网络。
14.根据权利要求12所述的装置，其特征在于，所述第二学习子模块具体用于：
针对所述待识别音频文件的当前音频单元，分别计算当前音频单元和所述待识别音频文件中所有音频单元的各自音频特征的相似度，将所述相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述待识别音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量。
15.根据权利要求12所述的装置，其特征在于，所述第一学习子模块具体用于：
针对所述目标音频文件的当前音频单元，分别计算当前音频单元和所述目标音频文件中所有音频单元的各自音频特征的相似度，将所述相似度作为每个音频单元相对当前音频单元对应的权值；
根据所述权值，将所述目标音频文件的音频特征序列中的所有音频单元对应的音频特征加权求和，得到所述当前音频单元对应的特征向量；
将所述目标音频文件中的所有音频单元对应的特征向量进行平均池化操作，得到所述目标音频文件对应的特征向量。
16.根据权利要求11至15中任一项所述的装置，其特征在于，所述识别模块包括：
计算子模块，用于基于所述目标音频文件对应的特征向量和所述待识别音频文件中的多个音频单元各自对应的特征向量，计算所述待识别音频文件中的多个音频单元各自的注意力分值；
确定子模块，用于在所述注意力分值大于等于预设的判别阈值的情况下，确定所述待识别音频文件中的音频单元属于所述目标说话人。
17.根据权利要求16所述的装置，其特征在于，所述计算子模块具体用于：
将所述目标音频文件对应的特征向量作为查询向量，将所述待识别音频文件中的多个音频单元各自对应的特征向量作为键向量，计算所述查询向量和所述键向量的内积；
利用sigmoid函数对所述内积进行归一化处理，得到所述待识别音频文件中的多个音频单元各自的注意力分值。
18.根据权利要求11至15中任一项所述的装置，其特征在于，所述分割模块包括：
去除子模块：用于利用语音活动检测模型去除所述目标音频文件和所述待识别音频文件中的静音片段；
分割子模块，用于将去除静音片段的目标音频文件和待识别音频文件分别分割成多个音频单元。
19.根据权利要求11至15中任一项所述的装置，其特征在于，所述提取模块，包括：
提取子模块，用于利用声纹编码模型提取每个所述音频单元的对应的音频特征；
排列子模块，用于分别针对所述目标音频文件和所述待识别音频文件，将所述音频特征按时间顺序进行排列，得到所述目标音频文件的音频特征序列和所述待识别音频文件的音频特征序列。
20.根据权利要求11至15中任一项所述的装置，其特征在于，所述装置还包括：
连接模块，用于在所述待识别音频文件中，将时间上连续的属于所述目标说话人的音频单元进行连接，得到属于所述目标说话人的至少一个说话时间段。
21.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1至10任一项所述的方法。
22.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法。
CN202010641026.XA 2020-07-06 2020-07-06 说话人识别方法、装置、电子设备及存储介质 Active CN111785287B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010641026.XA CN111785287B (zh) 2020-07-06 2020-07-06 说话人识别方法、装置、电子设备及存储介质
PCT/CN2021/104600 WO2022007766A1 (zh) 2020-07-06 2021-07-05 说话人识别方法、装置、电子设备及存储介质
US18/069,272 US11676609B2 (en) 2020-07-06 2022-12-20 Speaker recognition method, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010641026.XA CN111785287B (zh) 2020-07-06 2020-07-06 说话人识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111785287A CN111785287A (zh) 2020-10-16
CN111785287B true CN111785287B (zh) 2022-06-07

Family

ID=72757990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010641026.XA Active CN111785287B (zh) 2020-07-06 2020-07-06 说话人识别方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11676609B2 (zh)
CN (1) CN111785287B (zh)
WO (1) WO2022007766A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785287B (zh) * 2020-07-06 2022-06-07 北京世纪好未来教育科技有限公司 说话人识别方法、装置、电子设备及存储介质
EP3975181B1 (en) * 2020-09-29 2023-02-22 Bull Sas Assessment of the quality of a communication session over a telecommunication network
CN112651429B (zh) * 2020-12-09 2022-07-12 歌尔股份有限公司 一种音频信号时序对齐方法和装置
CN112951242B (zh) * 2021-02-02 2022-10-25 华南理工大学 一种基于孪生神经网络的短语音说话人匹配方法
CN113761269B (zh) * 2021-05-21 2023-10-10 腾讯科技（深圳）有限公司 音频识别方法、装置和计算机可读存储介质
CN116434777B (zh) * 2023-06-09 2023-10-20 国网山东省电力公司济南供电公司 基于多级注意力和特征融合的变压器故障诊断方法及系统
CN117079655B (zh) * 2023-10-16 2023-12-22 华南师范大学 一种音频分析方法、装置、设备和可读存储介质
CN118016073A (zh) * 2023-12-27 2024-05-10 华中科技大学 一种基于音视频特征融合的课堂粗粒度声音事件检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243467A (zh) * 2018-11-14 2019-01-18 龙马智声（珠海）科技有限公司 声纹模型构建方法、声纹识别方法及系统
CN109543009A (zh) * 2018-10-17 2019-03-29 龙马智芯（珠海横琴）科技有限公司 文本相似度评估系统及文本相似度评估方法
CN110211594A (zh) * 2019-06-06 2019-09-06 杭州电子科技大学 一种基于孪生网络模型和knn算法的说话人识别方法
CN110556114A (zh) * 2019-07-26 2019-12-10 国家计算机网络与信息安全管理中心 基于注意力机制的通话人识别方法及装置
CN110781680A (zh) * 2019-10-17 2020-02-11 江南大学 基于孪生网络和多头注意力机制的语义相似度匹配方法
CN110910891A (zh) * 2019-11-15 2020-03-24 复旦大学 基于长短时记忆神经网络的说话人分段标注方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354656B2 (en) * 2017-06-23 2019-07-16 Microsoft Technology Licensing, Llc Speaker recognition
CN110634489B (zh) * 2018-06-25 2022-01-14 科大讯飞股份有限公司 一种声纹确认方法、装置、设备及可读存储介质
US11152013B2 (en) * 2018-08-02 2021-10-19 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a triplet network with attention for speaker diartzation
US11580145B1 (en) * 2018-09-25 2023-02-14 Amazon Technologies, Inc. Query rephrasing using encoder neural network and decoder neural network
US20210012902A1 (en) * 2019-02-18 2021-01-14 University Of Notre Dame Du Lac Representation learning for wearable-sensor time series data
DK3709115T3 (da) * 2019-03-13 2023-04-24 Oticon As Høreanordning eller system omfattende en brugeridentifikationsenhed
CN110675891B (zh) 2019-09-25 2020-09-18 电子科技大学 一种基于多层注意力机制的语音分离方法、模块
CN111143604B (zh) 2019-12-25 2024-02-02 腾讯音乐娱乐科技（深圳）有限公司 一种音频的相似度匹配方法、装置及存储介质
CN111370003B (zh) * 2020-02-27 2023-05-30 杭州雄迈集成电路技术股份有限公司 一种基于孪生神经网络的声纹比对方法
CN111145760B (zh) 2020-04-02 2020-06-30 支付宝(杭州)信息技术有限公司 用于说话人识别的方法及神经网络模型
CN111785287B (zh) * 2020-07-06 2022-06-07 北京世纪好未来教育科技有限公司 说话人识别方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543009A (zh) * 2018-10-17 2019-03-29 龙马智芯（珠海横琴）科技有限公司 文本相似度评估系统及文本相似度评估方法
CN109243467A (zh) * 2018-11-14 2019-01-18 龙马智声（珠海）科技有限公司 声纹模型构建方法、声纹识别方法及系统
CN110211594A (zh) * 2019-06-06 2019-09-06 杭州电子科技大学 一种基于孪生网络模型和knn算法的说话人识别方法
CN110556114A (zh) * 2019-07-26 2019-12-10 国家计算机网络与信息安全管理中心 基于注意力机制的通话人识别方法及装置
CN110781680A (zh) * 2019-10-17 2020-02-11 江南大学 基于孪生网络和多头注意力机制的语义相似度匹配方法
CN110910891A (zh) * 2019-11-15 2020-03-24 复旦大学 基于长短时记忆神经网络的说话人分段标注方法及装置

Also Published As

Publication number Publication date
CN111785287A (zh) 2020-10-16
US11676609B2 (en) 2023-06-13
WO2022007766A1 (zh) 2022-01-13
US20230130253A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN111785287B (zh) 说话人识别方法、装置、电子设备及存储介质
Zeng et al. Effective combination of DenseNet and BiLSTM for keyword spotting
Lim et al. Rare Sound Event Detection Using 1D Convolutional Recurrent Neural Networks.
Hsu et al. Unsupervised learning of disentangled and interpretable representations from sequential data
CN108346436B (zh) 语音情感检测方法、装置、计算机设备及存储介质
US10332510B2 (en) Method and apparatus for training language model and recognizing speech
Ye et al. Temporal modeling matters: A novel temporal emotional modeling approach for speech emotion recognition
US20170358306A1 (en) Neural network-based voiceprint information extraction method and apparatus
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
JP2654917B2 (ja) ニューラル・ネットワークを使用する話者独立孤立単語音声認識システム
CN108766418A (zh) 语音端点识别方法、装置及设备
JP2017097162A (ja) キーワード検出装置、キーワード検出方法及びキーワード検出用コンピュータプログラム
CN109036471B (zh) 语音端点检测方法及设备
CN112017694B (zh) 语音数据的评测方法和装置、存储介质和电子装置
CN110796231B (zh) 数据处理方法、装置、计算机设备和存储介质
CN113160855B (zh) 在线语音活性检测系统改进方法和装置
Agrawal et al. Prosodic feature based text dependent speaker recognition using machine learning algorithms
CN114187894A (zh) 一种意图识别方法、装置及其相关设备
Naranjo-Alcazar et al. On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification
CN112466284B (zh) 一种口罩语音鉴别方法
CN117370832A (zh) 基于贝叶斯神经网络的水声目标识别方法及装置
CN115512692A (zh) 语音识别方法、装置、设备及存储介质
CN112948554B (zh) 基于强化学习和领域知识的实时多模态对话情感分析方法
Wilkinghoff et al. TACos: Learning temporally structured embeddings for few-shot keyword spotting with dynamic time warping
CN114756662A (zh) 基于多模态输入的任务特定文本生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant