CN113035230B - 认证模型的训练方法、装置及电子设备 - Google Patents

认证模型的训练方法、装置及电子设备 Download PDF

Info

Publication number
CN113035230B
CN113035230B CN202110269494.3A CN202110269494A CN113035230B CN 113035230 B CN113035230 B CN 113035230B CN 202110269494 A CN202110269494 A CN 202110269494A CN 113035230 B CN113035230 B CN 113035230B
Authority
CN
China
Prior art keywords
audio
authentication model
features
feature
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110269494.3A
Other languages
English (en)
Other versions
CN113035230A (zh
Inventor
赵情恩
庞敏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110269494.3A priority Critical patent/CN113035230B/zh
Publication of CN113035230A publication Critical patent/CN113035230A/zh
Application granted granted Critical
Publication of CN113035230B publication Critical patent/CN113035230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开公开了一种认证模型的训练方法、装置及电子设备，涉及计算机技术领域，尤其涉及语音技术领域及深度学习技术领域。具体实现方案为：获取攻击音频的第一音频特征及非攻击音频的第二音频特征；将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证。本公开提供的方案对于模型的训练更为简单。

Description

认证模型的训练方法、装置及电子设备
技术领域
本公开涉及计算机技术领域，具体涉及语音技术领域及深度学习技术领域，尤其涉及一种认证模型的训练方法、装置及电子设备。
背景技术
随着科技的迅速发展，利用声纹来进行验证已经被广泛应用于安防、互联网及金融等领域。目前，基于声纹进行验证的系统通常是先验证音频是否为攻击音频，如果不是攻击音频再对音频中的声纹特征进行提取，以进行验证。
发明内容
本公开提供了一种认证模型的训练方法、装置及电子设备。
根据本公开的第一方面，提供了一种认证模型的训练方法，包括：
获取攻击音频的第一音频特征及非攻击音频的第二音频特征；
将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证。
根据本公开的第二方面，提供了一种认证模型的训练装置，包括：
获取模块，用于获取攻击音频的第一音频特征及非攻击音频的第二音频特征；
训练模块，用于将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
本公开提供的技术方案，只需要对一个模型进行训练，使得训练后的该模型能够同时实现音频是否为攻击音频的判别，以及实现对音频的身份验证，使得对于模型的训练更为简单。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例提供的一种认证模型的训练方法的流程图；
图2是根据本公开一实施例提供的第一认证模型的训练图；
图3是根据本公开一实施例提供的一种认证模型的训练装置的结构图；
图4是用来实现本公开实施例的认证模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种认证模型的训练方法，所述方法可以是应用于如计算机、平板电脑、手机等电子设备，所述电子设备可以是安装有所述认证模型。其中，所述认证模型为一种卷积神经网络模型。
请参照图1，图1是本公开一实施例提供的一种认证模型的训练方法的流程图。如图1所示，所述认证模型的训练方法包括以下步骤：
步骤S101、获取攻击音频的第一音频特征及非攻击音频的第二音频特征。
其中，所述攻击音频可以是指对用户的语音进行处理后得到的音频，或是通过特定语音处理设备合成或转换得到的音频，例如对用户语音进行录音得到的音频、将多段用户语音进行拼接得到的音频、通过语音合成器等设备合成的音频、通过语音转换器转换得到的音频等。也就是说，所述攻击音频并非直接采集的用户语音。所述非攻击音频可以是指直接采集的用户真实语音，所述非攻击音频也就不存在任何的后期处理，在一些其他实施例中，所述非攻击音频也可以称为正常音频。
可选地，电子设备可以是采集用户真实语音，以得到非攻击音频，并可以是通过对非攻击音频进行录音、拼接、合成、语音转换等处理以得到攻击音频。需要说明地，电子设备可以是采集不同的用户语音，以得到不同用户的多个非攻击音频，还可以是采集同一用户的多段语音，以得到同一用户的多个非攻击音频；电子设备可以是对采集到的多个非攻击音频进行合成、录音等处理以得到多个非攻击音频，或者也可以是基于另外的途径，如网络下载来获得多个非攻击音频。电子设备在获取到攻击音频和非攻击音频后，可以是将攻击音频与非攻击音频混合，构成多任务学习的训练集。
本公开实施例中，电子设备在获取到攻击音频和非攻击音频后，可以是对攻击音频和非攻击音频分别进行预处理。例如，所述预处理包括但不限于：语音活动检测(VoiceActivity Detection，VAD)、语音信号分析、分帧等。进一步地，在对攻击音频和非攻击音频分别进行预处理后，分别提取攻击音频的第一音频特征和非攻击音频的第二音频特征。
可选地，所述第一音频特征可以是包括但不限于梅尔频率倒谱参数(MelFrequency Cepstral Coefficient，MFCC)特征、常数Q变换倒谱参数(Constant QCepstral Coefficients，CQCC)特征等；所述第二音频特征也可以是包括但不限于MFCC特征、CQCC特征等。
步骤S102、将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果。
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证。
本公开实施例中，所述认证模型可以是包括所述第一认证模型，或者所述第一认证模型即为所述认证模型。第一音频特征为攻击音频的音频特征，第二音频特征为非攻击音频的音频特征，将第一音频特征和第二音频特征都作为第一认证模型的输入，以最小化损失为目标，基于最小化损失函数对第一认证模型进行训练，经过多轮迭代至收敛，进而以得到一个性能较为稳定的模型，完成对第一认证模型的训练。需要说明地，所述基于最小化损失函数对第一认证模型进行训练的具体实现过程，可以是参照相关技术中模型的训练方式，本公开对此不做赘述。
本公开实施例中，第一认证模型的输入为攻击音频的第一音频特征和非攻击音频的第二音频特征，进而也就是才采用多任务学习的方式，将攻击音频和非攻击音频共同作为训练集来训练第一认证模型，第一认证模型也就需要基于攻击音频进行学习训练，以能够辨别输入音频是否为攻击音频，也即是否为经过录音、合成等处理而形成的音频，另外还需要基于非攻击音频进行学习训练，以能够辨别输入音频在不是攻击音频的情况下，辨别输入音频的身份，也就是辨别输入音频是否与哪个非攻击音频匹配，进而以确定输入音频是否为已录入的非攻击音频，以确定输入音频是否通过验证。
例如，在基于攻击音频的第一音频特征和非攻击音频的第二音频特征完成对第一认证模型的训练后，将第一输入音频作为训练后的第一认证模型的输入，该第一认证模型对第一输入音频的音频特征进行推理计算，以预测该第一输入音频是否为攻击音频，以及该第一输入音频的音频特征是否与已录入的非攻击音频的音频特征匹配，进而基于预测结果输出第一结果。可以理解地，该第一结果也就用于指示所述第一输入音频是否为攻击音频，以及在第一输入音频不是攻击音频的情况下，第一结果还用于指示所述第一输入音频是否通过验证。若第一输入音频通过验证，也就是说第一输入音频的音频特征与第一认证模型已录入的某一个非攻击音频的音频特征匹配，例如第一输入音频为用户A的一段语音，而第一认证模型中已经录入了用户A的另一段语音；若第一输入音频未通过验证，则认为第一认证模型不能识别出该第一输入音频的音频特征与已录入的非攻击音频的音频特征匹配。
本公开实施例提供的技术方案，基于攻击音频的第一音频特征和非攻击音频的第二音频特征作为第一认证模型的输入，来对第一认证模型进行训练，使得训练后的第一认证模型能够用于辨别输入的音频是否为攻击音频，以及用于辨别输入的音频是否通过验证。这样，也就只需要对一个模型进行训练，使得训练后的该模型能够同时实现音频是否为攻击音频的判别，以及实现对音频的身份验证；相比于现有的需要将攻击音频和非攻击音频分别输入两个模型来单独进行训练，且需要两个模型来分别实现攻击音频的判别和音频的身份验证，本公开提供的方案在模型训练上更为简单，也使得电子设备只需要安装一个所述第一认证模型就能够实现攻击音频的判别和音频的身份验证，对于音频的认证流程也更为简便。
可选地，所述方法还包括：
对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征；
在这种情况下，所述将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，包括：
将所述第一目标音频特征及所述第二目标音频特征作为所述第一认证模型的输入。
需要说明地，对音频特征进行差分处理，可以是包括一阶差分处理、二阶差分处理等。将第一音频特征进行差分处理，以得到第一目标音频特征，将第二音频特征进行差分处理，以得到第二目标音频特征，并将第一目标音频特征和第二目标音频特征作为第一认证模型的输入。
本公开实施例中，通过对第一音频特征和第二音频特征进行差分处理，也就能够得到更为丰富的音频特征，使得输入第一认证模型的第一目标音频特征和第二目标音频特征更加丰富，也就能够更好地对第一认证模型进行训练，提升训练后的第一认证模型的音频辨别能力。
可选地，所述对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征，包括：
对所述第一音频特征分别进行一阶差分与二阶差分，获取第一目标音频特征，所述第一目标音频特征包括所述第一音频特征、所述第一音频特征一阶差分后得到的音频特征、所述第一音频特征二阶差分后得到的音频特征；
对所述第二音频特征分别进行一阶差分与二阶差分，获取第二目标音频特征，所述第二目标音频特征包括所述第二音频特征、所述第二音频特征一阶差分后得到的音频特征、所述第二音频特征二阶差分后得到的音频特征。
可以理解地，对第一音频特征分别进行一阶差分和二阶差分后，也就能够得到一阶差分后的音频特征，以及二阶差分后的音频特征，而第一目标音频特征也就包括原有的第一音频特征、第一音频特征一阶差分后得到的音频特征、第一音频特征二阶差分后得到的音频特征，总共三部分的音频特征。基于相同的原理，第二目标音频特征也同样包括原有的第二音频特征、第二音频特征一阶差分后得到的音频特征、第二音频特征二阶差分后得到的音频特征。这样，也就输入第一认证模型的第一目标音频特征和第二目标音频特征更为丰富，第一认证模型相当于能够得到更为丰富的训练样本，也就能够更好地实现对第一认证模型的训练，以提升第一认证模型的音频辨别能力。
需要说明的是，一阶差分和二阶差分的实现原理可以是参照相关技术，本公开对此不做赘述。
本公开实施例中，所述认证模型可以是包括第一认证模型和第二认证模型，在完成对第一认证模型的训练后，所述方法还可以包括如下步骤：
获取训练音频的第三音频特征，并将所述第三音频特征输入所述训练后的第一认证模型；
获取基于所述训练后的第一认证模型前向推理计算得到的音频特征向量；
基于所述音频特征向量对所述第二认证模型进行训练，以使得训练后的第二认证模型能够用于预测第二输入音频的第二结果。
其中，所述第二结果用于指示所述第二输入音频与目标音频之间的相似度。
需要说明地，所述训练音频可以是用户预设的音频，或者所述训练音频可以是与非攻击音频具有相同音频特征的音频。
本公开实施例中，在获取到训练音频后，可以对训练音频进行预处理，如VAD、语音信号分析、分帧等；提取预处理后的训练音频的第三音频特征，如MFCC特征和CQCC特征，将第三音频特征输入训练后的第一认证模型。
可选地，在提取训练音频的第三音频特征后，还可以是对第三音频特征进行一阶差分和第二差分，以得到第三目标音频特征，第三目标音频特征也就包括原有的第三音频特征、第三音频特征一阶差分后得到的音频特征以及第三音频特征二阶差分后得到的音频特征，然后将第三目标音频特征作为训练后的第一认证模型的输入。这样，也就使得训练后的第一认证模型能够得到更为丰富的音频特征。
进一步地，该训练后的第一认证模型前向推理计算得到特征向量，该特征向量能够指示训练音频是否为攻击音频，以及能够指示训练音频是否通过验证；基于该特征向量对第二认证模型进行训练，以使得训练后的第二认证模型能够用于预测第二输入音频的第二结果，也即第二认证模型能够识别第二输入音频与目标音频之间的相似度。其中，目标音频为第二认证模型已录入的音频，或者，第二认证模型已录入的目标音频可以是与第一认知模型已录入的音频相同，如非攻击音频。所述第二输入音频可以是与第一输入音频为同一个音频，这样也就使得电子设备能够通过第一认证模型和第二认证模型完成对输入音频的预测。
在一些实施方式中，训练后的第二认证模型也可以称为线性区分性分析(LinearDiscriminant Analysis，LDA)与带概率的线性区分性分析(Probabilistic LinearDiscriminant Analysis，PLDA)模型。
本公开实施例中，认证模型可以是包括第一认证模型和第二认证模型，当电子设备获取到一个输入音频时，可以是基于训练后的第一认证模型和训练后的第二认证模型来共同完成对输入音频的识别验证。例如，以输入音频为例，将该输入音频提取音频特征后，提取后的音频特征输入训练后的第一认证模型，前向推理计算得到带有攻击音频辨别及身份识别特征的音频特征向量，将该音频特征向量经过训练后的第二认证模型，第二认证模型能够计算得到该音频特征向量与目标音频的特征向量之间的相似度，进而得到验证是否通过的结果。这样，在第一认证模型的身份验证的基础上，能够基于第二认证模型进一步提高验证的准确率，也就使得认证模型能够具有更好的验证准确性。
本公开实施例中，所述最小化损失函数包括交叉熵损失函数或比对损失函数。
例如，所述最小化损失函数为交叉熵损失函数，则关于是否为攻击音频的损失与身份识别的损失的占比可以设为相同。
请参照图2，图2为本公开实施例提供的一种第一认证模型的训练示意图，将非攻击音频和攻击音频都输入第一认证模型，第一认证模型可以是分别提取攻击音频和非攻击音频的特征向量(Embedding)，并提取攻击音频特征(Spoofing prediction)和非攻击音频特征(Speaker prediction)，并通过神经网络层分别计算攻击音频的损失Lspoofing和非攻击音频的损失Lspeaker，基于二者的损失计算最终的总的损失(Total loss)。可选地，总的损失函数计算公式如下：
Ltotal＝α1Lspeaker+α2Lspoofing；
其中，Ltotal表示总的损失，Lspeaker表示非攻击音频的损失，Lspoofing表示攻击音频的损失，α1表示第一权重，α2表示第二权重。优选地，α1＝α2＝0.5。需要说明的是，基于神经网络层分别得到损失函数的具体计算，可以是参照相关技术。通过交叉熵损失函数对第一认证模型进行训练，进而总的损失是包括攻击音频的损失和非攻击音频的损失的，也就使得第一认证模型能够对攻击音频和非攻击音频的特征都进行训练学习，以确保训练后的第一认证模型能够实现对攻击音频的判别以及身份验证。
或者，所述最小化损失函数为比对损失函数，则在第一认证模型的每次迭代过程中需要选择目标样本(anchor sample)、正样本(positive sample)和负样本(negativesample)，总损失的计算公式如下：
Figure BDA0002973653410000091
其中，μa表示目标样本向量，μp表示正样本向量，μn表示负样本向量，f(μ)表示音频提取的特征向量，
Figure BDA0002973653410000092
表示目标样本向量与正样本向量之间的欧式距离，
Figure BDA0002973653410000093
表示目标样本向量与负样本向量之间的欧式距离，margin为常量。需要说明地，上述比对损失函数的具体计算可以是参照相关技术。通过比对损失函数来对第一认证模型进行训练，也就使得第一认证模型能够基于目标样本向量、正样本向量及负样本向量来实现训练，以确保训练后的第一认证模型能够实现对攻击音频的判别以及身份验证。
本公开实施例还提供了一种认证模型的训练装置。
请参照图3，图3是本公开一实施例提供的一种认证模型的训练装置的结构图。如图3所示，所述认证模型的训练装置300包括：
获取模块301，用于获取攻击音频的第一音频特征及非攻击音频的第二音频特征；
训练模块302，用于将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证。
可选地，所述认证模型的训练装置300还包括：
处理模块，用于对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征；
所述训练模块还用于：
将所述第一目标音频特征及所述第二目标音频特征作为所述第一认证模型的输入。
可选地，所述处理模块还用于：
对所述第一音频特征分别进行一阶差分与二阶差分，获取第一目标音频特征，所述第一目标音频特征包括所述第一音频特征、所述第一音频特征一阶差分后得到的音频特征、所述第一音频特征二阶差分后得到的音频特征；
对所述第二音频特征分别进行一阶差分与二阶差分，获取第二目标音频特征，所述第二目标音频特征包括所述第二音频特征、所述第二音频特征一阶差分后得到的音频特征、所述第二音频特征二阶差分后得到的音频特征。
可选地，所述认证模型还包括第二认证模型；
所述获取模块301还用于：获取训练音频的第三音频特征，并将所述第三音频特征输入所述训练后的第一认证模型；
以及用于获取基于所述训练后的第一认证模型前向推理计算得到的音频特征向量；
所述训练模块302还用于：基于所述音频特征向量对所述第二认证模型进行训练，以使得训练后的第二认证模型能够用于预测第二输入音频的第二结果；
其中，所述第二结果用于指示所述第二输入音频与目标音频之间的相似度。
可选地，所述最小化损失函数包括交叉熵损失函数或比对损失函数。
需要说明地，本实施例提供的认证模型的训练装置300能够实现上述认证模型的训练方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如认证模型的训练方法。例如，在一些实施例中，认证模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的认证模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行认证模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种认证模型的训练方法，包括：
获取攻击音频的第一音频特征及非攻击音频的第二音频特征；
将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证，所述验证用于实现对所述第一输入音频的身份认证；所述认证模型还包括第二认证模型，所述方法还包括：
获取训练音频的第三音频特征，并将所述第三音频特征输入所述训练后的第一认证模型；
获取基于所述训练后的第一认证模型前向推理计算得到的音频特征向量，所述音频特征向量用于指示所述训练音频是否为攻击音频，以及用于指示所述训练音频是否通过验证；
基于所述音频特征向量对所述第二认证模型进行训练，以使得训练后的第二认证模型能够用于预测第二输入音频的第二结果；
其中，所述第二结果用于指示所述第二输入音频与目标音频之间的相似度，以得到验证是否通过的结果。
2.根据权利要求1所述的方法，还包括：
对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征；
所述将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，包括：
将所述第一目标音频特征及所述第二目标音频特征作为所述第一认证模型的输入。
3.根据权利要求2所述的方法，其中，所述对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征，包括：
对所述第一音频特征分别进行一阶差分与二阶差分，获取第一目标音频特征，所述第一目标音频特征包括所述第一音频特征、所述第一音频特征一阶差分后得到的音频特征、所述第一音频特征二阶差分后得到的音频特征；
对所述第二音频特征分别进行一阶差分与二阶差分，获取第二目标音频特征，所述第二目标音频特征包括所述第二音频特征、所述第二音频特征一阶差分后得到的音频特征、所述第二音频特征二阶差分后得到的音频特征。
4.根据权利要求1所述的方法，其中，所述最小化损失函数包括交叉熵损失函数或比对损失函数。
5.一种认证模型的训练装置，包括：
获取模块，用于获取攻击音频的第一音频特征及非攻击音频的第二音频特征；
训练模块，用于将所述第一音频特征及所述第二音频特征作为第一认证模型的输入，并基于最小化损失函数对所述第一认证模型进行训练，以使得训练后的第一认证模型用于预测第一输入音频的第一结果；
其中，所述第一结果用于指示所述第一输入音频是否为攻击音频，以及用于指示所述第一输入音频是否通过验证，所述验证用于实现对所述第一输入音频的身份认证；所述认证模型还包括第二认证模型；
所述获取模块还用于：获取训练音频的第三音频特征，并将所述第三音频特征输入所述训练后的第一认证模型；
以及用于获取基于所述训练后的第一认证模型前向推理计算得到的音频特征向量，所述音频特征向量用于指示所述训练音频是否为攻击音频，以及用于指示所述训练音频是否通过验证；
所述训练模块还用于：基于所述音频特征向量对所述第二认证模型进行训练，以使得训练后的第二认证模型能够用于预测第二输入音频的第二结果；
其中，所述第二结果用于指示所述第二输入音频与目标音频之间的相似度，以得到验证是否通过的结果。
6.根据权利要求5所述的装置，还包括：
处理模块，用于对所述第一音频特征及所述第二音频特征分别进行差分处理，以分别得到第一目标音频特征及第二目标音频特征；
所述训练模块还用于：
将所述第一目标音频特征及所述第二目标音频特征作为所述第一认证模型的输入。
7.根据权利要求6所述的装置，其中，所述处理模块还用于：
对所述第一音频特征分别进行一阶差分与二阶差分，获取第一目标音频特征，所述第一目标音频特征包括所述第一音频特征、所述第一音频特征一阶差分后得到的音频特征、所述第一音频特征二阶差分后得到的音频特征；
对所述第二音频特征分别进行一阶差分与二阶差分，获取第二目标音频特征，所述第二目标音频特征包括所述第二音频特征、所述第二音频特征一阶差分后得到的音频特征、所述第二音频特征二阶差分后得到的音频特征。
8.根据权利要求5所述的装置，其中，所述最小化损失函数包括交叉熵损失函数或比对损失函数。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
CN202110269494.3A 2021-03-12 2021-03-12 认证模型的训练方法、装置及电子设备 Active CN113035230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110269494.3A CN113035230B (zh) 2021-03-12 2021-03-12 认证模型的训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110269494.3A CN113035230B (zh) 2021-03-12 2021-03-12 认证模型的训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113035230A CN113035230A (zh) 2021-06-25
CN113035230B true CN113035230B (zh) 2022-12-27

Family

ID=76470050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110269494.3A Active CN113035230B (zh) 2021-03-12 2021-03-12 认证模型的训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113035230B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284508B (zh) 2021-07-21 2021-11-09 中国科学院自动化研究所 基于层级区分的生成音频检测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084337A1 (zh) * 2015-11-16 2017-05-26 腾讯科技（深圳）有限公司 一种身份验证方法、装置和系统
CN105702263B (zh) * 2016-01-06 2019-08-30 清华大学 语音重放检测方法和装置
CN105913855B (zh) * 2016-04-11 2019-11-22 宁波大学 一种基于长窗比例因子的回放语音攻击检测算法
CN110459204A (zh) * 2018-05-02 2019-11-15 Oppo广东移动通信有限公司 语音识别方法、装置、存储介质及电子设备
US10593336B2 (en) * 2018-07-26 2020-03-17 Accenture Global Solutions Limited Machine learning for authenticating voice
CN109346089A (zh) * 2018-09-27 2019-02-15 深圳市声扬科技有限公司 活体身份认证方法、装置、计算机设备和可读存储介质
CN109448759A (zh) * 2018-12-28 2019-03-08 武汉大学 一种基于气爆音的抗语音认证欺骗攻击检测方法
CN110491391B (zh) * 2019-07-02 2021-09-17 厦门大学 一种基于深度神经网络的欺骗语音检测方法
CN110459226A (zh) * 2019-08-19 2019-11-15 效生软件科技(上海)有限公司 一种通过声纹引擎检测人声或机器音进行身份核验的方法

Also Published As

Publication number Publication date
CN113035230A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN111276131B (zh) 一种基于深度神经网络的多类声学特征整合方法和系统
CN109817246B (zh) 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质
CN106683680B (zh) 说话人识别方法及装置、计算机设备及计算机可读介质
CN110457432B (zh) 面试评分方法、装置、设备及存储介质
Liu et al. An MFCC‐based text‐independent speaker identification system for access control
CN110956966B (zh) 声纹认证方法、装置、介质及电子设备
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
CN112562691A (zh) 一种声纹识别的方法、装置、计算机设备及存储介质
CN112466314A (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
CN113053410B (zh) 声音识别方法、装置、计算机设备和存储介质
CN110570870A (zh) 一种文本无关的声纹识别方法、装置及设备
CN113314150A (zh) 基于语音数据的情绪识别方法、装置及存储介质
CN110782902A (zh) 音频数据确定方法、装置、设备和介质
CN109545226B (zh) 一种语音识别方法、设备及计算机可读存储介质
CN113035230B (zh) 认证模型的训练方法、装置及电子设备
CN116312559A (zh) 跨信道声纹识别模型的训练方法、声纹识别方法及装置
Gupta et al. Speech Recognition Using Correlation Technique
CN112992155B (zh) 一种基于残差神经网络的远场语音说话人识别方法及装置
CN113782005B (zh) 语音识别方法及装置、存储介质及电子设备
CN112786058B (zh) 声纹模型训练方法、装置、设备以及存储介质
CN113327596B (zh) 语音识别模型的训练方法、语音识别方法和装置
CN114783423A (zh) 基于语速调整的语音切分方法、装置、计算机设备及介质
CN115376498A (zh) 语音识别方法、模型训练方法、装置、介质、电子设备
CN112489662B (zh) 用于训练语音处理模型的方法和装置
CN111899718A (zh) 用于识别合成语音的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant