CN116741180A - 基于声纹增强和对抗的语音识别模型训练方法及装置 - Google Patents
基于声纹增强和对抗的语音识别模型训练方法及装置 Download PDFInfo
- Publication number
- CN116741180A CN116741180A CN202311013449.7A CN202311013449A CN116741180A CN 116741180 A CN116741180 A CN 116741180A CN 202311013449 A CN202311013449 A CN 202311013449A CN 116741180 A CN116741180 A CN 116741180A
- Authority
- CN
- China
- Prior art keywords
- trained
- voice
- sample
- neural network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003062 neural network model Methods 0.000 claims abstract description 67
- 230000000694 effects Effects 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 15
- 230000005284 excitation Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 10
- 230000003313 weakening effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 101150087667 spk1 gene Proteins 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于声纹增强和对抗的语音识别模型训练方法及装置，包括：获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；可见，本发明能够实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种基于声纹增强和对抗的语音识别模型训练方法及装置。
背景技术
目前，在语音识别的应用场景中，经常需要增强或弱化特定说话人的语音识别性能。例如，在智能家居控制时，需要对家庭中家长的声音增强语音识别性能，并且对家庭中孩子的声音减弱语音识别性能，从而防止孩子乱用智能家居设备。
在实践中发现，现有的语音识别方法为了解决上述问题，通常设有声纹识别和语音识别两套系统。通过利用声纹识别系统，来筛选特定人，并且再通过语音识别系统，进一步识别特定人的说话内容。然而，这种方式需要在一个设备上部署两套系统，对设备的硬件要求比较高，计算复杂度较高。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于声纹增强和对抗的语音识别模型训练方法及装置，能够实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
根据本发明实施例的一个方面，提供了一种基于声纹增强和对抗的语音识别模型训练方法，包括：
获取待训练的语音样本以及样本标签；
对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；
基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型，包括：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
作为一种可选的实施方式，所述正向激励对应的神经网络模型参数更新如下：
所述负向激励对应的神经网络模型参数更新如下：
其中，参数为更新后的参数值，/>为更新前的参数值，/>为学习率，/>为参数/>在神经网络计算中的梯度回传值。
作为一种可选的实施方式，所述声纹信息为用于描述说话人声纹特征的多维特征向量。
根据本发明实施例的另一方面，还提供了一种基于声纹增强和对抗的语音识别模型训练装置，包括：
样本获取单元，用于获取待训练的语音样本以及样本标签；
标识符添加单元，用于对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；
模型训练单元，用于基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，所述模型训练单元具体用于：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
根据本发明实施例的又一方面，还提供了一种计算设备，所述计算设备包括：至少一个处理器、存储器和输入输出单元；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行上述基于声纹增强和对抗的语音识别模型训练方法。
根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述基于声纹增强和对抗的语音识别模型训练方法。
在本发明实施例中，获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；可见，本发明能够实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的基于声纹增强和对抗的语音识别模型训练方法的流程示意图；
图2是根据本发明实施例的一种可选的基于声纹增强和对抗的语音识别模型训练装置的结构示意图；
图3示意性地示出了本发明实施例的一种介质的结构示意图；
图4示意性地示出了本发明实施例的一种计算设备的结构示意图；
图5是根据本发明实施例的一种可选的模型训练示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面参考图1，图1为本发明一实施例提供的基于声纹增强和对抗的语音识别模型训练方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的基于声纹增强和对抗的语音识别模型训练方法的流程，包括：
步骤S101，获取待训练的语音样本以及样本标签。
步骤S102，对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别。
步骤S103，基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
在本实施例中，执行主体可以为终端设备、服务器等电子设备。
其中，执行主体可以获取用于训练语音识别模型的语音样本以及样本标签，其中，样本标签可以用于标注语音样本对应的语音样本。并且，语音样本的数量为多个，包含多种不同的说话人的语音。
其中，执行主体还可以进一步对每个语音样本添加说话人标识符，说话人标识符用于标识语音样本所对应的说话人在语音识别应用场景中的作用类别，作用类别包括正向增强类别、负向减弱类别以及不处理类别。其中，正向增强类别指的是在特定语音识别应用场景中、说话人语音对语音识别模型的训练起到正向的增强作用，负向减弱类别指的是在特定语音识别应用场景中、说话人语音对语音识别模型的训练起到负向的减弱作用，不处理类别指的是在特定语音识别应用场景中，说话人语音对语音识别模型的训练既不增强也不减弱。例如，在训练智能家居语音识别应用场景中，家长的声音对应的语音样本所添加的说话人标识符，即为正向增强类别的说话人标识符；孩子的声音对应的语音样本所添加的说话人标识符，即为负向减弱类别的说话人标识符；其他人的声音对应的语音样本所添加的说话人标识符，即为不处理类别的说话标识符。
并且，执行主体在对待训练的神经网络模型进行模型训练的过程中，可以考虑上述说话人标识符、语音样本、样本标签，共同对模型进行迭代训练，直至模型收敛，得到训练完成的语音识别模型。
其中，待训练的神经网络模型可以为传统的GMM，也可以是各种神经网络模型或者端到端结构，本实施例对此不做限定。
其中，正向增强类别的说话人标识符对应的语音样本在模型训练的过程中处于一个正向激励，有助于模型在训练过程中的收敛；负向减弱类别的说话人标识符对应的语音样本在模型训练的过程中处于一个负向激励，不利于模型在训练过程中的收敛，让模型的收敛减慢；不处理类别的说话人标识符对应的语音样本在模型训练的过程中既不做特定说话人的增强，也不做特定说话人的减弱，此时的模型迭代训练过程与普通的语音识别模型相同。
作为一种可选的实施方式，基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型，包括：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
在本实施方式中，说话人标识符为1，代表该语音样本的作用类别为正向增强类别；说话人标识符为-1，代表该语音样本的作用类别为负向减弱类别；说话人标识符为0，代表该语音样本的作用类别为不处理类别。
并且，对于正向增强类别和负向减弱类别的语音样本，可以提取语音样本的声纹信息和语音信息，将声纹信息和语音信息共同作为模型输入数据，对待训练的神经网络模型进行模型训练。其中，由于声纹信息能够反映说话人的特征，因而将声纹信息引入语音识别模型的训练，能够实现结合说话人特征的语音识别，从而实现对特定说话人语音进行增强或者减弱。
具体的，可以通过特征提取器，将说话人的声纹信息映射为多维向量表示，得到上述声纹信息。之后，可以将声纹信息的多维向量和语音样本的语音信息对应的特征向量共同作用，输入到训练模型中进行模型训练。
另外，对于不处理类别的语音样本，可以直接将语音样本的语音信息作为模型输入数据，不另外引入代表说话人特征的声纹信息，既不做特定说话人的增强，也不做特定说话人的减弱，此时是一个普通的基于声纹增强和对抗的语音识别模型训练过程。
作为一种可选的实施方式，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
在本实施方式中，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值，说话人信息在训练的过程中处于一个正向激励，有助于模型在训练过程中的收敛。
并且，说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值，这样目的是让模型的收敛减慢，不利于最终的训练。通过这种增强和对抗训练，让模型在训练过程中，对正向说话人的识别精准度有正向的提升，与此同时弱化负向说话人的识别精准度。
作为一种可选的实施方式，所述正向激励对应的神经网络模型参数更新如下：
所述负向激励对应的神经网络模型参数更新如下：
其中，参数为更新后的参数值，/>为更新前的参数值，/>为学习率，/>为参数/>在神经网络计算中的梯度回传值。
在本实施方式中，神经网络的训练过程是通过梯度的逐步回传，模型逐步收敛的过程，如果传回的梯度是一个正值，则对模型的收敛是一个负向的影响，所以模型在训练的过程中学会减小这个说话人信息对模型的影响。如果说话人的信息与语音识别系统共同训练，且梯度正常回传，则在训练过程中，模型会逐步融合正向说话人的信息。最终的模型，会最在训练过程中起到正向说话人的语音有较强的识别能力，对于在训练过程中起到负向说话人的语音有较弱的识别能力。
作为一种可选的实施方式，所述声纹信息为用于描述说话人声纹特征的多维特征向量。
请一并参阅图5，图5是根据本发明实施例的一种可选的模型训练示意图，如图5所示，设spk1的语音是增强，spk2的语音是减弱，spk3为不做特殊处理音频。
第一步：spk1所说的音频记为，spk2所说的音频记为；
第二步：将spk1与spk2的所有音频分别提取一个说话人相关的多维向量，记为与/>，提取方式比较成熟，例如通过一个声纹识别模型提取一个特征向量；
第三步：在语音识别训练过程中，每个spk1的音频会逐句提取特征，然后将提取到的特征与说话人向量拼接到一起，再输入到后面的模型中进行训练，此时训练过程与传统的语音识别训练过程没有区别；对spk2的音频训练时，同样将说话人特征与音频特征拼接在一起，输入到后续的模型中进行训练，但是训练时，其梯度回传为负值，如上面公式所示，负值的话，不利于模型的收敛。通过这种增强和对抗的训练策略，使得模型对spk1的音频有较强的识别效果。对spk2的音频识别效果较差。Spk3的音频在提取特征后，不做任何说话人向量拼接的操作，直接输入到模型中训练，与正常的语音识别训练过程无区别。
其中，如图5所示，神经网络模型可以对接收到的语音进行识别，得到最终的语音识别结果key1-keyn。其中，key表示语音识别得到的关键词。现有技术中用于语音识别的神经网络模型对说话人信息未做区分。而在本申请中，将说话人信息分为了正向激励信息、负向激励信息以及不做任何激励的信息，以此实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
在本发明实施例中，获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；可见，本发明能够实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图2对本发明示例性实施方式的一种基于声纹增强和对抗的语音识别模型训练装置进行说明，该装置包括：
样本获取单元201，用于获取待训练的语音样本以及样本标签；
标识符添加单元202，用于对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；
模型训练单元203，用于基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，所述模型训练单元203具体用于：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
作为一种可选的实施方式，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
作为一种可选的实施方式，所述正向激励对应的神经网络模型参数更新如下：
所述负向激励对应的神经网络模型参数更新如下：
其中，参数为更新后的参数值，/>为更新前的参数值，/>为学习率，/>为参数/>在神经网络计算中的梯度回传值。
作为一种可选的实施方式，所述声纹信息为用于描述说话人声纹特征的多维特征向量。
在本发明实施例中，获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；可见，本发明能够实现一个语音识别模型来增强或弱化特定说话人的语音识别性能。
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图3对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图3，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图4对本发明示例性实施方式的用于基于声纹增强和对抗的语音识别模型训练的计算设备。
图4示出了适于用来实现本发明实施方式的示例性计算设备40的框图，该计算设备40可以是计算机系统或服务器。图4显示的计算设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件（包括系统存储器402和处理单元401）的总线403。
计算设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）4021和/或高速缓存存储器4022。计算设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM4023可以用于读写不可移动的、非易失性磁介质（图4中未显示，通常称为“硬盘驱动器”）。尽管未在图4中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。系统存储器402中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块4024的程序/实用工具4025，可以存储在例如系统存储器402中，且这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备40也可以与一个或多个外部设备404（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口405进行。并且，计算设备40还可以通过网络适配器406与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图4所示，网络适配器406通过总线403与计算设备40的其它模块（如处理单元401等）通信。应当明白，尽管图4中未示出，可以结合计算设备40使用其它硬件和/或软件模块。
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如，获取待训练的语音样本以及样本标签；对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了基于声纹增强和对抗的语音识别模型训练装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
Claims (10)
1.一种基于声纹增强和对抗的语音识别模型训练方法，其特征在于，包括：
获取待训练的语音样本以及样本标签；
对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；
基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
2.根据权利要求1所述的基于声纹增强和对抗的语音识别模型训练方法，其特征在于，基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型，包括：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
3.根据权利要求2所述的基于声纹增强和对抗的语音识别模型训练方法，其特征在于，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
4.根据权利要求3所述的基于声纹增强和对抗的语音识别模型训练方法，其特征在于，所述正向激励对应的神经网络模型参数更新如下：
所述负向激励对应的神经网络模型参数更新如下：
其中，参数为更新后的参数值，/>为更新前的参数值，/>为学习率，/>为参数在神经网络计算中的梯度回传值。
5.根据权利要求2所述的基于声纹增强和对抗的语音识别模型训练方法，其特征在于，所述声纹信息为用于描述说话人声纹特征的多维特征向量。
6.一种基于声纹增强和对抗的语音识别模型训练装置，其特征在于，包括：
样本获取单元，用于获取待训练的语音样本以及样本标签；
标识符添加单元，用于对每个语音样本，添加说话人标识符；其中，所述说话人标识符用于标识该语音样本的作用类别；其中，所述作用类别至少包括正向增强类别、负向减弱类别以及不处理类别；
模型训练单元，用于基于所述说话人标识符、所述语音样本以及所述样本标签，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
7.根据权利要求6所述的基于声纹增强和对抗的语音识别模型训练装置，其特征在于，所述模型训练单元具体用于：
对于每个语音样本，如果该语音样本的说话人标识符为1或-1，则提取该语音样本的声纹信息和语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型；
如果该语音样本的说话人标识符为0，则将该语音样本的语音信息，作为待训练的神经网络模型的模型输入数据，对待训练的神经网络模型进行迭代训练，得到训练完成的语音识别模型。
8.根据权利要求7所述的基于声纹增强和对抗的语音识别模型训练装置，其特征在于，说话人标识符为1的语音样本对待训练的神经网络模型为正向激励，并且梯度回传为负值；说话人标识符为-1的语音样本对待训练的神经网络模型为负向激励，并且梯度回传为正值。
9.一种计算设备，所述计算设备包括：
至少一个处理器、存储器和输入输出单元；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1~5中任一项所述的方法。
10.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1~5中的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311013449.7A CN116741180B (zh) | 2023-08-14 | 2023-08-14 | 基于声纹增强和对抗的语音识别模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311013449.7A CN116741180B (zh) | 2023-08-14 | 2023-08-14 | 基于声纹增强和对抗的语音识别模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116741180A true CN116741180A (zh) | 2023-09-12 |
| CN116741180B CN116741180B (zh) | 2023-10-31 |
Family
ID=87906409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311013449.7A Active CN116741180B (zh) | 2023-08-14 | 2023-08-14 | 基于声纹增强和对抗的语音识别模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116741180B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090043573A1 (en) * | 2007-08-09 | 2009-02-12 | Nice Systems Ltd. | Method and apparatus for recognizing a speaker in lawful interception systems |
| WO2014008843A1 (zh) * | 2012-07-09 | 2014-01-16 | 华为终端有限公司 | 一种声纹特征模型更新方法及终端 |
| CN111986679A (zh) * | 2020-08-26 | 2020-11-24 | 深圳信息职业技术学院 | 一种应对复杂声学环境的说话人确认方法、系统及存储介质 |
| CN113129900A (zh) * | 2021-04-29 | 2021-07-16 | 科大讯飞股份有限公司 | 一种声纹提取模型构建方法、声纹识别方法及其相关设备 |
| TW202131307A (zh) * | 2020-02-12 | 2021-08-16 | 宏碁股份有限公司 | 消除特定對象語音之方法及應用其之耳戴式音訊裝置 |
| CN114171031A (zh) * | 2021-11-26 | 2022-03-11 | 广东电力信息科技有限公司 | 一种基于多任务学习和对抗训练的声纹识别模型训练方法 |
| CN114420136A (zh) * | 2021-12-22 | 2022-04-29 | 厦门快商通科技股份有限公司 | 一种声纹识别模型训练的方法、装置以及存储介质 |
| CN114512134A (zh) * | 2020-11-17 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 声纹信息提取、模型训练与声纹识别的方法和装置 |
| US20230206924A1 (en) * | 2021-12-24 | 2023-06-29 | Mediatek Inc. | Voice wakeup method and voice wakeup device |
| CN116434758A (zh) * | 2023-04-07 | 2023-07-14 | 平安科技（深圳）有限公司 | 声纹识别模型训练方法、装置、电子设备及存储介质 |
-
2023
- 2023-08-14 CN CN202311013449.7A patent/CN116741180B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090043573A1 (en) * | 2007-08-09 | 2009-02-12 | Nice Systems Ltd. | Method and apparatus for recognizing a speaker in lawful interception systems |
| WO2014008843A1 (zh) * | 2012-07-09 | 2014-01-16 | 华为终端有限公司 | 一种声纹特征模型更新方法及终端 |
| TW202131307A (zh) * | 2020-02-12 | 2021-08-16 | 宏碁股份有限公司 | 消除特定對象語音之方法及應用其之耳戴式音訊裝置 |
| CN111986679A (zh) * | 2020-08-26 | 2020-11-24 | 深圳信息职业技术学院 | 一种应对复杂声学环境的说话人确认方法、系统及存储介质 |
| CN114512134A (zh) * | 2020-11-17 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 声纹信息提取、模型训练与声纹识别的方法和装置 |
| CN113129900A (zh) * | 2021-04-29 | 2021-07-16 | 科大讯飞股份有限公司 | 一种声纹提取模型构建方法、声纹识别方法及其相关设备 |
| CN114171031A (zh) * | 2021-11-26 | 2022-03-11 | 广东电力信息科技有限公司 | 一种基于多任务学习和对抗训练的声纹识别模型训练方法 |
| CN114420136A (zh) * | 2021-12-22 | 2022-04-29 | 厦门快商通科技股份有限公司 | 一种声纹识别模型训练的方法、装置以及存储介质 |
| US20230206924A1 (en) * | 2021-12-24 | 2023-06-29 | Mediatek Inc. | Voice wakeup method and voice wakeup device |
| CN116434758A (zh) * | 2023-04-07 | 2023-07-14 | 平安科技（深圳）有限公司 | 声纹识别模型训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116741180B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377759B (zh) | 事件关系图谱构建方法及装置 | |
| CN109065044B (zh) | 唤醒词识别方法、装置、电子设备及计算机可读存储介质 | |
| CN106887225B (zh) | 基于卷积神经网络的声学特征提取方法、装置和终端设备 | |
| CN109740053B (zh) | 基于nlp技术的敏感词屏蔽方法和装置 | |
| CN108364650B (zh) | 语音识别结果的调整装置及方法 | |
| CN111027291B (zh) | 文本中标点符号添加、模型训练方法、装置及电子设备 | |
| CN111312230B (zh) | 一种用于语音对话平台的语音交互监测方法及装置 | |
| CN112992125B (zh) | 一种语音识别方法、装置、电子设备、可读存储介质 | |
| CN113362822B (zh) | 一种具有听觉隐蔽性的黑盒语音对抗样本生成方法 | |
| US12079571B2 (en) | Identifying chat correction pairs for training model to automatically correct chat inputs | |
| CN114461852B (zh) | 音视频摘要提取方法、装置、设备及存储介质 | |
| CN112989008A (zh) | 一种多轮对话改写方法、装置和电子设备 | |
| CN112735407A (zh) | 一种对话处理方法及装置 | |
| CN112784572A (zh) | 一种营销场景话术分析方法和系统 | |
| CN114913590A (zh) | 一种数据的情感识别方法、装置、设备及可读存储介质 | |
| CN116741180B (zh) | 基于声纹增强和对抗的语音识别模型训练方法及装置 | |
| CN111508481B (zh) | 语音唤醒模型的训练方法、装置、电子设备及存储介质 | |
| CN111309882B (zh) | 用于实现智能客服问答的方法和装置 | |
| CN113920987B (zh) | 一种语音识别的方法、装置、设备及存储介质 | |
| EP3989219B1 (en) | Method for detecting an audio adversarial attack with respect to a voice command processed by an automatic speech recognition system, corresponding device, computer program product and computer-readable carrier medium | |
| CN114678028A (zh) | 一种基于人工智能的语音交互方法及系统 | |
| CN114420136A (zh) | 一种声纹识别模型训练的方法、装置以及存储介质 | |
| CN111899738A (zh) | 对话生成方法、装置及存储介质 | |
| CN113051902B (zh) | 语音数据脱敏方法、电子设备及计算机可读存储介质 | |
| US20240242707A1 (en) | Reducing Insertion Errors in Neural Transducer-Based Automatic Speech Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |