CN114420121A - 语音交互方法、电子设备和存储介质 - Google Patents

语音交互方法、电子设备和存储介质 Download PDF

Info

Publication number
CN114420121A
CN114420121A CN202210066392.6A CN202210066392A CN114420121A CN 114420121 A CN114420121 A CN 114420121A CN 202210066392 A CN202210066392 A CN 202210066392A CN 114420121 A CN114420121 A CN 114420121A
Authority
CN
China
Prior art keywords
audio
feature extraction
neural network
living body
awakening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210066392.6A
Other languages
English (en)
Inventor
顾向涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sipic Technology Co Ltd
Original Assignee
Sipic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sipic Technology Co Ltd filed Critical Sipic Technology Co Ltd
Priority to CN202210066392.6A priority Critical patent/CN114420121A/zh
Publication of CN114420121A publication Critical patent/CN114420121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开神经网络预测模型训练方法、语音交互方法、电子设备和存储介质，其中，一种神经网络预测模型训练方法和语音交互方法，包括：对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。通过在常规的语音唤醒检测引擎之后设置一个活体音频检测引擎，从而可以实现增强预测速度，减少占用资源，极大的降低设备误唤醒。

Description

语音交互方法、电子设备和存储介质
技术领域
本发明属于语音数据处理技术领域，尤其涉及神经网络预测模型训练方法、语音交互方法、电子设备和存储介质。
背景技术
相关技术中，通过声纹识别技术，判断唤醒词语音是否是设备注册人的唤醒指令，降低他人触发的唤醒事件。使用者首先进行唤醒词声纹注册：进入声纹注册流程，多次说出每一个开启的唤醒词，算法提取声纹特征，完成注册流程；系统开启唤醒功能，唤醒算法实时监听声音是否含有唤醒词；当唤醒算法检测到唤醒词，将唤醒词音频提取出来，送入声纹校验算法提取声纹特征，和注册音频声纹模板对比，给出声纹算法的判断结果：是否是注册人本人的声音。若是注册人本人的声音，唤醒模块对外抛出此时已经触发语音唤醒事件，若非注册人的声纹，则唤醒模块不对外抛出此次检测到的唤醒音频事件。缺陷是需要主动注册声纹才可以使能唤醒词声纹校验功能，用户学习成本上升，使用流程繁琐；每一个唤醒词指令都需要单独注册一次声纹，使用流程繁琐；仅主注册过声纹的用户可以使用，非声纹注册用户无法使用该语音唤醒装置；声纹鲁棒性差，且人的声纹会因为身体因素发生变化导致声纹识别率低，间接导致唤醒装置语音唤醒成功率低
通过添加基于语音声学特征端到端的神经网络模型二次校验唤醒词语音内容是否是唤醒词，降低唤醒误触发事件。在传统的流式语音唤醒检测算法中，添加一个语音声学特征的端到端的神经网络模型，检测该语音段是否含有唤醒词。在算法检测到已经有可能的唤醒词音频后，将该段唤醒词语音截取出来，将该段音频完全输入端到端的检测模块，提取声学特征送入神经网络，若端到端网络预测出该段语音含有唤醒词，则唤醒模块对外抛出唤醒信息，否则忽略该次唤醒模块检测到的唤醒语音，不对外抛出唤醒音频事件。缺陷是无法判断是否是电视，手机多媒体等环境电器声源中含有唤醒词，或者相似于唤醒词的发音而导致的唤醒事件。
发明内容
本发明实施例提供一种神经网络预测模型训练方法、语音交互方法、电子设备和存储介质，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种神经网络预测模型训练方法，包括：对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。
第二方面，本发明实施例提供一种语音交互方法，包括：对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；将所述第一特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据第一方面所述的训练方法训练后的能够预测所述特征提取结果对应的第一音频是否是活体音频的模型；若预测所述第一音频是活体音频，唤醒设备并对所述音频进行响应；若预测所述第一音频不是活体音频，不对所述设备进行唤醒。
第三方面，本发明实施例提供一种语音交互方法，包括：对包含用户声纹的音频进行特征提取；将所述特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据第一方面所述的训练方法训练后的能够预测所述特征提取结果对应的音频是否是活体音频的模型；若预测所述音频是活体音频，对所述音频进行响应；若预测所述音频不是活体音频，不对所述音频进行响应。
第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的神经网络预测模型训练方法和语音交互方法的步骤。
第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的神经网络预测模型训练方法和语音交互方法的步骤。
本申请的方法、电子设备和存储介质通过在常规的语音唤醒检测引擎之后设置一个活体音频检测引擎，从而可以实现增强预测速度，减少占用资源，极大的降低设备误唤醒。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种神经网络预测模型训练方法的流程图；
图2为本发明一实施例提供的一种语音交互方法的流程图；
图3为本发明一实施例提供的另一种语音交互方法的流程图；
图4为本发明一实施例提供的一种语音交互方法的流程图；
图5为本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的模型训练流程图；
图6为本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的推理预测流程图；
图7为本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的语音交互流程图；
图8是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本申请的神经网络预测模型训练方法一实施例的流程图，本实施例的神经网络预测模型训练方法和语音交互方法可以适用于具备语音交互功能的终端。
如图1所示，在步骤101中，对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；
在步骤102中，将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。
在本实施例中，对于步骤101，神经网络预测模型训练装置对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集，例如，将收集的非活体音频数据或者通过真人声音的电子设备转录采集的非活体音频数据和真人活体音频数据分类标注后组成训练集，之后对非活体音频数据和真人活体音频数据分别进行特征提取。
对于步骤102，神经网络预测模型训练装置将非活体音频数据和真人活体音频数据的特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力，例如，将提取的特征送入训练好的神经网络进行推理预测，推理结果设置一个合理的置信度，就能够预测音频是否是活体音频。
本实施例的方法通过在常规的语音唤醒检测引擎之后设置一个活体音频检测引擎，从而可以实现增强预测速度，减少占用资源，极大的降低设备误唤醒。
在上述实施例的方法中，所述非活体音频数据包括与所述真人音频数据对应的电子设备转录音频数据。
本实施例的方法通过使用真人音频数据对应的电子设备转录音频数据，从而可以实现很容易的采集到非活体音频数据。
进一步参考图2，其示出了本申请一实施例提供的一种语音交互方法的流程图。
如图2所示，在步骤201中，对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；
在步骤202中，将所述第一特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据前述实施例所述的训练方法训练后的能够预测所述特征提取结果对应的第一音频是否是活体音频的模型；
在步骤203中，若预测所述第一音频是活体音频，唤醒设备并对所述音频进行响应；
在步骤204中，若预测所述第一音频不是活体音频，不对所述设备进行唤醒。
在本实施例中，对于步骤201，语音交互装置对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；然后，对于步骤202，语音交互装置将第一特征提取结果送入预设神经网络预测模型进行预测，其中，预设神经网络预测模型能够预测特征提取结果对应的第一音频是否是活体音频的模型；之后，对于步骤203，若预测第一音频是活体音频，唤醒设备并对音频进行响应；最后，对于步骤204，若预测第一音频不是活体音频，不对设备进行唤醒。例如，在语音唤醒检测引擎之后设置一个神经网络预测模型，之后将唤醒引擎收集到的唤醒词音频送入预设神经网络预测模型中，根据预设神经网络预测模型的预测结果，将被判断为非活体的唤醒音频事件做静默处理，不对用户进行上报；将检测为活体的声音的唤醒事件对用户上报。
本实施例的方法通过在语音唤醒检测引擎之后设置一个神经网络预测模型来预测音频是否是活体音频，从而可以极大的降低误唤醒。
进一步参考图3，其示出了本申请一实施例提供的另一种语音交互方法的流程图。该流程图主要是对流程图2的流程进一步限定的步骤的流程图。
如图3所示，在步骤301中，在语音交互过程中，使用所述预设神经网络预测模型对采集的第二音频对应的第二特征提取结果进行预测；
在步骤302中，若所述第二特征提取结果中同时包含活体音频和非活体音频，基于所述预设神经网络预测模型的预测结果剔除所述第二音频中的非活体音频得到第三音频，对所述第三音频进行响应；
在步骤303中，若所述第二特征提取结果中仅包含活体音频，对所述第二音频进行响应；
在步骤304中，若所述第二特征提取结果中仅包含非活体音频，不对所述第二音频进行响应。
在本实施例中，对于步骤301，语音交互装置在语音交互过程中，使用预设神经网络预测模型对采集的第二音频对应的第二特征提取结果进行预测；然后，对于步骤302，若第二特征提取结果中同时包含活体音频和非活体音频，基于预设神经网络预测模型的预测结果剔除第二音频中的非活体音频得到第三音频，对第三音频进行响应；之后，对于步骤303，若第二特征提取结果中仅包含活体音频，对第二音频进行响应，最后，对于步骤304，若第二特征提取结果中仅包含非活体音频，不对第二音频进行响应，例如，预设神经网络预测模型对采集的音频对应的特征提取结果进行预测，若音频为真人音频则对设备进行唤醒，若音频为电子设备转录的音频则不进行唤醒处理，进一步地，若音频中包含真人音频和电子设备音频则将电子设备音频剔除后对真人音频进行响应。
本实施例的方法通过剔除非活体音频，从而可以极大的降低误唤醒。
在一些可选的实施例中，在所述对包含唤醒词的音频进行特征提取之前，还包括：语音交互装置响应于获取到第一音频，判断第一音频中是否包含唤醒词；若第一音频中包含唤醒词，对第一音频进行特征提取；若第一音频中不包含唤醒词，持续监听。
在一些可选的实施例中，所述若包含唤醒词，对所述第一音频进行特征提取包括：
从第一音频中将唤醒词音频切割出来，仅对唤醒词音频进行特征提取，例如，音频是“好的你好小驰”，唤醒词是“你好小驰”的情况下，将“好的”剔除掉，只对“你好小驰”进行特征提取。
本实施例的方法通过将唤醒词音频切割出来，仅对唤醒词音频进行特征提取，从而可以极大的降低误唤醒。
进一步参考图4，其示出了本申请一实施例提供的一种语音交互方法的流程图。
如图4所示，在步骤401中，对包含用户声纹的音频进行特征提取；
在步骤402中，将所述特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的音频是否是活体音频的模型；
在步骤403中，若预测所述音频是活体音频，对所述音频进行响应；
在步骤404中，若预测所述音频不是活体音频，不对所述音频进行响应。
在本实施例中，对于步骤401，语音交互装置对包含用户声纹的音频进行特征提取；然后，对于步骤402，语音交互装置将特征提取结果送入预设神经网络预测模型进行预测，其中，预设神经网络预测模型能够预测特征提取结果对应的音频是否是活体音频的模型；之后，对于步骤403，若预测音频是活体音频，对所述音频进行响应；最后，对于步骤404，若预测音频不是活体音频，不对所述音频进行响应。例如，在用户注册了声纹的情况下，在视频或者语音聊天的时候，也可能会通过电子设备对设备进行误唤醒，这时设备对包含用户声纹的音频进行预测，若音频为真人音频则对设备进行唤醒，若音频为电子设备转录的音频则不进行唤醒处理，在另一种情况下，也有可能别人用电子设备转录用户的语音对用户的语音设备进行唤醒，此时判断出是电子设备转录的音频，能够避免别有用心的人对用户的语音设备进行唤醒，可以极大的提升安全性。
本实施例的方法通过对包含用户声纹的音频进行特征提取，之后将特征提取结果送入预设神经网络预测模型进行预测，从而可以实现在极大的降低误唤醒的同时增强的安全性。
在一些可选的实施例中，所述对包含用户声纹的音频进行特征提取包括：
从采集的用户音频中将包含用户声纹的部分音频切割出来得到声纹音频，仅对声纹音频进行特征提取，例如，音频是“、、你好小驰”，唤醒词是“你好小驰”的情况下，将“、、”剔除掉，只对“你好小驰”进行特征提取。
本实施例的方法通过将包含用户声纹的部分音频切割出来得到声纹音频，仅对声纹音频进行特征提取，从而可以极大的降低误唤醒。
需要说明的是，上述方法步骤并不用于限制各步骤的执行顺序，实际上，某些步骤可能会同时执行或者以与步骤限定的相反的顺序执行，本申请在此没有限制。
下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。
发明人在实现本申请的过程中发现现有技术中存在的缺陷主要是由以下原因导致的：
端到端还是使用声学特征，从发音的角度创建神经网络建模单元，只是从整段语音的维度二次确认了语音是否是唤醒词的发音，无法拒绝电子设备播放的声音中含有唤醒词，导致唤醒装置在电子设备播放的声音下，有较高到误触发概率。通过声纹只能排除掉非注册人的声音，无法为未注册者提供声音声纹校验。而且声纹算法的抗时变能力较弱和鲁棒性较弱，通常会降低语音唤醒装置的唤醒率。声纹注册流程复杂，和唤醒词绑定，让唤醒装置使用流程复杂度升高。
发明人还发现，现有技术一般会采用通过更多数据训练唤醒算法的声学模型提高声学模型打唤醒词音频的预测准确度，提高复杂场景下的唤醒算法的鲁棒性。或者提高唤醒算法的声学阈值，让置信度比较低的唤醒音频不触发唤醒事件。或者利用时间维度，当设备在一个较长的周期内没有被唤醒，再次唤醒的时候，第一次一般会设置一个比较高的阈值，避免唤醒算法被低置信度的音频触发唤醒事件。
现有技术一般都是通过声学发音的角度，建立神经网络建模单元。往往都是以这个技术方向去攻克神经网络对唤醒词预测的准确度，没有认真分析产生误唤醒的音频都是由哪些场景的音频触发的。我们的方案是分析用户误唤醒音频都是由哪些场景组成，每一个场景都由什么特征，结合我们现在语音检测分类算法，是否能够通过其他维度的声音特征检测，将误唤醒和唤醒音频进行有效分类。难点在于产生误唤醒的音频收集，识别出来不同误唤醒的音频，并加以分类；然后再分析出每一类音频的特色，寻找对应的特征建立模型，进行精准有效的区分。在活体检测这个维度，要把检测算法调整到一个比较高的准确度，且不会有大计算量，长耗时的算法，还是比较困难的。
本申请的方案主要从以下几个方面入手进行设计和优化：
本申请推出的唤醒算法给用户使用的时候，有两种算法模式，一种是普通的唤醒算法；另一种是要注册声纹的，带声纹身份认证的唤醒算法。第一种算法上线后，唤醒阈值设置的比较偏向于唤醒率，在大规模的用户使用下，经常会受到用户的误唤醒投诉。第二种，当声纹阈值设置比较高的时候，噪杂场景或用户声音发生改变的时候，容易产生唤不醒的现象；若设置较低的阈值时候，声纹无法拦截和注册人较相似的误唤醒音频。
本申请通过后台反馈回来的误唤醒音频数据分析，将每条音频单独打上场景分类标签。在我们分析完毕众多误唤醒数据之后，根据统计结果显示，90％以上的误唤醒音频都是电子设备的背景声音，某些发音和唤醒词发音极为相近；只有少数的是周围用户交谈中的声音误触发的唤醒事件。
在调整了唤醒阈值和声纹阈值之后，并加上端到端的二次神经网络校验，仍有大量的误唤醒事件无法被过滤掉。
对误唤醒分类的标签中90％以上是电子设备的声音。如果能识别出来电子设备的声音，就可以极大的降低误唤醒。结合用户的真正使用场景，用户的唤醒指令都是真人发出来的。那么这两个对立面就是活体和非活体两个维度就可以很好的区分用户唤醒指令语音和误唤醒指令语音。
请参考图5，其示出了本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的模型训练流程图。
如图5所示，将收集到的误唤醒和真人唤醒数据分类标注，组成了训练集。并且设计了一种声学特征，将语音经过特征提取，针对语音特征设计了深度神经网络分类模型，并将特征送到神经网络之中进行训练，通过机器学习算法，神经网络学习到两种声音的特征，让模型对未知的声音有活体和非活体两种维度的预测能力。对模型预测的结果，在测试集上进行统计，可以得到两个分类概率的一个合理的置信度，这样就可以将预测概率和置信度比较，得到一个较高正确率的活体音频检测模型。
请参考图6，其示出了本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的推理预测流程图。
如图6所示，模型训练完毕之后，对于待检测的声音，我们可以按照训练流程执行神经网络预测。首先将待检测音频进行特征提取，将提取的特征送入训练好的神经网络进行推理预测，推理结果设置一个合理的置信度，就可以预测出来待检测的音频是否是活体音频。播报
使用这套算法，并不需要采集使用者的声音进行声纹注册，导致用户有一个较高的学习使用成本。不带声纹身份确认的唤醒装置，可以让每一个用户都可以使用。这套算法不依赖于声学发音预测，是从声音活体的维度来检测，不会影响到唤醒算法的置信度设置，可以容忍一个较低的置信度，让唤醒算法很灵敏，唤醒率很高，通过活体检测，让大多数的电子设备误触发的唤醒事件被屏蔽掉。
请参考图7，其示出了本发明一实施例提供的神经网络预测模型训练方法和语音交互方法的一个具体示例的语音交互流程图。
如图7所示，本申请还设计了基于活体检测的降低语音误唤醒装置的算法。首先进行真人声音的电子设备转录采集非活体的训练集。这种训练数据采集非常简单，只需要转录电子设备的语音内容既可以完成。同时在采集真人活体声音。将两种带标签的数据送入活体检测算法训练流程，完成活体预测模型训练。模型训练结束之后，就可以部署到我们的算法流程中使用。我们设计的算法是：在常规的语音唤醒检测引擎之后设置一个活体音频检测引擎。将唤醒引擎收集到的唤醒词音频切割出来，只需要含有唤醒词的音频。将该音频送入上面设计的活体检测算法中，根据语音活体检测引擎，将被判断为非活体的唤醒音频事件做静默处理，不对用户进行上报；将检测为活体的声音的唤醒事件对用户上报。这样就可以极大的降低误唤醒。
发明人在实现本发明的过程中形成的beta版：
将误唤醒数据标注送入普通的声学特征建模的端到端神经网络进行训练。由于网络是针对声学特征进行建模的，同时唤醒的训练数据大多是电子设备转录的声音，没有一个很好的预测分类效果。因为疑似唤醒词的音频，从声学角度特征上看，单纯的声学发音建模神经网络是无法有一个较强的分类能力。
发明人在实现本发明的过程中发现达到更深层次的效果：
使用声音活体检测的维度进行误唤醒声音鉴定。活体和非活体声音的特征非常明显，使用一个较为简单的神经网络模型就可以有一个极高的分类准确率。模型小，预测速度快，占用资源少，不会显著增加唤醒装置的延迟和计算资源占用。
活体检测的训练数据很容易通过电子设备转录的方式，通过一次真人数据采集就可以完成正例和反例两种数据的采集。数据内容和文本没有关系，模型预测支持任意的唤醒词内容。而且支持多种信道的设备，预测效果有极强的鲁棒性。对声音能做到跨设备，跨时变，文本无关的检测能力。
使用语音活体检测算法，低成本的降低语音唤醒技术中的误唤醒事件。包括活体检测算法的设计，训练语料采集，活体检测模型训练，活体检测算法和唤醒算法结合的应用。
同时扩展到使用活体检测算法降低语音人机交互流程中的环境音误识别，机器误理解的事件概率，提升人机交互在电子外放音环境下的准确率。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的神经网络预测模型训练方法和语音交互方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；
将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。
作为另一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；
将所述第一特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的第一音频是否是活体音频的模型；
若预测所述第一音频是活体音频，唤醒设备并对所述音频进行响应；
若预测所述第一音频不是活体音频，不对所述设备进行唤醒。
作为又一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
对包含用户声纹的音频进行特征提取；
将所述特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的音频是否是活体音频的模型；
若预测所述音频是活体音频，对所述音频进行响应；
若预测所述音频不是活体音频，不对所述音频进行响应。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据神经网络预测模型训练方法和语音交互方法装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至神经网络预测模型训练方法和语音交互方法装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项神经网络预测模型训练方法和语音交互方法。
图8是本发明实施例提供的电子设备的结构示意图，如图8所示，该设备包括：一个或多个处理器810以及存储器820，图8中以一个处理器810为例。神经网络预测模型训练方法和语音交互方法的设备还可以包括：输入装置830和输出装置840。处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。存储器820为上述的非易失性计算机可读存储介质。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例神经网络预测模型训练方法和语音交互方法。输入装置830可接收输入的数字或字符信息，以及产生与通讯补偿装置的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于神经网络预测模型训练装置中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；
将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。
作为另一种实施方式，上述电子设备应用于语音交互装置中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；
将所述第一特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的第一音频是否是活体音频的模型；
若预测所述第一音频是活体音频，唤醒设备并对所述音频进行响应；
若预测所述第一音频不是活体音频，不对所述设备进行唤醒。
作为又一种实施方式，上述电子设备应用于语音交互装置中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
对包含用户声纹的音频进行特征提取；
将所述特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的音频是否是活体音频的模型；
若预测所述音频是活体音频，对所述音频进行响应；
若预测所述音频不是活体音频，不对所述音频进行响应。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种神经网络预测模型训练方法，包括：
对至少一个非活体音频数据和至少一个真人音频数据进行特征提取，得到对应的特征提取结果，其中，所述至少一个非活体音频数据和所述至少一个真人音频数据分类标注后组成训练集；
将所述特征提取结果送入神经网络进行训练，得到对活体和非活体两种维度的预测能力。
2.根据权利要求1所述的方法，其中，所述非活体音频数据包括与所述真人音频数据对应的电子设备转录音频数据。
3.一种语音交互方法，包括：
对包含唤醒词的第一音频进行特征提取，得到第一特征提取结果；
将所述第一特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的第一音频是否是活体音频的模型；
若预测所述第一音频是活体音频，唤醒设备并对所述音频进行响应；
若预测所述第一音频不是活体音频，不对所述设备进行唤醒。
4.根据权利要求3所述的方法，还包括：
在语音交互过程中，使用所述预设神经网络预测模型对采集的第二音频对应的第二特征提取结果进行预测；
若所述第二特征提取结果中同时包含活体音频和非活体音频，基于所述预设神经网络预测模型的预测结果剔除所述第二音频中的非活体音频得到第三音频，对所述第三音频进行响应；
若所述第二特征提取结果中仅包含活体音频，对所述第二音频进行响应；
若所述第二特征提取结果中仅包含非活体音频，不对所述第二音频进行响应。
5.根据权利要求3所述的方法，其中，在所述对包含唤醒词的音频进行特征提取之前，还包括：
响应于获取到第一音频，判断所述第一音频中是否包含唤醒词；
若包含唤醒词，对所述第一音频进行特征提取；
若不包含唤醒词，持续监听。
6.根据权利要求5所述的方法，其中，所述若包含唤醒词，对所述第一音频进行特征提取包括：
从所述第一音频中将唤醒词音频切割出来，仅对所述唤醒词音频进行特征提取。
7.一种语音交互方法，包括：
对包含用户声纹的音频进行特征提取；
将所述特征提取结果送入预设神经网络预测模型进行预测，其中，所述预设神经网络预测模型为根据权利要求1-2所述的训练方法训练后的能够预测所述特征提取结果对应的音频是否是活体音频的模型；
若预测所述音频是活体音频，对所述音频进行响应；
若预测所述音频不是活体音频，不对所述音频进行响应。
8.根据权利要求7所述的方法，其中，所述对包含用户声纹的音频进行特征提取包括：
从采集的用户音频中将包含所述用户声纹的部分音频切割出来得到声纹音频，仅对所述声纹音频进行特征提取。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
CN202210066392.6A 2022-01-20 2022-01-20 语音交互方法、电子设备和存储介质 Pending CN114420121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210066392.6A CN114420121A (zh) 2022-01-20 2022-01-20 语音交互方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210066392.6A CN114420121A (zh) 2022-01-20 2022-01-20 语音交互方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114420121A true CN114420121A (zh) 2022-04-29

Family

ID=81275127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210066392.6A Pending CN114420121A (zh) 2022-01-20 2022-01-20 语音交互方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114420121A (zh)

Similar Documents

Publication Publication Date Title
US11127416B2 (en) Method and apparatus for voice activity detection
EP3611895B1 (en) Method and device for user registration, and electronic device
CN107767863B (zh) 语音唤醒方法、系统及智能终端
CN110136727A (zh) 基于说话内容的说话者身份识别方法、装置及存储介质
CN110570840B (zh) 一种基于人工智能的智能设备唤醒方法和装置
CN108536668B (zh) 唤醒词评估方法及装置、存储介质、电子设备
CN108595406B (zh) 一种用户状态的提醒方法、装置、电子设备及存储介质
CN110544468B (zh) 应用唤醒方法、装置、存储介质及电子设备
CN110060693A (zh) 模型训练方法、装置、电子设备及存储介质
CN112700782A (zh) 语音处理方法和电子设备
CN111312222A (zh) 一种唤醒、语音识别模型训练方法及装置
CN112102850A (zh) 情绪识别的处理方法、装置、介质及电子设备
CN114708869A (zh) 语音交互方法、装置及电器
CN110580897B (zh) 音频校验方法、装置、存储介质及电子设备
CN117253478A (zh) 一种语音交互方法和相关装置
US10847154B2 (en) Information processing device, information processing method, and program
CN112084478A (zh) 多用户账户的切换方法、装置、电子设备以及存储介质
CN110808050B (zh) 语音识别方法及智能设备
CN110956958A (zh) 搜索方法、装置、终端设备及存储介质
CN110600029A (zh) 用于智能语音设备的自定义唤醒方法和装置
CN113205809A (zh) 语音唤醒方法和装置
CN112951219A (zh) 噪声拒识方法和装置
CN110706691B (zh) 语音验证方法及装置、电子设备和计算机可读存储介质
CN108989551B (zh) 位置提示方法、装置、存储介质及电子设备
CN112740321A (zh) 唤醒设备的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination