CN114283793A - 一种语音唤醒方法、装置、电子设备、介质及程序产品 - Google Patents
一种语音唤醒方法、装置、电子设备、介质及程序产品 Download PDFInfo
- Publication number
- CN114283793A CN114283793A CN202111605201.0A CN202111605201A CN114283793A CN 114283793 A CN114283793 A CN 114283793A CN 202111605201 A CN202111605201 A CN 202111605201A CN 114283793 A CN114283793 A CN 114283793A
- Authority
- CN
- China
- Prior art keywords
- voice
- awakening
- state
- wake
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000006870 function Effects 0.000 claims description 85
- 230000007613 environmental effect Effects 0.000 claims description 67
- 238000012549 training Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 12
- 230000002618 waking effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开关于一种语音唤醒方法、装置、电子设备、介质及程序产品,该方法包括:在语音唤醒功能的当前状态为休眠状态的情况下,识别当前环境音是否包括唤醒语音,获得第一级识别结果;在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;接收所述服务器返回的所述服务器识别所述当前环境音是否满足目标唤醒条件的第二级识别结果;在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。本公开综合第一级识别结果和第二级识别结果,才会确定是否将语音唤醒功能的状态切换为唤醒状态,保证了语音唤醒较高的准确率。
Description
技术领域
本公开涉及语音处理技术领域,尤其涉及一种语音唤醒方法、装置、电子设备、介质及程序产品。
背景技术
语音唤醒技术作为智能语音交互技术的入口依赖技术,目前越来越多的电子设备将语音唤醒技术作为产品的基础配置技术。电子设备的语音唤醒功能预置唤醒语音,当识别到当前环境音包括唤醒语音时,语音唤醒功能进入唤醒状态。
为了给用户带来良好的使用体验,需要避免语音唤醒功能的误唤醒或难唤醒,然而受环境、相近语音等因素影响,难以保证语音唤醒功能的准确性。
发明内容
为克服相关技术中存在的问题,本公开提供一种语音唤醒方法、装置、电子设备、介质及程序产品。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种语音唤醒方法,包括:
获取语音唤醒功能的当前状态和当前环境音;
在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果;
在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;
接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果;
在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
可选地,所述方法还包括:
在所述当前状态为唤醒状态的情况下,对所述当前环境音的语音特征进行整体语音增强,其中,所述整体语音增强表征增强所述当前环境音的语音特征中的纯净语音特征;
根据整体语音增强后的当前环境音的语音特征,获取并输出所述当前环境音的响应信号。
可选地,在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,包括:
在所述当前状态为休眠状态的情况下,获取所述当前环境音的语音特征;
根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,其中,所述唤醒语音增强表征增强所述当前环境音的语音特征中的唤醒语音特征;
根据唤醒语音增强的当前环境音的语音特征,识别所述当前环境音是否包括唤醒语音。
可选地,在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器,包括:
在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述唤醒语音增强的当前环境音的语音特征发送至服务器。
可选地,根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,包括:
将所述当前环境音的语音特征输入学习到唤醒语音特征的模型,以进行唤醒语音增强;
其中,所述学习到唤醒语音特征的模型的训练过程至少包括以下步骤:
获取唤醒语音信号的特征及其包含的纯净语音特征,并获取非唤醒语音信号的特征及其包含的纯净语音特征,其中所述唤醒语音信号的纯净语音特征中包含所述唤醒语音特征;
将所述唤醒语音信号的特征、所述非唤醒语音信号的特征、以及休眠状态的标识输入预设模型;
获得所述预设模型对所述唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,并获得所述预设模型对所述非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征;
根据所述第一预估特征和所述第二预估特征各自与对应的纯净语音特征的差异,生成第一损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
对所述第一预估特征进行识别,输出第一预估状态,以及,对所述第二预估特征进行识别,输出第二预估状态;
根据所述第一预估状态是否为唤醒状态,以及,所述第二预估状态是否为休眠状态,生成第二损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型,包括:
根据所述第一损失函数值和所述第二损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
在对所述预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型;
获得所述模型参数更新后的预设模型对所述样本语音信号的特征进行整体语音增强后输出的第三预估特征;
根据所述第三预估特征与所述纯净语音特征的差异,生成第三损失函数值;
根据所述第三损失函数值,对所述参数更新后的预设模型进行更新,获得学习到唤醒语音特征的模型,其中,所述学习到唤醒语音特征的模型还用于在当前状态为唤醒状态的情况下,对当前环境音的语音特征进行整体语音增强,包括:在所述语音唤醒功能的当前状态为唤醒状态的情况下,将所述当前环境音的语音特征输入所述学习到唤醒语音特征的模型,以进行整体语音增强。
可选地,识别所述当前环境音是否包括唤醒语音,包括:
通过预先训练的第一唤醒模块,识别所述当前环境音的语音特征是否包含唤醒语音特征,所述第一唤醒模块是以所述唤醒语音为训练样本进行训练得到的;
所述服务器返回的第二级识别结果,是通过预先训练的第二唤醒模块识别得到的,所述第二唤醒模块是先以通用语料为训练样本进行训练,再结合唤醒语音为训练样本进行训练得到的;
其中,所述第一唤醒模块识别所述当前环境音的语音特征包含唤醒语音特征的概率,高于所述第二唤醒模块识别所述当前环境音满足目标唤醒条件的概率。
根据本公开实施例的第二方面,提供一种语音唤醒装置,包括:
获取模块,被配置为获取语音唤醒功能的当前状态和当前环境音;
识别模块,被配置为在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果;
发送模块,被配置为在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;
接收模块,被配置为接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果;
状态切换模块,被配置为在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
可选地,所述装置还包括:
整体增强模块,被配置为在所述当前状态为唤醒状态的情况下,对所述当前环境音的语音特征进行整体语音增强,其中,所述整体语音增强表征增强所述当前环境音的语音特征中的纯净语音特征;
响应模块,被配置为根据整体语音增强后的当前环境音的语音特征,获取并输出所述当前环境音的响应信号。
可选地,所述识别模块包括:
获取单元,被配置为在所述当前状态为休眠状态的情况下,获取所述当前环境音的语音特征;
唤醒语音增强单元,被配置为根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,其中,所述唤醒语音增强表征增强所述当前环境音的语音特征中的唤醒语音特征;
识别单元,被配置为根据唤醒语音增强的当前环境音的语音特征,识别所述当前环境音是否包括唤醒语音。
可选地,所述发送模块包括:
发送单元,被配置为在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述唤醒语音增强的当前环境音的语音特征发送至服务器。
可选地,所述唤醒语音增强单元包括:
唤醒语音增强子单元,被配置为将所述当前环境音的语音特征输入学习到唤醒语音特征的模型,以进行唤醒语音增强;
其中,所述学习到唤醒语音特征的模型的训练过程至少包括以下步骤:
获取唤醒语音信号的特征及其包含的纯净语音特征,并获取非唤醒语音信号的特征及其包含的纯净语音特征,其中所述唤醒语音信号的纯净语音特征中包含所述唤醒语音特征;
将所述唤醒语音信号的特征、所述非唤醒语音信号的特征、以及休眠状态的标识输入预设模型;
获得所述预设模型对所述唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,并获得所述预设模型对所述非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征;
根据所述第一预估特征和所述第二预估特征各自与对应的纯净语音特征的差异,生成第一损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
对所述第一预估特征进行识别,输出第一预估状态,以及,对所述第二预估特征进行识别,输出第二预估状态;
根据所述第一预估状态是否为唤醒状态,以及,所述第二预估状态是否为休眠状态,生成第二损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型,包括:
根据所述第一损失函数值和所述第二损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
在对所述预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型;
获得所述模型参数更新后的预设模型对所述样本语音信号的特征进行整体语音增强后输出的第三预估特征;
根据所述第三预估特征与所述纯净语音特征的差异,生成第三损失函数值;
根据所述第三损失函数值,对所述参数更新后的预设模型进行更新,获得学习到唤醒语音特征的模型,其中,所述学习到唤醒语音特征的模型还用于在当前状态为唤醒状态的情况下,对当前环境音的语音特征进行整体语音增强,包括:在所述语音唤醒功能的当前状态为唤醒状态的情况下,将所述当前环境音的语音特征输入所述学习到唤醒语音特征的模型,以进行整体语音增强。
可选地,所述识别模块包括:
第一识别单元,被配置为通过预先训练的第一唤醒模块,识别所述当前环境音的语音特征是否包含唤醒语音特征,所述第一唤醒模块是以所述唤醒语音为训练样本进行训练得到的;
所述接收模块接收的所述服务器返回的第二级识别结果,是通过预先训练的第二唤醒模块识别得到的,所述第二唤醒模块是先以通用语料为训练样本进行训练,再结合唤醒语音为训练样本进行训练得到的;
其中,所述第一唤醒模块识别所述当前环境音的语音特征包含唤醒语音特征的概率,高于所述第二唤醒模块识别所述当前环境音满足目标唤醒条件的概率。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的语音唤醒方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的语音唤醒方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现如第一方面所述的语音唤醒方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开中,首先获得识别当前环境音中是否包括唤醒语音的第一级识别结果,在第一级识别结果指示当前环境音包括唤醒语音的情况下,还需接收服务器识别当前环境音是否满足目标唤醒条件的第二级识别结果,在第二级识别结果指示当前环境音满足目标唤醒条件的情况下,才会将当前状态从休眠状态切换为唤醒状态。综合第一级识别结果和第二级识别结果,才会确定是否将语音唤醒功能的状态切换为唤醒状态,保证了语音唤醒较高的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种语音唤醒方法的流程图;
图2是本公开中的语音唤醒方法的一个处理框图;
图3是本公开中的预设模型的一个示意框图;
图4是本公开中的学习到唤醒语音特征的模型的一个示意框图;
图5是根据一示例性实施例示出的一种语音唤醒装置的框图;
图6是根据一示例性实施例示出的一种语音唤醒装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种语音唤醒方法的流程图,如图1所示,该语音唤醒方法可以用于计算机、手机、平板电脑等电子设备中,包括以下步骤。
在步骤S11中,获取语音唤醒功能的当前状态和当前环境音。
语音唤醒功能的当前状态包括唤醒状态或休眠状态。当前环境音是通过听筒、麦克风等音频采集设备实时监听到的当前环境中的音频。
在步骤S12中,在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果。
语音唤醒功能中事先已经预置了唤醒语音,在当前状态为休眠状态的情况下,识别获取到的当前环境音是否包括唤醒语音,以得到第一级识别结果。
为了提高识别的准确率,可以对当前环境音进行处理。可选地,可以对采集到的当前环境音进行线性回声消除处理,以得到消除或减弱了部分回声的当前环境音。在采集当前环境音时,同时获取设备自身播放的语音信号,并利用设备自身播放的语音信号对采集到的当前环境音进行线性回声消除处理,具体可以通过以下公式进行处理:
res(n)=LinearAEC[rgf(n),d(n)]
其中,ref(n)为设备自身播放的语音信号;d(n)为采集到的当前环境音;res(n)为进行了线性回声消除处理的当前环境音,Linera AEC[*,#]代表实现线性回声消除的方法,包括基于分块频域自适应算法的回声消除方法、基于子带分解和最小均方误差的回声消除方法等,本公开对实现线性回声消除的方法不作限定。此外,还可以对当前环境音进行噪声消除。
可选地,识别当前环境音是否包括唤醒语音,可以是识别当前环境音的语音特征是否包括唤醒语音特征,其中语音特征包括:梅尔频谱、能量特征、短时过零率、基频、谐波、时域特性、频域特性等。第一识别结果是电子设备端对当前环境音进行识别的结果。
对处理后的当前环境音进行特征提取,得到当前环境音的特征,包括:将ref(n)和res(n)输入特征提取模块,分别对ref(n)和res(n)进行特征变换,并将变换后的ref(n)和res(n)的特征进行组合,其中特征变换的方法可以是功率谱、梅尔倒谱、巴克倒谱等方法,特征组合的方法可以是根据频带间隔拼接或整体拼接等方法,本公开对此不作限定。根据唤醒语音,获取唤醒语音特征。
若当前环境音的语音特征包括唤醒语音特征,则识别当前环境音是否包括唤醒语音的第一级识别结果为包括,若当前环境音的语音特征不包括唤醒语音特征,则识别当前环境音是否包括唤醒语音的第一级识别结果为不包括。
其中,识别当前环境音是否包括唤醒语音,是电子设备端识别当前环境音包括唤醒语音的概率,在电子设备识别出的概率高于第一预设概率时,第一级识别结果指示当前环境音包括唤醒语音。
在步骤S13中,在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器。
在当前状态为休眠状态的情况下,为了更加准确地确定是否进行唤醒,避免误唤醒,在第一级识别结果指示当前环境音包括唤醒语音的情况下,还需将当前环境音发送给服务器进行二次识别,以确认是否将当前状态从休眠状态切换为唤醒状态。
可选地,发送至服务器的当前环境语音,是消除了回声和噪声的当前环境音。
可选地,在第一级识别结果指示当前环境音包括唤醒语音的情况下,可以将当前状态从休眠状态切换为预唤醒状态。
在步骤S14中,接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果。
将当前环境音发送给服务器,服务器或服务器中包含的模块可以对当前环境音进行二次识别,以得到当前环境音是否满足目标唤醒条件的第二级识别结果,并将第二级识别结果返回。
目标唤醒条件为当前环境音包括唤醒语音。识别当前环境音是否满足目标唤醒条件(当前环境音是否包括唤醒语音),是服务器端识别当前环境音包括唤醒语音的概率,在服务器识别出的概率高于二预设概率时,第二级识别结果指示当前环境音包括唤醒语音。其中,针对相同的语音,服务器识别其包括唤醒语音的概率,低于电子设备识别其包括唤醒语音的概率。
在步骤S15中,在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
在第二级识别结果指示当前环境音不满足目标唤醒条件的情况下,认为第一级识别结果为误识别,因此保持当前状态为休眠状态。可选地,若在第一级识别结果指示当前环境音包括唤醒语音时,将当前状态从休眠状态切换为预唤醒状态,则在第二级识别结果指示当前环境音不满足目标唤醒条件的情况下,将当前状态从预唤醒状态切换回休眠状态。
在第二级识别结果指示当前环境音满足目标唤醒条件的情况下,认为第一级识别结果为正确识别结果,因此将当前状态切换为唤醒状态。在当前状态为唤醒状态的情况下,获取并输出当前环境音的响应信号。
本公开中,首先获得识别当前环境音中是否包括唤醒语音的第一级识别结果,在第一级识别结果指示当前环境音包括唤醒语音的情况下,还需接收服务器识别当前环境音是否满足目标唤醒条件的第二级识别结果,在第二级识别结果指示当前环境音满足目标唤醒条件的情况下,才会将当前状态从休眠状态切换为唤醒状态。综合第一级识别结果和第二级识别结果,才会确定是否将语音唤醒功能的状态切换为唤醒状态,保证了语音唤醒较高的准确率。
图2是语音唤醒方法的一个处理框图,如图2所示,该语音唤醒方法可以在对当前环境音进行一次是否唤醒的判断之后,再进行二次判断。
第一唤醒模块为电子设备上的模块,电子设备以较低的功耗实时监听当前环境音,并利用第一唤醒模块识别当前环境音是否包括唤醒语音,根据第一唤醒模块的的识别结果,确定是否唤醒。第一唤醒模块识别当前环境音包括唤醒语音的概率较高,以避免错过唤醒。
第二唤醒模块为服务器上的模块,第二唤醒模块识别当前环境音是否包括唤醒语音,根据第二唤醒模块的的识别结果,确定是否唤醒。第二唤醒模块识别当前环境音包括唤醒语音的概率低于第一唤醒模块识别的概率,以避免误唤醒。
相关技术中,电子设备的语音唤醒功能实时以较低的功耗对当前环境音进行识别,此种方式识别的准确率不高;为了保证识别当前环境音是否包括唤醒语音的准确性,以避免误唤醒或难唤醒,电子设备的语音唤醒功能需要实时以较高地功耗对当前环境音进行识别,此种方式电子设备需要大量功耗。
本公开,通过识别概率高的第一唤醒模块与识别概率低的第二唤醒模块二者结合,可以保证唤醒功能的准确性。
在上述技术方案的基础上,语音唤醒方法还包括:在所述当前状态为唤醒状态的情况下,对所述当前环境音的语音特征进行整体语音增强,其中,所述整体语音增强表征增强所述当前环境音的语音特征中的纯净语音特征;根据整体语音增强后的当前环境音的语音特征,获取并输出所述当前环境音的响应信号。
语音唤醒功能的当前状态为唤醒状态时,则无需重复判断是否进行唤醒,因此无需判断当前环境音是否包括唤醒语音。此时可以根据当前环境音,获取并输出该当前环境音的响应信号,以根据响应信号执行相应的任务。
为了更准确地确定需要执行的当前环境音对应的任务,可以对该当前环境音进行整体语音增强。整体语音增强是指去除或减弱语音信号中包含的回声、噪声等,而保留纯净语音。
前文介绍的对当前环境音进行线性回声消除处理实质上是一种整体语音增强的方法,后文还介绍了通过学习到唤醒语音特征的模型对当前环境音进行整体语音增强的方法。
本示例性实施例提供的语音唤醒方法,可以在语音唤醒功能的当前状态为唤醒状态的情况下,对当前环境音进行整体语音增强,以去除或减弱语音信号中包含的回声、噪声等,而保留纯净语音;如此,根据整体语音增强后的当前环境音,可以更加准确地获取并输出该当前环境音的响应信号。
在上述技术方案的基础上,在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,包括:在所述当前状态为休眠状态的情况下,获取所述当前环境音的语音特征;根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,其中,所述唤醒语音增强表征增强所述当前环境音的语音特征中的唤醒语音特征;根据唤醒语音增强的当前环境音的语音特征,识别所述当前环境音是否包括唤醒语音。
在当前状态为休眠状态的情况下,为了提高识别当前环境音是否包括唤醒语音的准确率,可以先对当前环境音进行唤醒语音增强,然后根据唤醒语音增强后的当前环境音进行识别。
唤醒语音增强是指去除或减弱当前环境音的语音特征中的回声特征和噪声特征,保留纯净语音的特征,尤其偏重保留纯净语音特征中的唤醒语音特征。唤醒语音特征是唤醒语音的特征。唤醒语音增强是整体语音增强中的特例,在整体语音增强的基础上,更加偏重保留纯净语音特征中的唤醒语音特征,以凸显唤醒语音特征。后文介绍了通过学习到唤醒语音特征的模型对当前环境音进行唤醒语音增强的方法。
识别当前环境音是否包括唤醒语音,可以通过识别当前环境音的语音特征是否包括唤醒语音特征实现。
可选地,在第一级识别结果指示当前环境音包括唤醒语音的情况下,发送给服务器的当前环境音,也可以是唤醒语音增强后的当前环境音。
本示例性实施例提供的语音唤醒方法,在识别当前环境音是否包括唤醒语音时,对当前环境音进行了唤醒语音增强,并对唤醒语音增强后的当前环境音进行识别,提高了识别的准确性。
在上述技术方案的基础上,对当前环境音进行唤醒语音增强的方法可以是,将当前环境音的语音特征输入学习到唤醒语音特征的模型,以得到学习到唤醒语音特征的模型输出的唤醒语音增强后的当前环境音。
可以通过以下步骤训练得到学习到唤醒语音特征的模型:获取唤醒语音信号的特征及其包含的纯净语音特征,并获取非唤醒语音信号的特征及其包含的纯净语音特征,其中所述唤醒语音信号的纯净语音特征中包含所述唤醒语音特征;将所述唤醒语音信号的特征、所述非唤醒语音信号的特征、以及休眠状态的标识输入预设模型;获得所述预设模型对所述唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,并获得所述预设模型对所述非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征;根据所述第一预估特征和所述第二预估特征各自与对应的纯净语音特征的差异,生成第一损失函数值;根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
图3是预设模型的一个示意框图,如图3所示,该预设模型包括增强模块、嵌入模块、识别模块和损失函数模块。
为了对预设模型进行训练,首先需要获取训练样本。其中,正样本为唤醒语音信号的特征,该特征中包括唤醒语音特征、回声特征、噪声特征和非唤醒语音特征的纯净语音特征,其中唤醒语音特征和非唤醒语音特征的纯净语音特征组成纯净语音特征;负样本为非唤醒语音信号的特征,该特征中包括非唤醒语音特征的纯净语音特征、回声特征和噪声特征。其中,正样本和负样本分别是根据包含唤醒语音的语音和不包含唤醒语音的语音进行线性回声消除处理和特征变换、特征组合等得到的,其中线性回声消除处理和特征变换、特征组合的方法可以参照前文所述。
将唤醒语音信号的特征和非唤醒语音信号的特征输入预设模型的增强模块,并通过嵌入模块将休眠状态的标识输入预设模型的增强模块。训练时嵌入模块输入到增强模块中的状态标识是预先设置的;使用训练好的模型时,嵌入模块输入到增强模块中的状态标识是根据识别模块识别的结果得到的。
增强模块根据输入的休眠状态的标识,确定对输入的特征分别进行唤醒语音增强处理,获得对唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,以及对非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征。因为非唤醒语音信号的特征中不包含唤醒字特征的,因此对非唤醒语音信号的特征进行唤醒语音增强,得到的第二预估特征是所有特征都被减弱的特征。
预设模型可以利用卷积神经网络、长短期记忆网络、门控循环单元网络、全连接网络以及其它网络中的一种或多种对语音信号的特征进行处理,本公开对此不作限定。
损失模块根据第一预估特征与其对应的纯净语音特征之间的差异,以及第二预估特征与其对应的纯净语音特征之间的差异,生成第一损失函数值;其中可以用信噪比、尺度不变信噪比及其变种、均方误差等多种具体的损失函数或的多种损失函数的组合来计算第一损失函数值。
损失模块通过第一损失函数值,对预设模型的模型参数进行更新,引导增强模块更好地进行唤醒语音增强,以获得学习到唤醒字特征的模型。
在上述技术方案的基础上,学习到唤醒语音特征的模型的训练过程还包括以下步骤:对所述第一预估特征进行识别,输出第一预估状态,以及,对所述第二预估特征进行识别,输出第二预估状态;根据所述第一预估状态是否为唤醒状态,以及,所述第二预估状态是否为休眠状态,生成第二损失函数值;根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型,包括:根据所述第一损失函数值和所述第二损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
获得学习到唤醒语音特征的模型其中一个目的是对当前环境音的特征进行唤醒语音增强,而唤醒语音增强后的当前环境音的特征的作用是被识别以判断其中是否包含唤醒语音特征。因此,为了使唤醒语音增强后的当前环境音的特征被更准确地识别,在对预设模型进行训练时,利用识别模块对唤醒语音增强后的当前环境音的特征进行识别,识别是否包含唤醒语音特征。然后根据识别模块输出的识别结果,和该识别结果对应的当前环境音特征中是否真实包含唤醒语音特征,建立第二损失函数值。
第一预估状态是根据第一预估特征进行识别得到的,第一预估特征为对唤醒语音信号的特征进行唤醒语音增强后得到的特征,该特征包含唤醒语音特征;第二预估状态是根据第二预估特征进行识别得到的,第二预估特征为对非唤醒语音信号的特征进行唤醒语音增强后得到的特征,该特征不包含唤醒词特征。因此,第一预估特征实际应该对应唤醒状态,而第二预估特征实际应该对应休眠状态。因此,可以根据第一预估状态是否为唤醒状态,以及,第二预估状态是否为休眠状态,可以生成第二损失函数值,第二损失函数值可以用交叉熵等损失函数表示。
根据第一损失函数值和第二损失函数值共同作用,对预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。其中,可以为第一损失函数值和第二损失函数值的分别设置权重参数,对预设模型的模型参数进行更新时,第一损失函数值和第二损失函数值根据对应的权重参数发挥作用。
在上述技术方案的基础上,学习到唤醒语音特征的模型的训练过程还包括以下步骤:在对所述预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型;获得所述模型参数更新后的预设模型对所述样本语音信号的特征进行整体语音增强后输出的第三预估特征;根据所述第三预估特征与所述纯净语音特征的差异,生成第三损失函数值;根据所述第三损失函数值,对所述参数更新后的预设模型进行更新,获得学习到唤醒语音特征的模型。
在语音唤醒功能的当前状态为唤醒状态或休眠状态时,都需要对语音信号的特征进行提纯,因此本发明人希望可以通过一个模型,实现既能在唤醒状态下对语音信号进行整体语音增强,又能在休眠状态下对语音信号进行唤醒语音增强。为此,在对预设模型进行训练时还可以包括:
在对预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型,其中样本语音信号不包含唤醒语音信号,可以直接将非唤醒语音信号的特征作为样本语音信号的特征。
嵌入模块输入增强模块的为唤醒状态的标识时,增强模块对样本语音信号的特征进行整体语音增强,输出第三预估特征。损失模块根据第三预估特征与纯净语音特征的差异,生成第三损失函数值,可以用信噪比、尺度不变信噪比及其变种、均方误差等多种具体的损失函数或的多种损失函数的组合来计算第三损失函数值。根据第三损失函数值,对参数更新后的预设模型进行更新,获得预先训练的模型。在当前唤醒状态为唤醒状态的情况下,将语音信号的特征输入预先训练的模型,以进行整体语音增强。
如此,可以利用学习到唤醒语音特征的模型,对当前环境音的语音特征进行整体语音增强。
图4是一种学习到唤醒语音特征的模型的示意框图,如图4所示,该学习到唤醒语音特征的模型包括增强模块、嵌入模块和识别模块。
学习到唤醒语音特征的模型中的增强模块,可以根据嵌入模块输入的唤醒状态标识或休眠状态标识,确定对输入的语音信号的特征进行唤醒语音增强或者整体语音增强。在休眠状态下,将唤醒语音增强后的语音信号的特征输入到识别模块,识别模块识别唤醒语音增强后的语音信号的特征中是否包含唤醒语音特征,并在识别到唤醒语音增强后的语音信号的特征中包含唤醒语音特征时,输出唤醒状态,在识别到唤醒语音增强后的语音信号的特征中不包含唤醒语音特征时,输出休眠状态。将识别模块输出的唤醒状态或休眠状态发送给嵌入模块,嵌入模块根据接收到的唤醒状态或休眠状态生成对应的状态标识,并输入到增强模块中。
在嵌入模块输入到增强模块中的是唤醒状态标识时,此时无需再判断语音信号特征中是否包含唤醒语音特征,因此增强模块对语音信号特征进行整体语音增强。此时增强模块可以不将整体提纯后的语音信号特征发送给识别模块,而是发送到相应的地方。在实际应用中,根据不同的需求,可以对识别模块进行更改,或者对识别模块设置不同的识别概率。
在上述技术方案的基础上,识别所述当前环境音是否包括唤醒语音,包括:通过预先训练的第一唤醒模块,识别所述当前环境音的语音特征是否包含唤醒语音特征,所述第一唤醒模块是以所述唤醒语音为训练样本进行训练得到的;所述服务器返回的第二级识别结果,是通过预先训练的第二唤醒模块识别得到的,所述第二唤醒模块是先以通用语料为训练样本进行训练,再结合唤醒语音为训练样本进行训练得到的;其中,所述第一唤醒模块识别所述当前环境音的语音特征包含唤醒语音特征的概率,高于所述第二唤醒模块识别所述当前环境音满足目标唤醒条件的概率。
第一唤醒模块识别当前环境音的语音特征是否包含唤醒语音特征,该第一唤醒模块是以唤醒语音为训练样本进行训练得到的。第一唤醒模块可以是电子设备端的模块,考虑到有限的计算量和资源,第一唤醒模块没有办法太复杂,但是要保证对唤醒语音的召回。为了提高唤醒率,同时对不同的语音更加鲁棒,第一唤醒模块的训练样本为大量包含唤醒语音的语音数据,唤醒语音为无调音节,例如唤醒语音为“小车”,对应“xiao che”,而不是直接用对应的字。
服务器返回的第二级识别结果,可以是通过预先训练的第二唤醒模块,识别当前环境音是否包含唤醒语音,所述第二唤醒模块是先以通用语料的语音特征为训练样本进行训练,再结合包含唤醒语音的语音为训练样本进行训练得到的。第二唤醒模块使用大量通用语音信号的特征进行训练,同时也可以用大规模唤醒语音外的语音信号,之后使用带有唤醒语音的语料,加上少部分通用预料,在通用模型基础上进行训练训练,得到对于唤醒语音识别准确率高的第二唤醒模块。
第一唤醒模块持续以较低的功耗监听周围环境,接收周围环境中的当前环境音,当识别到当前环境音包括唤醒语音时,将当前状态从休眠状态切换为预唤醒状态,并将当前环境音发送到服务器。服务器上的第二唤醒模块进行二次识别,如果第二唤醒模块识别当前环境音不包括唤醒语音,则将当前状态从预唤醒状态切换为休眠状态,如果识别当前环境音包括唤醒语音,则将当前状态从预唤醒状态切换为唤醒状态,并持续接收当前环境音以进行后续操作。
为了保证及时响应,可以设置第一唤醒模块具有较高的识别概率,只要识别到语音信号特征中包含唤醒字特征的概率高于第一预设概率,则输出唤醒状态。二次识别是为了保证唤醒的准确率,避免误识别和误唤醒,因此可以设置第二唤醒模块的识别的第二预设概率低于第一唤醒模块的识别的第一预设概率,识别概率越高,越容易进行唤醒。
本示例性实施例提供的语音唤醒方法,可以保证在电子设备端以较低的功耗监听周围环境,并及时对用户的唤醒语音进行响应;并设置服务端以更低的识别概率对语音信号特征进行识别,以避免误唤醒。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
图5是根据一示例性实施例示出的一种语音唤醒装置的框图,参照图5,该装置包括获取模块51、识别模块52、发送模块53、接收模块54和状态切换模块55。
该获取模块51,被配置为获取语音唤醒功能的当前状态和当前环境音;
该识别模块52,被配置为在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果;
该发送模块53,被配置为在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;
该接收模块54,被配置为接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果;
该状态切换模块55,被配置为在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
可选地,所述装置还包括:
整体增强模块,被配置为在所述当前状态为唤醒状态的情况下,对所述当前环境音的语音特征进行整体语音增强,其中,所述整体语音增强表征增强所述当前环境音的语音特征中的纯净语音特征;
响应模块,被配置为根据整体语音增强后的当前环境音的语音特征,获取并输出所述当前环境音的响应信号。
可选地,所述识别模块52包括:
获取单元,被配置为在所述当前状态为休眠状态的情况下,获取所述当前环境音的语音特征;
唤醒语音增强单元,被配置为根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,其中,所述唤醒语音增强表征增强所述当前环境音的语音特征中的唤醒语音特征;
识别单元,被配置为根据唤醒语音增强的当前环境音的语音特征,识别所述当前环境音是否包括唤醒语音。
可选地,所述发送模块53包括:
发送单元,被配置为在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述唤醒语音增强的当前环境音的语音特征发送至服务器。
可选地,所述唤醒语音增强单元包括:
唤醒语音增强子单元,被配置为将所述当前环境音的语音特征输入学习到唤醒语音特征的模型,以进行唤醒语音增强;
其中,所述学习到唤醒语音特征的模型的训练过程至少包括以下步骤:
获取唤醒语音信号的特征及其包含的纯净语音特征,并获取非唤醒语音信号的特征及其包含的纯净语音特征,其中所述唤醒语音信号的纯净语音特征中包含所述唤醒语音特征;
将所述唤醒语音信号的特征、所述非唤醒语音信号的特征、以及休眠状态的标识输入预设模型;
获得所述预设模型对所述唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,并获得所述预设模型对所述非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征;
根据所述第一预估特征和所述第二预估特征各自与对应的纯净语音特征的差异,生成第一损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
对所述第一预估特征进行识别,输出第一预估状态,以及,对所述第二预估特征进行识别,输出第二预估状态;
根据所述第一预估状态是否为唤醒状态,以及,所述第二预估状态是否为休眠状态,生成第二损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型,包括:
根据所述第一损失函数值和所述第二损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
可选地,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
在对所述预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型;
获得所述模型参数更新后的预设模型对所述样本语音信号的特征进行整体语音增强后输出的第三预估特征;
根据所述第三预估特征与所述纯净语音特征的差异,生成第三损失函数值;
根据所述第三损失函数值,对所述参数更新后的预设模型进行更新,获得学习到唤醒语音特征的模型,其中,所述学习到唤醒语音特征的模型还用于在当前状态为唤醒状态的情况下,对当前环境音的语音特征进行整体语音增强,包括:在所述语音唤醒功能的当前状态为唤醒状态的情况下,将所述当前环境音的语音特征输入所述学习到唤醒语音特征的模型,以进行整体语音增强。
可选地,所述识别模块52包括:
第一识别单元,被配置为通过预先训练的第一唤醒模块,识别所述当前环境音的语音特征是否包含唤醒语音特征,所述第一唤醒模块是以所述唤醒语音为训练样本进行训练得到的;
所述接收模块接收的所述服务器返回的第二级识别结果,是通过预先训练的第二唤醒模块识别得到的,所述第二唤醒模块是先以通用语料为训练样本进行训练,再结合唤醒语音为训练样本进行训练得到的;
其中,所述第一唤醒模块识别所述当前环境音的语音特征包含唤醒语音特征的概率,高于所述第二唤醒模块识别所述当前环境音满足目标唤醒条件的概率。
图6是根据一示例性实施例示出的一种用于语音唤醒的装置600的框图。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备600可以包括以下一个或多个组件:处理组件602,存储器604,电力组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到设备600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述语音唤醒方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括可读性程序代码,该可读性程序代码可由电子设备600的处理器620执行以完成上述人员权限管理方法。可选地,该程序代码可以存储在电子设备600的存储介质中,该存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种语音唤醒方法,其特征在于,所述方法包括:
获取语音唤醒功能的当前状态和当前环境音;
在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果;
在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;
接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果;
在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述当前状态为唤醒状态的情况下,对所述当前环境音的语音特征进行整体语音增强,其中,所述整体语音增强表征增强所述当前环境音的语音特征中的纯净语音特征;
根据整体语音增强后的当前环境音的语音特征,获取并输出所述当前环境音的响应信号。
3.根据权利要求1所述的方法,其特征在于,在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,包括:
在所述当前状态为休眠状态的情况下,获取所述当前环境音的语音特征;
根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,其中,所述唤醒语音增强表征增强所述当前环境音的语音特征中的唤醒语音特征;
根据唤醒语音增强的当前环境音的语音特征,识别所述当前环境音是否包括唤醒语音。
4.根据权利要求3所述的方法,其特征在于,根据唤醒语音特征,对所述当前环境音的语音特征进行唤醒语音增强,包括:
将所述当前环境音的语音特征输入学习到唤醒语音特征的模型,以进行唤醒语音增强;
其中,所述学习到唤醒语音特征的模型的训练过程至少包括以下步骤:
获取唤醒语音信号的特征及其包含的纯净语音特征,并获取非唤醒语音信号的特征及其包含的纯净语音特征,其中所述唤醒语音信号的纯净语音特征中包含所述唤醒语音特征;
将所述唤醒语音信号的特征、所述非唤醒语音信号的特征、以及休眠状态的标识输入预设模型;
获得所述预设模型对所述唤醒语音信号的特征进行唤醒语音增强后输出的第一预估特征,并获得所述预设模型对所述非唤醒语音信号的特征进行唤醒语音增强后输出的第二预估特征;
根据所述第一预估特征和所述第二预估特征各自与对应的纯净语音特征的差异,生成第一损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
5.根据权利要求4所述的方法,其特征在于,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
对所述第一预估特征进行识别,输出第一预估状态,以及,对所述第二预估特征进行识别,输出第二预估状态;
根据所述第一预估状态是否为唤醒状态,以及,所述第二预估状态是否为休眠状态,生成第二损失函数值;
根据所述第一损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型,包括:
根据所述第一损失函数值和所述第二损失函数值,对所述预设模型的模型参数进行更新,获得学习到唤醒语音特征的模型。
6.根据权利要求4或5所述的方法,其特征在于,所述学习到唤醒语音特征的模型的训练过程还包括以下步骤:
在对所述预设模型的模型参数进行更新的过程中,将样本语音信号的特征及其包含的纯净语音特征、以及唤醒状态的标识输入模型参数更新后的预设模型;
获得所述模型参数更新后的预设模型对所述样本语音信号的特征进行整体语音增强后输出的第三预估特征;
根据所述第三预估特征与所述纯净语音特征的差异,生成第三损失函数值;
根据所述第三损失函数值,对所述参数更新后的预设模型进行更新,获得学习到唤醒语音特征的模型,其中,所述学习到唤醒语音特征的模型还用于在当前状态为唤醒状态的情况下,对当前环境音的语音特征进行整体语音增强,包括:在所述语音唤醒功能的当前状态为唤醒状态的情况下,将所述当前环境音的语音特征输入所述学习到唤醒语音特征的模型,以进行整体语音增强。
7.一种语音唤醒装置,其特征在于,所述装置包括:
获取模块,被配置为获取语音唤醒功能的当前状态和当前环境音;
识别模块,被配置为在所述当前状态为休眠状态的情况下,识别所述当前环境音是否包括唤醒语音,获得第一级识别结果;
发送模块,被配置为在所述第一级识别结果指示所述当前环境音包括唤醒语音的情况下,将所述当前环境音发送至服务器;
接收模块,被配置为接收所述服务器返回的第二级识别结果,所述第二级识别结果是所述服务器识别所述当前环境音是否满足目标唤醒条件的结果;
状态切换模块,被配置为在确定所述第二级识别结果指示所述当前环境音满足目标唤醒条件的情况下,将所述当前状态从休眠状态切换为唤醒状态。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的语音唤醒方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至6中任一项所述的语音唤醒方法。
10.一种计算机程序产品,包括计算机程序或计算机指令,其特征在于,所述计算机程序或计算机指令被处理器执行时实现如权利要求1至6中任一项所述的语音唤醒方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111605201.0A CN114283793A (zh) | 2021-12-24 | 2021-12-24 | 一种语音唤醒方法、装置、电子设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111605201.0A CN114283793A (zh) | 2021-12-24 | 2021-12-24 | 一种语音唤醒方法、装置、电子设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114283793A true CN114283793A (zh) | 2022-04-05 |
Family
ID=80875566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111605201.0A Pending CN114283793A (zh) | 2021-12-24 | 2021-12-24 | 一种语音唤醒方法、装置、电子设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283793A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117524228A (zh) * | 2024-01-08 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 语音数据处理方法、装置、设备及介质 |
CN117672228A (zh) * | 2023-12-06 | 2024-03-08 | 山东凌晓通信科技有限公司 | 基于机器学习的智能语音交互误唤醒系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106463112A (zh) * | 2015-04-10 | 2017-02-22 | 华为技术有限公司 | 语音识别方法、语音唤醒装置、语音识别装置及终端 |
CN108615535A (zh) * | 2018-05-07 | 2018-10-02 | 腾讯科技(深圳)有限公司 | 语音增强方法、装置、智能语音设备和计算机设备 |
CN111933114A (zh) * | 2020-10-09 | 2020-11-13 | 深圳市友杰智新科技有限公司 | 语音唤醒混合模型的训练方法、使用方法和相关设备 |
CN112233676A (zh) * | 2020-11-20 | 2021-01-15 | 深圳市欧瑞博科技股份有限公司 | 智能设备唤醒方法、装置、电子设备及存储介质 |
CN112634897A (zh) * | 2020-12-31 | 2021-04-09 | 青岛海尔科技有限公司 | 设备唤醒方法、装置和存储介质及电子装置 |
JP2021099534A (ja) * | 2020-05-18 | 2021-07-01 | 北京百度網訊科技有限公司 | 音声対話方法、音声対話デバイス、電子デバイス、記憶媒体及びコンピュータプログラム製品 |
US20210210075A1 (en) * | 2020-01-02 | 2021-07-08 | Lg Electronics Inc. | Controlling voice recognition sensitivity for voice recognition |
WO2021179424A1 (zh) * | 2020-03-13 | 2021-09-16 | 紫光展锐(重庆)科技有限公司 | 结合ai模型的语音增强方法、系统、电子设备和介质 |
-
2021
- 2021-12-24 CN CN202111605201.0A patent/CN114283793A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106463112A (zh) * | 2015-04-10 | 2017-02-22 | 华为技术有限公司 | 语音识别方法、语音唤醒装置、语音识别装置及终端 |
CN108615535A (zh) * | 2018-05-07 | 2018-10-02 | 腾讯科技(深圳)有限公司 | 语音增强方法、装置、智能语音设备和计算机设备 |
US20210210075A1 (en) * | 2020-01-02 | 2021-07-08 | Lg Electronics Inc. | Controlling voice recognition sensitivity for voice recognition |
WO2021179424A1 (zh) * | 2020-03-13 | 2021-09-16 | 紫光展锐(重庆)科技有限公司 | 结合ai模型的语音增强方法、系统、电子设备和介质 |
JP2021099534A (ja) * | 2020-05-18 | 2021-07-01 | 北京百度網訊科技有限公司 | 音声対話方法、音声対話デバイス、電子デバイス、記憶媒体及びコンピュータプログラム製品 |
CN111933114A (zh) * | 2020-10-09 | 2020-11-13 | 深圳市友杰智新科技有限公司 | 语音唤醒混合模型的训练方法、使用方法和相关设备 |
CN112233676A (zh) * | 2020-11-20 | 2021-01-15 | 深圳市欧瑞博科技股份有限公司 | 智能设备唤醒方法、装置、电子设备及存储介质 |
CN112634897A (zh) * | 2020-12-31 | 2021-04-09 | 青岛海尔科技有限公司 | 设备唤醒方法、装置和存储介质及电子装置 |
Non-Patent Citations (1)
Title |
---|
张雄伟: "《智能语音处理》", vol. 978, 30 September 2020, 北京:机械工业出版社, pages: 136 - 139 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117672228A (zh) * | 2023-12-06 | 2024-03-08 | 山东凌晓通信科技有限公司 | 基于机器学习的智能语音交互误唤醒系统及方法 |
CN117524228A (zh) * | 2024-01-08 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 语音数据处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108337362A (zh) | 语音交互方法、装置、设备和存储介质 | |
CN112185389B (zh) | 语音生成方法、装置、存储介质和电子设备 | |
CN107978316A (zh) | 控制终端的方法及装置 | |
CN111063354B (zh) | 人机交互方法及装置 | |
CN108320744A (zh) | 语音处理方法和装置、电子设备、计算机可读存储介质 | |
EP3933570A1 (en) | Method and apparatus for controlling a voice assistant, and computer-readable storage medium | |
EP3779968A1 (en) | Audio processing | |
CN108564943B (zh) | 语音交互方法及系统 | |
CN114283793A (zh) | 一种语音唤醒方法、装置、电子设备、介质及程序产品 | |
CN111210844B (zh) | 语音情感识别模型的确定方法、装置、设备及存储介质 | |
CN110633470A (zh) | 命名实体识别方法、装置及存储介质 | |
CN112133302B (zh) | 预唤醒终端的方法、装置及存储介质 | |
CN112530424A (zh) | 语音处理方法及装置、电子设备、存储介质 | |
CN112185388A (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
CN111580773A (zh) | 信息处理方法、装置及存储介质 | |
CN112489653B (zh) | 语音识别的方法、装置及存储介质 | |
CN112863511B (zh) | 信号处理方法、装置以及存储介质 | |
CN110928589B (zh) | 信息处理方法、装置及存储介质 | |
CN113035189A (zh) | 一种文档演示的控制方法、装置和设备 | |
CN112365899B (zh) | 语音处理方法、装置、存储介质及终端设备 | |
CN113919293A (zh) | 一种公式识别模型的训练方法及装置 | |
CN112818841A (zh) | 一种识别用户情绪的方法及相关装置 | |
CN112489650A (zh) | 唤醒控制方法、装置、存储介质及终端 | |
CN113192502A (zh) | 音频处理方法、装置及存储介质 | |
CN112882394A (zh) | 设备控制方法、控制装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |