CN112837686A - 唤醒响应操作的执行方法、装置、存储介质及电子装置 - Google Patents
唤醒响应操作的执行方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112837686A CN112837686A CN202110129127.3A CN202110129127A CN112837686A CN 112837686 A CN112837686 A CN 112837686A CN 202110129127 A CN202110129127 A CN 202110129127A CN 112837686 A CN112837686 A CN 112837686A
- Authority
- CN
- China
- Prior art keywords
- target
- decision result
- equipment
- devices
- awakening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Abstract
本发明实施例提供了一种唤醒响应操作的执行方法、装置、存储介质及电子装置,其中,该方法包括:在第一预定时间段内获取多个第一设备发送的第一决策结果;基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态;重复执行如下操作,直到达到目标条件为止:在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作。解决了相关技术中存在的无法可靠地从多个设备中确定出最终响应的设备的问题。
Description
技术领域
本发明实施例涉及人工智能领域,具体而言,涉及一种唤醒响应操作的执行方法、装置、存储介质及电子装置。
背景技术
随着智能语音技术在智能家居领域的广泛应用,智能语音设备成了很多人的选择,人们越来越习惯于通过语音来下达指令,同时获取相应信息,因为语音交流本身就是人类交流的方式,这样释放了双手,并延伸了交流的距离,让人与智能家电的交互更加自然。
但是,随着语音交互的需求与使用场景在不断增多,可能出现在同一个空间内有多个智能设备的情况,并且设备的唤醒词是相同的,导致当用户说出唤醒词之后,会有多个设备同时进行语音交互,并会互相影响,造成语音交互体验很差。
针对现有技术中存在的无法可靠地从多个设备中确定出最终响应的设备的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了唤醒响应操作的执行方法、装置、存储介质及电子装置,以至少解决相关技术中存在的无法可靠地从多个设备中确定出最终响应的设备的问题。
根据本发明的一个实施例,提供了一种唤醒响应操作的执行方法,包括:在第一预定时间段内获取多个第一设备发送的第一决策结果;基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;重复执行如下操作,直到达到目标条件为止:在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在保持唤醒状态的设备中包括的距离所述语音的发出方最近的设备。
可选地,在基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备之后,所述方法还包括:在确定所述第二目标设备与当前正在保持唤醒状态的设备为不同的设备的情况下,控制当前正在保持唤醒状态的设备退出唤醒状态。
可选地,所述目标条件包括以下之一:接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果,其中,所述目标范围为由登录了目标帐号的设备所组成的范围,所述目标范围内全部允许被所述目标唤醒词唤醒的设备包括所述第一设备和所述第二设备;超出预定时长。
可选地,在所述目标条件包括接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果的情况下,所述方法还包括:获取多个设备所登录的帐号的帐号信息;基于所述帐号信息确定出登录了所述目标帐号的设备;将登录了所述目标帐号的设备所组成的范围确定为所述目标范围。
可选地,在所述目标条件包括所述超出所述预定时长的情况下,所述方法还包括:对所述预定时长进行更新。
可选地,所述第一决策结果还包括:所述第一设备接收到所述语音的接收时间;基于所述第一决策结果在多个所述第一设备中确定出第一目标设备包括:在接收到多个第一决策结果的情况下,基于所述第一决策结果中包含的接收时间确定出目标决策结果,其中,所述目标决策结果中包含的接收时间与目标时间相差小于预定阈值;基于所述目标决策结果确定出所述第一目标设备,其中,所述第一目标设备为发出所述目标决策结果的设备中包括的距离所述语音的发出方最近的设备。
可选地,所述方法还包括:将所述第二目标设备的信息发送给云端语音服务,以指示所述云端语音服务将对接收到的数据调取请求所做的响应操作反馈给所述第二目标设备。
根据本发明的另一个实施例,还提供了一种唤醒响应操作的执行装置,包括:获取模块,用于在第一预定时间段内获取多个第一设备发送的第一决策结果;确定模块,用于基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;执行模块,用于重复执行如下操作,直到达到目标条件为止:在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;控制模块,用于当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在保持唤醒状态的设备中包括的距离所述语音的发出方最近的设备。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,基于对同一场景中的多个设备的唤醒决策结果进行多级比较,直至达到目标条件为止,以确定出需要响应的设备并执行唤醒操作。解决了相关技术中存在的无法可靠地从多个设备中确定出最终响应的设备的问题,进而达到了有效确定最终响应的设备,提高语音交互的可靠性的效果。
附图说明
图1是本发明实施例的唤醒响应操作的执行方法的移动终端的硬件结构框图;
图2是根据本发明实施例的唤醒响应操作的执行方法的流程图;
图3是根据本发明实施例的优选地唤醒响应操作的执行方法的流程图;
图4是根据本发明实施例的唤醒响应操作的执行装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种唤醒响应操作的执行方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的唤醒响应操作的执行方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了唤醒响应操作的执行方法,图2是根据本发明实施例的唤醒响应操作的执行方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,在第一预定时间内获取多个第一设备发送的第一决策结果;
步骤S204,基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;
步骤S206,重复执行如下操作,直到达到目标条件为止:在第二预定时间内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;
步骤S208,当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;
其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在保持唤醒状态的设备中包括的距离所述语音的发出方最近的设备。
通过上述步骤,基于对同一场景中的多个设备的唤醒决策结果进行多级比较,直至达到目标条件为止,以确定出需要响应的目标设备并执行唤醒操作。解决了相关技术中存在的无法可靠地从多个设备中确定出最终响应的设备的问题,进而达到了有效确定最终响应的设备,提高语音交互的可靠性的效果。
其中,上述步骤的执行主体可以为服务器或计算机终端,如云端服务器,或者为配置在存储设备上的具备人机交互能力的处理器,或者为具备类似处理能力的处理设备或处理单元等,但不限于此。下面以云端服务器执行上述操作为例(仅是一种示例性说明,在实际操作中还可以是其他的设备或模块来执行上述操作)进行说明:
在上述实施例中,云端服务器在第一预定时间段内获取一个或多个第一设备发送的第一决策结果,其中,在第一设备数量为一个的情况下,确定出的第一目标设备即为该第一设备,当第一设备数量为多个的情况下,多个所述第一设备均为允许被目标唤醒词唤醒的设备,所述多个第一设备可为同类设备,也可为不同类设备,所述第一决策结果用于指示所述第一设备在接收到包含所述目标唤醒词的语音后所确定出的所述第一设备距离所述语音的发出方的距离,例如,在用户发出包含某唤醒词的语音后,在同一个场景中有多台能够被所述唤醒词唤醒的第一设备,形成所述第一设备的第一决策结果,云端服务器在预定时间(如X ms)内获取所述第一设备的第一决策结果,该第一决策结果用于指示第一设备在接收到所述语音后确定出所述第一设备与语音发出方(即前述用户)的距离,其中,所述第一设备可通过预定的算法确定出与语音发出方的距离(例如,基于接收到的语音信号的能量来确定接收方与语音发出方之间的距离,接收到的能量信号越强说明距离越近,接收到的能量信号越弱说明距离越远);基于所述第一决策结果可确定出第一目标设备,例如,在上述多个第一设备中确定出距离所述语音的发出方最近的设备为第一目标设备(如设备M),并控制所述第一目标设备保持唤醒状态;在确定出所述第一目标设备并控制所述第一目标设备保持唤醒状态之后,云端服务器重复执行如下操作,直到达到目标条件为止:在第二预定时间内获取第二设备发送的第二决策结果,其中,所述第二设备为允许被所述目标唤醒词唤醒的设备,所述第二决策结果用于指示所述第二设备在接收到包含所述目标唤醒词的语音后所确定出的所述第二设备距离所述语音的所述发出方的距离,例如,在实际应用中,所述第二设备为在前述第一预定时间内未能按时向云端发送决策结果的设备,云端服务器在第二预定时间(如Y ms)内获取所述第二设备发送的第二决策结果,与前述第一决策结果类似,所述第二决策结果用于指示所述第二设备在接收到包含所述目标唤醒词的语音后所确定出的所述第二设备距离所述语音的发出方的距离;基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备执行所述唤醒响应操作以及控制当前正在保持唤醒状态的设备停止执行所述唤醒响应操作,例如,将基于上述第二决策结果确定出所述第二设备(如设备N)距离所述语音的所述发出方的距离(如距离A)与当前正在保持唤醒状态的设备(如前述第一目标设备M)距离所述语音的发出方的距离(如距离B)进行比较,若距离A小于距离B,将确定所述第二设备(如设备N)为第二目标设备,并控制所述第二目标设备保持唤醒状态,同时控制当前正在保持唤醒状态的设备(如前述第一目标设备M)停止执行唤醒响应操作;若距离A大于等于距离B,将确定当前正在保持唤醒状态的设备(如前述第一目标设备M)为第二目标设备,并控制所述第二目标设备保持唤醒状态,当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作。
通过上述操作,对同一场景中的多个设备的唤醒决策结果进行多级比较,直至所述多个设备全部完成决策,避免了因部分设备决策不及时而造成的多个设备同时响应的情况。
在一个可选的实施例中,在基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备之后,所述方法还包括:在确定所述第二目标设备与当前正在保持唤醒状态的设备为不同的设备的情况下,控制当前正在保持唤醒状态的设备退出唤醒状态。从而避免多个设备同时响应的问题。
在一个可选的实施例中,所述目标条件包括以下之一:接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果,其中,所述目标范围为由登录了目标帐号的设备所组成的范围,所述目标范围内全部允许被所述目标唤醒词唤醒的设备包括所述第一设备和所述第二设备;超出预定时长。在本实施例中,所述目标条件包括以下之一:接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果,其中,所述目标范围为登录了同一个帐号的设备所组成的范围,例如,在目标范围内共有X台设备,其中有Y台设备允许被目标唤醒词唤醒,在所述Y台设备中若有部分设备未能及时向上述云端服务器发送决策结果的情况下,将通过重复执行前述操作,直至所述Y台设备全部向所述云端服务器发送决策结果为止,而所述目标范围为登录了同一个帐号的设备所组成的范围,例如智能设备登陆了同一个帐号(如同一个手机号、微信号、邮箱号等);所述目标条件也可为超出预定时长,在实际应用中,可能某台设备出现故障(如无法接收语音信号导致迟迟未能做出决策),在超出预定时长(如3秒、5秒等)的情况下,将停止前述重复操作,并将最后确定出的执行所述唤醒响应操作的设备确定为最终的进行交互的设备。
在一个可选的实施例中,在所述目标条件包括接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果的情况下,所述方法还包括:获取多个设备所登录的帐号的帐号信息;基于所述帐号信息确定出登录了所述目标帐号的设备;将登录了所述目标帐号的设备所组成的范围确定为所述目标范围。
在一个可选的实施例中,在所述目标条件包括所述超出所述预定时长的情况下,所述方法还包括:对所述预定时长进行更新。在本实施例中,所述预定时长可进行更新的,可选地,在实际应用中,因不同设备之间的差异,设备可能存在通信延迟或失败,或者不同设备的决策时间也存在较大差异等,故需要灵活设置所述预定时长。
在一个可选的实施例中,所述第一决策结果还包括:所述第一设备接收到所述语音的接收时间;基于所述第一决策结果在多个所述第一设备中确定出第一目标设备包括:在接收到多个第一决策结果的情况下,基于所述第一决策结果中包含的接收时间确定出目标决策结果,其中,所述目标决策结果中包含的接收时间与目标时间相差小于预定阈值;基于所述目标决策结果确定出所述第一目标设备,其中,所述第一目标设备为发出所述目标决策结果的设备中包括的距离所述语音的发出方最近的设备。在本实施例中,所述第一决策结果还包括所述第一设备接收到所述语音的接收时间,在实际应用中,所述接收时间可作为唤醒会话的标识,目的是为了确保前述多个第一设备发送的第一决策结果是针对同一次唤醒会话的;基于所述第一决策结果确定出第一目标设备包括:在接收到多个第一决策结果的情况下,基于所述第一决策结果中包含的接收时间确定出目标决策结果,例如,上述云端服务器先后接收到J台设备发送的第一决策结果,而所述第一决策结果中包括接收时间,同一个唤醒流程下(即,由同一个语音所触发的唤醒操作流程),各设备接收语音的时间都是相近的,所以,可以基于各个决策结果中包含的接收时间来筛选出属于同一个唤醒流程下的决策结果,即,可以基于所述第一决策结果中包含的接收时间确定出目标决策结果,且所述目标决策结果中包含的接收时间与目标时间相差小于预定阈值(例如,小于100ms,或者小于50ms等),即对于与目标时间相差大于等于预定阈值的接收时间所对应的所述第一决策结果不能确定为所述目标决策结果;在确定出所述目标决策结果的情况下,再结合发出所述目标决策结果的设备中包括的距离值(即前述设备与所述语音的发出方的距离)来确定所述第一目标设备,可选地,在实际应用中,将距离所述语音的发出方最近的设备确定为所述第一目标设备。
在一个可选的实施例中,所述方法还包括:将所述第二目标设备的信息发送给云端语音服务,以指示所述云端语音服务将对接收到的数据调取请求所做的响应操作反馈给所述第二目标设备。其中,执行前述各个操作的可以是云端分布式服务,云端语音服务和云端分布式服务可以部署在同一个服务器中,也可以部署在不同的服务器中,本发明对此不作限制。可选地,云端语音服务器还可以主动获取上述待执行所述唤醒响应操作的设备的信息,在本实施例中,上述云端服务器将确定出的待执行所述唤醒响应操作的设备(如设备C)的信息发送给云端语音服务器,以指示所述云端语音服务器对接收到语音指令所做的响应操作反馈给待执行所述唤醒响应操作的设备(即前述设备C),在实际应用中,所述云端语音服务器将基于获取的待执行所述唤醒响应操作的设备(即前述设备C)的信息,向设备下发语义结果,其中,所述语义结果即为与所述语音指令相对应的响应操作行为,例如,返回用户请求播放的歌曲、相声等。
显然,上述所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。
下面结合实施例对本发明进行具体说明:
图3是根据本发明实施例的优选地唤醒响应操作的执行方法的流程图,图3中APP(Application,应用)是设备中的应用软件,SDK是设备中的特定功能模块,算法是设备中的算法模块,该流程包括如下步骤:
S302,用户发出语音,如小优小优(对应前述包含目标唤醒词的语音);
S304,设备(对应于前述第一设备)中SDK模块获得唤醒音频信息(即上述语音信息);
S306,所述设备开始分布式会话;
S308,所述设备中的算法模块接收所述唤醒音频信息并进行分析计算;
S310,所述算法模块基于预定的算法规则计算出分布式特征值,即所述设备依据所述唤醒语音的能量均峰值对所述唤醒语音进行评分后得到的值(相当于前述第一设备距离所述语音的发出方的距离),该值体现的含义为所述用户距离所述设备的距离;
S312,所述设备中的SDK模块将第一分布式特征值和第一会话标识(对应于前述第一决策结果)发送至云端分布式服务器(对应于前述云端服务器);
上述S302-S312相当于唤醒响应操作的执行方法的第一阶段,在此期间,云端服务器会在一个较短的时间内,对接收到的设备唤醒会话标识进行判断,是否属于同一次唤醒会话,并对同一次唤醒会话内的设备评分值进行两两比较,并立刻向较低分值的智能设备发送拒绝唤醒的指令,智能设备接收到拒绝指令后,立即停止所有针对此唤醒的响应行为,包括不限于唤醒提示音、语音识别会话、灯光效果等,如果智能设备在规定时间内未完成决策,先执行唤醒响应行为,等待后续决策结果;
S314,云端服务器继续收集其他设备的第二分布式特征值和第二会话标识;
S316,所述云端服务器进行分布式决策;
S318,所述云端服务器下发第一分布式决策结果(相当于前述从所述多个第一决策结果中确定出第一目标设备对应的决策结果)给所述SDK模块;
S320,APP模块从SDK模块中回调上述第一分布式决策结果;
S322,所述第一分布式决策结果对应的设备(对应前述的第一目标设备)执行唤醒响应行为,如包括不限于唤醒提示音、语音识别会话、灯光效果等;
S324,设备启动ASR(Automatic Speech Recognition,智能语音识别);
S326,设备中的SDK模块将设备识别的语音信息发送至云端服务器中包括的云端语音服务器以进行语音交互会话;
在上述实施步骤中,从下发上述第一分布式决策结果至设备执行所述唤醒响应期间(对应于上述步骤S318-S326),所述云端服务器还会在继续收集上述其他设备的第二分布式特征值和第二会话标识的基础上,进行新的分布式决策;
上述S314-S326相当于唤醒响应操作的执行方法的第二阶段,在此期间,云端服务器继续收集智能设备评分值,并同时向第一阶段评分值最高的智能设备发送分布式唤醒指令,智能设备接收到分布式唤醒指令后,立即执行唤醒响应行为,包括不限于唤醒提示音、语音识别会话、灯光效果等;
S328,所述云端服务器下发第二分布式决策结果(对应于前述第二目标设备对应的决策结果)给所述SDK模块;
S330,APP模块从SDK模块中回调上述第二分布式决策结果;
S332,所述第二分布式决策结果对应的设备(对应前述的第二目标设备)执行唤醒响应行为,如包括不限于唤醒提示音、语音识别会话、灯光效果等;
S334,所述云端语音服务器获取分布式结果(对应于前述将第二目标设备的信息发送给云端语音服务);
S336,所述云端语音服务器向上述设备下发语义结果给所述SDK模块,其中所述语义结果包含上述第二分布式决策结果,即将对接收到上述语音指令所做的响应操作反馈给待执行所述唤醒响应操作的设备;
S338,APP模块从SDK模块中回调上述语义结果;
S340,所述第二分布式决策结果对应的设备(对应前述的第一目标设备)执行与上述语义结果相对应的唤醒响应行为。
上述S328-S340相当于唤醒响应操作的执行方法的第三阶段,在此期间,云端服务器对后续接收到的同一唤醒会话内的设备评分值,加上第一阶段的最高分值,继续进行两两比较,并向较低分值的智能设备发送拒绝唤醒的指令,直到具备分布式竞争关系的智能设备全部决策完成,或者唤醒会话决策超时,即第一阶段接收到分布式唤醒指令的设备,也有可能在后续阶段接收到拒绝指令,并停止所有针对此唤醒的响应行为,最大可能地避免了多个设备同时进行语音交互的情况。
现对上述实施例进行举例说明,例如,用户家庭内有三台设备,分别为设备1、设备2、设备3,当用户唤醒时,设备1(90分)、设备2(80分)的评分值,在规定时间内上传到了云端,根据评分值云端决策,设备1唤醒,设备2被拒绝,设备3因为规定时间内未完成决策,根据策略也执行了唤醒响应;此时,设备3的评分值(100分)上传到云端,云端再次下发拒绝指令到设备1,设备1立即停止当前响应行为,同时,云端向设备3发送唤醒指令,设备3继续执行响应行为。
需要说明的是,参与上述决策的设备范围可根据用户智能设备的绑定关系决定,如登录了同一个帐号的设备组成的范围,当多个智能绑定在同一个用户的同一个家庭场景下,这些智能设备产生分布式竞争关系;即使多个设备处在不同的网络环境下,依然可以进行竞争响应决策。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种唤醒响应操作的执行装置,图4是根据本发明实施例的唤醒响应操作的执行装置的结构框图,如图4所示,该装置包括:
获取模块402,用于在第一预定时间内获取多个第一设备发送的第一决策结果;
确定模块404,用于基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;
执行模块406,用于重复执行如下操作,直到达到目标条件为止:在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制控制所述第二目标设备保持唤醒状态;
控制模块408,用于当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;
其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在执行所述唤醒响应操作的设备中包括的距离所述语音的发出方最近的设备。
在一个可选的实施例中,所述装置还用于在基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备之后,在确定所述第二目标设备与当前正在保持唤醒状态的设备为不同的设备的情况下,控制当前正在保持唤醒状态的设备退出唤醒状态。
在一个可选的实施例中,所述目标条件包括以下之一:接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果,其中,所述目标范围为由登录了目标帐号的设备所组成的范围,所述目标范围内全部允许被所述目标唤醒词唤醒的设备包括所述第一设备和所述第二设备;超出预定时长。
在一个可选的实施例中,所述装置还用于:在所述目标条件包括接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果的情况下,获取多个设备所登录的帐号的帐号信息;基于所述帐号信息确定出登录了所述目标帐号的设备;将登录了所述目标帐号的设备所组成的范围确定为所述目标范围。
在一个可选的实施例中,所述装置还包括:更新模块,用于在所述目标条件包括所述超出所述预定时长的情况下,对所述预定时长进行更新。
在一个可选的实施例中,所述第一决策结果还包括:所述第一设备接收到所述语音的接收时间;确定模块404包括:第一确定单元,用于在接收到多个第一决策结果的情况下,基于所述第一决策结果中包含的接收时间确定出目标决策结果,其中,所述目标决策结果中包含的接收时间与目标时间相差小于预定阈值;基于所述目标决策结果确定出所述第一目标设备,其中,所述第一目标设备为发出所述目标决策结果的设备中包括的距离所述语音的发出方最近的设备。
在一个可选的实施例中,所述装置还包括:发送模块,用于将所述第二目标设备的信息发送给云端语音服务,以指示所述云端语音服务将对接收到的数据调取请求所做的响应操作反馈给所述第二目标设备。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种唤醒响应操作的执行方法,其特征在于,包括:
在第一预定时间段内获取多个第一设备发送的第一决策结果;
基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;
重复执行如下操作,直到达到目标条件为止:
在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;
当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;
其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在保持唤醒状态的设备中包括的距离所述语音的发出方最近的设备。
2.根据权利要求1所述的方法,其特征在于,在基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备之后,所述方法还包括:
在确定所述第二目标设备与当前正在保持唤醒状态的设备为不同的设备的情况下,控制当前正在保持唤醒状态的设备退出唤醒状态。
3.根据权利要求1所述的方法,其特征在于,所述目标条件包括以下之一:
接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果,其中,所述目标范围为由登录了目标帐号的设备所组成的范围,所述目标范围内全部允许被所述目标唤醒词唤醒的设备包括所述第一设备和所述第二设备;
超出预定时长。
4.根据权利要求3所述的方法,其特征在于,在所述目标条件包括接收到目标范围内全部允许被所述目标唤醒词唤醒的设备发送的决策结果的情况下,所述方法还包括:
获取多个设备所登录的帐号的帐号信息;
基于所述帐号信息确定出登录了所述目标帐号的设备;
将登录了所述目标帐号的设备所组成的范围确定为所述目标范围。
5.根据权利要求3所述的方法,其特征在于,在所述目标条件包括所述超出所述预定时长的情况下,所述方法还包括:
对所述预定时长进行更新。
6.根据权利要求1所述的方法,其特征在于,
所述第一决策结果还包括:所述第一设备接收到所述语音的接收时间;
基于所述第一决策结果在多个所述第一设备中确定出第一目标设备包括:在接收到多个第一决策结果的情况下,基于所述第一决策结果中包含的接收时间确定出目标决策结果,其中,所述目标决策结果中包含的接收时间与目标时间相差小于预定阈值;基于所述目标决策结果确定出所述第一目标设备,其中,所述第一目标设备为发出所述目标决策结果的设备中包括的距离所述语音的发出方最近的设备。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第二目标设备的信息发送给云端语音服务,以指示所述云端语音服务将对接收到的数据调取请求所做的响应操作反馈给所述第二目标设备。
8.一种唤醒响应操作的执行装置,其特征在于,包括:
获取模块,用于在第一预定时间段内获取多个第一设备发送的第一决策结果;
确定模块,用于基于所述第一决策结果在多个所述第一设备中确定出第一目标设备,并控制所述第一目标设备保持唤醒状态,其中,所述第一目标设备为多个所述第一设备中的距离所述语音的发出方最近的设备;
执行模块,用于重复执行如下操作,直到达到目标条件为止:
在第二预定时间段内获取第二设备发送的第二决策结果,基于所述第二决策结果与当前正在保持唤醒状态的设备发送的决策结果确定出第二目标设备,并控制所述第二目标设备保持唤醒状态;
控制模块,用于当达到所述目标条件时,控制所述第二目标设备响应目标唤醒词,以执行唤醒操作;
其中,所述第一设备和第二设备均为允许被所述目标唤醒词唤醒的设备,所述第一决策结果和第二决策结果均用于指示所述设备在接收到包含所述目标唤醒词的语音后所确定出的设备距离所述语音的所述发出方的距离;所述第二目标设备为所述第二设备和当前正在保持唤醒状态的设备中包括的距离所述语音的发出方最近的设备。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110129127.3A CN112837686A (zh) | 2021-01-29 | 2021-01-29 | 唤醒响应操作的执行方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110129127.3A CN112837686A (zh) | 2021-01-29 | 2021-01-29 | 唤醒响应操作的执行方法、装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112837686A true CN112837686A (zh) | 2021-05-25 |
Family
ID=75931151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110129127.3A Pending CN112837686A (zh) | 2021-01-29 | 2021-01-29 | 唤醒响应操作的执行方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112837686A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689857A (zh) * | 2021-08-20 | 2021-11-23 | 北京小米移动软件有限公司 | 语音协同唤醒方法、装置、电子设备及存储介质 |
CN113891440A (zh) * | 2021-10-21 | 2022-01-04 | 北京小米移动软件有限公司 | 设备应答控制方法、设备应答控制装置及存储介质 |
CN115457955A (zh) * | 2022-07-29 | 2022-12-09 | 青岛海尔科技有限公司 | 分布式唤醒的决策方法、装置、存储介质及电子装置 |
CN116074150A (zh) * | 2023-03-02 | 2023-05-05 | 广东浩博特科技股份有限公司 | 智能家居的开关控制方法、装置以及智能家居 |
CN113689857B (zh) * | 2021-08-20 | 2024-04-26 | 北京小米移动软件有限公司 | 语音协同唤醒方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831894A (zh) * | 2012-08-09 | 2012-12-19 | 华为终端有限公司 | 指令处理方法、装置和系统 |
CN103731768A (zh) * | 2013-12-25 | 2014-04-16 | 深圳Tcl新技术有限公司 | 一种声音拾取方法及装置 |
CN107393548A (zh) * | 2017-07-05 | 2017-11-24 | 青岛海信电器股份有限公司 | 多个语音助手设备采集的语音信息的处理方法及装置 |
US20190341049A1 (en) * | 2018-08-31 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice Smart Device Wake-Up Method, Apparatus, Device and Storage Medium |
CN111276139A (zh) * | 2020-01-07 | 2020-06-12 | 百度在线网络技术(北京)有限公司 | 语音唤醒方法及装置 |
CN111722824A (zh) * | 2020-05-29 | 2020-09-29 | 北京小米松果电子有限公司 | 语音控制方法、装置及计算机存储介质 |
CN111833863A (zh) * | 2019-04-22 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 语音控制系统、方法和装置以及计算设备和存储介质 |
CN112037789A (zh) * | 2020-08-07 | 2020-12-04 | 海尔优家智能科技(北京)有限公司 | 设备唤醒方法、装置、存储介质及电子装置 |
-
2021
- 2021-01-29 CN CN202110129127.3A patent/CN112837686A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831894A (zh) * | 2012-08-09 | 2012-12-19 | 华为终端有限公司 | 指令处理方法、装置和系统 |
CN103731768A (zh) * | 2013-12-25 | 2014-04-16 | 深圳Tcl新技术有限公司 | 一种声音拾取方法及装置 |
CN107393548A (zh) * | 2017-07-05 | 2017-11-24 | 青岛海信电器股份有限公司 | 多个语音助手设备采集的语音信息的处理方法及装置 |
US20190341049A1 (en) * | 2018-08-31 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice Smart Device Wake-Up Method, Apparatus, Device and Storage Medium |
CN111833863A (zh) * | 2019-04-22 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 语音控制系统、方法和装置以及计算设备和存储介质 |
CN111276139A (zh) * | 2020-01-07 | 2020-06-12 | 百度在线网络技术(北京)有限公司 | 语音唤醒方法及装置 |
CN111722824A (zh) * | 2020-05-29 | 2020-09-29 | 北京小米松果电子有限公司 | 语音控制方法、装置及计算机存储介质 |
CN112037789A (zh) * | 2020-08-07 | 2020-12-04 | 海尔优家智能科技(北京)有限公司 | 设备唤醒方法、装置、存储介质及电子装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689857A (zh) * | 2021-08-20 | 2021-11-23 | 北京小米移动软件有限公司 | 语音协同唤醒方法、装置、电子设备及存储介质 |
CN113689857B (zh) * | 2021-08-20 | 2024-04-26 | 北京小米移动软件有限公司 | 语音协同唤醒方法、装置、电子设备及存储介质 |
CN113891440A (zh) * | 2021-10-21 | 2022-01-04 | 北京小米移动软件有限公司 | 设备应答控制方法、设备应答控制装置及存储介质 |
CN113891440B (zh) * | 2021-10-21 | 2024-04-09 | 北京小米移动软件有限公司 | 设备应答控制方法、设备应答控制装置及存储介质 |
CN115457955A (zh) * | 2022-07-29 | 2022-12-09 | 青岛海尔科技有限公司 | 分布式唤醒的决策方法、装置、存储介质及电子装置 |
CN116074150A (zh) * | 2023-03-02 | 2023-05-05 | 广东浩博特科技股份有限公司 | 智能家居的开关控制方法、装置以及智能家居 |
CN116074150B (zh) * | 2023-03-02 | 2023-06-09 | 广东浩博特科技股份有限公司 | 智能家居的开关控制方法、装置以及智能家居 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837686A (zh) | 唤醒响应操作的执行方法、装置、存储介质及电子装置 | |
CN108962262B (zh) | 语音数据处理方法和装置 | |
CN108766422B (zh) | 语音设备的响应方法、装置、存储介质及计算机设备 | |
CN109473092B (zh) | 一种语音端点检测方法及装置 | |
CN109360564B (zh) | 语言识别模式的选择方法及装置、家用电器 | |
CN108932947B (zh) | 语音控制方法及家电设备 | |
CN110751948A (zh) | 一种语音识别方法、装置、存储介质及语音设备 | |
CN109741740B (zh) | 基于外部触发的语音交互方法及装置 | |
CN109147788A (zh) | 本地语音库的更新方法及装置 | |
CN111638651A (zh) | 智能家居控制面板及其设置方法、服务器及存储介质 | |
CN110010125A (zh) | 一种智能机器人的控制方法、装置、终端设备及介质 | |
CN109150675A (zh) | 一种家用电器的交互方法及装置 | |
CN110277092A (zh) | 一种语音播报方法、装置、电子设备及可读存储介质 | |
CN112634897B (zh) | 设备唤醒方法、装置和存储介质及电子装置 | |
CN108922522A (zh) | 设备的控制方法、装置、存储介质及电子装置 | |
CN114791771A (zh) | 智能语音鼠标的交互管理系统及管理方法 | |
CN114968509A (zh) | 任务执行方法及装置 | |
CN112837694B (zh) | 设备唤醒方法、装置、存储介质及电子装置 | |
CN112420051A (zh) | 设备的确定方法、装置及存储介质 | |
CN114553625A (zh) | 响应设备的确定方法和装置、存储介质及电子装置 | |
CN114391165A (zh) | 语音信息处理方法、装置、设备及存储介质 | |
CN113676790B (zh) | 低压集抄设备的采集调度方法、装置、集中器和介质 | |
CN111464644B (zh) | 一种数据传输方法及电子设备 | |
CN112820273B (zh) | 唤醒判别方法和装置、存储介质及电子设备 | |
CN109147783A (zh) | 基于k歌系统的语音识别方法、介质及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210525 |