CN113689857A - 语音协同唤醒方法、装置、电子设备及存储介质 - Google Patents

语音协同唤醒方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113689857A
CN113689857A CN202110961834.9A CN202110961834A CN113689857A CN 113689857 A CN113689857 A CN 113689857A CN 202110961834 A CN202110961834 A CN 202110961834A CN 113689857 A CN113689857 A CN 113689857A
Authority
CN
China
Prior art keywords
awakening
wake
request
result
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110961834.9A
Other languages
English (en)
Other versions
CN113689857B (zh
Inventor
黄助良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110961834.9A priority Critical patent/CN113689857B/zh
Priority claimed from CN202110961834.9A external-priority patent/CN113689857B/zh
Publication of CN113689857A publication Critical patent/CN113689857A/zh
Priority to EP21218106.9A priority patent/EP4137932A1/en
Priority to US17/646,640 priority patent/US20230054011A1/en
Application granted granted Critical
Publication of CN113689857B publication Critical patent/CN113689857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

本公开是关于语音协同唤醒方法、装置、电子设备及存储介质,方法包括:响应于语音唤醒事件,生成第一唤醒请求,并将第一唤醒请求发送至服务器;接收至少一个第二智能设备发送的第二唤醒请求,每个第二唤醒请求是发送第二唤醒请求的第二智能设备响应于语音唤醒事件而生成;如果满足决策条件,根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送第一唤醒结果;如果生成第一唤醒结果,在接收到服务器根据第一唤醒请求和第二唤醒请求返回的第二唤醒结果之后,根据第二唤醒结果执行唤醒或抑制唤醒;如果生成第一唤醒结果,在接收到第二唤醒结果之前,根据第一唤醒结果执行唤醒或抑制唤醒。以有效改善多个智能设备同时应答的现象。

Description

语音协同唤醒方法、装置、电子设备及存储介质
技术领域
本公开涉及通信领域,尤其涉及一种语音协同唤醒方法、装置、电子设备及存储介质。
背景技术
随着技术发展,智能家居设备的应用越来越广泛,比如生活中的智能空调、智能冰箱、电视机等智能设备。智能设备可以采用语音唤醒的方式与用户交互,相关技术中存在多个智能设备同时唤醒的问题,比如,用户喊出一个唤醒词时,当前空间中的多个设备同时应答。
发明内容
为克服相关技术中存在的问题,本公开提供一种语音协同唤醒方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提出了一种语音协同唤醒方法,应用于多个智能设备中的第一智能设备,所述方法包括:
响应于语音唤醒事件,生成第一唤醒请求,并将所述第一唤醒请求发送至服务器;
接收至少一个第二智能设备发送的第二唤醒请求,其中,每个所述第二唤醒请求是发送所述第二唤醒请求的第二智能设备响应于所述语音唤醒事件而生成;
如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果;
如果生成所述第一唤醒结果,在接收到所述服务器根据所述第一唤醒请求和所述第二唤醒请求返回的第二唤醒结果之后,丢弃所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒;
如果生成所述第一唤醒结果,在接收到所述第二唤醒结果之前,根据所述第一唤醒结果执行唤醒或抑制唤醒。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述方法还包括:
根据收到的所述第二唤醒请求,确定每个所述第二智能设备的唯一标识;
若每个所述第二智能设备的唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
可选地,所述方法还包括:
若接收所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果,包括:
向所述唤醒设备发送第一响应唤醒数据;
向所述抑制唤醒设备发送第一抑制唤醒数据。
根据本公开实施例的第二方面,提出了一种语音协同唤醒方法,应用于多个智能设备中的第二智能设备,所述方法包括:
响应于语音唤醒事件,生成第二唤醒请求;
发送所述第二唤醒请求至第一智能设备和服务器;
接收所述第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果;其中,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成,所述第二唤醒结果为:所述服务器根据所述第二唤醒请求、所述第一唤醒请求以及预设的决策规则生成;
若先接收到所述第一唤醒结果,后接收到所述第二唤醒结果,丢弃所述第二唤醒结果,根据所述第一唤醒结果执行唤醒或抑制唤醒;
若先接收到所述第二唤醒结果,后接收到所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述接收所述第一智能设备发送的第一唤醒结果,包括:
若为唤醒设备,接收所述第一智能设备发送的第一响应唤醒数据;
若为所述抑制唤醒设备,接收所述第一智能设备发送的第一抑制唤醒数据。
可选地,所述接收服务器发送的第二唤醒结果,包括:
若为唤醒设备,接收第二响应唤醒数据;
若为所述抑制唤醒设备,接收第二抑制唤醒数据。
根据本公开实施例的第三方面,提出了一种语音协同唤醒方法,应用于服务器,所述方法包括:
接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求;其中,所述第一唤醒请求为所述第一智能设备响应于所述语音唤醒事件生成,所述第二唤醒请求为所述第二智能设备响应于所述语音唤醒事件生成;
若满足决策条件,根据预设的决策规则,生成第二唤醒结果;
发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备;其中,所述第二智能设备中还接收有第一唤醒结果,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述方法还包括:
根据收到的所述第一唤醒请求以及所述第二唤醒请求,确定所述第一智能设备的唯一标识以及所述第二智能设备的唯一标识;
若确定的每个唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
可选地,所述方法还包括:
若接收所述第一唤醒请求以及所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括位置信息,所述位置信息用于指示当前设备与用户的距离信息;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的位置信息,选择距离信息最小的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备,包括:
向所述唤醒设备发送第二响应唤醒数据;
向所述抑制唤醒设备发送第二抑制唤醒数据。
根据本公开实施例的第四方面,提出了一种语音协同唤醒装置,应用于多个智能设备中的第一智能设备,所述装置包括:
第一生成模块,用于响应于语音唤醒事件,生成第一唤醒请求,并将所述第一唤醒请求发送至服务器;
第一接收模块,用于接收至少一个第二智能设备发送的第二唤醒请求,其中,每个所述第二唤醒请求是发送所述第二唤醒请求的第二智能设备响应于所述语音唤醒事件而生成;
第一发送模块,用于如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果;
第一执行模块,用于如果生成所述第一唤醒结果,在接收到所述服务器根据所述第一唤醒请求和所述第二唤醒请求返回的第二唤醒结果之后,丢弃所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒;
第一执行模块还用于,如果生成所述第一唤醒结果,在接收到所述第二唤醒结果之前,根据所述第一唤醒结果执行唤醒或抑制唤醒。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述装置还包括:第一确定模块,所述第一确定模块用于,
根据收到的所述第二唤醒请求,确定每个所述第二智能设备的唯一标识;
若每个所述第二智能设备的唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
可选地,所述装置还包括:第一确定模块,所述第一确定模块还用于,
若接收所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述第一发送模块用于:
向所述唤醒设备发送第一响应唤醒数据;
向所述抑制唤醒设备发送第一抑制唤醒数据。
根据本公开实施例的第五方面,提出了一种语音协同唤醒装置,应用于多个智能设备中的第二智能设备,所述装置包括:
第二生成模块,用于响应于语音唤醒事件,生成第二唤醒请求;
第二发送模块,用于发送所述第二唤醒请求至第一智能设备和服务器;
第二接收模块,用于接收所述第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果;其中,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成,所述第二唤醒结果为:所述服务器根据所述第二唤醒请求、所述第一唤醒请求以及预设的决策规则生成;
第二执行模块,用于若先接收到所述第一唤醒结果,后接收到所述第二唤醒结果,丢弃所述第二唤醒结果,根据所述第一唤醒结果执行唤醒或抑制唤醒;
第二执行模块还用于,若先接收到所述第二唤醒结果,后接收到所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述第二接收模块用于:
若为唤醒设备,接收所述第一智能设备发送的第一响应唤醒数据;
若为所述抑制唤醒设备,接收所述第一智能设备发送的第一抑制唤醒数据。
可选地,所述第二接收模块还用于:
若为唤醒设备,接收第二响应唤醒数据;
若为所述抑制唤醒设备,接收第二抑制唤醒数据。
根据本公开实施例的第六方面,提出了一种语音协同唤醒装置,应用于服务器,所述装置包括:
第三接收模块,用于接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求;其中,所述第一唤醒请求为所述第一智能设备响应于所述语音唤醒事件生成,所述第二唤醒请求为所述第二智能设备响应于所述语音唤醒事件生成;
第三生成模块,用于若满足决策条件,根据预设的决策规则,生成第二唤醒结果;
第三发送模块,用于发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备;其中,所述第二智能设备中还接收有第一唤醒结果,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成。
可选地,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述装置还包括:第二确定模块,所述第二确定模块用于,
根据收到的所述第一唤醒请求以及所述第二唤醒请求,确定所述第一智能设备的唯一标识以及所述第二智能设备的唯一标识;
若确定的每个唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
可选地,所述装置还包括:第二确定模块,所述第二确定模块还用于,
若接收所述第一唤醒请求以及所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
可选地,所述第一唤醒请求和所述第二唤醒请求中均包括位置信息,所述位置信息用于指示当前设备与用户的距离信息;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的位置信息,选择距离信息最小的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
可选地,所述第三发送模块用于:
向所述唤醒设备发送第二响应唤醒数据;
向所述抑制唤醒设备发送第二抑制唤醒数据。
根据本公开实施例的第七方面,提出了一种电子设备,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如上任一项所述的语音协同唤醒方法。
根据本公开实施例的第八方面,提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上任一项所述的语音协同唤醒方法。
本公开的实施例提供的技术方案可以包括以下有益效果:本公开的方法中,在接收到用户的语音后,服务器和第一智能设备可以分别对多个第二智能设备进行集中决策,根据唤醒结果确定执行唤醒或抑制唤醒,有效改善多个智能设备同时应答的现象。同时,服务器和第一智能设备可以分别确定控制策略,改善由于网络异常等原因导致的决策结果发送不及时的现象。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的应用场景示意图。
图2是根据一示例性实施例示出的方法的流程图。
图3是根据一示例性实施例示出的方法的流程图。
图4是根据一示例性实施例示出的方法的流程图。
图5是根据一示例性实施例示出的方法的交互示意图。
图6是根据一示例性实施例示出的装置的框图。
图7是根据一示例性实施例示出的装置的框图。
图8是根据一示例性实施例示出的装置的框图。
图9是根据一示例性实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
相关技术中,在接收到用户发出的语音后,每个智能设备都可以单独进行决策。智能设备根据自身决策结果,确定是否对语音应答。因此,每个智能设备结合自身情况进行单独决策后,多个设备间就会出现同时应答的情况。
此外,对于利用服务器进行统一决策的方式中,由于网络异常等原因,可能导致不能及时发送决策结果的问题。从而决策结果不能及时发送到应答设备,影响语音唤醒的效率和准确性。
为解决相关技术中的问题,本公开实施例提出了一种语音协同唤醒方法,应用于多个智能设备中的第一智能设备,方法包括:响应于语音唤醒事件,生成第一唤醒请求,并将第一唤醒请求发送至服务器;接收至少一个第二智能设备发送的第二唤醒请求,其中,每个第二唤醒请求是发送第二唤醒请求的第二智能设备响应于语音唤醒事件而生成;如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送第一唤醒结果;如果生成第一唤醒结果,在接收到服务器根据第一唤醒请求和第二唤醒请求返回的第二唤醒结果之后,丢弃第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒;如果生成第一唤醒结果,在接收到第二唤醒结果之前,根据第一唤醒结果执行唤醒或抑制唤醒。本公开的方法中,在接收到用户的语音后,服务器和第一智能设备可以分别对多个智能设备进行集中决策,根据唤醒结果确定执行唤醒或抑制唤醒,有效改善多个智能设备同时应答的现象。同时,服务器和第一智能设备可以分别确定和发送控制策略,改善由于网络异常等原因导致的决策结果发送不及时的现象。
结合图1所示,本公开实施例的应用场景可以是:在语音协同唤醒系统中,包含多个智能设备,多个智能设备分别与服务器连接。多个智能设备可以分别是:智能冰箱10、监控设备20、智能音箱30、移动终端40和智能时钟50。在接收到用户的语音如“小爱同学”后,本系统中可以根据用户的语音进行决策,唤醒某一个智能设备,比如图1中的智能冰箱10可以执行唤醒应答“我在”,而其他智能执行抑制唤醒,即决策不应答本次语音。其中,多个智能设备可视为一组,每组的多个智能设备可基于相同的无线网络连接、以相同的账号信息(uid)登录。
在一个示例性的实施例中,本实施例的语音协同唤醒方法,应用于第一智能设备。第一智能设备为多个智能设备中选举出的决策设备,多个智能设备中的非决策设备记为第二智能设备。
选举的方式比如可以是:多个智能设备间互相通信,并沟通性能信息,以性能信息最好的为第一智能设备。比如,语音协同唤醒系统中根据每个智能设备的设备信息,进行本地对比,确定其中性能最好的智能设备为第一智能设备。比如,多个智能设备分别为智能冰箱、监控设备、智能音箱、移动终端,控制端根据每个智能设备的设备信息,确定移动终端的使用性能及控制性能更好,确定移动终端为第一智能设备。
或者,服务器获取每个智能设备的性能信息,并根据性能信息对多个智能设备进行排序,以其中性能最好的智能设备首先作为第一智能设备。并可以以预设的时长间隔,按照智能设备的性能信息排序,轮流选取智能设备作为第一智能设备。此方式中,每个智能设备可以基于语音协同唤醒系统或服务器的通知消息,获知自身是否为第一智能设备。
如图2所示,本实施例中的方法可以包括如下步骤:
S110、响应于语音唤醒事件,生成第一唤醒请求,并将第一唤醒请求发送至服务器。
S120、接收至少一个第二智能设备发送的第二唤醒请求。
S130、如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送第一唤醒结果。
S140、如果生成第一唤醒结果,在接收到服务器根据第一唤醒请求和第二唤醒请求返回的第二唤醒结果之后,丢弃第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒。
S150、如果生成第一唤醒结果,在接收到第二唤醒结果之前,根据第一唤醒结果执行唤醒或抑制唤醒。
其中,在步骤S110中,在多个智能设备所处的环境中,当第一智能设备检测或接收到用户发出的语音唤醒词,第一智能设备确定存在语音唤醒事件。语音唤醒词可以是用户定义的问候语,或者是智能设备出厂过程中设置的唤醒词,比如为“小爱同学”。当存在唤醒事件,每个智能设备均可进入待响应状态,第一智能设备可生成第一唤醒请求,第二智能设备可生成第二唤醒请求。
本步骤中,第一唤醒请求或第二唤醒请求均可以包括:对应智能设备的设备信息以及基于语音唤醒事件的运算结果。每个智能设备中可集成有语音唤醒的相关算法,根据接收的语音唤醒词,每个智能设备可以结合算法计算运算结果,以运算结果表征智能设备当前的语音能量值或与用户的距离值。
第一智能设备基于通信连接,可将生成的第一唤醒请求发送至服务器。
在步骤S120中,每个第二唤醒请求是发送第二唤醒请求的第二智能设备响应于语音唤醒事件而生成,即每个第二智能设备基于语音唤醒事件都会生成对应的第二唤醒请求。
结合步骤S110的描述,第二唤醒请求中包括:对应第二智能设备的设备信息以及基于语音唤醒事件的运算结果(表征语音能量值或与用户的距离值)。
每个第二智能设备在生成对应的第二唤醒请求后,可将第二唤醒请求分别发送至第一智能设备和服务器。
在步骤S130中,决策条件比如可以包括决策时间条件或接收唤醒请求的数量条件。预设的决策规则可以是根据多个智能设备的性能,确定其中唤醒设备或抑制唤醒设备。
当满足决策条件时,第一智能设备根据自身生成的第一唤醒请求、第二智能设备发来的第二唤醒请求以及预设的决策规则,生成第一唤醒结果。第一智能设备将生成的第一唤醒结果分别发送给每个第二智能设备。
在步骤S140中,第一智能设备除生成第一唤醒结果,还可以接收服务器发送的第二唤醒结果。服务器在收到全部智能设备的唤醒请求后,或者,达到预设接收时长(如300ms)后,基于每个智能设备的唤醒请求(第一唤醒请求和第二唤醒请求)以及预设的决策规则,可以集中决策,生成第二唤醒结果。
第一智能设备可以根据第一唤醒结果和第二唤醒结果的顺序,确定执行何种唤醒结果。本步骤中,第一智能设备在收到第二唤醒结果之后生成第一唤醒结果,则可以丢弃或忽略第一唤醒结果,以第二唤醒结果执行唤醒或抑制唤醒。
在步骤S150中,第一智能设备若在收到第二唤醒结果之前生成第一唤醒结果,则可以忽略第二唤醒结果,以自身生成的第一唤醒结果执行唤醒或抑制唤醒。
本公开实施例中,第一智能设备和服务器可分别作为决策端(server),根据智能设备发送的唤醒请求进行集中决策,确定唤醒结果。改善同时唤醒的现象。并且,两个决策端的控制策略形成双保险,局域网和公网一般不会同时异常,服务器端或者第一智能设备端的控制策略始终有一种可正常发送,改善唤醒延迟或不唤醒的现象。
在一个示例性的实施例中,本实施例中第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识。
本实施例中确定是否满足决策条件的方法,可以包括如下步骤:
S11、根据收到的第二唤醒请求,确定每个第二智能设备的唯一标识。
S12、若每个第二智能设备的唯一标识分别与预存的参考标识对应匹配,确定满足决策条件。
其中,在步骤S11中,第一智能设备可以根据第二唤醒请求中的唯一标识,确定对应的第二智能设备。此外,服务器可以根据第一唤醒请求中的唯一标识,确定对应的第一智能设备;根据第二唤醒请求中的唯一标识,确定对应的第二智能设备。
在步骤S12中,第一智能设备中可以预存有参考标识。在参考标识中,包括语音协同唤醒系统中的多个智能设备所对应的多个标识。
第一智能设备根据收到的第二唤醒请求,解析出第二设备的唯一标识后,可以与参考标识进行对比匹配,若多个第二智能设备的标识与参考标识中的对应标识一一对应。则表明:已收到全部其他智能设备的唤醒请求,第一智能设备确定满足决策条件,可以执行步骤S130。
在一个示例性的实施例中,本实施例中确定是否满足决策条件的方法,还可以包括如下步骤:
S13、若接收第二唤醒请求的时间超过预设时长,确定满足决策条件。
本实施例中,第一智能设备在接收状态下开始计时,如接收第一个第二唤醒请求为初始时间,若接收第二唤醒请求的时间超过预设时长(如300ms)后,则认为超时,确定满足决策条件,可以执行步骤S130。
结合上述两个确定满足决策条件的实施例,第一智能设备中集成有Judge服务模块。第一智能设备既可以是在收到全部其他智能设备的唤醒请求后开始决策,也可以是达到预设接收时长(如300ms)后,开始决策。此外,第一智能设备与服务器中的决策条件以及决策规则可以相同,从而可以并行的确定相同的唤醒结果。
在一个示例性的实施例中,第一唤醒请求和第二唤醒请求中均包括语音能量值,语音能量值用于指示当前设备检测到的语音的声音能量。
预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,第一智能设备根据语音唤醒事件生成第一唤醒请求,因此第一唤醒请求中的语音能量值表征:第一智能设备检测到的用户语音的声音能量。第二智能设备根据语音唤醒事件生成第二唤醒请求,因此第二唤醒请求中的语音能量值表征:第二智能设备检测到的用户语音的声音能量。
其中,声音能量越大,表明设备与用户(声源)距离越近。而决策规则旨在选取与用户距离最近的作为唤醒设备,其余的则可以作为抑制唤醒设备。
在一个示例性的实施例中,本实施例中步骤S130可以包括如下步骤:
S1301、向唤醒设备发送第一响应唤醒数据。
S1302、向抑制唤醒设备发送第一抑制唤醒数据。
其中,在步骤S1301中,第一唤醒结果包括第一响应唤醒数据。第一智能设备在根据预设的决策规则确定唤醒设备后,可向唤醒设备发送第一响应唤醒数据。从而,唤醒设备可对语音唤醒事件执行唤醒,进行应答。
在步骤S1302中,第一唤醒结果还包括第一抑制唤醒数据。第一智能设备在根据预设的决策规则确定抑制唤醒设备后,可向唤醒设备发送第一抑制唤醒数据。从而,抑制唤醒设备对语音唤醒事件执行抑制唤醒,不应答。
可以理解的,在其他实施例中,第一智能设备也可能作为唤醒设备或抑制唤醒设备,此时,第一智能设备可基于自身确定的第一唤醒结果中自行解析获得对应数据即可。
在一个示例性的实施例中,本公开实施例还提出了一种语音协同唤醒方法,应用于前述语音协同唤醒系统中的第二智能设备。第二智能设备相对于第一智能设备而言,不能进行决策。
如图3所示,本实施例的方法可以包括如下步骤:
S210、响应于语音唤醒事件,生成第二唤醒请求。
S220、发送第二唤醒请求至第一智能设备和服务器。
S230、接收第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果。
S240、若先接收到第一唤醒结果,后接收到第二唤醒结果,丢弃第二唤醒结果,根据第一唤醒结果执行唤醒或抑制唤醒。
S250、若先接收到第二唤醒结果,后接收到第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒。
其中,在步骤S210中,结合图1的场景中,当用户发出语音唤醒词如“小爱同学”,第二智能设备确定存在语音唤醒事件。响应于该事件,第二智能设备可生成第二唤醒请求。
在步骤S220中,第二智能设备将生成的第二唤醒请求分别发送给第一智能设备和服务器。
在步骤S230中,第一唤醒结果为:满足决策条件时,第一智能设备根据生成的第一唤醒请求、第二唤醒请求以及预设的决策规则生成。第二唤醒结果为:服务器根据第二唤醒请求、第一唤醒请求以及预设的决策规则生成。
本步骤中,第一智能设备和服务器并行决策,分别得到第一唤醒结果和第二唤醒结果。第二智能设备可接收第一唤醒结果和第二唤醒结果。
在步骤S240中,服务器和第一智能设备分别确定唤醒结果、发送唤醒结果的时间可能是相同的,也可能是不同的。因此,当同时接收到服务器和第一智能设备发送的唤醒结果,可以选取任一个控制策略进行解析,并执行控制策略包含的指令。
本步骤中,当接收的时间不同,则第二智能设备可以根据接收到第一唤醒结果和第二唤醒结果的先后顺序,确定执行何种唤醒结果。
本步骤中,当第二智能设备先接收到第一智能设备发送的第一唤醒结果,后接收到第二唤醒结果,则可以根据第一唤醒结果执行对应操作,而忽略第二唤醒结果。
在步骤S250中,第二智能设备若先接收到服务器发送的第二唤醒结果,后接收到第一智能设备发送的第一唤醒结果,则以第二唤醒结果执行对应操作,而忽略第一唤醒结果。
在一个示例性的实施例中,第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识。
本实施例中,第二智能设备发送的第二唤醒请求中包含对应的唯一标识,从而在第一智能设备或服务器根据两种唤醒请求进行决策时,可以确定对应的第二智能设备,便于准确决策以及准确发送通知消息。
在一个示例性的实施例中,第一唤醒请求和第二唤醒请求中均包括语音能量值,语音能量值用于指示当前设备检测到的语音的声音能量。
预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,第一智能设备和服务器采取的决策规则可以相同,从而得到相同的唤醒结果。根据第一唤醒结果或者第二唤醒结果,第一智能设备和第二智能设备中离用户最近的可以作为唤醒设备,而其余智能设备则可以作为抑制唤醒设备。
在一个示例性的实施例中,本实施例中步骤S230可以包括如下步骤:
S2301、若为唤醒设备,接收第一智能设备发送的第一响应唤醒数据。
S2302、若为抑制唤醒设备,接收第一智能设备发送的第一抑制唤醒数据。
其中,在步骤S2301中,第一智能设备生成的第一唤醒结果包括第一响应唤醒数据。第一智能设备发送第一唤醒结果时,可结合确定的唤醒设备及对应的标识,为唤醒设备发送第一响应唤醒数据。从而,唤醒设备可以对语音唤醒事件进行响应应答。
在步骤S2302中,第一智能设备生成的第一唤醒结果还包括第一抑制唤醒数据。第一智能设备为抑制唤醒设备发送第一抑制唤醒数据。从而,抑制唤醒设备可对语音唤醒事件抑制唤醒,即决策不应答。
在一个示例性的实施例中,本实施例中步骤S230还可以是包括如下步骤:
S2303、若为唤醒设备,接收第二响应唤醒数据。
S2304、若为抑制唤醒设备,接收第二抑制唤醒数据。
其中,在步骤S2303中,服务器生成的第二唤醒结果包括第二响应唤醒数据。服务器可结合确定的唤醒设备及对应的标识,为唤醒设备发送第二响应唤醒数据。从而,唤醒设备可以对语音唤醒事件进行响应应答。
在步骤S2304中,第二唤醒结果包括第二抑制唤醒数据。服务器为抑制唤醒设备发送第二抑制唤醒数据。从而,抑制唤醒设备可对语音唤醒事件抑制唤醒,即决策不应答。
在一个示例性的实施例中,本公开实施例中还提出了一种语音协同唤醒方法,应用于服务器,服务器中集成有Judge服务模块。服务器与多个智能设备通信连接,连接方式可参见上述实施例,此处不再赘述。同时,结合前述实施例,多个智能设备为一组,其中包含:用于可进行决策的第一智能设备以及第二智能设备。
如图4所示,本实施例的方法可以包括如下步骤:
S310、接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求。
S320、若满足决策条件,根据预设的决策规则,生成第二唤醒结果。
S330、发送第二唤醒结果至第一智能设备和第二智能设备。
其中,在步骤S310中,第一唤醒请求为第一智能设备响应于语音唤醒事件生成,第二唤醒请求为第二智能设备响应于语音唤醒事件生成。服务器接收两种设备的唤醒请求。
第一唤醒请求或第二唤醒请求均可以包括:对应智能设备的设备信息以及基于语音唤醒事件的运算结果。每个智能设备中可集成有语音唤醒的相关算法,根据接收的语音唤醒词,每个智能设备可以结合算法计算运算结果,以运算结果表征智能设备当前的语音能量值或与用户的距离值。
在步骤S320中,决策条件和决策规则可分别与第一智能设备中设置的决策条件相同。决策条件比如可以包括决策时间条件或接收唤醒请求的数量条件。预设的决策规则可以是根据多个智能设备的性能,确定其中唤醒设备或抑制唤醒设备。
在步骤S330中,服务器生成的第二唤醒结果会分别发送给第一智能设备和第二智能设备。
本步骤中,第二智能设备中还接收有第一唤醒结果,第一唤醒结果为:满足决策条件时,第一智能设备根据生成的第一唤醒请求、第二唤醒请求以及预设的决策规则生成。
在一个示例性的实施例中,第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识。
本实施例中确定是否满足决策条件的方法,可以包括如下步骤:
S31、根据收到的第一唤醒请求以及第二唤醒请求,确定第一智能设备的唯一标识以及第二智能设备的唯一标识。
S32、若确定的每个唯一标识分别与预存的参考标识对应匹配,确定满足决策条件。
其中,在步骤S31中,服务器可根据对应的唤醒请求,确定每个智能设备对应的唯一标识。
在步骤S32中,服务器存储有参考标识。在参考标识中,包括语音协同唤醒系统中的多个智能设备所对应的多个标识。若服务器根据步骤S31解析出的智能设备的标识能够与参考标识中的标识一一对应匹配,则表明:服务器已收到全部智能设备的唤醒请求,确定满足决策条件。可执行步骤S320。
在一个示例性的实施例中,本实施例中确定是否满足决策条件的方法,还可以是包括如下步骤:
S33、若接收第一唤醒请求以及第二唤醒请求的时间超过预设时长,确定满足决策条件。
本实施例中,服务器在接收状态下开始计时,如接收第一个唤醒请求为初始时间,若接收后续唤醒请求的时间超过预设时长(如300ms)后,则认为超时,确定满足决策条件。可执行步骤S320。
在一个示例性的实施例中,第一唤醒请求和第二唤醒请求中均包括位置信息,位置信息用于指示当前设备与用户的距离信息。
预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的位置信息,选择距离信息最小的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,每个智能设备基于用户的语音唤醒事件,生成对应的唤醒请求。结合前述实施例,唤醒请求中包括基于接收语音事件运算得到的距离值,或者位置信息。从而,可以获知对应设备与用户的距离信息。本实施例中旨在选择距离用户最近的设备作为唤醒设备。
其中,每个智能设备中可以结合接收到的语音确定距离,还可以是在智能设备中设置有距离传感器(如红外传感器),当存在语音唤醒事件,智能设备生成的唤醒请求可包括距离信息。
在一个示例性的实施例中,本实施例中步骤S330可以包括如下步骤:
S3301、向唤醒设备发送第二响应唤醒数据。
S3302、向抑制唤醒设备发送第二抑制唤醒数据。
其中,在步骤S3301中,第二唤醒结果包括第二响应唤醒数据。服务器根据决策规则可确定第一智能设备和第二智能设备中的唤醒设备。向唤醒设备发送第二响应唤醒数据,从而,唤醒设备可对语音唤醒事件执行唤醒,进行应答。
在步骤S3302中,第二唤醒结果还包括第二抑制唤醒数据。服务器向抑制唤醒设备发送第二抑制唤醒数据,从而,抑制唤醒设备对语音唤醒事件执行抑制唤醒,不应答。
结合本公开的上述实施例,本公开中服务器和第一智能设备可以分别作为决策端,以集中式决策的方式分别决策,形成双决策模式,同时结合了分布式决策的优点。服务器端属于云端,第一智能设备属于本地,两处分别进行确定控制策略,并分别发送给智能设备。从而,有效改善了分布式决策导致的同时唤醒问题。此外,局域网和公网一般不会同时异常,服务器端或者第一智能设备端的控制策略始终有一种可正常发送,改善唤醒延迟或不唤醒的现象。
为进一步描述本公开的实施例,结合图5所示,本实施例中的语音交互系统包括:服务器,智能设备device_A、智能设备device_B、智能设备device_C和智能设备device_X。本实施例的方法可以包括如下步骤:
S1、确定智能设备device_A、智能设备device_B、智能设备device_C和智能设备device_X的中的第一智能设备。
比如,根据智能设备之间的性能,本示例中确定性能最好的智能设备device_X为第一智能设备。确定每个智能设备是否为第一智能设备可以是语音交互系统来确定。或者,是服务器基于每个智能设备的设备信息,确定第一智能设备。是否为第一智能设备的结果需告知每个智能设备。因此当存在唤醒事件,每个智能设备可根据通知结果确定自身是否为第一智能设备,也可以确定第一智能设备的标识。
S2、当用户发出语音唤醒词,智能设备确定存在唤醒事件。每个智能设备均可处于待响应状态,第一智能设备生成第一唤醒请求,第二智能设备生成第二唤醒请求。
S3、每个智能设备执行对应操作:第二智能设备将第二唤醒请求发送至服务器和第一智能设备;第一智能设备接收第二智能设备发送的第二唤醒请求,并将自己的第一唤醒请求也发送至服务器。
S4、满足决策条件时,第一智能设备根据第一唤醒请求和第二智能设备的第二唤醒请求以及预设的决策规则,生成第一唤醒结果。服务器根据第一唤醒请求、第二唤醒请求以及预设的决策规则,生成第二唤醒结果。
S5、第一智能设备将第一唤醒结果发送至第二智能设备。服务器将第二唤醒结果发送至每个智能设备。
S6、结合决策规则,唤醒设备将收到第一智能设备发送的第一响应唤醒数据以及服务器发送的第二响应唤醒数据。抑制唤醒设备将收到第一智能设备发送的第一抑制唤醒数据以及服务器发送的第二抑制唤醒数据。
比如,本示例中,device_A为唤醒设备,则可以根据第一响应唤醒数据或者第二响应唤醒数据,执行唤醒操作,即应答唤醒事件。device_B和device_C为抑制唤醒设备,则可以根据第一抑制唤醒数据或者第二抑制唤醒数据,执行抑制唤醒,即忽略本次唤醒事件。
本公开中的方法,结合本实施例,可以有效减少交互过程中发送唤醒请求的数量。本公开中发送唤醒请求的数量可以是N*2-1个。相较于相关技术的分布式决策方式中,发送的请求数据数量减少。相关技术中每个智能设备的唤醒请求都需要一一发送给其他智能设备,发送的请求数据数量为N*(N-1)个。其中,N代表智能设备的数量。由此,本公开可以大大缓解网络压力。
在一个示例性的实施例中,本公开还提出了一种语音协同唤醒装置,应用于多个智能设备中的第一智能设备。如图6所示,本实施例的装置包括:第一生成模块110、第一接收模块120、第一发送模块130及第一执行模块140。本实施例的装置用于实现如图2所示的方法。其中,第一生成模块110用于响应于语音唤醒事件,生成第一唤醒请求,并将第一唤醒请求发送至服务器。第一接收模块120用于接收至少一个第二智能设备发送的第二唤醒请求,其中,每个第二唤醒请求是发送第二唤醒请求的第二智能设备响应于语音唤醒事件而生成。第一发送模块130用于如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送第一唤醒结果。第一执行模块140用于如果生成第一唤醒结果,在接收到服务器根据第一唤醒请求和第二唤醒请求返回的第二唤醒结果之后,丢弃第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒。第一执行模块140还用于,如果生成第一唤醒结果,在接收到第二唤醒结果之前,根据第一唤醒结果执行唤醒或抑制唤醒。
本实施例中,第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识;
本实施例中,装置还包括:第一确定模块,第一确定模块用于,根据收到的第二唤醒请求,确定每个第二智能设备的唯一标识;若每个第二智能设备的唯一标识分别与预存的参考标识对应匹配,确定满足决策条件。第一确定模块还用于,若接收第二唤醒请求的时间超过预设时长,确定满足决策条件。
本实施例中,第一唤醒请求和第二唤醒请求中均包括语音能量值,语音能量值用于指示当前设备检测到的语音的声音能量;预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,第一发送模块130用于:向唤醒设备发送第一响应唤醒数据;向抑制唤醒设备发送第一抑制唤醒数据。
在一个示例性的实施例中,本公开还提出了一种语音协同唤醒装置,应用于多个智能设备中的第二智能设备。如图7所示,本实施例的装置包括:第二生成模块210、第二发送模块220、第二接收模块230及第二执行模块240。本实施例的装置用于实现如图3所示的方法。其中,第二生成模块210用于响应于语音唤醒事件,生成第二唤醒请求。第二发送模块220用于发送第二唤醒请求至第一智能设备和服务器。第二接收模块230用于接收第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果;其中,第一唤醒结果为:满足决策条件时,第一智能设备根据生成的第一唤醒请求、第二唤醒请求以及预设的决策规则生成,第二唤醒结果为:服务器根据第二唤醒请求、第一唤醒请求以及预设的决策规则生成。第二执行模块240用于若先接收到第一唤醒结果,后接收到第二唤醒结果,丢弃第二唤醒结果,根据第一唤醒结果执行唤醒或抑制唤醒。第二执行模块240还用于,若先接收到第二唤醒结果,后接收到第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒。
本实施例中,第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识。
本实施例中,第一唤醒请求和第二唤醒请求中均包括语音能量值,语音能量值用于指示当前设备检测到的语音的声音能量;
预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,第二接收模块230用于:若为唤醒设备,接收第一智能设备发送的第一响应唤醒数据;若为抑制唤醒设备,接收第一智能设备发送的第一抑制唤醒数据。第二接收模块230还用于:若为唤醒设备,接收第二响应唤醒数据;若为抑制唤醒设备,接收第二抑制唤醒数据。
在一个示例性的实施例中,本公开还提出了一种语音协同唤醒装置,应用于服务器。如图8所示,本实施例的装置包括:第三接收模块310、第三生成模块320及第三发送模块330。本实施例的装置用于实现如图4所示的方法。其中,第三接收模块310用于接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求;其中,第一唤醒请求为第一智能设备响应于语音唤醒事件生成,第二唤醒请求为第二智能设备响应于语音唤醒事件生成。第三生成模块320用于若满足决策条件,根据预设的决策规则,生成第二唤醒结果。第三发送模块330用于发送第二唤醒结果至第一智能设备和第二智能设备;其中,第二智能设备中还接收有第一唤醒结果,第一唤醒结果为:满足决策条件时,第一智能设备根据生成的第一唤醒请求、第二唤醒请求以及预设的决策规则生成。
本实施例中,第一唤醒请求包括第一智能设备的唯一标识,第二唤醒请求包括第二智能设备的唯一标识;装置还包括:第二确定模块,第二确定模块用于,根据收到的第一唤醒请求以及第二唤醒请求,确定第一智能设备的唯一标识以及第二智能设备的唯一标识;若确定的每个唯一标识分别与预存的参考标识对应匹配,确定满足决策条件。第二确定模块还用于,若接收第一唤醒请求以及第二唤醒请求的时间超过预设时长,确定满足决策条件。
本实施例中,第一唤醒请求和第二唤醒请求中均包括位置信息,位置信息用于指示当前设备与用户的距离信息;预设的决策规则为:根据第一唤醒请求以及接收到的各个第二唤醒请求中的位置信息,选择距离信息最小的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
本实施例中,第三发送模块330用于:向唤醒设备发送第二响应唤醒数据;向抑制唤醒设备发送第二抑制唤醒数据。
如图9所示是一种电子设备的框图。本公开还提供了一种电子设备,例如,设备500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
设备500可以包括以下一个或多个组件:处理组件502,存储器504,电力组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常决策设备500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当设备500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为设备500提供各个方面的状态评估。例如,传感器组件514可以检测到设备500的打开/关闭状态,组件的相对定位,例如组件为设备500的显示器和小键盘,传感器组件514还可以检测设备500或设备500一个组件的位置改变,用户与设备500接触的存在或不存在,设备500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的方法。
本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由设备500的处理器520执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种语音协同唤醒方法,其特征在于,应用于多个智能设备中的第一智能设备,所述方法包括:
响应于语音唤醒事件,生成第一唤醒请求,并将所述第一唤醒请求发送至服务器;
接收至少一个第二智能设备发送的第二唤醒请求,其中,每个所述第二唤醒请求是发送所述第二唤醒请求的第二智能设备响应于所述语音唤醒事件而生成;
如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果;
如果生成所述第一唤醒结果,在接收到所述服务器根据所述第一唤醒请求和所述第二唤醒请求返回的第二唤醒结果之后,丢弃所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒;
如果生成所述第一唤醒结果,在接收到所述第二唤醒结果之前,根据所述第一唤醒结果执行唤醒或抑制唤醒。
2.根据权利要求1所述的方法,其特征在于,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述方法还包括:
根据收到的所述第二唤醒请求,确定每个所述第二智能设备的唯一标识;
若每个所述第二智能设备的唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若接收所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
4.根据权利要求1所述的方法,其特征在于,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
5.根据权利要求4所述的方法,其特征在于,所述根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果,包括:
向所述唤醒设备发送第一响应唤醒数据;
向所述抑制唤醒设备发送第一抑制唤醒数据。
6.一种语音协同唤醒方法,其特征在于,应用于多个智能设备中的第二智能设备,所述方法包括:
响应于语音唤醒事件,生成第二唤醒请求;
发送所述第二唤醒请求至第一智能设备和服务器;
接收所述第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果;其中,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成,所述第二唤醒结果为:所述服务器根据所述第二唤醒请求、所述第一唤醒请求以及预设的决策规则生成;
若先接收到所述第一唤醒结果,后接收到所述第二唤醒结果,丢弃所述第二唤醒结果,根据所述第一唤醒结果执行唤醒或抑制唤醒;
若先接收到所述第二唤醒结果,后接收到所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒。
7.根据权利要求6所述的语音协同唤醒方法,其特征在于,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识。
8.根据权利要求6所述的方法,其特征在于,所述第一唤醒请求和所述第二唤醒请求中均包括语音能量值,所述语音能量值用于指示当前设备检测到的语音的声音能量;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的语音能量值,选择语音能量值最大的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
9.根据权利要求8所述的方法,其特征在于,所述接收所述第一智能设备发送的第一唤醒结果,包括:
若为唤醒设备,接收所述第一智能设备发送的第一响应唤醒数据;
若为所述抑制唤醒设备,接收所述第一智能设备发送的第一抑制唤醒数据。
10.根据权利要求8所述的方法,其特征在于,所述接收服务器发送的第二唤醒结果,包括:
若为唤醒设备,接收第二响应唤醒数据;
若为所述抑制唤醒设备,接收第二抑制唤醒数据。
11.一种语音协同唤醒方法,其特征在于,应用于服务器,所述方法包括:
接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求;其中,所述第一唤醒请求为所述第一智能设备响应于语音唤醒事件生成,所述第二唤醒请求为所述第二智能设备响应于所述语音唤醒事件生成;
若满足决策条件,根据预设的决策规则,生成第二唤醒结果;
发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备;其中,所述第二智能设备中还接收有第一唤醒结果,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成。
12.根据权利要求11所述的方法,其特征在于,所述第一唤醒请求包括所述第一智能设备的唯一标识,所述第二唤醒请求包括所述第二智能设备的唯一标识;
所述方法还包括:
根据收到的所述第一唤醒请求以及所述第二唤醒请求,确定所述第一智能设备的唯一标识以及所述第二智能设备的唯一标识;
若确定的每个唯一标识分别与预存的参考标识对应匹配,确定满足所述决策条件。
13.根据权利要求11所述的方法,其特征在于,所述方法还包括:
若接收所述第一唤醒请求以及所述第二唤醒请求的时间超过预设时长,确定满足所述决策条件。
14.根据权利要求11所述的方法,其特征在于,所述第一唤醒请求和所述第二唤醒请求中均包括位置信息,所述位置信息用于指示当前设备与用户的距离信息;
所述预设的决策规则为:根据所述第一唤醒请求以及接收到的各个所述第二唤醒请求中的位置信息,选择距离信息最小的唤醒请求所对应的智能设备作为唤醒设备,并将其他智能设备作为抑制唤醒设备。
15.根据权利要求14所述的方法,其特征在于,所述发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备,包括:
向所述唤醒设备发送第二响应唤醒数据;
向所述抑制唤醒设备发送第二抑制唤醒数据。
16.一种语音协同唤醒装置,其特征在于,应用于多个智能设备中的第一智能设备,所述装置包括:
第一生成模块,用于响应于语音唤醒事件,生成第一唤醒请求,并将所述第一唤醒请求发送至服务器;
第一接收模块,用于接收至少一个第二智能设备发送的第二唤醒请求,其中,每个所述第二唤醒请求是发送所述第二唤醒请求的第二智能设备响应于所述语音唤醒事件而生成;
第一发送模块,用于如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送所述第一唤醒结果;
第一执行模块,用于如果生成所述第一唤醒结果,在接收到所述服务器根据所述第一唤醒请求和所述第二唤醒请求返回的第二唤醒结果之后,丢弃所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒;
第一执行模块还用于,如果生成所述第一唤醒结果,在接收到所述第二唤醒结果之前,根据所述第一唤醒结果执行唤醒或抑制唤醒。
17.一种语音协同唤醒装置,其特征在于,应用于多个智能设备中的第二智能设备,所述装置包括:
第二生成模块,用于响应于语音唤醒事件,生成第二唤醒请求;
第二发送模块,用于发送所述第二唤醒请求至第一智能设备和服务器;
第二接收模块,用于接收所述第一智能设备发送的第一唤醒结果以及接收服务器发送的第二唤醒结果;其中,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成,所述第二唤醒结果为:所述服务器根据所述第二唤醒请求、所述第一唤醒请求以及预设的决策规则生成;
第二执行模块,用于若先接收到所述第一唤醒结果,后接收到所述第二唤醒结果,丢弃所述第二唤醒结果,根据所述第一唤醒结果执行唤醒或抑制唤醒;
第二执行模块还用于,若先接收到所述第二唤醒结果,后接收到所述第一唤醒结果,根据所述第二唤醒结果执行唤醒或抑制唤醒。
18.一种语音协同唤醒装置,其特征在于,应用于服务器,所述装置包括:
第三接收模块,用于接收第一智能设备发送的第一唤醒请求以及第二智能设备发送的第二唤醒请求;其中,所述第一唤醒请求为所述第一智能设备响应于语音唤醒事件生成,所述第二唤醒请求为所述第二智能设备响应于所述语音唤醒事件生成;
第三生成模块,用于若满足决策条件,根据预设的决策规则,生成第二唤醒结果;
第三发送模块,用于发送所述第二唤醒结果至所述第一智能设备和所述第二智能设备;其中,所述第二智能设备中还接收有第一唤醒结果,所述第一唤醒结果为:满足决策条件时,所述第一智能设备根据生成的第一唤醒请求、所述第二唤醒请求以及预设的决策规则生成。
19.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1至5任一项或者权利要求6至10任一项或者权利要求11至15任一项所述的语音协同唤醒方法。
20.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至5任一项或者权利要求6至10任一项或者权利要求11至15任一项所述的语音协同唤醒方法。
CN202110961834.9A 2021-08-20 2021-08-20 语音协同唤醒方法、装置、电子设备及存储介质 Active CN113689857B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110961834.9A CN113689857B (zh) 2021-08-20 语音协同唤醒方法、装置、电子设备及存储介质
EP21218106.9A EP4137932A1 (en) 2021-08-20 2021-12-29 Voice collaborative awakening method and apparatus, electronic device and storage medium
US17/646,640 US20230054011A1 (en) 2021-08-20 2021-12-30 Voice collaborative awakening method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961834.9A CN113689857B (zh) 2021-08-20 语音协同唤醒方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113689857A true CN113689857A (zh) 2021-11-23
CN113689857B CN113689857B (zh) 2024-04-26

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553625A (zh) * 2022-02-17 2022-05-27 青岛海尔科技有限公司 响应设备的确定方法和装置、存储介质及电子装置
CN115457955A (zh) * 2022-07-29 2022-12-09 青岛海尔科技有限公司 分布式唤醒的决策方法、装置、存储介质及电子装置
WO2023231894A1 (zh) * 2022-05-31 2023-12-07 四川虹美智能科技有限公司 基于协同纠错的唤醒方法、装置及系统、介质、设备
WO2023245519A1 (zh) * 2022-06-22 2023-12-28 北京小米移动软件有限公司 语音设备组网方法、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469040A (zh) * 2015-08-19 2017-03-01 华为终端(东莞)有限公司 通信方法、服务器及设备
CN109391528A (zh) * 2018-08-31 2019-02-26 百度在线网络技术(北京)有限公司 语音智能设备的唤醒方法、装置、设备及存储介质
US20190130908A1 (en) * 2017-11-02 2019-05-02 Hyundai Motor Company Speech recognition device and method for vehicle
CN110322878A (zh) * 2019-07-01 2019-10-11 华为技术有限公司 一种语音控制方法、电子设备及系统
US20190355365A1 (en) * 2017-01-13 2019-11-21 Samsung Electronics Co., Ltd. Electronic device and method of operation thereof
US20200005789A1 (en) * 2019-06-20 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a voice
CN110875041A (zh) * 2018-08-29 2020-03-10 阿里巴巴集团控股有限公司 语音控制方法、装置及系统
CN111048086A (zh) * 2019-12-24 2020-04-21 苏州思必驰信息科技有限公司 多设备间的语音唤醒方法、和自协商的语音唤醒方法、装置及系统
US20200265838A1 (en) * 2017-10-17 2020-08-20 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
CN112017640A (zh) * 2020-09-17 2020-12-01 北京小米松果电子有限公司 唤醒决策方法、装置、电子设备及存储介质
CN112037787A (zh) * 2020-10-20 2020-12-04 北京小米松果电子有限公司 唤醒控制方法、装置及计算机可读存储介质
US20200395006A1 (en) * 2019-06-12 2020-12-17 Sonos, Inc. Conditional Wake Word Eventing Based on Environment
CN112837686A (zh) * 2021-01-29 2021-05-25 青岛海尔科技有限公司 唤醒响应操作的执行方法、装置、存储介质及电子装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469040A (zh) * 2015-08-19 2017-03-01 华为终端(东莞)有限公司 通信方法、服务器及设备
US20190355365A1 (en) * 2017-01-13 2019-11-21 Samsung Electronics Co., Ltd. Electronic device and method of operation thereof
US20200265838A1 (en) * 2017-10-17 2020-08-20 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
US20190130908A1 (en) * 2017-11-02 2019-05-02 Hyundai Motor Company Speech recognition device and method for vehicle
CN110875041A (zh) * 2018-08-29 2020-03-10 阿里巴巴集团控股有限公司 语音控制方法、装置及系统
CN109391528A (zh) * 2018-08-31 2019-02-26 百度在线网络技术(北京)有限公司 语音智能设备的唤醒方法、装置、设备及存储介质
US20200395006A1 (en) * 2019-06-12 2020-12-17 Sonos, Inc. Conditional Wake Word Eventing Based on Environment
US20200005789A1 (en) * 2019-06-20 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a voice
CN110322878A (zh) * 2019-07-01 2019-10-11 华为技术有限公司 一种语音控制方法、电子设备及系统
CN112289313A (zh) * 2019-07-01 2021-01-29 华为技术有限公司 一种语音控制方法、电子设备及系统
CN111048086A (zh) * 2019-12-24 2020-04-21 苏州思必驰信息科技有限公司 多设备间的语音唤醒方法、和自协商的语音唤醒方法、装置及系统
CN112017640A (zh) * 2020-09-17 2020-12-01 北京小米松果电子有限公司 唤醒决策方法、装置、电子设备及存储介质
CN112037787A (zh) * 2020-10-20 2020-12-04 北京小米松果电子有限公司 唤醒控制方法、装置及计算机可读存储介质
CN112837686A (zh) * 2021-01-29 2021-05-25 青岛海尔科技有限公司 唤醒响应操作的执行方法、装置、存储介质及电子装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553625A (zh) * 2022-02-17 2022-05-27 青岛海尔科技有限公司 响应设备的确定方法和装置、存储介质及电子装置
CN114553625B (zh) * 2022-02-17 2024-03-22 青岛海尔科技有限公司 响应设备的确定方法和装置、存储介质及电子装置
WO2023231894A1 (zh) * 2022-05-31 2023-12-07 四川虹美智能科技有限公司 基于协同纠错的唤醒方法、装置及系统、介质、设备
WO2023245519A1 (zh) * 2022-06-22 2023-12-28 北京小米移动软件有限公司 语音设备组网方法、装置及存储介质
CN115457955A (zh) * 2022-07-29 2022-12-09 青岛海尔科技有限公司 分布式唤醒的决策方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
EP4137932A1 (en) 2023-02-22
US20230054011A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN106961526B (zh) 通知消息的显示方法及装置、电子设备
CN106162768B (zh) 无线接入点切换方法及装置
US20170055221A1 (en) Method and apparatus for starting energy saving mode
CN110890092B (zh) 唤醒控制方法及装置、计算机存储介质
CN108334651B (zh) 收集用户端数据实现预设需求的方法、装置及存储介质
CN112037787A (zh) 唤醒控制方法、装置及计算机可读存储介质
CN114374962B (zh) 自组网的通信方法、终端、车辆及存储介质
CN110262692B (zh) 一种触摸屏扫描方法、装置及介质
RU2615683C2 (ru) Способ и устройство для выполнения идентификации связи
CN112133302A (zh) 预唤醒终端的方法、装置及存储介质
CN109522058B (zh) 唤醒方法、装置、终端及存储介质
CN111966412A (zh) 唤醒终端的方法、装置及存储介质
CN105227426B (zh) 一种应用界面切换方法、装置及终端设备
EP4137932A1 (en) Voice collaborative awakening method and apparatus, electronic device and storage medium
CN106506808B (zh) 对通讯消息提示的方法及装置
CN111857849A (zh) 唤醒处理方法、装置、电子设备及存储介质
US20170201479A1 (en) Group message display method, device and medium
CN109274825B (zh) 一种消息提醒方法及装置
CN113689857B (zh) 语音协同唤醒方法、装置、电子设备及存储介质
CN110913276A (zh) 数据处理的方法、装置、服务器、终端及存储介质
CN107846481B (zh) 账户管理方法及装置
CN107039054B (zh) 录音方法及装置
CN114124866A (zh) 会话处理方法、装置、电子设备及存储介质
CN106060104B (zh) 应用管理方法及装置
CN114430370B (zh) 网络切片的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant