CN118053423A - 唤醒应用程序的方法及电子设备 - Google Patents
唤醒应用程序的方法及电子设备 Download PDFInfo
- Publication number
- CN118053423A CN118053423A CN202211438531.XA CN202211438531A CN118053423A CN 118053423 A CN118053423 A CN 118053423A CN 202211438531 A CN202211438531 A CN 202211438531A CN 118053423 A CN118053423 A CN 118053423A
- Authority
- CN
- China
- Prior art keywords
- breath
- software module
- awakening
- application program
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000002618 waking effect Effects 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 91
- 230000004044 response Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 description 47
- 238000007726 management method Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000238558 Eucarida Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- GRRMZXFOOGQMFA-UHFFFAOYSA-J YoYo-1 Chemical compound [I-].[I-].[I-].[I-].C12=CC=CC=C2C(C=C2N(C3=CC=CC=C3O2)C)=CC=[N+]1CCC[N+](C)(C)CCC[N+](C)(C)CCC[N+](C1=CC=CC=C11)=CC=C1C=C1N(C)C2=CC=CC=C2O1 GRRMZXFOOGQMFA-UHFFFAOYSA-J 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种唤醒应用程序的方法及电子设备,该方法包括:气息唤醒处理装置在检测出获取到的第一数据用于指示气息唤醒第一应用程序时,发送第一数据中的语音数据;气息唤醒软件模块存储语音数据,启动第一应用程序,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒;第一应用程序在调用气息唤醒软件模块成功时,发送第一通知;气息唤醒软件模块向第一应用程序发送语音数据;第一应用程序对语音数据进行语音识别;第一应用程序在根据语音数据确定语音识别结束时发送第二通知;气息唤醒软件模块响应于第二通知控制气息唤醒处理装置启动下一次气息唤醒。从而,不仅实现了应用程序的唤醒,还为应用程序的唤醒做好了准备。
Description
技术领域
本申请属于终端技术领域,尤其涉及一种唤醒应用程序的方法及电子设备。
背景技术
随着语音识别技术的发展,许多电子设备中添加了语音助手(例如YOYO、小艺、Siri等),帮助用户完成与电子设备的人机交互过程。一般而言,语音助手处于休眠状态,用户想要使用语音助手时,可以对语音助手进行唤醒。
目前,唤醒语音助手主要包括按键唤醒、和关键词唤醒这两种技术。按键唤醒的技术中,通过接收到的用户对按键(例如电源键)进行触发的操作,实现语音助手的唤醒。关键词唤醒的技术中,通过接收到的用户语音输入的特定唤醒词(例如,“你好,YOYO”、“小艺,小艺”、“Hi Siri”),实现语音助手的唤醒。
然而,上述的实现过程中,唤醒语音助手的较为繁琐,使用户的体验不高。
发明内容
本申请提供了一种唤醒应用程序的方法及电子设备,不仅实现了当前次应用程序的唤醒,还为下一次应用程序的唤醒做好了准备,提高了用户的使用体验。
第一方面,本申请提供一种唤醒应用程序的方法,应用于电子设备,电子设备包括:第一应用程序、气息唤醒软件模块、和气息唤醒处理装置;
该方法包括:
气息唤醒处理装置获取第一数据;
气息唤醒处理装置在检测出第一数据用于指示气息唤醒第一应用程序时,向气息唤醒软件模块发送第一数据中的语音数据;
气息唤醒软件模块存储语音数据,启动第一应用程序,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒且继续获取语音数据;
第一应用程序在启动后,调用气息唤醒软件模块成功时,向气息唤醒软件模块发送第一通知;
气息唤醒软件模块响应于第一通知,向第一应用程序发送语音数据;
第一应用程序对语音数据进行语音识别;
第一应用程序在根据语音数据确定语音识别结束时,向气息唤醒软件模块发送第二通知;
气息唤醒软件模块响应于第二通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
上述方法,气息唤醒处理装置在检测出第一数据用于指示气息唤醒第一应用程序时,气息唤醒软件模块可启动第一应用程序,采用气息唤醒的技术唤醒第一应用程序,保证了第一应用程序启动的便捷性和及时性。
另外,气息唤醒软件模块启动第一应用程序时,可控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断掉当前次的语音识别,保证了当前次第一应用程序语音识别的质量。
此外,气息唤醒软件模块可在第一应用程序确定语音识别结束时,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复第一应用程序的气息唤醒的功能,为下一次应用程序的唤醒做好准备。
可见,本申请不仅实现了当前次应用程序的唤醒,还为下一次应用程序的唤醒做好了准备,提高了用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:
气息唤醒软件模块在经过预设时长,未接收到第一通知,或者第二通知时,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
上述方法,气息唤醒软件模块在经过预设时长,未接收到第一通知,或者第二通知时,可确定当前第一应用程序未启动,或者第一应用程序调用气息唤醒软件模块未成功,使得气息唤醒软件模块收不到第一通知,或者第二通知。
从而,气息唤醒软件模块可控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复语音助手应用程序的气息唤醒的功能。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:
第一应用程序在启动后,显示第一用户界面;
第一应用程序在第一用户界面中显示语音识别结果。
其中,第一用户界面可以显示语音识别结果,便于用户能够及时了解语音识别结果,提高了用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,气息唤醒软件模块包括:第一软件模块、和第二软件模块,语音数据存储在第二软件模块中;
第一应用程序在启动后,调用气息唤醒软件模块成功时,向气息唤醒软件模块发送第一通知,包括:
第一应用程序在启动后,调用第一软件模块成功时,向第一软件模块发送第一通知;
气息唤醒软件模块响应于第一通知,向第一应用程序发送语音数据,包括:
第一软件模块响应于第一通知,从第二软件模块中调用语音数据,向第一应用程序发送语音数据。
其中,第一软件模块可以为音频策略服务模块(audio policy service)。
第二软件模块可以为音频驱动(sound trigger-hal)。
上述方法中,第一应用程序在调用第一软件模块成功时,第一软件模块可从第二软件模块中调用语音数据,向第一应用程序发送语音数据,便于第一应用程序能够及时的接收到语音数据。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:
第一软件模块响应于第一通知,向第二软件模块发送第三通知;
第二软件模块响应于第三通知,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒且继续获取语音数据。
上述方法中,第二软件模块能够响应于第三通知,控制气息唤醒处理装置检测第一应用程序的气息唤醒且继续获取语音数据,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断掉当前次的语音识别。
再次保证了当前次第一应用程序语音识别的质量,气息唤醒处理装置停止检测第一应用程序的气息唤醒,还可以起到为电子设备省电的效果。
结合第一方面,在第一方面的某些实现方式中,气息唤醒软件模块响应于第二通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,包括:
第一软件模块响应于第二通知,向第二软件模块发送第四通知;
第二软件模块响应于第四通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
上述方法中,由于气息唤醒软件模块启动第一应用程序时,可控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,以及,第二软件模块响应于第三通知,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒。
可见,当前控制气息唤醒处理装置已停止检测第一应用程序的气息唤醒,由此,第二软件模块响应于第四通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复第一应用程序的气息唤醒的功能。
结合第一方面,在第一方面的某些实现方式中,气息唤醒软件模块还包括第三软件模块和第四软件模块;
气息唤醒软件模块存储语音数据,启动第一应用程序,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,且继续获取语音数据,包括:
第二软件模块存储语音数据,向第三软件模块发送唤醒事件;
第三软件模块响应于唤醒事件,向第四软件模块发送唤醒事件,以及向第二软件模块发送第五通知;
第四软件模块响应于唤醒事件,启动第一应用程序;
第二软件模块响应于第五通知,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒且继续获取语音数据。
其中,第三软件模块可以为声音触发模块(sound trigger module)。
第四软件模块可以为音频触发模块(sound trigger)。
上述方法中,第四软件模块响应于唤醒事件时,可启动第一应用程序,保证了第一应用程序启动的及时性。
另外,由于已触发唤醒事件,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断掉当前次的语音识别,保证了当前次第一应用程序语音识别的质量。
结合第一方面,在第一方面的某些实现方式中,方法还包括:
第三软件模块响应于唤醒事件,设定定时时间,并根据所述定时时间开始计时;
第三软件模块确定所述定时时间计时结束时,未接收到第一通知,或者第二通知时,向第二软件模块发送第六通知;
第二软件模块响应于第六通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒;
第三软件模块响应于第一通知,关闭定时时间的计时。
上述方法中,可通过定时器的设置时间,来确定是否收到第一通知或者第二通知,便于在未接收到第一通知,或者第二通知时,第二软件模块控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,恢复气息唤醒功能。
结合第一方面,在第一方面的某些实现方式中,第一应用程序在根据语音数据确定语音识别结束时,向气息唤醒软件模块发送第二通知,包括:
第一应用程序响应于用于指示结束语音识别的操作,确定语音识别结束;
或者,第一应用程序确定语音数据对应的语音文本满足预设规则时,确定语音识别结束;
第一应用程序在确定语音识别结束时,向第一软件模块发送第二通知。
其中,第一应用程序可通过两种方式,判断语音识别是否结束,一种为接收到用户指示的结束语音识别的操作时,确定语音识别结束,另一种为,确定语音数据对应的语音文本为一个完整的词语或者句子时,确定语音识别结束。
另外,第一应用程序在确定语音识别结束时,向第一软件模块发送第二通知,便于通知第三软件模块,第三软件模块能够通知第二软件模块,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
结合第一方面,在第一方面的某些实现方式中,气息唤醒处理装置包括:惯性检测传感器、声音采集传感器、和音频数字信号处理器;
第一数据中包括:语音数据和手势数据,气息唤醒处理装置获取第一数据,包括:
惯性检测传感器采集到手势数据;
所述惯性检测传感器向音频数字信号处理器发送手势数据;
声音采集传感器采集到语音数据;
所述声音采集传感器向音频数字信号处理器发送语音数据;
气息唤醒处理装置在检测出第一数据用于指示气息唤醒第一应用程序时,向气息唤醒软件模块发送第一数据中的语音数据,包括:
气息唤醒处理装置在检测出手势数据与预设唤醒手势数据之间的相似度大于第一阈值,且语音数据与预设唤醒气息数据之间的相似度大于第二阈值时,向气息唤醒软件模块发送语音数据。
上述方法中,惯性检测传感器可采集手势数据,声音采集传感器可采集语音数据。
气息唤醒处理装置可对惯性检测传感器采集到的手势数据,以及声音采集传感器采集到的语音数据进行检测。
第二方面,本申请提供一种唤醒应用程序的装置,该实现触发电子设备执行功能的装置用于执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
第三方面,本申请提供一种电子设备,包括处理器;当处理器执行存储器中的计算机代码或指令时,使得电子设备执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
第四方面,本申请提供一种电子设备,包括一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
第五方面,本申请提供一种芯片系统,该芯片系统包括处理器,用于从存储器中调用并运行计算机程序,使得安装有芯片系统的电子设备执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
第六方面,本申请提供一种计算机可读存储介质,包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
第七方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面及第一方面任一种可能的设计中的唤醒应用程序的方法。
可以理解的是,上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种唤醒应用程序的方法的场景示意图;
图2为本申请一实施例提供的一种电子设备的结构示意图;
图3为本申请一实施例提供的一种电子设备的结构示意图;
图4为本申请一实施例提供的一种气息唤醒软件模块的结构示意图;
图5为本申请一实施例提供的一种唤醒应用程序的方法的流程示意图;
图6为本申请一实施例提供的一种唤醒应用程序的方法的流程示意图;
图7A-图7E为本申请一实施例提供的一种人机交互界面示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。
应理解,对于关键词唤醒语音助手应用程序(application,APP)而言:
电子设备通过声音采集传感器(例如,麦克风)采集到语音数据后,发送到低功耗的音频数字信号处理器(audio digital signal processing,ADSP),ADSP通过语音唤醒模型检测该语音数据。
当ADSP检测到该语音数据中存在与预设的唤醒词匹配的唤醒词数据时,ADSP将语音数据发送给唤醒软件模块。其中,此过程可称为一级唤醒。
由唤醒软件模块对前述语音数据进行文本校验和声纹校验,以判断该语音数据是否与生成的声纹模型匹配。当语音数据与声纹模型匹配时,唤醒软件模块则可以控制语音助手应用程序启动。其中,此过程可称为二级唤醒。
其中,关键词唤醒语音助手应用程序,存在特定的关键词,每经过一次唤醒,语音唤醒模型可停止运行一次,并启动运行一次。
对于气息唤醒语音助手应用程序而言:
电子设备通过声音采集传感器采集到语音数据,以及通过惯性检测传感器采集到手势数据后,发送到低功耗的音频数字信号处理器(audio digital signal processing,ADSP),ADSP通过气息唤醒模型检测该语音数据和手势数据。
其中,气息唤醒模型用于对获取到的语音数据和手势数据进行检测,并判断语音数据是否与预设唤醒气息数据之间的相似度大于第一阈值,以及手势数据是否与预设唤醒手势数据之间的相似度大于第二阈值。
另外,可通过样本唤醒气息数据和样本唤醒手势数据,对原始唤醒模型进行训练,得到气息唤醒模型。
当ADSP检测到该语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且该手势数据与预设唤醒手势数据之间的相似度大于第二阈值时,ADSP将语音数据发送给气息唤醒软件模块。由气息唤醒软件模块控制语音助手应用程序启动。
可见,对于气息唤醒语音助手应用程序而言,仅存在一级唤醒的过程。
本申请可提供一种唤醒应用程序的方法、唤醒应用程序的装置、电子设备、芯片系统、计算机可读存储介质、以及计算机程序产品,ADSP可在检测到获取的语音数据与预设唤醒气息数据匹配,且手势数据与预设唤醒手势数据匹配时,将检测到的语音数据发送给气息唤醒软件模块。气息唤醒软件模块存储该语音数据,以及控制语音助手应用程序启动,控制ADSP停止对获取到的数据进行检测。语音助手应用程序启动后,且在调用气息唤醒软件模块成功时,气息唤醒软件模块可向控制语音助手应用程序发送语音数据,使得控制语音助手应用程序对语音数据进行语音识别。另外,语音助手应用程序在根据语音数据确定语音识别结束时,可通知气息唤醒软件模块,气息唤醒软件模块可控制ADSP重新启动对下一次获取到的数据进行检测。
从而,实现了应用程序当前次的唤醒,保证了用户通过语音助手与电子设备的交互,为应用程序的下一次唤醒做好了准备,提高了用户的使用体验。
其中,本申请提供的唤醒应用程序的方法,可以应用于电子设备。电子设备可以为具有显示屏硬件以及相应软件支持的电子设备。
例如,电子设备可以为手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、家居设备等设备,本申请对电子设备的具体类型不作任何限制。
请参阅图1,图1示出了本申请一实施例提供的一种唤醒应用程序的方法的场景示意图。
如图1所示,用户可抬起电子设备,将电子设备的底部靠近嘴边,对准麦克风说话。
电子设备通过麦克风采集到用户说话时对应的语音数据,以及通过惯性检测传感器采集到用户抬起电子设备对应的手势数据后,发送到低功耗的ADSP,ADSP通过气息唤醒模型检测该语音数据和手势数据。当ADSP检测到该语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且该手势数据与预设唤醒手势数据之间的相似度大于第二阈值时,ADSP将语音数据发送给气息唤醒软件模块。气息唤醒软件模块控制语音助手启动。
其中,电子设备与用户的嘴部之间的距离可保持在0-5cm,便于电子设备的麦克风准确采集用户的语音数据。
另外,上述手势数据可以为抬腕的手势数据。
其中,图1中从左图的框A部分指示的手势状态,到右图的框B部分指示的手势状态可以看出,用户可通过抬腕的手势抬起电子设备,惯性检测传感器能够采集到该抬腕的手势数据。
图1中从右图可以看出,用户在通过抬腕的手势抬起电子设备后,嘴部靠近电子设备的麦克风说话,可发出C部分指示的气息,麦克风能够采集到该气息,以及气息对应的语音数据。
应理解,上述为对场景的举例说明,并不对本申请的场景作任何限定。
为了便于说明,图2中,以电子设备100为手机为例进行示意。
如图2所示,在一些实施例中,电子设备100可以包括处理器101和通信模块102等。
其中,处理器101可以包括一个或多个处理单元,例如:处理器101可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器,图像信号处理器(imagesignal processor,ISP),控制器,存储器,视频流编解码器,数字信号处理器(digitalsignal processor,DSP),基带处理器,和/或神经网络处理器(neural-networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器101中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器101中还可以设置存储器,用于存储指令和数据。
在一些实施例中,处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器101的等待时间,因而提高了系统的效率。
在一些实施例中,处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口304等。
通信模块102可以包括天线1,天线2,移动通信模块,和/或无线通信模块。
如图2所示,在一些实施例中,电子设备100还可以包括外部存储器接口105、内部存储器104,USB接口106、充电管理模块107、电源管理模块108、电池109、和传感器模块103等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
充电管理模块107用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
在一些有线充电的实施例中,充电管理模块107可以通过USB接口106接收有线充电器的充电输入。
在一些无线充电的实施例中,充电管理模块107可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块107为电池109充电的同时,还可以通过电源管理模块108为电子设备100供电。
电源管理模块108用于连接电池109,充电管理模块107与处理器101。电源管理模块108接收电池109和/或充电管理模块107的输入,为处理器101,内部存储器104,外部存储器,和通信模块102等供电。电源管理模块108还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
在其他一些实施例中,电源管理模块108也可以设置于处理器101中。
在另一些实施例中,电源管理模块108和充电管理模块107也可以设置于同一个器件中。
外部存储器接口105可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口105与处理器101通信,实现数据存储功能。例如将音乐,视频流等文件保存在外部存储卡中。
内部存储器104可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器101通过运行存储在内部存储器104的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器104可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器104可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100中的传感器模块103可以包括图像传感器、触摸传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、环境光传感器、指纹传感器、温度传感器、骨传导传感器等部件,以实现对于不同信号的感应和/或获取功能。
可选地,电子设备100还可以包括外设设备,例如鼠标、按键、指示灯、键盘、扬声器、麦克风等。
按键包括开机键,音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
指示器可以是指示灯,可以用于指示充电状态和电量变化,也可以用于指示消息、未接来电、和通知等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。
在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
请参考图3,为本申请实施例提供的一种电子设备的示意图。本申请实施例提供的唤醒应用程序的方法应用于图2所示的电子设备100时,电子设备100中的软件可以划分为如图3所示的应用程序层201、应用程序框架层202、和驱动层203。
如图3所示,应用程序层201中可以安装有多个应用程序,其中可以包括第一应用程序等。例如,第一应用程序可以为语音助手应用程序(application,APP)。
应用程序框架层202可以包括音频触发模块(sound trigger)、声音触发模块(sound trigger module)、音频策略服务模块(audio policy service)等。另外,应用程序框架层202还可以包括音频服务模块(audio service)、音频触发服务模块(sound triggerservice)、音频指示模块(audio flinger)等。
其中,音频触发模块用于控制应用程序层201的语音助手应用程序启动。声音触发模块用于向音频触发模块发送唤醒事件,以及向驱动层203的音频驱动发送用于指示气息唤醒模型停止运行或者启动运行的通知。音频策略服务模块用于与应用程序层201的语音助手应用程序之间建立语音识别通道。
另外,音频服务模块器用于响应于应用程序层201的语音助手应用程序发送的启动通知,向音频触发模块发送启动通知。音频触发模块还用于响应于音频服务模块器发送的启动通知向音频触发服务模块器发送启动通知。音频触发服务模块用于响应于音频触发模块发送的启动通知,向声音触发模块发送启动通知。声音触发模块还用于响应于音频触发模块发送的启动通知,向音频策略服务模块发送启动运行气息唤醒模型的通知。音频策略服务模块响应于启动运行气息唤醒模型的通知,启动运行气息唤醒模型的通知。音频指示模块用于响应于音频策略服务模块发送的加载气息唤醒模型的通知,向驱动层203的音频驱动发送加载气息唤醒模型的通知。驱动层203的音频驱动用于向气息唤醒处理装置的音频数字信号处理器发送用于指示启动运行气息唤醒模型的通知。
驱动层203是硬件和软件之间的层。驱动层203可以包括音频驱动(soundtrigger-hal)等。
驱动层203中可以安装有多个用于驱动硬件工作的驱动(driver)。
需要说明的是,应用程序层201,应用程序框架层202以及驱动层203中也可以包括其他内容,在此不做具体限定。
此外,图3中还示出了与驱动层203连接的气息唤醒处理装置。
示例性的,如图3所示,该气息唤醒处理装置至少可以包括惯性检测传感器、声音采集传感器、和音频数字信号处理器等。
其中,惯性检测传感器用于采集手势数据。声音采集传感器用于采集语音数据。音频信号处理器用于获取惯性检测传感器采集的手势数据和声音采集传感器采集的语音数据,并对该手势数据和语音数据进行检测。
其中,应用程序框架层202可以包括气息唤醒软件模块。
气息唤醒软件模块可以包括音频框架和音频驱动(sound trigger-hal)。
如图4所示,音频框架可以包括音频触发模块(sound trigger)、声音触发模块(sound trigger module)、音频策略服务模块(audio policy service)。
如图5所示,气息唤醒处理装置可以包括音频数字信号处理器(audio digitalsignal processing,ADSP)、声音采集传感器、和惯性检测传感器。声音采集传感器、和惯性检测传感器皆与音频数字信号处理器连接。
下面,结合图5,详细介绍本申请的唤醒应用程序的方法的具体实现过程。
图5是本申请提供的一例唤醒应用程序的方法的流程示意图。
如图5所示,该方法可以划分为三个不同的阶段,分别为准备阶段、启动阶段、和识别阶段。
准备阶段可理解为启动语音助手应用程序的气息唤醒功能,使得音频数字信号处理器中的气息唤醒模型处于持续运行状态的阶段。
启动阶段可理解为在获取到用于唤醒语音助手应用程序的语音数据和手势数据时,控制启动语音助手应用程序的阶段。
识别阶段可理解为语音助手应用程序对语音数据进行语音识别,并根据语音识别的状态确定气息唤醒模型启动运行或者停止运行状态的阶段。
如图5所示,本申请的唤醒应用程序的方法可以包括:
【准备阶段】
S11、启动语音助手应用程序的气息唤醒功能。
电子设备可在一个设置界面显示唤醒语音助手应用程序的方式。本申请对设置界面的具体实现方式不做限定。
在一些实施例中,上述设置界面中可以包括气息唤醒控件,该气息唤醒控件用于触发启动语音助手应用程序的气息唤醒功能。
其中,本申请对气息唤醒控件的显示位置、显示样式、显示大小等参数不做限定。
从而,在接收到气息唤醒控件上的操作后,电子设备可启动语音助手应用程序的气息唤醒功能。
S12、语音助手应用程序向音频触发模块发送用于指示启动音频触发模块的通知。
其中,语音助手应用程序在启动气息唤醒功能后,可向音频触发模块发送启动通知,音频触发模块可响应于启动通知启动。
从而,音频触发模块在启动后,能够接收数据和发送数据。
S13、音频触发模块响应于用于指示启动音频触发模块的通知启动,并向声音触发模块发送用于指示启动声音触发模块的通知。
其中,音频触发模块在启动后,能够向声音触发模块发送启动通知,声音触发模块可响应于启动通知启动。
从而,声音触发模块在启动后,能够接收数据和发送数据。
S14、声音触发模块响应于用于指示启动声音触发模块的通知启动,并向音频驱动发送用于指示启动运行气息唤醒模型的通知。
S15、音频驱动响应于用于指示启动运行气息唤醒模型的通知,控制音频数字信号处理器中的气息唤醒模型启动运行。
声音触发模块在启动后,可向音频驱动发送用于指示启动运行气息唤醒模型的通知。
音频驱动在接收到用于指示启动运行气息唤醒模型的通知后,可控制音频数字信号处理器中的气息唤醒模型启动运行。
由此,为音频数字信号处理器运行气息唤醒模块做好了数据准备。
S16、音频数字信号处理器响应于用于指示启动运行气息唤醒模型的通知,运行气息唤醒模型。
应理解,音频数字信号处理器为低功耗的数字信号处理器,在语音助手应用程序启动气息唤醒功能后,气息唤醒模型可在音频数字信号处理器上处于持续运行的状态,便于实时对接收到的语音数据和手势数据进行检测。
气息唤醒模型在运行过程中,可持续对接收到的数据进行检测,判断接收到的数据是否为用于唤醒语音助手应用程序的数据。
唤醒语音助手应用程序的数据用于表示获取到的语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且手势数据与预设唤醒手势数据之间的相似度大于第二阈值。
综上,电子设备可在接收到用户指示的在气息唤醒控件上执行的操作后,启动语音助手应用程序的气息唤醒功能,便于用户能够通过气息唤醒的方式,唤醒语音助手,保证了唤醒语音助手应用程序的便捷性,提高了用户的使用体验。
另外,语音助手应用程序的气息唤醒功能启动后,气息唤醒模型可在音频数字信号处理器上处于持续运行的状态,实时对接收到的数据进行检测,判断接收到的数据是否为用于唤醒语音助手应用程序的数据,便于在接收到的数据为用于唤醒语音助手应用程序的数据时,及时唤醒语音助手应用程序。
【启动阶段】
S17、声音采集传感器向音频数字信号处理器发送语音数据;
声音采集传感器可实时采集语音数据,在采集到语音数据后可将语音数据发送到音频数字信号处理器。
在一些实施例中,声音采集传感器为麦克风(microphone,MIC)。
S18、惯性检测传感器向音频数字信号处理器发送手势数据;
惯性检测传感器可实时采集手势数据,在采集到手势数据后可将手势数据发送到音频数字信号处理器。
S19、音频数字信号处理器检测出接收到的数据用于指示唤醒语音助手应用程序时,触发唤醒事件。
基于S16的描述,可以确定音频数字信号处理器中的气息唤醒模型处于持续运行的状态。也就是说,存在三种情况:
音频数字信号处理器仅接收到声音采集传感器发送的语音数据。音频数字信号处理器中的气息唤醒模型接收到声音采集传感器发送的语音数据时,对该语音数据进行检测。
音频数字信号处理器仅接收到手惯性检测传感器发送的势数据。音频数字信号处理器中的气息唤醒模型接收到惯性检测传感器发送的手势数据时,对该手势数据进行检测。
音频数字信号处理器同时接收到惯性检测传感器发送的手势数据、和声音采集传感器发送的语音数据。音频数字信号处理器中的气息唤醒模型接收到声音采集传感器发送的语音数据,以及接收到惯性检测传感器发送的手势数据时,可对接收到的语音数据和手势数据进行检测。
在确定语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且手势数据与预设唤醒手势数据之间的相似度大于第二阈值时,音频数字信号处理器可确定该语音数据和手势数据为用于唤醒语音助手应用程序的数据。从而,音频数字信号处理器可触发唤醒事件。
在一些实施例中,手势数据为抬腕的手势数据。
假设手势数据为抬腕的手势数据,电子设备为手机,声音采集传感器为麦克风。
结合图1,在用户抬起手机,将手机的麦克风靠近嘴边说话时,麦克风可采集用户说的话对应的语音数据,并向音频数字信号处理器发送该语音数据,惯性检测传感器可采集用户抬起手机时抬腕对应的手势数据,并向音频数字信号处理器发送该手势数据。
音频数字信号处理器在接收到上述语音数据和手势数据后,通过气息唤醒模型对语音数据和手势数据进行检测,在确定语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且手势数据与预设唤醒手势数据之间的相似度大于第二阈值时,音频数字信号处理器可触发唤醒事件。
S20、音频数字信号处理器向音频驱动发送语音数据。
音频数字信号处理器在触发唤醒事件后,可向音频驱动发送获取到的语音数据。
从而,音频驱动可开始存储语音数据,便于为语音助手应用程序获取该语音数据做好数据准备。
S21、音频驱动触发缓冲区存储语音数据。
音频驱动在接收到语音数据后,可触发音频驱动的缓冲区(buffer)存储该语音数据。可为语音助手应用程序获取该语音数据做好数据准备。
S22、音频驱动向声音触发模块发送唤醒事件。
音频驱动在接收到语音数据后,可向声音触发模块发送唤醒事件,便于声音触发模块继续向音频触发模块发送唤醒事件。
其中,S21与S22在时序上不分先后,可顺序执行,也可同时执行。
S23、声音触发模块向音频驱动发送用于指示停止运行气息唤醒模型的通知。
声音触发模块在接收到唤醒事件后,可向音频驱动发送用于指示停止运行气息唤醒模型的通知。
由于,唤醒事件已触发,可看作消耗了一次唤醒事件,气息唤醒模型可停止运行。
S24、音频驱动响应于用于指示停止运行气息唤醒模型的通知,控制音频数字信号处理器中的气息唤醒模型停止运行。
基于S19,音频数字信号处理器可以确定接收到的数据为用于唤醒语音助手应用程序的数据,并触发唤醒事件。
也就是说,在当前次的唤醒事件中,基于该语音数据能够唤醒语音助手应用程序,不需要音频数字信号处理器中的气息唤醒模型再次检测获取到的语音数据是否为用于唤醒语音助手应用程序的数据。
那么,音频驱动在接收到用于指示停止运行气息唤醒模型的通知后,可控制音频数字信号处理器中的气息唤醒模型停止运行,即气息唤醒模型不再检测接收到的数据是否为用户唤醒语音,只需要继续接收语音数据即可。
S25、声音触发模块响应于唤醒事件,启动定时器。
声音触发模块在接收到唤醒事件后,还可启动定时器,便于声音触发模块对在定时器的定时时间内是否收到用于指示语音识别开始的通知或者用于指示语音识别结束的通知进行确定。
也就是说,声音触发模块可以通过定时器的设定时间,来确定音频策略服务模块是否调用成功,便于调用不成功时,向音频驱动发送用于指示启动运行气息唤醒模型的通知。
在一些实施例中,定时器的定时时间为1-5s。
例如,定时器的定时时间为3s。
其中,S23、S25、和S26在时序上不分先后,可顺序执行,也可同时执行。
S26、声音触发模块响应于唤醒事件,声音触发模块向音频触发模块发送唤醒事件。
其中,声音触发模块在接收到唤醒事件后,还可向音频触发模块发送唤醒事件,便于音频触发模块能够在接收到唤醒事件后控制语音助手应用程序启动。
S27、音频触发模块响应于唤醒事件,控制语音助手应用程序启动。
音频触发模块在接收到唤醒事件后,可确定需要启动语音助手应用程序。从而,音频触发模块可控制语音助手应用程序启动。
S28、语音助手应用程序启动后,显示用户界面。
语音助手应用程序在启动后,电子设备可显示一个用户界面,本申请对用户界面的具体实现方式不做限定。
其中,用户界面可以显示在电子设备当前界面中的部分区域,也可以与电子设备当前界面为不同界面。
在一些实施例中,上述设置界面中可以包括语音助手悬浮球控件,该语音助手悬浮球控件用于提醒用户语音助手应用程序已启动,以及触发语音助手应用程序结束语音识别。
其中,本申请对语音助手悬浮球控件的显示位置、显示样式、显示大小等参数不做限定。
从而,在电子设备显示上述用户界面后,用户可以确定语音助手应用程序已启动。
综上,音频数字信号处理器中的气息唤醒模型可处于持续运行的状态,直至确定接收到的语音数据与预设唤醒气息数据之间的相似度大于第一阈值,且接收到的手势数据与预设唤醒手势数据之间的相似度大于第二阈值,音频数字信号处理器可触发唤醒事件。
由此,音频数字信号处理器可以开始逐级上报唤醒事件,通过音频触发模块控制语音助手应用程序启动,保证了语音助手应用程序启动的便捷性和及时性。
可见,上述气息唤醒语音助手的技术,不需要唤醒词和触发按键,简化了语音交互步骤,更加快速的启动语音助手应用程序。
另外,这种气息唤醒语音助手的技术,用户可直接凑近电子设备进行对话,提升了用户与电子设备交互的准确率,在隐私保护上也降低了对话内容泄露的风险,同时避免了对他人的干扰。
需要说明的是,调查发现,52%的受访者在使用语音助手时担心私密信息泄露,46%的受访者在公共场所听到他人使用语音助手应用程序,会感到烦扰。
【识别阶段】
S291、语音助手应用程序在启动后,调用声音策略服务器成功时,向声音策略服务器发送用于指示语音识别开始的通知。
其中,语音助手应用程序在启动后,可开始调用声音策略服务器,调用声音策略服务器成功时,语音助手应用程序和声音策略服务器之间的通道可打开。
需要说明的是,语音助手应用程序调用声音策略服务器,可存在成功和不成功两种情况,在声音策略服务器的音频通道被占用,或者语音助手在启动成功后又发生退出的情况时,语音助手应用程序可调用声音策略服务器不成功。
例如,语音助手应用程序在启动后,电子设备的录音功能正在开启,声音策略服务器的音频通道被占用,语音助手应用程序可调用声音策略服务器不成功。
从而,语音助手应用程序在调用声音策略服务器成功时,可向声音策略服务器发送用于指示语音识别开始的通知。
其中,用于指示语音识别开始的通知用于表示语音助手应用程序能够接收语音数据,并能够对语音数据进行识别。
S292、声音策略服务器响应于用于指示语音识别开始的通知,从音频驱动调用语音数据。
基于S21,可以确定语音数据存储在音频驱动的缓冲区,另外,基于S291,声音策略服务器可以接收到用于指示语音识别开始的通知。
那么,声音策略服务器在用于指示语音识别开始的通知后,可以确定语音助手应用程序能够接收语音数据,并能够对语音数据进行识别,声音策略服务器从音频驱动调用语音数据,便于向语音助手应用程序发送语音数据。
在一些实施例中,声音策略服务器可通过音频源(audio source)1999的流来从音频驱动的缓冲区搬运语音数据。
S293、声音策略服务器在从音频驱动调用到语音数据后,向语音助手应用程序发送语音数据。
声音策略服务器在从音频驱动的缓冲区调用到音频数据后,可向语音助手应用程序发送语音数据,便于语音助手应用程序对该语音数据进行识别。
S294、语音助手应用程序在接收到语音数据后,对接收到的语音数据进行识别。
其中,语音助手应用程序对接收到的语音数据进行识别,不仅识别语音数据的意思,还可将语音数据转换成文本的形式。
S295、声音策略服务器响应于用于指示语音识别开始的通知,向声音触发模块发送用于指示语音识别开始的通知。
声音策略服务器在接收到用于指示语音识别开始的通知后,可向声音触发模块发送用于指示语音识别开始的通知,为声音触发模块根据用于指示语音识别开始的通知执行下一步操作做好准备。
其中,S292和S295在时序上不分先后,可顺序执行,也可同时执行。
S296、声音触发模块响应于用于指示语音识别开始的通知,关闭定时器。
可以理解的是,在声音触发模块接收到用于指示语音识别开始的通知时,可确定语音助手应用程序调用声音策略服务器成功。
基于S25,声音触发模块已启动定时器。
从而,声音触发模块在接收到用于指示语音识别开始的通知后,可关闭定时器,为下一次唤醒语音助手应用程序时,开启定时器做好准备。
另外,关闭定时器,还可尽量避免电子设备的电能消耗。
S297、声音触发模块响应于用于指示语音识别开始的通知,向音频驱动发送用于指示停止运行气息唤醒模型的通知。
其中,S297为可选步骤。
另外,S297与图5所示实施例中的S23实现方式类似,本申请此处不再赘述。
应理解,语音助手应用程序在进行语音识别的过程中,若气息唤醒模型运行,可再次触发唤醒事件,使得当前次的语音识别中断。
由此,基于S22,声音触发模块已向音频驱动发送用于指示停止运行气息唤醒模型的通知,气息唤醒模型可停止运行,为避免气息唤醒模型在停止运行后,再次因其他原因启动运行,声音触发模块可向音频驱动再次发送用于指示停止运行气息唤醒模型的通知,防止气息唤醒模型启动运行,再次触发唤醒事件。
其中,S293与S296在时序上不分先后,可顺序执行,也可同时执行。
S298、音频驱动响应于用于指示停止运行气息唤醒模型的通知,音频驱动控制音频数字信号处理器中的气息唤醒模型停止运行。
其中,S298为可选步骤。
其中,S298与图5所示实施例中的S24实现方式类似,本申请此处不再赘述。
S299、语音助手应用程序在根据语音数据确定语音识别结束时,向声音策略服务器发送用于指示语音识别结束的通知。
其中,语音助手应用程序在根据语音数据确定语音识别结束可采用多种方式。
在一些实施例中,语音助手应用程序接收到用户在根据语音数据在S28中语音助手悬浮球控件进行触发的操作时,可确定用户想要结束语音识别。从而,语音助手应用程序可响应于语音助手悬浮球控件上的操作,结束语音识别。
在另一些实施例中,语音助手应用程序在确定接收到的语音数据对应的语音文本为一个完整的词语或者句子时,确定语音识别结束。
假设语音数据为“今天吃饭了嘛”。
语音助手应用程序在接收到“今天吃饭了嘛”,可以确定“今天吃饭了嘛”是一个完整的句子,语音助手应用程序可以确定语音识别结束。
语音助手应用程序接收完“今天吃”,可以确定“今天吃”不是一个完整的句子,语音助手应用程序可以确定语音识别未结束。
直至语音助手应用程序接收到“饭了嘛”,使得“今天吃”与“饭了嘛”构成一个完整的句子,语音助手应用程序可以确定语音识别结束。
S300、语音助手应用程序在根据语音数据确定语音识别结束时,显示语音识别结果。
其中,语音识别结果可以为语音数据对应的文本数据,还可以为用户数据对应的交互结果。
在一些实施例中,语音助手应用程序可在对语音数据识别的过程中,将语音数据转换成文本的形式,显示在S28中的用户界面上。
例如,语音数据为“今天天气”时,语音助手应用程序在识别到“今天天气”后,可将“今天天气”对应的文本数据显示在用户界面上。
在另一些实施例中,语音助手应用程序可在语音数据识别结束后,将语音数据对应的交互结果,显示在S28中的用户界面上。
例如,语音数据为“今天天气”时,语音助手应用程序在识别到“今天天气”后,可以确定用户想要了解今天的天气情况,可将今天天气对应的当前温度、最高温度、和最低温度等实际情况显示在用户界面上。
S301、声音策略服务器响应于用于指示语音识别结束的通知,向声音触发模块发送用于指示语音识别结束的通知。
声音策略服务器在接收到用于指示语音识别结束的通知后,可向声音触发模块发送用于指示语音识别结束的通知,为声音触发模块根据用于指示语音识别结束的通知执行下一步操作做好准备。
S302、声音触发模块响应于用于指示语音识别结束的通知,向音频驱动发送用于指示启动运行气息唤醒模型的通知。
基于S24,或者S22和S298,可以确定音频驱动已控制音频数字信号处理器中的气息唤醒模型停止运行,语音助手应用程序停止气息唤醒的功能。
由此,为恢复语音助手应用程序的气息唤醒的功能,声音触发模块可以向音频驱动发送用于指示启动运行气息唤醒模型的通知,便于声音触发模块控制音频数字信号处理器中的气息唤醒模型启动运行,使得音频数字信号处理器中的气息唤醒模型能够对下一次接收到的数据进行检测。
S303、音频驱动响应于用于指示启动运行气息唤醒模型的通知,控制音频数字信号处理器中的气息唤醒模型启动运行。
音频驱动在接收到用于指示启动运行气息唤醒模型的通知后,可控制音频数字信号处理器中的气息唤醒模型启动运行,使得恢复语音助手应用程序的气息唤醒的功能,便于音频数字信号处理器中的气息唤醒模型能够对下一次接收到的数据进行检测。
S311、声音触发模块在定时器的设定时间结束,未收到用于指示语音识别开始的通知或者用于指示语音识别结束的通知时,向音频驱动发送用于指示启动运行气息唤醒模型的通知。
其中,语音助手应用程序和音频策略服务模块之间的“×”用于表示语音助手应用程序调用音频策略服务模块未成功。
基于S295,声音触发模块在语音助手应用程序调用音频策略服务模块成功时,可接收到用于指示语音识别开始的通知。
基于S301,声音触发模块在语音助手应用程序调用音频策略服务模块成功后,且语音助手应用程序在语音识别结束时,可接收到用于指示语音识别结束的通知。
那么,声音触发模块在定时器的设定时间结束,未收到用于指示语音识别开始的通知或者用于指示语音识别结束的通知时,可确定声音触发模块调用语音助手应用程序不成功。
由此,为恢复语音助手应用程序的气息唤醒的功能,声音触发模块可向音频驱动发送用于指示启动运行气息唤醒模型的通知,便于音频驱动控制音频数字信号处理器中的气息唤醒模型启动运行。
S312、音频驱动响应于用于指示启动运行气息唤醒模型的通知,控制音频数字信号处理器中的控制气息唤醒模型启动运行。
其中,S312与图5所示实施例中的S303实现方式类似,本申请此处不再赘述。
综上,声音触发模块可在语音助手应用程序调用音频策略服务模块成功时,向音频驱动发送停止运行气息唤醒模块的通知,使得音频驱动控制气息唤醒模型停止运行,避免中断当前次的语音识别。
另外,声音触发模块可在语音助手应用程序确定语音识别结束时,向音频驱动发送启动运行气息唤醒模块的通知,使得音频驱动控制气息唤醒模型启动运行,便于恢复语音助手应用程序的气息唤醒的功能。
此外,声音触发模块可在定时器的设定时间结束,未收到用于指示语音识别开始的通知或者用于指示语音识别结束的通知时,向音频驱动发送启动运行气息唤醒模块的通知,使得音频驱动控制气息唤醒模型启动运行,便于恢复语音助手应用程序的气息唤醒的功能。
可见,语音助手应用程序调用音频策略服务模块无论是否成功,声音触发模块皆可向音频驱动发送启动运行气息唤醒模块的通知,使得音频驱动控制气息唤醒模型启动运行,便于恢复语音助手应用程序的气息唤醒的功能。
也就是说,声音触发模块能够在合适的时机向音频驱动发送启动运行气息唤醒模块的通知,便于使得音频驱动控制气息唤醒模型启动运行,不仅可以避免当前次的语音识别中断,还可以保证下一次能够正常唤醒语音助手应用程序。
本申请中,电子设备在接收到启动语音助手应用程序的气息唤醒功能的操作,启动气息唤醒功能,便于用户能够通过气息唤醒的方式,唤醒语音助手,提高了用户的使用体验。语音助手应用程序的气息唤醒功能启动后,气息唤醒模型可在音频数字信号处理器上处于持续运行的状态,便于在接收到的数据为用于唤醒语音助手应用程序的数据时,及时触发唤醒事件,使得语音助手应用程序能够被唤醒。
另外,音频数字信号处理器中的气息唤醒模块在确定接收到的语音数据与预设气息唤醒数据之间的相似度大于第一阈值,且接收到的手势数据与预设唤醒手势数据之间的相似度大于第二阈值时,可触发唤醒事件,并逐级上报唤醒事件,通过声音触发模块控制语音助手应用程序启动,保证了语音助手应用程序启动的便捷性和及时性。
此外,无论语音助手应用程序调用音频策略服务模块是否成功,声音触发模块皆可向音频驱动发送启动运行气息唤醒模块的通知,使得音频驱动控制气息唤醒模型启动运行,便于恢复语音助手应用程序的气息唤醒的功能。
可见,本申请的气息唤醒语音助手应用程序的方法,适用于多种目标客户,例如使用语音助手应用程序的白领、公职人员和上班族(占80%以上用户,且覆盖使用场景更广)。
本申请的气息唤醒语音助手应用程序的方法,适用于多个典型场景,例如,咖啡店、西餐厅或高铁/机场休息室等相对比较安静的公共场合下;当用户在地铁站、机场、火车站等场所,手里拿着行李排队进站;当用户在超市、商场等场所,手里拿着东西进行商品选购;当用户在户外遛狗;用户开车进入/离开停车场、收费站、小区/园区时,双手刚从汽车的方向盘上解放出来。
本申请的气息唤醒语音助手应用程序的方法,适用于多种需求,不需要唤醒词和触发按键,简化了语音交互步骤,更加快速的启动语音助手应用程序。另外,用户可直接凑近对话,提升了用户与电子设备交互的准确率,在隐私保护上也降低了对话内容泄露的风险,同时避免了对他人的干扰。
基于前述的一些实施例,下面介绍本申请提供的唤醒应用程序的方法。
示例性地,本申请提供一种唤醒应用程序的方法。
为了便于说明,本申请的唤醒应用程序的方法可由图2中的电子设备来执行。
请参阅图6,图6示出了本申请一实施例提供的唤醒应用程序的方法的流程示意图。
如图6所示,本申请提供的唤醒应用程序的方法,应用于电子设备,电子设备包括:第一应用程序、气息唤醒软件模块、和气息唤醒处理装置。
其中,电子设备可以为手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、家居设备等设备。
其中,气息唤醒软件模块可以包括第一软件模块、第三软件模块、第二软件模块、和第四软件模块。
如图4所示,第一软件模块可以为音频策略服务模块(audio policy service)。
第三软件模块可以为声音触发模块(sound trigger module)。
第二软件模块可以为音频驱动(sound trigger-hal)。
第四软件模块可以为音频触发模块(sound trigger)。
如图3所示,气息唤醒处理装置可以包括音频数字信号处理器(audio digitalsignal processing,ADSP)、声音采集传感器、和惯性检测传感器。
其中,声音采集传感器可以为麦克风。
具体而言,本申请提供的唤醒应用程序的方法可以包括:
S101、气息唤醒处理装置获取第一数据。
其中,第一数据可以为图5中的S19中的音频数字信号传感器接收到的数据。
S101的具体实现方式可参见图5中的S17-S19的描述,此处不做赘述。
S102、气息唤醒处理装置在检测出第一数据用于指示气息唤醒第一应用程序时,向气息唤醒软件模块发送第一数据中的语音数据。
S102的具体实现方式可参见图5中的S19-S20的描述,此处不做赘述。
S103、气息唤醒软件模块存储语音数据,启动第一应用程序,控制气息唤醒处理装置停止检测所述第一应用程序的气息唤醒且继续获取语音数据。
其中,第一应用程序可以为语音助手应用程序。
S103的具体实现方式可参见图5中的S21-S24的描述,此处不做赘述。
S104、第一应用程序在启动后,调用气息唤醒软件模块成功时,向气息唤醒软件模块发送第一通知。
其中,第一通知可参见图5中的S291中的用于指示语音识别开始的通知的描述。
S104的具体实现方式可参见图5中的S21-S27的描述,此处不做赘述。
S105、气息唤醒软件模块响应于第一通知,向第一应用程序发送语音数据。
S105的具体实现方式可参见图5中的S292-S295的描述,此处不做赘述。
S106、第一应用程序对语音数据进行语音识别。
S106的具体实现方式可参见图5中的S296的描述,此处不做赘述。
S107、第一应用程序在根据语音数据确定语音识别结束时,向气息唤醒软件模块发送第二通知。
其中,第二通知可参见图5中的S299中的用于指示语音识别结束的通知的描述。
S107的具体实现方式可参见图5中的S299的描述,此处不做赘述。
S108、气息唤醒软件模块响应于第二通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
S108的具体实现方式可参见图5中的S301-302的描述,此处不做赘述。
本申请的唤醒应用程序的方法,气息唤醒处理装置在检测出第一数据用于指示气息唤醒第一应用程序时,可通过气息唤醒软件模块启动第一应用程序,保证了第一应用程序启动的便捷性和及时性。
其中,气息唤醒软件模块启动第一应用程序时,可控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断当前次的语音识别。
另外,气息唤醒软件模块可在第一应用程序确定语音识别结束时,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复第一应用程序的气息唤醒的功能。
在一些实施例中,本申请的唤醒应用程序的方法还可以包括:
气息唤醒软件模块在经过预设时长,未接收到第一通知,或者第二通知时,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
此步骤的具体实现方式可参见图5中的S311-S312的描述,此处不做赘述。
其中,气息唤醒软件模块在经过预设时长,未接收到第一通知,或者第二通知时,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复语音助手应用程序的气息唤醒的功能。
在一些实施例中,本申请的唤醒应用程序的方法还可以包括:
第一应用程序在启动后,显示第一用户界面。
第一应用程序在第一用户界面中显示语音识别结果。
其中,第一用户界面可参见图7D-图7E中的界面14,以及图5中的S28和S300中的用户界面的描述。
此步骤的具体实现方式可参见图5中的S28和S300的描述,此处不做赘述。
其中,第一用户界面可以显示语音识别结果,便于用户能够及时了解语音识别结果,提高了用户的使用体验。
在一些实施例中,气息唤醒软件模块包括:第一软件模块和第二软件模块,语音数据存储在第二软件模块中。
在一些实施例中,本申请的唤醒应用程序的方法可以包括:
步骤201、第一应用程序在启动后,调用第一软件模块成功时,向第一软件模块发送第一通知。
步骤201的具体实现方式可参见图5中的S291的描述,此处不做赘述。
步骤202、第一软件模块响应于第一通知,从第二软件模块中调用语音数据,向第一应用程序发送语音数据。
步骤202的具体实现方式可参见图5中的S293-S295的描述,此处不做赘述。
其中,第一应用程序在调用第一软件模块成功时,第一软件模块可从第二软件模块中调用语音数据,向第一应用程序发送语音数据,便于第一应用程序能够及时的收到语音数据。
在一些实施例中,本申请的唤醒应用程序的方法还可以包括:
步骤301、第一软件模块响应于第一通知,向第二软件模块发送第三通知。
其中,步骤301可包括:第一软件模块响应于第一通知,向第三软件模块发送第一通知;第三软件模块响应于第一通知,向第二软件模块发送第三通知。
其中,第三通知可参见图5中的S297中的用于指示停止运行气息唤醒模型的通知的描述。
步骤301的具体实现方式可参见图5中的S295和S297的描述,此处不做赘述。
步骤302、第二软件模块响应于第三通知,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒且继续获取语音数据。
步骤302的具体实现方式可参见图5中的S297-S298的描述,此处不做赘述。
其中,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断当前次的语音识别,可再次保证了当前次第一应用程序语音识别的质量。
在一些实施例中,本申请的唤醒应用程序的方法可以包括:
步骤401、第一软件模块响应于第二通知,向第二软件模块发送第四通知。
步骤401可包括:第一软件模块响应于第二通知,向第三软件模块发送第二通知,第三软件模块响应于第二通知,向第二软件模块发送第四通知。
其中,第四通知可参见图5中的S302中的用于指示启动运行气息唤醒模型的通知的描述。
步骤401的具体实现方式可参见图5中的S301-S302的描述,此处不做赘述。
步骤402、第二软件模块响应于第四通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
步骤402的具体实现方式可参见图5中的S303的描述,此处不做赘述。
其中,第二软件模块响应于第四通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒,便于恢复第一应用程序的气息唤醒的功能。
在一些实施例中,气息唤醒软件模块还包括第三软件模块和第四软件模块。
在一些实施例中,本申请的唤醒应用程序的方法可以包括:
步骤501、第二软件模块存储语音数据,向第三软件模块发送唤醒事件。
步骤501的具体实现方式可参见图5中的S22的描述,此处不做赘述。
步骤502、第三软件模块响应于唤醒事件,向第四软件模块发送唤醒事件,以及向第二软件模块发送第五通知。
其中,第五通知可参见图5中的S23中的用于指示停止运行气息唤醒模型的通知的描述。
步骤502的具体实现方式可参见图5中的S23和S26的描述,此处不做赘述。
步骤503、第四软件模块响应于唤醒事件,启动第一应用程序。
步骤503的具体实现方式可参见图5中的S27的描述,此处不做赘述。
步骤504、第二软件模块响应于第五通知,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒且继续获取语音数据。
步骤504的具体实现方式可参见图5中的S24的描述,此处不做赘述。
可见,第四软件模块可响应于唤醒事件,启动第一应用程序,保证了第一应用程序启动的及时性和准确性。
另外,由于已触发唤醒事件,控制气息唤醒处理装置停止检测第一应用程序的气息唤醒,可以避免中断当前次的语音识别,保证了当前次第一应用程序语音识别的质量。
在一些实施例中,本申请的唤醒应用程序的方法还可以包括:
步骤601、第三软件模块响应于唤醒事件,设定定时时间,并根据定时时间开始计时。
步骤601的具体实现方式可参见图5中的S25的描述,此处不做赘述。
步骤602、第三软件模块确定定时时间计时结束时,未接收到第一通知,或者第二通知时,向第二软件模块发送第六通知。
其中,第六通知可参见图5中的S311中的用于指示启动运行气息唤醒模型的通知的描述。
步骤602的具体实现方式可参见图5中的S311的描述,此处不做赘述。
步骤603、第二软件模块响应于第六通知,控制气息唤醒处理装置启动检测第一应用程序的下一次气息唤醒。
步骤603的具体实现方式可参见图5中的S312的描述,此处不做赘述。
步骤604、第三软件模块响应于第一通知,关闭定时时间的计时。
步骤604的具体实现方式可参见图5中的S293的描述,此处不做赘述。
其中,可通过定时器的设置时间,来确定是否收到第一通知或者第二通知,便于在未接收到第一通知,或者第二通知时,第二软件模块控制气息唤醒处理装置启动对检测第一应用程序的下一次气息唤醒,恢复气息唤醒功能。
在一些实施例中,本申请的唤醒应用程序的方法可以包括:
第一应用程序响应于用于指示结束语音识别的操作,确定语音识别结束。
或者,第一应用程序确定语音数据对应的语音文本满足预设规则时,确定语音识别结束。
第一应用程序在确定语音识别结束时,向第一软件模块发送第二通知。
其中,预设规则为语音数据对应的语音文本为一个完整的词语或者句子。
上述步骤的具体实现方式可参见图5中的S299的描述,此处不做赘述。
可见,第一应用程序可通过上述两种方式,判断语音识别是否结束。
在一些实施例中,气息唤醒处理装置包括:惯性检测传感器、声音采集传感器、和音频数字信号处理器。
第一数据中包括:语音数据和手势数据。
在一些实施例中,本申请的唤醒应用程序的方法可以包括:
步骤701、惯性检测传感器采集到手势数据;
步骤702、惯性检测传感器向音频数字信号处理器发送手势数据。
步骤701和步骤702的具体实现方式可参见图5中的S18的描述,此处不做赘述。
步骤703、声音采集传感器采集到语音数据;
步骤704、声音采集传感器向音频数字信号处理器发送语音数据。
步骤703和步骤704的具体实现方式可参见图5中的S17的描述,此处不做赘述。
步骤705、气息唤醒处理装置在检测出手势数据与预设唤醒手势数据之间的相似度大于第一阈值,且语音数据与预设唤醒气息数据之间的相似度大于第二阈值时,向气息唤醒软件模块发送语音数据。
步骤703和步骤704的具体实现方式可参见图5中的S19的描述,此处不做赘述。
其中,惯性检测传感器可采集手势数据,声音采集传感器可采集语音数据。
气息唤醒处理装置可对惯性检测传感器采集到的手势数据,以及声音采集传感器采集到的语音数据进行检测。
基于前述描述,结合图7A-图7E,详细介绍电子设备实现本申请的唤醒应用程序的方法。为了便于说明,图7A-图7E中,以电子设备为手机、第一应用程序为语音助手应用程序为例进行示意。
手机可显示如图7A所示的界面11,界面11用于显示手机上安装的各种应用程序(application,APP)的图标。例如,界面11中可以包括:控件101。其中,控件101用于显示设置APP的图标。
在接收到用户对图7A所示的控件101进行触发的操作(如点击、双击或长按操作等)后,手机可从如图7A所示的界面11变为显示如图7B所示的界面12。
其中,界面12中可以包括:控件102。控件102用于触发进入语音助手应用程序的设置界面。
在接收到用户对图7B所示的控件102进行触发的操作后,手机可从如图7B所示的界面12变为显示如图7C所示的界面13。
其中,界面13中可以包括:控件103。控件103用于触发启动语音助手应用程序的气息唤醒功能。
在接收到用户对图7C所示的控件103进行触发的操作后,手机启动语音助手应用程序的气息唤醒功能。
从而,语音助手应用程序可通知气息唤醒软件模块启动,气息唤醒软件模块可通知气息唤醒处理装置对获取到的数据进行检测。
在气息唤醒处理装置在检测出上述获取到的数据为用于气息唤醒语音助手应用程序的数据时,向气息唤醒软件模块发送数据中的语音数据。
气息唤醒软件模块存储语音数据,并控制语音助手应用程序启动。语音助手应用程序启动后,手机可显示如图7D所示的界面14。
另外,气息唤醒软件模块还可控制气息唤醒处理装置停止对接收到的数据进行检测,且继续接收上述数据中的语音数据。
其中,界面14中可以包括:控件105。控件105用于提醒用户语音助手应用程序已启动,以及触发语音助手应用程序结束语音识别。
语音助手应用程序在启动后,调用气息唤醒软件模块成功时,气息唤醒软件模块可向语音助手应用程序发送语音数据。
语音助手应用程序在接收到语音数据后可将语音数据转换为文本数据,此时,界面14中还可以包括控制104。控件104用于显示语音数据对应的文本数据。
例如,在语音数据为“今天天气”时,控件104中显示的文本数据为“今天天气”。
应理解,在语音数据为“今天天气”时,表示用户想要了解今天的天气情况。
语音助手应用程序在根据语音数据确定语音识别结束后,手机可显示如图7D所示的界面14。
另外,语音助手应用程序在根据语音数据确定语音识别结束后,通知气息唤醒软件模块,气息唤醒软件模块可控制气息唤醒处理装置重新启动对下一次接收到的数据进行识别。也就是恢复语音助手应用程序的气息唤醒功能。
其中,界面14中还可以包括控制106。控件106用于显示语音助手应用程序的语音识别结果。
例如,在语音数据为“今天天气”时,控制106显示的语音识别结果可以为“A市,大部多云,降雨概率10%,当前温度14℃,最高温度17℃,最低温度11℃”。
综上,可实现通过气息唤醒的方式唤醒语音助手应用程序,并且语音助手应用程序确定语音识别结束后,气息唤醒软件模块可控制气息唤醒处理装置重新启动对下一次接收到的数据进行识别。
示例性地,本申请提供一种文档处理装置,该装置可以包括用于执行前文实施例中的唤醒应用程序的方法的一个或者多个模块。
示例性地,本申请提供一种电子设备,包括处理器;当处理器执行存储器中的计算机代码或指令时,使得电子设备执行前文实施例中的唤醒应用程序的方法。
示例性地,本申请提供一种电子设备,包括一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行前文实施例中的唤醒应用程序的方法。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,上述实施例中涉及的电子设备还可以包括:接收模块、和确定模块。其中,接收模块、和确定模块相互配合,可以用于支持电子设备执行上述步骤,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述唤醒应用程序的方法,因此可以达到与上述实现方法相同的效果。
示例性地,本申请提供一种芯片系统,芯片系统包括处理器,用于从存储器中调用并运行计算机程序,使得安装有芯片系统的电子设备执行前文实施例中的唤醒应用程序的方法。
示例性地,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有代码或指令,当代码或指令在电子设备上运行时,使得电子设备执行时实现前文实施例中的唤醒应用程序的方法。
示例性地,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得电子设备实现前文实施例中的唤醒应用程序的方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片系统均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种唤醒应用程序的方法,其特征在于,应用于电子设备,所述电子设备包括:第一应用程序、气息唤醒软件模块、和气息唤醒处理装置;
所述方法包括:
所述气息唤醒处理装置获取第一数据;
所述气息唤醒处理装置在检测出所述第一数据用于指示气息唤醒所述第一应用程序时,向所述气息唤醒软件模块发送所述第一数据中的语音数据;
所述气息唤醒软件模块存储所述语音数据,启动所述第一应用程序,控制所述气息唤醒处理装置停止检测所述第一应用程序的气息唤醒且继续获取语音数据;
所述第一应用程序在启动后,调用所述气息唤醒软件模块成功时,向所述气息唤醒软件模块发送第一通知;
所述气息唤醒软件模块响应于所述第一通知,向所述第一应用程序发送所述语音数据;
所述第一应用程序对所述语音数据进行语音识别;
所述第一应用程序在根据所述语音数据确定语音识别结束时,向所述气息唤醒软件模块发送第二通知;
所述气息唤醒软件模块响应于所述第二通知,控制所述气息唤醒处理装置启动检测所述第一应用程序的下一次气息唤醒。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述气息唤醒软件模块在经过预设时长,未接收到所述第一通知,或者所述第二通知时,控制所述气息唤醒处理装置启动检测所述第一应用程序的下一次气息唤醒。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述第一应用程序在启动后,显示第一用户界面;
所述第一应用程序在所述第一用户界面中显示语音识别结果。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述气息唤醒软件模块包括:第一软件模块和第二软件模块,所述语音数据存储在所述第二软件模块中;
所述第一应用程序在启动后,调用所述气息唤醒软件模块成功时,向所述气息唤醒软件模块发送第一通知,包括:
所述第一应用程序在启动后,调用所述第一软件模块成功时,向所述第一软件模块发送所述第一通知;
所述气息唤醒软件模块响应于所述第一通知,向所述第一应用程序发送所述语音数据,包括:
所述第一软件模块响应于所述第一通知,从所述第二软件模块中调用所述语音数据,向所述第一应用程序发送所述语音数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述第一软件模块响应于所述第一通知,向所述第二软件模块发送第三通知;
所述第二软件模块响应于所述第三通知,控制所述气息唤醒处理装置停止检测所述第一应用程序的气息唤醒且继续获取语音数据。
6.根据权利要求5所述的方法,其特征在于,所述气息唤醒软件模块响应于所述第二通知,控制所述气息唤醒处理装置启动检测所述第一应用程序的下一次气息唤醒,包括:
所述第一软件模块响应于所述第二通知,向所述第二软件模块发送第四通知;
所述第二软件模块响应于所述第四通知,控制所述气息唤醒处理装置启动下一次检测所述第一应用程序的下一次气息唤醒。
7.根据权利要求5或6所述的方法,其特征在于,所述气息唤醒软件模块还包括第三软件模块和第四软件模块;
所述气息唤醒软件模块存储所述语音数据,启动所述第一应用程序,控制所述气息唤醒处理装置停止气息唤醒处理装置停止检测所述第一应用程序的气息唤醒且继续获取语音数据,包括:
所述第二软件模块存储所述语音数据,向所述第三软件模块发送唤醒事件;
所述第三软件模块响应于所述唤醒事件,向所述第四软件模块发送所述唤醒事件,以及向所述第二软件模块发送第五通知;
所述第四软件模块响应于所述唤醒事件,控制所述第一应用程序启动;
所述第二软件模块响应于所述第五通知,控制所述气息唤醒处理装置停止检测所述第一应用程序的气息唤醒且继续获取语音数据。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述第三软件模块响应于所述唤醒事件,设定定时时间,并根据所述定时时间开始计时;
所述第三软件模块确定所述定时时间计时结束时,未接收到所述第一通知,或者所述第二通知时,向所述第二软件模块发送第六通知;
所述第二软件模块响应于所述第六通知,控制所述气息唤醒处理装置启动检测所述第一应用程序的下一次气息唤醒;
所述第三软件模块响应于所述第一通知,关闭所述定时时间的计时。
9.根据权利要求4-8任一项所述的方法,其特征在于,所述第一应用程序在根据所述语音数据确定语音识别结束时,向所述气息唤醒软件模块发送第二通知,包括:
所述第一应用程序响应于用于指示结束语音识别的操作,确定语音识别结束;
或者,所述第一应用程序确定所述语音数据对应的语音文本满足预设规则时,确定语音识别结束;
所述第一应用程序在确定语音识别结束时,向所述第一软件模块发送所述第二通知。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述气息唤醒处理装置包括:惯性检测传感器、声音采集传感器、和音频数字信号处理器;
所述第一数据中包括:所述语音数据和手势数据,所述气息唤醒处理装置获取第一数据,包括:
所述惯性检测传感器采集手势数据;
所述惯性检测传感器向所述音频数字信号处理器发送所述手势数据;
所述声音采集传感器采集语音数据;
所述声音采集传感器向所述音频数字信号处理器发送所述语音数据;
所述气息唤醒处理装置在检测出所述第一数据用于指示气息唤醒所述第一应用程序时,向所述气息唤醒软件模块发送所述第一数据中的语音数据,包括:
所述气息唤醒处理装置在检测出所述手势数据与预设唤醒手势数据之间的相似度大于第一阈值,且所述语音数据与预设唤醒气息数据之间的相似度大于第二阈值时,向所述气息唤醒软件模块发送所述语音数据。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-10任一项所述的唤醒应用程序的方法。
12.一种芯片系统,其特征在于,所述芯片系统包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片系统的电子设备执行如权利要求1-10任一项所述的唤醒应用程序的方法。
13.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-10任一项所述的唤醒应用程序的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438531.XA CN118053423A (zh) | 2022-11-16 | 2022-11-16 | 唤醒应用程序的方法及电子设备 |
PCT/CN2023/114978 WO2024103893A1 (zh) | 2022-11-16 | 2023-08-25 | 唤醒应用程序的方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438531.XA CN118053423A (zh) | 2022-11-16 | 2022-11-16 | 唤醒应用程序的方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118053423A true CN118053423A (zh) | 2024-05-17 |
Family
ID=91049192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211438531.XA Pending CN118053423A (zh) | 2022-11-16 | 2022-11-16 | 唤醒应用程序的方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118053423A (zh) |
WO (1) | WO2024103893A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492827B (zh) * | 2018-04-02 | 2019-07-30 | 百度在线网络技术(北京)有限公司 | 应用程序的唤醒处理方法、装置及存储介质 |
CN113593541B (zh) * | 2020-04-30 | 2024-03-12 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备和计算机存储介质 |
CN111681655A (zh) * | 2020-05-21 | 2020-09-18 | 北京声智科技有限公司 | 语音控制方法、装置、电子设备及存储介质 |
CN112583673B (zh) * | 2020-12-04 | 2021-10-22 | 珠海格力电器股份有限公司 | 一种唤醒设备的控制方法以及装置 |
US20210225374A1 (en) * | 2020-12-23 | 2021-07-22 | Intel Corporation | Method and system of environment-sensitive wake-on-voice initiation using ultrasound |
CN114999484A (zh) * | 2022-05-31 | 2022-09-02 | 四川虹美智能科技有限公司 | 交互语音设备的选举方法及系统 |
-
2022
- 2022-11-16 CN CN202211438531.XA patent/CN118053423A/zh active Pending
-
2023
- 2023-08-25 WO PCT/CN2023/114978 patent/WO2024103893A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024103893A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107360327B (zh) | 语音识别方法、装置和存储介质 | |
US20220223150A1 (en) | Voice wakeup method and device | |
WO2021052263A1 (zh) | 语音助手显示方法及装置 | |
EP4030422B1 (en) | Voice interaction method and device | |
CN111724775B (zh) | 一种语音交互方法及电子设备 | |
US20210319782A1 (en) | Speech recognition method, wearable device, and electronic device | |
EP4006713A1 (en) | Voice-controlled split-screen display method and electronic device | |
CN113778663B (zh) | 一种多核处理器的调度方法及电子设备 | |
CN113535340B (zh) | 一种任务调度方法、装置及电子设备 | |
WO2020073288A1 (zh) | 一种触发电子设备执行功能的方法及电子设备 | |
CN112739507B (zh) | 一种交互沟通实现方法、设备和存储介质 | |
KR102269387B1 (ko) | 상황별 정보 공유 지원 방법 및 이를 지원하는 전자 장치 | |
EP4199488A1 (en) | Voice interaction method and electronic device | |
WO2022262434A1 (zh) | 一种功耗优化方法和电子设备 | |
CN114333854A (zh) | 语音唤醒方法、电子设备及芯片系统 | |
CN113393838A (zh) | 语音处理方法、装置、计算机可读存储介质及计算机设备 | |
CN112363851A (zh) | 智能终端的语音唤醒方法、系统、智能手表及存储介质 | |
CN108093350B (zh) | 麦克风的控制方法和麦克风 | |
CN111897916B (zh) | 语音指令识别方法、装置、终端设备及存储介质 | |
CN118053423A (zh) | 唤醒应用程序的方法及电子设备 | |
EP4354831A1 (en) | Cross-device method and apparatus for synchronizing navigation task, and device and storage medium | |
WO2022088963A1 (zh) | 一种电子设备解锁方法和装置 | |
CN116684525A (zh) | 一种事件提醒的方法、电子设备及存储介质 | |
CN114765026A (zh) | 一种语音控制方法、装置及系统 | |
CN115083400A (zh) | 语音助手唤醒方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |