CN112363851A - 智能终端的语音唤醒方法、系统、智能手表及存储介质 - Google Patents
智能终端的语音唤醒方法、系统、智能手表及存储介质 Download PDFInfo
- Publication number
- CN112363851A CN112363851A CN202011168553.XA CN202011168553A CN112363851A CN 112363851 A CN112363851 A CN 112363851A CN 202011168553 A CN202011168553 A CN 202011168553A CN 112363851 A CN112363851 A CN 112363851A
- Authority
- CN
- China
- Prior art keywords
- awakening
- voice
- wake
- event
- intelligent terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 39
- 230000007958 sleep Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003670 easy-to-clean Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Telephone Function (AREA)
Abstract
本发明提供了智能终端的语音唤醒方法、系统、智能手表及存储介质，其方法包括：获取语音指令；当唤醒IC检测到语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；当监控线程检测到唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据语音指令采集录音数据、并缓存至后台；生成唤醒事件之后启动唤醒应用，控制唤醒应用读取录音数据进行语音识别，转化为语音指令并控制相应的应用相应语音指令。本发明通过监控线程监控唤醒事件状态，提前在后台采集录音数据缓存起来，当系统上层服务和唤醒应用启动录音来获取语音数据时，直接从后台线程缓存的录音数据取，响应速度更快。
Description
技术领域
本发明涉及移动通信技术领域，尤指一种智能终端的语音唤醒方法、系统、智能手表及存储介质。
背景技术
现在使用语音唤醒功能的智能设备越来越多了，市场上有非常多的智能手机，家教机，平板或者其他的智能语音交互设备，在语音唤醒的使用上，当用户使用语音唤醒设备时，用户需要等待设备从深度休眠状态下唤醒，系统唤醒后启动录音开始采集用户语音数据，这时候用户才可以继续与设备进行语音交互。
低功耗语音唤醒设备的工作流程如下：设备处于深度休眠->用户语音喊唤醒词->设备的唤醒IC检测到语音唤醒向设备AP发送中断信号->设备AP接收中断退出休眠->设备检测到唤醒事件唤醒应用启动录音响应用户->用户继续语音指令控制设备。
这个流程从用户语音唤醒到设备启动录音继续接收用户的语音指令通常需要时长1.5秒以上，因此是没办法做到用户语音唤醒之后立即继续语音指令控制设备的。
发明内容
本发明的目的是提供一种智能终端的语音唤醒方法、系统、智能手表及存储介质，通过监控线程监控唤醒事件状态，提前在后台采集录音数据缓存起来，当系统上层服务和唤醒应用启动录音来获取语音数据时，直接从后台线程缓存的录音数据取，响应速度更快。
本发明提供的技术方案如下：
本发明提供一种智能终端的语音唤醒方法，应用于具备低功耗语音唤醒功能的智能设备，包括以下步骤：
获取语音指令；
当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
进一步的，获取语音指令之前包括步骤：
当智能终端初始化时，启动监控线程与唤醒IC；
若无唤醒事件产生，则控制监控线程进入休眠状态。
进一步的，获取语音指令之前包括步骤：
当获取到系统休眠指令时，控制智能终端进入休眠状态；
当内核响应中断之后，控制智能终端退出休眠状态。
进一步的，当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态包括步骤：
当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；
将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；
当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用。
本发明还提供一种智能终端的语音唤醒系统，包括：
指令获取模块，用于获取语音指令；
唤醒控制模块，与所述指令获取模块通讯连接，用于当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
数据采集模块，与所述唤醒控制模块通讯连接，用于当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
语音识别模块，与所述唤醒控制模块通讯连接，用于启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
进一步的，还包括：
初始化模块，用于当智能终端初始化时，启动监控线程与唤醒IC；
线程控制模块，与所述初始化模块通讯连接，用于若无唤醒事件产生，则控制监控线程进入休眠状态。
进一步的，还包括：
状态控制模块，与所述指令获取模块通讯连接，用于当获取到系统休眠指令时，控制智能终端进入休眠状态；
所述状态控制模块，与所述唤醒控制模块通讯连接，还用于当内核响应中断之后，控制智能终端退出休眠状态。
进一步的，还包括：
所述唤醒控制模块，当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用。
本发明还提供一种智能手表，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现上述的智能终端的语音唤醒方法所执行的操作。
本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述的的智能终端的语音唤醒方法所执行的操作。
通过本发明提供的一种智能终端的语音唤醒方法、系统、智能手表及存储介质，通过监控线程监控唤醒事件状态，提前在后台采集录音数据缓存起来，当系统上层服务和唤醒应用启动录音来获取语音数据时，直接从后台线程缓存的录音数据取，响应速度更快。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种终端设备测试方法、智能手表及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种智能终端的语音唤醒方法的一个实施例的流程图；
图2是本发明一种智能终端的语音唤醒方法的另一个实施例的流程图；
图3是本发明一种智能终端的语音唤醒方法的另一个实施例的流程图；
图4是本发明一种智能终端的语音唤醒方法的另一个实施例的流程图；
图5是本发明一种智能终端的语音唤醒方法的另一个实施例的流程图；
图6是本发明一种智能终端的语音唤醒系统的一个实施例的结构示意图；
图7是本发明一种智能手表的一个实施例的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
本发明的一个实施例，参见图1所示，一种智能终端的语音唤醒方法，包括：
S100获取语音指令；
S200当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
S300当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
S400生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
具体的，智能终端通过麦克风等录音设备获取用户下发的语音指令，唤醒IC(IC，集成电路)对语音指令进行语音转化及识别，判断其中是否包含唤醒词，唤醒词一般是系统的唤醒应用确定的特定的词汇，例如小爱同学等，当检测到唤醒词时，智能终端会对语音指令进行进一步指令识别，从而执行相应的操作。
另一方面，唤醒词也可以是用户设定的任意特定的词汇，因此，获取用户自主设定的启动智能终端的唤醒词，进一步的，为了减少其中的语音转化识别的步骤，还可以获取对应的智能终端可准确识别的唤醒词音频，以便获取到语音指令时直接与唤醒词音频进行比对，从而能够快速识别出是否包含唤醒词。其中，为了避免误识别及唤醒，唤醒词的选取应当尽量避免选择日常常用的字、词、句等。
当唤醒IC检测到语音指令中包含唤醒词时，说明用户需要智能终端执行相应的操作，因此控制内核响应中断，生成唤醒事件，同时在日志文件中读写唤醒事件状态，该唤醒事件状态说明当前有唤醒事件产生。
当监控线程检测到唤醒事件状态时，说明当前有唤醒事件产生，因此控制监控线程退出休眠状态(无唤醒事件时监控线程自动进入休眠状态)，然后设置录音音频通路，即配置开启录音功能所需要的对应的参数，以便采集语音信息。
根据语音指令采集用户输出的所有语音信息作为录音数据，并缓存至后台。通常录音数据的格式为16K，16bit，单声道，每1S的数据量为32KB，可在内存中申请一块320KB的内存空间，可以缓存10S的数据量。实际使用过程中，可以根据需要的录音数据的大小自主设置不同的缓存空间大小。相比进行存储，缓存录音数据读写速度更快，同时也更加容易清理。其中，当检测到唤醒词生成唤醒事件之后缓存录音数据可能产生100至150ms的用户语音信息的丢失，但是基于用户语音指令的语速等因素，并不影响响应指令，进而执行相应的操作。
另外，生成唤醒事件之后启动唤醒应用，唤醒应用类似于语音助手，用于识别语音指令并调用相应的服务，因此控制唤醒应用读取录音数据进行语音识别，识别其中的关键词，判断用户意图，然后转化为语音指令并控制相应的应用响应语音指令。
例如，当录音数据为“查看明天的天气情况”，当识别出关键词“天气”与“明天”时，开启天气相关的应用，并将其定位至时间为明天的界面。另外，识别出的关键词越多，越能够唯一确定相应的应用，但是当识别出的关键词较少时，与其相关联的应用较多，可以显示多个关联的应用，并收集用户的使用历史记录，根据记录的该关键词下用户选择的应用次数进行优先级排序，以越来越符合用户的使用习惯。
本发明通过监控线程监控唤醒事件状态，提前在后台采集录音数据缓存起来，当系统上层服务和唤醒应用启动录音来获取语音数据时，直接从后台线程缓存的录音数据取，响应速度更快。
本发明的又一个实施例，如图2所示，一种智能终端的语音唤醒方法，包括：
S010当智能终端初始化时，启动监控线程与唤醒IC；
S020若无唤醒事件产生，则控制监控线程进入休眠状态；
S100获取语音指令；
S200当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
S300当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
S400生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
具体的，当智能终端初始化时，启动监控线程与唤醒IC。唤醒IC主要用于识别用户的语音指令中是否包含唤醒词，若包含决定是否生成唤醒事件。监控线程则用于检测是否有唤醒事件发生，若有则决定设置录音音频通路，在后台缓存录音数据，以便后续唤醒应用采集识别。其中智能终端初始化包括但不限于智能终端关机重启、回复出厂设置等。
如果无唤醒事件产生，为了减少功耗，控制监控线程进入休眠状态，只与当检测到唤醒事件产生时，监控线程才会退出休眠状态。通常语音唤醒IC的功耗很低，基本在2mA以内，同时为了唤醒IC能够快速识别响应用户的语音指令，因此唤醒IC始终处于工作状态。
智能终端通过麦克风等录音设备获取用户下发的语音指令，唤醒IC对语音指令进行语音转化及识别，判断其中是否包含唤醒词，当检测到唤醒词时，智能终端会对语音指令进行进一步指令识别，从而执行相应的操作。
当唤醒IC检测到语音指令中包含唤醒词时，说明用户需要智能终端执行相应的操作，因此控制内核响应中断，生成唤醒事件，同时在日志文件中读写唤醒事件状态，该唤醒事件状态说明当前有唤醒事件产生。
当监控线程检测到唤醒事件状态时，说明当前有唤醒事件产生，因此控制监控线程退出休眠状态(无唤醒事件时监控线程自动进入休眠状态)，然后设置录音音频通路，即配置开启录音功能所需要的对应的参数，以便采集语音信息。
另外，生成唤醒事件之后启动唤醒应用，唤醒应用类似于语音助手，用于识别语音指令并调用相应的服务，因此控制唤醒应用读取录音数据进行语音识别，识别其中的关键词，判断用户意图，然后转化为语音指令并控制相应的应用响应语音指令。
本申请设置监控线程用于检测是否有唤醒事件发生，若有则决定设置录音音频通路，在后台缓存录音数据，以便后续唤醒应用采集识别，当系统上层服务和唤醒应用启动录音来获取语音数据时，直接从后台线程缓存的录音数据取，响应速度更快。
本发明的又一个实施例，如图3所示，一种智能终端的语音唤醒方法，包括：
S050当获取到系统休眠指令时，控制智能终端进入休眠状态；
S060当内核响应中断之后，控制智能终端退出休眠状态；
S100获取语音指令；
S200当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
S300当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
S400生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
具体的，当获取到系统休眠指令时，控制智能终端进入休眠状态。例如用户操作智能终端进入待机模式，包括但不限于短按开机键，基于不同的智能终端，控制智能终端进入休眠状态的指令各不相同，另外还可以根据用户自身的使用习惯进行个性化设置。同时，除了用户自己操作主动进入休眠模式，还可以是预设时长未检测到用户有任何操作之后自动进入休眠状态，同样的，该预设时长可以根据用户自身的使用习惯进行个性化设置。同样地，由于唤醒IC的功耗很低，唤醒IC始终处于正常工作状态。之后当检测到用户相应的操作则可以退出休眠模式。或者当唤醒IC检测到唤醒事件之后，内核响应中断，同样地智能终端可以退出休眠状态。
智能终端通过麦克风等录音设备获取用户下发的语音指令，唤醒IC对语音指令进行语音转化及识别，判断其中是否包含唤醒词，当检测到唤醒词时，智能终端会对语音指令进行进一步指令识别，从而执行相应的操作。
当唤醒IC检测到语音指令中包含唤醒词时，说明用户需要智能终端执行相应的操作，因此控制内核响应中断，生成唤醒事件，同时在日志文件中读写唤醒事件状态，该唤醒事件状态说明当前有唤醒事件产生。
如果系统当前处于休眠状态，则在内核响应中断之后自动退出休眠状态，然后继续后续的流程。但如果系统当前未处于休眠状态，则直接进入后续的流程。
当监控线程检测到唤醒事件状态时，说明当前有唤醒事件产生，因此控制监控线程退出休眠状态(无唤醒事件时监控线程自动进入休眠状态)，然后设置录音音频通路，即配置开启录音功能所需要的对应的参数，以便采集语音信息。
另外，生成唤醒事件之后启动唤醒应用，唤醒应用类似于语音助手，用于识别语音指令并调用相应的服务，因此控制唤醒应用读取录音数据进行语音识别，识别其中的关键词，判断用户意图，然后转化为语音指令并控制相应的应用响应语音指令。
本申请中智能终端通过唤醒IC能在深度休眠的低功耗状态下实时检测唤醒词，避免不必要的功耗。
本发明的又一个实施例，如图4所示，一种智能终端的语音唤醒方法，包括：
S100获取语音指令；
S210当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；
S220将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；
S210当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用；
S300当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
S400生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
具体地，智能终端通过麦克风等录音设备获取用户下发的语音指令，唤醒IC对语音指令进行语音转化及识别，判断其中是否包含唤醒词，当检测到唤醒词时，智能终端会对语音指令进行进一步指令识别，从而执行相应的操作。
当唤醒IC检测到语音指令中包含唤醒词时，说明用户需要智能终端执行相应的操作，因此控制内核响应中断，生成唤醒事件，同时在日志文件中读写唤醒事件状态，该唤醒事件状态说明当前有唤醒事件产生。将唤醒事件由内核传至系统上层服务，因此监控线程与系统才能检测到当前有唤醒事件产生。
当监控线程检测到唤醒事件状态时，说明当前有唤醒事件产生，因此控制监控线程退出休眠状态(无唤醒事件时监控线程自动进入休眠状态)，然后设置录音音频通路，即配置开启录音功能所需要的对应的参数，以便采集语音信息。
另外，生成唤醒事件之后启动唤醒应用，唤醒应用类似于语音助手，用于识别语音指令并调用相应的服务，因此控制唤醒应用读取录音数据进行语音识别，识别其中的关键词，判断用户意图，然后转化为语音指令并控制相应的应用响应语音指令。
本发明的又一个实施例，如图5所示，一种智能终端的语音唤醒方法，包括：
1、本申请的装置主要具备低功耗语音唤醒功能的智能设备，如手机，平板，智能语音交互设备等，设备通过唤醒IC能在深度休眠的低功耗状态下实时检测唤醒词。
2、智能设备后台启动一个线程wakeup_thread，该线程通过监控inotify文件系统的文件wakeup_file的状态来实时监测内核事件。
3、系统进入深度休眠处于低功耗状态，语音唤醒IC此时进入工作状态(通常语音唤醒IC的功耗很低，基于在2mA以内)。
4、用户喊唤醒词，语音唤醒IC检测到唤醒词，产生中断，内核响应该中断，设备退出休眠状态，语音唤醒中断处理当中通过读或者写inotify文件系统对应的文件wakeup_file。
4、后台线程wakeup_thread监控到wakeup_file文件有被读或者写，知道有语音唤醒事件产生，设置录音音频通路，打开音频节点开始采集录音数据，通常录音数据的格式为16K，16bit，单声道，每1S的数据量为32KB，可在内存中申请一块320KB的内存空间，可以缓存10S的数据量。
5、系统被唤醒后，启动语音唤醒相关的应用，应用启动系统录音，系统启动录音，但是获取录音数据不再从原来的数据源中取，而是从后台线程wakeup_thread缓存的音频数据去取录音数据。
6、唤醒应用取到录音数据后做语音识别转化为语音指令并响应该指令。
本发明方案通过后台线程监控inotify文件系统操作，提前在后台采集录音数据缓存起来，等系统上层服务和应用唤醒唤醒事件启动录音来获取语音数据时，直接从后台线程缓存的录音数据取即可。
经过实测，在语音唤醒IC检测到唤醒词，产生中断由内核通过inotify通知后台线程，后台线程配置好音频通路开始采集语音数据，整个流程耗时在150ms以内，以正常人的语速，基本上是不会丢失语音指令字的。
本发明的一个实施例，如图6所示，一种智能终端的语音唤醒系统200，包括：
指令获取模块210，用于获取语音指令；
唤醒控制模块220，与所述指令获取模块210通讯连接，用于当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
数据采集模块230，与所述唤醒控制模块220通讯连接，用于当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
语音识别模块240，与所述唤醒控制模块220和所述数据采集模块230通讯连接，用于启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
还包括：
初始化模块250，与所述数据采集模块230通讯连接，用于当智能终端初始化时，启动监控线程与唤醒IC；
线程控制模块260，与所述初始化模块250通讯连接，用于若无唤醒事件产生，则控制监控线程进入休眠状态。
还包括：
状态控制模块270，与所述指令获取模块210通讯连接，用于当获取到系统休眠指令时，控制智能终端进入休眠状态；
所述状态控制模块270，与所述唤醒控制模块220通讯连接，还用于当内核响应中断之后，控制智能终端退出休眠状态。
所述唤醒控制模块220，当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用。
具体地，本实施例中各个模块的功能在上述对应的方法实施例中已经详细说明，因此不再进行一一阐述。
本发明的一个实施例，如图7所示，一种智能手表100，包括处理器110、存储器120，其中，存储器120，用于存放计算机程序121；处理器110，用于执行存储器120上所存放的计算机程序121，实现上述所对应方法实施例中的拍照控制方法。
所述智能手表100可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述智能手表100可包括，但不仅限于处理器110、存储器120。本领域技术人员可以理解，图7仅仅是智能手表100的示例，并不构成对智能手表100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：智能手表100还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线，还可以包括输入/输出接口，其中，处理器110、存储器120、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器120存储有计算机程序121，该处理器110用于执行存储器120上所存放的计算机程序121，实现上述所对应方法实施例中的拍照控制方法。
所述处理器110可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器120可以是所述智能手表100的内部存储单元，例如：智能手表的硬盘或内存。所述存储器也可以是所述智能手表的外部存储设备，例如：所述智能手表上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器120还可以既包括所述智能手表100的内部存储单元也包括外部存储设备。所述存储器120用于存储所述计算机程序121以及所述智能手表100所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器110通过通信总线从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器120可以包括程序模块，例如内核(kernel)，中间件(middleware)，应用程序编程接口(ApplicationProgramming Interface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(例如感应器、键盘、触摸屏)输入的命令或数据。通信接口将该智能手表100与其它网络设备、用户设备、网络进行连接。例如，通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。智能手表100可以通过通信接口连接网络，智能手表100和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。
本发明的一个实施例，一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述拍照控制方法对应实施例所执行的操作。例如，存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。
它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/智能手表和方法，可以通过其他的方式实现。例如，以上所描述的装置/智能手表实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序121发送指令给相关的硬件完成，所述的计算机程序121可存储于一存储介质中，该计算机程序121在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序121可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括：能够携带所述计算机程序121的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种智能终端的语音唤醒方法，应用于具备低功耗语音唤醒功能的智能设备，其特征在于，包括以下步骤：
获取语音指令；
当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
生成唤醒事件之后启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
2.根据权利要求1所述的智能终端的语音唤醒方法，其特征在于，获取语音指令之前包括步骤：
当智能终端初始化时，启动监控线程与唤醒IC；
若无唤醒事件产生，则控制监控线程进入休眠状态。
3.根据权利要求1所述的智能终端的语音唤醒方法，其特征在于，获取语音指令之前包括步骤：
当获取到系统休眠指令时，控制智能终端进入休眠状态；
当内核响应中断之后，控制智能终端退出休眠状态。
4.根据权利要求1所述的智能终端的语音唤醒方法，其特征在于，当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态包括步骤：
当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；
将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；
当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用。
5.一种智能终端的语音唤醒系统，其特征在于，包括：
指令获取模块，用于获取语音指令；
唤醒控制模块，与所述指令获取模块通讯连接，用于当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件，并在日志文件中读写唤醒事件状态；
数据采集模块，与所述唤醒控制模块通讯连接，用于当监控线程检测到所述唤醒事件状态时，控制监控线程退出休眠状态，然后设置录音音频通路，根据所述语音指令采集录音数据、并缓存至后台；
语音识别模块，与所述唤醒控制模块和所述数据采集模块通讯连接，用于启动唤醒应用，控制唤醒应用读取所述录音数据进行语音识别，转化为语音指令并控制相应的应用响应所述语音指令。
6.根据权利要求5所述的智能终端的语音唤醒系统，其特征在于，还包括：
初始化模块，与所述数据采集模块通讯连接，用于当智能终端初始化时，启动监控线程与唤醒IC；
线程控制模块，与所述初始化模块通讯连接，用于若无唤醒事件产生，则控制监控线程进入休眠状态。
7.根据权利要求5所述的智能终端的语音唤醒系统，其特征在于，还包括：
状态控制模块，与所述指令获取模块通讯连接，用于当获取到系统休眠指令时，控制智能终端进入休眠状态；
所述状态控制模块，与所述唤醒控制模块通讯连接，还用于当内核响应中断之后，控制智能终端退出休眠状态。
8.根据权利要求5所述的智能终端的语音唤醒系统，其特征在于，所述唤醒控制模块，当唤醒IC检测到所述语音指令中包含唤醒词时，控制内核响应中断，生成唤醒事件；将所述唤醒事件由内核传至系统上层服务，在日志文件中读写唤醒事件状态；当所述唤醒事件由内核传至系统上层服务之后，启动唤醒应用。
9.一种智能手表，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现如权利要求1至权利要求4任一项所述的智能终端的语音唤醒方法所执行的操作。
10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求4任一项所述的智能终端的语音唤醒方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168553.XA CN112363851A (zh) | 2020-10-28 | 2020-10-28 | 智能终端的语音唤醒方法、系统、智能手表及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168553.XA CN112363851A (zh) | 2020-10-28 | 2020-10-28 | 智能终端的语音唤醒方法、系统、智能手表及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112363851A true CN112363851A (zh) | 2021-02-12 |
Family
ID=74510835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011168553.XA Pending CN112363851A (zh) | 2020-10-28 | 2020-10-28 | 智能终端的语音唤醒方法、系统、智能手表及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112363851A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593549A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 确定语音设备的唤醒率的方法及装置 |
| CN114489437A (zh) * | 2022-01-14 | 2022-05-13 | 深圳优美创新科技有限公司 | 智能手表及其控制方法、计算机可读存储介质 |
| CN115712582A (zh) * | 2023-01-06 | 2023-02-24 | 大熊集团有限公司 | 一种数据缓存的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016161641A1 (zh) * | 2015-04-10 | 2016-10-13 | 华为技术有限公司 | 语音识别方法、语音唤醒装置、语音识别装置及终端 |
| CN109378000A (zh) * | 2018-12-19 | 2019-02-22 | 科大讯飞股份有限公司 | 语音唤醒方法、装置、系统、设备、服务器及存储介质 |
-
2020
- 2020-10-28 CN CN202011168553.XA patent/CN112363851A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016161641A1 (zh) * | 2015-04-10 | 2016-10-13 | 华为技术有限公司 | 语音识别方法、语音唤醒装置、语音识别装置及终端 |
| CN109378000A (zh) * | 2018-12-19 | 2019-02-22 | 科大讯飞股份有限公司 | 语音唤醒方法、装置、系统、设备、服务器及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593549A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 确定语音设备的唤醒率的方法及装置 |
| CN114489437A (zh) * | 2022-01-14 | 2022-05-13 | 深圳优美创新科技有限公司 | 智能手表及其控制方法、计算机可读存储介质 |
| CN114489437B (zh) * | 2022-01-14 | 2024-03-19 | 深圳优美创新科技有限公司 | 智能手表及其控制方法、计算机可读存储介质 |
| CN115712582A (zh) * | 2023-01-06 | 2023-02-24 | 大熊集团有限公司 | 一种数据缓存的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11636861B2 (en) | Electronic device and method of operation thereof | |
| US10148807B2 (en) | Electronic device and method of voice command processing therefor | |
| JP7324313B2 (ja) | 音声対話方法及び装置、端末、並びに記憶媒体 | |
| CN112363851A (zh) | 智能终端的语音唤醒方法、系统、智能手表及存储介质 | |
| EP3567584B1 (en) | Electronic apparatus and method for operating same | |
| WO2021063343A1 (zh) | 语音交互方法及装置 | |
| US20200043490A1 (en) | Electronic device and method for determining electronic device to perform speech recognition | |
| KR20200027554A (ko) | 음성 인식 방법 및 장치, 그리고 저장 매체 | |
| US10282333B2 (en) | Electronic device operating method and electronic device for supporting the same | |
| CN108304151B (zh) | 用于显示内容的方法及其电子设备 | |
| US20200042371A1 (en) | Method for detecting memory leak and electronic device thereof | |
| CN109101517B (zh) | 信息处理方法、信息处理设备以及介质 | |
| KR20150025609A (ko) | 저전력으로 위치 변화를 측정하는 전자 장치 및 방법 | |
| CN110032321A (zh) | 应用程序处理方法和装置、电子设备、计算机可读存储介质 | |
| CN114373462A (zh) | 语音交互设备及其控制方法、控制装置 | |
| CN110912574B (zh) | 一种sim卡检测方法、装置、存储介质及终端 | |
| CN114816026A (zh) | 一种低功耗待机方法、电子设备及计算机可读存储介质 | |
| US20140187211A1 (en) | Mobile apparatus and method of voice communication | |
| CN112449411A (zh) | 智能设备工作模式切换方法和装置 | |
| CN111897916B (zh) | 语音指令识别方法、装置、终端设备及存储介质 | |
| EP4293664A1 (en) | Voiceprint recognition method, graphical interface, and electronic device | |
| CN109511139B (zh) | Wifi控制方法、装置、移动设备、计算机可读存储介质 | |
| CN108334339A (zh) | 一种蓝牙设备驱动方法和装置 | |
| CN113031749A (zh) | 电子设备 | |
| CN110168511B (zh) | 一种电子设备和降低功耗的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210212 |
|
| RJ01 | Rejection of invention patent application after publication |