CN115588435A - 语音唤醒方法及电子设备 - Google Patents

Abstract

本申请提供了一种语音唤醒方法及电子设备。该方法包括：采集语音信息；将语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，以使低功耗唤醒模块根据语音信息输出第一唤醒信息，免唤醒词唤醒模块根据语音信息输出第二唤醒信息；将第一唤醒信息通过第一通道上报给语音助手模块，将第二唤醒信息通过第二通道上报给语音助手模块；根据第一唤醒信息或第二唤醒信息，唤醒语音助手模块。这样，通过兼容免唤醒词的唤醒语音助手方式，使得在用户语音中没有唤醒词的情况下也能够唤醒语音助手，有利于智慧语音交互功能的进一步推广和普及。

Description

语音唤醒方法及电子设备

技术领域

本申请涉及终端设备领域，尤其涉及一种语音唤醒方法及电子设备。

背景技术

随着电子设备（如手机、平板、可穿戴智能设备等）的普及，智慧语音的交互功能已经成为人们日常生活中的常用功能。当前，比较常见的一种智慧语音交互方式是固定唤醒词的语音唤醒。

使用固定唤醒词唤醒语音助手，使用便捷。但是，采用这种智慧语音交互方式需要进行唤醒词注册。唤醒词注册的步骤十分繁琐，例如需要找到注册唤醒词的多级菜单入口，在安静环境、一定距离处重复多遍唤醒词，影响了智慧语音交互功能的进一步推广和普及。

发明内容

为了解决上述技术问题，本申请提供一种语音唤醒方法及电子设备，通过兼容免唤醒词的唤醒语音助手方式，使得在用户语音中没有唤醒词的情况下也能够唤醒语音助手，有利于智慧语音交互功能的进一步推广和普及。

第一方面，本申请提供一种语音唤醒方法。该方法应用于电子设备，该方法包括：采集语音信息；将语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，以使低功耗唤醒模块根据语音信息输出第一唤醒信息，免唤醒词唤醒模块根据语音信息输出第二唤醒信息；将第一唤醒信息通过第一通道上报给语音助手模块，将第二唤醒信息通过第二通道上报给语音助手模块；根据第一唤醒信息和第二唤醒信息中的至少一个，唤醒语音助手模块。这样，通过兼容免唤醒词的唤醒语音助手方式，使得在用户语音中没有唤醒词的情况下也能够唤醒语音助手，有利于智慧语音交互功能的进一步推广和普及。

根据第一方面，第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，低功耗唤醒引擎模块与低功耗唤醒模块相连，低功耗唤醒缓存模块与语音助手模块相连；第二通道包括相互连接的音频事件检测引擎模块和音频事件检测缓存模块，音频事件检测引擎模块与免唤醒词唤醒模块相连，音频事件检测缓存模块与语音助手模块相连。这样，可以在已有的音频事件检测引擎模块和音频事件检测缓存模块中建立第二通道，可以减少第二通道开发的工作量，降低开发成本。

根据第一方面，第一通道包括相互连接的低功耗唤醒引擎单元和低功耗唤醒缓存单元，低功耗唤醒引擎单元与低功耗唤醒模块相连，低功耗唤醒缓存单元与语音助手模块相连；第二通道包括相互连接的免唤醒词唤醒引擎单元和免唤醒词唤醒缓存单元，免唤醒词唤醒引擎单元与免唤醒词唤醒模块相连，免唤醒词唤醒缓存单元与语音助手模块相连；其中，低功耗唤醒引擎单元和免唤醒词唤醒引擎单元位于低功耗唤醒引擎模块中，低功耗唤醒缓存单元和免唤醒词唤醒缓存单元位于低功耗唤醒缓存模块中。这样，可以在已有的低功耗唤醒引擎模块和低功耗唤醒缓存模块中建立第二通道，可以减少第二通道开发的工作量，降低开发成本。

根据第一方面，第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，低功耗唤醒引擎模块与低功耗唤醒模块相连，低功耗唤醒缓存模块与语音助手模块相连；第二通道包括相互连接的免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块，免唤醒词唤醒引擎模块与免唤醒词唤醒模块相连，免唤醒词唤醒缓存模块与语音助手模块相连。这样，通过新开发第二通道对应的模块，可以保持第二通道的独立性，避免第二通道受到其他已有模块的影响。

根据第一方面，还包括：对语音信息进行声纹识别，得到声纹识别结果，声纹识别结果用于指示语音信息属于目标用户，或者用于指示语音信息不属于目标用户；将声纹识别结果上报给语音助手模块；根据第一唤醒信息和第二唤醒信息中的至少一个，唤醒语音助手模块，包括：根据第二唤醒信息和声纹识别结果，唤醒语音助手模块。

根据第一方面，根据第一唤醒信息或第二唤醒信息，唤醒语音助手模块之后，还包括：如果语音助手模块是根据第一唤醒信息唤醒的，根据语音信息生成第一反馈结果，并在电子设备的界面上显示第一反馈结果对应的第一界面；或者，包括：如果语音助手模块是根据第二唤醒信息唤醒的，根据语音信息生成第二反馈结果，并在电子设备的界面上显示第二反馈结果对应的第二界面，第二反馈结果与第一反馈结果不同。

根据第一方面，语音信息包括电子设备中的第一麦克风采集的第一语音信息，以及第二麦克风采集的第二语音信息；将语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，包括：将第一语音信息输入低功耗唤醒模块；将第一语音信息和第二语音信息输入免唤醒词唤醒模块。

根据第一方面，免唤醒词唤醒模块根据语音信息输出第二唤醒信息的过程包括：免唤醒词唤醒模块接收输入的惯性测量单元IMU数据，IMU数据是由电子设备的传感器采集的；免唤醒词唤醒模块根据语音信息和IMU数据，输出第二唤醒信息。

根据第一方面，根据语音信息生成第一反馈结果之前，或者，根据语音信息生成第二反馈结果之前，还包括：将语音信息存储到音频数据循环缓冲区；语音助手模块被唤醒之后，从音频数据循环缓冲区读取语音信息，以便根据语音信息生成第一反馈结果，或者，根据语音信息生成第二反馈结果。

根据第一方面，根据第一唤醒信息或第二唤醒信息中，唤醒语音助手模块，包括：语音助手模块在第一时刻接收到第一唤醒信息，在第二时刻接收到第二唤醒信息；如果第一时刻早于第二时刻，根据第一唤醒信息唤醒语音助手模块；如果第一时刻晚于第二时刻，根据第二唤醒信息唤醒语音助手模块。

第二方面，本申请提供一种电子设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备执行第一方面任意一项的语音唤醒方法。

第三方面，本申请提供一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行前述的第一方面任意一项的语音唤醒方法。

附图说明

图1为示例性示出的电子设备100的结构示意图；

图2为示例性示出的本申请实施例的电子设备100的软件结构框图；

图3为示例性示出的语音唤醒方法的流程示意图；

图4为示例性示出的语音信息的输入路径示意图；

图5为示例性示出的IMU辅助检测的免唤醒词唤醒方式示意图；

图6为示例性示出的第一通道和第二通道的设置方式之一的示意图；

图7为示例性示出的第一通道和第二通道的设置方式之二的示意图；

图8为示例性示出的第一通道和第二通道的设置方式之三的示意图；

图9为示例性示出的基于声纹识别的唤醒方式架构示意图；

图10（a）为示例性示出的基于低功耗唤醒算法的唤醒方式打开健康码时的界面示意图；

图10（b）为示例性示出的基于免唤醒词唤醒算法的唤醒方式打开健康码时的界面示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

本申请实施例提供一种语音唤醒方法，能够兼容免唤醒词的唤醒语音助手方式，使得在用户语音中没有唤醒词的情况下也能够唤醒语音助手，有利于智慧语音交互功能的进一步推广和普及。

本申请实施例中的语音唤醒方法可以应用于电子设备，该电子设备例如可以是手机、平板、可穿戴智能设备（例如智能手表）等。

本实施例中的电子设备的结构可以如图1所示。

图1为示例性示出的电子设备100的结构示意图。应该理解的是，图1所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

请参见图1，电子设备100可以包括：处理器110，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，指示器192，摄像头193等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

电子设备100中的传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

其中，电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构，或云架构。本申请实施例以分层架构的安卓（Android）系统为例，示例性说明电子设备100的软件结构。

图2为示例性示出的本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统可以包括应用程序层、应用程序框架层、系统库以及内核层等。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，日历，地图，WLAN，蓝牙，短消息，图库，通话，视频，语音助手等应用程序。

其中，语音助手是一种智能型应用，通过智能对话与即时问答的智能交互，实现帮忙用户解决问题。语音助手应用在本文中也被称为语音助手模块。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括资源管理器等。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

安卓运行时（Android Runtime）包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)、硬件抽象层HAL模块等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

本实施例中，HAL中可以包括低功耗唤醒引擎模块和低功耗唤醒缓存模块。

本实施例中，HAL中还可以包括音频事件检测引擎模块和音频事件检测缓存模块。

本实施例中，还可以在HAL中设置用于传输免唤醒词唤醒模块输出的唤醒信息的低功耗唤醒引擎模块和低功耗唤醒缓存模块。HAL的结构请参见后续实施例的说明，此处不再赘述。

内核层是硬件和软件之间的层。

如图2所示，内核层可以包括显示驱动、音频驱动、蓝牙、Wi-Fi驱动、传感器驱动等模块。

ADSP（Audio Digital Signal Processor，音频数字信号处理器）与内核层相连。其中，ADSP中包括低功耗唤醒模块和免唤醒词唤醒模块。低功耗唤醒模块用于利用低功耗唤醒算法对输入语音信息进行处理，得到第一唤醒信息。免唤醒词唤醒模块用于利用免唤醒词唤醒算法对输入语音信息进行处理，得到第二唤醒信息。

可以理解的是，图2示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

下面通过实施例，对本申请进行详细说明。

图3为示例性示出的语音唤醒方法的流程示意图。请参见图3，本申请实施例中，语音唤醒方法的流程可以包括如下步骤：

S301、采集语音信息。

S302、将语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，以使低功耗唤醒模块根据语音信息输出第一唤醒信息，免唤醒词唤醒模块根据语音信息输出第二唤醒信息。

S303、将第一唤醒信息通过第一通道上报给语音助手模块，将第二唤醒信息通过第二通道上报给语音助手模块。

S304、根据第一唤醒信息或第二唤醒信息，唤醒语音助手模块。

其中，语音信息是由麦克风采集的。

本实施例中，电子设备具有两个麦克风MIC（主MIC+副MIC）。本文中，将主MIC采集的语音信息称为第一语音信息，将副MIC采集的语音信息称为第二语音信息。

麦克风采集的语音信息经过低功耗VAD（Voice Activity Detection，语音活动检测）检测，输入到ADSP中。

图4为示例性示出的语音信息的输入路径示意图。请参见图4，可见，在ADSP中，语音信息被分为三路：

第一路：输入低功耗唤醒模块。

本实施例中，输入低功耗唤醒模块的语音信息包括第一语音信息，不包括第二语音信息。

第二路：输入免唤醒词唤醒模块。

本实施例中，输入免唤醒词唤醒模块的语音信息包括第一语音信息和第二语音信息。

第三路：输入音频数据循环缓冲区。

本实施例中，输入音频数据循环缓冲区的语音信息包括第一语音信息和第二语音信息。

本实施例中，可以按照输入目的地的特性需求针对性输入不同语音信息，低功耗唤醒模块中输入的是单MIC数据，免唤醒词唤醒模块中输入的是双MIC数据，音频数据循环缓冲区中输入的是双MIC数据。其中，音频数据循环缓冲区中输入的语音数据可以为免唤醒词唤醒模块的使用做备份。免唤醒词唤醒模块使用双MIC数据进行免唤醒词的距离判断和气息检测。

本实施例中，低功耗唤醒模块利用低功耗唤醒算法对输入语音信息进行处理，得到第一唤醒信息，第一唤醒信息用于指示唤醒语音助手模块。免唤醒词唤醒模块利用免唤醒词唤醒算法对输入语音信息进行处理，得到第二唤醒信息，第二唤醒信息用于指示唤醒语音助手模块。

需要说明的是，如果低功耗唤醒算法对输入语音信息进行处理后，确认不唤醒语音助手模块，低功耗唤醒模块不输出任何信息，也即此时低功耗唤醒模块不会输出第一唤醒信息。

同样地，如果免唤醒词唤醒算法对输入语音信息进行处理后，确认不唤醒语音助手模块，免唤醒词唤醒模块不输出任何信息，也即此时低功耗唤醒模块免唤醒词唤醒模块不会输出第二唤醒信息。

其中，低功耗唤醒算法根据语音信息中是否有已注册的唤醒词确定是否唤醒。

免唤醒词唤醒算法根据是否检测到近距离语音特征确定是否唤醒（即如果检测到近距离语音特征确定唤醒，如果未检测到近距离语音特征确定不唤醒），该算法中不需要语音信息中含有已注册的唤醒词。

在一个示例中，免唤醒词唤醒模块基于输入语音信息得到第二唤醒信息。

在另一个示例中，免唤醒词唤醒模块基于输入语音信息和IMU（Inertialmeasurement unit，惯性测量单元）数据得到第二唤醒信息。

在一个示例性的实现过程中，免唤醒词唤醒模块根据语音信息输出第二唤醒信息的过程包括：

免唤醒词唤醒模块接收输入的惯性测量单元IMU数据，IMU数据是由电子设备的传感器采集的；

免唤醒词唤醒模块根据语音信息和IMU数据，输出第二唤醒信息。

图5为示例性示出的IMU辅助检测的免唤醒词唤醒方式示意图。请参见图5，IMU数据是由电子设备的传感器采集的。IMU数据可以包括陀螺仪传感器采集的电子设备围绕三个轴(即，x，y和z轴)的角速度和加速度传感器采集的电子设备在各个方向上(一般为三轴)的加速度。

以高通平台为例，本实施例打通了IMU数据在Sensor CoreLPI（LowPowerIsland）和LPASS（Low-Power Audio Subsystem）之间传递的通路，实现Sensor LPI和ADSP LPI间的通信，进而获取对应sensor的数据。

如果采用其他平台，可以按照上述高通平台的原理打通IMU数据的传递通路，此处不再赘述。

本实施例中，第一通道和第二通道的设置可以有如下几种方式。

第一通道和第二通道的设置方式一

本示例中，在电子设备中已有的除了低功耗唤醒引擎模块和低功耗唤醒缓存模块以外的其他模块中，建立第二通道。第一通道采用低功耗唤醒引擎模块和低功耗唤醒缓存模块。如图6所示。

图6为示例性示出的第一通道和第二通道的设置方式之一的示意图。请参见图6，本实施例中，第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，低功耗唤醒引擎模块与低功耗唤醒模块相连，低功耗唤醒缓存模块与语音助手模块相连；第二通道包括相互连接的音频事件检测引擎模块和音频事件检测缓存模块，音频事件检测引擎模块与免唤醒词唤醒模块相连，音频事件检测缓存模块与语音助手模块相连。

其中，音频事件检测引擎模块中包括免唤醒词唤醒引擎单元，音频事件检测缓存模块包括免唤醒词唤醒缓存单元，第二通道具体包括相连的免唤醒词唤醒引擎单元和免唤醒词唤醒缓存单元，免唤醒词唤醒引擎单元与免唤醒词唤醒模块相连，免唤醒词唤醒缓存单元与应用程序APK层中的语音助手模块相连。

其中，低功耗唤醒引擎模块、低功耗唤醒缓存模块、音频事件检测引擎模块、音频事件检测缓存模块都设置于HAL中，HAL在电子设备软件架构中的位置请参见图2。

本实施例中，在已有的音频事件检测引擎模块中新增免唤醒词唤醒引擎单元，在已有的音频事件检测缓存模块中新增免唤醒词唤醒缓存单元，利用免唤醒词唤醒引擎单元和免唤醒词唤醒缓存单元上报免唤醒词唤醒模块输出的第二唤醒信息。这样，可以减少第二通道开发的工作量，降低开发成本。

本实施例中，新增一种新音频事件检测类型，即将免唤醒词唤醒模块输出的数据作为一种新音频事件检测类型输出，与上层的语音助手模块对接。

第一通道和第二通道的设置方式二

本示例中，在电子设备中已有的低功耗唤醒引擎模块和低功耗唤醒缓存模块中，建立第二通道。低功耗唤醒引擎模块原有的功能作为低功耗唤醒引擎单元，低功耗唤醒缓存模块原有的功能作为低功耗唤醒缓存单元。同时在低功耗唤醒引擎模块中新增免唤醒词唤醒引擎单元，在低功耗唤醒缓存模块中新增低功耗唤醒缓存单元，用于传输上报免唤醒词唤醒模块输出的第二唤醒信息。如图7所示。

图7为示例性示出的第一通道和第二通道的设置方式之二的示意图。请参见图7，本实施例中，第一通道包括相互连接的低功耗唤醒引擎单元和低功耗唤醒缓存单元，低功耗唤醒引擎单元与低功耗唤醒模块相连，低功耗唤醒缓存单元与语音助手模块相连；第二通道包括相互连接的免唤醒词唤醒引擎单元和免唤醒词唤醒缓存单元，免唤醒词唤醒引擎单元与免唤醒词唤醒模块相连，免唤醒词唤醒缓存单元与语音助手模块相连；其中，低功耗唤醒引擎单元和免唤醒词唤醒引擎单元位于低功耗唤醒引擎模块中，低功耗唤醒缓存单元和免唤醒词唤醒缓存单元位于低功耗唤醒缓存模块中。

其中，低功耗唤醒引擎模块、低功耗唤醒缓存模块都设置于HAL中，HAL在电子设备软件架构中的位置请参见图2。

本实施例在已有的模块中设置第二通道，可以减少第二通道开发的工作量，降低开发成本。

第一通道和第二通道的设置方式三

本示例中，在电子设备中创建新的模块作为第二通道。第一通道采用低功耗唤醒引擎模块和低功耗唤醒缓存模块。如图8所示。

图8为示例性示出的第一通道和第二通道的设置方式之三的示意图。请参见图8，本实施例中，第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，低功耗唤醒引擎模块与低功耗唤醒模块相连，低功耗唤醒缓存模块与语音助手模块相连；第二通道包括相互连接的免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块，免唤醒词唤醒引擎模块与免唤醒词唤醒模块相连，免唤醒词唤醒缓存模块与语音助手模块相连。

其中，免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块是HAL中新增的模块。本实施例通过在HAL中设置免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块，一方面创建了第二通路，可以上报免唤醒词唤醒模块输出的第二唤醒信息，另一方面，由于免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块独立于电子设备中已有的其他模块，有利于与电子设备的平台基线解耦，保持第二通道的独立性。

需要说明的是，尽管图6、图7、图8中，只将一个MIC的语音信息（即MIC1的语音信息）输入到低功耗唤醒模块，但可以理解的是，在其他实施例中，可以将两个MIC的语音信息都输入到低功耗唤醒模块，由低功耗唤醒模块自己根据是否需要确定丢弃其中一个MIC的语音信息。

以上列举了第一通道和第二通道的几种设置方式。需要说明的是，以上列举的仅为第一通道和第二通道的设置方式的示例，并不用于对本申请进行限制。在兼容低功耗唤醒算法和免唤醒词唤醒算法两种唤醒方式的前提下，本申请对于第一通道和第二通道的具体设置方式不作限制。

在前述各个实施例的基础上，对于基于免唤醒词唤醒算法的唤醒方式，可以进一步增加声纹识别，以降低误唤醒率。

为此，在一个示例中，语音唤醒方法还可以包括：

对语音信息进行声纹识别，得到声纹识别结果，声纹识别结果用于指示语音信息属于目标用户，或者用于指示语音信息不属于目标用户；

将声纹识别结果上报给语音助手模块；

根据第一唤醒信息和第二唤醒信息中的至少一个，唤醒语音助手模块，包括：

根据第二唤醒信息和声纹识别结果，唤醒语音助手模块。

其中，对语音信息进行声纹识别，得到声纹识别结果的操作可以由声纹识别模块执行。声纹识别模块可以设置于电子设备应用程序框架层FWK中，如图9所示。

图9为示例性示出的基于声纹识别的唤醒方式架构示意图。图9中，第二通道可以采用前述实施例中的任一种设置方式。

其中，目标用户可以为电子设备的所有者。

在一个示例中，除了包括电子设备的所有者，目标用户还可以包括电子设备的所有者授权的用户。

举例说明。如果第一唤醒信息包括指示不唤醒语音助手模块的第三信息，第二唤醒信息包括指示唤醒语音助手模块的第二信息，声纹识别结果指示语音信息不属于目标用户，那么电子设备不会唤醒语音助手模块。如果第一唤醒信息包括指示不唤醒语音助手模块的第三信息，第二唤醒信息包括指示唤醒语音助手模块的第二信息，声纹识别结果指示语音信息属于目标用户，那么电子设备唤醒语音助手模块。

这样，当发出语音的用户不是电子设备的目标用户，语音助手模块不会被唤醒，从而避免电子设备在未经目标用户允许的情况下被他人使用而导致用户隐私信息的泄露，保护了用户信息的安全。

根据前述实施例可知，本实施例的语音唤醒方法，兼容了基于低功耗唤醒算法的唤醒方式和基于免唤醒词唤醒算法的唤醒方式。

本实施例中，基于低功耗唤醒算法的唤醒方式和基于免唤醒词唤醒算法的唤醒方式，对于指定场景，语音助手模块可以为不同唤醒方式生成不同的反馈结果。

因此，在一个示例性的实现过程中，根据第一唤醒信息和第二唤醒信息中的至少一个，唤醒语音助手模块之后，还可以包括：

如果语音助手模块是根据第一唤醒信息唤醒的，根据语音信息生成第一反馈结果，并在电子设备的界面上显示第一反馈结果对应的第一界面；

或者，包括：

如果语音助手模块是根据第二唤醒信息唤醒的，根据语音信息生成第二反馈结果，并在电子设备的界面上显示第二反馈结果对应的第二界面，第二反馈结果与第一反馈结果不同。

举例说明。当通过基于低功耗唤醒算法的唤醒方式打开健康码时，语音助手响应于第一唤醒信息，在电子设备屏幕上显示“北京健康宝”首页界面，如图10（a）所示，用户需要继续点击“本人健康码自查询”才能看自己的健康码信息。当通过基于免唤醒词唤醒算法的唤醒方式打开健康码时，语音助手响应于第二唤醒信息，在电子设备屏幕上显示“本人健康码自查询”的结果界面，如图10（b）所示。图10（a）为示例性示出的基于低功耗唤醒算法的唤醒方式打开健康码时的界面示意图。图10（b）为示例性示出的基于免唤醒词唤醒算法的唤醒方式打开健康码时的界面示意图。

在一个示例性的实现过程中，根据语音信息生成第一反馈结果之前，或者，根据语音信息生成第二反馈结果之前，还包括：

将语音信息存储到音频数据循环缓冲区；

语音助手模块被唤醒之后，从音频数据循环缓冲区读取语音信息，以便根据语音信息生成第一反馈结果，或者，根据语音信息生成第二反馈结果。

语音助手模块被唤醒后，从音频数据循环缓冲区读取语音信息，对语音信息进行语音识别和处理，以生成反馈结果。

在一个示例性的实现过程中，根据第一唤醒信息或第二唤醒信息中的至少一个，唤醒语音助手模块，包括：

语音助手模块在第一时刻接收到第一唤醒信息，在第二时刻接收到第二唤醒信息；

如果第一时刻早于第二时刻，根据第一唤醒信息唤醒语音助手模块；

如果第一时刻晚于第二时刻，根据第二唤醒信息唤醒语音助手模块。

本申请实施例还提供一种电子设备，该电子设备包括存储器和处理器，存储器与处理器耦合，存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备前述电子设备所执行的语音唤醒方法。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的语音唤醒方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的语音唤醒方法。

另外，本申请实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的语音唤醒方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请各个实施例的任意内容，以及同一实施例的任意内容，均可以自由组合。对上述内容的任意组合均在本申请的范围之内。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器（Random Access Memory，RAM）、闪存、只读存储器（Read Only Memory，ROM）、可擦除可编程只读存储器（Erasable Programmable ROM，EPROM）、电可擦可编程只读存储器（Electrically EPROM，EEPROM）、寄存器、硬盘、移动硬盘、只读光盘（CD-ROM）或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种语音唤醒方法，其特征在于，应用于电子设备，所述方法包括：

采集语音信息；

将所述语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，以使所述低功耗唤醒模块根据所述语音信息输出第一唤醒信息，所述免唤醒词唤醒模块根据所述语音信息输出第二唤醒信息；

将所述第一唤醒信息通过第一通道上报给语音助手模块，将所述第二唤醒信息通过第二通道上报给所述语音助手模块；

根据所述第一唤醒信息或所述第二唤醒信息，唤醒所述语音助手模块。

2.根据权利要求1所述的方法，其特征在于：

所述第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，所述低功耗唤醒引擎模块与所述低功耗唤醒模块相连，所述低功耗唤醒缓存模块与所述语音助手模块相连；

所述第二通道包括相互连接的音频事件检测引擎模块和音频事件检测缓存模块，所述音频事件检测引擎模块与所述免唤醒词唤醒模块相连，所述音频事件检测缓存模块与所述语音助手模块相连。

3.根据权利要求1所述的方法，其特征在于：

所述第一通道包括相互连接的低功耗唤醒引擎单元和低功耗唤醒缓存单元，所述低功耗唤醒引擎单元与所述低功耗唤醒模块相连，所述低功耗唤醒缓存单元与所述语音助手模块相连；

所述第二通道包括相互连接的免唤醒词唤醒引擎单元和免唤醒词唤醒缓存单元，所述免唤醒词唤醒引擎单元与所述免唤醒词唤醒模块相连，所述免唤醒词唤醒缓存单元与所述语音助手模块相连；

其中，所述低功耗唤醒引擎单元和免唤醒词唤醒引擎单元位于低功耗唤醒引擎模块中，所述低功耗唤醒缓存单元和所述免唤醒词唤醒缓存单元位于低功耗唤醒缓存模块中。

4.根据权利要求1所述的方法，其特征在于：

所述第一通道包括相互连接的低功耗唤醒引擎模块和低功耗唤醒缓存模块，所述低功耗唤醒引擎模块与所述低功耗唤醒模块相连，所述低功耗唤醒缓存模块与所述语音助手模块相连；

所述第二通道包括相互连接的免唤醒词唤醒引擎模块和免唤醒词唤醒缓存模块，所述免唤醒词唤醒引擎模块与所述免唤醒词唤醒模块相连，所述免唤醒词唤醒缓存模块与所述语音助手模块相连。

5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

对所述语音信息进行声纹识别，得到声纹识别结果，所述声纹识别结果用于指示所述语音信息属于目标用户，或者用于指示所述语音信息不属于目标用户；

将所述声纹识别结果上报给所述语音助手模块；

根据所述第一唤醒信息和所述第二唤醒信息中的至少一个，唤醒所述语音助手模块，包括：

根据所述第二唤醒信息和所述声纹识别结果，唤醒所述语音助手模块。

6.根据权利要求1所述的方法，其特征在于，根据所述第一唤醒信息或所述第二唤醒信息，唤醒所述语音助手模块之后，还包括：

如果所述语音助手模块是根据所述第一唤醒信息唤醒的，根据所述语音信息生成第一反馈结果，并在所述电子设备的界面上显示所述第一反馈结果对应的第一界面；

或者，包括：

如果所述语音助手模块是根据所述第二唤醒信息唤醒的，根据所述语音信息生成第二反馈结果，并在所述电子设备的界面上显示所述第二反馈结果对应的第二界面，所述第二反馈结果与所述第一反馈结果不同。

7.根据权利要求1所述的方法，其特征在于，所述语音信息包括所述电子设备中的第一麦克风采集的第一语音信息，以及第二麦克风采集的第二语音信息；

将所述语音信息分别输入低功耗唤醒模块和免唤醒词唤醒模块，包括：

将所述第一语音信息输入低功耗唤醒模块；

将所述第一语音信息和所述第二语音信息输入免唤醒词唤醒模块。

8.根据权利要求1所述的方法，其特征在于，所述免唤醒词唤醒模块根据所述语音信息输出第二唤醒信息的过程包括：

所述免唤醒词唤醒模块接收输入的惯性测量单元IMU数据，所述IMU数据是由所述电子设备的传感器采集的；

所述免唤醒词唤醒模块根据所述语音信息和所述IMU数据，输出第二唤醒信息。

9.根据权利要求6所述的方法，其特征在于，根据所述语音信息生成第一反馈结果之前，或者，根据所述语音信息生成第二反馈结果之前，还包括：

将所述语音信息存储到音频数据循环缓冲区；

所述语音助手模块被唤醒之后，从所述音频数据循环缓冲区读取所述语音信息，以便根据所述语音信息生成第一反馈结果，或者，根据所述语音信息生成第二反馈结果。

10.根据权利要求1所述的方法，其特征在于，根据所述第一唤醒信息或所述第二唤醒信息中，唤醒所述语音助手模块，包括：所述语音助手模块在第一时刻接收到所述第一唤醒信息，在第二时刻接收到所述第二唤醒信息；

如果所述第一时刻早于所述第二时刻，根据所述第一唤醒信息唤醒所述语音助手模块；

如果所述第一时刻晚于所述第二时刻，根据所述第二唤醒信息唤醒所述语音助手模块。

11.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器与所述处理器耦合；

所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求1-10中任意一项所述的语音唤醒方法。

12.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任意一项所述的语音唤醒方法。

Images