CN117193698A - 一种语音交互的方法以及装置 - Google Patents

Abstract

本申请实施例提供了一种语音交互的方法以及装置，所述方法应用于电子设备，所述电子设备处于锁屏状态，所述方法包括：接收用户的第一语音指令，所述第一语音指令用于指示所述电子设备运行第一应用程序；根据所述第一语音指令生成标识信息，所述标识信息包括所述用户的身份；根据所述标识信息和所述第一语音指令生成受控信息，所述受控信息包括所述用户的身份、所述第一应用程序的标识信息和所述第一应用程序的权限信息；根据所述受控信息运行所述第一应用程序。本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以运行应用程序，还可以控制应用程序使用的权限。

Description

一种语音交互的方法以及装置

技术领域

本申请实施例涉及电子设备领域，并且更加具体地涉及一种语音交互的方法以及装置。

背景技术

语音交互是用户与电子设备之间的重要交互方式。目前，用户需要在解锁电子设备之后才可以与电子设备进行语音交互，增加了用户的操作步骤，且在一些场景中，用户可能不方便解锁电子设备。例如，用户在开车时需要打开电子设备导航，需要先解锁电子设备后才能通过语音指示电子设备打开导航应用程序，上述操作不仅繁琐而且用户在解锁电子设备时可能会有安全隐患。

发明内容

本申请实施例提供了一种语音交互的方法以及装置，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以运行应用程序，还可以控制应用程序使用的权限，从而可以简化操作步骤的同时还提高了安全性，且在运行应用程序时提供了系统级的支持，无需应用程序额外适配，提高了通用性。

第一方面，提供了一种语音交互的方法，该方法应用于电子设备，该电子设备处于锁屏状态，该方法包括：接收用户的第一语音指令，该第一语音指令用于指示该电子设备运行第一应用程序；根据该第一语音指令生成标识信息，该标识信息包括该用户的身份；根据该标识信息和该第一语音指令生成受控信息，该受控信息包括该用户的身份、该第一应用程序的标识信息和该第一应用程序的权限信息；根据该受控信息运行该第一应用程序。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以运行应用程序，还可以控制应用程序使用的权限，从而可以简化操作步骤的同时还提高了安全性，且在运行应用程序时提供了系统级的支持，无需应用程序额外适配，提高了通用性。

结合第一方面，在第一方面的某些实现方式中，该根据该标识信息和该第一语音指令生成受控信息，包括：确定该用户的身份满足权限时，根据该标识信息和该第一语音指令生成该受控信息。

本申请实施例中，电子设备可以锁屏状态下基于用户的声纹特征确定用户的身份，当用户的身份满足权限时，电子设备可以响应用户的语音指令以运行应用程序，从而用户可以在不解锁电子设备的情况下使用应用程序的功能，简化了操作步骤，提高了用户的使用体验且保证了电子设备在锁屏状态下只响应拥有权限的用户的语音指令，进一步的提高了安全性。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：根据该第一语音指令确定该第一语音指令的等级。

结合第一方面，在第一方面的某些实现方式中，该根据该标识信息和该第一语音指令生成受控信息，包括：当该第一语音指令的等级等于或小于第一等级阈值时，根据该标识信息和该第一语音指令生成该受控信息。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，避免在锁屏状态下执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：当该第一语音指令的等级大于第一等级阈值时，生成第一提示信息，该第一提示信息用于指示该用户进行二次验证。

结合第一方面，在第一方面的某些实现方式中，该根据该标识信息和该第一语音指令生成该受控信息，包括：响应于检测到该用户的二次验证操作，根据该标识信息和该第一语音指令生成该受控信息。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，当语音指令的等级高于等级阈值时，电子设备可以提示用户进行二次验证，在二次验证通过后执行用户的语音指令，避免在锁屏状态下仅通过语音指令就执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

结合第一方面，在第一方面的某些实现方式中，该根据该标识信息和该第一语音指令生成该受控信息，包括：确定该用户的身份与该第一语音指令的等级匹配时，根据该标识信息和该第一语音指令生成该受控信息。

本申请实施例中，电子设备可以锁屏状态下基于用户的声纹特征确定用户的身份，以及语音指令的等级，并基于用户的身份是否与语音指令的等级匹配确定是否响应用户的指令，当语音指令的等级与用户的身份匹配时，电子设备可以响应用户的语音指令以运行应用程序，从而用户可以在不解锁电子设备的情况下使用应用程序的功能，简化了操作步骤，提高了用户的使用体验，且针对不同用户开放不同的权限，避免了电子设备在锁屏状态下执行与用户的身份不匹配的语音指令(例如涉及资金、个人信息等语音指令)，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：确定该用户的身份与该第一语音指令的等级不匹配时，生成第二提示信息，该第二提示信息用于指示该用户进行二次验证。

结合第一方面，在第一方面的某些实现方式中，该根据该标识信息和该第一语音指令生成该受控信息，包括：响应于检测到该用户的二次验证操作，根据该标识信息和该第一语音指令生成该受控信息。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，当语音指令的等级与用户的身份不匹配时，电子设备可以提示用户进行二次验证，在二次验证通过后执行用户的语音指令，避免在锁屏状态下仅通过语音指令就执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

结合第一方面，在第一方面的某些实现方式中，该受控信息还包括第二标识信息，该第二标识信息用于指示拉起该第一应用程序的模块。

结合第一方面，在第一方面的某些实现方式中，该受控信息还包括执行时间信息，该时间信息用于指示该管控信息的有效时间。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：在满足预设条件时，关闭该第一应用程序。

第二方面，提供了一种电子设备，该电子设备包括执行上述第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第三方面，提供了一种芯片，该芯片与电子设备中的存储器耦合，用于调用存储器中存储的计算机程序并执行本申请实施例第一方面及其第一方面任一可能设计的技术方案；本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得该电子设备执行如上述第一方面及其第一方面任一可能设计的技术方案。

第五方面，提供了一种计算机程序，该计算机程序包括指令，当该指令在计算机上运行时，使得该计算机执行如上述第一方面及其第一方面任一可能设计的技术方案。

第六方面，提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行如上述第一方面及其第一方面任一可能设计的技术方案。

第七方面，提供了一种电子设备，包括一个或多个处理器；一个或多个存储器；该一个或多个存储器中存储有一个或多个计算机程序，该一个或多个计算机程序包括指令，当该指令被该一个或多个处理器执行时，使得该电子设备执行如上述第一方面及其第一方面任一可能实现的技术方案。

其中，第二方面至第七方面的有益效果，请参见第一方面的有益效果，不重复赘述。

附图说明

图1是本申请实施例提供的一种电子设备的结构示意图。

图2是本申请实施例提供的一种电子设备的软件结构框图。

图3是本申请实施例提供的一组用户与电子设备语音交互的示意图。

图4是本申请实施例提供的一组用户与电子设备语音交互的示意图。

图5是本申请实施例提供的语音交互的方法的示意性流程图。

图6是本申请实施例的语音交互方法的一例示意性流程图。

图7是本申请实施例的语音交互方法的一例示意性流程图。

图8是本申请实施例的语音交互方法的一例示意性流程图。

图9是本申请实施例提供的语音交互的方法的生成标识信息的内部数据流向示意图。

图10是本申请实施例提供的语音交互的方法的生成受控信息的内部数据流向示意图。

图11是本申请实施例提供的语音交互的方法的运行第一应用程序的内部数据流向示意图。

图12是本申请实施例提供的一种电子设备组成示意图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下介绍电子设备和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载鸿蒙(Harmony OS) 或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机、智能电视、智能音箱等。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB) 接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，指南针190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

其中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备100也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备100处理数据或执行指令的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口，集成电路间音频(nter-integrated circuitsound，I2S) 接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口， SIM卡接口，和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。该 USB接口130也可以用于连接耳机，通过耳机播放音频。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)、嵌入式多媒体卡(Embedded Multi Media Card， eMMC)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备100执行本申请实施例中所提供的方法，以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP 还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中，ISP可以设置在摄像头193 中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过 NPU可以实现电子设备100的智能认知等应用，例如：图像识别、人脸识别、语音识别、文本理解、三维模型重建等。

显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emittingdiode， OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)、柔性发光二极管(flex light-emittingdiode，FLED)、Miniled、 MicroLed、Micro-OLed、量子点发光二极管(quantum dot lightemitting diodes，QLED) 等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

在本申请实施例中，上述图1中的显示屏194可以被弯折。这里，上述显示屏194可以被弯折是指显示屏可以在任意部位被弯折到任意角度，并可以在该角度保持，例如，显示屏194可以从中部左右对折。也可以从中部上下对折。

电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。

传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M 等。

图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息、认证模块和执行模块等应用程序，其中

认证模块，用于认证用户。例如通过声纹、指纹、虹膜等方式认证用户。

执行模块，用于在锁屏状态下拉起应用程序并执行用户的输入(例如语音指令、手势操作等)。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架，应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、受控模块等。

窗口管理器用于管理窗口程序，窗口管理器可以接收显示屏大小，判断是否有状态栏、锁定屏幕、截取屏幕等。

内容提供器用来存放和接收数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件、视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、电子设备振动、指示灯闪烁等。

受控模块，用于管控在锁屏状态下运行的应用程序的权限，使得该应用程序仅可以使用已注册的权限。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)、媒体库(media libraries)、三维图形处理库(例如：OpenGL ES)、2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频、视频格式回放和录制以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4、H.264、MP3、AAC、AMR、JPG和PNG等。

三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。

语音交互是用户与电子设备之间的重要交互方式。目前，用户需要在解锁电子设备之后与电子设备进行语音交互，增加了用户的操作步骤。

例如，图3示出了一组用户与电子设备语音交互的示意图，如图3中的(a)所示，电子设备显示有界面301，其中界面301为锁屏界面。当用户的语音指令为“小艺小艺，请播放音乐”时，电子设备响应于检测到用户的语音指令，可以显示如图3中的(b)所示的图形用户界面(graphical user interface，GUI)。

如图3中的(b)所示，电子设备响应于检测到的用户的语音输令，可以显示提示框302，提示框302用于提示用户解锁电子设备。当用户通过人脸识别解锁电子设备后，电子设备可以运行音乐应用程序，显示如图3中的(c)所示的GUI，即显示音乐应用程序界面303。

综上所述，目前电子设备需要在解锁状态下响应用户的语音指示，增加了用户的操作步骤，且在一些场景中，用户可能存在不方便解锁电子设备的情况。例如，用户在开车时需要打开电子设备导航，需要先解锁电子设备后才能通过语音指示电子设备打开导航应用程序，上述操作不仅繁琐而且用户在解锁电子设备时可能会有安全隐患。

基于此，本申请实施例提供了一种语音交互的方法，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指示运行应用程序，并且可以根据用户的语音指示管控运行的应用程序的权限，保证了电子设备的系统安全。

在介绍本申请提供的技术方案之前，先介绍几个与本申请相关的概念。

声纹识别(voiceprint recognition，VPR)：声纹识别是一项提取说话人的声音特征核验说话人身份的技术。每一个人的声音都有着独特的特征，通过该特征能够将不同人的声音进行有效的区分。声音的特征也可以称为声纹。声纹识别还可以称为说话人识别(speaker recognition，SR)，即通过声音识别出来“谁在说话”。

应理解，本申请实施例对于声纹识别的模型不作限定，例如声纹识别模型可以是矢量量化(vector quantization)模型、动态时间规整法(dynamic time warping)模型、高斯混合(gaussian mixture)模型、隐马尔可夫(hidden markov)模型等。

拉起应用程序：电子设备在锁屏状态下打开应用程序可以称为拉起应用程序。例如，电子设备在锁屏状态下打开相机、短信等应用程序。

图4示出了本申请实施例提供的一组用户与电子设备语音交互的示意图。

如图4中的(a)所示，电子设备显示有界面401，其中界面401为锁屏界面。当用户的语音指令为“小艺小艺，请播放音乐”时，电子设备响应于检测到用户的语音指令，可以显示如图4中的(b)所示的GUI。

如图4中的(b)所示，电子设备响应于检测到的用户的语音指令，可以显示界面502，界面502为音乐应用程序的界面。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以运行应用程序，从而用户可以在不解锁电子设备的情况下使用应用程序的功能，简化了操作步骤，提高了用户的使用体验。

可选的，在一些实施例中，电子设备可以根据用户的语音指令确定是否执行用户的语音输令。

如图4中的(c)所示，电子设备显示有界面401，其中界面401为锁屏界面。当用户的语音指令为“小艺小艺，向小明转账500”时，电子设备可以确定用户的语音指令为转账，该指令属于高等级指令，电子设备可以不执行该指令，则电子设备可以显示如图4中的(d) 所示的GUI。

如图4中的(d)所示，电子设备响应于检测到的用户的语音指令，可以显示提示框403：“请解锁后操作”。

需要说明的是，针对语音指令的等级的描述请参见后文说明。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，避免在锁屏状态下执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

可选的，在一些实施例中，当语音指令的等级超过等级阈值时，电子设备可以提示用户进行二次验证以执行用户的语音指令。示例性的，二次验证可以为人脸验证、密码验证、或指纹验证等。

如图4中的(e)-(f)所示，电子设备显示有界面401，其中界面401为锁屏界面。当用户的语音指令为“小艺小艺，向小明转账500”时，电子设备可以确定用户的语音指令为转账，该指令属于高等级指令，电子设备可以生成提示框404，用于提示用户进行二次验证。当用户通过二次验证后，电子设备可以执行用户的语音执行。

进一步的，在一些实施例中，如图4中的(g)，电子设备可以显示提示框405，用于提示以执行用户的语音指令。

上述实施例中，一种可能的实现方式中，电子设备在执行用户的语音指令时仍然处于锁屏状态。另一种可能的实现方式中，用户通过二次验证后电子设备进入解锁状态。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，当语音指令的等级高于等级阈值时，电子设备可以提示用户进行二次验证，在二次验证通过后执行用户的语音指令，避免在锁屏状态下仅通过语音指令就执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

可选的，在一些实施例中，电子设备可以根据用户的语音指令控制应用程序的权限。

例如，假设电子设备解锁状态下运行导航应用程序时，导航应用程序在导航的同时具有查询导航历史和开启相机的权限，即导航应用程序可以查询导航历史和开启相机应用程序。当电子设备在锁屏时检测到用户的语音指令：“小艺小艺，导航回家”，电子设备可以响应于检测到用户的语音指令在锁屏状态下启动导航应用程序并进行导航，在导航时，电子设备可以允许导航应用程序开启查询导航历史的权限，，但电子设备可以禁止导航应用程序开启相机应用程序。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以执行应用程序，且可以控制被执行的应用程序的权限，在简化操作步骤的同时还提高了安全性。

可选的，在一些实施例中，电子设备可以根据用户的身份和语音指令的等级确定是否执行用户的语音指令。

例如，如图4中的(h)-(k)所示，电子设备显示有界面401，其中界面401为锁屏界面。当第一用户的语音指令为“小艺小艺，请导航回家”时，电子设备可以确定第一用户与语音指令的等级匹配，则电子设备可以显示界面406，界面406为导航应用程序的导航界面。当第二用户的语音指令为“小艺小艺，请导航回家”时，电子设备可以确定第二用户与语音指令的等级不匹配，则电子设备可以显示提示框407，提示框407用于提示第二用户解锁电子设备后进行操作。可选的，电子设备也可以提示用户进行二次验证以执行用户的语音指令。

需要说明的是，针对语音指令的等级的描述请参见后文说明。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定用户的身份，用户的身份可以对应不同的语音指令的等级，从而可以根据用户的身份执行与用户的身份相匹配的语音指令，即针对不同用户的身份开放不同的权限，避免了电子设备在锁屏状态下执行与用户的身份不匹配的语音指令(例如涉及资金、个人信息等语音指令)，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

上面介绍了本申请实施例提供的用户与电子设备语音交互的示意图，下面将结合图5 介绍本申请实施例提供的语音交互的方法。

图5示出了本申请实施例提供的语音交互的方法500的示意性流程图，该方法应用于电子设备，该电子设备包括但不限于手机、平板电脑、智慧座舱，如图5所示，该方法 500包括：

S501，接收用户的第一语音指令。

示例性的，电子设备在锁屏状态下可以检测用户的第一语音指令，该第一语音指令用于指示电子设备根据第一语音指令启动第一应用程序，或指示电子设备根据第一语音指令启动第一应用程序的第一功能。

例如，第一语音指令为：“小艺小艺，请播放音乐”，则该第一语音指令用于指示电子设备启动音乐应用程序的播放音乐的功能。

应理解，第一应用程序除第一功能外还包括其他功能。例如音乐应用程序还可以包括播放视频的功能、接收广播的功能。

S502，根据用户的第一语音指令生成标识信息。

示例性的，电子设备可以根据用户的第一语音指令确定用户的身份(identity，ID)，当确定用户的ID是经过认证的ID时，可以生成包括用户ID的标识信息。

一种可能的实现方式，电子设备可以根据用户的声纹确定用户ID。

例如，用户#1的语音指令：“小艺小艺，请导航回家”，电子设备可以根据用户#1的声纹确定说出该语音的人是用户#1，该用户#1的用户ID为“12345”，则电子设备可以生成标识信息，该标识信息包括用户#1的用户ID，用于指示用户的身份为用户#1。

可选的，在一些实施例中，该标识信息包括令牌(token)，即电子设备在识别出用户 ID后，可以根据用户ID生成令牌。

示例性的，令牌可以是基于jason对象的网络令牌(jason web token，JWT)。JWT是一个自包含的访问令牌，可以被用来在身份提供者和服务提供者间传递安全可靠的消息。 JWT以jason对象的形式安全传递信息，由于存在数字签名，因此所传递的信息是安全的。一个JWT实际上是一个字符串，它包含了使用(.)分隔的三部分：头部(header)、负载(payload)、签名(signature)(格式：header.payload.signature)。

头部是一个jason对象，主要用于承载声明类型(token类型)和声明加密算法。其中声明类型可以为jwt；声明加密算法可以是HMAC-SHA256、HMAC-SHA512等。在另一些实施例中，声明加密算法还可以使用例如RSA或ECDSA等非对称加密算法。示例性的，头部字符串可以为json{"alg":"HS512","typ":"JWT"}，这里的alg属性表示签名所使用的算法，JWT签名默认的算法为HMAC SHA512，alg属性值HS512就是HMAC-SHA512算法。typ属性表示令牌类型，这里就是JWT。将头部进行base64加密(该加密是可以对称解密的)，构成了JWT的第一部分。

负载是存放有效信息的地方，负载也是一个jason对象，是JWT的主体。负载可以包括三个部分，分别是标准注册(registered)声明、公共(public)声明和私有(private)声明。其中，标准注册声明可以包括以下内容：1)iss：jwt的签发者/发行人；2)sub：主题或jwt所面向的用户；3)aud：接收方；4)exp：jwt过期时间；5)nbf：jwt生效时间； 6)iat：jwt的签发时间；7)jti：jwt唯一身份标识。公共声明中可以添加任何信息，一般会添加用户信息和业务信息，该公共声明可以在客户端解密。私有声明是服务器和客户端共同定义的声明，该部分信息可以归类为明文信息。将负载进行base64加密(该加密是可以对称解密的)，构成了JWT的第二部分。

签名(signature)被用来确认JWT信息的发送者是谁，并保证信息没有被篡改。签名主要是对头部和负载两个部分进行签名，通过JWT头部定义的算法生成哈希。签名的过程可以包括：1)指定一个密码(secret，即私钥)，该密码仅保存于服务器中；2)对JWT 头部和负载进行base64编码，JWT头部和有效载荷编码后的结果之间用(.)来连接，分别作为JWT字符串的第一部分(例如xxxxxx)和第二部分(例如yyyyyy)；3)使用JWT 头部指定的算法进行签名，即使用头部中声明的加密算法对步骤2)中得到的字符串(例如xxxxxx.yyyyyy)进行加盐密钥组合加密，构成了JWT的第三部分(例如zzzzzz)。

在计算出签名哈希后，编码后的JWT头部，编码后的负载和签名的三个部分组合成一个字符串，每个部分用(.)分隔，就构成整个JWT对象(例如xxxxxx.yyyyyy.zzzzzz)。

S503，根据第一语音指令和标识信息生成受控信息。

示例性的，电子设备可以解析用户的第一语音指令确定第一信息，该第一信息包括用户需要运行的第一应用程序信息以及该第一应用程序需要的权限信息，并可以根据解析得到的第一信息以及标识信息生成受控信息。第一应用程序需要的权限可以理解为支撑运行第一应用程序(或者第一应用程序的第一功能)需要的权限。

电子设备可以解析用户的第一语音指令确定用户需要电子设备运行的应用程序以及功能，并可以根据需要运行的功能确定该功能对应的权限。

例如，用户的语音指令为“小艺小艺，导航回家”，电子设备可以确定用户需要电子设备运行导航应用程序的导航功能，则电子设备可以确定需要运行的运行程序为导航应用程序，且使用导航功能需要定位权限和全球定位系统(global positioning system，GPS)权限，则电子设备还可以确定导航应用程序需要的权限包括定位权限和GPS权限，即导航应用程序需要使用电子设备的定位功能、GPS功能。

电子设备可以通过以下方式确定第一信息。

一种可能的实现方式，电子设备可以包括语音识别(automatic speechrecognition，ASR) 模块、语义理解(natural language understanding，NLU)模块。

其中，ASR模块主要作用是将用户的语音识别为文字内容，NLU模块的主要作用是理解用户的意图(intent)，进行槽位(slot)解析。

示例性的，ASR模块通过将语音转化文字得到的信息为：小艺小艺，导航回家。

从这句话中，NLU模块可以解析得出表1所示的内容。

表1意图和槽位

电子设备通过ASR模块和NLU模块可以解析用户的语音指令，并根据解析后的语音指令确定需要运行的应用程序或应用程序的功能，从而可以确定第一信息，在确定第一信息后可以根据第一信息和标识信息生成受控信息。

在一些实施例中，受控信息包括用户ID、第一应用程序的标识信息和第一应用程序的权限信息。其中，第一应用程序的标识信息用于指示第一应用程序的名称。例如第一应用程序的标识信息可以是应用程序ID。第一应用程序的权限信息用于指示第一应用程序需要的权限。

例如，用户的语音指令为“小艺小艺，导航回家”，则电子设备可以根据用户的语音指令生成标识信息，标识信息可以包括用户ID，该用户ID为“12345”，电子设备还可以解析用户的语音指令确定需要运行导航应用程序的导航功能，则电子设备可以确定第一信息，该第一信息可以包括导航应用程序的应用程序ID，该应用程序ID为“aaa.bbb.ccc”，且第一信息还可以包括导航应用程序的权限信息，该权限信息用于指示导航应用程序的权限为定位权限和GPS权限，然后电子设备可以根据第一信息和标识信息生成受控信息。

可选的，在一些实施例中，受控信息还可以包括执行时间信息，针对该执行时间信息的描述请参见后文。

可选的，在一些实施例中，受控信息还可以包括第二标识信息，该第二标识信息用于指示用于拉起第一应用程序的模块。针对该第二标识信息的描述请参见后文。

S504，根据受控信息运行第一应用程序。

示例性的，电子设备生成受控信息后，可以根据受控信息运行第一应用程序、或者第一应用程序的第一功能。

可以理解的是，由于受控信息中包含第一应用程序的权限信息，则电子设备可以控制第一应用程序可使用的权限，使第一应用程序可以使用受控信息中包括的权限，而不能使用其他权限。

例如，用户的语音指令为“小艺小艺，导航回家”，则电子设备可以确定导航应用程序需要的权限是定位权限和GPS权限，则电子设备响应于检测到用户的语音指令，可以在锁屏状态下运行导航应用程序，并确定导航应用程序可以使用定位权限和GPS权限以支撑导航功能，且可以禁止导航应用程序使用其他权限，例如查询导航历史的权限、打开摄像头的权限等。

可选的，在一些实施例中，方法500还包括：

当满足预设条件时，关闭第一应用程序。

示例性的，第一应用程序运行的时间超过时间阈值，则电子设备可以关闭第一应用程序。

示例性的，第一应用程序完成用户的语音指令，则电子设备可以关闭第一应用程序。例如，用户的语音指令为“小艺小艺，导航回家”，电子设备可以在导航应用程序完成导航后，关闭导航应用程序。

需要说明的是，本申请实施例仅以预设条件如上文所述为例，但并不限定于此，例如，第一应用程序使用的数据流量超过阈值，则电子设备可以关闭第一应用程序。例如，用户的语音指令为“小艺小艺，播放音乐”，电子设备可以启动音乐应用程序，并在音乐应用程序使用的数据流量超过1GB时，电子设备可以关闭音乐应用程序。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征响应用户的语音指令以运行应用程序，还可以控制应用程序使用的权限，从而可以简化操作步骤的同时还提高了安全性，且在运行应用程序时提供了系统级的支持，无需应用程序额外适配，提高了通用性。

图6示出了根据本申请实施例的语音交互方法的一例示意性流程图，如图6所示，S503，根据第一语音指令和标识信息生成受控信息，包括：

S5031，当确定用户的身份满足权限时，根据第一语音指令和标识信息生成受控信息。

示例性的，不同用户的身份可以对应不同的权限，则电子设备可以在用户的身份满足权限时，根据第一语音指令和标识信息生成受控信息。

需要说明的是，不同用户的身份可以对应有不同的权限，该不同用户可以是经过声纹认证的用户。例如用户#A和用户#B是经过声纹认证的用户，其中，电子设备可以在锁屏状态或非锁屏状态下响应于用户#A的语音指令，电子设备可以在非锁屏状态响应于用户 #B的语音指令，而在锁屏状态下不响应用户#B的语音指令，即用户#A和用户#B的权限不同。

可以理解的是，本申请实施例中针对不同的经过声纹认证的用户的身份开放不同的权限，从而电子设备可以在锁屏状态下响应于用户的身份满足权限的用户的语音指令。

例如，电子设备根据用户#A的语音指令：“小艺小艺，请导航回家”，电子设备可以根据该语音指令确定用户#A的身份，当确定该用户的身份满足权限时，即该用户可以指示电子设备在锁屏状态下响应语音指令，则电子设备可以根据第一语音指令和标识信息生成受控信息，从而电子设备可以响应于用户#A的语音指令，在锁屏状态下启动导航应用程序的导航功能。

再例如，电子设备根据用户#B的语音指令：“小艺小艺，请导航回家”，电子设备可以根据该语音指令确定用户#B的身份，当确定该用户的身份不满足权限时，即该用户不可以指示电子设备在锁屏状态下响应语音指令，则电子设备不会根据第一语音指令和标识信息生成受控信息，则电子设备不会响应用户#B的语音指令，即不会在锁屏状态下启动导航应用程序的导航功能。

需要说明的是，上文仅以用户的身份的权限对应电子设备是否在锁屏状态下执行语音指令，但本申请实施例并不限定于此，本申请实施例中不同的用户身份可以对应不同的语音指令等级，从而电子设备可以在锁屏状态下可以根据用户的身份的不同，响应不同等级的语音指令，具体说明请参见下文。

本申请实施例中，电子设备可以锁屏状态下基于用户的声纹特征确定用户的身份，当用户的身份满足权限时，电子设备可以响应用户的语音指令以运行应用程序，从而用户可以在不解锁电子设备的情况下使用应用程序的功能，简化了操作步骤，提高了用户的使用体验，且保证了电子设备在锁屏状态下只响应拥有权限的用户的语音指令，进一步的提高了安全性。

图7示出了根据本申请实施例的语音交互方法的一例示意性流程图，如图7所示，在 S503之前，方法500还包括：

S506，根据第一语音指令确定第一语音指令的等级。

示例性的，电子设备可以根据第一语音指令的内容确定该第一语音指令的等级。语音指令的等级可以理解为根据语音指令的意图将语音指令划分为不同的等级。

一种可能的实现方式，可以根据语音指令的意图涉及的数据将语音指令划分为不同的等级，从而可以确定语音指令的等级。

示例性的，当语音指令的意图涉及隐私数据时，可以确定该语音指令的等级为高等级。当语音指令的意图不涉及隐私数据时，可以确定该语义指令的等级确定为低等级。隐私数据的划分可以基于预设的规则，例如，可以将与用户的个人信息、资金等相关的数据划分为隐私数据。

例如，语音指令为：“小艺小艺，请向小明转账500”，则该语音指令涉及资金，从而可以确定该语音指令的等级为高等级。

再例如，语音指令为：“小艺小艺，请播放音乐”，则该语音指令不涉及资金、用户的个人信息，从而可以确定该语音指令为低等级。

另一种可能的实现方式，可以根据语音指令的意图涉及的权限将语音指令划分为不同的等级，从而可以确定语音指令的等级。

示例性的，电子设备为了执行语音指令，需要使用不用的权限。当语音指令的意图涉及关键权限时，可以确定该语音指令的等级为高等级。当语音指令的意图不涉及关键权限时，可以确定该语义指令的等级确定为低等级。关键权限的划分可以基于预设的规则，例如，关键权限可以是与电子设备运行相关的权限(例如，系统设置权限)。

例如，语音指令为：“小艺小艺，请开启飞行模式”，则该语音指令涉及系统设置权限，从而可以确定该语音指令的等级为高等级。

再例如，语音指令为：“小艺小艺，请播放音乐”，该语音指令不涉及系统设置权限，从而可以确定该语音指令的等级为低等级。

再一种可能的实现方式，可以根据语音指令的意图涉及的数据和权限将语音指令划分为不同的等级，从而可以确定语音指令的等级。

应理解，针对根据语音指令的意图涉及的数据和权限将语音指令划分为不同的等级可以参见上文，为了简洁，在此不再赘述。

需要说明的是，上文仅以语音指令的等级包括2个等级为例，但本申请实施例并不限定于此，本申请实施例中还可以将语音指令的等级划分为更多的等级。例如，本申请实施例中可以将隐私数据划分为3个等级，其中涉及资金的数据的语音指令的等级大于涉及用户的个人信息的数据的语音指令等级，则当语音指令涉及资金的数据时，该语音指令的等级为第一等级；当语音指令涉及用户的个人信息的数据时，该语音指令的等级为第二等级；当语音指令不涉及资金的数据和用户的个人信息上的数据时，该语音指令的等级为第三等级，其中第一等级大于第二等级，第二等级大于第三等级。

可选的，在一些实施例中，S503，根据第一语音指令和标识信息生成受控信息，包括：

S5032，当第一语音指令的等级等于或小于第一等级阈值时，根据第一语音指令和标识信息生成受控信息。

例如，电子设备根据用户的第一语音指令：“小艺小艺，请导航回家”，电子设备可以确定第一语音指令的等级为第三等级，假设第一等级阈值为第二等级，其中第三等级低于第二等级，则电子设备可以根据第一语音指令和标识信息生成受控信息，从而电子设备可以响应于用户的第一语音指令，启动导航应用程序的导航功能。

再例如，电子设备根据用户的第一语音指令：“小艺小艺，向小明转账500”，电子设备可以确定第一语音指令的等级为第一等级，假设第一等级阈值为第二等级，其中第一等级高于第二等级，则电子设备不会根据第一语音指令和标识信息生成受控信息，则电子设备不会响应用户的第一语音指令。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，避免在锁屏状态下执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

可选的，在一些实施例中，S503，根据第一语音指令和标识信息生成受控信息，包括：

S5033，当第一语音指令的等级大于第一等级阈值时，生成第一提示信息。

示例性的，电子设备可以在第一语音指令的等级大于第一等级阈值时，生成第一提示信息，该第一提示信息用于提示用户进行二次验证。

例如，电子设备根据用户的第一语音指令：“小艺小艺，向小明转账500”，电子设备可以确定第一语音指令的等级为第一等级，假设第一等级阈值为第二等级，则电子设备可以提示用户解锁，如图4中的(c)-(d)所示，或者电子设备可以生成第二提示信息，用于提示用户进行二次验证，如图4中的(e)-(f)所示。

S5034，响应于检测到用户的二次验证，根据第一语音指令和标识信息生成受控信息。

示例性的，电子设备检测到用户的二次验证操作后，响应于该二次验证操作，可以根据第一语音指令和标识信息生成受控信息。

示例性的，二次验证可以是指纹、虹膜等，本申请实施例对此不作限定。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定是否响应用户的语音指令以运行应用程序，当语音指令的等级高于等级阈值时，电子设备可以提示用户进行二次验证，在二次验证通过后执行用户的语音指令，避免在锁屏状态下仅通过语音指令就执行涉及资金、个人信息等操作，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

图8示出了根据本申请实施例的语音交互方法的一例示意性流程图，如图8所示，在 S503之前，方法500还包括：

S506，根据第一语音指令确定第一语音指令的等级。

应理解，针对S506的描述可以参见上文，为了简洁，在此不再赘述。

可选的，在一些实施例中，S503，根据第一语音指令和标识信息生成受控信息，包括：

S5035，确定用户的身份与第一语音指令的等级匹配时，根据第一语音指令和标识信息生成受控信息。

示例性的，不同用户的身份可以对应不同的语音指令等级，当电子设备确定用户的身份与第一语音指令的等级匹配时，则电子设备可以根据第一语音指令和标识信息生成受控信息。

例如，用户#A对应的语音指令的等级为第一等级、第二等级和第三等级，用户#A语音输入：“小艺小艺，导航回家”，电子设备可以确认该语音输入的等级为第二等级，即该语音指令的等级与用户#A的身份匹配，则电子设备可以根据第一语音指令和标识信息生成受控信息。

再例如，用户#A对应的语音指令的等级为第二等级和第三等级，用户#A语音输入：“小艺小艺，向小明转账500”，电子设备可以确认该语音输入的等级为较高的第一等级，即该语音指令等级与用户#A的身份不匹配，则电子设备不会根据第一语音指令和标识信息生成受控信息。

本申请实施例中，电子设备可以在锁屏状态下基于用户的声纹特征确定用户的身份，以及语音指令的等级，并基于用户的身份是否与语音指令的等级匹配确定是否响应用户的指令，当语音指令的等级与用户的身份匹配时，电子设备可以响应用户的语音指令以运行应用程序，从而用户可以在不解锁电子设备的情况下使用应用程序的功能，简化了操作步骤，提高了用户的使用体验，且针对不同用户开放不同的权限，避免了电子设备在锁屏状态下执行与用户的身份不匹配的语音指令(例如涉及资金、个人信息等语音指令)，细化了电子设备在锁屏的状态下执行用户语音指令的功能，在简化操作步骤的同时还提高了安全性，保证了用户的资金、个人信息的安全。

可选的，在一些实施例中，方法500还包括：

确定用户的身份与第一语音指令的等级不匹配时，生成第二提示信息。

示例性的，电子设备可以在第一语音指令的等级与第一语音指令的等级不匹配时，生成第二提示信息，该第二提示信息用于提示用户进行二次验证。

例如，电子设备根据用户#A的第一语音指令：“小艺小艺，向小明转账500”，电子设备可以确定第一语音指令的等级为第一等级，用户#A对应的语音指令的等级为第二等级和第三等级，则电子设备可以生成第二提示信息，用于提示用户进行二次验证，如图4中的(e)-(f)所示。

响应于检测到用户的二次验证，根据第一语音指令和标识信息生成受控信息。

示例性的，电子设备检测到用户的二次验证操作后，响应于该二次验证操作，可以根据第一语音指令和标识信息生成受控信息。

上面介绍了本申请实施例提供的场景交互图以及语音交互的方法，下面将介绍本申请实施例提供的语音交互的方法的内部数据流向，本申请实施例中的语音交互的方法可以分为3个阶段，第一个阶段为图9所示的生成标识信息的阶段，在生成标识信息后，可以进入图10所示的第二个阶段，即生成受控信息的阶段，在生成受控信息后，可以进入图11 所示的第三个阶段，即运行第一应用程序的阶段。

图9示出了本申请实施例提供的语音交互的方法的生成标识信息的内部数据流向示意图。

电子设备可以包括接收模块901、认证模块902、受控模块903，其中生成标识信息的内部数据流向包括：。

S901，接收模块901接收用户的第一语音指令。

示例性的，接收模块1001可以是图1中的麦克风170C，即电子设备可以通过麦克风170C接收用户的第一语音指令。

S902，接收模块901向认证模块902发送第一语音指令。

对应的，认证模块902接收接收模块901发送的第一语音指令。

S903，认证模块902根据第一语音指令认证用户。

示例性的，认证模块902可以通过声纹认证确定用户ID。例如，用户#1的语音指令：“小艺小艺，请导航回家”，认证模块901可以根据用户#1的声纹确定说出该语音的人是用户#1，该用户的ID为“12345”。

S904，认证模块902向受控模块903发送认证通过信息。

对应的，受控模块903接收认证模块902发送的认证通过信息。

示例性的，认证模块902声纹认证通过后，可以将认证通过的信息发送给受控模块903。

S905，受控模块903生成标识信息。

示例性的，当认证通过后，受控模块可以生成标识信息，该标识信息包括用户ID。

S906，受控模块903向认证模块902发送标识信息。

S907，认证模块902保存标识信息。

可选的，在一些实施例中，受控模块903可以根据用户ID确定用户对应的权限。

一种可能的实现形式，受控模块903中存储有用户ID与用户权限的对应关系。例如，用户ID“12345”对应的权限是可以指示电子设备在锁屏状态下响应语音指令，用户ID“23456”对应的权限是不可以指示电子设备在锁屏状态下响应语音指令，认证模块902 认证后确定用户#1的用户ID为“12345”，则受控模块903可以确定用户#1的权限，则标识信息还可以包括用户的权限信息。

可选的，在一些实施例中，认证模块902可以根据用户ID确定用户对应的权限。

一种可能的实现形式，认证模块902中存储有用户ID与用户权限的对应关系。例如，用户ID“12345”对应的权限是可以指示电子设备在锁屏状态下响应语音指令，用户ID“23456”对应的权限是不可以指示电子设备在锁屏状态下响应语音指令，认证模块902 认证后确定用户#1的用户ID为“12345”，则认证模块902可以确定用户#1的权限，且标识信息还可以包括用户的权限信息。

可选的，在一些实施例中，受控模块903可以根据用户ID确定与用户匹配的语音指令等级。

一种可能的实现形式，受控模块903中存储有用户ID与用户匹配的语音指令等级的对应关系。例如，用户ID“12345”对应的语音指令等级可以是第二等级、第三等级，用户ID“23456”对应的语音指令等级可以是第一等级、第二等级、第三等级，认证模块902 认证后确定用户#1的用户ID为“12345”，则受控模块903可以确定用户#1对应的语音指令等级为第二等级、第三等级。

可选的，在一些实施例中，认证模块902可以根据用户ID确定与用户匹配的语音指令等级。

一种可能的实现形式，认证模块902中存储有用户ID与用户匹配的语音指令等级的对应关系。例如，用户ID“12345”对应的语音指令等级可以是第二等级、第三等级，用户ID“23456”对应的语音指令等级可以是第一等级、第二等级、第三等级认证模块902认证后确定用户#1的用户ID为“12345”，则认证模块902可以确定用户#1对应的语音指令等级为第二等级、第三等级。

可选的，在一些实施例中，标识信息还包括执行时间信息，该执行时间信息用于指示该标识信息的有效时间。

图10示出了本申请实施例提供的语音交互的方法的生成受控信息的内部数据流向示意图。

电子设备还可以包括执行模块904，其中生成受控信息的内部数据流向包括：

S1001，认证模块902向执行模块904发送第一语音指令。

对应的，执行模块904接收认证模块902发送的第一语音指令。

替代性的，在一些实施例中，接收模块901可以向执行模块904发送第一语音指令。

S1002，执行模块904根据第一语音指令确定第一应用程序和第一应用程序的权限。

示例性的，执行模块904可以解析第一语音指令的内容，从而可以确定用户需要运行的第一应用程序和第一应用程序的权限。

例如，用户的语音指令为“小艺小艺，导航回家”，执行模块904可以确定用户需要电子设备运行导航应用程序的导航功能，则执行模块904可以确定需要运行的运行程序为导航应用程序，且使用导航功能需要定位权限和GPS权限，则执行模块904还可以确定导航应用程序需要的权限包括定位权限和GPS权限。

可选的，在一些实施例中，认证模块902还可以向执行模块904发送标识信息。

S1003，执行模块904向受控模块注册受控信息。

示例性的，执行模块904可以基于标识信息和解析第一语音指令得到的信息(第一应用程序和第一应用程序的权限)向受控模块注册受控信息。

S1004，受控模块903根据标识信息和第一语音指令生成受控信息。

示例性的，受控模块903可以解析标识信息，然后基于执行模块904解析第一语音指令得到的信息生成受控信息，该受控信息包括用户ID、第一应用程序的标识信息和第一应用程序的权限。

可选的，在一些实施例中，受控信息还可以包括执行时间信息，该执行时间信息用于指示该标识信息的有效时间。标识信息的有效时间也可以理解为第一应用程序的运行时间。

可选的，在一些实施例中，受控信息还可以包括第二标识信息，该第二标识信息用于指示执行模块904。换句话说，受控模块903在生成受控信息时，可以根据受控信息的注册方(即执行模块904)，生成第二标识信息，使得该受控信息包括第二标识信息，从而该受控信息可以与执行模块904对应，进而第一应用程序被拉起后，受控模块903可以仅响应执行模块904针对第一应用程序的指令，而不响应其他模块或第三方应用程序针对第一应用程序的指令。

可选的，在一些实施例中，生成受控信息的内部数据流向还包括：

S1005，受控模块903向执行模块904发送受控信息。

S1006，执行模块904保存受控信息。

可选的，在一些实施例中，受控模块903可以根据第一语音指令确定第一语音指令的等级。

一种可能的实现形式，受控模块903中存储有语音指令与语音指令等级的对应关系。例如，语音指令请求运行导航应用程序的导航功能对应的等级为第二等级，语音指令请求转账对应的等级为第一等级，则受控模块903可以根据第一语音指令确定第一语音指令的等级。

可选的，在一些实施例中，当用户的身份满足权限时，受控模块903可以生成受控信息。

可选的，在一些实施例中，当第一语音指令的等级等于或小于第一等级阈值时，受控模块903可以生成受控信息。

可选的，在一些实施例中，确定用户的身份与第一语音指令的等级匹配时，受控模块 903可以生成受控信息。

图11示出了本申请实施例提供的语音交互的方法的运行第一应用程序的内部数据流向示意图，该内部数据流向包括：

S1101，执行模块904拉起第一应用程序。

示例性的，执行模块904可以在电子设备锁屏状态下拉起第一应用程序。

需要说明的是，执行模块904拉起第一应用程序与执行模块904向受控模块903注册受控信息并没有实际的先后顺序。

S1102，根据受控信息运行第一应用程序。

示例性的，第一应用程序被拉起后，受控模块903可以根据受控信息判断第一应用程序是否运行被拉起。执行模块904可以根据第一语音指令控制第一应用程序，第一应用程序可以响应执行模块904的操作，第一应用程序在响应执行模块904的操作时，需要由受控模块903管控，即根据受控信息管控第一应用程序的权限，从而保证了第一应用程序仅可以执行受控信息中的权限。

可选的，在一些实施例中，受控信息包括用于指示执行模块904的第二标识信息，受控模块903可以在确定是由执行模块904拉起第一应用程序的情况下，根据管控信息管控第一应用程序的权限。

需要说明的是，本申请实施例中的执行模块904属于应用程序层，受控模块903属于应用程序框架层，通过执行模块904在锁屏状态下拉起需要的应用程序，并通过受控模块903管控应用程序的权限，为锁屏状态下运行应用程序提供了系统级的支持，使得应用程序无需适配就可以在锁屏状态下运行且在运行时可以管控该应用程序的权限。

还需要说明的是，受控信息中包括用于指示执行模型904的第二标识信息，从而受控模块903可以管控由执行模块904拉起的应用程序，而对于由其他模块或第三方应用程序拉起的应用程序，则被拉起的应用程序由于没有获得应用程序框架层的支持，该被拉起的应用程序可能无法运行。

上述主要从电子设备的角度对本申请实施例提供的一种语音交互的方法进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/ 或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备中的处理器进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用了对应各个功能的划分各个功能模块的情况下，图12示出了本申请实施例提供的一种电子设备1200组成示意图，如图12所示，电子设备1200包括：接收单元1210，处理单元1220。

接收单元1310，用于接收用户的第一语音指令。示例性的，接收单元1310可以用于执行图5中的S501。

处理单元1320，用于根据第一语音指令生成标识信息。示例性的，处理单元1320可以用于执行图5中的S502。

处理单元1320，还用于根据标识信息和第一语音指令生成受控信息。示例性的，处理单元1320可以用于执行图5中的S503。

处理单元1320，还用于根据受控信息运行所述第一应用程序。处理单元1320可以用于执行图5中的S504。

可选的，在一些实施例中，处理单元1320，具体用于确定用户的身份满足权限时，根据第一语音指令和标识信息生成受控信息。示例性的，处理单元1320可以用于执行图 6中的S5031。

可选的，在一些实施例中，处理单元1320，还用于根据用户的第一语音指令确定第一语音指令的等级。示例性的，处理单元1320可以用于执行图7中的S506。

可选的，在一些实施例中，处理单元1320，具体用于当第一语音指令的等级等于或小于第一等级阈值时，根据第一语音指令和标识信息生成受控信息。示例性的，处理单元1320可以用于执行图7中的S5032。

可选的，在一些实施例中，处理单元1320，还用于当第一语音指令的等级大于第一等级阈值时，生成第一提示信息。示例性的，处理单元1320可以用于执行图7中的S503。

处理单元1320，具体用于响应于检测到用户的二次验证操作，根据第一语音指令和标识信息生成受控信息。示例性的，处理单元1320可以用于执行图7中的S5034。

可选的，在一些实施例中，处理单元1320，还用于确定用户的身份与第一语音指令的等级匹配时，根据第一语音指令和标识信息生成受控信息。示例性的，处理单元1320 可以用于执行图8中的S5035。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。本申请实施例提供的电子设备，用于执行上述语音交互的方法，因此可以达到与上述相同的效果。

本申请实施例还提供了一种电子设备，包括：处理器、存储器、应用程序以及计算机程序。上述各器件可以通过一个或多个通信总线连接。其中，该一个或多个计算机程序被存储在上述存储器中并被配置为被该一个或多个处理器执行，该一个或多个计算机程序包括指令，上述指令可以用于使电子设备执行上述各实施例中电子设备的各个步骤。

示例性地，上述处理器具体可以为图1所示的处理器110，上述存储器具体可以为图1所示的内部存储器120和/或与电子设备连接的外部存储器。

本申请实施例还提供一种芯片，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如前文中任一种可能的实现方式中所述的语音交互的方法被执行。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的语音交互的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的语音交互的方法。

以上实施例中所用，根据上下文，术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种语音交互的方法，其特征在于，所述方法应用于电子设备，所述电子设备处于锁屏状态，所述方法包括：

接收用户的第一语音指令，所述第一语音指令用于指示所述电子设备运行第一应用程序；

根据所述第一语音指令生成标识信息，所述标识信息包括所述用户的身份；

根据所述标识信息和所述第一语音指令生成受控信息，所述受控信息包括所述用户的身份、所述第一应用程序的标识信息和所述第一应用程序的权限信息；

根据所述受控信息运行所述第一应用程序。

2.根据权利要求1所述的方法，其特征在于，所述根据所述标识信息和所述第一语音指令生成受控信息，包括：

确定所述用户的身份满足权限时，根据所述标识信息和所述第一语音指令生成所述受控信息。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述第一语音指令确定所述第一语音指令的等级。

4.根据权利要求3所述的方法，其特征在于，所述根据所述标识信息和所述第一语音指令生成受控信息，包括：

当所述第一语音指令的等级等于或小于第一等级阈值时，根据所述标识信息和所述第一语音指令生成所述受控信息。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述第一语音指令的等级大于第一等级阈值时，生成第一提示信息，所述第一提示信息用于指示所述用户进行二次验证。

6.根据权利要求5所述的方法，其特征在于，所述根据所述标识信息和所述第一语音指令生成所述受控信息，包括：

响应于检测到所述用户的二次验证操作，根据所述标识信息和所述第一语音指令生成所述受控信息。

7.根据权利要求3所述的方法，其特征在于，所述根据所述标识信息和所述第一语音指令生成所述受控信息，包括：

确定所述用户的身份与所述第一语音指令的等级匹配时，根据所述标识信息和所述第一语音指令生成所述受控信息。

8.根据权利要求3或7所述的方法，其特征在于，所述方法还包括：

确定所述用户的身份与所述第一语音指令的等级不匹配时，生成第二提示信息，所述第二提示信息用于指示所述用户进行二次验证。

9.根据权利要求8所述的方法，其特征在于，所述根据所述标识信息和所述第一语音指令生成所述受控信息，包括：

响应于检测到所述用户的二次验证操作，根据所述标识信息和所述第一语音指令生成所述受控信息。

10.根据权利要求1至9中任一项所述的方法，所述受控信息还包括第二标识信息，所述第二标识信息用于指示拉起所述第一应用程序的模块。

11.根据权利要求1至10中任一项所述的方法，受控信息还包括执行时间信息，所述时间信息用于指示所述管控信息的有效时间。

12.根据权利要求1至11中任一项所述的方法，其特征在于，所述方法还包括：

在满足预设条件时，关闭所述第一应用程序。

13.一种电子设备，其特征在于，包括：用于实现如权利要求1至12中任一项所述的方法的模块。

14.一种电子设备，其特征在于，包括一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得如权利要求1至12中任一项所述的方法被执行。

15.一种芯片，其特征在于，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如权利要求1至12中任一项所述的方法被执行。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在计算机上运行时，使得如权利要求1至12中任一项所述的方法被执行。

17.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至12中任一项所述的方法。