CN115062288A - 设备辅助系统的唤醒方法和装置、存储介质、电子设备 - Google Patents

Abstract

本公开实施例公开了一种设备辅助系统的唤醒方法和装置、存储介质、电子设备，其中，方法包括：响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像；根据所述人脸图像的人脸识别结果，确定所述用户是否具有所述设备辅助系统的唤醒权限；响应于所述用户未获得所述唤醒权限，引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限；响应于所述用户获得所述唤醒权限，唤醒所述设备辅助系统。

Description

设备辅助系统的唤醒方法和装置、存储介质、电子设备

技术领域

本公开涉及设备辅助控制技术，尤其是一种设备辅助系统的唤醒方法和装置、存储介质、电子设备。

背景技术

现在社会，为了便利人们的生活，设备越来越趋向于自动化，例如，自动驾驶等，在自动驾驶技术中，自动导航辅助驾驶系统是结合导航路径实现的辅助驾驶技术，自动导航辅助驾驶系统在开启之后可以实现自适应巡航，车道居中辅助、自动变道辅助等功能；但是，由于自动导航辅助驾驶系统有一定的复杂性、高阶性，当驾驶者在首次接触到自动导航辅助驾驶系统时可能出现不熟悉的情况，导致无法合理使用该系统，同时使用者的不熟悉也导致在使用该系统时存在安全隐患。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种设备辅助系统的唤醒方法和装置、存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种设备辅助系统的唤醒方法，包括：

响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像；

根据所述人脸图像的人脸识别结果，确定所述用户是否具有所述设备辅助系统的唤醒权限；

响应于所述用户未获得所述唤醒权限，引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限；

响应于所述用户获得所述唤醒权限，唤醒所述设备辅助系统。

根据本公开实施例的另一方面，提供了一种设备辅助系统的唤醒装置，包括：

指令接收模块，用于响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像；

权限识别模块，用于根据所述指令接收模块获取的所述人脸图像的人脸识别结果，确定所述用户是否具有所述设备辅助系统的唤醒权限；

权限获取模块，用于响应于所述权限识别模块确定所述用户未获得所述唤醒权限，引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限；

设备唤醒模块，用于响应于所述权限获取模块确定所述用户获得所述唤醒权限，唤醒所述设备辅助系统。

根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的设备辅助系统的唤醒方法。

根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的设备辅助系统的唤醒方法。

基于本公开上述实施例提供的一种设备辅助系统的唤醒方法和装置、存储介质、电子设备，通过结合唤醒指令和人脸识别确定用户是否具有设备辅助系统的唤醒权限，提高了唤醒权限的识别效率；并且，在识别到未获得唤醒权限时，引导用户与预设终端交互，以获得唤醒权限，提升了设备辅助系统的安全性，避免了没有唤醒权限的用户直接对设备辅助系统进行唤醒导致的危险。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开一示例性实施例提供的设备辅助系统的唤醒方法的流程示意图。

图2是本公开图1所示的实施例中步骤103的一流程示意图。

图3是本公开图2所示的实施例中步骤1031的一流程示意图。

图4是本公开图2所示的实施例中步骤1032的一流程示意图。

图5是本公开一示例性实施例提供的设备辅助系统的唤醒装置的结构示意图。

图6是本公开另一示例性实施例提供的设备辅助系统的唤醒装置的结构示意图。

图7是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

在实现本公开的过程中，发明人发现，设备辅助系统通常具有一定的复杂性、高阶性，至少存在当用户首次接触时可能出现不熟悉的情况，导致无法合理使用该系统，同时用户的不熟悉也导致在使用该系统时存在安全隐患。

示例性方法

图1是本公开一示例性实施例提供的设备辅助系统的唤醒方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤101，响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像。

其中，预设唤醒指令可以包括但不限于以下一种或多种的结合：预设的唤醒语音、按键唤醒(通过用户触发设备上提供的与设备辅助系统相关联的按键实现输入唤醒指令)、预设的唤醒文字或图标唤醒(通过用户触摸选择预设终端设备提供的至少一个文字或图标选项中的一个实现输入唤醒指令，预设终端设备可以是与设备辅助系统相通信的手机等终端设备)、唤醒指纹(通过例如指纹接收器等预设终端接收指纹输入，可以通过识别是否为预设指纹或识别是否为真人确定是否接收到唤醒指令)、预设的唤醒手势等等；在接收到请求唤醒设备辅助系统的预设唤醒指令后，可选地，可通过摄像设备(例如，摄像头等)采集驾驶位的图像来获取用户的人脸图像，例如，通过图像分割等技术手段得到人脸图像。

本实施例在接收的预设唤醒指令为唤醒语音、唤醒指纹等生物识别技术时，结合人脸识别即实现了多模态生物识别(即融合了至少两种生物识别技术)，利用多模态生物识别实现了整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全。其中，生物识别技术是通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性(如指纹、人脸、虹膜、静脉、掌纹等)或行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定。

步骤102，根据人脸图像的人脸识别结果，确定用户是否具有设备辅助系统的唤醒权限。

设备辅助系统为首次被采集人脸图像的用户通过分配用户识别号(例如，用户ID等)来完成注册，用户识别号对应的数据条目中存储有注册用户的人脸信息、唤醒权限信息、以及学习和/或考试进度信息等；可选地，注册识别过程可包括：当根据人脸图像的人脸识别结果，确定用户是否为已注册用户，如果是已注册用户，通过该用户对应的数据条目中包括的唤醒权限信息确定该用户是否具有设备辅助系统的唤醒权限；而当根据人脸图像的人脸识别结果，确定用户是未注册的用户(在所有注册用户对应的数据条目中未查找到对应的人脸信息)，此时引导用户注册，用户同意注册即为该用户分配对应的用户识别号，根据该用户识别号建立对应的数据条目，并将该用户的人脸信息存入该数据条目中；另外，除了通过人脸图像进行注册，用户还可以通过预设终端扫描设备端设置的二维码等操作获取设备辅助系统分配的用户识别号，实现人工注册，人工注册过程中需要采集人脸信息，在用户识别号对应的数据条目中存储有注册用户的人脸信息、唤醒权限信息、以及学习和/或考试进度信息等。

可选地，上述识别用户是否已经注册时，可基于人脸信息进行匹配，其中，人脸信息可通过深度学习技术(例如，卷积神经网络等)对人脸图像进行特征提取，以得到人脸图像对应的人脸特征作为人脸信息；具体识别时，以人脸特征与所有预存的用户识别号对应的人脸信息(即人脸特征)进行匹配(特征之间的匹配可以通过计算两个特征之间的距离确定特征之间的相似度，其中，距离可以是欧式距离、余弦距离等)，基于匹配结果确定该用户的用户识别号(已注册用户)，并通过用户识别号对应的数据条目中存储的唤醒权限信息，确定该用户是否具有设备辅助系统的唤醒权限；可选地，当人脸识别结果匹配到与用户的人脸图像相似的用户识别号，并且确定该用户具有设备辅助系统的唤醒权限，即可通过该用户对应的用户识别号获取相应的唤醒权限信息，唤醒设备辅助系统；可选地，当人脸识别结果匹配到与用户的人脸图像相似的用户识别号，并且确定该用户不具有设备辅助系统的唤醒权限，不能唤醒设备，通过该用户对应的用户识别号获取用户的权限获取信息，引导用户进行学习和/或考试。

步骤103，响应于用户未获得唤醒权限，引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限。

当在上一步骤中人脸识别结果确定用户不具有设备辅助系统的唤醒权限时，说明该用户可能处于以下任意一种情况：首次请求唤醒权限，或之前未通过获取唤醒权限的考试，或未完成获取唤醒权限的学习等；此时，引导用户与预设终端进行交互，其中，预设终端可以包括但不限于手机、平板等移动终端设备，预设终端还可以包括车机端；交互可以包括但不限于学习、考试等；基于交互数据确定用户是否获取唤醒权限，可以通过学习是否完成和考试是否通过来确定，例如，完成学习并且通过考试，确定用户获得唤醒权限。

步骤104，响应于用户获得唤醒权限，唤醒设备辅助系统。

可选地，通过人脸识别结果确定用户已经获取唤醒权限，此时，根据用户对应的用户识别号可获得用户之前对设备辅助系统的设置信息，实现基于该设置信息对设备辅助系统进行设置；或者，通过与预设终端交互，确定获得唤醒权限，对于首次获得唤醒权限的用户，根据用户的预设唤醒指令对设备辅助系统进行唤醒，接收用户对设备辅助系统的设置信息，并将设置信息与用户的用户识别号对应存储，以便下一次，该用户在发出预设唤醒指令时，通过人脸识别确定用户对应的用户识别号后，即可获得该用户对设备辅助系统的设置信息。

本公开上述实施例提供的一种设备辅助系统的唤醒方法，通过结合唤醒指令和人脸识别确定用户是否具有设备辅助系统的唤醒权限，提高了唤醒权限的识别效率；并且，在识别到未获得唤醒权限时，引导用户与预设终端交互，以获得唤醒权限，提升了设备辅助系统的安全性，避免了没有唤醒权限的用户直接对设备辅助系统进行唤醒导致的危险。

另外，现有技术中对于一个设备辅助系统通常只绑定一个账号(一个账号对应一个用户识别号)，不同的人在登录时都使用该绑定的账号，但这种方法至少存在两个问题：一是容易出现盗用账号的情况，例如没有唤醒权限的用户在通过合法或非法的手段获得账号后使用设备辅助系统，容易发生危险；二是由于只绑定了一个账号，对于使用该账号登录的所有用户都是相同的设置，不能为不同用户提供对应该用户使用习惯的设置；而本申请上述实施例提供的设备辅助系统的唤醒方法，由于利用了人脸识别技术，因此避免了盗用账号的情况发生，并且针对每个用户分别对应不同的账户，可获得该用户对设备辅助系统的设置信息，实现了对用户的个性化设置，可适应不同用户的使用习惯。

在一些可选实施例中，在上述图1所示实施例的基础上，步骤103在引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限之前，还包括：

步骤a1，确定设备辅助系统对应的设备的状态。

在本实施例中，自动导航辅助驾驶系统是结合导航路径实现的辅助驾驶功能。对应的设备可以为车辆或其他可移动设备，因此，该设备的状态可包括静止状态和非静止状态。

步骤a2，响应于设备处于静止状态，引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限。

为了提升设备的安全性，本实施例提出在设备处于静止状态时，才引导用户与预设终端进行交互，避免在用户与预设终端进行交互时，无法对设备进行关注，而由于设备移动产生的危险。引导用户与预设终端交互的具体实现可包括：提示用户是否接收引导以获得唤醒权限，响应于接收到用户反馈的接收引导信息，锁定设备，引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限。

步骤a3，响应于设备处于非静止状态，提示用户在设备处于静止状态时进行交互。

当设备处于非静止状态时，例如，正在行驶或启动中；可提示用户当前设备状态不适合与预设终端进行交互，等待设备处于静止状态时再与预设终端进行交互；并在设备静止状态时，发出提示交互的信息。

本实施例中，通过限制仅在设备处于静止状态时，才引导用户与预设终端进行交互，避免了当设备处于非静止状态时引导用户与预设终端进行交互所引起的由于用户分心操作而引发危险的问题，并且，在设备静止时引导用户进行交互，可以有效提高用户在交互过程中的专注度，提升用户获取唤醒权限的概率。

如图2所示，在上述图1所示实施例的基础上，步骤103可包括如下步骤：

步骤1031，通过提示信息引导用户与预设终端进行交互，获得交互在预设终端中得到的交互数据。

可选地，提示信息可以为任意形式的提示信息，例如，可以包括但不限于以下形式中的一种或多种的结合：语音提示信息、振动提示信息、图文提示信息等。

用户与预设终端进行交互之前，还可以对预设终端进行启动，例如，预设终端根据采集到人脸图像，直接获得该人脸图像对应的数据条目中对应的学习和/或考试进度信息，基于学习和/或考试进度信息对交互数据进行展示；又例如，通过预设终端扫描设备端设置的二维码等方式，实现以预设终端对交互数据进行展示。

步骤1032，确定在交互过程中，用户注视预设终端的第一时长与时长阈值之间的关系。

本实施例中，可通过对用户的视线方向进行监控，以获得用户注视预设终端的第一时长，其中，时长阈值可以根据实际应用场景进行设置，例如，设置为30分钟等；通常该时长阈值通过大部分用户可以获得唤醒权限的交互时长的均值来确定，以使其适用于大多数用户；还可以根据交互数据(例如，展示视频等)对应的时长来确定第一时长，例如，设置第一时长为交互数据对应的时长，或设置第一时长为交互数据对应的时长加预设时长等。

步骤1033，基于交互数据和第一时长与时长阈值之间的关系，确定用户是否获得唤醒权限。

可选地，第一时长与时长阈值之间的关系包括两种：小于、大于或等于；通常设置当第一时长大于或等于时长阈值时，且交互数据符合预设条件时，可确定用户获得唤醒权限。

本实施例中，通过设置时长阈值，保证了用户在于预设终端的交互过程中的专注程度，并且，将专注注视预设终端的时长设置为获取唤醒权限的条件之一，结合交互数据共同来确定用户是否获得唤醒权限，通过增加获得唤醒权限的条件，提高了设备辅助系统的安全性，避免了对于不符合条件的用户授予唤醒权限而导致的可能出现的对设备辅助系统滥用的危险。

如图3所示，在上述图2所示实施例的基础上，步骤1031可包括如下步骤：

步骤301，向用户发送提示信息。

其中，提示信息包括第一提示信息和第二提示信息；不同提示信息对应不同的交互信息，可选地，本实施例中的第一提示信息用于提示用户进行学习交互，第二提示信息用户提示用户进行考试交互；第一提示信息和第二提示信息可以为形式相同(例如，都为语音提示等)但内容不同的提示，例如，一个可选示例中，第一提示信息为内容包括“请开始学习”的语音信息，第二提示信息为内容包括“请开始考试”的语音信息。

步骤302，基于第一提示信息引导用户通过第一交互获取预设终端提供的学习信息，得到用户关于学习信息的第一交互数据。

本实施例中，第一交互对应第一提示信息，当第一提示信息用于提示学习时，第一交互可以为学习动作，该第一交互是通过观看和/或操作预设终端提供的学习信息实现的，例如，用户通过观看预设终端的学习视频，获得第一交互数据，第一交互数据可能包括学习结果(包括学习的进度，例如，是否完成学习，完成学习的记录学习结果为完成学习，未完成学习的，记录学习结果为当前学习达到的断点位置等)、对学习提示的反馈信息(例如，通过点击预设终端的显示屏等方式实现反馈)等。

步骤303，基于第二提示信息引导用户通过第二交互对预设终端提供的考试信息进行操作，得到用户关于考试信息操作的第二交互数据。

本实施例中，第二交互对应第二提示信息，当第二提示信息用于提示考试时，第二交互可以为考试动作，该第二交互是通过观看并操作预设终端提供的考试信息实现的，例如，用户通过对预设终端提供的考试信息进行点击或语音回复等方式进行交互，实现第二交互，获得第二交互数据，第二交互数据可以包括考试结果(例如，考试评分等)等。

本实施例中，通常情况下，用户在基于第一提示信息执行完第一交互后，当得到的第一交互数据符合预设条件(例如，学习时长大于学习视频时长等)时，才根据第二提示信息提示用户执行第二交互，即，考试需要在学习完成的基础上进行；但包括另一种情况，当用户在一次交互中完成第一交互动作，但未执行第二交互，当该用户再次根据提示信息与预设终端进行交互时，由于具有第一交互数据了，可直接根据第二提示信息执行第二交互，进而获得第二交互数据；本实施例通过结合学习和考试，保证用户完成学习，确保其掌握了设备辅助系统的使用方法，进而提升了设备辅助系统的安全性。

在上述实施例的基础上，步骤302可以包括：

步骤b1，基于第一提示信息引导用户执行第一交互。

本实施例中，第一交互通过用户观看预设终端实现。

步骤b2，确定用户在第一交互中的视线方向。

可选地，通过获取包括预设终端的终端图像，通过预设终端在该终端图像中的位置确定预设终端在用户前方的位置；通过对人脸图像进行关键点识别等方式确定人眼方向，当人眼方向与预设终端的位置相对应，说明用户在注视预设终端，当人眼方向与预设终端的位置不对应，说明用户的视线方向偏离了预设终端。

步骤b3，响应于在第一交互中视线方向偏离预设方向的时间达到第一预设时长，发出告警信息；响应于在第一交互中视线方向偏离预设方向的时间达到第二预设时长，控制预设终端暂停提供学习信息。

可选地，第一预设时长和第二预设时长的具体时长可根据实际场景进行设置，通常第一预设时长小于第二预设时长，当视线方向偏离预设方向的时间达到第一预设时长(例如，1分钟、2分钟等)，说明用户存在注意力不集中的问题，此时可通过告警等方式提示用户集中注意力，告警信息可以包括但不限于以下一种或多种结合语音告警、振动告警、文字告警等；而当视线方向偏离预设方向的时间达到第二预设时长，说明用户注意力不集中的问题较为严重，通过普通的告警信息无法解决，或者已经经过多次告警(即，第二预设时长可通过累计获得)，此时，可通过暂停提供学习信息，以提高用户的学习效率，避免由于用户长时间未注视预设终端，而学习信息播放完毕，导致的用户未实现学习的目的，无法达到考试要求。

本实施例中，通过在学习过程中，通过告警和暂停学习信息的提供来提醒用户集中注意力进行学习，以提高用户的学习效率，进而提高用户通过考试的几率，使用户可以更快的获得唤醒权限，避免了由于注意力不集中而导致的多次重复学习。

在一些可选的实施例中，在上述图2所示实施例的基础上，步骤103在步骤1031之后还可以包括如下步骤：

步骤c1，在交互过程中监测人脸图像。

可选地，在用户与预设终端进行交互(包括第一交互和第二交互)过程中，可通过人脸采集装置(例如，摄像头等)实时获得人脸图像，实现对用户的人脸实时监测，防止在交互过程中用户突然离开或交互中途换人等问题的发生。

步骤c2，响应于在交互过程中人脸图像发生变化，确定在交互过程中用户存在作弊行为。

本实施例中，当在交互过程中，通过人脸图像的监测发现人脸发生变化，具体识别变化的方式可通过当前帧获得的人脸图像识别到的人脸特征(可通过深度神经网络识别获得)与上一帧获得的人脸图像识别到的人脸特征进行匹配，如果当前帧的人脸特征与上一帧的人脸特征之间的相似度(可通过计算两个人脸特征之间的距离确定)小于某一设定值(根据实际应用场景进行设置)时，说明当前帧的人脸特征对应的用户与上一帧的人脸特征对应的用户并不是同一个人，即，在当前帧用户已经换人，因此，可确定用户在交互过程中用户存在作弊行为。

本实施例通过对人脸图像的监测实现对用户作弊行为的自动检测，避免了由于作弊行为导致的唤醒权限的滥用，提升了设备辅助系统的安全性；并且，人脸图像的获取可以基于视线方向的检测相同的硬件设备实现，无需额外增加硬件设备，提升了作弊行为的识别效率。

如图4所示，在上述图2所示实施例的基础上，步骤1032可包括如下步骤：

步骤401，获取包括预设终端的终端图像。

可选地，可通过设置在用户所在方向的摄像装置对预设终端进行图像采集，获得终端图像。

步骤402，基于人脸图像和终端图像，确定在交互过程中用户注视预设终端的第一时长。

可选地，通过对人脸图像进行人眼识别，基于人眼识别结果确定视线方向；例如，通过人脸关键点检测，确定人眼关键点，通过人眼关键点确定用户的视线方向，或者，利用分割网络从人脸图像中获得人眼部图像，利用视线方向识网络(经过训练可基于人眼部图像识别到视线方向)对人眼部图像进行视线方向识别，确定用户的视线方向；基于终端图像确定预设终端相对用户的方向，基于视线方向和相对方向确定用户在每帧视频中是否在注视预设终端，累计注视预设终端的帧数，得到时长。

步骤403，确定第一时长与时长阈值之间的关系。

本实施例中，当用户完成与预设终端的交互后，结束对注视时间的累积，得到第一时长，该第一时长包括在第一交互过程中注视时长和第二交互过程中注视时长；基于第一时长可知用户在交互过程中专注学习和/或考试的时长，当第一时长小于时长阈值时，说明用户在交互过程中专注学习和/或考试的时长不足以完成对唤醒权限的获取；只要第一时长大于或等于时长阈值时，才确认用户满足获得唤醒权限的一个条件。

在一些可选的实施例中，在上述图2所示实施例的基础上，步骤1033可包括：

基于第二交互数据确定用户考试通过，且第一时长大于或等于时长阈值，确定用户获得唤醒权限；否则，确定用户未获得唤醒权限。

本实施例结合考试通过和时长阈值共同确定用户是否可以获取唤醒权限，避免了单一条件判断不能保证用户对设备辅助系统的了解程度可以对设备辅助系统进行操作，通过多个条件限制，保证用户完成学习，确保其掌握了设备辅助系统的使用方法，提高了获得唤醒权限的用户对设备辅助系统的了解程度，提升了设备辅助系统及设备的安全性。

可选地，在确定用户未获得唤醒权限之后，还可以包括：

步骤d1，通过第三提示信息引导用户与预设终端进行交互，获得交互在预设终端中得到的交互数据。

可选地，第三提示信息为提示用户重新学习的信息，该第三提示信息的形式与第一、第二提示信息类似，可以为任意形式的提示信息，可以包括但不限于以下形式中的一种或多种的结合：语音提示信息、振动提示信息、图文提示信息等；例如，第三提示信息为内容包括“请重新学习”的语音信息；用户根据该第三提示信息与预设终端进行交互，此时交互可以包括第一交互和/或第二交互。

步骤d2，确定用户注视预设终端的时长累积值与时长阈值之间的关系。

其中，时长累计值为第一时长和第二时长的和值，第二时长为根据第三提示信息进行交互的过程中用户注视预设终端的时间长度。

本实施例中，确定第二时长的过程与上述实施例中确定第一时长的过程类似，在此不再赘述，本实施例实现的是通过将第一时长和第二时长的和值作为用户学习和测试的时长累积值，以该时长累积值与时长阈值之间的关系重新确定用户是否可以获得唤醒权限，即，将用户多次学习和考试的时间进行累计，避免了每次重新计算时长导致的用户大量浪费时间在学习重复的内容上，节省了用户的时间，提升了学习和考试的效率。

步骤d3，基于交互数据和时长累积值与时长阈值之间的关系，确定用户是否获得唤醒权限。

本实施例中，对于通过交互未获得唤醒权限的用户提供了重新学习的机会，未获得唤醒权限可存在以下三种情况：第一种，考试通过，但第一时长小于时长阈值；第二种，第一时长大于或等于时长阈值，但考试未通过；第三种，第一时长小于时长阈值且考试未通过；对应上述三种情况可执行不同的操作，第一种情况下，控制预设终端对学习信息进行重新展示，此时，用户可根据自己的实际学习情况对预设终端进行操作，使学习进度推进到与自己相匹配的程度；对于第二种情况，控制预设终端可直接进入考试信息的展示，用户通过与预设终端执行第二交互，完成考试，或者，可根据用户的控制，还对学习信息进行展示；对于第三种情况，控制预设终端对学习信息和考试信息进行展示，用户通过第一交互进行学习，再通过第二交互实现考试；本实施例通过对不同情况为用户提供不同的重新学习或补考的机会，提升了用户获得唤醒权限的概率。

可选地，在上述步骤104之后，还可以包括：

步骤e1，响应于用户为首次获得唤醒权限，接收用户对设备辅助系统的个性化设置信息。

当用户获得唤醒权限，可通过该用户在注册时被分配的用户识别号查询是否存在预存的个性化设置信息，当该用户的用户识别号不存在对应的个性化设置信息时，说明该用户为首次获得唤醒权限，此时，为了后续方便该用户对设备辅助系统的操作，可将该用户对设备辅助系统的所有操作信息进行记录，作为该用户对设备辅助系统的个性化设置信息。

步骤e2，将个性化设置信息存入用户的用户识别号对应的数据条目中。

本实施例中，为了为不同用户提供个性化服务，在接收用户对设备辅助系统的个性化设置信息之后，将个性化设置信息存入该用户的用户识别号对应的数据条目中，在该用户再次请求唤醒设备辅助系统时，可直接根据用户识别号获得该用户对应的个性化设置信息，避免了用户重复设置的工作，提升了用户体验；其中，用户识别号在用户首次被采集人脸图像后为该人脸图像进行分配，以用户识别号对用户进行表征，并作为数据条目的索引，提升了在后续对用户识别检索时的检索效率，避免了重复大量的执行人脸特征匹配的工作，减小了计算量。

可选地，在上述实施例的基础上，在步骤104之后，还可以包括：

步骤f3，响应于用户为非首次获得唤醒权限，根据用户对应的用户识别号获取个性化设置信息。

当用户为非首次获得唤醒权限，此时，基于上述实施例可知，该用户的用户识别号对应的数据条目中存储有该用户对设备辅助系统的个性化设置信息，可通过该用户对应的用户识别号进行查询获得。

步骤f4，基于个性化设置信息对设备辅助系统进行设置。

本实施例中，通过用户识别号从预存的数据条目中获得个性化设置信息，通过该个性化设置信息对设备辅助系统进行设置，实现了高效的个性化设置，避免了同一用户重复多次对设备辅助系统进行设置，提升了用户体验，另外，存储用户的个性化设置信息的数据条目可以存储在设备端或云端，当存储在设备端时，用户的个性化设置信息仅针对该设备端所对应的设备辅助系统，而当存储在云端时，用户的个性化设置信息可针对所有相同配置的设备辅助系统进行设置；例如，设备为车辆，设备辅助系统为自动导航辅助驾驶系统，通过将用户的个性化信息存入云端，在用户使用任何车辆中设置的自动导航辅助驾驶系统时，都可以通过用户识别号从云端获取到该用户的个性化设置信息来对当前自动导航辅助驾驶系统进行设置。

本公开实施例提供的任一种设备辅助系统的唤醒方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种设备辅助系统的唤醒方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种设备辅助系统的唤醒方法。下文不再赘述。

示例性装置

图5是本公开一示例性实施例提供的设备辅助系统的唤醒装置的结构示意图。如图5所示，本实施例提供的装置包括：

指令接收模块51，用于响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像。

权限识别模块52，用于根据指令接收模块51获取的人脸图像的人脸识别结果，确定用户是否具有设备辅助系统的唤醒权限。

权限获取模块53，用于响应于权限识别模块52确定用户未获得唤醒权限，引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限。

设备唤醒模块54，用于响应于权限获取模块52确定用户获得唤醒权限，唤醒设备辅助系统。

本公开上述实施例提供的一种设备辅助系统的唤醒装置，通过结合唤醒指令和人脸识别确定用户是否具有设备辅助系统的唤醒权限，提高了唤醒权限的识别效率；并且，在识别到未获得唤醒权限时，引导用户与预设终端交互，以获得唤醒权限，提升了设备辅助系统的安全性，避免了没有唤醒权限的用户直接对设备辅助系统进行唤醒导致的危险。

图6是本公开另一示例性实施例提供的设备辅助系统的唤醒装置的结构示意图。如图6所示，本实施例提供的装置中：

权限获取模块53，还用于确定设备辅助系统对应的设备的状态；响应于设备处于静止状态，引导用户与预设终端交互，基于交互数据确定用户是否获得唤醒权限；响应于设备处于非静止状态，提示用户在设备处于静止状态时进行交互。

在一些可选的实施例中，权限获取模块53，包括：

提示交互单元531，用于通过提示信息引导用户与预设终端进行交互，获得交互在预设终端中得到的交互数据；

时长确定单元532，用于确定在交互过程中，用户注视预设终端的第一时长与时长阈值之间的关系；

权限确定单元533，用于基于交互数据和第一时长与时长阈值之间的关系，确定用户是否获得唤醒权限。

可选地，提示交互单元531，具体用于向用户发送提示信息；其中，提示信息包括第一提示信息和第二提示信息；基于第一提示信息引导用户通过第一交互获取预设终端提供的学习信息，得到用户关于学习信息的第一交互数据；基于第二提示信息引导用户通过第二交互对预设终端提供的考试信息进行操作，得到用户关于考试信息操作的第二交互数据。

可选地，提示交互单元531在基于第一提示信息引导用户通过第一交互获取预设终端提供的学习信息时，用于基于第一提示信息引导用户执行第一交互；确定用户在第一交互中的视线方向；响应于在第一交互中视线方向偏离预设方向的时间达到第一预设时长，发出告警信息；响应于在第一交互中视线方向偏离预设方向的时间达到第二预设时长，控制预设终端暂停提供学习信息。

在另一些可选的实施例中，权限获取模块53中在提示交互单元531之后，还包括：

作弊监测单元534，用于在交互过程中监测人脸图像；响应于在交互过程中人脸图像发生变化，确定在交互过程中用户存在作弊行为。

可选地，时长确定单元532，具体用于基于人脸图像和终端图像，确定在交互过程中用户注视预设终端的第一时长；确定第一时长与时长阈值之间的关系。

可选地，权限确定单元533，用于基于第二交互数据确定用户考试通过，且第一时长大于或等于时长阈值，确定用户获得唤醒权限；否则，确定用户未获得唤醒权限。

可选地，权限确定单元533，还用于通过第三提示信息引导用户与预设终端进行交互，获得交互在预设终端中得到的交互数据；确定用户注视预设终端的时长累积值与时长阈值之间的关系；其中，时长累计值为第一时长和第二时长的和值，第二时长为根据第三提示信息进行交互的过程中用户注视预设终端的时间长度；基于交互数据和时长累积值与时长阈值之间的关系，确定用户是否获得唤醒权限。

在一些可选的实施例中，本实施例提供的装置还包括：

个性化设置模块61，用于响应于用户为首次获得唤醒权限，接收用户对设备辅助系统的个性化设置信息；将个性化设置信息存入用户的用户识别号对应的数据条目中。

设置调用模块62，用于响应于用户为非首次获得唤醒权限，根据用户对应的用户识别号获取个性化设置信息；基于个性化设置信息对设备辅助系统进行设置。

示例性电子设备

下面，参考图7来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图7图示了根据本公开实施例的电子设备的框图。

如图7所示，电子设备70包括一个或多个处理器71和存储器72。

处理器71可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备70中的其他组件以执行期望的功能。

存储器72可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器71可以运行所述程序指令，以实现上文所述的本公开的各个实施例的设备辅助系统的唤醒方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备70还可以包括：输入装置73和输出装置74，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置73可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置73可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入装置73还可以包括例如键盘、鼠标等等。

该输出装置74可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置74可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备70中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的设备辅助系统的唤醒方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的设备辅助系统的唤醒方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种设备辅助系统的唤醒方法，包括：

响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像；

根据所述人脸图像的人脸识别结果，确定所述用户是否具有所述设备辅助系统的唤醒权限；

响应于所述用户未获得所述唤醒权限，引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限；

响应于所述用户获得所述唤醒权限，唤醒所述设备辅助系统。

2.根据权利要求1所述的方法，所述引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限之前，还包括：

确定所述设备辅助系统对应的设备的状态；

响应于所述设备处于静止状态，引导所述用户与所述预设终端交互，基于所述交互数据确定所述用户是否获得所述唤醒权限；

响应于所述设备处于非静止状态，提示所述用户在所述设备处于静止状态时进行交互。

3.根据权利要求1所述的方法，其中，所述引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限，包括：

通过提示信息引导所述用户与所述预设终端进行交互，获得所述交互在所述预设终端中得到的所述交互数据；

确定在交互过程中，所述用户注视所述预设终端的第一时长与时长阈值之间的关系；

基于所述交互数据和所述第一时长与所述时长阈值之间的关系，确定所述用户是否获得所述唤醒权限。

4.根据权利要求3所述的方法，其中，所述通过提示信息引导所述用户与所述预设终端进行交互，获得所述预设终端中得到的所述交互数据，包括：

向所述用户发送所述提示信息；其中，所述提示信息包括第一提示信息和第二提示信息；

基于所述第一提示信息引导所述用户通过第一交互获取所述预设终端提供的学习信息，得到所述用户关于学习信息的第一交互数据；

基于所述第二提示信息引导所述用户通过第二交互对所述预设终端提供的考试信息进行操作，得到所述用户关于考试信息操作的第二交互数据。

5.根据权利要求4所述的方法，其中，所述基于所述第一提示信息引导所述用户通过第一交互获取所述预设终端提供的学习信息，包括：

基于所述第一提示信息引导所述用户执行所述第一交互；

确定所述用户在所述第一交互中的视线方向；

响应于在所述第一交互中视线方向偏离预设方向的时间达到第一预设时长，发出告警信息；响应于在所述第一交互中视线方向偏离预设方向的时间达到第二预设时长，控制所述预设终端暂停提供所述学习信息。

6.根据权利要求3所述的方法，所述通过提示信息引导所述用户与所述预设终端进行交互，获得所述交互在所述预设终端中得到的所述交互数据之后，还包括：

在所述交互过程中监测所述人脸图像；

响应于在所述交互过程中所述人脸图像发生变化，确定在所述交互过程中所述用户存在作弊行为。

7.根据权利要求3-6任一所述的方法，其中，所述基于所述交互数据和所述时长与所述时长阈值之间的关系，确定所述用户是否获得所述唤醒权限，包括：

基于所述第二交互数据确定所述用户考试通过，且所述第一时长大于或等于所述时长阈值，确定所述用户获得所述唤醒权限；

否则，确定所述用户未获得所述唤醒权限。

8.根据权利要求7所述的方法，在确定所述用户未获得所述唤醒权限之后，还包括：

通过第三提示信息引导所述用户与所述预设终端进行交互，获得所述交互在所述预设终端中得到的所述交互数据；

确定所述用户注视所述预设终端的时长累积值与时长阈值之间的关系；其中，所述时长累计值为第一时长和第二时长的和值，所述第二时长为根据所述第三提示信息进行交互的过程中所述用户注视所述预设终端的时间长度；

基于所述交互数据和所述时长累积值与所述时长阈值之间的关系，确定所述用户是否获得所述唤醒权限。

9.根据权利要求1-8任一所述的方法，在唤醒所述设备辅助系统之后，还包括：

响应于所述用户为首次获得所述唤醒权限，接收所述用户对所述设备辅助系统的个性化设置信息；

将所述个性化设置信息存入所述用户的用户识别号对应的数据条目中。

10.根据权利要求9所述的方法，在唤醒所述设备辅助系统之后，还包括：

响应于所述用户为非首次获得所述唤醒权限，根据所述用户对应的用户识别号获取个性化设置信息；

基于所述个性化设置信息对所述设备辅助系统进行设置。

11.一种设备辅助系统的唤醒装置，包括：

指令接收模块，用于响应于接收到请求唤醒设备辅助系统的预设唤醒指令，获取用户的人脸图像；

权限识别模块，用于根据所述指令接收模块获取的所述人脸图像的人脸识别结果，确定所述用户是否具有所述设备辅助系统的唤醒权限；

权限获取模块，用于响应于所述权限识别模块确定所述用户未获得所述唤醒权限，引导所述用户与预设终端交互，基于交互数据确定所述用户是否获得所述唤醒权限；

设备唤醒模块，用于响应于所述权限获取模块确定所述用户获得所述唤醒权限，唤醒所述设备辅助系统。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10任一所述的设备辅助系统的唤醒方法。

13.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-10任一所述的设备辅助系统的唤醒方法。

Images