CN106775360B - 一种电子设备的控制方法、系统及电子设备 - Google Patents

Abstract

本发明提供了一种电子设备的控制方法，包括以下步骤：获取面部图像，对面部图像进行分析，提取出第一面部表情特征；将第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与第一面部表情特征相匹配的第二面部表情特征；基于第二面部表情特征，调取与第二面部表情特征相对应的控制标签；基于控制标签生成控制目标电子设备的控制指令。本发明还提供了一种电子设备的控制系统和电子设备。

Description

一种电子设备的控制方法、系统及电子设备

技术领域

本发明涉及电子设备技术领域，更具体地说，涉及一种电子设备的控制方法、系统及电子设备。

背景技术

随着手机的不断发展，除了利用按键和触屏来操作手机外，现在还可利用语音和手势对手机发出操作指令。虽然手机的操作方式越来越简单，但无论何种操作方式，都还是需要用户刻意的做出相应的操作，手机才能做出相应的反应，智能化不足。

发明内容

有鉴于此，本发明的目的在于提供一种电子设备的控制方法，能够识别用户的面部表情，通过用户的面部表情对电子设备进行控制，使电子设备更加人性化、智能化。

为实现上述目的，本发明提供如下技术方案：一种电子设备的控制方法，包括以下步骤：

获取面部图像；

对所述面部图像进行分析，提取出第一面部表情特征；

将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

优选地，对所述面部图像进行分析，提取出第一面部表情特征包括：

基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

提取每个子图像区域对应的第三面部表情特征。

优选地，将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征包括：

将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征。

优选地，所述基于第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签包括：

分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；

根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出所述第二面部表情特征的总分；

基于所述总分确定与所述第二面部表情特征相对应的控制标签。

优选地，所述预设分区规则包括：按面部肌肉线条和五官进行分区的规则。

一种电子设备的控制系统，包括：

获取模块，用于获取面部图像；

分析模块，用于对所述面部图像进行分析，提取出第一面部表情特征；

匹配模块，用于将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

调取模块，用于基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

生成模块，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

优选地，所述分析模块包括：

划分单元，用于基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

提取单元，用于提取每个子图像区域对应的第三面部表情特征。

优选地，所述匹配模块包括：

比对单元，用于将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征。

优选地，所述调取模块包括：

评分单元，用于分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；

计算单元，用于根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出所述第二面部表情特征的总分；

确定单元，用于基于所述总分确定与所述第二面部表情特征相对应的控制标签。

优选地，所述预设分区规则包括：按面部肌肉线条和五官进行分区的规则。

一种电子设备，包括：控制系统；其中：

所述控制系统包括：

获取模块，用于获取面部图像；

分析模块，用于对所述面部图像进行分析，提取出第一面部表情特征；

匹配模块，用于将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

调取模块，用于基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

生成模块，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

从上述技术方案可以看出，本发明提供了一种电子设备的控制方法，首先获取面部图像，然后对面部图像进行分析，提取出第一面部表情特征，将第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与第一面部表情特征相匹配的第二面部表情特征，基于第二面部表情特征，调取与第二面部表情特征相对应的控制标签，最后基于控制标签生成控制目标电子设备的控制指令。本发明能够通过用户的面部表情对电子设备进行控制，使电子设备更加人性化、智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明公开的一种电子设备的控制方法实施例一的方法流程图；

图2为本发明公开的一种电子设备的控制方法实施例二的方法流程图；

图3为本发明公开的一种电子设备的控制系统实施例一的结构示意图；

图4为本发明公开的一种电子设备的控制系统实施例二的结构示意图；

图5为本发明公开的一种电子设备实施例一的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，为本发明公开的一种电子设备的控制方法实施例1的方法流程图，该方法应用于电子设备，所述电子设备可以为手机、平板电脑、笔记本电脑等智能终端。该方法可以包含以下步骤：

S101、获取面部图像；

当需要通过用户的面部表情对电子设备进行控制时，启动待控制电子设备的面部表情控制功能。启动待控制电子设备的面部表情控制功能后，获取用户在使用目标电子设备即待控制电子设备时的面部图像。

需要说明的是，在获取用户在使用目标电子设备时的面部图像时，可以通过目标电子设备自带的摄像头对用户的面部进行拍摄，将拍摄到的用户的面部图像发送至系统。在获取用户在使用目标电子设备时的面部图像时，还可以采用其他图像采集装置对用户的面部进行图像采集，图像采集装置将采集到的用户的面部图像通过有线或无线的方式发送至目标电子设备的控制系统。

需要说明的是，在上述对用户的面部进行图像采集时，可以以一定的周期频率进行采集。例如，周期T可在10～20秒范围内取值。因为用户在观看电子设备上的内容时，情绪会立即因看到的内容产生变化，从而不经意的产生相对应的表情，但是经过一段时间对所看到内容的接收和理解后，有很大可能用户对所看到的内容所产生情绪会发生变化，从而导致表情的变化。若周期间隔太短，则可能会错误的预测用户的意图，进行不必要的动作；若周期间隔太长，又会不能及时满足用户的需求，因此在对用户的面部进行图像采集时，设置合理的采集周期，能够更加准确的对电子设备进行控制，进而可较好的满足用户的需求，提升用户体验。

S102、对面部图像进行分析，提取出第一面部表情特征；

当获取到面部图像后，对获取到的面部图像进行处理分析，提取出面部图像中能够表征用户情绪变化的面部表情特征。例如，提取出用户微笑或难过时对应的面部表情特征，如嘴角上扬或嘴角向下弯曲等面部表情特征。

S103、将第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与第一面部表情特征相匹配的第二面部表情特征；

当基于面部图像提取出的第一面部表情特征后，将提取到的表征用户情绪的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，其中，预设表情识别模型库中预先存储有若干个能够表征情绪的表情特征。需要说明的是，预设表情识别模型库中存储的表情特征可根据实际需求进行增添、删除或更改。在将用户的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配的过程中，即将提取到的用户的面部表情特征与预设表情识别模型库中存储的表情特征进行一一的对比，通过对比当用户的面部表情特征与预设表情识别模型库中存储的其中一种表情特征的相似度大于某一设定阈值时，例如相似度大于80％时，将预设表情识别模型库中的该面部表情特征作为与用户的面部表情特征相匹配的表情特征。

S104、基于第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

在所述预设表情识别模型库中存储的每一种表情特征均有控制标签与其对应，所述的控制标签为用于对电子设备进行控制的标签。需要说明的是，预设表情识别模型库中存储的每一种表情特征可以有一个或一个以上的控制标签与其对应。

当在预设表情识别模型库中确定出与用户的面部表情特征相匹配的表情特征后，进一步调取与该表情特征相对应的控制标签。

S105、基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

最后，根据调取到的控制标签生成相应的控制指令，基于生成的控制指令对目标电子设备进行相应的控制操作。当调取到多个控制标签时，针对每一个控制标签生成相应的控制指令，并基于生成的不同控制指令对目标电子设备进行多个操作。例如，当提取到的表情特征为表征用户高兴的情绪时，可以对应打开音乐播放器的控制标签，以及在音乐播放器中选择愉悦歌曲的控制标签。

综上所述，在上述实施例中，首先获取用户在使用目标电子设备时的面部图像，然后对面部图像进行分析，提取出用户的面部表情特征，将用户的面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与用户的面部表情特征相匹配的表情特征，基于提取的表情特征，调取与表情特征相对应的控制标签，最后基于控制标签生成控制目标电子设备的控制指令。本发明能够通过用户的面部表情对电子设备进行控制，使电子设备更加人性化、智能化。

如图2所示，为本发明公开的一种电子设备的控制方法实施例2的方法流程图，该方法应用于电子设备，所述电子设备可以为手机、平板电脑、笔记本电脑等智能终端。该方法可以包含以下步骤：

S201、获取面部图像；

当需要通过用户的面部表情对电子设备进行控制时，启动待控制电子设备的面部表情控制功能。启动待控制电子设备的面部表情控制功能后，获取用户在使用目标电子设备即待控制电子设备时的面部图像。

需要说明的是，在获取用户在使用目标电子设备时的面部图像时，可以通过目标电子设备自带的摄像头对用户的面部进行拍摄，将拍摄到的用户的面部图像发送至系统。在获取用户在使用目标电子设备时的面部图像时，还可以采用其他图像采集装置对用户的面部进行图像采集，图像采集装置将采集到的用户的面部图像通过有线或无线的方式发送至目标电子设备的控制系统。

需要说明的是，在上述对用户的面部进行图像采集时，可以以一定的周期频率进行采集。例如，周期T可在10～20秒范围内取值。因为用户在观看电子设备上的内容时，情绪会立即因看到的内容产生变化，从而不经意的产生相对应的表情，但是经过一段时间对所看到内容的接收和理解后，有很大可能用户对所看到的内容所产生情绪会发生变化，从而导致表情的变化。若周期间隔太短，则可能会错误的预测用户的意图，进行不必要的动作；若周期间隔太长，又会不能及时满足用户的需求，因此在对用户的面部进行图像采集时，设置合理的采集周期，能够更加准确的对电子设备进行控制，进而可较好的满足用户的需求，提升用户体验。

S202、基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

当获取到用户在使用目标电子设备时的面部图像后，根据预设分区规则将面部图像划分为若干个子图像区域。具体的，预设分区规则可以为将面部图像按照肌肉线条和五官进行分区的规则。例如，可将面部图像分为眼区、眉区、额区、鼻区、唇区、颊区、眶下区、腮区、颏区和颌区。根据所分区域的不同提取不同的表情特征，以唇区为例，人在不满时往往嘴角向下弯曲，人在喜悦时嘴角往往向上弯曲，因此嘴角的弯曲方向即为唇区需要记录的表情特征之一。

S203、提取每个子图像区域对应的第三面部表情特征；

基于预设分区规则将面部图像划分为若干个子图像区域后，分别提取出每个子图像区域对应的第三面部表情特征。

S204、将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征；

当提取出每个子图像区域对应的用户的表情特征后，分别将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行匹配，其中，预设表情识别模型库中预先存储有若干个能够表征情绪的表情特征。需要说明的是，预设表情识别模型库中存储的表情特征可根据实际需求进行增添、删除或更改。在将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行匹配的过程中，即将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行一一的对比，通过对比当子图像区域对应的用户的表情特征与预设表情识别模型库中存储的其中一种表情特征的相似度大于某一设定阈值时，例如相似度大于80％时，将预设表情识别模型库中的该面部表情特征作为该子图像区域对应的用户的子表情特征。

S205、分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；

然后分别对每个子表情特征进行评分，例如，按评分范围从0～10分算，若用户只是轻微皱眉，此时眉区表情特征仅为双眉外侧末端向下弯曲，眉区评分为2分；若用户眉头紧锁，眉区表情特征为双眉外侧末端向下弯曲，且双眉内侧向上拱起，眉区评分为6分，且用户撇嘴，嘴角向下弯，嘴唇变薄，唇区评分5分。

S206、根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出第二面部表情特征的总分；

如上述两种情况，用户的表情虽然都确定为不满。但一种情况总分为2分，另一种情况总分为11分。需要注意的是，此处两种情况均为举例，并不是只对眉区和唇区评分，为了便于理解，其他未提到的区域的表情特征的评分均为0分。

S207、基于所述总分确定与第二面部表情特征相对应的控制标签；

根据计算得到的总分选择与总分对应的控制标签，即根据不同的分数选择对电子设备进行不同控制方式的控制标签。以上述例子为例，在用户表情为不满时，若表情总分为2分，则选择的控制标签的功能是使电子设备仍运行当前程序，但切换其他显示内容；若表情总分为11分，则选择的控制标签的功能是使电子设备停止运行当前程序。

S208、基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

最后，根据调取到的控制标签生成相应的控制指令，基于生成的控制指令对目标电子设备进行相应的控制操作。当调取到多个控制标签时，针对每一个控制标签生成相应的控制指令，并基于生成的不同控制指令对目标电子设备进行多个操作。例如，当提取到的表情特征为表征用户高兴的情绪时，可以对应打开音乐播放器的控制标签，以及在音乐播放器中选择愉悦歌曲的控制标签。

综上所述，在上述实施例的基础上，采用将用户的面部图像分区域对比进而确认用户表情的方法。分区域后，因单个区域内的表情特征远少于整个面部图像内的表情特征，因此对比难度远低于未分区域前，降低了本方法对硬件要求，扩大了本方法的适用范围。

此外，采用分区域方式，表情识别模型库内只需要存储每个区域的不同表情识别模型，而不需要存放每个区域的不同表情识别模型组合起来的整个面部的表情识别模型，极大地减少了需要存储的表情识别模型的数量，节约了存储空间。

如图3所示，为本发明公开的一种电子设备的控制系统实施例1的结构示意图，该系统应用于电子设备，所述电子设备可以为手机、平板电脑、笔记本电脑等智能终端。该系统可以包含：

获取模块301，用于获取面部图像；

当需要通过用户的面部表情对电子设备进行控制时，启动待控制电子设备的面部表情控制功能。启动待控制电子设备的面部表情控制功能后，获取用户在使用目标电子设备即待控制电子设备时的面部图像。

需要说明的是，在获取用户在使用目标电子设备时的面部图像时，可以通过目标电子设备自带的摄像头对用户的面部进行拍摄，将拍摄到的用户的面部图像发送至系统。在获取用户在使用目标电子设备时的面部图像时，还可以采用其他图像采集装置对用户的面部进行图像采集，图像采集装置将采集到的用户的面部图像通过有线或无线的方式发送至目标电子设备的控制系统。

需要说明的是，在上述对用户的面部进行图像采集时，可以以一定的周期频率进行采集。例如，周期T可在10～20秒范围内取值。因为用户在观看电子设备上的内容时，情绪会立即因看到的内容产生变化，从而不经意的产生相对应的表情，但是经过一段时间对所看到内容的接收和理解后，有很大可能用户对所看到的内容所产生情绪会发生变化，从而导致表情的变化。若周期间隔太短，则可能会错误的预测用户的意图，进行不必要的动作；若周期间隔太长，又会不能及时满足用户的需求，因此在对用户的面部进行图像采集时，设置合理的采集周期，能够更加准确的对电子设备进行控制，进而可较好的满足用户的需求，提升用户体验。

分析模块302，用于对面部图像进行分析，提取出第一面部表情特征；

当获取到目标电子设备的面部图像后，对获取到的用户的面部图像进行处理分析，提取出面部图像中能够表征用户情绪变化的面部表情特征。例如，提取出用户微笑或难过时对应的面部表情特征，如嘴角上扬或嘴角向下弯曲等面部表情特征。

匹配模块303，用于将第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与第一面部表情特征相匹配的第二面部表情特征；

当基于面部图像提取出的第一面部表情特征后，将提取到的表征用户情绪的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，其中，预设表情识别模型库中预先存储有若干个能够表征情绪的表情特征。需要说明的是，预设表情识别模型库中存储的表情特征可根据实际需求进行增添、删除或更改。在将用户的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配的过程中，即将提取到的用户的面部表情特征与预设表情识别模型库中存储的表情特征进行一一的对比，通过对比当用户的面部表情特征与预设表情识别模型库中存储的其中一种表情特征的相似度大于某一设定阈值时，例如相似度大于80％时，将预设表情识别模型库中的该面部表情特征作为与用户的面部表情特征相匹配的表情特征。

调取模块304，用于基于第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

在所述预设表情识别模型库中存储的每一种表情特征均有控制标签与其对应，所述的控制标签为用于对电子设备进行控制的标签。需要说明的是，预设表情识别模型库中存储的每一种表情特征可以有一个或一个以上的控制标签与其对应。

当在预设表情识别模型库中确定出与用户的面部表情特征相匹配的表情特征后，进一步调取与该表情特征相对应的控制标签。

生成模块305，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

最后，根据调取到的控制标签生成相应的控制指令，基于生成的控制指令对目标电子设备进行相应的控制操作。当调取到多个控制标签时，针对每一个控制标签生成相应的控制指令，并基于生成的不同控制指令对目标电子设备进行多个操作。例如，当提取到的表情特征为表征用户高兴的情绪时，可以对应打开音乐播放器的控制标签，以及在音乐播放器中选择愉悦歌曲的控制标签。

综上所述，在上述实施例中，首先获取用户在使用目标电子设备时的面部图像，然后对面部图像进行分析，提取出用户的面部表情特征，将用户的面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与用户的面部表情特征相匹配的表情特征，基于提取的表情特征，调取与表情特征相对应的控制标签，最后基于控制标签生成控制目标电子设备的控制指令。本发明能够通过用户的面部表情对电子设备进行控制，使电子设备更加人性化、智能化。

如图4所示，为本发明公开的一种电子设备的控制系统实施例2的结构示意图，该系统应用于电子设备，所述电子设备可以为手机、平板电脑、笔记本电脑等智能终端。该系统可以包含：

获取模块401，用于获取面部图像；

当需要通过用户的面部表情对电子设备进行控制时，启动待控制电子设备的面部表情控制功能。启动待控制电子设备的面部表情控制功能后，获取用户在使用目标电子设备即待控制电子设备时的面部图像。

需要说明的是，在获取用户在使用目标电子设备时的面部图像时，可以通过目标电子设备自带的摄像头对用户的面部进行拍摄，将拍摄到的用户的面部图像发送至系统。在获取用户在使用目标电子设备时的面部图像时，还可以采用其他图像采集装置对用户的面部进行图像采集，图像采集装置将采集到的用户的面部图像通过有线或无线的方式发送至目标电子设备的控制系统。

需要说明的是，在上述对用户的面部进行图像采集时，可以以一定的周期频率进行采集。例如，周期T可在10～20秒范围内取值。因为用户在观看电子设备上的内容时，情绪会立即因看到的内容产生变化，从而不经意的产生相对应的表情，但是经过一段时间对所看到内容的接收和理解后，有很大可能用户对所看到的内容所产生情绪会发生变化，从而导致表情的变化。若周期间隔太短，则可能会错误的预测用户的意图，进行不必要的动作；若周期间隔太长，又会不能及时满足用户的需求，因此在对用户的面部进行图像采集时，设置合理的采集周期，能够更加准确的对电子设备进行控制，进而可较好的满足用户的需求，提升用户体验。

划分单元402，用于基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

当获取到用户在使用目标电子设备时的面部图像后，根据预设分区规则将面部图像划分为若干个子图像区域。具体的，预设分区规则可以为将面部图像按照肌肉线条和五官进行分区的规则。例如，可将面部图像分为眼区、眉区、额区、鼻区、唇区、颊区、眶下区、腮区、颏区和颌区。根据所分区域的不同提取不同的表情特征，以唇区为例，人在不满时往往嘴角向下弯曲，人在喜悦时嘴角往往向上弯曲，因此嘴角的弯曲方向即为唇区需要记录的表情特征之一。

提取单元403，用于提取每个子图像区域对应的第三面部表情特征；

基于预设分区规则将面部图像划分为若干个子图像区域后，分别提取出每个子图像区域对应的第三面部表情特征。

比对单元404，用于将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征；

当提取出每个子图像区域对应的用户的表情特征后，分别将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行匹配，其中，预设表情识别模型库中预先存储有若干个能够表征情绪的表情特征。需要说明的是，预设表情识别模型库中存储的表情特征可根据实际需求进行增添、删除或更改。在将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行匹配的过程中，即将每个子图像区域对应的用户的表情特征与预设表情识别模型库中存储的表情特征进行一一的对比，通过对比当子图像区域对应的用户的表情特征与预设表情识别模型库中存储的其中一种表情特征的相似度大于某一设定阈值时，例如相似度大于80％时，将预设表情识别模型库中的该面部表情特征作为该子图像区域对应的用户的子表情特征。

评分单元405，用于分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；

然后分别对每个子表情特征进行评分，例如，按评分范围从0～10分算，若用户只是轻微皱眉，此时眉区表情特征仅为双眉外侧末端向下弯曲，眉区评分为2分；若用户眉头紧锁，眉区表情特征为双眉外侧末端向下弯曲，且双眉内侧向上拱起，眉区评分为6分，且用户撇嘴，嘴角向下弯，嘴唇变薄，唇区评分5分。

计算单元406，用于根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出第二面部表情特征的总分；

如上述两种情况，用户的表情虽然都确定为不满。但一种情况总分为2分，另一种情况总分为11分。需要注意的是，此处两种情况均为举例，并不是只对眉区和唇区评分，为了便于理解，其他未提到的区域的表情特征的评分均为0分。

确定单元407，用于基于所述总分确定与第二面部表情特征相对应的控制标签；

根据计算得到的总分选择与总分对应的控制标签，即根据不同的分数选择对电子设备进行不同控制方式的控制标签。以上述例子为例，在用户表情为不满时，若表情总分为2分，则选择的控制标签的功能是使电子设备仍运行当前程序，但切换其他显示内容；若表情总分为11分，则选择的控制标签的功能是使电子设备停止运行当前程序。

生成模块408，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

最后，根据调取到的控制标签生成相应的控制指令，基于生成的控制指令对目标电子设备进行相应的控制操作。当调取到多个控制标签时，针对每一个控制标签生成相应的控制指令，并基于生成的不同控制指令对目标电子设备进行多个操作。例如，当提取到的表情特征为表征用户高兴的情绪时，可以对应打开音乐播放器的控制标签，以及在音乐播放器中选择愉悦歌曲的控制标签。

综上所述，在上述实施例的基础上，采用将用户的面部图像分区域对比进而确认用户表情的方法。分区域后，因单个区域内的表情特征远少于整个面部图像内的表情特征，因此对比难度远低于未分区域前，降低了本方法对硬件要求，扩大了本方法的适用范围。

此外，采用分区域方式，表情识别模型库内只需要存储每个区域的不同表情识别模型，而不需要存放每个区域的不同表情识别模型组合起来的整个面部的表情识别模型，极大地减少了需要存储的表情识别模型的数量，节约了存储空间。

如图5所示，为本发明公开的一种电子设备实施例1的结构示意图，所述电子设备可以为手机、平板电脑、笔记本电脑等智能终端。所述电子设备包括控制系统51；

其中，所述控制系统51包括：

获取模块511，用于获取面部图像；

当需要通过用户的面部表情对电子设备进行控制时，启动待控制电子设备的面部表情控制功能。启动待控制电子设备的面部表情控制功能后，获取用户在使用目标电子设备即待控制电子设备时的面部图像。

需要说明的是，在获取用户在使用目标电子设备时的面部图像时，可以通过目标电子设备自带的摄像头对用户的面部进行拍摄，将拍摄到的用户的面部图像发送至系统。在获取用户在使用目标电子设备时的面部图像时，还可以采用其他图像采集装置对用户的面部进行图像采集，图像采集装置将采集到的用户的面部图像通过有线或无线的方式发送至目标电子设备的控制系统。

需要说明的是，在上述对用户的面部进行图像采集时，可以以一定的周期频率进行采集。例如，周期T可在10～20秒范围内取值。因为用户在观看电子设备上的内容时，情绪会立即因看到的内容产生变化，从而不经意的产生相对应的表情，但是经过一段时间对所看到内容的接收和理解后，有很大可能用户对所看到的内容所产生情绪会发生变化，从而导致表情的变化。若周期间隔太短，则可能会错误的预测用户的意图，进行不必要的动作；若周期间隔太长，又会不能及时满足用户的需求，因此在对用户的面部进行图像采集时，设置合理的采集周期，能够更加准确的对电子设备进行控制，进而可较好的满足用户的需求，提升用户体验。

分析模块512，用于对面部图像进行分析，提取出第一面部表情特征；

当获取到目标电子设备的面部图像后，对获取到的用户的面部图像进行处理分析，提取出面部图像中能够表征用户情绪变化的面部表情特征。例如，提取出用户微笑或难过时对应的面部表情特征，如嘴角上扬或嘴角向下弯曲等面部表情特征。

匹配模块513，用于将第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与第一面部表情特征相匹配的第二面部表情特征；

当基于面部图像提取出的第一面部表情特征后，将提取到的表征用户情绪的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，其中，预设表情识别模型库中预先存储有若干个能够表征情绪的表情特征。需要说明的是，预设表情识别模型库中存储的表情特征可根据实际需求进行增添、删除或更改。在将用户的第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配的过程中，即将提取到的用户的面部表情特征与预设表情识别模型库中存储的表情特征进行一一的对比，通过对比当用户的面部表情特征与预设表情识别模型库中存储的其中一种表情特征的相似度大于某一设定阈值时，例如相似度大于80％时，将预设表情识别模型库中的该面部表情特征作为与用户的面部表情特征相匹配的表情特征。

调取模块514，用于基于第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

在所述预设表情识别模型库中存储的每一种表情特征均有控制标签与其对应，所述的控制标签为用于对电子设备进行控制的标签。需要说明的是，预设表情识别模型库中存储的每一种表情特征可以有一个或一个以上的控制标签与其对应。

当在预设表情识别模型库中确定出与用户的面部表情特征相匹配的表情特征后，进一步调取与该表情特征相对应的控制标签。

生成模块515，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备。

最后，根据调取到的控制标签生成相应的控制指令，基于生成的控制指令对目标电子设备进行相应的控制操作。当调取到多个控制标签时，针对每一个控制标签生成相应的控制指令，并基于生成的不同控制指令对目标电子设备进行多个操作。例如，当提取到的表情特征为表征用户高兴的情绪时，可以对应打开音乐播放器的控制标签，以及在音乐播放器中选择愉悦歌曲的控制标签。

综上所述，在上述实施例中，首先获取用户在使用目标电子设备时的面部图像，然后对面部图像进行分析，提取出用户的面部表情特征，将用户的面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在预设表情识别模型库中提取出与用户的面部表情特征相匹配的表情特征，基于提取的表情特征，调取与表情特征相对应的控制标签，最后基于控制标签生成控制目标电子设备的控制指令。本发明能够通过用户的面部表情对电子设备进行控制，使电子设备更加人性化、智能化。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种电子设备的控制方法，其特征在于，包括以下步骤：

获取面部图像；

对所述面部图像进行分析，提取出第一面部表情特征；

将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备；

所述第一面部表情特征包括：所述面部图像的多个子区域中每个子区域所对应的第三面部表情特征；所述与所述第一面部表情特征相匹配的第二面部表情特征包括：所述预设表情识别模型库中所存储的与各个所述第三面部表情特征中的每个第三面部表情特征相匹配的表情特征；

则所述基于第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签包括：分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出所述第二面部表情特征的总分；基于所述总分确定与所述第二面部表情特征相对应的控制标签。

2.根据权利要求 1所述的方法，其特征在于，对所述面部图像进行分析，提取出第一面部表情特征包括：

基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

提取每个子图像区域对应的第三面部表情特征。

3.根据权利要求2所述的方法，其特征在于，将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征包括：

将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征。

4.根据权利要求3所述的方法，其特征在于，所述预设分区规则包括：按面部肌肉线条和五官进行分区的规则。

5.一种电子设备的控制系统，其特征在于，包括：

获取模块，用于获取面部图像；

分析模块，用于对所述面部图像进行分析，提取出第一面部表情特征；

匹配模块，用于将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

调取模块，用于基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

生成模块，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备；

所述第一面部表情特征包括：所述面部图像的多个子区域中每个子区域所对应的第三面部表情特征；所述与所述第一面部表情特征相匹配的第二面部表情特征包括：所述预设表情识别模型库中所存储的与各个所述第三面部表情特征中的每个第三面部表情特征相匹配的表情特征；

则所述调取模块包括：评分单元，用于分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；计算单元，用于根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出所述第二面部表情特征的总分；确定单元，用于基于所述总分确定与所述第二面部表情特征相对应的控制标签。

6.根据权利要求5所述的系统，其特征在于，所述分析模块包括：

划分单元，用于基于预设分区规则将所述面部图像划分为两个或两个以上的子图像区域；

提取单元，用于提取每个子图像区域对应的第三面部表情特征。

7.根据权利要求6所述的系统，其特征在于，所述匹配模块包括：

比对单元，用于将所述每个子图像区域对应的第三面部表情特征，分别与预设表情识别模型库中存储的表情特征进行比对，在所述预设表情识别模型库中提取出与每个子图像区域对应的第三面部表情特征相匹配的子表情特征，其中所述子表情特征的集合构成与所述第一面部表情特征相匹配的表情特征。

8.根据权利要求7所述的系统，其特征在于，所述预设分区规则包括：按面部肌肉线条和五官进行分区的规则。

9.一种电子设备，其特征在于，包括：控制系统；其中：

所述控制系统包括：

获取模块，用于获取面部图像；

分析模块，用于对所述面部图像进行分析，提取出第一面部表情特征；

匹配模块，用于将所述第一面部表情特征与预设表情识别模型库中存储的表情特征进行匹配，在所述预设表情识别模型库中提取出与所述第一面部表情特征相匹配的第二面部表情特征；

调取模块，用于基于所述第二面部表情特征，调取与所述第二面部表情特征相对应的控制标签；

生成模块，用于基于所述控制标签生成控制目标电子设备的控制指令，所述目标电子设备为待控制电子设备；

所述第一面部表情特征包括：所述面部图像的多个子区域中每个子区域所对应的第三面部表情特征；所述与所述第一面部表情特征相匹配的第二面部表情特征包括：预设表情识别模型库中所存储的与各个所述第三面部表情特征中的每个第三面部表情特征相匹配的表情特征；

则所述调取模块包括：评分单元，用于分别对与每个子图像区域对应的第三面部表情特征相匹配的子表情特征进行评分；计算单元，用于根据所述与每个子图像区域对应的第三面部表情特征相匹配的子表情特征的评分，计算出所述第二面部表情特征的总分；确定单元，用于基于所述总分确定与所述第二面部表情特征相对应的控制标签。