CN105528080A - 一种对移动终端进行控制的方法及装置 - Google Patents

Abstract

本发明提供一种对移动终端进行控制的方法及装置，该方法包括对使用者的面部进行拍照；对拍照得到的照片进行图像识别处理，获得使用者的面部动作信息，其中，面部动作信息用于指示使用者的面部动作；执行与面部动作信息相对应的操作。该装置包括拍照模块，对使用者的面部进行拍照；面部动作信息获取模块，对拍照得到的照片进行图像识别处理，获得使用者的面部动作信息，其中，面部动作信息用于指示使用者的面部动作；执行模块，执行与面部动作信息相对应的操作。本发明可以让使用者通过面部的动作来实现对移动终端的控制，满足使用者的使用需要，提高使用者的体验感。

Description

一种对移动终端进行控制的方法及装置

技术领域

本发明涉及移动终端的控制领域，具体地，是涉及对移动终端进行控制的方法以及对移动终端进行控制的装置。

背景技术

智能手机、平板电脑等移动终端已经被广泛应用，而对移动终端的控制方式也在发生改变。现有的移动终端大多具有触控屏以及至少一个按键，使用者可以通过触摸触控屏输入控制指令，也可以通过按下按键输入控制指令，从而控制移动终端的操作，如拨打电话、收发短信息、浏览网页、使用各种应用程序等。

然而，如使用者只能通过触摸屏或者按键向移动终端发送控制指令，则不利于使用者的操作。例如，在使用者双手均拿着物品等场合，不方便使用手操作移动终端的情况下，使用者往往难以通过触摸屏或者按键向移动终端发出控制指令。因此，现在有的一部分移动终端使用语音来接收控制指令，这些移动终端设置有语音接收装置以及语音识别单元，通过语音识别单元对接收的语音进行识别，并根据语音识别单元所识别的语音执行相应的控制指令，如拨打电话、收发短信息、运行或关闭应用程序等。

但是，如果使用移动终端的使用者是一位失言者，或者使用者在不方便说话的场合，诸如在会议中、电影院等不适宜进行语音操作的场合，使用者无法通过语音对移动终端进行控制。因此，为了给使用者提供更多的控制方式，需要移动终端提供更多、更灵活的控制方式以满足不同使用者的使用需求。

发明内容

本发明的主要目的是提供一种方便使用者通过面部动作来实现移动终端的控制的方法。

本发明的另一目的是提供一种为使用者提供更灵活的控制方式的移动终端控制装置。

为了实现上述的主要目的，本发明提供的对移动终端进行控制的方法包括对使用者的面部进行拍照；对拍照得到的照片进行图像识别处理，获得使用者的面部动作信息，其中，面部动作信息用于指示使用者的面部动作；执行与面部动作信息相对应的操作。

由上述方案可见，移动终端通过对使用者的面部动作进行识别，并且根据使用者的面部动作执行相应的操作，使用者不需要通过触摸屏或者按键发出控制指令，也不需要发出语音指令即可以向移动终端发出控制指令，从而满足使用者在不同场合下的需求，也满足诸如失言者等特殊人群的使用需求。

一个优选的方案是，将控制移动终端的模式设置为通过面部动作控制移动终端的模式。这样，通过将移动终端设置为特定的模式下可以方便的让移动终端执行与面部动作信息向对应的操作。

进一步的方案是，当面部动作为嘴唇张开为“O”型时，执行与面部动作信息相对应的操作，包括：执行打开文件夹或应用程序的操作。

由于人们说出单词“Open”时嘴唇张开形成“O”型，因此当移动终端判断面部动作为嘴唇张开为“O”型时执行打开文件夹或者打开应用程序的操作，也就是执行打开的操作，方便使用者记住相应的面部动作。

进一步的方案是，若面部动作为以下动作中的一种：抿嘴、咬嘴唇、单眼闭合和双眼闭合；则执行与面部动作信息相对应的操作，包括：执行关闭文件夹或应用程序的操作。

由于人们说出单词“Close”时为抿嘴动作，且咬嘴唇动作与抿嘴动作像近似，单眼闭合或双眼闭合具有闭合的意思，因此当移动终端判断使用者抿嘴、咬嘴唇、单眼闭合或双眼闭合时执行关闭文件夹或者退出应用程序的操作，也可以方便使用者记住相应的面部动作。

进一步的方案是，若面部动作为吐舌头或露牙齿，则执行与面部动作信息相对应的操作，包括执行滑动到上一页或下一页的操作。

由于吐舌头、露牙齿等动作简单实现，并且移动终端对于这些动作的识别度较高，通过判断使用者是否为吐舌头、露牙齿等动作执行最为常见的向下滑动、向上滑动等操作，可以提高移动终端对动作识别的准确性。

为实现上述的另一目的，本发明提供的对移动终端进行控制的装置包括拍照模块，用于对使用者的面部进行拍照；面部动作信息获取模块，用于对拍照模块拍照得到的照片进行图像识别处理，获得使用者的面部动作信息，其中，面部动作信息用于指示使用者的面部动作；执行模块，执行与面部动作信息获取模块获得的面部动作信息相对应的操作。

由上述方案可见，移动终端可以工作在面部动作控制模式下，并且通过摄像设备对使用者的面部进行拍摄后通过对面部动作信息的分析来执行相应的操作，从而实现对移动终端的灵活控制，满足使用者不同场合下的使用需求。

附图说明

图1是本发明对移动终端进行控制的装置实施例的结构框图。

图2是本发明对移动终端进行控制的方法实施例的流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

应用本发明的移动终端可以是智能手机、平板电脑、智能手表等移动终端，移动终端上设有至少一个摄像设备，如摄像头等。如移动终端设有两个摄像设备，优选地，至少一个摄像设备设置在移动终端的正面，也就是设置有显示屏的一面。

本发明的移动终端控制方法是应用在移动终端上并用于控制移动终端执行相应操作的方法，移动终端控制装置是运行在移动终端上的应用程序，用于实现移动终端的控制方法。

参见图1，本发明的移动终端控制装置包括：

拍照模块15，用于对使用者的面部进行拍照；

面部动作信息获取模块11，用于对拍照模块15拍照得到的照片进行图像识别处理，获得所述使用者的面部动作信息，其中，所述面部动作信息用于指示所述使用者的面部动作；以及，

执行模块12用于执行与面部动作信息获取模块11获得的面部动作信息相对应的操作。

在另外一种实施方式中，该装置还包括模式控制模块10。模式控制模块10用于将控制所述移动终端的模式设置为通过面部动作控制所述移动终端的模式。

当面部动作为嘴唇张开为“O”型时，执行模块12具体用于执行打开文件夹或应用程序的操作。

若面部动作为以下动作中的一种：抿嘴、咬嘴唇、单眼闭合和双眼闭合，则执行模块12具体用于执行关闭文件夹或应用程序的操作。

若面部动作为吐舌头或露牙齿，则执行模块12具体用于执行滑动到上一页或下一页的操作。

模式控制模块10用于接收使用者输入的指令，如接收使用者通过触摸屏、按键或者语音等发出的控制指令，并根据接收的指令判断移动终端是否需要进入通过面部动作控制移动终端的模式。移动终端工作在面部动作控制模式下，将根据使用者的面部动作，如嘴唇的动作、眼睛的动作等，并根据面部动作来执行相应的操作，如打开文件夹、启动或退出应用程序等。

面部动作信息获取模块11用于获取使用者的面部动作信息，面部动作信息用于指示使用者的面部动作，面部动作至少包括嘴唇的工作或者眼睛的动作。为了获取使用者的面部动作，通过拍照模块15获得照片，即移动终端使用摄像设备对使用者进行拍摄并获取使用者的面部照片，并且对照片进行图像识别处理，如提取出使用者的面部轮廓，并且分析出使用者面部各个器官的位置以及各个器官的状态，从而判断使用者的面部动作，获得面部动作信息。

执行模块12用于根据面部动作信息执行相应的操作，如执行打开文件夹、启动或退出应用程序等操作。为了确定执行模块12所执行的具体操作，移动终端设置有面部动作信息数据库13，面部动作信息数据库13存储有不同的面部动作信息与执行模块12所执行的具体操作之间的对应关系，例如，面部动作信息数据库13中存储面部动作信息为嘴唇张开为“O”型，其对应的操作为打开文件夹或者打开应用程序，又例如，面部动作信息为抿嘴，其对应的操作为关闭文件夹或者退出应用程序。通过面部动作信息数据库13存储多种面部动作信息与移动终端的操作之间的对应关系，可以让执行模块12根据使用者的面部动作信息确定所需要执行的具体操作。

为了让使用者根据自己的喜好设置不同的面部动作，移动终端控制装置还设置有面部动作信息设置模块14，用于接收使用者自行定义设置的面部动作。使用者进入面部动作设置状态后，通过摄像设备拍摄使用者的面部照片并且对面部动作信息进行识别后，设置该面部动作信息对应的操作。例如，使用者设置面部动作为吐舌头时，其对应的操作为滑动至下一页，或者，使用者设置面部动作为露牙齿时，其对应的操作为滑动至上一页，诸如此类。面部动作信息设置模块14记录使用者自行设定的面部动作与具体操作之间的对应关系，并且将这些面部动作与操作之间的对应关系存储在面部动作信息数据库13中。

当然，面部动作还可以包括咬嘴唇，如咬上嘴唇或者咬下嘴唇等动作，也包括眼睛的动作，如闭上单眼或者闭上双眼等，不同的面部动作信息可以对应不同的操作。此外，也可以设定多个不同的面部动作信息对应于同一个操作。

此外，面部动作信息数据库13可以预先存储多个默认的面部动作信息以及其对应的操作，在使用者未自行设定面部动作前，一旦移动终端进入面部动控制模式后，使用默认的面部动作信息对移动终端进行操作。可见，模式控制模块10、面部动作信息获取模块11、执行模块12、面部动作信息设置模块14均由移动终端的处理器运行相关的程序实现，拍照模块15可以由拍摄设备实现。

下面结合图2介绍移动终端控制方法的流程。移动终端启动后，首先判断是否接收到进入面部动作控制模式的指令，即执行步骤S1。进入面部动作控制模式的指令可以是使用者通过触摸屏、按键或者语音等方式输入的指令，也可以是通过其他方式输入的控制指令。移动终端进入面部动作控制模式后，执行步骤S2，通过摄像设备对使用者的面部进行拍摄，因此移动终端上需要设有至少一个摄像设备，如摄像头。优选地，如移动终端上设有两个分别位于移动终端的正面与背面的摄像设备，则应用位于移动终端正面的摄像装置拍摄使用者的面部。

摄像装置对使用者的面部进行拍摄后，执行步骤S3，对拍摄获得的照片进行图像识别处理，如提取出使用者面部的各个器官，并且分析每个器官的动作，从而获取使用者的具体面部动作，如闭合眼睛、抿嘴、吐舌头等，并由此生成面部动作信息。

然后，执行步骤S4，判断使用者的面部动作信息是否与面部动作信息数据库所存储的至少一个面部动作信息匹配，如有匹配的面部动作信息，则执行步骤S5，执行与该面部动作信息相对应的操作。例如，使用者的面部动作为嘴唇张开为“O”型，则执行打开文件夹或者打开应用程序，如使用者的面部动作为抿嘴，则执行关闭文件夹或者退出应用程序的操作。又例如，使用者的面部动作为吐舌头时，执行滑动至下一页的操作，使用者的面部动作为露牙齿时，执行滑动至上一页的操作。执行相应的操作后，移动终端执行步骤S6。

如步骤S4的判断结果为使用者的面部动作信息与面部动作数据库中任一个面部动作均不匹配，则执行步骤S7，发出提示信息，提示使用者无法识别面部动作信息，并执行步骤S6。

步骤S6中，移动终端判断是否需要退出面部动作控制模式，即判断是否接收到使用者发出的退出面部动作控制模式的指令，退出面部动作控制模式的指令可以是使用者通过触摸屏、按键或者语音输入的控制指令，也可以是通过面部动作发出的控制指令。例如，使用者设定面部动作闭上双眼两秒为退出面部动作控制模式的指令。如移动终端判断使用者发出了退出面部动作控制模式的指令，则退出面部动作控制模式，返回至普通的控制模式，如触摸屏、按键或者语音控制模式。如没有接收到退出面部动作控制模式的指令，则返回执行步骤S2，继续通过摄像设备拍摄使用者的面部，并再次获取使用者的面部动作信息由此执行相应的操作。

当然，移动终端在面部动作控制模式下，也可以接收使用者通过触摸屏、按键或者语音等方式发出的控制指令，多种控制方式可以并存，移动终端分别执行不同方式发出的控制指令对应的操作。

移动终端允许使用者根据自己的喜好执行设定面部动作信息与操作之间的对应关系，因此，使用者在选择进入面部动作控制模式前，可以先自行设置面部动作信息对应的操作，或者在操作过程中根据实际使用需要设置面部动作信息对应的操作。

由于本发明可以让使用者通过面部的动作来实现对移动终端的控制，满足使用者在特定场合下，如会议中、电影院等不方便通过语音方式发出控制指令且不方便通过触摸屏、按键发出控制指令的场合对移动终端的操作。另外，对于特定的人群，如失言者等提供新的移动终端的控制方式，满足使用者的特殊需求。

此外，移动终端使用最为简单、最为容易记忆的面部动作进行操作，如使用嘴唇张开成“O”型表示打开文件夹或者打开应用程序，使用抿嘴表示关闭文件夹或者退出应用程序等，为使用者的使用提供极大的方便，提升使用者的体验感。

并且，移动终端还可以让使用者根据自己的喜好设定不同的面部动作信息及其对应的操作，满足不同使用者的个性化需要，也方便使用者根据自己的习惯、喜好使用移动终端，大大提高移动终端操作的灵活性与容易程度。

本发明实施例还提供一种对移动终端进行控制的方法，包括：

对使用者的面部进行拍照；

对拍照得到的照片进行图像识别处理，获得所述使用者的面部动作信息，其中，所述面部动作信息用于指示所述使用者的面部动作；

执行与所述面部动作信息相对应的操作。

此外，该方法还可以包括：

将控制所述移动终端的模式设置为通过面部动作控制所述移动终端的模式。

其中，当面部动作为嘴唇张开为“O”型时，执行打开文件夹或应用程序的操作。若面部动作为以下动作中的一种：抿嘴、咬嘴唇、单眼闭合和双眼闭合；则执行关闭文件夹或应用程序的操作。若面部动作为吐舌头或露牙齿，则执行滑动到上一页或下一页的操作。

本发明实施例还提供一种终端，该终端包括处理器以及与该处理器相连接的存储器，该处理器用于执行上一实施例所述的方法。

当然，上述的方案只是本发明优选的实施方案，实际应用是还可以有更多的变化，例如，移动终端可以根据使用者的设置，使用位于移动终端背面的摄像设备对使用者的面部进行拍照等，这些改变都不影响本发明的实施，也应该包括在本发明的保护范围内。

Claims (10)

1.一种对移动终端进行控制的方法，其特征在于，包括：

对使用者的面部进行拍照；

对拍照得到的照片进行图像识别处理，获得所述使用者的面部动作信息，其中，所述面部动作信息用于指示所述使用者的面部动作；

执行与所述面部动作信息相对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将控制所述移动终端的模式设置为通过面部动作控制所述移动终端的模式。

3.根据权利要求1或2所述的方法，其特征在于，当所述面部动作为嘴唇张开为“O”型时，所述执行与所述面部动作信息相对应的操作，包括：

执行打开文件夹或应用程序的操作。

4.根据权利要求1至3中任一所述的方法，其特征在于，若所述面部动作为以下动作中的一种：抿嘴、咬嘴唇、单眼闭合和双眼闭合；

则，所述执行与所述面部动作信息相对应的操作，包括：

执行关闭文件夹或应用程序的操作。

5.根据权利要求1至4中任一所述的方法，其特征在于，若所述面部动作为吐舌头或露牙齿，则所述执行与所述面部动作信息相对应的操作，包括：

执行滑动到上一页或下一页的操作。

6.一种对移动终端进行控制的装置，其特征在于，包括：

拍照模块，用于对使用者的面部进行拍照；

面部动作信息获取模块，用于对所述拍照模块拍照得到的照片进行图像识别处理，获得所述使用者的面部动作信息，其中，所述面部动作信息用于指示所述使用者的面部动作；

执行模块，用于执行与所述面部动作信息获取模块获得的面部动作信息相对应的操作。

7.根据权利要求6所述的装置，其特征在于：

所述装置还包括模式控制模块，所述模式控制模块用于将控制所述移动终端的模式设置为通过面部动作控制所述移动终端的模式。

8.根据权利要求6或7所述的装置，其特征在于：

当所述面部动作为嘴唇张开为“O”型时，所述执行模块具体用于执行打开文件夹或应用程序的操作。

9.根据权利要求6至8中任一所述的装置，其特征在于：

若所述面部动作为以下动作中的一种：抿嘴、咬嘴唇、单眼闭合和双眼闭合；

则，所述执行模块具体用于执行关闭文件夹或应用程序的操作。

10.根据权利要求6至9中任一所述的装置，其特征在于，其特征在于：

若所述面部动作为吐舌头或露牙齿，则所述执行模块具体用于执行滑动到上一页或下一页的操作。