CN103389798A - 一种操作移动终端的方法及装置 - Google Patents

Abstract

本发明适用于移动终端领域，提供了一种操作移动终端的方法及装置，所述方法包括下述步骤：采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置；采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作；根据所述触发点的位置和所述触发操作在触发点执行触发事件。本发明通过移动终端采集画面，通过画面上的面部特征和面部表情来对用户的移动终端进行操作，使得即使在用户不方便通过双手进行操作时，也可以通过面部来对用户的移动终端进行有效的操作。

Description

一种操作移动终端的方法及装置

技术领域

本发明属于移动终端领域，尤其涉及一种操作移动终端的方法及装置。

背景技术

随着信息化时代的发展，各种终端，如手机、平板、笔记本电脑以及传统电脑在人们的生活中已经非常普及，其操作方法各异，传统电脑、笔记本电脑主要以鼠标和键盘操作为主，该方法在很多时候非常有效，但在当用户双手繁忙的时候，却不能使用鼠标和键盘进行相关操作；对于移动终端，触控技术的使用方便了用户对终端的操作，但也同样面临着当用户双手繁忙时，无法进行有效操作的问题，同时随着移动终端显示屏越来越大，在很多时候，即使用户在有单手可以进行操作的情况下，也不能完全操控到终端的所有区域进行点击，这时就会给很多用户的使用造成不便。

发明内容

本发明实施例的目的在于提供一种操作移动终端的方法及装置，通过移动终端采集画面，通过画面上的面部特征和面部表情来对用户的移动终端进行操作，使得即使在用户不方便通过双手进行操作时，也可以通过面部来对用户的移动终端进行有效的操作。

本发明实施例是这样实现的，一种操作移动终端的方法，所述方法包括下述步骤：

采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置；

采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作；

根据所述触发点的位置和所述触发操作在触发点执行触发事件。

进一步的，所述采集用户面部画面，并根据所述用户面部画面识别出预设面部特征的步骤包括:

采集用户面部画面，并保存所述采集到的用户面部画面；

根据所述用户面部画面识别出预设的面部特征。

进一步的，所述根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置的步骤包括：

根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域；

根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

进一步的，所述采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作的步骤包括：

采集用户面部表情，并判断所述用户面部表情是否为预设面部表情；

当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

本发明实施例的另一目的在于提供一种操作移动终端的装置，所述装置包括：

触发点确定单元，用于采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置；

触发操作确定单元，用于采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作；

触发操作执行单元，用于根据所述触发点的位置和所述触发操作在触发点执行触发事件。

进一步的，所述触发点确定单元包括：

面部画面采集单元，用于采集用户面部画面，并保存所述采集到的用户面部画面；

面部特征识别单元，用于根据所述用户面部画面识别出预设的面部特征。

进一步的，所述触发点确定单元包括：

区域确定单元，用于根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域；

触发点映射单元，用于根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

进一步的，所述触发操作确定单元包括：

表情判断单元，用于采集用户面部表情，并判断所述用户面部表情是否为预设面部表情；

触发操作识别单元，用于当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

本发明实施例通过一种操作移动终端的方法及装置，通过设定的面部特征的来确定在移动终端上的触发点位置，这样用户即可以通过移动移动终端或者面部来移动触发点的位置，之后用户通过面部表情来确定具体的操作动作，实现在用户不方便对移动终端进行操作时或单手无法操作到对应的区域位置时，通过面部来对移动终端进行控制操作。

附图说明

图1是本发明第一实施例提供的一种操作移动终端的方法的实现流程图；

图2是本发明第二实施例提供的一种操作移动终端的方法的实现流程图；

图3是本发明第三实施例提供的一种操作移动终端的装置的结构图；以及

图4是本发明第四实施例提供的一种操作移动终端的装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明第一实施例提供的一种操作移动终端的方法的实现流程，详述如下：

S101，采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置。

采集用户面部画面，通过用户移动终端的摄像头采集画面，优先通过用户移动终端的前置摄像头采集画面，通过摄像头采集画面以后，根据采集到的画面识别出预设面部特征，预设面部特征可以是鼻子，眼睛等具体的面部特征，识别出预设的面部特征以后根据预设面部特征的位置映射得出预设面部特征在移动终端显示屏上的触发点位置，通过预设面部特征在画面中的区域位置确定触发点在显示屏上的出发点位置，同时触发点的位置通过可见的方式在显示屏上进行显示，使得用户可以知道触发点所在的位置。

S102，采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作。

通过摄像头继续采集面部画面，通过面部画面采集得到用户的面部表情，通过识别面部表情来确定在触发点上所进行的具体的触发操作，具体的面部表情与触发操作直接的对应关系用户可以进行自定义，例如定义眨眼表情为双击操作。

S103，根据所述触发点的位置和所述触发操作在触发点执行触发事件。

根据触发点的最终确定的位置和表情所对应的触发操作，在触发点位置进行触发操作，当确定了触发点以后，当检测到有眨眼表情，即在触发点进行双击触发操作。完成通过用户面部特征和对应的面部表情对移动终端进行控制的操作。

本发明实施例通过上述方式，一种操作移动终端的方法，首先采集用户面部画面，根据用户面部的画面确定要在移动终端进行触发操作时的触发点，当需要进行触发操作时，用户通过面部表情来执行对应的触发操作，使得只用根据用户的面部来确定具体的在移动终端显示屏上的操作点和操作动作，完成对移动终端显示屏上的操作控制。用户可以在双手不方便时或单手无法触及到特定的区域时继续完成对相应区域的控制操作，方便用户使用移动终端。

实施例二：

图2示出了本发明第二实施例提供的一种操作移动终端的方法的实现流程，详述如下：

S201，采集用户面部画面，并保存所述采集到的用户面部画面。

用户将面部识别功能打开，打开的方式可以通过摇晃移动终端进行打开，通过移动终端的重力感应器，陀螺仪、加速度传感器等进行检测打开面部识别功能，在打开面部识别功能以后，采集用户面部的画面数据，并将采集到的画面数据保存在存储器中，具体可以保存在移动终端的闪存中。

S202，根据所述用户面部画面识别出预设的面部特征。

根据采集到的用户面部画面的数据识别出画面中的面部特征，其中面部特征为用户事先定义的具体的面部特征，例如用户面部的鼻子，当然用户也可以定义左眼睛、右眼睛、嘴巴等面部特征作为识别的面部特征。

S203，根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域。

当得出预设的面部特征以后，根据得出的预设面部特征锁定面部特征的具体位置，锁定具体面部特征的位置为通过坐标标记的方式标记出预设面部特征的上下左右四个边角的坐标位置，通过锁定得到的面部特征的位置得出面部特征在整个采集到的画面中的区域位置，具体的为将采集到的画面模拟显示在显示屏上，将锁定的面部特征在显示屏上显示的区域作为确定的面部特征位置区域。

S204，根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

根据显示时的位置区域映射得出具体的触发点的位置，例如具体的面部特征为鼻子，通过显示在显示屏上鼻子所在的位置映射得出鼻子的区域位置以后，由于采集图像时，用户距离摄像头的距离有近有远，当太近时，鼻子的区域就会很大，当太远时，鼻子的区域就会很小，而不同的面部特征又有不同的区域形状，此时通过映射的方式使得不论离得远近是多少，形状是什么形状，最终确定的触发点的大小是一样的大小，显示触发点的方式也是一样的，此时即通过位置映射的方式确定最终显示在显示屏上的触发点位置。其中触发点的显示方式可以用类似电脑鼠标在电脑上的显示方式进行显示，目的是使得用户可以在显示屏看到具体的触发点所在的位置，具体的可以通过特定的颜色标示或者特定的形状标示来进行显示，使用户可以直接从显示屏幕上识别出来。

S205，采集用户面部表情，并判断所述用户面部表情是否为预设面部表情。

采集用户的面部表情，采集的方式依然是通过摄像头采集用户面部画面，在采集到的画面中识别出用户的面部表情，并判断识别出的用户做出的面部表情是否符合预设的面部表情，例如用户事先定义了眨眼为双击操作，吐舌头为单机操作，微笑为长按操作，当识别到有事先定义的表情时，用户面部的表情为有效的面部表情。

S206，当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

当识别到用户的面部表情为预设的用户面部表情时，识别出预设的面部表情所对应用户设置的具体操作信息，例如眨眼为双击操作，吐舌头为单机操作，微笑为长按操作。

S207，根据所述触发点的位置和所述触发操作在触发点执行触发事件。

根据面部特征最终确定的触发点所在的位置和识别到的表情所代表的触发操作，在触发点执行触发动作，完成一次触发事件，实现对移动终端触摸屏的触发控制。

本发明实施例通过上述方式，一种操作移动终端的方法，用户通过设定的面部特征的来确定在移动终端上的触发点位置，这样用户即可以通过移动移动终端或者面部来移动触发点的位置，之后用户通过面部表情来确定具体的操作动作，实现在用户不方便对移动终端进行操作时或单手无法操作到对应的区域位置时，通过面部来对移动终端进行控制操作。

实施例三：

图3示出了本发明第三实施例提供的一种操作移动终端的装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

触发点确定单元31，用于采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置。

触发点确定单元用于采集用户面部画面，通过用户移动终端的摄像头采集画面，优先通过用户移动终端的前置摄像头采集画面，通过摄像头采集画面以后，根据采集到的画面识别出预设面部特征，预设面部特征可以是鼻子，眼睛等具体的面部特征，识别出预设的面部特征以后根据预设面部特征的位置映射得出预设面部特征在移动终端显示屏上的触发点位置，通过预设面部特征在画面中的区域位置确定触发点在显示屏上的出发点位置，同时触发点的位置通过可见的方式在显示屏上进行显示，使得用户可以知道触发点所在的位置。

触发操作确定单元32，用于采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作。

触发操作确定单元用于通过摄像头继续采集面部画面，通过面部画面采集得到用户的面部表情，通过识别面部表情来确定在触发点上所进行的具体的触发操作，具体的面部表情与触发操作直接的对应关系用户可以进行自定义，例如定义眨眼表情为双击操作。

触发操作执行单元33，用于根据所述触发点的位置和所述触发操作在触发点执行触发事件。

触发操作执行单元用于根据触发点的最终确定的位置和表情所对应的触发操作，在触发点位置进行触发操作，当确定了触发点以后，当检测到有眨眼表情，即在触发点进行双击触发操作。完成通过用户面部特征和对应的面部表情对移动终端进行控制的操作。

本发明实施例通过上述方式，一种操作移动终端的装置，用户在使用移动终端时，首先通过采集用户面部画面，根据用户面部的画面确定要在移动终端进行触发操作时的触发点，当需要进行触发操作时，用户通过面部表情来执行对应的触发操作，使得只用根据用户的面部来确定具体的在移动终端显示屏上的操作点和操作动作，完成对移动终端显示屏上的操作控制。用户可以在双手不方便时或单手无法触及到特定的区域时继续完成对相应区域的控制操作，方便用户使用移动终端。

实施例四：

图4示出了本发明第四实施例提供的一种操作移动终端的装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

面部画面采集单元41，用于采集用户面部画面，并保存所述采集到的用户面部画面。

面部画面采集单元用于采集用户面部的画面数据，并将采集到的画面数据保存在存储器中，具体可以保存在移动终端的闪存中。

面部特征识别单元42，用于根据所述用户面部画面识别出预设的面部特征。

面部特征识别单元用于根据采集到的用户面部画面的数据识别出画面中的面部特征，其中面部特征为用户事先定义的具体的面部特征，例如用户面部的鼻子，当然用户也可以定义左眼睛、右眼睛、嘴巴等面部特征作为识别的面部特征。

区域确定单元43，用于根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域。

区域确定单元用于当得出预设的面部特征以后，根据得出的预设面部特征锁定面部特征的具体位置，锁定具体面部特征的位置为通过坐标标记的方式标记出预设面部特征的上下左右四个边角的坐标位置，通过锁定得到的面部特征的位置得出面部特征在整个采集到的画面中的区域位置，具体的为将采集到的画面模拟显示在显示屏上，将锁定的面部特征在显示屏上显示的区域作为确定的面部特征位置区域。

触发点映射单元44，用于根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

触发点映射单元用于根据显示时的位置区域映射得出具体的触发点的位置，例如具体的面部特征为鼻子，通过显示在显示屏上鼻子所在的位置映射得出鼻子的区域位置以后，由于采集图像时，用户距离摄像头的距离有近有远，当太近时，鼻子的区域就会很大，当太远时，鼻子的区域就会很小，而不同的面部特征又有不同的区域形状，此时通过映射的方式使得不论离得远近是多少，形状是什么形状，最终确定的触发点的大小是一样的大小，显示触发点的方式也是一样的，此时即通过位置映射的方式确定最终显示在显示屏上的触发点位置。其中触发点的显示方式可以用类似电脑鼠标在电脑上的显示方式进行显示，目的是使得用户可以在显示屏看到具体的触发点所在的位置。

表情判断单元45，用于采集用户面部表情，并判断所述用户面部表情是否为预设面部表情。

表情判断单元用于采集用户的面部表情，采集的方式依然是通过摄像头采集用户面部画面，在采集到的画面中识别出用户的面部表情，并判断识别出的用户做出的面部表情是否符合预设的面部表情，例如用户事先定义了眨眼为双击操作，吐舌头为单机操作，微笑为长按操作，当识别到有事先定义的表情时，用户面部的表情为有效的面部表情。

触发操作识别单元46，用于当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

触发操作识别单元用于当识别到用户的面部表情为预设的用户面部表情时，识别出预设的面部表情所对应用户设置的具体操作信息，例如眨眼为双击操作，吐舌头为单机操作，微笑为长按操作，具体的可以根据用户的喜好进行设置。

触发操作执行单元47，用于根据所述触发点的位置和所述触发操作在触发点执行触发事件。

触发操作执行单元用于根据面部特征最终确定的触发点所在的位置和识别到的表情所代表的触发操作，在触发点执行触发动作，完成一次触发事件，实现对移动终端触摸屏的触发控制。

本发明实施例通过上述方式，一种操作移动终端的装置，用户通过设定的面部特征的来确定在移动终端上的触发点位置，这样用户即可以通过移动移动终端或者面部来移动触发点的位置，之后用户通过面部表情来确定具体的操作动作，实现在用户不方便对移动终端进行操作时或单手无法操作到对应的区域位置时，通过面部来对移动终端进行控制操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种操作移动终端的方法，其特征在于，所述方法包括下述步骤：

采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置；

采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作；

根据所述触发点的位置和所述触发操作在触发点执行触发事件。

2.如权利要求1所述的方法，其特征在于，所述采集用户面部画面，并根据所述用户面部画面识别出预设面部特征的步骤包括:

采集用户面部画面，并保存所述采集到的用户面部画面；

根据所述用户面部画面识别出预设的面部特征。

3.如权利要求1所述的方法，其特征在于，所述根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置的步骤包括：

根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域；

根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

4.如权利要求1所述的方法，其特征在于，所述采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作的步骤包括：

采集用户面部表情，并判断所述用户面部表情是否为预设面部表情；

当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

5.一种操作移动终端的装置，其特征在于，所述装置包括：

触发点确定单元，用于采集用户面部画面，并根据所述用户面部画面识别出预设面部特征，根据所述预设面部特征的位置映射出预设面部特征在移动终端显示屏上的触发点位置；

触发操作确定单元，用于采集用户面部表情，并根据所述用户面部表情识别出用户面部表情所对应的触发操作；

触发操作执行单元，用于根据所述触发点的位置和所述触发操作在触发点执行触发事件。

6.如权利要求5所述的装置，其特征在于，所述触发点确定单元包括：

面部画面采集单元，用于采集用户面部画面，并保存所述采集到的用户面部画面；

面部特征识别单元，用于根据所述用户面部画面识别出预设的面部特征。

7.如权利要求5所述的装置，其特征在于，所述触发点确定单元包括：

区域确定单元，用于根据所述预设面部特征模拟出预设面部特征通过显示屏显示时的位置区域；

触发点映射单元，用于根据所述显示时的位置区域映射得出预设面部特征在移动终端显示屏上的触发点位置。

8.如权利要求5所述的装置，其特征在于，所述触发操作确定单元包括：

表情判断单元，用于采集用户面部表情，并判断所述用户面部表情是否为预设面部表情；

触发操作识别单元，用于当所述用户面部表情为预设面部表情时，识别出所述用户面部表情对应的触发操作。

Images