CN104348969A - 一种利用视线凝视操作手机的方法 - Google Patents

Abstract

本发明公开了一种利用视线凝视操作手机的方法，属于手机设备技术领域。该加气站，包括以下步骤，手机摄像头获取眼球和头部信息并储存控制芯片中；控制芯片对获取的信息数据进行处理并与预设在所述控制芯片中的数据进行对比分析，发出控制指令；通过控制指令控制手机应用程序进行相应操作。本发明通过人眼凝视来操作手机，解放了用户的双手，避免语音、手势操作所存在的使用环境限制等问题，给用户带来了较大便利。

Description

一种利用视线凝视操作手机的方法

技术领域

本发明涉及手机设备技术领域，特别涉及一种利用视线凝视操作手机的方法。

背景技术

由于人类生活水平的提高，各种高科技家电设备也日渐普及，而智能手机也得到了快速发展。

智能手机通过手势动作、语音等可以实现对手机的操作控制，这两种操作方式虽然给手机用户带来了极大的便利，但是由于其使用环境的局限性，在某些特定环境中，使用也极为不便，比如手势动作操作手机需要用户双手或单手对手机采集端摄像头进行操作，在较为寒冷的环境中，用户通常不愿意进行该操作，而语音操作则在环境比较吵闹、尤其是噪音较大的环境中无法使用，其需要一个相对较为安静的环境。

当今的手机操作越来越方便，但是不外乎一些传统的方法。而根据研究发现，人眼在观看手机屏幕时，上下左右的运动是类似的，是可以有依据，有轨迹，有模型的，因此可以以人眼的运动轨迹实现对手机的操作控制，实现手机交互，这种方式可以极大解放用户的双手，避免语音、手势操作所存在的使用环境限制等问题。

有鉴于此，本领域技术人员针对上述问题，提供了一种具有人眼输入功能的手机操作方法。

发明内容

为了解决目前手机通过手势动作、语音操作使用环境的局限性，且在某些特定环境中使用不方便的问题，现提供了一种利用视线凝视操作手机的方法。具体技术方案如下：

一种利用视线凝视操作手机的方法，包括以下步骤，

调用手机应用程序，同时手机摄像头获取眼球每一帧图像信息并提取所述图像信息；

将提取的图像信息进行存储并处理，得到当前帧眼球图像的视点位置；

对设定时间内的多帧图像的视点位置及改所述视点位置所对应的时间信息存入一数组序列；

手机系统在进行数组序列分析过程中，若特定时间段内所述数组序列中视点位置相同，则触发凝视事件；

进行响应于触发事件的操作。

进一步的，所述数组序列分析包括以下步骤，

步骤1:将摄像头的成像范围设为ROI区域（region of interest，搜索区域）；

步骤2:确定第一帧图像的双眼部分为目标窗口；

步骤3:该窗口区域表达算法为：其中

为代表当前窗口图像的向量

i＝1…n，遍历图像中的每个点

x₀为该区域的中心

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤4:对后面的图像帧，该窗口区域表达算法为其中

为代表后续窗口图像的向量

i＝1…n，遍历图像中的每个点

y为最优目标

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤5:计算步骤3和步骤4中的图像帧的相似度其中

为代表当前窗口图像的向量

为代表后续窗口图像的向量

为相似度，

如加权相似度<0.5，则视点已发生变化，退出该算法。否则转步骤6；

步骤6:如累计不变时间超过指定时间，则触发凝视时间，退出。否则回到步骤5。

进一步的，还包括在获取图像信息前调用手机操作系统打开摄像头的步骤。

进一步的，在对所述获取的图像信息进行处理过程包括将获取的彩色图像转换为灰色图像后再进行处理的步骤。

进一步的，设定时间为2-5秒。

进一步的，凝视事件模式触发后操作包括继续数组序列分析对比，获取视点的位置状态，根据所述不同视点位置状态发出不同的操作命令控制所述应用程序操作。

进一步的，对灰色图像的处理后还包括进行人脸检测的步骤，并获取每帧图像中的上半部分人脸作为人眼的候选区域，初步确定人眼的位置；

然后再候选区域提取眼球虹膜边界；

在成功提取虹膜边界后，利用hough变换，寻找最匹配边界的圆，以所述圆的圆心作为该帧图像的视点，将视点和对应时间信息存入程序数组序列，进行序列分析对比。

与现有技术相比，上述技术方案提供的利用视线凝视操作手机的方法具有以下优点：通过人眼凝视来操作手机，解放了用户的双手，避免语音、手势操作所存在的使用环境限制等问题，给用户带来了较大便利。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的手机操作方法系统架构图；

图2是本发明提供的手机操作方法功能流程图；

图3是本发明提供的手机操作方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供了一种手机，包括前置摄像头、视频接受模块、人脸检测模块、视点定位模块和运动分析模块。前置摄像头获取人脸眼部头像并发送至视频接受模块，视频接受模块得到图像数据后经人脸检测模块检测，传输至视点定位模块，视点定位模块定位处理后，由运动分析模块分析，后发送至手机APP（智能手机第三方应用程序），控制操作系统操作。

如图1至图3所示，本发明提供的利用视线凝视操作手机的方法，步骤如下，

步骤101，调用手机操作系统API（操作系统留给应用程序的一个调用接口，应用程序通过调用操作系统的API而使操作系统去执行应用程序的命令或动作），具体以图片应用程序为例，并打开前置摄像头，拍摄视频。

当因为系统原因无法打开前置摄像头，则提示并退出。

步骤102，图片程序打开，注册接收视频。其中的拍摄视频由操作系统自动完成，对于拍摄的每一帧图像，系统都会发送给已注册的接收程序。

接收一帧视频，并存储到缓存数组中。图像处理速度与摄像速度并不同步。为了不漏掉每一帧图像，采用较大的缓存数组以接收存储多帧图像。

将存储的彩色图像转化为灰度图像，这样在图片处理中只需分析灰度图像即可，可显著减少内存及资源消耗，并明显提高处理速度，对精度无影响。

步骤103，调用人脸检测器，如检测到人脸，就进行步骤104；否则转就进行步骤102。人脸检测器基于可靠，稳定的图像处理算法，可从灰度图像中快速找到人脸的位置。

人脸检测的具体过程包括，对人脸图片的上半部分进一步检测，获取每帧图像中的黑色小块，作为人眼的候选区域，初步确定人眼的位置。由于人眼的瞳孔是黑色的，其灰度值是上半部人脸中最低的。利用该特点，可以初步确定人眼的位置。瞳孔的面积很小，利用该特性，可将眉毛，头发等大的黑色区域排除。

对候选区域，提取虹膜边界。若能提取边界，则就行步骤8；否则就行步骤10。虹膜的颜色较深，与眼白区分明显。用图像处理中的边界提取算法来定位虹膜的边界。

步骤104，根据hough变换，寻找最匹配边界的圆。如找到，则圆心作为该帧的视点；否则返回运行步骤103。hough变换是标准的圆形检测算法。虹膜的圆心与瞳孔的圆心相同，因此其圆心可作为视点位置。

步骤105，将视点对应时间信息存入程序数组序列，进行步骤106，进行数组序列分析。记录约2-5秒内每一帧的视点，作为当前的视线运动序列。

数组序列分析包括以下步骤，

步骤1:将摄像头的成像范围设为ROI区域（region of interest，搜索区域）；

步骤2:确定第一帧图像的双眼部分为目标窗口；

步骤3:该窗口区域表达算法为：其中

为代表当前窗口图像的向量

i＝1…n，遍历图像中的每个点

x₀为该区域的中心

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤4:对后面的图像帧，该窗口区域表达算法为其中

为代表后续窗口图像的向量

i＝1…n，遍历图像中的每个点

y为最优目标

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤5:计算步骤3和步骤4中的图像帧的相似度其中

为代表当前窗口图像的向量

为代表后续窗口图像的向量

为相似度，

如加权相似度<0.5，则视点已发生变化，退出该算法。否则转步骤6；

等待接受下一帧数据。

步骤106，若在设定时间内的每一帧的视点基本一样，则触发凝视事件模式，进行步骤107。否则返回运行步骤105。合理的凝视触发时间为2-5秒。根据具体应用场合，可适当减少或延长。如视频播放APP，可设置触发事件为3-5秒。

步骤107，将凝视事件的触发时间，持续时间等信息发送给手机APP。通过手机操作系统的标准函数，可将这些消息发送出去。手机APP接收到该事件，进行控制相应操作。

如图2所示，为本发明的一个具体实施例，首先启动眼球跟踪获得图像，然后对每帧图像视频提取视点，若视点位置不变，具体的视点位置持续2秒不变，则弹出菜单按钮。如图3所示，如果视点持续5秒不变则返回手机主界面。

本发明中的凝视事件，表示通过预先设定的参数，达到一定的要求时，系统出现的操作提示，本发明中，发明人通过对一定期限内的手机用户的视线移动来确定是否要对手机的控制与操作，一般用户在浏览图片或阅读文章或使用相应的手机软件时，视线位置一般是随机变化的，所以，发明人利用这一特点，将用户打算控制的指令通过视线位置聚焦在特定的位置并且持续一定的时间，作为用户想要控制或操作手机的意思表示，这个特定的时间不能太短，太短了会导致控制混乱，太长了，影响用户的控制体验，这个特定的时间为2-5秒，当用户视线持续2秒以上聚焦在一个位置时，系统会触发运行一个控制事件。这个控制事件可以是暂停控制事件，也可以通过视线进行下一步控制操作。

触发凝视时间并控制图片应用程序仅为本发明的一个具体实施例，也可以用于手机任何一个应用程序，本发明在此不做限定。对于任何一个具体的应用程序，可以具体设置视点在不同位置状态的不同操作命令，并不限于本发明的具体控制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种利用视线凝视操作手机的方法，其特征在于，包括以下步骤，

调用手机应用程序，同时手机摄像头获取眼球每一帧图像信息并提取所述图像信息；

将提取的图像信息进行存储并处理，得到当前帧眼球图像的视点位置；

对设定时间内的多帧图像的视点位置及该所述视点位置所对应的的时间信息存入一数组序列；

手机系统在进行数组序列分析过程中，若特定时间段内所述数组序列中视点位置相同，则触发凝视事件；

进行响应于触发事件的操作。

2.根据权利要求1所述的利用视线凝视操作手机的方法，其特征在于，所述数组序列分析包括以下步骤，

步骤1:将摄像头的成像范围设为搜索区域；

步骤2:确定第一帧图像的双眼部分为目标窗口；

步骤3:该窗口区域表达算法为：其中

为代表当前窗口图像的向量

i＝1…n，遍历图像中的每个点

x₀为该区域的中心

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤4:对后面的图像帧，该窗口区域表达算法为其中

为代表后续窗口图像的向量

i＝1…n，遍历图像中的每个点

y为最优目标

C是归一化常数，k为加权系数

x^s表示网格点的坐标

h为平滑解析度；

步骤5:计算步骤3和步骤4中的图像帧的相似度其中

为代表当前窗口图像的向量

为代表后续窗口图像的向量

为相似度，

如加权相似度<0.5，则视点已发生变化，退出该算法。否则转步骤6；

步骤6:如累计不变时间超过指定时间，则触发凝视时间，退出。否则回到步骤5。

3.根据权利要求1所述的利用视线凝视操作手机的方法，其特征在于，还包括在获取图像信息前调用手机操作系统打开摄像头的步骤。

4.根据权利要求1所述的利用视线凝视操作手机的方法，其特征在于，在对所述获取的图像信息进行处理过程包括将获取的彩色图像转换为灰色图像后再进行处理的步骤。

5.根据权利要求1所述的利用视线凝视操作手机的方法，其特征在于，特定时间为2-5秒。

6.根据权利要求1所述的利用视线凝视操作手机的方法，其特征在于，凝视事件模式触发后操作包括继续数组序列分析对比，获取视点的位置状态，根据所述不同视点位置状态发出不同的操作命令控制所述应用程序操作。

7.根据权利要求4所述的利用视线凝视操作手机的方法，其特征在于，对灰色图像的处理后还包括进行人脸检测的步骤，并获取每帧图像中的上半部分人脸作为人眼的候选区域，初步确定人眼的位置；

然后再候选区域提取眼球虹膜边界；

在成功提取虹膜边界后，利用hough变换，寻找最匹配边界的圆，以所述圆的圆心作为该帧图像的视点，将视点和对应时间信息存入程序数组序列，进行序列分析对比。