CN104345883A - 一种利用视线凝视操作手机相机的方法 - Google Patents

Abstract

本发明公开了一种利用视线操作手机相机的方法，属于手机设备技术领域。该方法包括以下步骤，调用手机操作系统打开手机相机，同时手机摄像头获取眼球每一帧图像信息并提取所述图像信息；将提取的图像信息进行存储并处理，得到当前帧眼球图像的视点位置；对设定时间内的多帧图像的视点位置及所述视点位置所对应的时间信息存入一数组序列；手机系统进行数组序列分析，若所述数组序列中视点位置相同，则触发拍照模式，对相机进行拍照操作。本发明通过人眼凝视来操作手机相机，解放了用户的双手，避免语音、手势操作所存在的使用环境限制等问题，给用户带来了较大便利。

Description

一种利用视线凝视操作手机相机的方法

技术领域

本发明涉及手机设备技术领域，特别涉及一种利用视线凝视操作手机相机的方法。 

背景技术

由于人类生活水平的提高，各种高科技家电设备也日渐普及，而智能手机也得到了快速发展。 

智能手机通过手势动作、语音等可以实现对手机的操作控制，这两种操作方式虽然给手机用户带来了极大的便利，但是由于其使用环境的局限性，在某些特定环境中，使用也极为不便，比如手势动作操作手机需要用户双手或单手对手机采集端摄像头进行操作，在较为寒冷的环境中，用户通常不愿意进行该操作，而语音操作则在环境比较吵闹、尤其是噪音较大的环境中无法使用，其需要一个相对较为安静的环境。 

当今的手机操作越来越方便，但是不外乎一些传统的方法。而根据研究发现，人眼在通过手机拍照时，上下左右的运动是类似的，是可以有依据，有轨迹，有模型的，因此可以以人眼的运动轨迹实现对手机的操作控制，实现手机交互，这种方式可以极大解放用户的双手，避免语音、手势操作所存在的使用环境限制等问题。 

有鉴于此，本领域技术人员针对上述问题，提供了一种通过眼球跟踪，分析用户事件的手机拍照方法。 

发明内容

为了解决目前手机通过手势动作、语音操作使用环境的局限性，且在某些特定环境中使用不方便的问题，现提供了一种利用视线凝视操作手机相机的方法。具体技术方案如下： 

一种利用视线操作手机相机的方法，其特征在于，包括以下步骤， 

调用手机操作系统打开手机相机，同时手机摄像头获取眼球每一帧图像信息并提取所述图像信息； 

将提取的图像信息进行存储并处理，得到当前帧眼球图像的视点位置； 

对设定时间内的多帧图像的视点位置及所述视点位置所对应的时间信息存入一数组序列； 

手机系统进行数组序列分析，若所述数组序列中视点位置相同，则触发拍照模式，对相机进行拍照操作。 

进一步的，数组序列分析包括以下步骤， 

步骤一，获得第一帧图像的视点为(x₀,y₀), 

其中x₀为视点的横坐标，y₀为视点的纵坐标 

步骤二，获得后续第i帧的视点为(x_i,y_i), 

其中x_i为该帧视点的横坐标，y_i为该帧视点的纵坐标 

步骤三，如果T秒内，前后帧图像的平均偏移δ小于T_δ，则发送点击操作事件。 

其中：T为触发时间，取值范围为1-2秒； 

T_δ为偏移阈值，取值为0.1，晃动的场合取为0.2； 

δ为平均偏移δ＝max(δ₁,δ₂,…δ_i,…δ_n);δ_i＝max(|x_i-x₀|,|y_i-y₀|)其中 

δ_i第i帧与第一帧视点的偏移； 

x₀为第一帧视点的横坐标，y₀为第一帧视点的纵坐标; 

x_i为第i帧视点的横坐标，y_i为第i帧视点的纵坐标; 

n为T秒内的帧数。 

进一步的，还包括在获取图像信息前调用手机操作系统打开摄像头的步骤。 

进一步的，在对所述获取的图像信息进行处理过程包括将获取的彩色图像转换为灰色图像后再进行处理的步骤。 

进一步的，设定时间为2-5秒。 

进一步的，对灰色图像的处理后还包括进行人脸检测的步骤，并获取每帧图像中的人脸的上半部分作为人眼的候选区域，初步确定人眼的位置； 

然后再从候选区域提取眼球虹膜边界； 

在成功提取虹膜边界后，利用hough变换，寻找最匹配边界的圆，以所述圆的圆心作为该帧图像的视点，将视点和对应时间信息存入程序数组序列，进行序列分析对比。 

进一步的，在所述候选区域寻找最匹配边界的圆的圆心包括以下步骤， 

步骤一，检测候选区域内每个点p的梯度，如该点梯度较大，则加入候选点集P 

$P=\left\{p\right|\sqrt{{({\mathrm{gx}}_{p+1}-{\mathrm{gx}}_{p-1})}^2+{({\mathrm{gy}}_{p+1}-{\mathrm{gy}}_{p-1})}^2}>T_p\}$

其中gx_p+1,gx_p-1为该点左右两点的灰度， 

gy_p+1,gy_p-1为该点上下两点的灰度， 

T_p是梯度的阈值； 

步骤二，在点集P中任意选择三点a,b,c,根据a,b,c三点的坐标值求出线段的中点坐标 

$\left\{\begin{array}{c}{x}_1=(x_a+x_b)/2\\ y_1=(y_a+y_b)/2\\ x_2=(x_c+x_b)/2\\ y_2=(y_c+y_b)/2\end{array}\right.$

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤三，通过步骤二中的两点的法线方程如下： 

$\left\{\begin{array}{c}(x-x_1)(x_b-x_a)+(y-y_1)(y_b-y_a)=0\\ (x-x_2)(x_b-x_c)+(y-y_2)(y_b-y_c)=0\end{array}\right.$

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤四，求解上述方程组得到交点(x,y)，则二维数组A(x,y)加1； 

步骤五，取数组A中值最大者对应的(x,y)为圆心。 

与现有技术相比，上述技术方案提供的利用视线操作手机照相的方法具有以下优点：通过人眼凝视来操作手机相机，解放了用户的双手，避免语音、手势操作所存在的使用环境限制等问题，给用户带来了较大便利。 

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1是本发明提供的手机操作相机的方法系统架构图； 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。 

如图1所示，本发明实施例提供了一种手机，包括前置摄像头、视频接受模块、人脸检测模块、视点定位模块和运动分析模块。前置摄像头获取人脸眼部头像并发送至视频接受模块，视频接受模块得到图像数据后经人脸检测模块检测，传输至视点定位模块，视点定位模块定位处理后，由运动分析模块分析，后发送至手机APP（智能手机第三方应用程序），控制操作系统操作。 

如图1所示，本发明提供的用于操作手机的方法，步骤如下， 

步骤101，调用手机操作系统，获取当前手机的相机程序的包名。 

步骤102，判断当前运行的是否为相机应用程序，若是，则继续进行下一步，否则继续等待。 

步骤102，进行打开相机应用程序的操作。 

步骤104，调用手机操作系统API（操作系统留给应用程序的一个调用接口，应用程序通过调用操作系统的API而使操作系统去执行应用程序的命令或动作），具体以图片应用程序为例，并打开前置摄像头，拍摄视频。 

当因为系统原因无法打开前置摄像头，则提示并退出。 

步骤105，调用手机操作系统API，注册接收视频。其中的拍摄视频由操作系统自动完成，对于拍摄的每一帧图像，系统都会发送给已注册的接收程序。 

接收一帧视频，并存储到缓存数组中。图像处理速度与摄像速度并不同步。为了不漏掉每一帧图像，采用较大的缓存数组以接收存储多帧图像。 

将彩色图像转化为灰度图像。只需分析灰度图像即可，可显著减少内存及资源消耗，并明显提高处理速度，对精度无影响。 

步骤106，调用人脸检测器，如检测到人脸，就行步骤107；否则转就行步骤105。人脸检测器基于可靠，稳定的图像处理算法，可从灰度图像中快速找到人脸的位置。 

步骤107，对人脸的上半部分，获取每帧图像中的黑色小块，作为人眼的候选区域，初步确定人眼的位置。由于人眼的瞳孔是黑色的，其灰度值是上半部人脸中最低的。利用该特点，可以初步确定人眼的位置。瞳孔的面积很小，利 用该特性，可将眉毛，头发等大的黑色区域排除。 

对候选区域，提取虹膜边界。若能提取边界，则就行步骤108；否则就行步骤106。虹膜的颜色较深，与眼白区分明显。用图像处理中的边界提取算法来定位虹膜的边界。 

根据hough变换，寻找最匹配边界的圆。如找到，则圆心作为该帧的视点；否则就行步骤11。hough变换是标准的圆形检测算法。虹膜的圆心与瞳孔的圆心相同，因此其圆心可作为视点位置，同时在手机屏幕上生成对应的视点小悬浮窗口。 

在所述候选区域寻找最匹配边界的圆的圆心包括以下步骤， 

步骤一，检测候选区域内每个点p的梯度，如该点梯度较大，则加入候选点集P 

$P=\left\{p\right|\sqrt{{({\mathrm{gx}}_{p+1}-{\mathrm{gx}}_{p-1})}^2+{({\mathrm{gy}}_{p+1}-{\mathrm{gy}}_{p-1})}^2}>T_p\}$

其中gx_p+1,gx_p-1为该点左右两点的灰度， 

gy_p+1,gy_p-1为该点上下两点的灰度， 

T_p是梯度的阈值； 

步骤二，在点集P中任意选择三点a,b,c,根据a,b,c三点的坐标值求出线段的中点坐标 

$\left\{\begin{array}{c}{x}_1=(x_a+x_b)/2\\ y_1=(y_a+y_b)/2\\ x_2=(x_c+x_b)/2\\ y_2=(y_c+y_b)/2\end{array}\right.$

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤三，通过步骤二中的两点的法线方程如下： 

$\left\{\begin{array}{c}{x}_1=(x_a+x_b)/2\\ y_1=(y_a+y_b)/2\\ x_2=(x_c+x_b)/2\\ y_2=(y_c+y_b)/2\end{array}\right.$

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤四，求解上述方程组得到交点(x,y)，则二维数组A(x,y)加1； 

步骤五，取数组A中值最大者对应的(x,y)为圆心。 

步骤108，将视点和对应时间信息存入程序数组序列，同时进行数组序列分析。 

其中，数组序列分析包括以下步骤， 

获得第一帧图像的视点为(x₀,y₀), 

其中x₀为视点的横坐标，y₀为视点的纵坐标 

获得后续第i帧的视点为(x_i,y_i), 

其中x_i为该帧视点的横坐标，y_i为该帧视点的纵坐标 

如果T秒内，前后帧图像的平均偏移δ小于T_δ，则发送点击操作事件。 

其中：T为触发时间，取值范围为1-2秒； 

T_δ为偏移阈值，取值为0.1，晃动的场合取为0.2； 

δ为平均偏移δ＝max(δ₁,δ₂,…δ_i,…δ_n);δ_i＝max(|x_i-x₀|,|y_i-y₀|)其中 

δ_i第i帧与第一帧视点的偏移； 

x₀为第一帧视点的横坐标，y₀为第一帧视点的纵坐标; 

x_i为第i帧视点的横坐标，y_i为第i帧视点的纵坐标; 

n为T秒内的帧数。 

并记录约2-3秒内每一帧的视点，作为当前的视线运动序列。 

接着等待接受下一帧数据，进行步骤109。 

步骤109，若在设定时间数组序列内的每一帧的视点基本一样，则触发凝视事件模式，进行步骤110。否则就行步骤108。合理的凝视触发时间为2-3秒，当设定的2-3秒中，每一帧的视点基本一样，则触发打开相应程序的操作。 

步骤110，凝视事件触发后，对相机应用程序进行拍照操作。 

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (7)

1.一种利用视线凝视操作手机相机的方法，其特征在于，包括以下步骤， 

调用手机操作系统打开手机相机，同时手机摄像头获取眼球每一帧图像信息并提取所述图像信息； 

将提取的图像信息进行存储并处理，得到当前帧眼球图像的视点位置； 

对设定时间内的多帧图像的视点位置及所述视点位置所对应的时间信息存入一数组序列； 

手机系统进行数组序列分析，若所述数组序列中视点位置相同，则触发拍照模式，对相机进行拍照操作。 

2.根据权利要求1所述的利用视线凝视操作手机相机的方法，其特征在于，数组序列分析包括以下步骤， 

步骤一，获得第一帧图像的视点为(x₀,y₀), 

其中x₀为视点的横坐标，y₀为视点的纵坐标 

步骤二，获得后续第i帧的视点为(x_i,y_i), 

其中x_i为该帧视点的横坐标，y_i为该帧视点的纵坐标 

步骤三，如果T秒内，前后帧图像的平均偏移δ小于T_δ，则发送点击操作事件。 

其中：T为触发时间，取值范围为1-2秒； 

T_δ为偏移阈值，取值为0.1，晃动的场合取为0.2； 

δ为平均偏移δ＝max(δ₁,δ₂,…δ_i,…δ_n);δ_i＝max(|x_i-x₀|,|y_i-y₀|)其中 

δ_i第i帧与第一帧视点的偏移； 

x₀为第一帧视点的横坐标，y₀为第一帧视点的纵坐标; 

x_i为第i帧视点的横坐标，y_i为第i帧视点的纵坐标; 

n为T秒内的帧数。 

3.根据权利要求1所述的利用视线凝视操作手机相机的方法，其特征在于，还包括在获取图像信息前调用手机操作系统打开摄像头的步骤。 

4.根据权利要求1所述的利用视线凝视操作手机相机的方法，其特征在于，在对所述获取的图像信息进行处理过程包括将获取的彩色图像转换为灰色图像后再进行处理的步骤。 

5.根据权利要求1所述的利用视线凝视操作手机相机的方法，其特征在于，设定时间为2-5秒。 

6.根据权利要求3所述的利用视线凝视操作手机相机的方法，其特征在于，对灰色图像的处理后还包括进行人脸检测的步骤，并获取每帧图像中的人脸的上半部分作为人眼的候选区域，初步确定人眼的位置； 

然后再从候选区域提取眼球虹膜边界； 

在成功提取虹膜边界后，利用hough变换，寻找最匹配边界的圆，以所述圆的圆心作为该帧图像的视点，将视点和对应时间信息存入程序数组序列，进行序列分析对比。 

7.根据权利要求6所述的利用视线凝视操作手机相机的方法，其特征在于，在所述候选区域寻找最匹配边界的圆的圆心包括以下步骤， 

步骤一，检测候选区域内每个点p的梯度，如该点梯度较大，则加入候选点集P 

其中gx_p+1,gx_p-1为该点左右两点的灰度， 

gy_p+1,gy_p-1为该点上下两点的灰度， 

T_p是梯度的阈值； 

步骤二，在点集P中任意选择三点a,b,c,根据a,b,c三点的坐标值求出线段的中点坐标 

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤三，通过步骤二中的两点的法线方程如下： 

其中(x_a,y_a),(x_b,y_b),(x_c,y_c)是a,b,c三点的坐标， 

(x₁,y₁)是线段ab的中点，(x₂,y₂)是线段cb的中点； 

步骤四，求解上述方程组得到交点(x,y)，则二维数组A(x,y)加1； 

步骤五，取数组A中值最大者对应的(x,y)为圆心。