CN102830797A - 一种基于视线判断的人机交互方法及系统 - Google Patents

Abstract

本发明涉及人机交互技术领域，提供了一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括：通过摄像头获取人脸图像；对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；跟踪瞳孔中心位置，根据对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。本发明还提供了一种基于视线判断的人机交互系统。本发明通过摄像头实现在电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。

Description

一种基于视线判断的人机交互方法及系统

技术领域

本发明涉及人机交互技术领域，特别是涉及一种基于视线判断的人机交互方法及系统。

背景技术

随着手机、平板电脑等各类移动终端设备的普及，人机交互方式也越来越丰富。目前较常用的人机交互方式主要有两种：一种是按键型，通过按键来发出命令；另一种是触摸型，触摸屏幕采用电容屏或电阻屏，用户通过手指触摸屏幕发出命令。这两种方式都是基于人手的人机交互方式，需要手的介入，当双手被占用时，就无法完成人与设备的交互，所以无法适用于某些特殊场合，以及一些残障人士。

随着智能信息技术的发展，出现了多种非接触式的操作方式，主要有语音控制和体感控制两种。基于语音的操作方式，需要用户用声音信号来控制，操作不太方便，且容易受到环境噪音干扰。基于体感的操作方式中，有基于眼睛视线进行屏幕定位的人机交互方法，现有的眼睛定位方法要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机或摄像头，或者需要红外光源，或者需要头戴式设备如穿戴式头盔、眼镜框等固定在头部或眼部。这些方法在一定程度上都增加了成本，也不适合在普通手机终端上实现。而且，长时间使用红外光源会对人眼有伤害，如果是将额外设备固定在头部或眼部也会给人体造成负担。

发明内容

本发明通过普通摄像头对视线进行跟踪，从而实现对电子设备的操作，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置。

本发明采用如下技术方案：

一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

计算图像坐标与电子设备屏幕坐标系之间的对应关系；

跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；

检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

优选地，所述对所述图像进行人眼区域检测的步骤具体包括：采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

优选地，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤具体包括：

定义眼睛的等照度线；

计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；

计算等照度曲线图中满足等照度线曲率的圆的中心。

优选地，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括：

计算等照度线的中心的位移矢量；

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；

将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；

计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

优选地，所述方法还包括：采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

优选地，所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括：

在电子设备屏幕上设定至少4个标定点，将屏幕上所设定的标定点的坐标保存在目标矩阵中；

依次记录人眼注视所述标定点时图像中瞳孔中心位置坐标，将所述瞳孔中心位置坐标保存在设定矩阵中；

计算设定矩阵与目标矩阵之间坐标的对应关系。

优选地，所述标定点设有4个，所述4个标定点分别为电子设备屏幕的4个角点。

优选地，所述跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标的步骤具体包括：

以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；

将所述窗口的大小设为人眼区域的一半；

进行迭代计算；

在等照度线中心图上聚合到投票密度最大的区域，选取距离聚合窗口最近的中心作为当前图像的瞳孔中心；

计算两只眼睛瞳孔中心的中间位置坐标，根据所述对应关系计算与中间位置坐标对应的电子设备屏幕坐标。

优选地，所述检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

采用分类器区分眼睛的状态；

检测眨眼动作或闭眼动作；

在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

优选地，所述采用分类器区分眼睛的状态的步骤具体包括：采用分类器判断眼睛的凝视持续时间是否在100至200毫秒范围内，在所述时间范围内时判定眼睛的状态为凝视；

所述在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：在眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

优选地，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛眨眼和连续眨眼次数；

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛眨眼时，根据预设的连续眨眼次数和控制命令的对照关系，发送相应的控制命令给电子设备。

或者，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛闭眼和闭眼时间；

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛闭眼时，根据预设的闭眼时间和控制命令的对照关系，发送相应的控制命令给电子设备。

优选地，前述方法中的摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。

本发明还提供了一种基于视线判断的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，所述电子设备具有屏幕，所述系统采用前述的方法进行人机交互。

本发明公开的基于视线判断的人机交互方法及系统，通过普通摄像头和眼睛检测、视线分析技术，能实现在电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。

附图说明

图1为本发明实施例1基于视线判断的人机交互方法流程图；

图2为眼睛的等照度曲线图；

图3为本发明实施例1中瞳孔中心定位流程图；

图4为本发明实施例1中系统标定流程图；

图5为本发明实施例1中系统标定的一详细流程图；

图6为本发明实施例1中系统标定示意图1；

图7为本发明实施例1中系统标定示意图2；

图8为本发明实施例1中视线追踪流程图；

图9为本发明实施例1中控制命令发送流程图；

图10为本发明实施例1中控制命令发送的一详细流程图；

图11为本发明实施例2基于视线判断的人机交互方法中控制命令发送的一详细流程图；

图12为用户操作本发明实施例3基于视线判断的人机交互系统示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

计算图像坐标与电子设备屏幕坐标系之间的对应关系；

跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；

检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

本发明实施例还提供了一种基于视线判断的人机交互系统，实现用户对电子设备的操作，该系统包括电子设备和摄像头，该电子设备具有屏幕，该系统采用前述的方法进行人机交互。

本发明实施例所使用的摄像头可以是电子设备自带的前置摄像头，电子设备可以是手机、平板电脑等设备，当然，也可以是PC机、智能电视等具有视频处理能力和摄像头设备的终端。

本发明实施例通过电子设备内置的普通摄像头和眼睛检测、视线分析技术，能实现在普通电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。

下面以手机为例对本发明进行详细阐述。下文中所涉及到的坐标均为二维坐标。

实施例1：

请参阅图1所示，为本发明一种基于视线判断的人机交互方法流程图。该方法包括下述步骤：

步骤S1：获取帧图像。

该步骤可通过手机自带的前置摄像头实时获取人脸图像。

步骤S2：人眼区域检测。

考虑到在使用手机时，人眼与摄像头之间的距离一般保持在10到30厘米之间，在这个范围内人脸会占据整个图像区域，所以本方法无需人脸检测的步骤，直接进行人眼区域检测即可。人眼区域的初定位不要求十分精确，因此可采用的方法有很多，如直方图投影法、Haar(哈尔)检测法、帧差法、模板匹配法等方法都可用来进行眼睛的首次定位。考虑到手机的运算能力有限，本实施例采用高效的直方图投影法对图像进行人眼区域的检测。

步骤S3：瞳孔中心定位。

该步骤根据检测到的人眼区域对瞳孔中心进行定位，属于瞳孔的精确定位。本实施例结合眼睛的几何特征与光学特征来估计瞳孔中心，对于旋转、亮度和头部姿态变化具有很好的鲁棒性。眼睛的光学特征是指眼睛具有亮度对称的性质，眼睛的几何特征是指虹膜与瞳孔的形状类似圆，并且沿异色边缘方向亮度近似为常量，因此可以用等照度线来代表这些特征。等照度线可以理解为等亮度的轮廓线，由多条等照度线组成等照度曲线图。如图2所示为眼睛的等照度曲线图。由于等照度线之间不会相交，所以可以用一幅图像的等照度线来表示原图像(即步骤S1中获取的帧图像)。另外，等照度线对旋转和线性光照条件改变具有独立性。

现有技术中的一些眼睛定位方法要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机，或者需要红外光源。不论是分辨率高的摄像机还是红外光源，无疑都增加了成本，也不适合在普通手机终端上实现，且长时间使用红外光源对人眼有伤害。本发明实施例的人眼区域检测和瞳孔中心定位方法，只需要普通分辨率的图像即可，因此可直接利用手机前置摄像头，容易实现且成本低。

步骤S4：系统标定。

该步骤计算图像坐标与手机屏幕坐标系之间的对应关系，将眼睛的凝视坐标转换为手机屏幕坐标系。该标定过程以手机屏幕上的N个点作为标定点(N＞＝4)，记录标定点在手机屏幕上的坐标。当眼睛分别注视各个标定点时，依次记录瞳孔中心在图像中的坐标，根据瞳孔中心在图像中的坐标和标定点在手机屏幕上的坐标之间的对应关系，可计算出图像坐标与手机屏幕坐标系的对应关系转换系数coeffsX和coeffsY。

步骤S5：视线追踪。

该步骤跟踪图像中瞳孔中心位置，根据对应关系计算人眼在手机屏幕上的视点坐标。用户操作手机时头部会有自然的运动，因而需要实时的跟踪瞳孔中心位置。进行跟踪时，可采用运算速度较快的MeanShift跟踪方法，找出距离MeanShift窗口中心最近的瞳孔中心候选点作为当前帧图像的瞳孔中心位置。求出两只眼睛瞳孔中心的中间位置坐标p(x，y)，其中x＝(left_px+right_px)/2，y＝(left_py+right_py)/2，再根据步骤S4得到的转换系数coeffsX和coeffsY，求得p(x，y)对应的手机屏幕坐标s(x，y)，也即得到人眼视线所凝视的屏幕视点。

在另一实施例中，还可以先根据转换系数coeffsX和coeffsY先分别计算两只眼睛瞳孔中心位置坐标对应的两个手机屏幕坐标，再求出这两个手机屏幕坐标的中间位置。

步骤S6：控制命令发送。

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给手机。该步骤需要区分正常眨眼与发出控制命令，一般正常眨眼时是两只眼睛同时眨眼，因此可将发出控制命令的眨眼动作设定为单只眼睛眨眼。此外，还可以对连续眨眼次数、眨眼眼睛类别(左眼还是右眼)和控制命令的对照关系进行预设，比如左眼连续眨眼2次为单击命令、左眼连续眨眼3次为长按命令、右眼连续眨眼2次为右键命令、右眼连续眨眼3次为双击命令等等，判断控制命令的种类时根据该预设的对照关系进行选择即可。可根据眨眼眼睛的坐标判断眨眼眼睛类别是左眼还是右眼。

本实施例结合视线位置和眨眼动作，先由视线确定手机屏幕热区，然后由眨眼动作触发控制命令，手机接收到控制命令后执行相应的操作。本实施例基于手机前置普通摄像头就能实现，使用户对手机的操作简单方便，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，不会给人体造成额外负担。

请参阅图3所示，为步骤S3瞳孔中心定位流程图。该瞳孔中心定位方法包括下述步骤：

步骤S31：定义等照度线。

该步骤用于定义眼睛的等照度线。本实施例中按照公式(a)定义等照度线(isophote)：

L(v，w(v))＝constant；                                      (a)

其中：

L_x，L_y是亮度图像分别沿x，y方向的一阶导数。因此，w方向上的导数即为梯度，v方向的导数等于0。

步骤S32：计算等照度线曲率，得到等照度曲线图。

该步骤用于计算眼睛的等照度线曲率，得到眼睛的等照度曲线图。按照下述步骤计算等照度线曲率：

公式(a)式对v求导可得公式(b)：

L_v+L_ww′＝0； $w^{\′}=-\frac{L_v}{L_w}---\left(b\right)$

公式(b)对v方向求导可得公式(c)：

L_vv+2L_vww′+L_www′²+L_ww″＝0                                (c)

曲率k＝w″；

将公式(c)代入上式，可得：曲率

变换到笛卡尔坐标系统中得到公式(d)：

$k=-\frac{L_{\mathrm{vv}}}{L_w}=-\frac{{L_y}^2{L}_{\mathrm{xx}}-2L_x{L}_{\mathrm{xy}}{L}_y+{L_x}^2{L}_{\mathrm{yy}}}{{(L_x^2+L_y^2)}^{3/2}}---\left(d\right)$

计算出眼睛的等照度线曲率后，得到的等照度曲线图如图2所示。

步骤S33：计算等照度线的中心。

该步骤计算等照度曲线图中满足等照度线曲率的圆的中心。

首先，计算等照度线的中心(isophote center，简称IC)的位移矢量。对图像中的每个像素，我们想要得到的是满足等照度线曲率的圆的中心，曲率的倒数即是等照度线的半径，再结合方向信息就可以得到等照度线的中心的位移矢量{D_x，D_y}，如公式(e)所示：

$\{D_x,D_y\}=\frac{\{L_x,L_y\}}{L_w}(-\frac{L_w}{L_{\mathrm{vv}}})=-\frac{\{L_x,L_y\}}{L_{\mathrm{vv}}}=\frac{\{L_x,L_y\}(L_x^2+L_y^2)}{L_y^2{L}_{\mathrm{xx}}-2L_x{L}_{\mathrm{xy}}{L}_y+L_x^2{L}_{\mathrm{yy}}}---\left(e\right)$

该位移矢量{D_x，D_y}指向估计的中心位置。

其次，形成等照度线中心图。可采用投票法将位移矢量映射到累加器中形成等照度线中心图。

然后，形成单一的中心估计。由于每个位移矢量都粗略估计了中心位置，将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计。

再然后，选取特定等照度线。每个矢量还有特定的权重(curvedness)，权重的计算公式如公式(f)所示：

$\mathrm{curvedness}=\sqrt{L_{\mathrm{xx}}^2+2L_{\mathrm{xy}}^2+L_{\mathrm{yy}}^2}---\left(f\right)$

根据公式(f)计算每个位移矢量的权重。在平坦的表面、边界上权重值较小，在边界处的响应值最大，因此若要得到目标边界只需考虑权重值较大部分对应的等照度线(权重与等照度线密度存在直接关系：等照度线越密集的地方权重的响应值越大)。选取权重值较大的位移矢量对应的等照度线作为特定等照度线。

最后，选取瞳孔中心。通过投票方法得到的等照度线中心图在等照度线中心附近有较强的响应区，在候选的响应中强度最大的点认为是瞳孔中心。因此，选取眼睛中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

现有技术中基于普通摄像头的眼睛检测技术对光照条件改变、旋转或尺度变化等鲁棒性差，很难兼顾以上各个方面，缺乏实用性。针对基于视线判断的人机交互方法中尺度问题的解决方法，现有技术中有采用搜索尺度因子的方法，但是这种方法耗费的资源多，且需要不停地调整参数。本算法将所有的眼睛区域都缩放到指定大小的窗口中，可以在不同的尺度下使用而不需要费力的搜索尺度参数。为增加本方法的鲁棒性和准确性，本方法利用下采样由通过摄像头获取的原图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，然后将等照度线中心图金字塔中的等照度线中心图缩放到预先指定的大小，再线性相加得到最终的等照度线中心图，图中最大峰值即为具有尺度不变性的等照度线中心，也即具有尺度不变性的瞳孔中心。因此，本发明实施例提供的方法定位准确，对旋转、线性亮度改变和尺度变化均具有较好的鲁棒性，能够适应环境的变化。

请参阅图4所示，为步骤S4系统标定流程图。该系统标定方法包括下述步骤：

步骤S41：设定标定点，保存标定点坐标。

在手机屏幕上设定至少4个标定点，将屏幕上所设定的标定点的坐标保存在目标矩阵中。

步骤S42：记录瞳孔中心位置坐标并保存。

当眼睛分别注视各个标定点时，依次记录图像中瞳孔中心位置坐标，将瞳孔中心位置坐标保存在设定矩阵中。

步骤S43：计算坐标对应关系。

该步骤可以采用最小二乘法计算图像坐标与手机屏幕坐标系的对应关系转换系数coeffsX和coeffsY。

请参阅图5所示，为系统标定的一详细流程图。该系统标定方法的详细步骤包括：

步骤S401：设定N个标定点，保存屏幕上的标定点坐标到target[N，3]矩阵(即目标矩阵)。

其中，N＞＝4。如图6所示，本实施例中N＝4，将手机屏幕22的4个角点A、B、C、D设定为标定点，将A、B、C、D这4点在屏幕上的坐标保存到target[N，3]矩阵。

步骤S402：n＝0。

下述步骤中，从步骤S403到步骤S405是循环结构，从第一个标定点开始依次记录人眼注视该标定点时瞳孔中心在图像中的位置坐标，直到完成所有标定点的注视和瞳孔中心位置坐标记录，总共需要执行N次循环。如图7所示，本实施例中从A→B→C→D完成4个标定点的标定。

步骤S403：记录瞳孔中心位置坐标(x_n，y_n)。

步骤S404：生成row[6，1]矩阵；n++。

步骤S405：判断N是否大于n。若是，则表明尚未执行完N次循环，也即没有完成对所有标定点的注视和瞳孔中心位置坐标记录，此时返回执行步骤S403。若否，则表明已经执行了N次循环，也即完成了对所有标定点的注视和瞳孔中心位置坐标记录，此时执行步骤S406。

步骤S406：由N个row[6，1]矩阵生成design[N，6](即设定矩阵)。design[N，6]如下式(g)所示：

步骤S407：计算design[N，6]与target[N，3]之间x和y的对应关系转换系数coeffsX，coeffsY。

该步骤可通过最小二乘法进行计算，得出图像坐标与手机屏幕坐标系之间的对应关系。design[N，6]与target[N，3]之间的关系参见公式(h)：

design_N×6(coeffsX_6×1 coeffsY_6×1 0)_6×3＝targ et_N×3        (h)

本实施例采用的四点标定方法，通过眼睛短时间凝视手机屏幕的四个角点坐标，通过矩阵变换确定双眼在图像中的坐标与手机屏幕坐标系的对应关系。

请参阅图8所示，为步骤S5视线追踪流程图。该视线追踪方法包括下述步骤：

步骤S51：初始化搜索窗口。

视线跟踪的本质就是对眼睛进行跟踪，也即对瞳孔中心的跟踪。本实施例采用运算速度较快的MeanShift算法进行瞳孔中心的跟踪。由步骤S33投票得到的等照度线中心图在眼睛瞳孔中心点处投票的密度较大，因此将MeanShift算法直接作用在等照度线中心图上，以前一帧图像中得到的瞳孔中心(也即步骤S3得到的瞳孔中心)作为中心初始化搜索窗口。

步骤S52：设定窗口大小。

将窗口的大小设为人眼区域的一半，即

步骤S53：迭代计算。

该步骤采用MeanShift算法进行多次迭代计算。

步骤S54：选取瞳孔中心。

在等照度线中心图上聚合到投票密度最大的区域，选取距离聚合窗口最近的等照度线的中心作为当前图像的瞳孔中心。

步骤S55：计算眼睛中间坐标位置。

跟踪到两只眼睛的瞳孔中心后，求出两只眼睛瞳孔中心的中间位置坐标p(x，y)，其中x＝(left_px+right_px)/2，y＝(left_py+right_py)/2，再根据步骤S4得到的转换系数coeffsX和coeffsY，求得p(x，y)对应的手机屏幕坐标s(x，y)，也即得到人眼视线所凝视的屏幕视点。

在另一实施例中，步骤S55还可以这样实现，先根据转换系数coeffsX和coeffsY先分别计算两只眼睛瞳孔中心位置坐标p_left(x，y)和p_right(x，y)对应的两个手机屏幕坐标s_left(x，y)和s_right(x，y)，再求出这两个手机屏幕坐标的中间位置s(x，y)，其中x＝(left_sx+right_sx)/2，y＝(left_sy+right_sy)/2。

请参阅图9所示，为步骤S6控制命令发送流程图。该控制命令发送方法包括下述步骤：

步骤S61：区分眼睛状态。

采用分类器区分眼睛的状态，也即区分眼睛的活动，一般只需要根据一定的分类依据区分眼睛的状态是否是凝视，进行判断的凝视持续时间可以自定义，如100至200毫秒。

步骤S62：检测眨眼动作。

此时需要区分正常眨眼与发出控制命令，一般正常眨眼时是两只眼睛同时眨眼，因此可将发出控制命令的眨眼动作设定为单只眼睛眨眼。

步骤S63：发送控制命令。

在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作发送相应的控制命令给手机。该特定状态一般定义为凝视状态，在眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作发送相应的控制命令给手机。此处，我们可以对连续眨眼次数、眨眼眼睛类别(左眼还是右眼)和控制命令的对照关系进行预设，比如左眼连续眨眼2次为单击命令、左眼连续眨眼3次为长按命令、右眼连续眨眼2次为右键命令、右眼连续眨眼3次为双击命令等等，判断控制命令的种类时根据该预设的对照关系进行选择即可。例如：在凝视时间段内单只眼睛连续眨眼2次则判断为单击命令，若是触摸屏手机就模仿触摸事件，触摸点即是凝视点；若是按键型手机则模仿对应按键的“按下”命令。

请参阅图10所示，为控制命令发送的一详细流程图。该控制命令发送方法的详细步骤包括：

步骤S601：判断眼睛的凝视持续时间是否在100至200毫秒范围内。若是，则执行步骤S602；若否，则结束此处流程，重新开始执行步骤S5视线追踪。对眼睛状态的判断可采用分类器进行。

步骤S602：检测眨眼动作。

当检测到的瞳孔中心的个数有变化时，可判定为发生了眨眼动作。

步骤S603：判断是否有单只眼睛眨眼。若是，则执行步骤S604；若否，则结束此处流程，重新开始执行步骤S5视线追踪。

该步骤需要区分正常眨眼与发出控制命令，正常眨眼时，一般是两只眼睛同时闭合，因此正常睁眼或眨眼时检测到的瞳孔中心个数为2个或0个，因此当检测到瞳孔中心个数为1时，则判定为发生了眨眼动作，可认为正准备发出控制命令。

步骤S604：判断连续眨眼次数是否为2次。若是，则执行步骤S605；若否，则执行步骤S606。

通过眨眼对手机进行控制命令的发送，最好采用多次眨眼次数的认定方式，减少误操作事件，因为可能眨一下眼睛有时只是用户不经意的一次眨眼。本实施例中，我们对连续眨眼次数和控制命令的对照关系预设的是：连续眨眼2次代表单击命令，连续眨眼3次代表长按命令。当然，也可以根据用户需求进行其他对照关系的预设，此处不一一列举。

步骤S605：发送单击命令。

步骤S606：判断连续眨眼次数是否为3次。若是，则执行步骤S607；若否，则说明用户并没有发出控制命令，结束此处流程，重新开始执行步骤S5视线追踪。

步骤S607：发送长按命令。

在其他实施例中，对眨眼次数的判断也可以这样实施：在步骤S604前加入判断眨眼次数是否大于或等于2的步骤，若否，则说明用户并没有发出控制命令，结束此处流程，重新开始执行步骤S5视线追踪；若是，则执行步骤S604。这种方式在用户眨眼次数为1次的情况下，通过第一次判断就可得出用户并没有发出控制命令的结论，无需再经过步骤S604和步骤S606的判断过程。

实施例2：

本实施例提供了一种基于视线判断的人机交互方法，该方法从步骤S1～S6与实施例1相同，此处不再详细描述。该方法在步骤S6控制命令发送的具体实施上与实施例1有区别，实施例1采用的是眨眼控制方法，本实施例采用的是闭眼控制方法，该方法在眼睛凝视时间段中检测是否有单只眼睛闭眼和闭眼时间；当有单只眼睛闭眼时，根据预设的闭眼时间和控制命令的对照关系，发送相应的控制命令给电子设备。下面对该方法中控制命令发送的详细实施步骤进行说明。

请参阅图11所示，为本发明控制命令发送的另一详细流程图。该控制命令发送方法的详细步骤包括：

步骤S611：判断眼睛的凝视持续时间是否在100至200毫秒范围内。若是，则执行步骤S612；若否，则结束此处流程，重新开始执行步骤S5视线追踪。对眼睛状态的判断可采用分类器进行。

步骤S612：检测闭眼动作。

当检测到的瞳孔中心的个数有变化时，可判定为发生了闭眼动作。

步骤S613：判断是否有单只眼睛闭眼。若是，则执行步骤S614；若否，则结束此处流程，重新开始执行步骤S5视线追踪。

该步骤需要区分正常闭眼与发出控制命令，正常闭眼时，一般是两只眼睛同时闭合，因此正常睁眼或闭眼时检测到的瞳孔中心个数为2个或0个，因此当检测到瞳孔中心个数为1时，则判定为发生了闭眼动作，可认为正准备发出控制命令。

步骤S614：判断闭眼时间是否超过预设时间。若是，则执行步骤S615；若否，则结束此处流程，重新开始执行步骤S5视线追踪。

通过闭眼对手机进行控制命令的发送，最好采用设定闭眼时间的认定方式，减少误操作事件，因为可能有时只是用户不经意的一次闭眼，闭眼时间较短。本实施例中，我们先预设一时间T_预，若闭眼时间T_闭＞T_预，则可认为用户发出了控制命令。

步骤S615：发送单击命令。

一般来说，实施例1和实施例2所述的方法可以应用于带有前置摄像头的智能手机上，手机端支持该基于视线判断的人机交互客户端软件安装即可。或者在其他类似的智能电子设备上也可以使用该方法。而且，该方法对所应用的系统硬件配置要求不高，一般的嵌入式平台即可应用。

实施例3：

本实施例提供了一种基于视线判断的人机交互系统。请参阅图12所示，为用户操作本发明实施例3一种基于视线判断的人机交互系统示意图。实施例3提供的该系统用于实现用户对手机的非接触式操作，系统包括手机2和摄像头21，该手机2具有屏幕22，摄像头21为手机2自带的前置摄像头，该系统采用实施例1或实施例2的方法进行人机交互。

图中箭头所示方向为人眼视线方向，使用手机2自带的前置摄像头21实时拍摄用户1头部画面，通过实施例1或2所述的人眼区域检测和瞳孔中心定位方法提取两只眼睛的瞳孔中心位置坐标，通过系统标定方法确定两只眼睛瞳孔中心位置坐标和手机屏幕22的x-y坐标的对应关系，通过眨眼或闭眼动作模拟点击事件，这样就可以通过用户1眼睛的注视点来控制手机屏幕22的光标移动和操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于视线判断的人机交互方法，实现用户对电子设备的操作，其特征在于，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

计算图像坐标与电子设备屏幕坐标系之间的对应关系；

跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；

检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行人眼区域检测的步骤具体包括：采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

3.根据权利要求1所述的方法，其特征在于，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤具体包括：

定义眼睛的等照度线；

计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；

计算等照度曲线图中满足等照度线曲率的圆的中心。

4.根据权利要求3所述的方法，其特征在于，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括：

计算等照度线的中心的位移矢量；

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；

将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；

计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

6.根据权利要求1所述的方法，其特征在于，所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括：

在电子设备屏幕上设定至少4个标定点，将屏幕上所设定的标定点的坐标保存在目标矩阵中；

依次记录人眼注视所述标定点时图像中瞳孔中心位置坐标，将所述瞳孔中心位置坐标保存在设定矩阵中；

计算设定矩阵与目标矩阵之间坐标的对应关系。

7.根据权利要求6所述的方法，其特征在于，所述标定点设有4个，所述4个标定点分别为电子设备屏幕的4个角点。

8.根据权利要求4所述的方法，其特征在于，所述跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标的步骤具体包括：

以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；

将所述窗口的大小设为人眼区域的一半；

进行迭代计算；

在等照度线中心图上聚合到投票密度最大的区域，选取距离聚合窗口最近的中心作为当前图像的瞳孔中心；

计算两只眼睛瞳孔中心的中间位置坐标，根据所述对应关系计算与中间位置坐标对应的电子设备屏幕坐标。

9.根据权利要求1所述的方法，其特征在于，所述检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

采用分类器区分眼睛的状态；

检测眨眼动作或闭眼动作；

在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

10.根据权利要求9所述的方法，其特征在于，

所述采用分类器区分眼睛的状态的步骤具体包括：采用分类器判断眼睛的凝视持续时间是否在100至200毫秒范围内，在所述时间范围内时判定眼睛的状态为凝视；

所述在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：在眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

11.根据权利要求10所述的方法，其特征在于，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛眨眼和连续眨眼次数；

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛眨眼时，根据预设的连续眨眼次数和控制命令的对照关系，发送相应的控制命令给电子设备。

12.根据权利要求10所述的方法，其特征在于，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛闭眼和闭眼时间；

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛闭眼时，根据预设的闭眼时间和控制命令的对照关系，发送相应的控制命令给电子设备。

13.根据权利要求1～12任一项所述的方法，其特征在于，所述摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。

14.一种基于视线判断的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，所述电子设备具有屏幕，其特征在于，所述系统采用权利要求1～13任一项所述的方法进行人机交互。

Images