CN102799277A - 一种基于眨眼动作的人机交互方法及系统 - Google Patents

Abstract

本发明涉及人机交互技术领域，提供了一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括：通过摄像头获取人脸图像；对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；跟踪瞳孔中心位置；检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。本发明还提供了一种基于眨眼动作的人机交互系统。本发明通过摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，使用户对电子设备的操作简单方便。

Description

一种基于眨眼动作的人机交互方法及系统

技术领域

本发明涉及人机交互技术领域，特别是涉及一种基于眨眼动作的人机交互方法及系统。

背景技术

随着手机、平板电脑等各类移动终端设备的普及，特别是智能手机的发展，这些智能移动终端的作用已不再是简单的接打电话、收发短信了，各种手机和平板电脑的应用充斥着整个网络，其中最主要的应用包括：接打电话、收发短信/邮件、拍照片、浏览网页、玩游戏和阅读电子书。用户与设备之间的人机交互方式也越来越丰富。目前较常用的人机交互方式主要有两种：一种是按键型，通过按键来发出命令；另一种是触摸型，触摸屏幕采用电容屏或电阻屏，用户通过手指触摸屏幕发出命令。这两种方式都是基于人手的人机交互方式，需要手的介入，当双手被占用时，就无法完成人与设备的交互，所以无法适用于某些特殊场合，以及一些残障人士。

随着智能信息技术的发展，新的交互方式层出不穷，特别是出现了多种非接触式的操作方式，主要有语音控制和体感控制两种，其中语音控制、动作控制(属于体感控制的一种)等技术已经得到了广泛的应用。基于语音的操作方式，需要用户用声音信号来控制，操作不太方便，且容易受到环境噪音干扰。基于体感的操作方式中，利用眨眼信息实现人机交互是一种新型的人机交互方式。现有的眨眼交互方式要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机或摄像头，或者需要红外光源，或者需要头戴式设备如穿戴式头盔、眼镜框等固定在头部或眼部。这些方法在一定程度上都增加了成本，也不适合在普通手机终端上实现。而且，长时间使用红外光源会对人眼有伤害，如果是将额外设备固定在头部或眼部也会给人体造成负担。

发明内容

本发明通过普通摄像头对眨眼动作进行识别，从而实现对电子设备的操作，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置。

本发明采用如下技术方案：

一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

跟踪瞳孔中心位置；

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。

优选地，所述对所述图像进行人眼区域检测的步骤具体包括：采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

优选地，所述跟踪瞳孔中心位置的步骤具体包括：

以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；

通过摄像头获取下一帧人脸图像；

在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位。

优选地，所述搜索窗口为分别以两个眼睛的瞳孔中心为中心的两个矩形搜索框，所述矩形搜索框的高度为人脸图像高度的五分之一，所述矩形搜索框的宽度为人脸图像宽度的三分之一。

优选地，在所述通过摄像头获取下一帧人脸图像的步骤之后还包括：

判断所述矩形搜索框是否超出下一帧人脸图像的范围；

当矩形搜索框超出下一帧人脸图像的范围时，将矩形搜索框超出下一帧人脸图像的部分滤除。

优选地，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤和在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤均包括：

定义眼睛的等照度线；

计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；

计算等照度曲线图中满足等照度线曲率的圆的中心。

优选地，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括：

计算等照度线的中心的位移矢量；

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；

将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；

计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

优选地，所述方法还包括：采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

优选地，在所述在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤之后还包括：

判断在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位得到的瞳孔中心位置与根据检测到的人眼区域对瞳孔中心进行定位得到的瞳孔中心位置之间的距离是否超过预设距离L；

超过预设距离L则返回执行通过摄像头获取人脸图像的步骤。

优选地，所述检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛眨眼；

当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别；

根据预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系，发送相应的控制命令给电子设备。

优选地，所述当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别的步骤具体包括：

当有单只眼睛眨眼时，开始计时，检测在预设时间t内连续眨眼次数和眨眼眼睛类别。

优选地，所述预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系包括：

当所述基于眨眼动作的人机交互方法用于阅读电子书时，连续眨2次左眼发送向上翻页的控制命令，连续眨2次右眼发送向下翻页的控制命令；

当所述基于眨眼动作的人机交互方法用于浏览网页时，连续眨2次左眼发送向上浏览的控制命令，连续眨2次右眼发送向下浏览的控制命令；

当所述基于眨眼动作的人机交互方法用于查看图片或照片时，连续眨2次左眼发送查看上一张图片或照片的控制命令，连续眨2次右眼发送查看下一张图片或照片的控制命令；

当所述基于眨眼动作的人机交互方法用于接听或挂断电话时，连续眨2次左眼发送接听电话的控制命令，连续眨2次右眼发送挂断电话的控制命令。

优选地，所述摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。

本发明还提供了一种基于眨眼动作的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，所述系统采用前述的方法进行人机交互。

本发明公开的基于眨眼动作的人机交互方法及系统，通过普通摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，例如阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏时，可通过眨眼实现向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。

附图说明

图1为本发明实施例1基于眨眼动作的人机交互方法流程图；

图2为眼睛的等照度曲线图；

图3为本发明实施例1中瞳孔中心定位流程图；

图4为本发明实施例1中眼睛追踪流程图；

图5为本发明实施例1中控制命令发送流程图；

图6为本发明实施例2基于眨眼动作的人机交互方法中眼睛追踪流程图；

图7为用于阅读电子书的本发明实施例3基于眨眼动作的人机交互方法中控制命令发送流程图；

图8为用于阅读电子书的本发明实施例4基于眨眼动作的人机交互方法中控制命令发送流程图；

图9为用于浏览网页的本发明实施例5基于眨眼动作的人机交互方法中控制命令发送流程图；

图10为用于查看图片或照片的本发明实施例6基于眨眼动作的人机交互方法中控制命令发送流程图；

图11为用于接听或挂断电话的本发明实施例7基于眨眼动作的人机交互方法中控制命令发送流程图；

图12为本发明实施例8基于眨眼动作的人机交互方法流程图；

图13为用户操作本发明实施例9基于眨眼动作的人机交互系统示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

跟踪瞳孔中心位置；

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。

本发明实施例还提供了一种基于眨眼动作的人机交互系统，实现用户对电子设备的操作，该系统包括电子设备和摄像头，该系统采用前述的方法进行人机交互。

本发明实施例所使用的摄像头可以是电子设备自带的前置摄像头，电子设备可以是手机、平板电脑等设备，当然，也可以是PC机、智能电视等具有视频处理能力和摄像头设备的终端。

本发明实施例通过普通摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，例如阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏时，可通过眨眼实现向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。

下面以手机为例对本发明进行详细阐述。下文中所涉及到的坐标均为二维坐标。

实施例1：

请参阅图1所示，为本发明一种基于眨眼动作的人机交互方法流程图。该方法包括下述步骤：

步骤S1：获取帧图像。

该步骤可通过手机自带的前置摄像头实时获取人脸图像(图像分辨率为width×height)。

步骤S2：人眼区域检测。

考虑到在使用手机时，人眼与摄像头之间的距离一般保持在10到30厘米之间，在这个范围内人脸会占据整个图像区域，所以本方法无需人脸检测的步骤，直接进行人眼区域检测即可。人眼区域的初定位不要求十分精确，因此可采用的方法有很多，如直方图投影法、Haar(哈尔)检测法、帧差法、模板匹配法等方法都可用来进行眼睛的首次定位。考虑到手机的运算能力有限，本实施例采用高效的直方图投影法对图像进行人眼区域的检测。

步骤S3：瞳孔中心定位。

该步骤根据检测到的人眼区域对瞳孔中心进行定位，属于瞳孔的精确定位。本实施例结合眼睛的几何特征与光学特征来估计瞳孔中心，对于旋转、亮度和头部姿态变化具有很好的鲁棒性。眼睛的光学特征是指眼睛具有亮度对称的性质，眼睛的几何特征是指虹膜与瞳孔的形状类似圆，并且沿异色边缘方向亮度近似为常量，因此可以用等照度线来代表这些特征。等照度线可以理解为等亮度的轮廓线，由多条等照度线组成等照度曲线图。如图2所示为眼睛的等照度曲线图。由于等照度线之间不会相交，所以可以用一幅图像的等照度线来表示原图像(即步骤S1中获取的帧图像)。另外，等照度线对旋转和线性光照条件改变具有独立性。

现有技术中的一些眼睛定位方法要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机，或者需要红外光源。不论是分辨率高的摄像机还是红外光源，无疑都增加了成本，也不适合在普通手机终端上实现，且长时间使用红外光源对人眼有伤害。本发明实施例的人眼区域检测和瞳孔中心定位方法，只需要普通分辨率的图像即可，因此可直接利用手机前置摄像头，容易实现且成本低。

步骤S4：眼睛追踪。

该步骤跟踪图像中瞳孔中心位置。首先初始化搜索窗口，根据步骤S3得到的瞳孔中心位置eyel(xl，y1)，eyer(xr，yr)，分别以eyel和eyer为中心定义两个宽为w、高为h的矩形搜索框Rectl和Rectr作为搜索窗口，其中

初始化搜索窗口的主要目的是缩小检测范围，减少计算量。当下一帧图像来到时就在这两个矩形搜索框中精准定位瞳孔中心。对瞳孔中心的定位可采用步骤S3的方法进行。

步骤S5：控制命令发送。

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给手机。该步骤需要区分正常眨眼与发出控制命令，一般正常眨眼时是两只眼睛同时眨眼，即两只眼睛同时闭合，因此正常睁眼或眨眼时检测到的瞳孔中心个数为2个或0个。可将发出控制命令的眨眼动作设定为单只眼睛眨眼。当检测到瞳孔中心个数为1个时，是单只眼睛眨眼，可认为正准备发出控制命令。在检测到单眼连续眨眼数次后，再判断眨眼眼睛类别(左眼还是右眼)，从而执行相应的操作。对眼睛类别的判断可根据眼睛坐标(即检测到的瞳孔中心的坐标)进行判断，例如当检测到的瞳孔中心坐标位于Rectl内时，判断为左眼眨眼；当检测到的瞳孔中心坐标位于Rectr内时，判断为右眼眨眼。

对连续眨眼次数、眨眼眼睛类别和控制命令的对应关系可进行预设，判断控制命令的种类时根据该预设的对应关系进行选择即可。控制命令可以包括向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等。

请参阅图3所示，为步骤S3瞳孔中心定位流程图。该瞳孔中心定位方法包括下述步骤：

步骤S31：定义等照度线。

该步骤用于定义眼睛的等照度线。本实施例中按照公式(a)定义等照度线(isophote)：

L(v，w(v))＝constant；                                      (a)

其中：

L_x，L_y是亮度图像分别沿x，y方向的一阶导数。因此，w方向上的导数即为梯度，v方向的导数等于0。

步骤S32：计算等照度线曲率，得到等照度曲线图。

该步骤用于计算眼睛的等照度线曲率，得到眼睛的等照度曲线图。按照下述步骤计算等照度线曲率：

公式(a)式对v求导可得公式(b)：

L_v+L_ww′＝0； $w^{\′}=-\frac{L_v}{L_w}---\left(b\right)$

公式(b)对v方向求导可得公式(c)：

L_vv+2L_vww′+L_www′²+L_ww″＝0                                (c)

曲率k＝w″；

将公式(c)代入上式，可得：曲率

变换到笛卡尔坐标系统中得到公式(d)：

$k=-\frac{L_{\mathrm{vv}}}{L_w}=-\frac{{L_y}^2{L}_{\mathrm{xx}}-2L_x{L}_{\mathrm{xy}}{L}_y+{L_x}^2{L}_{\mathrm{yy}}}{{(L_x^2+L_y^2)}^{3/2}}---\left(d\right)$

计算出眼睛的等照度线曲率后，得到的等照度曲线图如图2所示。

步骤S33：计算等照度线的中心。

该步骤计算等照度曲线图中满足等照度线曲率的圆的中心。

首先，计算等照度线的中心(isophote center，简称IC)的位移矢量。对图像中的每个像素，我们想要得到的是满足等照度线曲率的圆的中心，曲率的倒数即是等照度线的半径，再结合方向信息就可以得到等照度线的中心的位移矢量{D_x，D_y}，如公式(e)所示：

$\{D_x,D_y\}=\frac{\{L_x,L_y\}}{L_w}(-\frac{L_w}{L_{\mathrm{vv}}})=-\frac{\{L_x,L_y\}}{L_{\mathrm{vv}}}=\frac{\{L_x,L_y\}(L_x^2+L_y^2)}{L_y^2{L}_{\mathrm{xx}}-2L_x{L}_{\mathrm{xy}}{L}_y+L_x^2{L}_{\mathrm{yy}}}---\left(e\right)$

该位移矢量{D_x，D_y}指向估计的中心位置。

其次，形成等照度线中心图。可采用投票法将位移矢量映射到累加器中形成等照度线中心图。

然后，形成单一的中心估计。由于每个位移矢量都粗略估计了中心位置，将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计。

再然后，选取特定等照度线。每个矢量还有特定的权重(curvedness)，权重的计算公式如公式(f)所示：

$\mathrm{curvedness}=\sqrt{L_{\mathrm{xx}}^2+2L_{\mathrm{xy}}^2+L_{\mathrm{yy}}^2}---\left(f\right)$

根据公式(f)计算每个位移矢量的权重。在平坦的表面、边界上权重值较小，在边界处的响应值最大，因此若要得到目标边界只需考虑权重值较大部分对应的等照度线(权重与等照度线密度存在直接关系：等照度线越密集的地方权重的响应值越大)。选取权重值较大的位移矢量对应的等照度线作为特定等照度线。

最后，选取瞳孔中心。通过投票方法得到的等照度线中心图在等照度线中心附近有较强的响应区，在候选的响应中强度最大的点认为是瞳孔中心。因此，选取眼睛中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

现有技术中基于普通摄像头的眼睛检测技术对光照条件改变、旋转或尺度变化等鲁棒性差，很难兼顾以上各个方面，缺乏实用性。针对基于眨眼动作的人机交互方法中尺度问题的解决方法，现有技术中有采用搜索尺度因子的方法，但是这种方法耗费的资源多，且需要不停地调整参数。本算法将所有的眼睛区域都缩放到指定大小的窗口中，可以在不同的尺度下使用而不需要费力的搜索尺度参数。为增加本方法的鲁棒性和准确性，本方法利用下采样由通过摄像头获取的原图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，然后将等照度线中心图金字塔中的等照度线中心图缩放到预先指定的大小，再线性相加得到最终的等照度线中心图，图中最大峰值即为具有尺度不变性的等照度线中心，也即具有尺度不变性的瞳孔中心。因此，本发明实施例提供的方法定位准确，对旋转、线性亮度改变和尺度变化均具有较好的鲁棒性，能够适应环境的变化。

请参阅图4所示，为步骤S4眼睛追踪流程图。该眼睛追踪方法包括下述步骤：

步骤S41：初始化搜索窗口。

根据步骤S3得到的瞳孔中心位置eyel(xl，y1)和eyer(xr，yr)，分别以eyel和eyer为中心定义一个宽为w、高为h的矩形搜索框Rectl和Rectr作为搜索窗口，其中

初始化搜索窗口的主要目的是缩小检测范围，减少计算量。

步骤S42：获取下一帧图像。

通过摄像头获取下一帧人脸图像。该下一帧图像相对步骤S1得到的帧图像而言属于下一帧图像。

步骤S43：瞳孔中心定位。

在步骤S42获取的图像中的通过步骤S41得到的两个矩形搜索框中精准定位瞳孔中心。对瞳孔中心的精准定位可采用步骤S3的方法进行。

请参阅图5所示，为步骤S5控制命令发送流程图。该控制命令发送方法包括下述步骤：

步骤S51：单眼眨眼检测。

该步骤检测是否有单只眼睛眨眼。此处需要区分正常眨眼与发出控制命令，一般正常眨眼时是两只眼睛同时眨眼，即两只眼睛同时闭合，因此正常睁眼或眨眼时检测到的瞳孔中心个数为2个或0个。可将发出控制命令的眨眼动作设定为单只眼睛眨眼，当检测到瞳孔中心个数为1个时，是单只眼睛眨眼，可认为正准备发出控制命令。

步骤S52：连续眨眼次数、眨眼眼睛类别检测。

当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别。一般可预设一时间t，当有单只眼睛眨眼时，开始计时，在时间t内单眼连续眨眼数次则认为发出了控制命令，再根据眼睛的坐标判断眨眼眼睛类别(左眼还是右眼)，从而执行相应的操作。

步骤S53：发送控制命令。

根据预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系，发送相应的控制命令给电子设备。本方法可应用于阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏等，可按表1所示的对应关系进行设置：

表1连续眨眼次数、眨眼眼睛类别和控制命令的对应关系表

当然，也可以根据用户需求进行其他对应关系的预设，比如阅读电子书时左眼连续眨眼2次以上均代表发出向上翻页的控制命令，右眼连续眨眼2次以上均代表发出向下翻页的控制命令，而不用区分眨眼次数。这些对应关系有很多种，此处不一一列举。

现有技术中针对手机电子书阅读软件，有一种自动翻页的方法，这种方法需要预先设定翻页间隔时间，由于每页的内容量不同，每个人的阅读速度也不同，预设翻页间隔时间内没看完页面内容就翻页或者在预设时间之前看完而等待翻页，无疑会影响用户的正常阅读。本实施例提供的根据用户眨眼动作实现翻页的方式，由用户根据自己的阅读速度实施翻页，不会影响用户的正常阅读，可控性好。

实施例2：

实施例2与实施例1相比在步骤S4的具体实施上有所区别，下面仅对不同的部分进行描述，其他相同部分不再赘述。

请参阅图6所示，为本发明实施例2基于眨眼动作的人机交互方法中眼睛追踪流程图。通过初始化搜索窗口定义好矩形搜索框后，在下一帧图像中有可能会出现矩形搜索框超出图像范围的情况。此时需要将超出部分滤除，保证搜索范围不超出图像大小。本实施例在步骤S402获取下一帧图像之后，执行步骤S403：判断矩形搜索框是否超出下一帧人脸图像的范围。当矩形搜索框超出下一帧人脸图像的范围时，执行步骤S404：将矩形搜索框超出下一帧人脸图像的部分滤除。然后再执行步骤S405：瞳孔中心定位。当矩形搜索框没有超出下一帧人脸图像的范围时，可直接执行步骤S405。

实施例3：

实施例3为应用于阅读电子书的本发明一种基于眨眼动作的人机交互方法。下面对该方法中控制命令发送的具体实施方式进行描述，其他未描述的步骤可采用实施例1或实施例2的实施方式。

请参阅图7所示，为本发明实施例3的方法中控制命令发送流程图。该控制命令发送方法包括下述步骤：

步骤S501：检测眨眼动作。

当瞳孔中心个数有变化时，可判断发生了眨眼动作。

步骤S502：判断是否为单只眼睛眨眼。

当检测到瞳孔中心个数为1时，是单只眼睛眨眼，可认为正准备发出控制命令。若是单只眼睛眨眼，执行步骤S503；若否，结束此次流程，并返回执行步骤S42，重新获取下一帧图像。

步骤S503：开始计时，统计预设时间t内连续眨眼次数n。

预设一时间t，当有单只眼睛眨眼时，开始计时，检测在预设时间t内连续眨眼次数。如果不设定时间t，就不好判断怎样的眨眼可认为是连续眨眼。

步骤S504：判断n是否≥2。若是，执行步骤S505；若否，结束此次流程，并返回执行步骤S42，重新获取下一帧图像。

通过眨眼对手机进行控制命令的发送，最好采用多次眨眼次数的认定方式，减少误操作事件，因为可能眨一下眼睛有时只是用户不经意的一次眨眼。本实施例中，我们对连续眨眼次数和控制命令的对应关系预设的是：连续眨眼2次以上代表向上翻页命令，连续眨眼3次以上代表向下翻页命令。

步骤S505：判断是否为左眼眨眼。若是，执行步骤S506；若否，执行步骤S507。

步骤S506：发送向上翻页命令。

在左眼眨眼2次以上时，表明用户发出的是向上翻页的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

步骤S507：发送向下翻页命令。

在右眼眨眼2次以上时，表明用户发出的是向下翻页的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

实施例4：

实施例4为应用于阅读电子书的本发明另一种基于眨眼动作的人机交互方法。该实施例与实施例3的区别是：该方法可实现4种控制命令的发送。下面对该方法中控制命令发送与实施例3的区别步骤进行描述，其他未描述的步骤可采用实施例1～3的实施方式。

请参阅图8所示，为本发明实施例4的方法中控制命令发送流程图。图中n为连续眨眼次数。该控制命令发送方法中对眨眼次数和眨眼类别的判断为：

步骤S514：判断n是否等于2。若是，执行步骤S515；若否，执行步骤S518。

步骤S515：判断是否为左眼眨眼。若是，执行步骤S516；若否，执行步骤S517。

步骤S516：发送向上翻页命令。

在左眼眨眼2次时，表明用户发出的是向上翻页的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

步骤S517：发送向下翻页命令。

在右眼眨眼2次时，表明用户发出的是向下翻页的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

步骤S518：判断n是否等于3。若是，执行步骤S519；若否，结束此次流程，并返回执行步骤S42，重新获取下一帧图像。

步骤S519：判断是否为左眼眨眼。若是，执行步骤S5110；若否，执行步骤S5111。

步骤S5110：发送放大命令。

在左眼眨眼3次时，表明用户发出的是放大的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

步骤S5111：发送缩小命令。

在右眼眨眼3次时，表明用户发出的是缩小的控制命令，因此将该控制命令发送给手机控制中心，实现自动翻页。

当然，也可以在步骤S515或步骤S519时判断是否为右眼眨眼，或者将左眼眨眼与右眼眨眼的控制命令进行对调，这些都可以根据用户实际需求进行设置。

实施例5：

实施例5为应用于浏览网页的本发明一种基于眨眼动作的人机交互方法。该实施例与实施例4类似，也可以实现4种控制命令的发送。但该方法在眨眼次数的判断上与实施例4有所区别。下面对该方法中控制命令发送与实施例4的区别步骤进行描述，其他步骤可采用实施例～4的实施方式，此处不再赘述。

请参阅图9所示，为本发明实施例5的方法中控制命令发送流程图。该控制命令发送方法中对眨眼次数的判断为：

步骤S524：判断眨眼次数是否≥2。若是，执行步骤S525；若否，结束此次流程，并返回执行步骤S42，重新获取下一帧图像。

当眨眼次数为1时，说明用户并没有发出控制命令，此时需重新获取下一帧图像进行下一轮的眨眼检测。

从步骤S525往下的此处未描述的实施流程与实施例4类似，只是控制命令有所不同，本实施例中包括向上/向下浏览命令和放大/缩小命令。

本实施例先判断眨眼次数是否≥2，这种方式在用户眨眼次数为1次的情况下，通过第一次判断就可得出用户并没有发出控制命令的结论，无需再经过步骤S525和步骤S529的判断过程。

实施例6：

实施例6为应用于浏览网页的本发明一种基于眨眼动作的人机交互方法。请参阅图10所示，为本发明实施例6的方法中控制命令发送流程图。该实施例的实现方式与实施例4类似，只是控制命令有所不同，本实施例中包括查看上一幅/下一幅图片或照片命令和放大/缩小命令，详细实施步骤如图10所示，此处不赘述。

实施例7：

实施例7为应用于接听或挂断电话的本发明一种基于眨眼动作的人机交互方法。请参阅图11所示，为本发明实施例7的方法中控制命令发送流程图。该实施例的实现方式与实施例3类似，区别在于：

1、将生效的眨眼次数设置为2次，在判断眨眼次数时直接判断眨眼次数n是否等于2；

2、控制命令有所不同，本实施例中包括接听/挂断电话命令。

其他步骤与实施例3相同，此处不赘述。

实施例8：

实施例8为本发明另一种基于眨眼动作的人机交互方法。该方法与实施例1的区别在于增加了在用户头部姿态变化较大时的处理方式。用户操作手机时人的脸部几乎占据整个图像，头部的姿态一般变化也不大，因此只有在头部姿态变化较大时才需更新搜索窗口。

请参阅图12所示，为本发明实施例8的基于眨眼动作的人机交互方法流程图。该方法包括下述步骤：

步骤S801：获取帧图像。

该步骤可通过手机自带的前置摄像头实时获取人脸图像。

步骤S802：人眼区域检测。

本实施例采用高效的直方图投影法对图像进行人眼区域的检测。

步骤S803：瞳孔中心定位。

该步骤根据检测到的人眼区域对瞳孔中心进行定位，属于瞳孔的精确定位。定位方式与实施例1类似。

步骤S804：初始化搜索窗口。

根据步骤S803得到的瞳孔中心位置eyel(xl，y1)，eyer(xr，yr)，分别以eyel和eyer为中心定义一个宽为w、高为h的矩形搜索框Rectl和Rectr作为搜索窗口，其中 $h=\frac{1}{5}\mathrm{height},$ $w=\frac{1}{3}\mathrm{width}.$

步骤S805：获取下一帧图像。

通过手机自带的前置摄像头获取下一帧人脸图像。

步骤S806：瞳孔中心定位。

定位方式与实施例1类似。

步骤S807：判断步骤S806得到的瞳孔中心位置与步骤S803得到的瞳孔中心位置之间的间距是否超过预设距离L。若是，说明用户头部姿态有较大变化，返回执行步骤S801；若否，继续执行步骤S808。

当用户头部姿态变化较大时，例如脸侧着时，瞳孔中心检测不准，与步骤S803检测到的瞳孔中心距离较大，因此当步骤S806得到的瞳孔中心位置与步骤S803得到的瞳孔中心位置之间的间距超过预设距离L时，就判断为头部姿态变化较大，需要重新定位眼睛区域和更新搜索窗口。该步骤是本实施例与实施例1最主要的区别。

步骤S808：控制命令发送。

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给手机。

实施例9：

本实施例提供了一种基于眨眼动作的人机交互系统。请参阅图13所示，为用户操作本发明实施例9一种基于眨眼动作的人机交互系统示意图。实施例9提供的该系统用于实现用户对手机的非接触式操作，系统包括手机2和摄像头21，摄像头21为手机2自带的前置摄像头，该系统可采用实施例1～8中任意一种方法进行人机交互。

本实施例使用手机2自带的前置摄像头21实时拍摄用户1头部画面，通过前述实施例提供的方法实现眨眼动作的判断，使用眨眼动作模拟点击事件，实现对手机2的操作，例如阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏时，可通过眨眼实现向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等，使用户1通过眨眼动作来实现上述应用中的简单功能操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，其特征在于，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

跟踪瞳孔中心位置；

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行人眼区域检测的步骤具体包括：采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

3.根据权利要求1所述的方法，其特征在于，所述跟踪瞳孔中心位置的步骤具体包括：

以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；

通过摄像头获取下一帧人脸图像；

在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位。

4.根据权利要求3所述的方法，其特征在于，所述搜索窗口为分别以两个眼睛的瞳孔中心为中心的两个矩形搜索框，所述矩形搜索框的高度为人脸图像高度的五分之一，所述矩形搜索框的宽度为人脸图像宽度的三分之一。

5.根据权利要求4所述的方法，其特征在于，在所述通过摄像头获取下一帧人脸图像的步骤之后还包括：

判断所述矩形搜索框是否超出下一帧人脸图像的范围；

当矩形搜索框超出下一帧人脸图像的范围时，将矩形搜索框超出下一帧人脸图像的部分滤除。

6.根据权利要求3所述的方法，其特征在于，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤和在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤均包括：

定义眼睛的等照度线；

计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；

计算等照度曲线图中满足等照度线曲率的圆的中心。

7.根据权利要求6所述的方法，其特征在于，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括：

计算等照度线的中心的位移矢量；

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；

将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；

计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

9.根据权利要求3所述的方法，其特征在于，在所述在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤之后还包括：

判断在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位得到的瞳孔中心位置与根据检测到的人眼区域对瞳孔中心进行定位得到的瞳孔中心位置之间的距离是否超过预设距离L；

超过预设距离L则返回执行通过摄像头获取人脸图像的步骤。

10.根据权利要求1所述的方法，其特征在于，所述检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备的步骤具体包括：

检测是否有单只眼睛眨眼；

当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别；

根据预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系，发送相应的控制命令给电子设备。

11.根据权利要求10所述的方法，其特征在于，所述当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别的步骤具体包括：

当有单只眼睛眨眼时，开始计时，检测在预设时间t内连续眨眼次数和眨眼眼睛类别。

12.根据权利要求11所述的方法，其特征在于，所述预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系包括：

当所述基于眨眼动作的人机交互方法用于阅读电子书时，连续眨2次左眼发送向上翻页的控制命令，连续眨2次右眼发送向下翻页的控制命令；

当所述基于眨眼动作的人机交互方法用于浏览网页时，连续眨2次左眼发送向上浏览的控制命令，连续眨2次右眼发送向下浏览的控制命令；

当所述基于眨眼动作的人机交互方法用于查看图片或照片时，连续眨2次左眼发送查看上一张图片或照片的控制命令，连续眨2次右眼发送查看下一张图片或照片的控制命令；

当所述基于眨眼动作的人机交互方法用于接听或挂断电话时，连续眨2次左眼发送接听电话的控制命令，连续眨2次右眼发送挂断电话的控制命令。

13.根据权利要求1～12任一项所述的方法，其特征在于，所述摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。

14.一种基于眨眼动作判断的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，其特征在于，所述系统采用权利要求1～13任一项所述的方法进行人机交互。

Images