CN103324284A - 基于人脸和眼部检测的鼠标控制方法 - Google Patents

Abstract

本发明涉及一种基于人脸和眼部检测的鼠标控制方法。其特征在于，提供一种用低成本的普通摄像头能实现的通过对操作者脸部进行检测与跟踪，同时结合操作者眼部动作来实现的鼠标控制方法。具体步骤为：1.视频信号预处理，采集摄像头视频信号，并对信号进行预处理；2.人脸的检测，基于肤色和Haar特征对操作者的脸部进行检测；3.人脸的运动跟踪，记录操作者脸部的运动轨迹和坐标位置；4.眼部的定位，在人脸中检测定位出操作者两个眼睛的位置；5.眼部动作的检测，检测操作者的眼部动作；6.鼠标控制，控制鼠标的移动，控制鼠标左右按键的点击动作。本发明通过图像处理和计算机视觉的技术，检测操作者的脸部位置，跟踪脸部的运动，并检测操作者的眼部动作，从而实现对鼠标的控制。使用低成本的普通摄像头，为肢体残障人士或者手部受限制的计算机用户提供了一种方便的人机交互方式。

Description

基于人脸和眼部检测的鼠标控制方法

技术领域

本发明属于图像处理和人机交互的鼠标控制领域，尤其涉及一种基于人脸和眼部检测的鼠标控制方法。

背景技术

基于人脸和眼部检测的控制系统是信息无障碍的一种应用，目的在于不需要通过肢体运动或者帮助肢体行动存在障碍的人士控制电脑。随着技术的发展，将应用在更宽广的领域。比如在生活中，能应用到自动驾驶上；在军事方面，可以实现飞机导弹操作控制等等。总的来说，基于视觉的人脸和眼部检测控制系统有着极其广阔的发展前景。

就目前而言，在基于人脸和眼部检测的控制技术方面，人脸和人眼作为交互装置最直接的用处就是代替鼠标作为一种指点装置。

眼部跟踪技术的装置有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分。其精度从0.1°到2°不等，制造成本也有巨大差异。有关视觉输入的人机界面研究主要涉及两个方面：一是人眼跟踪原理和技术的研究；二是使用这种交互方式后，人机界面的设计技术和原理的研究。

视线跟踪技术还处在起步阶段，目前德国研究人员已经开发出眼控电脑软件系统，而Tobii已经问世，成为眼动技术的世界领先者。视线跟踪技术主要是解决眼睛运动特性的检测问题，目前主要的检测方法有眼电图法、接触镜法，角膜反射法，红外光电反射法，红外电视法等。

(1)眼电图法：通常情况下由于人的视网膜代谢水平所以人眼球后部的视网膜与前部的角膜之间会产生电压，大小在数十毫伏左右，该电压的正极是角膜区，负极是视网膜。眼电图法的依据就是眼球转动时眼球周围电势的大小变化，具体做法就是将两对由氯化银制作的皮肤表面电极分别置于左右眼的上下两侧，当人眼球转动是引起的眼球变化方向产生的微弱电信号，经放大后由这两个皮肤表面电极输出，通过检测该电势的变化就可得到眼球的位置信息。从以上描述可以看出这种方法的优点是成本低，缺点是误差较大，并且对人的干扰也大。

(2)接触镜法：该方法也需要在眼睛的角膜或者巩膜上黏贴反射镜，再根据眼球运动时反射镜对固定光束的反射方向获得眼动信息。该方法和眼电图法很相似，所以它的优点也是成本低，容易实现，缺点是对人的干扰太大。

(3)角膜反射法：该方法属于非接触式方法，它通过检测外物在人眼角膜表面形成的虚像获得眼动信息。角膜反射方法的最大缺点是精度很低，几乎不能实际应用。

(4)红外电视法：红外电视法是利用眼睛各部分对红外光线的反射特性不同实现的。具体做法是用红外线照射人眼，同时用对红外敏感的摄像头捕获眼部图像，将捕获的电视摄像管的像转换成电视视频信号，再经过信号处理就能得到垂直和水平方向的二维眼球位置信号，然后根据该信号就可以估算人眼视线方向。该方法的优点是使用简单，对人无干扰并且也无限制，缺点是测量设备较贵，但总体来说它是目前眼动测量方法中最为实用的一种。

(5)红外光电反射法：该方法同样是红外线照射眼部，再在眼部附近安装两只红外光敏管，使虹膜与巩膜的边缘处的左右两部分反射的红外光分别为这两只光敏管所接收。当眼球向右运动时，虹膜转向右边，右边的光敏管所接收的红外线就会减少；而左边的巩膜反射部分增加，导致左边的光敏管所接收的红外线就会增加，利用这个差分信号就能无接触地测出眼动。该方法的缺点是误差大。

在实时人眼跟踪与眨眼检测方面，因为眼睛作为人脸的重要特征，在人眼检测和识别中发挥着重要作用。眼睛的定位也是视线跟踪、眼睛状态分析以及虹膜识别的首要工作。许多学者对人眼的跟踪和状态识别进行了探索，这个方向也是近来研究的热点之一。

总之，以上方法无法使用低成本的普通摄像头检测人脸和眼部，准确高效地实现鼠标控制。

发明内容

本发明的目的是提供一种用低成本的普通摄像头能实现的通过对操作者脸部进行检测与跟踪，同时结合操作者眼部动作来实现的鼠标控制方法。

为了达到上述目的，本发明的技术方案提供了一种基于人脸和眼部检测的鼠标控制方法，其步骤为：

1.视频信号预处理

采集摄像头视频信号，并对信号进行预处理，包括噪声滤除处理，色彩空间的转换等等；

2.人脸的检测

在前一步视频画面经过处理之后，基于肤色和Haar特征对操作者的脸部进行检测；

3.人脸的运动跟踪

对操作者的脸部在画面之中的运动进行跟踪，记录运动轨迹和坐标位置；

4.眼部的定位

当正确检测到人脸之后，在人脸中检测定位出操作者两个眼睛的位置；

5.眼部动作的检测

检测操作者的眼部动作，分别有左眼闭、右眼闭、眨眼等动作；

6.鼠标控制

根据操作者的脸部在画面之中的运动轨迹，控制鼠标的移动；结合操作者的眼部动作，控制鼠标左右按键的点击动作。

本发明通过图像处理和计算机视觉的技术，检测操作者的脸部位置，跟踪脸部的运动，并检测操作者的眼部动作，从而实现对鼠标的控制。使用低成本的普通摄像头，为肢体残障人士或者手部受限制的计算机用户提供了一种方便的人机交互方式。

附图说明

图1是基于人脸和眼部检测的鼠标控制方法流程图

图2是对脸部的检测和眼部的定位

图3是对眼部的动作检测

具体实施方式

本发明使用普通的摄像头采集包含有操作者脸部的视频信号，通过图像处理和计算机视觉的技术，处理视频画面，基于肤色和Haar特征检测出人脸，然后用MeanShift算法跟踪人脸的运动，控制鼠标的运动，再根据操作者眼部的动作，控制鼠标的按键，从而在一个低成本硬件平台的基础上实现一种方便的人机交互方式。

1.视频信号预处理

如图1所示，首先是对摄像头采集到的视频信号预处理。

在视频图像处理中，图像传感器带来的噪声为主要噪声来源。一般将其划分为三部分：电子噪声——用高斯白噪声模拟、光电子噪声——用泊松分布的光电噪声模型模拟、感光颗粒噪声——用高斯白噪声模拟。因此在图像处理之前，应该将其去除，以便得到良好的处理效果。

空间域图像f(x,y)经过傅立叶变换转换到频域处理，原图像被转换为F(u,v)。然后，函数H(u,v)对频域图像F(u,v)进行处理，将其变换为G(u,v)。处理后的结果再经过傅立叶反变换得到空间域图像g(x,y)。这个过程就是频域的滤波处理，其中，H(u,v)是滤波函数。F(u,v)和G(u,v)分别是f(x,y)和g(x,y)的傅立叶变换形式，它们之间有如下卷积关系：

$f(x,y)*h(x,y)\⇔F(u,v)H(u,v)$

用二维零均值离散高斯函数作平滑滤波器，这种函数的表达式为：

$H(u,v)=e^{-\frac{u^2+v^2}{2{\mathrm{\σ}}^2}}$

高斯平滑滤波器在各个方向上的平滑程度是相同的，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的。图像要有良好的平滑效果σ参数既不能太小，也不能σ参数过大让图像细节模糊。σ参数选择要适当，经过实际比较5×5高斯滤波效果最佳。

颜色是物体表面的一种视觉特性，每种物体都有其特有的颜色特征。颜色是图像内容组成的基本要素，是人识别图像的主要感知特征之一。相对于其他特征，颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种形变不敏感，表现出相当强的鲁棒性，而且颜色特征计算简单。

由色调、饱和度、亮度三要素构成的颜色模型，被称作为HSV(Hue，Saturation，Value)模型或HSI(Hue，Saturatson，Intensity)模型。色调H表示色彩信息，即所处的光谱颜色的位置。将RGB彩色图像转换到HSV空间。

$\left\{\begin{array}{ccc}H=\arccos \frac{\frac{1}{2}((R-G)+(R-B))}{{({(R-G)}^2+(R-B)(G-B))}^{\frac{1}{2}}}& \mathrm{if}& B\≤G\\ H=2\mathrm{\π}-\arccos \frac{\frac{1}{2}((R-G)+(R-B))}{{({(R-G)}^2+(R-B)(G-B))}^{\frac{1}{2}}}& \mathrm{if}& B>G\\ S=\frac{\mathrm{Max}(R,G,B)-\mathrm{Min}(R,G,B)}{\mathrm{Max}(R,G,B)}& & \\ V=\frac{\mathrm{Max}(R,G,B)}{255}& & \end{array}\right.$

2.人脸的检测

在HSI空间中，基于预先设定的肤色信息，粗略地检测视频画面中操作者的皮肤区域，缩小人脸的搜索范围。

采用Haar特征描述人脸，使用AdaBoost算法从大量的Haar特征中挑选出一小部分构建出强分类器。依据Haar特征的分类器的训练结果，建立一个包含人脸模型的XML文件，使用Haar目标检测算法，从视频画面中检测出操作者的脸部。

3.人脸的运动跟踪

采用均值漂移（Mean Shift）方法，基于人脸的颜色信息，跟踪操作者脸部区域的运动。

脸部区域的中心位置由y₀移动到新的位置y₁：

${\hat{y}}_{1=}\frac{{\mathrm{\Σ}}_{i=1}^{n_h}{x}_i{\mathrm{\ω}}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_h}{\mathrm{\ω}}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}$

4.眼部的定位

在框出的人脸区域算出眼睛寻找区域，在此区域分别获取左眼和右眼的图像。

使用Canny算法中的卷积算子

$S_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right],$ $S_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

在人脸区域检测出边缘，然后使用Hough变换检测圆，在人脸区域内部，定位出左眼和右眼。

5.眼部动作的检测

检测操作者的眼部动作，分别有左眼闭、右眼闭、眨眼等动作。如果把一个眼睛区域分成上下两个部分，当眨眼的时候上下两个部分的灰度值分布会有显著的差异。计算上下区域的平均流明强度。当上下区域的平均强度随着时间打点，可以做出不同人眼视频序列的检测结果。

6.鼠标控制

通过校准可以得到人眼注视电脑屏幕中心及四个顶点眼球中心位置的坐标，设这些坐标为中(x₀,y₀)，上(x₀,y₁)，下(x₀,y₂)，左(x₁,y₀)，右(x₂,y₀)。设电脑屏幕的分辨率1920×1080，则眼球中心的坐标与电脑坐标的比例系数为：

设眼部的实时坐标为(x_i,y_i)，则实时的视场区域中心坐标(x,y)为：

(x,y)＝(α_i(x_i-x₀),β_i(y_i,y₀))

当x_i＜x₀时α_i＝α₁；当x_i＞x₀时α_i＝α₂。当y_i＜y₀时β_i＝β₁；当y_i＞y₀时β_i＝β₂。最后对(x,y)取整。当识别失败时，无输入。此时(x_i,y_i)＝(x₀,y₀)。

Claims (1)

1.一种基于人脸和眼部检测的鼠标控制方法，其特征在于，步骤为：

a)视频信号预处理

用二维零均值离散高斯函数作平滑滤波器，这种函数的表达式为：

$H(u,v)=e^{-\frac{u^2+v^2}{{2\mathrm{\σ}}^2}}$

高斯平滑滤波器在各个方向上的平滑程度是相同的，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的；

色调H表示色彩信息，即所处的光谱颜色的位置；将RGB彩色图像转换到HSV空间；

b)人脸的检测

在HSI空间中，基于预先设定的肤色信息，粗略地检测视频画面中操作者的皮肤区域，缩小人脸的搜索范围；

采用Haar特征描述人脸，使用AdaBoost算法从大量的Haar特征中挑选出一小部分构建出强分类器；依据Haar特征的分类器的训练结果，建立一个包含人脸模型的XML文件，使用Haar目标检测算法，从视频画面中检测出操作者的脸部；

c)人脸的运动跟踪

采用均值漂移（Mean Shift）方法，基于人脸的颜色信息，跟踪操作者脸部区域的运动；

脸部区域的中心位置由y₀移动到新的位置y₁：

${\hat{y}}_1=\frac{{\mathrm{\Σ}}_{i=1}^{n_h}{x}_i{\mathrm{\ω}}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_h}{\mathrm{\ω}}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}$

d)眼部的定位

在框出的人脸区域算出眼睛寻找区域，在此区域分别获取左眼和右眼的图像；使用Canny算法中的卷积算子在人脸区域检测出边缘，然后使用Hough变换检测圆，在人脸区域内部，定位出左眼和右眼；

e)眼部动作的检测

检测操作者的眼部动作，分别有左眼闭、右眼闭、眨眼等动作；如果把一个眼睛区域分成上下两个部分，当眨眼的时候上下两个部分的灰度值分布会有显著的差异；计算上下区域的平均流明强度；当上下区域的平均强度随着时间打点，可以做出同人眼视频序列的检测结果；

f)鼠标控制

通过校准可以得到人眼注视电脑屏幕中心及四个顶点眼球中心位置的坐标，实时跟踪人脸的运动，控制鼠标移动；根据人眼状态的检测结果，控制鼠标按键动作。

Images