CN104898971A - 一种基于视线跟踪技术的鼠标指针控制方法及系统 - Google Patents

Abstract

本发明涉及一种基于视线跟踪技术的鼠标指针控制方法及系统，属于机器视觉和人机交互技术领域。包括图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算其角点中心位置；特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。本发明使双手有残疾的人员能够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；实现了鼠标指针控制系统的精确性、实时性。

Description

一种基于视线跟踪技术的鼠标指针控制方法及系统

技术领域

本发明涉及一种基于视线跟踪技术的鼠标指针控制方法及系统，属于机器视觉和人机交互技术领域。

背景技术

随着计算机技术的高速发展，特别是图形用户界面诞生以来，我们与计算机的交互变得更加容易、快捷。网络购物、信息查询、辅助办公、多媒体娱乐等功能为我们的生活和工作提供了方便，带来了乐趣。然而，目前存在的交互方式大都需要人手操作，从而对上肢残障人士或上肢不便者造成现代信息共享障碍，仅仅通过手操作鼠标和键盘来实现与电脑的交互，将众多想要享受其便利的上肢残疾的人拒之门外。

目前，国内通常采用的鼠标指针控制系统是以硬件为基础的鼠标指针控制方法，以硬件为基础的方法需要用户带上特制的头盔、特殊的隐形眼镜、或者使用头部固定支架、置于用户头顶的摄像机等，对用户的干扰较大。

因此，有必要在上述鼠标指针控制系统的基础上提出一种准确、实时、且有较好用户体验的鼠标指针控制系统，从而帮助残障、专业技术人员在无法使用双手的情况下实现与计算机等设备的人机交互。

发明内容

本发明提供了一种基于视线跟踪技术的鼠标指针控制方法及系统，以用于解决现有鼠标指针控制方法主要依靠双手，人机交互性较差，使得很多残疾人无法使用鼠标的问题。

本发明的技术方案是：一种基于视线跟踪技术的鼠标指针控制方法，所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；

Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：

采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区域，则记录该人眼区域为W_n；接着执行步骤Step3；

如果没有检测到人眼区域，则返回步骤Step1；

Step3、在检测到的人眼区域W_n内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n；并由第n帧所有角点位置计算得到其中心位置 $(x,y)=(\frac{x_1^n+x_2^n+\·\·\·x_n^n}{n},\frac{y_1^n+y_2^n+\·\·\·y_n^n}{n}),$ 接着执行步骤Step4；

Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域W_n+1和Harris角点位置pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n；

Step5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：

以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；

若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；

Step6、若根据步骤Step5匹配成功的角点分别为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n，pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n，则计算其移动平均位移量并根据和第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。

一种基于视线跟踪技术的鼠标指针控制系统，包括：

图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；

人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；

特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的Harris角点中心位置；

特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；

鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。

本发明的工作原理是：

所述特征点提取模块Harris角点检测算法的使用如下：

Harris算子直接利用图像的灰度信息进行检测，广泛地应用在目标识别与跟踪、运动检测等领域。其基本原理是用图像局部窗口内的平均灰度变化率来表示该窗口中心像素点的角点量，灰度变化越显著，该点的角点量越大。记像素点(x,y)的灰度为f(x,y)，图像每个像素点(x,y)移动(u,v)的灰度强度变化表示为：

$\begin{array}{c}{E}_{u,v}=\underset{u,v}{\mathrm{\Σ}}{\mathrm{\ω}}_{u,v}{[f(x+u,y+v)-f(x,y)]}^2\\ =\underset{u,v}{\mathrm{\Σ}}{\mathrm{\ω}}_{u,v}{[u\frac{\∂f}{\∂x}+v\frac{\∂f}{\∂y}+O(u^2+v^2)]}^2\\ \≈\underset{u,v}{\mathrm{\Σ}}{\mathrm{\ω}}_{u,v}{(u\frac{\∂f}{\∂x}+v\frac{\∂f}{\∂y})}^2\\ =\underset{u,v}{\mathrm{\Σ}}{\mathrm{\ω}}_{u,v}(u,v)\left[\begin{array}{cc}{\left(\frac{\∂f}{\∂x}\right)}^2& \frac{\∂f}{\∂x}\frac{\∂f}{\∂y}\\ \frac{\∂f}{\∂x}\frac{\∂f}{\∂y}& {\left(\frac{\∂f}{\∂y}\right)}^2\end{array}\right]{(u,v)}^T\end{array}---\left(1\right)$

其中ω_u,v为高斯窗口在(u,v)处的系数，对图像进行平滑滤波。在Harris角点检测算法中，与分别反映图像在不同方向上的灰度变化，若某一像素点(x,y)在每个方向都发生了较大的灰度变化，则提取为角点。

令 $M=\left[\begin{array}{cc}{\left(\frac{\∂f}{\∂x}\right)}^2& \frac{\∂f}{\∂x}\frac{\∂f}{\∂y}\\ \frac{\∂f}{\∂x}\frac{\∂f}{\∂y}& {\left(\frac{\∂f}{\∂y}\right)}^2\end{array}\right],$ 则M称为像素点(x,y)的自相关矩阵并由此得到Harris的角点相应函数(CRF)的表达式为：CRF(x,y)＝det(M)-k[trace(M)]²。其中det(M)表示矩阵M的行列式，trace(M)表示矩阵的迹。当所检测像素点的CRF值大于算法给定阈值0.2时，该像素点即为角点。

本发明的有益效果是：

本发明是一种基于视线跟踪技术的鼠标指针控制方法及系统，它是针对现有鼠标指针控制方法的不足而提出来的。通过使用本鼠标指针控制系统，使双手有残疾的人员能够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；使残疾人能尽可能的正常工作和生活；同时对于四肢健全的人来说本发明可以将人的双手解放出来做一些其他重要的工作，另外，利用本发明还可以帮助长期使用鼠标的人预防一些职业疾病，如肩周炎、小臂肌肉麻木等。

通过结合了Viola-Jones人眼检测算法、Harris角点提取算法。这样不仅保证了特征点的检测，还能通过Harris角点的多重匹配提高系统精度，从而实现了鼠标指针控制系统的准确性、实时性。

附图说明

图1为本发明的整体模块框图；

图2为本发明中系统算法原理流程图；

图3为本发明中人眼特征检测流程图；

图4为本发明中鼠标指针控制原理图；

图5为本发明中鼠标指针控制效果图；

图6为其他同类鼠标指针控制系统控制效果图。

具体实施方式

实施例1：如图1-6所示，一种基于视线跟踪技术的鼠标指针控制方法，所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；

Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：

采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区域，则记录该人眼区域为W_n；接着执行步骤Step3；

如果没有检测到人眼区域，则返回步骤Step1；

Step3、在检测到的人眼区域W_n内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n；并由第n帧所有角点位置计算得到其中心位置 $(x,y)=(\frac{x_1^n+x_2^n+\·\·\·x_n^n}{n},\frac{y_1^n+y_2^n+\·\·\·y_n^n}{n}),$ 接着执行步骤Step4；

Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域W_n+1和Harris角点位置pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n；

Step5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：

以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；

若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；

Step6、若根据步骤Step5匹配成功的角点分别为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n，pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n，则计算其移动平均位移量并根据和第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。

所述的基于视线跟踪技术的鼠标指针控制系统，包括：

图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；

人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；

特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的Harris角点中心位置；

特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；

鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。

实施例2：如图1-6所示，一种基于视线跟踪技术的鼠标指针控制方法，所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；

具体为：选取配置CPU为Intel酷睿2双核T66702.2GHz，3GB DDR31066内存，摄像头为笔记本自带集成130万像素摄像头(640*480)的笔记本电脑作为硬件平台，操作系统为Window7；

Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：

具体为：鉴于人眼位置在面部中间且对称，单一眼睛的移动即可较好的反映人眼的移动轨迹，因此为了保证本系统的实时性，本发明采取单眼检测策略如果检测到人眼区域，当人脸向右偏转时，则检测左眼区域，当人脸向左偏转时，则检测右眼区域。记录检测到的人眼区域W_n，接着执行步骤Step3；

如果没有检测到人眼区域，则返回步骤Step1；

具体为：使用Viola-Jones算法对采集到的的第n帧图像数据进行人眼区域的检测的流程如图3所示：首先截取图像进入分类器，然后判断是否为系统所需要的人眼区域，若是，则由系统标注人眼区域所在位置；若没有检测到人眼区域，则重新截取图像进入分类器；

不同参数下检测一帧所用时间如表1所示：

表1不同参数下检测一帧所用时间

Step3、在检测到的人眼区域W_n内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n；并由第n帧所有角点位置计算得到其中心位置 $(x,y)=(\frac{x_1^n+x_2^n+\·\·\·x_n^n}{n},\frac{y_1^n+y_2^n+\·\·\·y_n^n}{n}),$ 接着执行步骤Step4。

具体为：使用Harris角点检测算法对Step2中得到的人眼区域进行Harris角点提取操作，这样做的目的是为求得Harris角点的平均位移矢量，从而提升系统的整体精度；

Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域W_n+1和Harris角点位置pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n；

Step5、根据检测到的前后帧Harris角点位置进行匹配操作；

具体为：以每个Harri角点为中心，将其邻域窗口O的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；

若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；

Step6、若根据步骤Step5匹配成功的角点分别为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n，pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n，则计算其移动平均位移量并根据和第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。

如图4所示为鼠标指针控制原理图，通过对前后帧人眼区域内的Harris角点进行匹配得到其平均移动矢量，然后根据第n帧中Harris角点的中心位置作为起点来控制鼠标指针移动。

图5所示为本发明鼠标指针控制效果图。将图5与图6所示其他同类鼠标指针控制系统控制效果图(图6为Kalman滤波器的鼠标指针控制系统效果图)相对比可以看出，本发明的鼠标指针控制效果流畅，能较为准确的达到所需特征点，有较高的使用价值。

一种基于视线跟踪技术的鼠标指针控制系统，包括：

图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；

人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；

特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的Harris角点中心位置；

特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；

鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于视线跟踪技术的鼠标指针控制方法，其特征在于：所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；

Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：

采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区域，则记录该人眼区域为W_n；接着执行步骤Step3；

如果没有检测到人眼区域，则返回步骤Step1；

Step3、在检测到的人眼区域W_n内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n；并由第n帧所有角点位置计算得到其中心位置 $(x,y)=(\frac{x_1^n+x_2^n+\·\·\·x_n^n}{n},\frac{y_1^n+y_2^n+\·\·\·y_n^n}{n}),$ 接着执行步骤Step4；

Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域W_n+1和Harris角点位置pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n；

Step5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：

以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；

若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；

Step6、若根据步骤Step5匹配成功的角点分别为pⁿ ₁、pⁿ ₂、pⁿ ₃…pⁿ _n，pⁿ⁺¹ ₁、pⁿ⁺¹ ₂、pⁿ⁺¹ ₃…pⁿ⁺¹ _n，则计算其移动平均位移量并根据和第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。

2.一种基于视线跟踪技术的鼠标指针控制系统，其特征在于：包括：

图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；

人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；

特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的Harris角点中心位置；

特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；

鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。