CN104123000A - 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统 - Google Patents

一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统 Download PDF

Info

Publication number
CN104123000A
CN104123000A CN201410324897.3A CN201410324897A CN104123000A CN 104123000 A CN104123000 A CN 104123000A CN 201410324897 A CN201410324897 A CN 201410324897A CN 104123000 A CN104123000 A CN 104123000A
Authority
CN
China
Prior art keywords
unique point
image
module
mouse pointer
nose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410324897.3A
Other languages
English (en)
Inventor
王彬
翁政魁
刘辉
王瑞
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201410324897.3A priority Critical patent/CN104123000A/zh
Publication of CN104123000A publication Critical patent/CN104123000A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统，属于机器视觉和人机交互领域。本发明包括图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。本发明使双手有残疾的人员能够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；实现了鼠标指针控制系统的准确性、实时性。

Description

一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统
技术领域
本发明涉及一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统，属于机器视觉和人机交互领域。
背景技术
随着计算机技术的高速发展，特别是图形用户界面诞生以来，我们与计算机的交互变得更加容易、快捷。网络购物、信息查询、辅助办公、多媒体娱乐等功能为我们的生活和工作提供了方便，带来了乐趣。然而，目前存在的交互方式大都需要人手操作，从而对上肢残障人士或上肢不便者造成现代信息共享障碍，仅仅通过手操作鼠标和键盘来实现与电脑的交互，将众多想要享受其便利的上肢残疾的人拒之门外。
目前，国内通常采用的鼠标指针控制系统是以硬件为基础的鼠标指针控制方法，以硬件为基础的方法需要用户带上特制的头盔、特殊的隐形眼镜、或者使用头部固定支架、置于用户头顶的摄像机等，对用户的干扰较大。 
因此，有必要在上述鼠标指针控制系统的基础上提出一种准确、实时、且有较好用户体验的鼠标指针控制系统，从而帮助残障、专业技术人员在无法使用双手的情况下实现与计算机等设备的人机交互。
发明内容
本发明提供了一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统，以用于解决现有鼠标指针控制方法主要依靠双手，人机交互性较差，使得很多残疾人无法使用鼠标的问题。
本发明的技术方案是：一种基于人脸特征检测的非侵入式鼠标指针控制方法，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
所述方法的具体步骤如下：
Step1、通过摄像头采集图像数据并进行预处理；
Step2、使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m个鼻尖特征点在整个图像中的位置（x,y）；接着执行步骤Step3；
如果没有检测到鼻尖特征点，则返回步骤Step1；
Step3、通过采集第n+1帧图像数据并使用Kalman滤波算法对鼻尖特征点在第n+1帧中可能出现的位置进行跟踪；
Step4、获取步骤Step3中通过Kalman滤波算法跟踪得到的窗口图像，并利用Viola-Jones算法在跟踪得到的窗口图像中进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m+1个鼻尖特征点在整个图像中的位置（x+dx,y+dy）；接着执行步骤Step5；
如果没有检测到鼻尖特征点，则返回步骤Step3；
Step5、根据检测到的第m个鼻尖特征点的位置（x,y）和第m+1个鼻尖特征点的位置（x+dx,y+dy）控制鼠标指针依据位移矢量进行移动；
其中，（dx,dy）为前后两帧中鼻尖特征点的位移量。
所述预处理包括两个步骤：
步骤一，将采集的彩色图像转换为灰度图像；
步骤二，将灰度图像的直方图均衡化。
一种基于人脸特征检测的非侵入式鼠标指针控制系统，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
本发明的工作原理是：
所述特征点跟踪模块Kalman滤波算法的使用如下：
Kalman滤波算法是一个对动态系统的状态序列进行线性小方差估计的算法，基于系统以前的状态序列对下一个状态做最优估计，预测时具有无偏、稳定和最优的特点。系统的状态方程和观测方程分别为
状态方程                                               
观测方程
其中x t 为t时刻n维状态向量；z t 为t时刻n维测量向量。A、H分别为状态转移矩阵和测量矩阵。w t 、v t 是两个随机变量，分别为正态分布的状态和测量噪声向量。
定义Kalman滤波算法的状态向量是一个四维向量(p x ,p y ,v x ,v y )，分别对应运动末班中的目标位置(p x ,p y )和速度(v x ,v y )。由于假设特征点在单位时间间隔内做匀速运动，状态转移矩阵A可以定义为
根据状态方程和观测方程的关系，可以得到观测矩阵H为：
跟踪过程中，初始化设定(v x ,v y )分量(v x0,v y0)分别取零。根据Viola-Jones检测算法的检测的窗口中心位置(p x ,p y )即z t 作为Kalman滤波算法的测量值，依此修正当前帧的估计值x t ，再使用当前帧的测量值z t 和估计值x t 就可以跟踪得到下一帧的质心位置，并根据Kalman滤波算法跟踪得到的质心位置x t+1设置第帧图像搜索窗口的中心位置。
本发明的有益效果是：
本发明是一种基于人脸特征检测的非侵入式鼠标指针控制系统，它是针对现有鼠标指针控制方法的不足而提出来的。通过使用本鼠标指针控制系统，使双手有残疾的人员能够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；使残疾人能尽可能的正常工作和生活；同时对于四肢健全的人来说本发明可以将人的双手解放出来做一些其他重要的工作，另外，利用本发明还可以帮助长期使用鼠标的人预防一些职业疾病，如肩周炎、小臂肌肉麻木等。
通过结合了Viola-Jones人脸特征检测算法和Kalman滤波算法。这样不仅保证了特征点的检测，还能通过Kalman滤波算法对系统进行加速，从而实现了鼠标指针控制系统的准确性、实时性。
附图说明
图1为本发明的整体模块框图；
图2为本发明中系统算法原理流程图；
图3为本发明中鼻尖特征点检测流程图；
图4为本发明中鼠标指针控制原理图；
图5为本发明中鼠标指针控制效果图；
图6为其他同类鼠标指针控制系统控制效果图。
具体实施方式
实施例1：如图1-6所示，一种基于人脸特征检测的非侵入式鼠标指针控制方法，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
所述方法的具体步骤如下：
Step1、通过摄像头采集图像数据并进行预处理；
Step2、使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m个鼻尖特征点在整个图像中的位置（x,y）；接着执行步骤Step3；
如果没有检测到鼻尖特征点，则返回步骤Step1；
Step3、通过采集第n+1帧图像数据并使用Kalman滤波算法对鼻尖特征点在第n+1帧中可能出现的位置进行跟踪；
Step4、获取步骤Step3中通过Kalman滤波算法跟踪得到的窗口图像，并利用Viola-Jones算法在跟踪得到的窗口图像中进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m+1个鼻尖特征点在整个图像中的位置（x+dx,y+dy）；接着执行步骤Step5；
如果没有检测到鼻尖特征点，则返回步骤Step3；
Step5、根据检测到的第m个鼻尖特征点的位置（x,y）和第m+1个鼻尖特征点的位置（x+dx,y+dy）控制鼠标指针依据位移矢量进行移动；
其中，（dx,dy）为前后两帧中鼻尖特征点的位移量。
所述预处理包括两个步骤：
步骤一，将采集的彩色图像转换为灰度图像；
步骤二，将灰度图像的直方图均衡化。
一种基于人脸特征检测的非侵入式鼠标指针控制系统，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
实施例2：如图1-6所示，一种基于人脸特征检测的非侵入式鼠标指针控制方法，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
所述方法的具体步骤如下：
Step1、通过摄像头采集图像数据并进行预处理；所述预处理包括两个步骤：步骤一，将采集的彩色图像转换为灰度图像；步骤二，将灰度图像的直方图均衡化。
具体为：选取配置CPU为Intel酷睿2双核T6670 2.2GHz，3GB DDR3 1066内存，摄像头为笔记本自带集成130万像素摄像头（640*480）的笔记本电脑作为硬件平台，操作系统为WindowXP；采用Gray = R*0.299 + G*0.587 + B*0.114转换公式将采集的RGB色彩空间进行灰度图像的转换；再通过对图像直方图的均衡化来增强图像的动态性能，为后续处理做准备；其中，Gray表示转化后得到的灰度值；R、G、B代表RGB色彩空间图像的三个颜色通道，分别代表红色、绿色、蓝色。
Step2、使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m个鼻尖特征点在整个图像中的位置（x,y）；接着执行步骤Step3；
如果没有检测到鼻尖特征点，则返回步骤Step1；
具体为：使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测的流程如图3所示：首先截取图像进入分类器，然后判断是否为系统所需要的鼻尖特征点，若是，则由系统标注出鼻尖所在位置；若没有检测到鼻尖特征点，则重新截取图像进入分类器。
对图像进一步分析可以得出，在算法能检测出鼻尖特征点位置时，鼻尖特征点的移动范围是可以达到260*240。对于1280*800的屏幕来说，控制精度为4.9*3.3，这个精度基本上可以满足控制要求，不同参数下检测一帧所用时间如表1所示。
Step3、通过采集第n+1帧图像数据并使用Kalman滤波算法对鼻尖特征点在第n+1帧中可能出现的位置进行跟踪；
具体为：使用Kalman滤波算法之后，优先对跟踪的位置进行搜索，如果在预测的位置内没有搜索到特征，则再进行全局搜索。通过比较可以看出，使用Kalman滤波算法跟踪下一帧搜索窗口的位置，在跟踪窗口内进行搜索，降低运算量，减少了算法所用时间。如表2所示。
Step4、获取步骤Step3中通过Kalman滤波算法跟踪得到的窗口图像，并利用Viola-Jones算法在跟踪得到的窗口图像中进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m+1个鼻尖特征点在整个图像中的位置（x+dx,y+dy）；接着执行步骤Step5；
如果没有检测到鼻尖特征点，则返回步骤Step3；
Step5、根据检测到的第m个鼻尖特征点的位置（x,y）和第m+1个鼻尖特征点的位置（x+dx,y+dy）控制鼠标指针依据位移矢量进行移动；
其中，（dx,dy）为前后两帧中鼻尖特征点的位移量。
如图4所示为鼠标指针控制原理图，图5所示为本发明鼠标指针控制效果图。将图5与图6所示其他同类鼠标指针控制系统控制效果图（图6为采用SIFT尺度不变特征变换算法的控制效果）相对比可以看出，本发明的鼠标指针控制效果流畅，能较为准确的达到所需特征点，有较高的使用价值。
一种基于人脸特征检测的非侵入式鼠标指针控制系统，包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于人脸特征检测的非侵入式鼠标指针控制方法，其特征在于：包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
2.根据权利要求1所述的基于人脸特征检测的非侵入式鼠标指针控制方法，其特征在于：所述方法的具体步骤如下：
Step1、通过摄像头采集图像数据并进行预处理；
Step2、使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m个鼻尖特征点在整个图像中的位置（x,y）；接着执行步骤Step3；
如果没有检测到鼻尖特征点，则返回步骤Step1；
Step3、通过采集第n+1帧图像数据并使用Kalman滤波算法对鼻尖特征点在第n+1帧中可能出现的位置进行跟踪；
Step4、获取步骤Step3中通过Kalman滤波算法跟踪得到的窗口图像，并利用Viola-Jones算法在跟踪得到的窗口图像中进行鼻尖特征点的检测：
如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m+1个鼻尖特征点在整个图像中的位置（x+dx,y+dy）；接着执行步骤Step5；
如果没有检测到鼻尖特征点，则返回步骤Step3；
Step5、根据检测到的第m个鼻尖特征点的位置（x,y）和第m+1个鼻尖特征点的位置（x+dx,y+dy）控制鼠标指针依据位移矢量进行移动；
其中，（dx,dy）为前后两帧中鼻尖特征点的位移量。
3.根据权利要求1所述的基于人脸特征检测的非侵入式鼠标指针控制方法，其特征在于：所述预处理包括两个步骤：
步骤一，将采集的彩色图像转换为灰度图像；
步骤二，将灰度图像的直方图均衡化。
4.一种基于人脸特征检测的非侵入式鼠标指针控制系统，其特征在于：包括：
图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；
图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；
特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；
特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；
鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。
CN201410324897.3A 2014-07-09 2014-07-09 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统 Pending CN104123000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410324897.3A CN104123000A (zh) 2014-07-09 2014-07-09 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410324897.3A CN104123000A (zh) 2014-07-09 2014-07-09 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统

Publications (1)

Publication Number Publication Date
CN104123000A true CN104123000A (zh) 2014-10-29

Family

ID=51768438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410324897.3A Pending CN104123000A (zh) 2014-07-09 2014-07-09 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统

Country Status (1)

Country Link
CN (1) CN104123000A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898971A (zh) * 2015-05-11 2015-09-09 昆明理工大学 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN105187764A (zh) * 2015-06-26 2015-12-23 哈尔滨工程大学 一种基于视觉分析的水下测量救生装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039111A1 (en) * 2000-06-27 2002-04-04 James Gips Automated visual tracking for computer access
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN101577005A (zh) * 2009-06-12 2009-11-11 北京中星微电子有限公司 一种目标跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039111A1 (en) * 2000-06-27 2002-04-04 James Gips Automated visual tracking for computer access
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN101577005A (zh) * 2009-06-12 2009-11-11 北京中星微电子有限公司 一种目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D.O.GORODNICHY等: "Nouse ‘Use Your Nose as a Mouse’ – a New Technology for Hands-free Games and Interfaces", 《IMAGE AND VISION COMPUTING》 *
严超等: "基于AdaBoost和Kalman算法的人眼检测与跟踪", 《南京大学学报（自然科学）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898971A (zh) * 2015-05-11 2015-09-09 昆明理工大学 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN104898971B (zh) * 2015-05-11 2017-12-22 昆明理工大学 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN105187764A (zh) * 2015-06-26 2015-12-23 哈尔滨工程大学 一种基于视觉分析的水下测量救生装置

Similar Documents

Publication Publication Date Title
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
Gorodnichy et al. Nouse ‘use your nose as a mouse’perceptual vision technology for hands-free games and interfaces
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Crowley et al. Vision for man machine interaction
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN103995595A (zh) 一种基于手势的游戏体感控制方法
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
CN104898971B (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN102222342A (zh) 人体运动跟踪及其识别方法
CN103279188A (zh) 一种基于Kinect无接触性操作控制PPT的方法
Leelasawassuk et al. Estimating visual attention from a head mounted IMU
CN105261038A (zh) 基于双向光流和感知哈希的指尖跟踪方法
CN113807287B (zh) 一种3d结构光人脸识别方法
CN113160260B (zh) 一种头眼双通道智能人机交互系统及运行方法
CN104123000A (zh) 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统
CN102222343A (zh) 人体运动跟踪方法及其系统
CN108255285A (zh) 一种基于掌间点检测的运动手势检测方法
Ahmed et al. Controlling Multimedia Player With Eye Gaze Using Webcam
Triesch et al. Robotic gesture recognition by cue combination
CN104375631A (zh) 一种基于移动终端的非接触式交互方法
CN104866112A (zh) 一种基于移动终端的非接触式交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141029

RJ01 Rejection of invention patent application after publication