CN102184016B - 基于视频序列识别的无接触式鼠标控制方法 - Google Patents

基于视频序列识别的无接触式鼠标控制方法 Download PDF

Info

Publication number
CN102184016B
CN102184016B CN201110124974A CN201110124974A CN102184016B CN 102184016 B CN102184016 B CN 102184016B CN 201110124974 A CN201110124974 A CN 201110124974A CN 201110124974 A CN201110124974 A CN 201110124974A CN 102184016 B CN102184016 B CN 102184016B
Authority
CN
China
Prior art keywords
image
tongue
mouse
lip
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110124974A
Other languages
English (en)
Other versions
CN102184016A (zh
Inventor
刘勇奎
王巍
王鹏
辛慧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Nationalities University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Nationalities University filed Critical Dalian Nationalities University
Priority to CN201110124974A priority Critical patent/CN102184016B/zh
Publication of CN102184016A publication Critical patent/CN102184016A/zh
Application granted granted Critical
Publication of CN102184016B publication Critical patent/CN102184016B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频序列识别的无接触式鼠标控制方法，包括以下步骤：视频采集、人脸检测、人脸图像预处理、嘴唇定位、提取舌头行为特征向量、舌头行为识别并激发鼠标操作。本发明利用嘴部和舌头动作识别来控制鼠标操作，帮助无手残疾人实现对鼠标的控制。使用本发明，操作人员的头部和眼睛可以自由动作，不受限制，为日常使用电脑提供便利。现有的利用自适应增强AdaBoost算法实现的人脸检测技术，图像检测速率只能达到15帧/秒，不能满足图像检测领域中的实时要求。本发明采用摄像头采集图像大小可调节策略，在小图像上实现人脸检测，提高检测速率，检测速率可提高至25帧/秒。

Description

基于视频序列识别的无接触式鼠标控制方法
技术领域
本发明涉及一种电脑的鼠标系统，特别是一种基于视频序列识别的无接触式鼠标控制方法。
背景技术
计算机操作的基本设备是鼠标。目前的硬件鼠标系统需要人手的操作，然而对于无手残疾人，无法操作鼠标就意味着无法使用电脑。
为方便手残人士使用电脑，人们开发了一种基于人脸姿态估计的人机交互方法，该方法构建以人脸特征点定位于姿态检测为基础的视觉鼠标装置，通过提取两个眼角、两个嘴角和鼻尖共5个特征点，以一副正面图像的相应特征点位置为参考，对实时人脸图像3个偏转角进行估计，分别对应鼠标位置和操作方式。并应用Cypress芯片开发USB接口，以标准USB鼠标方式实现与PC机的通信。
现有的这种基于人脸姿态估计的人机交互方法，对操作人员的使用要求过于苛刻。操作人员的头部会随着外部影响而移动或者转动，从而影响此技术的判断效果，鲁棒性不高。另外需要配备硬件芯片设备，成本高。
关于舌部动作的识别技术，目前尚未有研究关于舌部动作识别的相关技术。现有的人脸检测技术检测速率不能满足实时性要求。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种基于人嘴和舌头动作识别的基于视频序列识别的无接触式鼠标控制方法，以实现更高的实时性要求，提高效率，降低成本。
为了实现上述目的，本发明的技术方案如下：一种基于视频序列识别的无接触式鼠标控制方法，包括以下步骤：
A、视频采集：使用摄像头采集人脸视频；
B、人脸检测：利用自适应增强AdaBoost算法对摄像头采集到的视频序列进行实时检测，定位人脸并保存人脸图像；采用类海尔Haar-like特征作为人脸图像分类的依据，采用自适应增强AdaBoost算法将多个弱分类器组合生成一个强分类器，采用摄像头采集图像大小可调节方法，利用小图像实现快速实时人脸检测；
C、人脸图像预处理：采用快速视网膜皮层Retinex算法进行图像增强，能够提高人脸图像的局部对比度，有效显示淹没在阴影区域中的细节；
所述快速视网膜皮层Retinex算法，模拟人类视觉系统全局和局部自适应性，首先对图像进行全局亮度调整，然后对亮度分量进行视网膜皮层Retinex区域自适应增强；
D、嘴唇定位：根据人脸结构特征先验知识将人脸图像分割，获取嘴部区域；定义采集到的人脸图像尺寸为W*H，即宽度为W，高度为H，则在人脸图像的下半部分区域即1/2*H的区域进行嘴部检测；检测方法采用灰度投影法；水平灰度投影的极小投影值定位嘴唇所在行；利用人脸结构先验知识定位嘴唇位置；利用垂直灰度投影对嘴唇的定位结果进行二次确认，并保存嘴唇图像；然后对嘴唇图像进行边缘检测，去噪，获取嘴唇形状及位置图像；
E、提取舌头行为特征向量：采用步骤D中获取的嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；采集舌头动作图像，包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；
F、舌头行为识别：采用训练好的舌头动作分类器来判断舌头行为，如果为舌头左伸，则在当前坐标位置激发鼠标左击事件；如果为舌头右伸，则在当前坐标点激发鼠标右击事件；如果是舌头前伸，则定义中心点，以中心点移动设定鼠标移动；如果嘴部闭合，则保持鼠标位置不动，不激发鼠标任何操作；
所述舌头动作分类器采用学习向量量化LVQ神经网络，其训练方式如下：共采集100组嘴部动作图像，每组包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；通过嘴唇定位算法，得到每幅图像的嘴唇形状及位置图像并提取特征向量；选择其中70组图像的特征向量输入舌头动作分类器作为正训练样本，对学习向量量化LVQ网络进行训练，30组作为测试样本；分类器输入值为特征向量，输出为四类图像的某一类标识，从而实现识别上述四类图像；
G、运行程序：将利用上述步骤编制的鼠标控制系统程序安装到支持Windows XP以上操作系统的电脑中运行。
本发明所述的摄像头具有130万以上像素。
本发明所述的摄像头是内置摄像头或者外置摄像头。
本发明所述的图像大小可调节方法，包括以下步骤：设置摄像头采集图片大小为640*480像素或者480*320像素，在采集到图像之后，将图像进行归一化到320*240像素，从而实现图像大小可调节。
与现有技术相比，本发明具有以下有益效果：
1.本发明利用嘴部和舌头动作识别来控制鼠标操作，帮助无手残疾人实现对鼠标的控制。
2.目前尚未有研究关于舌部动作识别的相关技术，本发明可识别出舌头左伸和舌头右伸动作。
3.使用本发明，操作人员的头部和眼睛可以自由动作，不受限制，为日常使用电脑提供便利。
4.现有的利用自适应增强AdaBoost算法实现的人脸检测技术，图像检测速率只能达到15帧/秒，不能满足图像检测领域中的实时要求。本发明采用摄像头采集图像大小可调节策略，在小图像上实现人脸检测，提高检测速率，检测速率可提高至25帧/秒。
5.本发明所实现的无接触式鼠标系统，在电脑上安装本系统后，只需购置一个摄像头即可实现鼠标的使用。目前市场上提供的摄像头设备都可支持本系统，并且摄像头与一般的鼠标设备价位相当，用户无需其他费用。从而解决了其他鼠标系统方法使用硬件设备造价高的问题。
附图说明
本发明共有附图5张，其中：
图1是本发明的系统运行流程图。
图2是嘴唇闭合对应鼠标动作示意图。
图3是舌头右伸对应鼠标动作示意图。
图4是舌头左伸对应鼠标动作示意图。
图5是舌头前伸对应鼠标动作示意图。
具体实施方式
下面结合附图对本发明进行进一步地描述。如图1本发明的系统运行流程图，本发明以Windows操作系统，Visual Studio 2008为开发平台。
本发明的系统可设定开机自动运行或者开机后启动。对于手残人士，可在安装本系统后将系统设置为开机自动运行。电脑开机以后，本系统自动运行，驱动摄像头，并且开始摄像头采集人脸视频图像。若操作人员未在摄像头区域内，则系统无反应。只有检测到人脸图像并识别出操作人员动作后，才会执行相应鼠标动作。
若系统采集到人脸图像，并且判定操作人员的嘴部动作为“无动作”，则鼠标无反应，如图2所示。若判定操作人员的嘴部有舌头左伸的行为，则激发鼠标左键单击，如图4所示。若判定操作人员的嘴部有舌头右伸的行为，则激发鼠标右键单击，如图3所示。若判定操作人员的嘴部有舌头中间伸出来的行为，则跟踪舌头的移动位置，并映射到电脑桌面上，标记鼠标位置，如图5所示。

Claims (4)

1.一种基于视频序列识别的无接触式鼠标控制方法，其特征在于：包括以下步骤：
A、视频采集：使用摄像头采集人脸视频；
B、人脸检测：利用自适应增强AdaBoost算法对摄像头采集到的视频序列进行实时检测，定位人脸并保存人脸图像；采用类海尔Haar-like特征作为人脸图像分类的依据，采用自适应增强AdaBoost算法将多个弱分类器组合生成一个强分类器，采用摄像头采集图像大小可调节方法，利用小图像实现快速实时人脸检测；
C、人脸图像预处理：采用快速视网膜皮层Retinex算法进行图像增强，能够提高人脸图像的局部对比度，有效显示淹没在阴影区域中的细节；
所述快速视网膜皮层Retinex算法，模拟人类视觉系统全局和局部自适应性，首先对图像进行全局亮度调整，然后对亮度分量进行视网膜皮层Retinex区域自适应增强；
D、嘴唇定位：根据人脸结构特征先验知识将人脸图像分割，获取嘴部区域；定义采集到的人脸图像尺寸为W*H，即宽度为W，高度为H，则在人脸图像的下半部分区域即1/2*H的区域进行嘴部检测；检测方法采用灰度投影法；水平灰度投影的极小投影值定位嘴唇所在行；利用人脸结构先验知识定位嘴唇位置；利用垂直灰度投影对嘴唇的定位结果进行二次确认，并保存嘴唇图像；然后对嘴唇图像进行边缘检测，去噪，获取嘴唇形状及位置图像；
E、提取舌头行为特征向量：采用步骤D中获取的嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；采集舌头动作图像，包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；
F、舌头行为识别：采用训练好的舌头动作分类器来判断舌头行为，如果为舌头左伸，则在当前坐标位置激发鼠标左击事件；如果为舌头右伸，则在当前坐标点激发鼠标右击事件；如果是舌头前伸，则定义中心点，以中心点移动设定鼠标移动；如果嘴部闭合，则保持鼠标位置不动，不激发鼠标任何操作；
所述舌头动作分类器采用学习向量量化神经网络，其训练方式如下：共采集100组嘴部动作图像，每组包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；通过嘴唇定位算法，得到每幅图像的嘴唇形状及位置图像并提取特征向量；选择其中70组图像的特征向量输入舌头动作分类器作为正训练样本，对学习向量量化网络进行训练，30组作为测试样本；分类器输入值为特征向量，输出为四类图像的某一类标识，从而实现识别上述四类图像；
G、运行程序：将利用上述步骤编制的鼠标控制系统程序安装到支持Windows XP以上操作系统的电脑中运行。
2.根据权利要求1所述的一种基于视频序列识别的无接触式鼠标控制方法，其特征在于：所述的摄像头具有130万以上像素。
3.根据权利要求1所述的一种基于视频序列识别的无接触式鼠标控制方法，其特征在于：所述的摄像头是内置摄像头或者外置摄像头。
4.根据权利要求1所述的一种基于视频序列识别的无接触式鼠标控制方法，其特征在于：所述的图像大小可调节方法，包括以下步骤：设置摄像头采集图片大小为640*480像素或者480*320像素，在采集到图像之后，将图像进行归一化到320*240像素，从而实现图像大小可调节。
CN201110124974A 2011-05-13 2011-05-13 基于视频序列识别的无接触式鼠标控制方法 Expired - Fee Related CN102184016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110124974A CN102184016B (zh) 2011-05-13 2011-05-13 基于视频序列识别的无接触式鼠标控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110124974A CN102184016B (zh) 2011-05-13 2011-05-13 基于视频序列识别的无接触式鼠标控制方法

Publications (2)

Publication Number Publication Date
CN102184016A CN102184016A (zh) 2011-09-14
CN102184016B true CN102184016B (zh) 2012-10-03

Family

ID=44570199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110124974A Expired - Fee Related CN102184016B (zh) 2011-05-13 2011-05-13 基于视频序列识别的无接触式鼠标控制方法

Country Status (1)

Country Link
CN (1) CN102184016B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929389B (zh) * 2012-09-27 2016-03-09 北京像素软件科技股份有限公司 一种用户输入信息的转换装置和方法
CN104951730B (zh) * 2014-03-26 2018-08-31 联想(北京)有限公司 一种唇动检测方法、装置及电子设备
CN104112117B (zh) * 2014-06-23 2018-01-12 大连民族学院 一种基于改进的局部二值模式特征的舌头动作识别方法
CN108460332A (zh) * 2018-01-18 2018-08-28 新开普电子股份有限公司 一种海军军舰舰载人脸识别安保装置
CN108616712B (zh) * 2018-04-18 2020-11-10 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN109460713B (zh) * 2018-10-16 2021-03-30 京东数字科技控股有限公司 动物分娩的识别方法、装置和设备
CN111511002B (zh) * 2020-04-23 2023-12-05 Oppo广东移动通信有限公司 检测帧率的调节方法和装置、终端和可读存储介质
CN113591821B (zh) * 2021-10-08 2021-12-10 广州洛克韦陀安防科技有限公司 基于大数据筛查的图像识别安防系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135945A (zh) * 2007-09-20 2008-03-05 苏勇 头控鼠标
CN101382837A (zh) * 2008-10-28 2009-03-11 天津大学 复合动作模式脑电鼠标控制装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135945A (zh) * 2007-09-20 2008-03-05 苏勇 头控鼠标
CN101382837A (zh) * 2008-10-28 2009-03-11 天津大学 复合动作模式脑电鼠标控制装置

Also Published As

Publication number Publication date
CN102184016A (zh) 2011-09-14

Similar Documents

Publication Publication Date Title
CN102184016B (zh) 基于视频序列识别的无接触式鼠标控制方法
CN105809144B (zh) 一种采用动作切分的手势识别系统和方法
Kapoor et al. Fully automatic upper facial action recognition
CN104361326A (zh) 一种判别活体人脸的方法
Gou et al. Learning-by-synthesis for accurate eye detection
CN106909220A (zh) 一种适用于触控的视线交互方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN108960067A (zh) 基于深度学习的实时的列车驾驶员动作识别系统和方法
Le et al. Eye blink detection for smart glasses
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN104123543A (zh) 一种基于人脸识别的眼球运动识别方法
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
CN105701486B (zh) 一种在摄像机内实现人脸信息分析及提取的方法
CN105184273B (zh) 一种基于asm的动态图像正面人脸重建系统及方法
CN108256379A (zh) 一种基于瞳孔定位的眼睛姿势识别方法
Javed et al. An intelligent alarm based visual eye tracking algorithm for cheating free examination system
Agrawal et al. A Tutor for the hearing impaired (developed using Automatic Gesture Recognition)
Kondo et al. Pupil center detection for infrared irradiation eye image using CNN
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法
Yamamoto et al. Algorithm optimizations for low-complexity eye tracking
CN113100755B (zh) 一种基于视觉追踪控制的肢体康复训练与评估系统
Montazeri et al. Eye detection in digital images: challenges and solutions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

Termination date: 20180513