CN103257713B - 一种手势控制方法 - Google Patents

一种手势控制方法 Download PDF

Info

Publication number
CN103257713B
CN103257713B CN201310211774.4A CN201310211774A CN103257713B CN 103257713 B CN103257713 B CN 103257713B CN 201310211774 A CN201310211774 A CN 201310211774A CN 103257713 B CN103257713 B CN 103257713B
Authority
CN
China
Prior art keywords
hand
gesture
control
nondominant
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310211774.4A
Other languages
English (en)
Other versions
CN103257713A (zh
Inventor
刘晓
徐向民
范伟龙
梁子健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310211774.4A priority Critical patent/CN103257713B/zh
Publication of CN103257713A publication Critical patent/CN103257713A/zh
Application granted granted Critical
Publication of CN103257713B publication Critical patent/CN103257713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种手势控制方法，该方法包括如下步骤：1、开机；2、摄像头采集用户手势图像序列，并在摄像头采集的图像序列中搜索用户双手；3、控制系统判断用户左手为辅助手，用户右手为控制手；4、在摄像头采集的图像序列中跟踪控制手的运动；5、在摄像头采集的图像序列中提取控制手和辅助手的手势，控制系统通过辅助手的手势判断控制手手势是否有效。具有可以准确地对手势进行跟踪和识别，并且减少用户的误操作和鼠标跟丢的现象，提升用户非接触手势操作的体验等优点。

Description

一种手势控制方法
技术领域
本发明涉及一种人机交互技术，特别涉及一种手势控制方法。
背景技术
随着技术的不断发展，现代社会越来越智能化和人性化。手势控制、语音控制、人脸识别等非接触式操作方式为人们的生活和工作带来了极大的便利。摆脱遥控器、鼠标等的束缚,人们可以用最自然舒适的方式实现人机交互.
现阶段，人机交互的传统的控制方法主要是鼠标、键盘、遥控器和触控屏等，也有比较前沿的控制方式，如手势控制、语音控制等。
目前在手势控制方法上，中国申请号为201010187727.7提供了一种双手互为参考的目标控制方法，通过漂移手和精确手的配合，实现对目标快速准确的定位。但是，这种识别方法操作相对比较繁琐且手势识别可能存在较大误差；中国申请号为200710021403.4提供了一种基于手指端标记的视频手指定位系统及定位方法，使用计算机视觉技术跟踪定位贴在用户指端上的标记点，实现用户与手指的跟踪定位。这种方法虽然可以实现精确度较高的操作，但是需要设置标记点，实用性不高且难以推广。
目前的已有的手势控制方法普遍存在如下缺陷：无法实现对手势的精确跟踪和识别，容易造成误操作及跟丢现象，降低了用户的使用体验。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种手势控制方法,该方法能有效减少用户的误操作和鼠标跟丢的现象。
本发明的目的通过下述技术方案实现：一种手势控制方法，包括如下步骤：A、开机；B、摄像头采集图像序列，并在摄像头采集的图像序列中搜索用户双手；C、如果搜索到两只手，判定用户左手为辅助手，用户右手为控制手；D、在摄像头采集的图像序列中跟踪控制手的运动；；E、在摄像头采集的图像序列中提取控制手和辅助手的手势，控制系统通过辅助手的手势判断控制手手势是否有效。
本发明可以准确地对手势进行跟踪和识别，并且减少用户的误操作和跟丢的现象，提升用户非接触手势操作的体验。
前述技术方案进一步细化的技术方案可以是：
所述B步骤包括以下步骤：B1、搜索人脸，并判定是否有人脸存在；B2、若有人脸存在，在人脸附近设立敏感区域，并在敏感区域中搜索用户双手；B3控制系统判定用户双手是否为有效手势，若为有效手势，控制系统进行用户控制状态；若为无效手势，则控制系统继续进行人脸搜索。
在所述B3步骤中，用户两手五指伸展，同时保证手心正对摄像头，则为有效手势。
在所述D步骤中，通过一个摄像头对双手进行跟踪；检测所述控制手的运动轨迹，映射到屏幕上鼠标的运动。
在所述E步骤中，当所述辅助手五指张开时，表示所述控制手手势无效；当所述辅助手五指收拢时，表示所述控制手手势生效并执行相应操作。
在所述E步骤中，在所述辅助手确定所述控制手手势有效的前提下，当所述辅助手五指张开时，表示屏幕上鼠标对屏幕上控件进行左键点击操作；当所述辅助手五指收拢时，表示屏幕上鼠标对屏幕上控件进行右键点击操作。
本发明的工作原理：本发明中，通过摄像头获取或跟踪人脸或双手的图像，然后对图像进行数字处理，并进行手势识别，对手势识别后的结果进行相关处理，来实现手势操作。
本发明相对于现有技术具有如下的优点及效果：
1、本发明可以准确的对手势进行定位和识别，更加符合人们的使用体验，在本发明中，控制手专门控制手的移动及手势变换，辅助手使控制手手势生效，提高手势识别的准确性，有效减少了用户点击时的误操作和鼠标跟丢的现象，并有效提升了用户非接触手势操作的体验。
2、相对已有的基于计算机视觉的手势控制方式，本控制方法不需要用于对手进行视觉标记，检测更方便。
3、相对于鼠标、遥控器或数据手套的控制方法，本控制方法不需要用户接触控制设备，减少使用时的负担。
附图说明
图1是本发明的手势控制方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，一种双手辅助的手势控制方法，包括如下步骤：
A、开机；
B、摄像头采集图像序列，并在摄像头采集的图像序列中搜索用户双手；
C、如果搜索到两只手，判定用户左手为辅助手，用户右手为控制手；
D、在摄像头采集的图像序列中跟踪控制手的运动；
E、在摄像头采集的图像序列中提取控制手和辅助手的手势，控制系统通过辅助手的手势判断控制手手势是否有效。
所述B步骤包括如下步骤:B1、摄像头搜索人脸，并判定是否有人脸存在；B2、若有人脸存在，在人脸附近设立敏感区域，在敏感区域中搜索用户双手；B3、控制系统判定用户双手是否为有效手势，若为有效手势，控制系统进行用户控制状态；若为无效手势，则控制系统继续进行人脸搜索。
所述D步骤中，控制系统通过控制手实现光标的移动控制，忽略辅助手的移动。
所述E步骤中，当所述辅助手五指张开时，表示所述控制手手势无效；当所述辅助手五指收拢时，表示所述控制手手势生效并执行相应操作。
在所述E步骤中，在所述辅助手确定所述控制手手势有效的前提下，当所述辅助手五指张开时，表示屏幕上鼠标对屏幕上控件进行左键点击操作；当所述辅助手五指收拢时，表示屏幕上鼠标对屏幕上控件进行右键点击操作。
具体而言，本实施例所述方法及该方法所采用的算法如下：
系统开机，此时系统处于用户搜索状态，即：
摄像头采集用户图像，在图像中根据人脸检测算法在图像中搜索人脸，通过检测图像中是否有人脸来判别是否有用户存在。
在检测到人脸之后进行后续操作，在每一个人脸附近设立敏感区域，在敏感区域中搜素用户双手，如果用户双手存在且为有效手势，判断用户左手为辅助手，判断用户右手为控制手，系统进入用户控制状态；在用户控制状态中，系统不再进行人脸搜索，而只跟踪定位用户控制手并分别对控制手和辅助手手势进行判别。
在用户控制状态中，通过控制手来控制光标进行移动，并通过辅助手的手势判断控制手手势是否有效。
如所述的人脸检测算法，采用Haar小波变换进行特征提取，选择AdaBoost分类器做人脸识别。
根据上述人脸检测算法得到人脸区域后，记录人脸所在矩形区域(Xfi,Yfi,afi,bfi)，i表示第i个人脸，取正整数。(Xfi,Yfi)表示第i个人脸左上角的坐标，afi和bfi分别表示矩形区域的长和宽。
如上所述的通过人脸伪造建立的敏感区域为矩形区域(Xsi,Ysi,asi,bsi)，i表示第i个敏感区域，取正整数。(Xsi,Ysi)表示第i个敏感区域左上角的坐标，asi和bsi分别表示矩形区域的长和宽。在这里取函数关系：
Xsi＝Xfi-afi，
Ysi＝Yfi+bfi，
asi＝2.7×afi，
bsi＝3×bfi，
以上公式用于设置并记录人脸所在矩形区域，该区域设为(Xfi,Yfi,afi,bfi)，其中，i表示第i个人脸，取正整数。表示第i个人脸左上角的坐标，分别表示矩形区域的长和宽。
在敏感区域内搜索人手的方法，使用肤色检测和形态判断来进行人手检测：
1、将RGB空间转换到YCbCr空间；
2、采用高斯模型法进行肤色判定，假设肤色分布服从单峰高斯分布，单峰高斯分布用于采用高斯肤色模型进行人脸检测。
在YCbCr色彩空间中，通过采集不同光照条件下的肤色样本训练，得到肤色概率计算参数。
均值和方差通过采集到的肤色样本统计获得，并计算出肤色概率p(Cb,Cr)的值，取0.6为阈值，取肤色概率p(Cb,Cr)的概率超过0.6的像素点作为肤色像素点。
3、对通过肤色聚类后的二值图像进行形态学处理，标记联通区域，通过面积大小、联通区域长宽比进行人手选取。
进入用户控制状态后，通过用户人脸所在矩形来确定跟踪区域。由于人手运动的速度有限，在两帧之间人手的位置变化不大，所以在当前帧中上一帧双手的附近搜索用户的双手。检测和识别用户双手的方法依然使用上面的肤色检测方法，并获取控制手的精确位置信息。
获取控制手的精确位置信息后，通过两帧之间控制手位置的运动向量对控制手的运动进行判别和跟踪。
在跟踪控制手运动的同时，提取控制手和辅助手的手势，通过辅助手的手势判断控制手手势是否有效。在本实施例中的具体实施方式为：
1、当所述辅助手五指张开时，表示所述控制手手势无效；当所述辅助手五指收拢时，表示所述控制手手势生效并执行相应操作。
2、在所述辅助手确定所述控制手手势有效的前提下，当所述辅助手五指张开时，表示屏幕上鼠标对屏幕上控件进行左键点击操作；当所述辅助手五指收拢时，表示屏幕上鼠标对屏幕上控件进行右键点击操作。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种手势控制方法，其特征在于，包括以下步骤：
A、开机；
B、摄像头采集图像序列，并在摄像头采集的图像序列中搜索用户双手；
C、如果搜索到两只手，判定用户左边的手为辅助手，用户右边的手为控制手；
D、在摄像头采集的图像序列中跟踪控制手的运动；
E、在摄像头采集的图像序列中提取控制手和辅助手的手势，控制系统通过辅助手的手势判断控制手的手势是否有效。
2.如权利要求1所述的手势控制方法，其特征在于，所述B步骤包括如下步骤：
B1、摄像头搜索人脸，并判定是否有人脸存在；
B2、若有人脸存在，在人脸附近设立敏感区域，并通过摄像头在敏感区域中搜索用户双手。
3.如权利要求2所述的手势控制方法，其特征在于，所述步骤B2包括如下步骤：
B21、摄像头在敏感区域中搜索是否同时有两个手掌面向摄像头，两个手掌同时面向摄像头表示有效手势，否则，表示无效手势；
B22、当摄像头搜索到有效手势时，则控制系统进入用户控制状态，否则，进入下一步骤；
B23、控制系统继续进行人脸搜索。
4.如权利要求1所述的手势控制方法，其特征在于，在所述D步骤中，通过摄像头对双手进行跟踪，检测所述控制手的运动轨迹，作为鼠标的运动轨迹。
5.如权利要求1所述手势控制方法，其特征在于，在所述E步骤中，当所述辅助手五指张开时，表示所述控制手的手势无效；当所述辅助手五指收拢时，表示所述控制手的手势生效并执行相应操作。
6.如权利要求1所述手势控制方法，其特征在于，在所述E步骤中，在所述控制系统通过辅助手的手势判断出控制手的手势有效的前提下，当所述辅助手五指张开时，表示屏幕上鼠标对屏幕上控件进行左键点击操作；当所述辅助手五指收拢时，表示屏幕上鼠标对屏幕上控件进行右键点击操作。
CN201310211774.4A 2013-05-31 2013-05-31 一种手势控制方法 Active CN103257713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310211774.4A CN103257713B (zh) 2013-05-31 2013-05-31 一种手势控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310211774.4A CN103257713B (zh) 2013-05-31 2013-05-31 一种手势控制方法

Publications (2)

Publication Number Publication Date
CN103257713A CN103257713A (zh) 2013-08-21
CN103257713B true CN103257713B (zh) 2016-05-04

Family

ID=48961669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310211774.4A Active CN103257713B (zh) 2013-05-31 2013-05-31 一种手势控制方法

Country Status (1)

Country Link
CN (1) CN103257713B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530892B (zh) * 2013-10-21 2016-06-22 清华大学深圳研究生院 一种基于Kinect传感器的双手跟踪方法与装置
CN103645805B (zh) * 2013-12-20 2017-06-20 深圳泰山体育科技股份有限公司 体感方式的控件操控方法及系统
CN104580143A (zh) * 2014-11-09 2015-04-29 李若斌 一种基于手势识别的安全认证方法、终端、服务器和系统
JP6543185B2 (ja) * 2015-12-22 2019-07-10 クラリオン株式会社 車載装置
CN105912126B (zh) * 2016-04-26 2019-05-14 华南理工大学 一种手势运动映射到界面的增益自适应调整方法
CN107390881A (zh) * 2017-09-14 2017-11-24 西安领讯卓越信息技术有限公司 一种手势控制方法
CN108181989B (zh) * 2017-12-29 2020-11-20 北京奇虎科技有限公司 基于视频数据的手势控制方法及装置、计算设备
CN108616712B (zh) * 2018-04-18 2020-11-10 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN115087952A (zh) * 2020-02-10 2022-09-20 日本电气株式会社 用于便携式终端的程序、处理方法及便携式终端
CN112244705B (zh) * 2020-09-10 2023-05-23 北京石头创新科技有限公司 智能清洁设备、控制方法、计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901052A (zh) * 2010-05-24 2010-12-01 华南理工大学 双手互为参考的目标控制方法
CN103019559A (zh) * 2012-11-27 2013-04-03 海信集团有限公司 手势控制投影显示装置及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100573548C (zh) * 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901052A (zh) * 2010-05-24 2010-12-01 华南理工大学 双手互为参考的目标控制方法
CN103019559A (zh) * 2012-11-27 2013-04-03 海信集团有限公司 手势控制投影显示装置及其控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双手交互界面研究进展;付永刚 等;《计算机研究与发展》;20050416;第42卷(第4期);第604-613页 *
基于多目标Camshift手势识别;唐文平 等;《电子科技》;20120215;第25卷(第2期);第71-81页 *

Also Published As

Publication number Publication date
CN103257713A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
CN103257713B (zh) 一种手势控制方法
CN101901052B (zh) 双手互为参考的目标控制方法
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN103389799B (zh) 一种对手指尖运动轨迹进行跟踪的方法
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
US8254627B2 (en) Method for automatically following hand movements in an image sequence
CN102200834B (zh) 面向电视控制的指尖鼠标交互方法
CN103488294B (zh) 一种基于用户交互习惯的非接触手势控制映射调整方法
CN105536205A (zh) 一种基于单目视频人体动作感知的上肢训练系统
Wu et al. Robust fingertip detection in a complex environment
CN105335711A (zh) 一种复杂环境下指尖检测方法
CN109214297A (zh) 一种结合深度信息与肤色信息的静态手势识别方法
CN103226388A (zh) 一种基于Kinect的手写方法
TWI571772B (zh) 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
CN103530892A (zh) 一种基于Kinect传感器的双手跟踪方法与装置
CN103995595A (zh) 一种基于手势的游戏体感控制方法
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
CN105261038B (zh) 基于双向光流和感知哈希的指尖跟踪方法
CN105046249B (zh) 一种人机交互方法
CN103399699A (zh) 一种以人手为中心的手势交互方法
CN102799855B (zh) 基于视频流的人手定位方法
CN103400118B (zh) 一种映射关系自适应调整的手势控制方法
Enkhbat et al. Handkey: An efficient hand typing recognition using cnn for virtual keyboard
Chang et al. Automatic hand-pose trajectory tracking system using video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant