CN109189219A - 基于手势识别的非接触式虚拟鼠标的实现方法 - Google Patents

基于手势识别的非接触式虚拟鼠标的实现方法 Download PDF

Info

Publication number
CN109189219A
CN109189219A CN201810948131.0A CN201810948131A CN109189219A CN 109189219 A CN109189219 A CN 109189219A CN 201810948131 A CN201810948131 A CN 201810948131A CN 109189219 A CN109189219 A CN 109189219A
Authority
CN
China
Prior art keywords
gesture
frame image
identification
implementation method
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810948131.0A
Other languages
English (en)
Inventor
岳丹
洪雨城
寇艳强
魏红梅
高晨皓
王冠群
李彦黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201810948131.0A priority Critical patent/CN109189219A/zh
Publication of CN109189219A publication Critical patent/CN109189219A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互技术领域，为了解决现有非接触式人机交互方式实时性差的问题，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用；该方法具有实时性强、效率高的优点，能够以手势动作作为输入信号实现在非接触状态下对计算机的控制操作。

Description

基于手势识别的非接触式虚拟鼠标的实现方法
技术领域
本发明涉及一种虚拟鼠标装置的实现方法，具体涉及一种基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互技术领域。
背景技术
目前鼠标是我们和计算机“沟通和交流”的主要接口之一，但是这个沟通方式远远不能满足我们的要求，我们希望有更简洁的、智能化和人性化的人机交互方式。计算机无接触式地收集人类在计算机前的视频信号，利用计算机视觉的相关理论对捕获的视频信号进行分析，做到分辨人类的动作，明白人类的意图并实现人类希望的操作，即我们希望计算机能尽可能地“理解”我们。
手势是一种自然、直观、易于学习的人机交互手段。手势研究分为手势合成和手势识别，手势识别技术一直是人机交互的一个重要研究课题。以人手直接作为计算机的输入手段，人机之间的通讯将不再需要中间媒体，用户可以简单地定义各种适当的手势来对计算机进行控制，从而可以实现非接触式的鼠标控制事件。与其它输入方法相比较，具有自然性、简洁性、丰富性和直接性的特点。因此，用计算机来识别手势为人们提供了一个更为自然的人机接口。但是由于其难度较大，目前的研究结果实用化程度很低且效率比较低下，现有非接触式人机交互方式实时性差。
发明内容
本发明为了解决现有非接触式人机交互方式实时性差的问题，主要基于单目视觉的手势识别，从手势分割及手势表示两方面着手，提出一种基于手势识别的非接触式虚拟鼠标的实现方法，通过结合鼠标操作，实现有效的鼠标事件，从而实现对计算机的有效控制，具有实时性强、效率高的优点。
本发明采用的技术方案如下：
基于手势识别的非接触式虚拟鼠标的实现方法，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。
步骤一，在Microsoft Visual Studio 2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取；
步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像；
步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀、滤波和多边形逼近，通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入；
步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能；
步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。
本发明的有益效果是：在HSV与YCgCr颜色空间上采用固定阈值方法分割人手，利用轮廓及凸缺陷检测指尖，根据手势面积特征识别手势的方法，简单快捷、实时性好且能适应环境的变化。
基于该方法的非接触式控制系统能识别人手单手指或多手指的手势动作，如点击、拖动、滚动、缩放和旋转等，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。
本发明具有实时性强、效率高的优点，能够以手势动作作为输入信号实现在非接触状态下对计算机的控制操作。
附图说明
图1为本发明基于手势识别的非接触式虚拟鼠标的实现方法的工作流程图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，基于手势识别的非接触式虚拟鼠标的实现方法，该方法的步骤如下：
步骤一，视频流的输入是结合OPENCV视频处理库实现的，具体操作为在MicrosoftVisual Studio 2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取。
步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像。
步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时为识别过程提供较好的识别环境，减少干扰、错误，需对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀，滤波、多边形逼近。其中滤波包括中值滤波和去除小面积。通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入。
步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能。
步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，例如点击、拖动、滚动、缩放和旋转等，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。

Claims (3)

1.基于手势识别的非接触式虚拟鼠标的实现方法，其特征是，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。
2.根据权利要求1所述的基于手势识别的非接触式虚拟鼠标的实现方法，其特征在于，该方法具体步骤如下：
步骤一，在Microsoft Visual Studio 2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取；
步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像；
步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀、滤波和多边形逼近，通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入；
步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能；
步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。
3.根据权利要求2所述的基于手势识别的非接触式虚拟鼠标的实现方法，其特征在于，所述步骤三中所述滤波包括中值滤波和去除小面积。
CN201810948131.0A 2018-08-20 2018-08-20 基于手势识别的非接触式虚拟鼠标的实现方法 Pending CN109189219A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810948131.0A CN109189219A (zh) 2018-08-20 2018-08-20 基于手势识别的非接触式虚拟鼠标的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810948131.0A CN109189219A (zh) 2018-08-20 2018-08-20 基于手势识别的非接触式虚拟鼠标的实现方法

Publications (1)

Publication Number Publication Date
CN109189219A true CN109189219A (zh) 2019-01-11

Family

ID=64918953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810948131.0A Pending CN109189219A (zh) 2018-08-20 2018-08-20 基于手势识别的非接触式虚拟鼠标的实现方法

Country Status (1)

Country Link
CN (1) CN109189219A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110584638A (zh) * 2019-10-30 2019-12-20 郑州大学 一种基于cmor小波的非接触式心率测量方法
CN111723698A (zh) * 2020-06-05 2020-09-29 中南民族大学 基于手势控制灯光的方法及设备
CN111913584A (zh) * 2020-08-19 2020-11-10 福州大学 一种基于手势识别的鼠标光标控制方法及系统
CN113095243A (zh) * 2021-04-16 2021-07-09 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李彦黎等: "基于人手的非接触式虚拟鼠标", 《人工智能与机器人研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110584638A (zh) * 2019-10-30 2019-12-20 郑州大学 一种基于cmor小波的非接触式心率测量方法
CN111723698A (zh) * 2020-06-05 2020-09-29 中南民族大学 基于手势控制灯光的方法及设备
CN111913584A (zh) * 2020-08-19 2020-11-10 福州大学 一种基于手势识别的鼠标光标控制方法及系统
CN111913584B (zh) * 2020-08-19 2022-04-01 福州大学 一种基于手势识别的鼠标光标控制方法及系统
CN113095243A (zh) * 2021-04-16 2021-07-09 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质
CN113095243B (zh) * 2021-04-16 2022-02-15 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质

Similar Documents

Publication Publication Date Title
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
CN103294996B (zh) 一种3d手势识别方法
CN109189219A (zh) 基于手势识别的非接触式虚拟鼠标的实现方法
CN102184021B (zh) 一种基于手写输入和指尖鼠标的电视人机交互方法
CN104063059B (zh) 一种基于手指分割的实时手势识别方法
CN104808788B (zh) 一种非接触式手势操控用户界面的方法
CN106598227A (zh) 基于Leap Motion和Kinect的手势识别方法
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN103870071B (zh) 一种触摸源识别方法及系统
CN102981742A (zh) 基于计算机视觉的手势交互系统
CN101510121A (zh) 一种基于手势识别的界面漫游操作方法与装置
CN103995595A (zh) 一种基于手势的游戏体感控制方法
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
Hasan et al. Features fitting using multivariate gaussian distribution for hand gesture recognition
RU2552192C2 (ru) Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого
Chang et al. Automatic Hand-Pose Trajectory Tracking System Using Video Sequences
Thomas et al. A comprehensive review on vision based hand gesture recognition technology
Rupanagudi et al. A novel and secure methodology for keyless ignition and controlling an automobile using air gestures
CN203070205U (zh) 一种基于手势识别的输入设备
Ghodichor et al. Virtual mouse using hand gesture and color detection
Shaker et al. Real-time finger tracking for interaction
Chaudhary Finger-stylus for non touch-enable systems
Bhame et al. Vision based calculator for speech and hearing impaired using hand gesture recognition
Feng et al. An HCI paradigm fusing flexible object selection and AOM-based animation
KR101635600B1 (ko) 배경 차연산과 손가락 제스쳐 인식을 이용한 핸드 마우스 기능 수행 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190111

WD01 Invention patent application deemed withdrawn after publication