CN103778405A - 以自然影像进行的手势辨识方法 - Google Patents

以自然影像进行的手势辨识方法 Download PDF

Info

Publication number
CN103778405A
CN103778405A CN201210395357.5A CN201210395357A CN103778405A CN 103778405 A CN103778405 A CN 103778405A CN 201210395357 A CN201210395357 A CN 201210395357A CN 103778405 A CN103778405 A CN 103778405A
Authority
CN
China
Prior art keywords
image
gesture
identification
gesture identification
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210395357.5A
Other languages
English (en)
Other versions
CN103778405B (zh
Inventor
杨恕先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN201210395357.5A priority Critical patent/CN103778405B/zh
Priority to CN201710514833.3A priority patent/CN107256089B/zh
Publication of CN103778405A publication Critical patent/CN103778405A/zh
Application granted granted Critical
Publication of CN103778405B publication Critical patent/CN103778405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种以自然影像进行的手势辨识方法，利用前后两帧或更多帧影像产生变化影像，计算该变化影像的画面特征值，将所述画面特征值的变化模式与手势定义比较，以判断手势。本发明对影像模糊具有先天抵抗能力，而且可在不需固定手势下支援X、Y、Z三轴的运动。

Description

以自然影像进行的手势辨识方法
技术领域
本发明是有关一种手势辨识方法，特别是关于一种以自然影像进行的手势辨识方法。
背景技术
手势控制系统提供简单且直觉式的操作便利性，但是使用诸如触控面板这类接触式的人机介面的系统限制使用者必须紧贴该介面操作，对于某些应用而言相当不便。相反的，使用非接触式介面的手势控制系统让使用者能在相对较远的距离操作，但是必须通过影像的撷取及辨识来判断手势，所以难度较高。目前这种透过影像辨识手势的方法可分为两大类，一类是使用不含辅助光源的自然影像来辨识手势，另一类则是利用打出一种或多种辅助光源产生的非自然影像来辨识手势。
相较于使用辅助光源的手势控制系统，不含辅助光源的手势控制系统具有低成本、可与相机结合以及省电等优点，但是却有检测难度较高的先天劣势。不含辅助光源的手势控制系统常用的手势辨识方法有移动检测及形状检测。由于不同使用者的手势、习惯各异，使用移动检测的手势辨识方法对于某些手势的辨识率较低，例如按压(click)、缩放(zoom in/out)等包含Z轴运动的手势，而使用形状检测的手势辨识方法通常要求使用者以固定、可被系统辨识的特定手势操作，例如握拳、伸掌等。图1及图2是使用形状检测的手势辨识方法的示意图，相机模块10每间隔一段时间撷取一帧(frame)影像，若使用者伸掌在相机模块10前方横向挥动，亦即在影像的X轴及Y轴的方向上运动，则相机模块10取得的前后两帧影像如图2中的f(1)及f(2)所示，手12的影像14及16在画面中的位置不同，系统从每一帧影像f(1)及f(2)中辨识具有预设形状的影像，例如食指的指尖18及20，再根据指尖的影像18及20在画面中的位置差异判断这是一个向右挥动的手势。此法要求足够清晰的影像以辨识出预设形状的影像，对于快速移动时的模糊影像不具抵抗能力，因此也不适合短距离的应用。若使用者在操作过程中手部变动导致系统无法找出预设形状的影像，也会造成手势辨识失败。因为影像受到可辨识形状的限制，造成某些手势很难定义，故对于可操作的手势有很大的限制，大体上只有能够产生特征鲜明的影像的手势才能在系统中预先定义。此外，由于使用者对着相机模块10前后移动手部而产生的影像变异很大，因此这种方法也很难支援Z轴(纵向)运动的手势。
使用形状检测的手势辨识方法是先从影像中辨识肤色范围，然后对肤色范围辨识形状，再进一步找出手在一帧影像中的位置。然而肤色分析需要很复杂的演算法，而且与色温有关，错误率比较高，形状辨识也需要复杂的演算法，这些辨识程序需要大量的运算，因此软硬件的成本比较高，系统的反应也比较慢。
发明内容
本发明的目的之一，在于提出一种以自然影像进行的手势辨识方法。
本发明的目的之一，在于提出一种对模糊影像具有先天抵抗能力的手势辨识方法。
本发明的目的之一，在于提出一种有利于短距离应用的手势辨识方法。
本发明的目的之一，在于提出一种在不需固定手势下支援X、Y、Z三轴的运动的手势辨识方法。
本发明的目的之一，在于提出一种毋需符合预设手势形状的手势辨识方法。
本发明的目的之一，在于提出一种不受色温影响的手势辨识方法。
本发明的目的之一，在于提出一种较少运算量的手势辨识方法。
本发明的目的之一，在于提出一种较低成本的手势辨识方法。
根据本发明，一种以自然影像进行的手势辨识方法包含产生在时间上为一序列的影像，再从中选择两帧或更多帧影像产生变化影像，计算所述变化影像的画面特征值，以及将所述画面特征值的变化模式(pattern)与手势定义比对，以判断手势。
本发明的方法不需要进行影像辨识，也不需要检测物件的位置，因此可以避免习知技术的各种缺点。
附图说明
图1是横向运动的手势的示意图；
图2是习知的手势辨识方法的示意图；
图3是本发明的实施例；
图4是检测横向运动的手势的示意图；
图5是旋转运动的手势的示意图；
图6是旋转运动的手势产生的变化模式的示意图；
图7是垂直运动的手势的示意图；
图8是检测垂直运动的手势的示意图；以及
图9是不同的手势产生的变化模式。
附图标号：
10相机模块
12手
14手的影像
16手的影像
18食指的部分影像
20食指的部分影像
22撷取影像
24选择影像
26产生变化影像
28计算画面特征值
30手势比对
32产生指令
34变化影像的重心
36变化影像的重心
38手的影像。
具体实施方式
图3是根据本发明的实施例，如同习知技术一般，步骤22先撷取影像，例如图1所示的相机模块10每间隔一段时间撷取一帧影像，因而产生在时间上为一序列的影像，步骤24从该序列的影像中选择相邻的两帧或更多帧影像，由步骤26利用前后多帧影像产生变化影像，变化影像是依照预设的公式计算出来的数值，例如每一像素的亮度变化，用来表现影像在时间轴上的变化，步骤28计算变化影像的画面特征值，例如重心、标准差(standard deviation)或变异量(variance)，步骤30将画面特征值的变化模式(pattern)与预设的手势定义比对，若符合某一手势定义，则步骤32产生相对应的指令，再回到步骤24，否则直接回到步骤24。由于此法是以影像的全画面的变化来判断手势，不藉助任何影像的形状，因此不需要辨识手的形状，也不必找出手的位置，也因此，该方法对影像模糊具有极佳的抵抗能力，而且不受物件的形状或色温影响，物件不限定为手。由于不要求清晰的影像，所以快速挥动的手势也可以辨识，也因此可适用在短距离的应用。此外，该方法只需要简单的运算法，运算量也比较少，因此系统的反应快，需要的软硬体成本也比较低。
以下以滑动(slide)、旋转(rotate)及缩放(zoom)等手势的检测为例，更具体地说明本发明。
参照图1，当手12在相机模块10前方横向挥动时，相机模块10产生在时间上为一序列的影像如图4所示，利用相邻的两帧影像f(1)及f(2)产生变化影像df(1,2)，例如以后影像f(2)减掉前影像f(1)，即df(1,2)=f(2)-f(1)，然后计算变化影像df(1,2)的画面特征值，例如重心的位置34，同样的，利用相邻的两帧影像f(2)及f(3)产生变化影像df(2,3)，计算变化影像df(2,3)的重心的位置36，因为手12产生的影像14、16及38在画面中的位置不同，所以重心在画面中的位置34及36也不同。以如此方式取得更多变化影像的重心的位置，例如图4的右下方所示，其变化模式呈现向右移动，若此变化模式符合某个预设的手势定义，则判定其为该定义的手势，例如滑动。
参照图5，当使用者的手12面对相机模块10划圈时，变化影像的重心的位置具有如图6所示的变化模式，可用来产生旋转的指令。
参照图7，当使用者的手12对着相机模块10前后移动时，相机模块10取得的前后两帧影像如图8中的f(1)及f(2)所示，手12产生的影像14及16在画面中的位置不变或变化不大，但大小会有明显的差异，这种手势可用来产生缩放的指令。利用影像f(1)及f(2)产生变化影像df(1,2)，例如df(1,2)=f(2)-f(1)，以这种方式得到的变化影像的重心的位置具有不变或变化不大的变化模式，但影像14及16的大小差异会在其他不同的画面特征值表现出来。例如参照图9，以前后两帧影像相减产生变化影像，从其像素坐标计算出来的重心与其变异量，在不同的手势时具有特定的变化模式。滑动手势在时间轴上的变化模式如图9a所示，其平均值大致不变，如曲线40所示，其变异量没有连续且规律的往覆变化，如曲线42所示。旋转手势在时间轴上的变化模式如图9b所示，其平均值与变异量皆有连续且规律的往覆变化，如曲线44及46所示。缩放手势在时间轴上的变化模式如图9c所示，其变异量有连续且规律的往覆变化，如曲线50所示，但其平均值缺少相对应的变化，如曲线48所示。
计算影像的画面特征值是习知技术，只要是可以表现出影像变化的参数或数学式都可以在本发明中使用。
在不同的实施例中，除了计算变化影像的画面特征值，还可对该画面特征值进行频率分析，例如使用傅立叶转换将影像在纵轴及横轴上的移动从时域转换到频域，以判断其变化模式。用来当作手势定义的变化模式可由系统设计者决定。
在计算变化影像时，可以增加门槛值来筛选像素，只有亮度变化超过门槛值的像素才用来计算画面特征值，以提高准确度。
以上对于本发明的较佳实施例所作的叙述系为阐明的目的，而无意限定本发明精确地为所揭露的形式，基于以上的教导或从本发明的实施例学习而作修改或变化是可能的，实施例是为解说本发明的原理以及让熟习该项技术者以各种实施例利用本发明在实际应用上而选择及叙述，本发明的技术思想企图由申请专利范围及其均等来决定。

Claims (5)

1.一种以自然影像进行的手势辨识方法，其特征是，所述手势辨识方法包含下列步骤：
A.)产生在时间上为一序列的影像；
B.)从所述序列的影像中每次选择相邻的两帧或更多帧影像产生变化影像；
C.)从所述变化影像计算画面特征值；以及
D.)将所述画面特征值的变化模式与手势定义比对，以判断手势。
2.如权利要求1所述的手势辨识方法，其特征是，所述步骤B包含将在时间上前后的影像相减。
3.如权利要求1所述的手势辨识方法，其特征是，所述步骤B包含使用门槛值筛选所述变化影像的像素。
4.如权利要求1所述的手势辨识方法，其特征是，所述步骤C包含计算所述变化影像的重心、标准差或变异量作为所述画面特征值。
5.如权利要求1所述的手势辨识方法，其特征是，所述步骤D包含对所述画面特征值进行频率分析，以判断所述变化模式。
CN201210395357.5A 2012-10-17 2012-10-17 以自然影像进行的手势辨识方法 Active CN103778405B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210395357.5A CN103778405B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势辨识方法
CN201710514833.3A CN107256089B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210395357.5A CN103778405B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势辨识方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710514833.3A Division CN107256089B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势识别方法

Publications (2)

Publication Number Publication Date
CN103778405A true CN103778405A (zh) 2014-05-07
CN103778405B CN103778405B (zh) 2017-07-04

Family

ID=50570620

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210395357.5A Active CN103778405B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势辨识方法
CN201710514833.3A Active CN107256089B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势识别方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710514833.3A Active CN107256089B (zh) 2012-10-17 2012-10-17 以自然影像进行的手势识别方法

Country Status (1)

Country Link
CN (2) CN103778405B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105307014A (zh) * 2014-07-29 2016-02-03 冠捷投资有限公司 基于手势辨识的密码输入方法
CN112307865A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 基于图像识别的交互方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276572A (zh) * 1999-06-08 2000-12-13 松下电器产业株式会社 手形手势识别装置、识别方法及含该方法程序的记录媒体
US20080019589A1 (en) * 2006-07-19 2008-01-24 Ho Sub Yoon Method and apparatus for recognizing gesture in image processing system
CN101739122A (zh) * 2008-11-24 2010-06-16 玴荣科技股份有限公司 手势辨识及追踪的方法
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
CN101807113B (zh) * 2009-02-12 2012-07-04 索尼公司 手势识别装置和手势识别方法
US20120200494A1 (en) * 2009-10-13 2012-08-09 Haim Perski Computer vision gesture based control of a device
CN102663364A (zh) * 2012-04-10 2012-09-12 四川长虹电器股份有限公司 仿3d手势识别系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
CN102236409A (zh) * 2010-04-30 2011-11-09 宏碁股份有限公司 基于影像的动作手势辨识方法及系统
CN102063618B (zh) * 2011-01-13 2012-10-31 中科芯集成电路股份有限公司 互动系统中的动态手势识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276572A (zh) * 1999-06-08 2000-12-13 松下电器产业株式会社 手形手势识别装置、识别方法及含该方法程序的记录媒体
US20080019589A1 (en) * 2006-07-19 2008-01-24 Ho Sub Yoon Method and apparatus for recognizing gesture in image processing system
CN101739122A (zh) * 2008-11-24 2010-06-16 玴荣科技股份有限公司 手势辨识及追踪的方法
CN101807113B (zh) * 2009-02-12 2012-07-04 索尼公司 手势识别装置和手势识别方法
US20120200494A1 (en) * 2009-10-13 2012-08-09 Haim Perski Computer vision gesture based control of a device
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
CN102663364A (zh) * 2012-04-10 2012-09-12 四川长虹电器股份有限公司 仿3d手势识别系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105307014A (zh) * 2014-07-29 2016-02-03 冠捷投资有限公司 基于手势辨识的密码输入方法
CN112307865A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 基于图像识别的交互方法及装置

Also Published As

Publication number Publication date
CN107256089B (zh) 2020-07-03
CN103778405B (zh) 2017-07-04
CN107256089A (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
Shriram et al. Deep learning-based real-time AI virtual mouse system using computer vision to avoid COVID-19 spread
TWI489317B (zh) 電子裝置的操作方法及系統
US10394334B2 (en) Gesture-based control system
Shen et al. Vision-based hand interaction in augmented reality environment
US10366281B2 (en) Gesture identification with natural images
US9405373B2 (en) Recognition apparatus
CN105849673A (zh) 基于自然三维手势的人机导览方法
CN103135753A (zh) 手势输入的方法及系统
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN103778405A (zh) 以自然影像进行的手势辨识方法
Abdallah et al. An overview of gesture recognition
Wang et al. A six-degree-of-freedom virtual mouse based on hand gestures
KR101465896B1 (ko) 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
KR101171239B1 (ko) 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
Annabel et al. Design and Development of Multimodal Virtual Mouse
Khaliq et al. Virtual Mouse Implementation Using Color Pointer Detection
Liu et al. A low-cost hand gesture human-computer interaction system
Karray et al. A survey of AR systems and a case study of virtual keyboard based camera projector system
Rana et al. Hand Tracking for Rehabilitation Using Machine Vision
Prabhakar et al. AI And Hand Gesture Recognition Based Virtual Mouse
Azam et al. A Survey on 3D Egocentric Human Pose Estimation
Babu et al. Touchless User Interface for Sketching Using Hand Gesture Recognition
Zhu et al. Optical flow based finger stroke detection
Joshi et al. Towards controlling mouse through Hand Gestures: A novel and efficient approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant