CN103376895B - 手势控制方法及手势控制装置 - Google Patents
手势控制方法及手势控制装置 Download PDFInfo
- Publication number
- CN103376895B CN103376895B CN201210142155.XA CN201210142155A CN103376895B CN 103376895 B CN103376895 B CN 103376895B CN 201210142155 A CN201210142155 A CN 201210142155A CN 103376895 B CN103376895 B CN 103376895B
- Authority
- CN
- China
- Prior art keywords
- hand
- gesture
- face
- palm
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007306 turnover Effects 0.000 claims description 30
- 238000004080 punching Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 18
- 238000009434 installation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013016 damping Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明提供一种手势控制方法,包含:撷取至少一图像;检测该至少一图像中是否存在一人脸;若该至少一图像中存在人脸,检测该至少一图像中是否同时存在一手部;若该至少一图像中存在手部,辨识手部所表现的一手势以及手部与人脸之一相对距离或一相对移动速度;以及根据该手势以及该相对距离或该相对移动速度而于一显示画面中执行一预定功能。通过本发明,可以利用2D图像检测器来检测人脸以及手部,再利用人脸与手部之间的关系来执行对应功能,进而达到类似3D图像检测器的精确度。
Description
技术领域
本发明关于一种手势控制方法以及手势控制装置,尤指一种利用人脸与手部之间的关系来执行对应功能的手势控制方法以及手势控制装置。
背景技术
目前,使用者大多是透过键盘、滑鼠、触控面板、遥控器等输入装置对电子装置进行相关操作。然而,无论是使用键盘、滑鼠、触控面板或是遥控器,使用者皆须以手握持或碰触这些输入装置才能进行相关操作。此对使用者而言,稍嫌不便。随着体感控制的运用越来越普及,未来更有可能改变现有的操作模式,其中手势的应用最为广泛。目前,现有手势控制技术可分成以下三类:1)使用者需穿戴特殊道具,其缺点是使用不方便;2)利用2D图像检测器来检测使用者的肢体动作,其缺点是使用上不够精确;3)利用3D图像检测器来检测使用者的肢体动作,其缺点是成本高且机构厚重,不利于内嵌至各式电子装置中。
发明内容
本发明提供一种手势控制方法以及手势控制装置,其利用人脸与手部之间的关系来执行对应功能,以解决上述之问题。
根据一实施例,本发明之手势控制方法包含:撷取至少一图像;检测该至少一图像中是否存在一人脸;若该至少一图像中存在人脸,检测该至少一图像中是否同时存在一手部;若该至少一图像中存在手部,辨识手部所表现之一手势以及手部与人脸之一相对距离或一相对移动速度;以及根据手势以及该相对距离或该相对移动速度而于一显示画面中执行一预定功能。
根据另一实施例,本发明之手势控制装置包含一显示单元、一图像撷取单元以及一处理单元,其中处理单元电性连接于图像撷取单元以及显示单元。显示单元用以显示一显示画面。图像撷取单元用以撷取至少一图像。处理单元检测该至少一图像中是否存在一人脸,若该至少一图像中存在人脸,处理单元检测该至少一图像中是否同时存在一手部,若该至少一图像中存在手部,处理单元辨识手部所表现之一手势以及手部与人脸之一相对距离或一相对移动速度,并且根据手势以及该相对距离或该相对移动速度而于显示画面中执行一预定功能。
综上所述,本发明在撷取图像后先进行人脸检测以得到使用者的位置,再做手部检测,辨识手部所表现的手势以及手部与人脸的相对距离或相对移动速度,进而根据手势以及该相对距离或该相对移动速度而于显示画面中执行预定功能(例如,翻转照片、频道、歌曲、影片、音量等或选取特定档案、程式等)。本发明可利用2D图像检测器来检测人脸以及手部,再利用人脸与手部之间的关系来执行对应功能,进而达到类似3D图像检测器的精确度。因此,本发明不仅使用方便,具备低成本的优势,且其机构轻薄短小易于内嵌至各式电子装置中,例如一体机电脑(All-in-OnePC,AIOPC)、智慧型电视(SmartTV)、笔记型电脑(NotebookPC)等。
关于本发明之优点与精神可以藉由以下的发明详述及所附图式得到进一步的了解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明一实施例的手势控制装置的示意图;
图2为图1中的手势控制装置的功能方块图;
图3为根据本发明一实施例的手势控制方法的流程图;
图4为使用者以手部之开掌相对人脸移动至一距离,以执行翻转功能的示意图;
图5为使用者以手部之开掌相对人脸移动至另一距离,以执行翻转功能的示意图;
图6为使用者将手部之开掌向前移动,以执行选取功能的示意图;
图7为使用者将手部之握拳向前移动,以执行选取功能的示意图;
图8为使用者以手部握拳来锁定显示画面中一物件的示意图;
图9为使用者以手部之握拳挥动,以执行翻转功能的示意图;
图10为使用者以手势设定一起始参考位置的示意图。
附图标号
1手势控制装置3使用者
5物件列表10显示单元
12图像撷取单元14处理单元
16扬声器30人脸
32手部50物件
100手势对应元件102显示画面
d0、d1、d2距离I图像
A箭头S100-S108步骤
具体实施方式
请参阅图1以及图2,图1为根据本发明一实施例的手势控制装置1的示意图,图2为图1中的手势控制装置1的功能方块图。本发明的手势控制装置1可为任何具有数据处理功能的电子装置,例如一体机电脑(All-in-OnePC,AIOPC)、智慧型电视(SmartTV)、笔记型电脑(NotebookPC)等。如图1与图2所示,手势控制装置1包含一显示单元10、一图像撷取单元12、一处理单元14以及一扬声器16,其中显示单元10、图像撷取单元12以及扬声器16分别电性连接于处理单元14。使用者3可于图像撷取单元12前以其手部32表现一手势,手势控制装置1的处理单元14再根据图像撷取单元12撷取的图像进行图像辨识,以控制手势对应元件100(例如,游标)或其它使用者介面于显示单元10所显示的显示画面102中执行对应功能。
于实际应用中,显示单元10可为液晶显示器、其它类型显示器或投影荧幕;图像撷取单元12可为电荷耦合元件(Charge-coupledDevice,CCD)感测器或互补式金属氧化半导体(ComplementaryMetal-OxideSemiconductor,CMOS)感测器,但不以此为限;处理单元14可为具有数据运算/处理功能的处理器或控制器。一般而言,手势控制装置1中还会设有运作时必要的软硬件元件,如存储器(memory)、储存装置(storagedevice)、电源供应器、作业系统等,视实际应用而定。
请参阅图3,图3为根据本发明一实施例的手势控制方法的流程图。图3中的手势控制方法适用于上述的手势控制装置1。当使用者3位于图像撷取单元12前时,执行步骤S100,利用图像撷取单元12撷取至少一图像。接着,执行步骤S102,处理单元14检测该至少一图像中是否存在使用者3的人脸30。若该至少一图像中存在使用者3的人脸30,执行步骤S104,处理单元14检测该至少一图像中是否同时存在使用者3的手部32。若该至少一图像中不存在使用者3的人脸30,则回到步骤S100。若该至少一图像中存在使用者3的手部32,执行步骤S106,处理单元14辨识使用者3的手部32所表现的一手势以及手部32与人脸30的左右相对位置关系、相对距离或相对移动速度。若该至少一图像中不存在使用者3的手部32,则回到步骤S100。最后,执行步骤S108,处理单元14根据使用者3的手部32所表现的手势、相对位置、相对距离或相对移动速度而于显示单元10所显示的显示画面100中执行一预定功能。
当处理单元14检测到使用者3的手部32时,处理单元14可于显示画面102中显示手势对应元件100。如图1所示,手势对应元件100可为对应使用者3的手部32的手掌形状,但不以此为限。于另一实施例中,手势对应元件100亦可为一般游标或光棒。此外,当处理单元14检测到使用者3的手部32时,处理单元14亦可控制扬声器16播放一音效,以通知使用者3可开始以手部32表现手势,进而控制手势对应元件100或其它使用者介面于显示单元10所显示的显示画面102中执行对应功能。
以下将图1与图2中的手势控制装置1搭配图3中的手势控制方法来举数个应用实施例说明本发明的技术特点。
请参阅图4至图6之第一应用实施例,图4为使用者3以手部32之开掌相对人脸30移动至一距离d1,以执行翻转功能的示意图;图5为使用者3以手部32之开掌相对人脸30移动至另一距离d2,以执行翻转功能的示意图;图6为使用者3将手部32之开掌向前移动,以执行选取功能的示意图。当使用者3欲以手部32表现手势来控制手势控制装置1执行翻转功能时,使用者3需先进入图像撷取单元12的撷取图像范围。此时,图像撷取单元12即会撷取使用者3的图像I,如图4所示。接着,在处理单元14检测到图像I中同时存在使用者3的人脸30与手部32后,处理单元14会于显示画面102中显示手势对应元件100,并且控制扬声器16播放音效,以通知使用者3可开始以手部32表现手势。此时,使用者3即可以手部32之开掌相对人脸30移动一段距离,以执行翻转功能(即上述的预定功能)。
如图4所示,当使用者3以手部32之开掌相对人脸30移动至一距离d1时,处理单元14会控制显示画面102中的物件列表5中的物件50以对应距离d1的翻转速度朝箭头A的方向翻转。如图5所示,当使用者3以手部32之开掌相对人脸30移动至另一距离d2时,处理单元14会控制显示画面102中的物件列表5中的物件50以对应距离d2的翻转速度朝箭头A的方向翻转。于此实施例中,手部32之开掌相对人脸30的距离与翻转功能的翻转速度成正比。由于距离d2大于距离d1,因此图5中的物件50的翻转速度大于图4中的物件50的翻转速度。换言之,若使用者3欲加快翻转速度,其可将手部32之开掌朝远离人脸30的方向移动,以加大手部32之开掌相对人脸30之距离;反之,若使用者3欲放慢翻转速度,其可将手部32之开掌朝接近人脸30的方向移动,以缩小手部32之开掌相对人脸30之距离。此外,使用者3可利用另一手根据上述操作方式控制显示画面102中的物件列表5中的物件50朝箭头A的反方向翻转,也就是说,处理单元14会先判断手部32之位置是相对于人脸30的左侧或右侧,来相对应地决定显示画面102中的物件列表5是要向右翻转或向左翻转(或是向前正转或向后逆转),再判断手部32之开掌相对于人脸30的距离大小来决定相对应的翻转速度。
于第二应用实施例中,本发明亦可将图4中的距离d1与图5中的距离d2设定为调整翻转速度的阀值,而形成有三个距离间隔。举例而言,当手部32之开掌相对人脸30的距离小于图4中的距离d1时(亦即落在较近的距离间隔中),以预定的慢速(例如2X倍速)翻转显示画面102中的物件50;当手部32之开掌相对人脸30的距离介于图4中的距离d1与图5中的距离d2之间时(亦即落在中间的距离间隔中),以中速(例如4X倍速)翻转显示画面102中的物件50;当手部32之开掌相对人脸30的距离大于图5中的距离d2时(亦即落在最远的距离间隔中),以快速(例如8X倍速)翻转显示画面102中的物件50。需说明的是,调整翻转速度的阀值数量、大小及其对应的翻转速度可根据实际应用而决定,不以上述实施例为限。此外,物件列表5可为照片列表、频道列表、歌曲列表、影片列表、连络人列表、文件列表或其它列表,物件50即为对应的照片、频道、歌曲、影片、连络人、文件或其它物件。于另一实施例中,物件列表5亦可为音量调整介面、亮度调整介面或其它软体或硬体设定值调整介面,以供使用者3根据上述手势操作方式调整设定值大小。于本例中,同样地处理单元14也可先判断手部32之开掌位置是位于相对于人脸30之左侧或右侧,来相对应地决定显示画面102中的物件列表5是要向右翻转或向左翻转(或是向前正转或向后逆转),再判断手部32之开掌相对于人脸30的距离或相对于阀值大小来决定相对应的阶梯式翻转速度。
当使用者3翻转到所欲执行的物件50时,使用者3可将手部32之开掌向前移动,如图6所示。此时,处理单元14会检测到图像撷取单元12所撷取之图像I中的手部32之开掌变大,以判断使用者3欲执行选取功能(即上述的预定功能)。接着,处理单元14即会于显示画面102选取并播放、开启或执行使用者3所欲执行的物件50。于另一实施例中,使用者3亦可以手部32之开掌先向前移动再退回原来位置(亦即,手部32之开掌会先变大再变小),来执行上述的选取功能。此时,处理单元14会检测到图像撷取单元12所撷取的图像I中的手部32之开掌先变大再变小,以判断使用者3欲执行选取功能。
请参阅图7,图7为使用者3将手部32之握拳向前移动,以执行选取功能的示意图。如图7所示,使用者3亦可以手部32收缩成握拳手势并向前移动,来执行上述的选取功能。同理,处理单元14会检测到图像撷取单元12所撷取的图像I中的手部32之握拳变大,以判断使用者3欲执行选取功能。于另一实施例中,使用者3亦可以手部32之握拳先向前移动再退回原来位置,来执行上述的选取功能。同理,处理单元14会检测到图像撷取单元12所撷取之图像I中的手部32之握拳先变大再变小,以判断使用者3欲执行选取功能。
请参阅图8以及图9的第三应用实施例,图8为使用者3以手部32握拳来锁定显示画面102中的一物件50的示意图;图9为使用者3以手部32之握拳挥动,以执行翻转功能的示意图。在处理单元14检测到图像I中存在使用者3的人脸30与手部32后,在一般模式状态下,如同前述图4及图5的第一应用实施例与第二应用实施例,使用者3可以手部32之开掌或握拳挥动的手势来执行翻转功能。但若如图8所示,当使用者3之手部32自一开掌转变为握拳时(宛如执行抓取(grab)的动作),手势对应元件100即会呈现对应的握拳形状,且处理单元14即会锁定显示画面102中的物件列表5中的某一物件50。如图9所示,当使用者3持续保持以手部32握拳之手势挥动时,处理单元14即会控制物件50随着手部32之握拳的挥动方向(箭头A所指之方向)翻转。于此实施例中,以握拳形状的手势对应元件100来控制物件50翻转,就类同于接触式的手机触控显示器般用手指碰触并持续接触显示画面来拖曳物件而造成翻转的状态,亦即手部32握拳的挥动就等同于控制物件50进行同步拨动的效果,手部32握拳的挥动速度将与翻转功能的翻转速度相同。换言之,挥动速度愈快,翻转速度就愈快;挥动速度愈慢,翻转速度就愈慢。甚至,使用者3还可以手部32握拳并且朝箭头A的反方向挥动,以控制物件50朝箭头A的反方向翻转,在此不再赘述。需说明的是,本实施例中亦可进一步设计成,在使用者3挥动握拳手势的手部32直至控制物件50超出显示画面102的范围后,或是挥动一段距离后使手部32自握拳转变为开掌而解除握拳状态手势后,控制物件50的翻转动作将在没有进一步的手势命令下会随着时间的经过自动变慢至静止,犹如具摩擦阻尼效果。当使用者3翻转到所欲执行的物件50时,使用者3亦可根据上述第二应用实施例关于利用手部32握拳向前推或前推后拉回之操作方式来选取特定的档案、程式等,在此不再赘述。此外,上述的翻转功能亦可用来翻转播放影片的时间轴(例如,快转、倒带等)。
请参阅图10的第四应用实施例,图10为使用者3以手势设定一起始参考位置的示意图。在处理单元14检测到图像I中存在使用者3的人脸30与手部32后,使用者3可将手部32之开掌相对人脸30维持一起始距离d0且静止一段时间(例如,三秒、五秒等),以使处理单元14根据起始距离d0设定一起始参考位置(即上述的预定功能)。此起始参考位置即是手部32之开掌与人脸30一开始的相对位置。接着,使用者3即可以手部32之开掌或握拳挥动,来执行翻转功能。当使用者3手部32之开掌或握拳挥动时,处理单元14即会根据上述的起始参考位置计算该手部32之开掌或握拳在一段时间内移动的距离来产生挥动速度,并且以此挥动速度控制显示画面102中的物件50随着手部32之开掌或握拳之挥动方向翻转。于此实施例中,手部32之开掌或握拳之挥动速度与翻转功能的翻转速度成正比。换言之,挥动速度愈快,翻转速度就愈快;挥动速度愈慢,翻转速度就愈慢。需说明的是,与前述第三应用实施例相同地,在使用者3挥动手部32之开掌或握拳直至控制物件50超出显示画面102的范围后,或是挥动一段距离后打开手掌而解除握拳状态手势后,控制物件50的翻转动作将自动变慢至静止,犹如具摩擦阻尼效果。当使用者3翻转到所欲执行的物件50时,使用者3可根据上述实施例利用手部32之开掌或握拳向前推或前推后拉回的操作方式来选取特定的档案、程式等,在此不再赘述。此外,本发明可设定当使用者3之手部32与人脸30的距离小于起始距离d0时,即不执行任何功能。
于另一实施例中,使用者3亦可以手部32之开掌相对人脸30维持起始距离d0且挥动一段时间(例如,三秒、五秒等),以使处理单元14根据起始距离d0设定上述的起始参考位置。于另一实施例中,使用者3亦可以手部32之开掌相对人脸30维持起始距离d0再握拳一段时间(例如,三秒、五秒等)再放开,以使处理单元14根据起始距离d0设定上述的起始参考位置。需说明的是,使用者3可在使用的任何过程中根据上述操作方式重设起始参考位置。
综上所述,本发明在撷取图像后先进行人脸检测以得到使用者的位置,再做手部检测,辨识手部所表现的手势以及手部32与人脸30之左右相对位置关系、相对距离或相对移动速度,进而根据手势以及该相对位置关系、该相对距离或该相对移动速度而于显示画面中执行预定功能(例如,设定起始参考位置、翻转照片、频道、歌曲、影片、音量等或选取特定档案、程式等)。本发明可利用2D图像检测器来检测人脸以及手部,再利用人脸与手部之间的关系来执行对应功能,进而达到类似3D图像检测器的精确度。因此,本发明不仅使用方便,具备低成本的优势,且其机构轻薄短小易于内嵌至各式电子装置中,例如一体机电脑(All-in-OnePC,AIOPC)、智慧型电视(SmartTV)、笔记型电脑(NotebookPC)等。
以上所述仅为本发明之较佳实施例,凡依本发明权利要求范围所做之均等变化与修饰,皆应属本发明之涵盖范围。
Claims (32)
1.一种手势控制方法,其特征在于,所述的手势控制方法包含:
撷取至少一图像;
检测所述至少一图像中是否存在一人脸;
若所述至少一图像中存在所述人脸,检测所述至少一图像中是否同时存在一手部;
若所述至少一图像中存在所述手部,辨识所述手部所表现的一手势以及所述手部与所述人脸的一相对距离或一相对移动速度;以及
根据所述手势以及所述相对距离或所述相对移动速度而于一显示画面中执行一预定功能。
2.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离且静止一段时间,且所述预定功能为根据所述起始距离设定一起始参考位置。
3.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离且挥动一段时间,且所述预定功能为根据所述起始距离设定一起始参考位置。
4.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离再握拳一段时间再放开,且所述预定功能为根据所述起始距离设定一起始参考位置。
5.根据权利要求1所述的手势控制方法,其特征在于,所述的手势控制方法还包含:
于检测到所述手部时,于所述显示画面中显示一手势对应元件。
6.根据权利要求5所述的手势控制方法,其特征在于,所述的手势控制方法还包含:
于检测到所述手部时,播放一音效。
7.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一开掌相对所述人脸移动一段距离,且所述预定功能为一翻转功能。
8.根据权利要求7所述的手势控制方法,其特征在于,所述开掌相对所述人脸的距离与所述翻转功能的翻转速度成正比。
9.根据权利要求7所述的手势控制方法,其特征在于,所述开掌相对所述人脸可依远近而区分为多个距离间隔,所述开掌移动至相对较远的距离间隔中所对应产生的翻转速度会快于所述开掌移动至相对较近的距离间隔中所对应产生的翻转速度。
10.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一握拳并且相对于所述人脸挥动,所述预定功能为一翻转功能,所述手势控制方法还包含:
当所述手部自一开掌转变为所述握拳时,锁定所述显示画面中的一物件;以及
当所述握拳挥动时,控制所述物件随着所述握拳的挥动方向翻转。
11.根据权利要求10所述的手势控制方法,其特征在于,所述握拳的挥动速度与所述翻转功能的翻转速度相同。
12.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部的一开掌或一握拳挥动,所述预定功能为一翻转功能,所述手势控制方法还包含:
当所述开掌或所述握拳相对于所述人脸挥动一定速度时,控制所述显示画面中的物件随着所述开掌或所述握拳的挥动方向以一定速度翻转。
13.根据权利要求12所述的手势控制方法,其特征在于,所述开掌或所述握拳的挥动速度与所述翻转功能的翻转速度成正比。
14.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部向前移动,且所述预定功能为一选取功能。
15.根据权利要求1所述的手势控制方法,其特征在于,所述手势为所述手部先向前移动再退回原来位置,且所述预定功能为一选取功能。
16.根据权利要求7、10或12所述的手势控制方法,其特征在于,所述的手势控制方法还包含:
辨识所述手部与所述人脸的相对位置;
当所述手部位在所述人脸的一第一侧时,所述翻转功能为朝一第一方向翻转;以及
当所述手部位在所述人脸的一第二侧时,所述翻转功能为朝一第二方向翻转;
其中,所述第一侧与所述第二侧相对,且所述第一方向与所述第二方向相反,所述第一侧与所述第二侧为人脸的左右两侧。
17.一种手势控制装置,其特征在于,所述的手势控制装置包含:
一显示单元,用以显示一显示画面;
一图像撷取单元,用以撷取至少一图像;以及
一处理单元,电性连接于所述图像撷取单元以及所述显示单元,所述处理单元检测所述至少一图像中是否存在一人脸,若所述至少一图像中存在所述人脸,所述处理单元检测所述至少一图像中是否同时存在一手部,若所述至少一图像中存在所述手部,所述处理单元辨识所述手部所表现的一手势以及所述手部与所述人脸的一相对距离或一相对移动速度,并且根据所述手势以及所述相对距离或所述相对移动速度而于所述显示画面中执行一预定功能。
18.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离且静止一段时间,且所述预定功能为根据所述起始距离设定一起始参考位置。
19.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离且挥动一段时间,且所述预定功能为根据所述起始距离设定一起始参考位置。
20.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一开掌相对所述人脸维持一起始距离再握拳一段时间再放开,且所述预定功能为根据所述起始距离设定一起始参考位置。
21.根据权利要求17所述的手势控制装置,其特征在于,当所述处理单元检测到所述手部时,所述处理单元于所述显示画面中显示一手势对应元件。
22.根据权利要求21所述的手势控制装置,其特征在于,所述的手势控制装置还包含一扬声器,电性连接于所述处理单元,其中当所述处理单元检测到所述手部时,所述处理单元控制所述扬声器播放一音效。
23.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一开掌相对所述人脸移动一段距离,且所述预定功能为一翻转功能。
24.根据权利要求23所述的手势控制装置,其特征在于,所述开掌相对所述人脸的距离与所述翻转功能的翻转速度成正比。
25.根据权利要求23所述的手势控制装置,其特征在于,所述开掌相对所述人脸可依远近而区分为多个距离间隔,所述开掌移动至相对较远的距离间隔中所对应产生的翻转速度会快于所述开掌移动至相对较近的距离间隔中所对应产生的翻转速度。
26.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一握拳并且相对于所述人脸挥动,所述预定功能为一翻转功能,当所述手部自一开掌转变为所述握拳时,所述处理单元锁定所述显示画面中的一物件,当所述握拳挥动时,所述处理单元控制所述物件随着所述握拳的挥动方向翻转。
27.根据权利要求26所述的手势控制装置,其特征在于,所述握拳的挥动速度与所述翻转功能的翻转速度相同。
28.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部的一开掌或一握拳挥动,所述预定功能为一翻转功能,当所述开掌或所述握拳相对于所述人脸挥动一定速度时,所述处理单元控制所述显示画面中的物件随着所述开掌或所述握拳的挥动方向以一定速度翻转。
29.根据权利要求28所述的手势控制装置,其特征在于,所述开掌或所述握拳的挥动速度与所述翻转功能的翻转速度成正比。
30.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部向前移动,且所述预定功能为一选取功能。
31.根据权利要求17所述的手势控制装置,其特征在于,所述手势为所述手部先向前移动再退回原来位置,且所述预定功能为一选取功能。
32.根据权利要求23、26或28所述的手势控制装置,其特征在于,所述处理单元辨识所述手部与所述人脸之相对位置,当所述手部位在所述人脸之一第一侧时,所述翻转功能为朝一第一方向翻转,当所述手部位在所述人脸之一第二侧时,所述翻转功能为朝一第二方向翻转,所述第一侧与所述第二侧相对,且所述第一方向与所述第二方向相反,所述第一侧与所述第二侧为人脸的左右两侧。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101114499 | 2012-04-24 | ||
TW101114499A TWI454966B (zh) | 2012-04-24 | 2012-04-24 | 手勢控制方法及手勢控制裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103376895A CN103376895A (zh) | 2013-10-30 |
CN103376895B true CN103376895B (zh) | 2016-08-03 |
Family
ID=49379619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210142155.XA Active CN103376895B (zh) | 2012-04-24 | 2012-05-09 | 手势控制方法及手势控制装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8937589B2 (zh) |
CN (1) | CN103376895B (zh) |
TW (1) | TWI454966B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101189633B1 (ko) * | 2011-08-22 | 2012-10-10 | 성균관대학교산학협력단 | 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말 |
US9170674B2 (en) * | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
TWI590098B (zh) * | 2012-05-09 | 2017-07-01 | 劉鴻達 | 以臉部表情為輸入的控制系統 |
KR102035134B1 (ko) * | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
US9081413B2 (en) * | 2012-11-20 | 2015-07-14 | 3M Innovative Properties Company | Human interaction system based upon real-time intention detection |
KR102041984B1 (ko) * | 2012-12-18 | 2019-11-07 | 삼성전자주식회사 | 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법 |
CN103926999B (zh) * | 2013-01-16 | 2017-03-01 | 株式会社理光 | 手掌开合手势识别方法和装置、人机交互方法和设备 |
US10884493B2 (en) * | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
CN103558927A (zh) * | 2013-11-21 | 2014-02-05 | 广州视声电子实业有限公司 | 一种3d手势控制方法和装置 |
TW201543268A (zh) * | 2014-01-07 | 2015-11-16 | Thomson Licensing | 用於使用手勢控制媒體播放之系統及方法 |
EP2924539B1 (en) * | 2014-03-27 | 2019-04-17 | Lg Electronics Inc. | Display device and operating method thereof using gestures |
CN104408395A (zh) * | 2014-06-26 | 2015-03-11 | 青岛海信电器股份有限公司 | 一种手势识别方法和系统 |
CN104331192B (zh) * | 2014-10-20 | 2017-12-08 | 深圳市天英联合教育股份有限公司 | 电子白板显示方法 |
CN104317403B (zh) * | 2014-10-27 | 2017-10-27 | 黄哲军 | 一种用于手语识别的可穿戴设备 |
CN104349064B (zh) * | 2014-10-28 | 2018-01-16 | 广东欧珀移动通信有限公司 | 一种终端及其摄像头控制方法、装置、系统 |
TWI610198B (zh) * | 2015-04-17 | 2018-01-01 | 鈺立微電子股份有限公司 | 遙控裝置與根據至少一靜態手勢產生控制指令的方法 |
CN105159444B (zh) * | 2015-08-07 | 2018-05-25 | 珠海格力电器股份有限公司 | 用于手势识别的捕捉对象的确定方法和装置 |
TWI603626B (zh) * | 2016-04-26 | 2017-10-21 | 音律電子股份有限公司 | 揚聲裝置、其控制方法及播放控制系統 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
CN107015636A (zh) * | 2016-10-27 | 2017-08-04 | 蔚来汽车有限公司 | 虚拟现实头显设备手势控制方法 |
JP2018142168A (ja) * | 2017-02-28 | 2018-09-13 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
CN109558000B (zh) * | 2017-09-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种人机交互方法及电子设备 |
US10664041B2 (en) | 2017-11-13 | 2020-05-26 | Inernational Business Machines Corporation | Implementing a customized interaction pattern for a device |
CN109032345B (zh) * | 2018-07-04 | 2022-11-29 | 百度在线网络技术(北京)有限公司 | 设备控制方法、装置、设备、服务端和存储介质 |
TWI731263B (zh) | 2018-09-06 | 2021-06-21 | 宏碁股份有限公司 | 智慧型背帶及定義人體姿態的方法 |
CN109770641A (zh) * | 2018-12-18 | 2019-05-21 | 北京交通大学 | 一种智能试衣镜 |
KR20200080047A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
CN110348420B (zh) * | 2019-07-18 | 2022-03-18 | 腾讯科技(深圳)有限公司 | 手语识别方法、装置、计算机可读存储介质和计算机设备 |
KR20190104929A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스 |
CN111062312B (zh) * | 2019-12-13 | 2023-10-27 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
CN112089589B (zh) * | 2020-05-22 | 2023-04-07 | 未来穿戴技术有限公司 | 一种颈部按摩仪的控制方法、颈部按摩仪及存储介质 |
JP2023161209A (ja) * | 2022-04-25 | 2023-11-07 | シャープ株式会社 | 入力装置、入力方法、及び入力プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228841A1 (en) * | 2008-03-04 | 2009-09-10 | Gesture Tek, Inc. | Enhanced Gesture-Based Image Manipulation |
US20110057875A1 (en) * | 2009-09-04 | 2011-03-10 | Sony Corporation | Display control apparatus, display control method, and display control program |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的系统及方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
EP1477924B1 (en) * | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
TW200928892A (en) * | 2007-12-28 | 2009-07-01 | Wistron Corp | Electronic apparatus and operation method thereof |
JP2009265709A (ja) * | 2008-04-22 | 2009-11-12 | Hitachi Ltd | 入力装置 |
CN102292689B (zh) * | 2009-01-21 | 2016-08-03 | 汤姆森特许公司 | 利用脸部检测和热点运动控制媒体的方法 |
KR20110003146A (ko) * | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
TWI489317B (zh) * | 2009-12-10 | 2015-06-21 | Tatung Co | 電子裝置的操作方法及系統 |
TW201123031A (en) * | 2009-12-24 | 2011-07-01 | Univ Nat Taiwan Science Tech | Robot and method for recognizing human faces and gestures thereof |
TWI425357B (zh) * | 2010-09-27 | 2014-02-01 | Silicon Motion Inc | 用來進行區塊管理之方法以及記憶裝置及控制器 |
CN103477352A (zh) * | 2011-04-11 | 2013-12-25 | 英特尔公司 | 使用深度图像的姿势识别 |
WO2012144667A1 (en) * | 2011-04-19 | 2012-10-26 | Lg Electronics Inc. | Method and electronic device for gesture recognition |
JP6106921B2 (ja) * | 2011-04-26 | 2017-04-05 | 株式会社リコー | 撮像装置、撮像方法および撮像プログラム |
US20120304067A1 (en) * | 2011-05-25 | 2012-11-29 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling user interface using sound recognition |
US8810513B2 (en) * | 2012-02-02 | 2014-08-19 | Kodak Alaris Inc. | Method for controlling interactive display system |
TWI475496B (zh) * | 2012-10-16 | 2015-03-01 | Wistron Corp | 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法 |
-
2012
- 2012-04-24 TW TW101114499A patent/TWI454966B/zh active
- 2012-05-09 CN CN201210142155.XA patent/CN103376895B/zh active Active
- 2012-09-05 US US13/603,432 patent/US8937589B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228841A1 (en) * | 2008-03-04 | 2009-09-10 | Gesture Tek, Inc. | Enhanced Gesture-Based Image Manipulation |
US20110057875A1 (en) * | 2009-09-04 | 2011-03-10 | Sony Corporation | Display control apparatus, display control method, and display control program |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103376895A (zh) | 2013-10-30 |
US8937589B2 (en) | 2015-01-20 |
TWI454966B (zh) | 2014-10-01 |
US20130278493A1 (en) | 2013-10-24 |
TW201344503A (zh) | 2013-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103376895B (zh) | 手势控制方法及手势控制装置 | |
US11874970B2 (en) | Free-space user interface and control using virtual constructs | |
EP2241963B1 (en) | Information processing apparatus, information processing method and program | |
US20160328109A1 (en) | Scrolling apparatus, scrolling method, and computer-readable medium | |
RU2541852C2 (ru) | Устройство и способ для управления пользовательским интерфейсом на основе движений | |
US20120054670A1 (en) | Apparatus and method for scrolling displayed information | |
EP1517228A2 (en) | Gesture recognition method and touch system incorporating the same | |
US20110050629A1 (en) | Information processing apparatus, information processing method and program | |
CN110647244A (zh) | 终端和基于空间交互控制所述终端的方法 | |
WO2014024396A1 (en) | Information processing apparatus, information processing method, and computer program | |
JP2011517357A5 (zh) | ||
KR102080045B1 (ko) | 롤러블 디스플레이 장치 및 그 제어 방법 | |
US20130120289A1 (en) | Information processing apparatus and method of controlling same | |
CN105320265A (zh) | 电子装置的控制方法 | |
US20180181257A1 (en) | Method for user interface of foldable display apparatus | |
WO2013114499A1 (ja) | 入力装置、入力制御方法、および入力制御プログラム | |
CN102681750B (zh) | 用于移动显示对象的方法、显示装置和电子设备 | |
CN202075711U (zh) | 触控识别装置 | |
CN108132721A (zh) | 生成拖动手势的方法、触控装置以及便携式电子设备 | |
TWI524262B (zh) | 電子裝置的控制方法 | |
KR20140011921A (ko) | 동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법 | |
TWI270819B (en) | Drag-touch control method and control module for same | |
KR102049259B1 (ko) | 모션 기반 사용자 인터페이스 제어 장치 및 방법 | |
AU2015258317B2 (en) | Apparatus and method for controlling motion-based user interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |