CN102117117A - 利用图像提取装置辨识使用者姿势进行控制的系统及方法 - Google Patents

利用图像提取装置辨识使用者姿势进行控制的系统及方法 Download PDF

Info

Publication number
CN102117117A
CN102117117A CN2010100014256A CN201010001425A CN102117117A CN 102117117 A CN102117117 A CN 102117117A CN 2010100014256 A CN2010100014256 A CN 2010100014256A CN 201010001425 A CN201010001425 A CN 201010001425A CN 102117117 A CN102117117 A CN 102117117A
Authority
CN
China
Prior art keywords
posture
user
hand
image
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010100014256A
Other languages
English (en)
Inventor
黄英杰
刘旭华
谈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Primax Electronics Ltd
Original Assignee
Primax Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Primax Electronics Ltd filed Critical Primax Electronics Ltd
Priority to CN2010100014256A priority Critical patent/CN102117117A/zh
Publication of CN102117117A publication Critical patent/CN102117117A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供一种利用图像提取装置辨识使用者姿势进行控制的系统以及方法,其通过同步搭配使用者的手部姿势、头部姿势以及脸部表情的变化而形成不同的组合姿势以控制电子装置,且每一种组合姿势都传达一种相对应的控制指令。由于组合姿势的复杂度大于人们一般的惯性动作,使得本发明可避免使用者无意的惯性动作所产生的不必要的控制指令。

Description

利用图像提取装置辨识使用者姿势进行控制的系统及方法
技术领域
本发明涉及一种自动控制系统及其方法,尤其涉及一种利用图像提取装置辨识使用者姿势以产生控制信号的系统以及方法。
背景技术
随着科技的日新月异,电子装置的蓬勃发展为人类的生活带来许多的便利性,因此如何让电子装置的操作更人性化是重要的课题。举例来说,人们通常通过遥控器对相对应的设备进行控制,像是电视机的操作,通过遥控器的使用,我们可以远程对电视机进行变换频道选择自己欲看的节目,或是调整其音量的大小,然而若是在找不着遥控器的情况下,就得至电视机前利用机上的按钮来进行操作,且有些电视机身上根本没有控制按钮,显然将对使用者带来困扰。
再举例来说,人们通常是经由鼠标与键盘对计算机的各种应用程序进行操作,因此在长时间处于使用计算机的状态下,会造成颈部、肩部、手等部位的肌肉过于疲劳,进而影响健康。再者,鼠标与键盘都属于物理的装置,此将占用许多位置而造成可使用空间上的浪费。
有鉴于此,现有许多公知技术提出一种利用图像处理的方法来达到操作指令可输入电子装置的目的,详言之,电子装置上设有一摄影机,当使用者欲执行特定的操作指令时,即以身体摆出事先定义的姿势或动作,此时连结于电子装置的摄影机提取该姿势或动作的图像,经由电子装置的分析辨识,再与电子装置内的指令图像数据库进行比对,进而使电子装置判断出使用者欲传达的操作指令。譬如说,当使用者双手举起时可使计算机中的影片播放程序被开启,或是当使用者张开嘴巴呈O型嘴时可执行关闭电视机的电源。然而,人们的惯性动作会导致非欲执行的操作指令输入电子装置,如身体疲累时自然地伸懒腰动作容易与双手举起的动作混淆,或是想睡觉时自然地打哈欠动作容易与张开嘴巴呈O型嘴的动作混淆。
因此,有公知技术提出一种解决的方式来防止上述的误判与实现执行操作指令的确认,其方式如以下所述,当使用者欲执行操作指令时,先摆出一特定的姿势或动作代表要开始执行指令,接着摆出欲执行指令的相对应的姿势或动作,最后再以特定的姿势或动作代表执行指令的相对应的姿势或动作已呈现完毕,同时也代表执行指令的确认。譬如说,使用者先以右手手掌握拳的动作传达计算机要开始执行操作指令,接着以双手举起的动作来执行开启计算机中的影片播放程序,最后再以右手手掌握拳的动作传达计算机本执行指令已输入完毕且确认。通过此一系列连续的姿势或动作而达到操作指令输入与确认的目的,但此作法增加了输入操作指令的时间,也不符合人性化的考虑。
此外,更有公知的技术提出利用声控技术作搭配来防止电子装置的误判,当使用者欲执行操作指令时,即摆出欲执行指令的相对应的姿势或动作,并于此同时利用声音的传达如“开始”或“结束”来实现操作指令输入与确认的目的。然而,此作法也有一定的局限性,人们通常都比较渴望一种安静的生活环境,太多的噪音会对周围的环境造成污染,且对于聋哑人士而言此作法更是无法发挥出优势。
发明内容
本发明的主要目的在提供一种利用图像提取装置辨识使用者姿势以产生控制信号的系统以及方法,尤其关于一种通过使用者的手部姿势以及头部姿势所形成的组合姿势而产生控制信号的系统以及方法。
在一较佳实施例中,本发明提供一种利用图像提取装置辨识使用者姿势以产生控制信号的系统,其连结于电子装置,且通过使用者的手部姿势以及头部姿势所形成的组合姿势而控制电子装置,该系统包括:图像提取单元,用以提取组合姿势的图像;图像分析单元,其连接于图像提取单元,用以辨识组合姿势的图像;数据库单元,用以存储多个参考图像数据与多个参考图像数据中的每一图像数据所对应的控制指令;比对单元,其连接于图像分析单元与数据库单元,用以将组合姿势的图像与数据库单元的多个参考图像数据作比对,而搜寻出相对应的参考图像数据与参考图像数据所对应的控制指令;以及指令处理单元,其连接于比对单元与电子装置,用以将比对单元所搜寻出的控制指令输入电子装置。
在一较佳实施例中,头部姿势还包括脸部表情或脸部表情的变化。
在一较佳实施例中,脸部表情的变化为使用者的左眼开闭动作、使用者的右眼开闭动作、使用者的嘴巴开闭动作或以上任两动作的组合。
在一较佳实施例中,图像分析单元包括:手部图像分析单元,用以检测组合姿势的图像中使用者的手部位置,而分析使用者的手部姿势;头部图像分析单元,用以检测组合姿势的图像中使用者的头部位置,而分析使用者的头部姿势;脸部图像分析单元,用以检测组合姿势的图像中使用者的脸部五官间的相对位置,而分析使用者的脸部表情与脸部表情的变化;组合姿势图像辨识单元,用以综合手部图像分析单元、头部图像分析单元以及脸部图像分析单元的分析而输出组合姿势的辨识结果。
在一较佳实施例中,头部姿势为静态头部姿势或动态头部姿势。
在一较佳实施例中,静态头部姿势为使用者的头部朝向前方的姿势、使用者的头部朝向右方的姿势、使用者的头部朝向左方的姿势、使用者的头部朝向上方的姿势、使用者的头部歪向左方的姿势或使用者的头部歪向右方的姿势。
在一较佳实施例中,动态头部姿势为使用者的点头动作、使用者的摇头动作、使用者的头部顺时针画圆动作或使用者的头部逆时针画圆动作。
在一较佳实施例中,手部姿势为静态手势或动态手势。
在一较佳实施例中,静态手势系为静态手部姿势、静态手臂姿势或以上两姿势的组合。
在一较佳实施例中,静态手部姿势为使用者的左手静态姿势、使用者的右手静态姿势或以上两姿势的组合。
在一较佳实施例中,左手静态姿势为手部张开姿势、手部握拳姿势、手部单指伸出姿势、手部双指伸出姿势、手部三指伸出姿势或手部四指伸姿势。
在一较佳实施例中,右手静态姿势为手部张开姿势、手部握拳姿势、手部单指伸出姿势、手部双指伸出姿势、手部三指伸出姿势或手部四指伸出姿势。
在一较佳实施例中,静态手臂姿势为使用者的左臂静态姿势、使用者的右臂静态姿势或以上两姿势的组合。
在一较佳实施例中,左臂静态姿势为左手臂朝任一方向摆放的姿势。
在一较佳实施例中,右臂静态姿势为右手臂朝任一方向摆放的姿势。
在一较佳实施例中,动态手势为利用静态手势作单次移动行为或利用静态手势作重复性移动行为。
在一较佳实施例中,单次移动行为为顺时针画圆动作、逆时针画圆动作、点击动作、打叉动作、打勾动作、画三角形动作、往任一方向挥动的动作或以上任两动作的组合。
在一较佳实施例中,重复性移动行为为多次顺时针画圆动作、多次逆时针画圆动作、多次点击动作、多次打叉动作、多次打勾动作、多次画三角形动作、多次往任意方向挥动的动作或以上任两动作的组合。
在一较佳实施例中本发明也提供一种利用图像提取装置辨识使用者姿势以产生控制信号的方法,用以操控电子装置,包括:提取使用者的组合姿势的图像,其中组合姿势包括使用者的手部姿势与使用者的头部姿势;辨识组合姿势的图像;比对组合姿势的图像的辨识结果与事先定义的参考图像而取得事先定义的参考图像所对应的控制指令;以及输入控制指令于电子装置。
在一较佳实施例中,手部姿势为静态手势或动态手势,而头部姿势为静态头部姿势或动态头部姿势。
在一较佳实施例中,利用图像提取装置辨识使用者姿势以产生控制信号的方法还包括通过图像中使用者的脸部特征的位置而获得使用者的静态头部姿势,或通过连续图像中使用者的静态头部姿势的变化而判断使用者的动态头部姿势。
在一较佳实施例中,使用者的脸部特征为眉毛的两端、瞳孔、眼角、鼻子、嘴角或以上任两脸部特征的组合。
在一较佳实施例中,利用图像提取装置辨识使用者姿势以产生控制信号的方法还包括通过图像中使用者的手部特征的位置而获得使用者的静态手势,和/或通过连续图像中使用者的静态手势的变化而判断使用者的动态手势。
在一较佳实施例中,使用者的手部特征为手掌部、手指部、手臂部或以上任两手部特征的组合。
在一较佳实施例中,头部姿势还包括使用者的脸部表情或脸部表情的变化。
在一较佳实施例中,利用图像提取装置辨识使用者姿势以产生控制信号的方法还包括通过图像中使用者的脸部五官间的相对位置而获得使用者的脸部表情,或通过连续图像中使用者的脸部五官间的相对位置的变化而判断脸部表情的变化。
本发明的组合姿势的每一种呈现方式都可对应于一种控制指令,由于组合姿势的复杂度大于人们的惯性动作,因此,通过组合姿势的呈现可避免使用者的惯性动作导致控制指令被误入电子装置,也即在使用者以特定的组合姿势传达电子装置相对应的控制指令时,可同时完成控制指令的确认。
附图说明
图1:为本发明利用图像提取装置辨识使用者姿势以产生控制信号的系统一较佳实施例的方框示意图。
图2:为本发明一较佳利用图像提取装置辨识使用者姿势以产生控制信号的方法的流程图。
图3A:为本发明一较佳实施例的右手静态姿势呈现示意图。
图3B:为本发明一较佳实施例的左手静态姿势呈现示意图。
图4A:为本发明一较佳实施例的左臂静态姿势呈现示意图。
图4B:为本发明一较佳实施例的右臂静态姿势呈现示意图。
图5:为本发明一较佳实施例的动态手势呈现示意图。
图6:为本发明一较佳实施例的静态头部姿势呈现示意图。
图7:为本发明一较佳实施例的动态头部姿势呈现示意图。
图8:为本发明一较佳实施例的脸部表情及其变化呈现示意图。
上述附图中的附图标记说明如下:
1系统              2电子装置
3使用者            11图像提取单元
12图像分析单元     13数据库单元
14比对单元         15指令处理单元
121手部图像分析单元122头部图像分析单元
123脸部图像分析单元        124组合姿势图像辨识单元
S1、S2、S3、S4步骤
具体实施方式
请参阅图1,其为本发明利用图像提取装置辨识使用者姿势以产生控制信号的系统一较佳实施例的方框示意图。系统1连接于电子装置2,其通过感应使用者3的手部姿势以及头部姿势所形成的一组合姿势而控制电子装置2,其中,电子装置2可以是一计算机、一电视机或是其他可被遥控操作的电子设备。此外,该组合姿势中的头部姿势还可包括使用者3的脸部表情或是脸部表情的变化,使得该组合姿势可以为手部姿势、头部姿势以及脸部表情与变化一起搭配呈现的结果。
该系统1包括图像提取单元11、图像分析单元12、数据库单元13、比对单元14以及指令处理单元15。图像提取单元11用以提取组合姿势的图像;而图像分析单元12连接于图像提取单元11,用以辨识图像提取单元11所拍摄的组合姿势的图像,本较佳实施例中的图像分析单元12包括手部图像分析单元121、头部图像分析单元122、脸部图像分析单元123以及组合姿势图像辨识单元124。其中,手部图像分析单元121用以检测图像中手部的位置,进而分析手部的姿势;头部图像分析单元122用以检测图像中头部的位置,进而分析头部的姿势;脸部图像分析单元123用以检测图像中脸部五官间的相对位置,进而分析脸部的表情与变化;组合姿势图像辨识单元124用以综合手部图像分析单元121、头部图像分析单元122以及脸部图像分析单元123的分析结果辨识出组合姿势的图像的呈现。特别说明的是,手部姿势由静态手势或动态手势的方式而呈现,而头部姿势由静态头部姿势或动态头部姿势的方式呈现,都将于后详述。
再者,该系统的数据库单元13存储有多个参考图像的数据,以及多个参考图像数据中的每一图像数据所对应的控制指令;而比对单元14连接于图像分析单元12与数据库单元13,用以将图像分析单元12所辨识出组合姿势的图像与数据库单元13内的多个图像数据作比对,进而搜寻出与组合姿势的图像相同的参考图像数据,因此使系统1获得使用者3的组合姿势所对应的控制指令;系统1的指令处理单元15位于比对单元14与电子装置2之间,并连接于比对单元14和电子装置2,用以将系统1获得的控制指令输入电子装置2,使电子装置2根据该控制指令而被操作。
请参阅图2,其为本发明一较佳利用图像提取装置辨识使用者姿势以产生控制信号的方法的流程图,详细说明如以下所述。
步骤S1,利用图像提取单元11拍摄使用者3的组合姿势的图像;
步骤S2,利用图像分析单元12辨识图像提取单元11所拍摄的组合姿势的图像;详言之,头部图像分析单元122通过一图像中使用者3的脸部特征的位置而使获得使用者3的静态头部姿势,或通过一连续图像中使用者3的静态头部姿势的变化而判断使用者3的动态头部姿势,也即头部运动方向,其中,脸部特征位置可以是使用者3的眉毛的两端、瞳孔、眼角、鼻子、嘴角或以上任两脸部特征的组合;同样地,手部图像分析单元121通过一图像中使用者3的手部特征的位置而获得使用者3的静态手势,和/或通过一连续图像中使用者3的静态手势的变化而判断使用者3的动态手势,也即手势运动方向,其中,手部特征位置可以是使用者3的手掌、手指、手臂或以上任两手部特征的组合;再者,脸部图像分析单元123通过一图像中使用者3的脸部五官间的相对位置而获得该使用者3的脸部表情,或通过一连续图像中使用者3的脸部五官间相对位置的变化而判断脸部表情的变化;最后,组合姿势图像辨识单元124综合以上的分析而输出组合姿势的辨识结果;
步骤S3,将组合姿势的辨识结果与数据库单元13内的多个参考图像数据作比对,以搜索是否有匹配的参考图像数据,如有搜索出匹配的参考图像数据则发出相对应的控制指令予指令处理单元15,如无搜索出匹配的参考图像数据则回到步骤S1;
步骤S4,利用指令处理单元15将相对应的控制指令输入至电子装置1。
接下来说明本发明的手部姿势的呈现方式,如先前所叙述,手部姿势由静态手势或动态手势的方式而呈现,而静态手势为静态手部姿势、静态手臂姿势或以上两姿势的组合,且静态手部姿势又可细分为左手静态姿势、右手静态姿势或以上两姿势的组合,以及静态手臂姿势可细分为左臂静态姿势、右臂静态姿势或以上两姿势的组合。
请参阅图3A,其为本发明一较佳实施例的右手静态姿势呈现示意图,右手静态姿势可为右手掌张开姿势(如方框1所示)、右手握拳姿势(如方框2所示)、右手单指伸出姿势(如方框3所示)、右手双指伸出姿势(如方框4所示)、右手三指伸出姿势(如方框5所示)或右手四指伸姿势(如方框6所示)。同样地,请参阅图3B,其为本发明一较佳实施例的左手静态姿势呈现示意图,左手静态姿势可为左手掌张开姿势(如方框1所示)、左手握拳姿势(如方框2所示)、左手单指伸出姿势(如方框3所示)、左手双指伸出姿势(如方框4所示)、左手三指伸出姿势(如方框5所示)或左手四指伸姿势(如方框6所示)。补充说明的是,以上附图仅为较佳的呈现方式,呈现方式并不局限于使用者3的特定手指,譬如说手部单指伸出姿势并不局限于如图3A的方框3或图4A的方框3所示的食指,如使用中指来呈现也可;并且呈现方式也不局限于使用者3的特定手指方向,譬如说手指伸出方向并不局限于如图3所示的向上伸出方向,也即手指向任意方向伸出都可。
再者,左臂静态姿势为左手臂朝任一方向摆放的姿势,请参阅图4A,其为本发明一较佳实施例的左臂静态姿势呈现示意图,左臂静态姿势的较佳呈现方式可为左手臂朝上摆放(如方框1所示)、左手臂朝左摆放(如方框2所示)、左手臂朝下摆放(如方框3所示)或左手臂朝前摆放(如方框4所示);同样地,右臂静态姿势的较佳呈现方式可为右手臂朝任一方向摆放的姿势,请参阅图4B,其为本发明一较佳实施例的右臂静态姿势呈现示意图,右臂静态姿势可为右手臂朝上摆放(如方框1所示)、右手臂朝右摆放(如方框2所示)、右手臂朝下摆放(如方框3所示)或右手臂朝前摆放(如方框4所示)。
因此,静态手势是由以上描述中任一的左手静态姿势、任一的右手静态姿势、任一的左臂静态姿势以及任一的右臂静态姿势互相搭配而呈现的结果。动态手势则是利用左手静态姿势、右手静态姿势、左臂静态姿势或是右臂静态姿势作单次的移动行为使手势具有一次性的运动方向,或是作重复性的移动行为使手势具有重复性的往返运动。请参阅图5,其为本发明一较佳实施例的动态手势呈现示意图,本较佳实施例以右手食指呈现,其较佳的移动行为可为顺时针画圆动作(如方框1所示)、逆时针画圆动作(如方框2所示)、点击动作(如方框3所示)、打叉动作(如方框4所示)、打勾动作(如方框5所示)、画三角形动作(如方框6所示)、往上方挥动(如方框7所示)、往左方挥动(如方框8所示)、往右方挥动(如方框9所示)或是以上任两动作的组合,当然呈现方式并不局限于右手食指。补充说明的是,动态手势通过任一左手静态姿势的移动、任一右手静态姿势的移动、任一左臂静态姿势的移动以及任一右臂静态姿势的移动互相搭配而呈现的结果,举例来说,使用者3在左手食指重复往上挥动的同时,搭配右手握拳作一单次逆时针画圆动作也可为一种动态手势的呈现。
接下来说明本发明的头部姿势的呈现方式,如先前所叙述,头部姿势由静态头部姿势或动态头部姿势的方式呈现,请参阅图6,其为本发明一较佳实施例的静态头部姿势呈现示意图。静态头部姿势的较佳呈现方式可为使用者3的头部朝向前方的姿势(如方框1所示)、使用者3的头部朝向右方的姿势(如方框2所示)、使用者3的头部朝向左方的姿势(如方框3所示)、使用者3的头部朝向上方的姿势(如方框4所示)、使用者3的头部歪向左方的姿势(如方框5所示)或是使用者3的头部歪向右方的姿势(如方框6所示)。请参阅图7,其为本发明一较佳实施例的动态头部姿势呈现示意图,动态头部姿势的较佳呈现方式可为使用者3的点头动作(如方框1所示)、使用者3的摇头动作(如方框2所示)、使用者3的头部顺时针画圆动作(如方框3所示)或是使用者3的头部逆时针画圆动作(如方框4所示)。
最后说明本发明的脸部表情以及脸部表情变化的呈现方式,请参阅图8,其为本发明一较佳实施例的脸部表情变化呈现示意图,脸部表情的较佳呈现方式可为使用者3的左眼开闭动作(如方框1所示)、使用者3的右眼开闭动作(如方框2所示)、使用者3的嘴巴开闭动作(如方框3所示)或以上任两动作的组合。
综合以上的说明,本发明的组合姿势利用以上描述中任一的手部姿势搭配任一的头部姿势或者任一的脸部表情变化而呈现,且每一种呈现方式都可对应于一种控制指令,由于组合姿势的复杂度大于人们的惯性动作,因此,通过组合姿势的呈现可避免使用者3的惯性动作导致控制指令被误入电子装置2,也即在使用者3以特定的组合姿势传达电子装置2相对应的控制指令时,可同时完成控制指令的确认。
以上所述仅为本发明的较佳实施例,并非用以限定本发明的专利范围,因此凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰,均应包含于本发明的权利要求内。

Claims (26)

1.一种利用图像提取装置辨识使用者姿势进行控制的系统,其连结于一电子装置,且通过一使用者的一手部姿势以及一头部姿势所形成的一组合姿势而控制该电子装置,该系统包括:
一图像提取单元,用以提取该组合姿势的图像;
一图像分析单元,其连接于该图像提取单元,用以辨识该组合姿势的图像;
一数据库单元,用以存储多个参考图像数据与所述多个参考图像数据中的每一所述图像数据所对应的一控制指令;
一比对单元,其连接于该图像分析单元与该数据库单元,用以将该组合姿势的图像与该数据库单元的所述多个参考图像数据作一比对,而搜寻出相对应的该参考图像数据与该参考图像数据所对应的该控制指令;以及
一指令处理单元,其连接于该比对单元与该电子装置,用以将该比对单元所搜寻出的该控制指令输入该电子装置。
2.如权利要求1所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该头部姿势还包括一脸部表情或一脸部表情的变化。
3.如权利要求2所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该脸部表情的变化为该使用者的一左眼开闭动作、该使用者的一右眼开闭动作、该使用者的一嘴巴开闭动作或以上任两动作的组合。
4.如权利要求2所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该图像分析单元包括:
一手部图像分析单元,用以检测该组合姿势的图像中该使用者的手部位置,而分析该使用者的该手部姿势;
一头部图像分析单元,用以检测该组合姿势的图像中该使用者的头部位置,而分析该使用者的该头部姿势;
一脸部图像分析单元,用以检测该组合姿势的图像中该使用者的脸部五官间的相对位置,而分析该使用者的该脸部表情与该脸部表情的变化;
一组合姿势图像辨识单元,用以综合该手部图像分析单元、该头部图像分析单元以及该脸部图像分析单元的分析而输出该组合姿势的辨识结果。
5.如权利要求1所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该头部姿势为一静态头部姿势或一动态头部姿势。
6.如权利要求5所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该静态头部姿势为该使用者的一头部朝向前方的姿势、该使用者的一头部朝向右方的姿势、该使用者的一头部朝向左方的姿势、该使用者的一头部朝向上方的姿势、该使用者的一头部歪向左方的姿势或该使用者的一头部歪向右方的姿势。
7.如权利要求5所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该动态头部姿势为该使用者的一点头动作、该使用者的一摇头动作、该使用者的一头部顺时针画圆动作或该使用者的一头部逆时针画圆动作。
8.如权利要求1所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该手部姿势为一静态手势或一动态手势。
9.如权利要求8所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该静态手势为一静态手部姿势、一静态手臂姿势或以上两姿势的组合。
10.如权利要求9所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该静态手部姿势为该使用者的一左手静态姿势、该使用者的一右手静态姿势或以上两姿势的组合。
11.如权利要求10所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该左手静态姿势为一手部张开姿势、一手部握拳姿势、一手部单指伸出姿势、一手部双指伸出姿势、一手部三指伸出姿势或一手部四指伸姿势。
12.如权利要求10所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该右手静态姿势为一手部张开姿势、一手部握拳姿势、一手部单指伸出姿势、一手部双指伸出姿势、一手部三指伸出姿势或一手部四指伸出姿势。
13.如权利要求12所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该静态手臂姿势为该使用者的一左臂静态姿势、该使用者的一右臂静态姿势或以上两姿势的组合。
14.如权利要求13所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该左臂静态姿势为一左手臂朝任一方向摆放的姿势。
15.如权利要求13所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该右臂静态姿势为一右手臂朝任一方向摆放的姿势。
16.如权利要求9所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该动态手势为利用该静态手势作一单次移动行为或利用该静态手势作一重复性移动行为。
17.如权利要求16所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该单次移动行为为一顺时针画圆动作、一逆时针画圆动作、一点击动作、一打叉动作、一打勾动作、一画三角形动作、一往任一方向挥动的动作或以上任两动作的组合。
18.如权利要求16所述的利用图像提取装置辨识使用者姿势进行控制的系统,其中该重复性移动行为为一多次顺时针画圆动作、一多次逆时针画圆动作、一多次点击动作、一多次打叉动作、一多次打勾动作、一多次画三角形动作、一多次往任意方向挥动的动作或以上任两动作的组合。
19.一种利用图像提取装置辨识使用者姿势进行控制的方法,用以操控一电子装置,包括:
提取一使用者的一组合姿势的图像,其中该组合姿势包括该使用者的一手部姿势与该使用者的一头部姿势;
辨识该组合姿势的图像;
比对该组合姿势的图像的辨识结果与一事先定义的参考图像而取得该事先定义的参考图像所对应的一控制指令;以及
输入该控制指令于该电子装置。
20.如权利要求19所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该手部姿势为一静态手势或一动态手势,而该头部姿势为一静态头部姿势或一动态头部姿势。
21.如权利要求20所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该方法还包括通过一图像中该使用者的脸部特征的位置而获得该使用者的该静态头部姿势,或通过一连续图像中该使用者的该静态头部姿势的变化而判断该使用者的该动态头部姿势。
22.如权利要求21所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该使用者的脸部特征为一眉毛的两端、一瞳孔、一眼角、一鼻子、一嘴角或以上任两脸部特征的组合。
23.如权利要求20所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该方法还包括通过一图像中该使用者的手部特征的位置而获得该使用者的该静态手势,和/或通过一连续图像中该使用者的该静态手势的变化而判断该使用者的该动态手势。
24.如权利要求23所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该使用者的手部特征为一手掌部、一手指部、一手臂部或以上任两手部特征的组合。
25.如权利要求19所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该头部姿势还包括一使用者的一脸部表情或一脸部表情的变化。
26.如权利要求25所述的利用图像提取装置辨识使用者姿势进行控制的方法,其中该方法还包括通过一图像中该使用者的脸部五官间的相对位置而获得该使用者的该脸部表情,或通过一连续图像中该使用者的脸部五官间的相对位置的变化而判断该脸部表情的变化。
CN2010100014256A 2010-01-06 2010-01-06 利用图像提取装置辨识使用者姿势进行控制的系统及方法 Pending CN102117117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010100014256A CN102117117A (zh) 2010-01-06 2010-01-06 利用图像提取装置辨识使用者姿势进行控制的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010100014256A CN102117117A (zh) 2010-01-06 2010-01-06 利用图像提取装置辨识使用者姿势进行控制的系统及方法

Publications (1)

Publication Number Publication Date
CN102117117A true CN102117117A (zh) 2011-07-06

Family

ID=44215917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010100014256A Pending CN102117117A (zh) 2010-01-06 2010-01-06 利用图像提取装置辨识使用者姿势进行控制的系统及方法

Country Status (1)

Country Link
CN (1) CN102117117A (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102520786A (zh) * 2011-09-13 2012-06-27 深圳市比维视创科技有限公司 智能终端利用用户动作实现控制电子设备的方法及系统
CN102866677A (zh) * 2011-07-07 2013-01-09 艾美特电器(深圳)有限公司 一种手势家电控制器及控制系统和方法
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN103034322A (zh) * 2011-09-30 2013-04-10 德信互动科技(北京)有限公司 人机互动系统和方法
CN103246347A (zh) * 2013-04-02 2013-08-14 百度在线网络技术(北京)有限公司 控制方法、装置和终端
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN103268150A (zh) * 2013-05-13 2013-08-28 苏州福丰科技有限公司 一种基于表情识别的智能机器人管控系统及管控方法
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN103294197A (zh) * 2013-05-22 2013-09-11 深圳Tcl新技术有限公司 基于手势操作实现终端遥控的方法、终端
CN103365294A (zh) * 2012-03-29 2013-10-23 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制系统及方法
CN103376887A (zh) * 2012-04-23 2013-10-30 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103376895A (zh) * 2012-04-24 2013-10-30 纬创资通股份有限公司 手势控制方法及手势控制装置
CN103376891A (zh) * 2012-04-23 2013-10-30 凹凸电子(武汉)有限公司 多媒体系统,显示装置的控制方法及控制器
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
CN103942524A (zh) * 2013-01-23 2014-07-23 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN103975290A (zh) * 2011-09-16 2014-08-06 界标制图有限公司 基于姿势的石油技术应用控制的方法和系统
CN104091153A (zh) * 2014-07-03 2014-10-08 苏州工业职业技术学院 应用于聊天机器人的情绪判断方法
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
CN104714635A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 信息处理的方法及电子设备
CN105308536A (zh) * 2013-01-15 2016-02-03 厉动公司 用于显示器控制和定制姿势解释的动态用户交互
CN106055948A (zh) * 2012-03-23 2016-10-26 原相科技股份有限公司 使用者辨识系统及辨识使用者的方法
CN106054627A (zh) * 2016-06-12 2016-10-26 珠海格力电器股份有限公司 基于手势识别的控制方法、装置及空调
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN106560766A (zh) * 2015-10-04 2017-04-12 义明科技股份有限公司 非接触式手势判断方法及其装置
CN106601217A (zh) * 2016-12-06 2017-04-26 北京邮电大学 一种交互式乐器演奏方法及装置
CN106625678A (zh) * 2016-12-30 2017-05-10 首都师范大学 机器人表情控制方法和装置
CN106774936A (zh) * 2017-01-10 2017-05-31 上海木爷机器人技术有限公司 人机交互方法及系统
CN107837031A (zh) * 2017-07-12 2018-03-27 李海英 一种方便分娩后产妇如厕的方法
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
CN108710308A (zh) * 2018-05-29 2018-10-26 广东汇泰龙科技有限公司 一种基于智能云锁的特定姿势触发场景联动的方法及系统
CN109214301A (zh) * 2018-08-10 2019-01-15 百度在线网络技术(北京)有限公司 基于人脸识别和手势识别的控制方法及装置
CN109408037A (zh) * 2018-09-13 2019-03-01 昆明理工大学 一种非接触的基于“手+脸表情+头部姿态”的混合控制方法
CN110286758A (zh) * 2012-04-02 2019-09-27 高通股份有限公司 用于声场的手势操纵的系统、方法、和设备
CN110414475A (zh) * 2019-08-07 2019-11-05 广东工业大学 一种机器人复现人体演示动作的方法和装置
CN111611868A (zh) * 2020-04-24 2020-09-01 上海大学 面向哑语体系的头部动作语义识别系统与方法
CN114153308A (zh) * 2020-09-08 2022-03-08 阿里巴巴集团控股有限公司 手势控制方法、装置、电子设备及计算机可读介质
US11347317B2 (en) 2013-04-05 2022-05-31 Ultrahaptics IP Two Limited Customized gesture interpretation
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866677A (zh) * 2011-07-07 2013-01-09 艾美特电器(深圳)有限公司 一种手势家电控制器及控制系统和方法
CN102520786A (zh) * 2011-09-13 2012-06-27 深圳市比维视创科技有限公司 智能终端利用用户动作实现控制电子设备的方法及系统
CN103975290A (zh) * 2011-09-16 2014-08-06 界标制图有限公司 基于姿势的石油技术应用控制的方法和系统
CN103034322A (zh) * 2011-09-30 2013-04-10 德信互动科技(北京)有限公司 人机互动系统和方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN106055948B (zh) * 2012-03-23 2019-11-08 原相科技股份有限公司 使用者辨识系统及辨识使用者的方法
CN106055948A (zh) * 2012-03-23 2016-10-26 原相科技股份有限公司 使用者辨识系统及辨识使用者的方法
CN103365294A (zh) * 2012-03-29 2013-10-23 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制系统及方法
US11818560B2 (en) 2012-04-02 2023-11-14 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
CN110286758A (zh) * 2012-04-02 2019-09-27 高通股份有限公司 用于声场的手势操纵的系统、方法、和设备
CN103376887A (zh) * 2012-04-23 2013-10-30 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103376887B (zh) * 2012-04-23 2016-08-10 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103376891A (zh) * 2012-04-23 2013-10-30 凹凸电子(武汉)有限公司 多媒体系统,显示装置的控制方法及控制器
CN103376895B (zh) * 2012-04-24 2016-08-03 纬创资通股份有限公司 手势控制方法及手势控制装置
CN103376895A (zh) * 2012-04-24 2013-10-30 纬创资通股份有限公司 手势控制方法及手势控制装置
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN102999164B (zh) * 2012-11-30 2016-08-03 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
US11269481B2 (en) 2013-01-15 2022-03-08 Ultrahaptics IP Two Limited Dynamic user interactions for display control and measuring degree of completeness of user gestures
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US10782847B2 (en) 2013-01-15 2020-09-22 Ultrahaptics IP Two Limited Dynamic user interactions for display control and scaling responsiveness of display objects
US10817130B2 (en) 2013-01-15 2020-10-27 Ultrahaptics IP Two Limited Dynamic user interactions for display control and measuring degree of completeness of user gestures
CN105308536A (zh) * 2013-01-15 2016-02-03 厉动公司 用于显示器控制和定制姿势解释的动态用户交互
CN103942524A (zh) * 2013-01-23 2014-07-23 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN103942524B (zh) * 2013-01-23 2017-05-17 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN103246347A (zh) * 2013-04-02 2013-08-14 百度在线网络技术(北京)有限公司 控制方法、装置和终端
US11347317B2 (en) 2013-04-05 2022-05-31 Ultrahaptics IP Two Limited Customized gesture interpretation
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN103268150A (zh) * 2013-05-13 2013-08-28 苏州福丰科技有限公司 一种基于表情识别的智能机器人管控系统及管控方法
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN103294197A (zh) * 2013-05-22 2013-09-11 深圳Tcl新技术有限公司 基于手势操作实现终端遥控的方法、终端
CN103294197B (zh) * 2013-05-22 2017-06-16 深圳Tcl新技术有限公司 基于手势操作实现终端遥控的方法、终端
CN103488299B (zh) * 2013-10-15 2016-11-23 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
CN104714635B (zh) * 2013-12-16 2018-07-06 联想(北京)有限公司 信息处理的方法及电子设备
CN104714635A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 信息处理的方法及电子设备
CN104091153A (zh) * 2014-07-03 2014-10-08 苏州工业职业技术学院 应用于聊天机器人的情绪判断方法
CN104317403B (zh) * 2014-10-27 2017-10-27 黄哲军 一种用于手语识别的可穿戴设备
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104407694B (zh) * 2014-10-29 2018-02-23 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
US10007354B2 (en) 2015-02-26 2018-06-26 Xiaomi Inc. Method and apparatus for controlling smart device
US10558270B2 (en) 2015-10-04 2020-02-11 Eminent Electronic Technology Corp. Ltd. Method for determining non-contact gesture and device for the same
CN106560766A (zh) * 2015-10-04 2017-04-12 义明科技股份有限公司 非接触式手势判断方法及其装置
CN106054627A (zh) * 2016-06-12 2016-10-26 珠海格力电器股份有限公司 基于手势识别的控制方法、装置及空调
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN106601217A (zh) * 2016-12-06 2017-04-26 北京邮电大学 一种交互式乐器演奏方法及装置
CN106625678A (zh) * 2016-12-30 2017-05-10 首都师范大学 机器人表情控制方法和装置
CN106625678B (zh) * 2016-12-30 2017-12-08 首都师范大学 机器人表情控制方法和装置
CN106774936A (zh) * 2017-01-10 2017-05-31 上海木爷机器人技术有限公司 人机交互方法及系统
CN106774936B (zh) * 2017-01-10 2020-01-07 上海木木机器人技术有限公司 人机交互方法及系统
CN107837031B (zh) * 2017-07-12 2020-03-06 聊城市东昌府区妇幼保健院 一种分娩后产妇用马桶
CN107837031A (zh) * 2017-07-12 2018-03-27 李海英 一种方便分娩后产妇如厕的方法
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN108710308A (zh) * 2018-05-29 2018-10-26 广东汇泰龙科技有限公司 一种基于智能云锁的特定姿势触发场景联动的方法及系统
CN109214301A (zh) * 2018-08-10 2019-01-15 百度在线网络技术(北京)有限公司 基于人脸识别和手势识别的控制方法及装置
CN109408037A (zh) * 2018-09-13 2019-03-01 昆明理工大学 一种非接触的基于“手+脸表情+头部姿态”的混合控制方法
CN110414475A (zh) * 2019-08-07 2019-11-05 广东工业大学 一种机器人复现人体演示动作的方法和装置
CN111611868A (zh) * 2020-04-24 2020-09-01 上海大学 面向哑语体系的头部动作语义识别系统与方法
CN114153308A (zh) * 2020-09-08 2022-03-08 阿里巴巴集团控股有限公司 手势控制方法、装置、电子设备及计算机可读介质
CN114153308B (zh) * 2020-09-08 2023-11-21 阿里巴巴集团控股有限公司 手势控制方法、装置、电子设备及计算机可读介质

Similar Documents

Publication Publication Date Title
CN102117117A (zh) 利用图像提取装置辨识使用者姿势进行控制的系统及方法
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
CN107320948B (zh) 一种设备启动控制方法
EP2766790B1 (en) Authenticated gesture recognition
Wachs et al. Vision-based hand-gesture applications
Bhuiyan et al. Gesture-controlled user interfaces, what have we done and what’s next
Paudyal et al. Sceptre: a pervasive, non-invasive, and programmable gesture recognition technology
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
JP2022500729A (ja) 拡張現実システムの神経筋制御
US20120077163A1 (en) 3d monocular visual tracking therapy system for the rehabilitation of human upper limbs
WO2017048898A1 (en) Human-computer interface
US20130300650A1 (en) Control system with input method using recognitioin of facial expressions
Liu et al. A multimodal emotional communication based humans-robots interaction system
US20130300662A1 (en) Control system with gesture-based input method
WO2012142869A1 (zh) 自动调节终端界面显示的方法及装置
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
Sreejith et al. Real-time hands-free immersive image navigation system using Microsoft Kinect 2.0 and Leap Motion Controller
Yamazaki et al. Gesture recognition using combination of acceleration sensor and images for casual communication between robots and humans
CN105468249B (zh) 智能互动系统及其控制方法
CN112230777A (zh) 一种基于非接触式交互的认知训练系统
Dardas et al. Target-shooting exergame with a hand gesture control
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
US20170123494A1 (en) Gesture based human machine interface using marker
Teimourikia et al. Personalized hand pose and gesture recognition system for the elderly

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110706