CN102270037A - 徒手人机界面操作系统及其方法 - Google Patents

Abstract

本发明涉及一种徒手人机界面操作系统及其方法。此系统以影像处理的方式分析出使用者的手臂影像以及手掌影像，再根据摄影机的校正参数计算出手臂的坐标，由此供使用者以手臂来选择人机界面中的对象。接着，此系统根据手掌影像辨识出一手势，接着根据此手势决定一相对应的指令，再对所选对象执行此指令。此手势可包含指向手势、抓取手势及一释放手势。

Description

徒手人机界面操作系统及其方法

技术领域

本发明涉及一种徒手人机界面操作系统及其方法，特别涉及一种利用使用者的手臂及手掌影像来操作具有深度参数的对象的人机界面操作技术。

背景技术

使用者对可视化人机界面的操作要求越来越高，希望能更简化操作流程，让界面操作更直觉化。目前，人机界面的操作机制大多为键盘操作、鼠标操作、触控操作以及遥控器操作等四种机制。键盘操作适合于输入文字，但是在浏览网页上效果不佳；鼠标操作或遥控器操作虽然可提供不错的便利性，但是使用者必须依赖一外部装置来进行操作，尚有改进的空间。而触控操作则限制使用者必须在手指可触碰屏幕的范围内来操作人机界面。因此，如何提供使用者一可兼顾操作空间自由性以及徒手操作的人机界面系统，是一项亟待解决的问题。

发明内容

有鉴于上述现有技术的问题，本发明的目的在于提供一种徒手人机界面操作系统及其方法，以提高界面操作的便利性。

为了实现本发明的目的，提出一种徒手人机界面操作系统，包含一显示单元、一资料处理单元、若干个影像撷取单元、一影像分析单元、一坐标计算单元及一手势辨识单元。资料处理单元产生一具有若干个对象的人机界面，每一对象具有一深度参数，资料处理单元控制显示单元显示人机界面。若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数。影像分析单元系分析若干张手部影像以取得若干个手臂影像及若干个手掌影像。坐标计算单元根据每一若干个影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量。手势辨识单元根据若干个手掌影像辨识出一手势。其中，资料处理单元根据手臂延伸线、手臂移动量以及若干个对象的深度参数，从若干个对象中决定一所选对象，并决定一对应手势之指令，对所选对象执行指令。

其中，当手势辨识单元辨识此手势为一指向手势时，资料处理单元执行选择若干个对象之其一的动作。

其中，当手势辨识单元辨识此手势为一抓取(Grab)手势时，资料处理单元设定所选对象为一被抓取状态(Grabbed)，并根据手臂移动量移动所选对象。

其中，当手势辨识单元系辨识此手势为一释放(release)手势时，资料处理单元解除所选对象的被抓取状态。

其中，资料处理单元根据若干个手臂坐标点计算一手臂长度，再根据手臂长度与手臂移动量的比例计算相对应的一对象显示深度，再根据对象显示深度决定所选对象。

其中，所选对象明显显示(highlight)于人机界面。

为了实现本发明的目的，再提出一种徒手人机界面操作方法，适用于一具有若干个对象的人机界面，每一若干个对象具有一深度参数，徒手人机界面操作方法包含下列步骤。使用若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数；分析若干张手部影像以取得若干个手臂影像及若干个手掌影像；根据每一若干个影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、一由若干个手臂坐标点所形成的手臂延伸线以及一手臂移动量；根据手臂延伸线、手臂移动量以及若干个对象的深度参数，选择若干个对象中的一个作为一所选对象；根据若干个手掌影像辨识出一手势；对所选对象执行此手势所相对应的一指令。

其中，当此手势被辨识为一指向手势时，执行选择若干个对象的其中一个动作。

其中，当此手势被辨识为一抓取(Grab)手势时，设定所选对象为一被抓取状态(Grabbed)，并根据手臂移动量移动所选对象。

其中，当此手势被辨识为一释放(release)手势时，解除所选对象的被抓取状态。

其中，更根据若干个手臂坐标点计算一手臂长度，再根据手臂长度与手臂移动量的比例计算相对应的一对象显示深度，并根据对象显示深度决定所选对象。

其中，所选对象明显显示(highlight)于人机界面。

附图说明

图1是本发明的徒手人机界面操作系统的实施方块图；

图2是本发明的徒手人机界面操作系统的实施示意图；

图3是本发明的人机界面显示于显示单元的虚拟侧视图；

图4是本发明的徒手人机界面操作方法的第一实施流程图；

图5是本发明的徒手人机界面操作方法的第二实施流程图。

主要组件符号说明

11：显示单元

12：资料处理单元

121：人机界面

131：第一影像撷取单元

132：第二影像撷取单元

1311、1321：内部参数

1312、1322：外部参数

133、134：手部影像

14：影像分析单元

1411、1412：手臂影像

1421、1422：手掌影像

15：坐标计算单元

151：手臂坐标点

152：手臂延伸线

153：手臂移动量

16：手势辨识单元

161：手势

17：储存单元

181：第一对象

182：第二对象

191、192：深度参数

193：指令

20：手掌

21：手臂

41～46：步骤流程

501～515：步骤流程

具体实施方式

请参阅图1，其是本发明的徒手人机界面操作系统的实施方块图。在图1中，徒手人机界面操作系统包含一显示单元11、一资料处理单元12、第一影像撷取单元131、第二影像撷取单元132、一影像分析单元14、一坐标计算单元15、一手势辨识单元16及一储存单元17。人机界面121的相关程序储存于储存单元17中，其至少包含第一对象181及第二对象182。资料处理单元12从储存单元17读取人机界面121的相关程序并执行，以产生人机界面121的显示数据，并控制显示单元11显示人机界面121。而可视化显示的人机界面121具有第一对象181及第二对象182，其分别具有一深度参数191及一深度参数192。深度参数191及深度参数192用以标示第一对象181及第二对象182之间的显示关系。之后，请参阅图2及图3，图2所示是本发明的徒手人机界面操作系统的实施示意图，而图3是人机界面121显示于显示单元11的虚拟侧视图。当深度参数192大于深度参数191时，如图2所示，在人机界面121中第一对象181显示覆盖于第二对象182，而在显示单元11的坐标系统中第一对象181及第二对象182的位置关系如图3所示。

第一影像撷取单元131及第二影像撷取单元132分别撷取使用者的手部影像133及手部影像134。由于使用者大多在显示单元11前进行界面操作，所以优选的将第一影像撷取单元131及第二影像撷取单元132配置在显示单元11附近，以便于撷取使用者的手部影像。当第一影像撷取单元131及第二影像撷取单元132设置完成后，需进行校正，以决定其撷取的影像内容的像素位置与显示单元11的坐标系统之间的转换关系。经过校正后，第一影像撷取单元131具有若干个内部参数1311及若干个外部参数1312，而第二影像撷取单元132具有若干个内部参数1321及若干个外部参数1322。其中，上述内部参数优选为影像撷取单元的物理参数，例如焦距或影像尺寸；而外部参数优选为影像撷取单元与显示单元11之间的坐标系统转换矩阵。

如图3所示，为了让使用者可以徒手操作人机界面121，优选的手部影像133及手部影像134的影像内容包含使用者的手掌20以及手臂21的影像。影像分析单元14分析手部影像133以取得手臂影像1411及手掌影像1421，以及分析手部影像134以取得手臂影像1412及手掌影像1422。由于第一影像撷取单元131及第二影像撷取单元132已经过校正，所以坐标计算单元15可根据内部参数1311、1321及若干个外部参数1312、1322，以及手臂影像1411、1412，计算出若干个手臂坐标点151，如图3所示。实施上，坐标计算单元15是先判断手臂影像1411、1412中共有的手臂特征，再利用三角定位法计算出若干个手臂坐标点151。

坐标计算单元15是计算若干个手臂坐标点151所形成的一手臂延伸线152。资料处理单元12根据第一对象181及第二对象182的尺寸、深度参数191及深度参数192，可判断手臂延伸线152是否有穿透第一对象181或第二对象182。

储存单元17储存若干个指令193，每一指令193对应一预设手势。手势辨识单元16根据若干个手掌影像1421、1422辨识出一手势161。资料处理单元12判断手势161是否符合任一指令192对应的预设手势，若有，则资料处理单元12便执行手势161所对应的指令。其中，优选的指令193包含一选择指令、一抓取指令及一释放指令，其分别对应一指向手势、一抓取手势及一释放手势。当手势辨识单元16辨识手势161为一指向手势时，表示使用者欲选择第一对象181或第二对象182，则资料处理单元12将与手臂延伸线152相交的对象视为一所选对象。例如在图3中，第二对象182为该所选对象。若手臂延伸线152与若干个对象相交，则资料处理单元12根据若干个手臂坐标点151计算出一手臂移动量153，再根据手臂移动量153以及该相交对象的深度参数，从该相交对象中决定其中一个为所选对象。例如手臂移动量153说明了手臂21往显示单元11的方向移动，则资料处理单元12则决定具有较大深度参数的对象为此所选对象。在实施上，资料处理单元12优选为根据若干个手臂坐标点151计算一手臂长度，再根据此手臂长度与手臂移动量153之比例来计算一对应于手臂移动量153的对象显示深度，再根据对象显示深度决定此所选对象。如此可解决不同使用者的手臂差异的影响。所选对象较佳的是明显显示(highlight)于人机界面121。

当一所选对象已决定，接着手势辨识单元16辨识手势161为一抓取手势时，则资料处理单元12设定此所选对象为一被抓取状态(Grabbed)，并根据手臂移动量153移动此所选对象。当所选对象为被抓取状态，接着手势辨识单元161辨识出手势161为一释放(release)手势时，则资料处理单元12解除所选对象的被抓取状态。如此，使用者可透过手臂、手掌以及三种手势执行对对象的移动操作。此外，除了上述操作外，使用者也可设定其手势的对应指令；例如当所选对象为被抓取状态时，使用者亦可摆出一开启手势来执行对象；或是一删除手势来删除对象。

请参阅图4，其是本发明的徒手人机界面操作方法的第一实施流程图。图中，此实施例适用于一具有若干个对象的人机界面，每一若干个对象具有一深度参数。人机界面显示于一显示单元上。徒手人机界面操作方法包含下列步骤。在步骤41，使用若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数。其中，内部参数及外部参数为影像撷取单元经过校正后所产生的参数，其用以表示撷取影像内容的像素位置与显示单元的坐标系统之间的转换关系。在步骤42，分析若干张手部影像以取得若干个手臂影像及若干个手掌影像。在步骤43，根据每一影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、一由若干个手臂坐标点所形成的手臂延伸线以及一手臂移动量。

在步骤44，根据手臂延伸线、手臂移动量以及若干个对象的深度参数，选择若干个对象的其中一个作为一所选对象。在步骤45，根据若干个手掌影像辨识出一手势。在步骤46，对所选对象执行此手势所相对应的一指令。例如，指向手势对应一选择指令，以选择对象；抓取手势对应一抓取指令，将一所选对象设定为被抓取状态；释放手势系对应一释放指令，用以解除所选对象的被抓取状态。

请参阅图5，其是本发明的徒手人机界面操作方法的第二实施流程图。在步骤501，对设置于显示单元左上角及右上角的两个影像撷取单元进行校正，以取得两个影像撷取单元的内部参数及外部参数。在步骤502，使用两个影像撷取单元撷取手部影像，且所撷取的手部影像的内容包含使用者的手臂及手掌。在步骤503，从所撷取的手部影像中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤504，判断此手势是否为一指向手势。若是，则执行步骤505；否则执行步骤502。在步骤505，使用两个影像撷取单元撷取手部影像。在步骤506，从所撷取的手部影像中分析出手臂影像，并计算出若干个手臂坐标点以及若干个手臂坐标点所形成的手臂延伸线。在步骤507，并计算手臂延伸线与人机界面显示的对象的相交点，如图3所示，并将一与射线相交的对象作为一所选对象。若与射线相交的对象有若干个，则根据手臂移动量来选择。

在步骤508，从所撷取的手部影像中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤509，判断此手势是否为一抓取手势。若是，执行步骤510；否则执行步骤505。在步骤510，将所选对象设定为被抓取状态。在步骤511，使用两个影像撷取单元撷取手部影像，并从所撷取的手部影像中分析出手臂影像，并计算出若干个手臂坐标点，并根据若干个手臂坐标点计算出一手臂移动量。在步骤512，根据手臂移动量移动选对象。在步骤513，从所撷取的影像内容中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤514，判断此手势是否为一释放手势，若是，则在步骤515解除所选对象的被抓取状态，并接续执行步骤502。若此手势非一释放手势，则执行步骤511。

其中，上述显示单元优选为一二维影像显示器或一三维影像显示器。影像撷取单元优选为一电荷耦合组件、互补式金属-氧化层-半导体组件(Complementary Metal-Oxide-Semiconductor，CMOS)或一视讯摄影机。

以上所述仅为举例性，而非为限制性者。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于后附的申请专利范围中。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (12)

1.一种徒手人机界面操作系统，其特征在于，包含：

一显示单元；

一资料处理单元，其产生具有若干个对象的一人机界面，每一所述若干个对象具有一深度参数，所述资料处理单元控制所述显示单元显示所述人机界面；

若干个影像撷取单元，其撷取若干张手部影像，每一所述若干个影像撷取单元具有若干个内部参数及若干个外部参数；

一影像分析单元，其分析所述若干张手部影像以取得若干个手臂影像及若干个手掌影像；

一坐标计算单元，其根据每一所述若干个影像撷取单元之所述若干个内部参数及所述若干个外部参数，以及所述若干个手臂影像，计算若干个手臂坐标点、所述若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量；以及

一手势辨识单元，其根据所述若干个手掌影像辨识出一手势；

其中，所述资料处理单元根据所述手臂延伸线、所述手臂移动量以及所述若干个对象的所述深度参数，从所述若干个对象中决定一所选对象，并决定对应所述手势的一个指令，对所述所选对象执行所述指令。

2.如权利要求1所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元系辨识所述手势为一指向手势时，所述资料处理单元执行选择所述若干个对象的其中一个动作。

3.如权利要求1所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元辨识所述手势为一抓取手势时，所述资料处理单元设定所述所选对象为一被抓取状态，并根据所述手臂移动量移动所述所选对象。

4.如权利要求3所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元辨识所述手势为一释放手势时，所述资料处理单元解除所述所选对象的所述被抓取状态。

5.如权利要求1所述的徒手人机界面操作系统，其特征在于，所述资料处理单元根据所述若干个手臂坐标点计算一手臂长度，再根据所述手臂长度与所述手臂移动量的比例计算相对应的一对象显示深度，再根据所述对象显示深度决定所述所选对象。

6.如权利要求1所述的徒手人机界面操作系统，其特征在于，所述所选对象明显显示于所述人机界面。

7.一种徒手人机界面操作方法，其特征在于，适用于具有若干个对象的一人机界面，每一所述若干个对象具有一深度参数，所述徒手人机界面操作方法包含下列步骤：

使用若干个影像撷取单元撷取若干张手部影像，每一所述若干个影像撷取单元具有若干个内部参数及若干个外部参数；

分析所述若干张手部影像以取得若干个手臂影像及若干个手掌影像；

根据每一所述若干个影像撷取单元的所述若干个内部参数及所述若干个外部参数，以及所述若干个手臂影像，计算若干个手臂坐标点、所述若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量；

根据所述手臂延伸线、所述手臂移动量以及所述若干个对象的所述深度参数，选择所述若干个对象中的一个作为一所选对象；

根据所述若干个手掌影像辨识出一手势；以及

对所述所选对象执行所述手势所相对应的一指令。

8.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：

当所述手势被辨识为一指向手势时，执行选择所述若干个对象的其中一个动作。

9.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：

当所述手势被辨识为一抓取手势时，设定所述所选对象为一被抓取状态，并根据所述手臂移动量移动所述所选对象。

10.如权利要求9所述的徒手人机界面操作方法，其特征在于，更包含：

当所述手势被辨识为一释放手势时，解除所述所选对象的所述被抓取状态。

11.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：

根据所述若干个手臂坐标点计算一手臂长度，再根据所述手臂长度与所述手臂移动量的比例计算相对应的一对象显示深度；以及根据所述对象显示深度决定所述所选对象。

12.如权利要求7所述的徒手人机界面操作方法，其特征在于，所述所选对象明显显示于所述人机界面。

Images