CN102270037A - 徒手人机界面操作系统及其方法 - Google Patents

徒手人机界面操作系统及其方法 Download PDF

Info

Publication number
CN102270037A
CN102270037A CN2010102271828A CN201010227182A CN102270037A CN 102270037 A CN102270037 A CN 102270037A CN 2010102271828 A CN2010102271828 A CN 2010102271828A CN 201010227182 A CN201010227182 A CN 201010227182A CN 102270037 A CN102270037 A CN 102270037A
Authority
CN
China
Prior art keywords
several
arm
gesture
machine interface
man
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102271828A
Other languages
English (en)
Other versions
CN102270037B (zh
Inventor
罗仲成
王静炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acer Inc
Original Assignee
Acer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc filed Critical Acer Inc
Publication of CN102270037A publication Critical patent/CN102270037A/zh
Application granted granted Critical
Publication of CN102270037B publication Critical patent/CN102270037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种徒手人机界面操作系统及其方法。此系统以影像处理的方式分析出使用者的手臂影像以及手掌影像，再根据摄影机的校正参数计算出手臂的坐标，由此供使用者以手臂来选择人机界面中的对象。接着，此系统根据手掌影像辨识出一手势，接着根据此手势决定一相对应的指令，再对所选对象执行此指令。此手势可包含指向手势、抓取手势及一释放手势。

Description

徒手人机界面操作系统及其方法
技术领域
本发明涉及一种徒手人机界面操作系统及其方法，特别涉及一种利用使用者的手臂及手掌影像来操作具有深度参数的对象的人机界面操作技术。
背景技术
使用者对可视化人机界面的操作要求越来越高，希望能更简化操作流程，让界面操作更直觉化。目前，人机界面的操作机制大多为键盘操作、鼠标操作、触控操作以及遥控器操作等四种机制。键盘操作适合于输入文字，但是在浏览网页上效果不佳；鼠标操作或遥控器操作虽然可提供不错的便利性，但是使用者必须依赖一外部装置来进行操作，尚有改进的空间。而触控操作则限制使用者必须在手指可触碰屏幕的范围内来操作人机界面。因此，如何提供使用者一可兼顾操作空间自由性以及徒手操作的人机界面系统，是一项亟待解决的问题。
发明内容
有鉴于上述现有技术的问题，本发明的目的在于提供一种徒手人机界面操作系统及其方法，以提高界面操作的便利性。
为了实现本发明的目的，提出一种徒手人机界面操作系统，包含一显示单元、一资料处理单元、若干个影像撷取单元、一影像分析单元、一坐标计算单元及一手势辨识单元。资料处理单元产生一具有若干个对象的人机界面，每一对象具有一深度参数，资料处理单元控制显示单元显示人机界面。若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数。影像分析单元系分析若干张手部影像以取得若干个手臂影像及若干个手掌影像。坐标计算单元根据每一若干个影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量。手势辨识单元根据若干个手掌影像辨识出一手势。其中，资料处理单元根据手臂延伸线、手臂移动量以及若干个对象的深度参数，从若干个对象中决定一所选对象，并决定一对应手势之指令，对所选对象执行指令。
其中，当手势辨识单元辨识此手势为一指向手势时，资料处理单元执行选择若干个对象之其一的动作。
其中，当手势辨识单元辨识此手势为一抓取(Grab)手势时，资料处理单元设定所选对象为一被抓取状态(Grabbed)，并根据手臂移动量移动所选对象。
其中，当手势辨识单元系辨识此手势为一释放(release)手势时，资料处理单元解除所选对象的被抓取状态。
其中，资料处理单元根据若干个手臂坐标点计算一手臂长度，再根据手臂长度与手臂移动量的比例计算相对应的一对象显示深度，再根据对象显示深度决定所选对象。
其中，所选对象明显显示(highlight)于人机界面。
为了实现本发明的目的，再提出一种徒手人机界面操作方法，适用于一具有若干个对象的人机界面，每一若干个对象具有一深度参数，徒手人机界面操作方法包含下列步骤。使用若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数；分析若干张手部影像以取得若干个手臂影像及若干个手掌影像；根据每一若干个影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、一由若干个手臂坐标点所形成的手臂延伸线以及一手臂移动量；根据手臂延伸线、手臂移动量以及若干个对象的深度参数，选择若干个对象中的一个作为一所选对象；根据若干个手掌影像辨识出一手势；对所选对象执行此手势所相对应的一指令。
其中，当此手势被辨识为一指向手势时，执行选择若干个对象的其中一个动作。
其中，当此手势被辨识为一抓取(Grab)手势时，设定所选对象为一被抓取状态(Grabbed)，并根据手臂移动量移动所选对象。
其中，当此手势被辨识为一释放(release)手势时，解除所选对象的被抓取状态。
其中，更根据若干个手臂坐标点计算一手臂长度，再根据手臂长度与手臂移动量的比例计算相对应的一对象显示深度，并根据对象显示深度决定所选对象。
其中，所选对象明显显示(highlight)于人机界面。
附图说明
图1是本发明的徒手人机界面操作系统的实施方块图；
图2是本发明的徒手人机界面操作系统的实施示意图；
图3是本发明的人机界面显示于显示单元的虚拟侧视图；
图4是本发明的徒手人机界面操作方法的第一实施流程图；
图5是本发明的徒手人机界面操作方法的第二实施流程图。
主要组件符号说明
11：显示单元
12：资料处理单元
121：人机界面
131：第一影像撷取单元
132：第二影像撷取单元
1311、1321：内部参数
1312、1322：外部参数
133、134：手部影像
14：影像分析单元
1411、1412：手臂影像
1421、1422：手掌影像
15：坐标计算单元
151：手臂坐标点
152：手臂延伸线
153：手臂移动量
16：手势辨识单元
161：手势
17：储存单元
181：第一对象
182：第二对象
191、192：深度参数
193：指令
20：手掌
21：手臂
41～46：步骤流程
501～515：步骤流程
具体实施方式
请参阅图1，其是本发明的徒手人机界面操作系统的实施方块图。在图1中，徒手人机界面操作系统包含一显示单元11、一资料处理单元12、第一影像撷取单元131、第二影像撷取单元132、一影像分析单元14、一坐标计算单元15、一手势辨识单元16及一储存单元17。人机界面121的相关程序储存于储存单元17中，其至少包含第一对象181及第二对象182。资料处理单元12从储存单元17读取人机界面121的相关程序并执行，以产生人机界面121的显示数据，并控制显示单元11显示人机界面121。而可视化显示的人机界面121具有第一对象181及第二对象182，其分别具有一深度参数191及一深度参数192。深度参数191及深度参数192用以标示第一对象181及第二对象182之间的显示关系。之后，请参阅图2及图3，图2所示是本发明的徒手人机界面操作系统的实施示意图，而图3是人机界面121显示于显示单元11的虚拟侧视图。当深度参数192大于深度参数191时，如图2所示，在人机界面121中第一对象181显示覆盖于第二对象182，而在显示单元11的坐标系统中第一对象181及第二对象182的位置关系如图3所示。
第一影像撷取单元131及第二影像撷取单元132分别撷取使用者的手部影像133及手部影像134。由于使用者大多在显示单元11前进行界面操作，所以优选的将第一影像撷取单元131及第二影像撷取单元132配置在显示单元11附近，以便于撷取使用者的手部影像。当第一影像撷取单元131及第二影像撷取单元132设置完成后，需进行校正，以决定其撷取的影像内容的像素位置与显示单元11的坐标系统之间的转换关系。经过校正后，第一影像撷取单元131具有若干个内部参数1311及若干个外部参数1312，而第二影像撷取单元132具有若干个内部参数1321及若干个外部参数1322。其中，上述内部参数优选为影像撷取单元的物理参数，例如焦距或影像尺寸；而外部参数优选为影像撷取单元与显示单元11之间的坐标系统转换矩阵。
如图3所示，为了让使用者可以徒手操作人机界面121，优选的手部影像133及手部影像134的影像内容包含使用者的手掌20以及手臂21的影像。影像分析单元14分析手部影像133以取得手臂影像1411及手掌影像1421，以及分析手部影像134以取得手臂影像1412及手掌影像1422。由于第一影像撷取单元131及第二影像撷取单元132已经过校正，所以坐标计算单元15可根据内部参数1311、1321及若干个外部参数1312、1322，以及手臂影像1411、1412，计算出若干个手臂坐标点151，如图3所示。实施上，坐标计算单元15是先判断手臂影像1411、1412中共有的手臂特征，再利用三角定位法计算出若干个手臂坐标点151。
坐标计算单元15是计算若干个手臂坐标点151所形成的一手臂延伸线152。资料处理单元12根据第一对象181及第二对象182的尺寸、深度参数191及深度参数192，可判断手臂延伸线152是否有穿透第一对象181或第二对象182。
储存单元17储存若干个指令193，每一指令193对应一预设手势。手势辨识单元16根据若干个手掌影像1421、1422辨识出一手势161。资料处理单元12判断手势161是否符合任一指令192对应的预设手势，若有，则资料处理单元12便执行手势161所对应的指令。其中，优选的指令193包含一选择指令、一抓取指令及一释放指令，其分别对应一指向手势、一抓取手势及一释放手势。当手势辨识单元16辨识手势161为一指向手势时，表示使用者欲选择第一对象181或第二对象182，则资料处理单元12将与手臂延伸线152相交的对象视为一所选对象。例如在图3中，第二对象182为该所选对象。若手臂延伸线152与若干个对象相交，则资料处理单元12根据若干个手臂坐标点151计算出一手臂移动量153，再根据手臂移动量153以及该相交对象的深度参数，从该相交对象中决定其中一个为所选对象。例如手臂移动量153说明了手臂21往显示单元11的方向移动，则资料处理单元12则决定具有较大深度参数的对象为此所选对象。在实施上，资料处理单元12优选为根据若干个手臂坐标点151计算一手臂长度，再根据此手臂长度与手臂移动量153之比例来计算一对应于手臂移动量153的对象显示深度，再根据对象显示深度决定此所选对象。如此可解决不同使用者的手臂差异的影响。所选对象较佳的是明显显示(highlight)于人机界面121。
当一所选对象已决定，接着手势辨识单元16辨识手势161为一抓取手势时，则资料处理单元12设定此所选对象为一被抓取状态(Grabbed)，并根据手臂移动量153移动此所选对象。当所选对象为被抓取状态，接着手势辨识单元161辨识出手势161为一释放(release)手势时，则资料处理单元12解除所选对象的被抓取状态。如此，使用者可透过手臂、手掌以及三种手势执行对对象的移动操作。此外，除了上述操作外，使用者也可设定其手势的对应指令；例如当所选对象为被抓取状态时，使用者亦可摆出一开启手势来执行对象；或是一删除手势来删除对象。
请参阅图4，其是本发明的徒手人机界面操作方法的第一实施流程图。图中，此实施例适用于一具有若干个对象的人机界面，每一若干个对象具有一深度参数。人机界面显示于一显示单元上。徒手人机界面操作方法包含下列步骤。在步骤41，使用若干个影像撷取单元撷取若干张手部影像，每一若干个影像撷取单元具有若干个内部参数及若干个外部参数。其中，内部参数及外部参数为影像撷取单元经过校正后所产生的参数，其用以表示撷取影像内容的像素位置与显示单元的坐标系统之间的转换关系。在步骤42，分析若干张手部影像以取得若干个手臂影像及若干个手掌影像。在步骤43，根据每一影像撷取单元的若干个内部参数及若干个外部参数，以及若干个手臂影像，计算若干个手臂坐标点、一由若干个手臂坐标点所形成的手臂延伸线以及一手臂移动量。
在步骤44，根据手臂延伸线、手臂移动量以及若干个对象的深度参数，选择若干个对象的其中一个作为一所选对象。在步骤45，根据若干个手掌影像辨识出一手势。在步骤46，对所选对象执行此手势所相对应的一指令。例如，指向手势对应一选择指令，以选择对象；抓取手势对应一抓取指令，将一所选对象设定为被抓取状态；释放手势系对应一释放指令，用以解除所选对象的被抓取状态。
请参阅图5，其是本发明的徒手人机界面操作方法的第二实施流程图。在步骤501，对设置于显示单元左上角及右上角的两个影像撷取单元进行校正，以取得两个影像撷取单元的内部参数及外部参数。在步骤502，使用两个影像撷取单元撷取手部影像，且所撷取的手部影像的内容包含使用者的手臂及手掌。在步骤503，从所撷取的手部影像中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤504，判断此手势是否为一指向手势。若是，则执行步骤505；否则执行步骤502。在步骤505，使用两个影像撷取单元撷取手部影像。在步骤506，从所撷取的手部影像中分析出手臂影像，并计算出若干个手臂坐标点以及若干个手臂坐标点所形成的手臂延伸线。在步骤507，并计算手臂延伸线与人机界面显示的对象的相交点，如图3所示，并将一与射线相交的对象作为一所选对象。若与射线相交的对象有若干个，则根据手臂移动量来选择。
在步骤508，从所撷取的手部影像中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤509，判断此手势是否为一抓取手势。若是，执行步骤510；否则执行步骤505。在步骤510，将所选对象设定为被抓取状态。在步骤511，使用两个影像撷取单元撷取手部影像，并从所撷取的手部影像中分析出手臂影像，并计算出若干个手臂坐标点，并根据若干个手臂坐标点计算出一手臂移动量。在步骤512，根据手臂移动量移动选对象。在步骤513，从所撷取的影像内容中分析出手掌影像，并辨识出此手掌影像所代表的手势。在步骤514，判断此手势是否为一释放手势，若是，则在步骤515解除所选对象的被抓取状态，并接续执行步骤502。若此手势非一释放手势，则执行步骤511。
其中，上述显示单元优选为一二维影像显示器或一三维影像显示器。影像撷取单元优选为一电荷耦合组件、互补式金属-氧化层-半导体组件(Complementary Metal-Oxide-Semiconductor，CMOS)或一视讯摄影机。
以上所述仅为举例性，而非为限制性者。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于后附的申请专利范围中。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (12)

1.一种徒手人机界面操作系统，其特征在于，包含：
一显示单元；
一资料处理单元，其产生具有若干个对象的一人机界面，每一所述若干个对象具有一深度参数，所述资料处理单元控制所述显示单元显示所述人机界面；
若干个影像撷取单元，其撷取若干张手部影像，每一所述若干个影像撷取单元具有若干个内部参数及若干个外部参数；
一影像分析单元，其分析所述若干张手部影像以取得若干个手臂影像及若干个手掌影像；
一坐标计算单元，其根据每一所述若干个影像撷取单元之所述若干个内部参数及所述若干个外部参数，以及所述若干个手臂影像，计算若干个手臂坐标点、所述若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量；以及
一手势辨识单元，其根据所述若干个手掌影像辨识出一手势；
其中，所述资料处理单元根据所述手臂延伸线、所述手臂移动量以及所述若干个对象的所述深度参数，从所述若干个对象中决定一所选对象，并决定对应所述手势的一个指令，对所述所选对象执行所述指令。
2.如权利要求1所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元系辨识所述手势为一指向手势时，所述资料处理单元执行选择所述若干个对象的其中一个动作。
3.如权利要求1所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元辨识所述手势为一抓取手势时，所述资料处理单元设定所述所选对象为一被抓取状态，并根据所述手臂移动量移动所述所选对象。
4.如权利要求3所述的徒手人机界面操作系统，其特征在于，当所述手势辨识单元辨识所述手势为一释放手势时，所述资料处理单元解除所述所选对象的所述被抓取状态。
5.如权利要求1所述的徒手人机界面操作系统，其特征在于，所述资料处理单元根据所述若干个手臂坐标点计算一手臂长度，再根据所述手臂长度与所述手臂移动量的比例计算相对应的一对象显示深度，再根据所述对象显示深度决定所述所选对象。
6.如权利要求1所述的徒手人机界面操作系统，其特征在于，所述所选对象明显显示于所述人机界面。
7.一种徒手人机界面操作方法，其特征在于，适用于具有若干个对象的一人机界面，每一所述若干个对象具有一深度参数，所述徒手人机界面操作方法包含下列步骤：
使用若干个影像撷取单元撷取若干张手部影像，每一所述若干个影像撷取单元具有若干个内部参数及若干个外部参数；
分析所述若干张手部影像以取得若干个手臂影像及若干个手掌影像；
根据每一所述若干个影像撷取单元的所述若干个内部参数及所述若干个外部参数，以及所述若干个手臂影像，计算若干个手臂坐标点、所述若干个手臂坐标点所形成的一手臂延伸线以及一手臂移动量；
根据所述手臂延伸线、所述手臂移动量以及所述若干个对象的所述深度参数，选择所述若干个对象中的一个作为一所选对象；
根据所述若干个手掌影像辨识出一手势；以及
对所述所选对象执行所述手势所相对应的一指令。
8.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：
当所述手势被辨识为一指向手势时，执行选择所述若干个对象的其中一个动作。
9.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：
当所述手势被辨识为一抓取手势时，设定所述所选对象为一被抓取状态，并根据所述手臂移动量移动所述所选对象。
10.如权利要求9所述的徒手人机界面操作方法，其特征在于，更包含：
当所述手势被辨识为一释放手势时，解除所述所选对象的所述被抓取状态。
11.如权利要求7所述的徒手人机界面操作方法，其特征在于，更包含：
根据所述若干个手臂坐标点计算一手臂长度，再根据所述手臂长度与所述手臂移动量的比例计算相对应的一对象显示深度；以及根据所述对象显示深度决定所述所选对象。
12.如权利要求7所述的徒手人机界面操作方法，其特征在于，所述所选对象明显显示于所述人机界面。
CN201010227182.8A 2010-06-04 2010-06-29 徒手人机界面操作系统及其方法 Active CN102270037B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/793,702 US8416189B2 (en) 2010-06-04 2010-06-04 Manual human machine interface operation system and method thereof
US12/793,702 2010-06-04

Publications (2)

Publication Number Publication Date
CN102270037A true CN102270037A (zh) 2011-12-07
CN102270037B CN102270037B (zh) 2014-02-05

Family

ID=45052363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010227182.8A Active CN102270037B (zh) 2010-06-04 2010-06-29 徒手人机界面操作系统及其方法

Country Status (3)

Country Link
US (1) US8416189B2 (zh)
CN (1) CN102270037B (zh)
TW (1) TWI403922B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637116A (zh) * 2012-03-20 2012-08-15 Tcl集团股份有限公司 3d场景交互方法、装置及碰撞检测方法、装置
CN104007808A (zh) * 2013-02-26 2014-08-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104238734A (zh) * 2013-06-21 2014-12-24 由田新技股份有限公司 三维交互系统及其交互感测方法
CN104714728A (zh) * 2013-02-28 2015-06-17 联想(北京)有限公司 一种显示方法和设备
CN109542654A (zh) * 2018-11-23 2019-03-29 京东方科技集团股份有限公司 自动贩卖机和确定用户选定商品的方法
CN110936797A (zh) * 2019-12-02 2020-03-31 恒大新能源汽车科技(广东)有限公司 一种汽车天窗控制方法及电子设备
WO2021244650A1 (zh) * 2020-06-05 2021-12-09 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646313B2 (en) * 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
KR101844278B1 (ko) * 2014-01-23 2018-04-02 삼성전자주식회사 관절식 객체의 자세를 추정하기 위한 파라미터 학습 방법 및 관절식 객체의 자세 추정 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090324014A1 (en) * 2008-06-30 2009-12-31 International Business Machines Corporation Retrieving scenes from moving image data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512652A (en) * 2003-09-26 2005-04-01 Jia-Zhang Hu Cursor simulator using limbs to control cursor and method for simulating the same
TW200900123A (en) * 2007-06-18 2009-01-01 Ailive Inc Self-contained inertial navigation system for interactive control using movable controllers
US9335912B2 (en) * 2007-09-07 2016-05-10 Apple Inc. GUI applications for use with 3D remote controller
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090324014A1 (en) * 2008-06-30 2009-12-31 International Business Machines Corporation Retrieving scenes from moving image data

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637116A (zh) * 2012-03-20 2012-08-15 Tcl集团股份有限公司 3d场景交互方法、装置及碰撞检测方法、装置
CN102637116B (zh) * 2012-03-20 2016-05-25 Tcl集团股份有限公司 3d场景交互方法、装置及碰撞检测方法、装置
CN104007808A (zh) * 2013-02-26 2014-08-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104714728A (zh) * 2013-02-28 2015-06-17 联想(北京)有限公司 一种显示方法和设备
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
CN104238734A (zh) * 2013-06-21 2014-12-24 由田新技股份有限公司 三维交互系统及其交互感测方法
CN109542654A (zh) * 2018-11-23 2019-03-29 京东方科技集团股份有限公司 自动贩卖机和确定用户选定商品的方法
CN110936797A (zh) * 2019-12-02 2020-03-31 恒大新能源汽车科技(广东)有限公司 一种汽车天窗控制方法及电子设备
WO2021244650A1 (zh) * 2020-06-05 2021-12-09 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
TW201145070A (en) 2011-12-16
TWI403922B (zh) 2013-08-01
US20110298698A1 (en) 2011-12-08
US8416189B2 (en) 2013-04-09
CN102270037B (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
CN102270037B (zh) 徒手人机界面操作系统及其方法
EP2620849B1 (en) Operation input apparatus, operation input method, and program
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
CN105074625B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
US8643598B2 (en) Image processing apparatus and method, and program therefor
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
EP2853989A1 (en) Contactless gesture-based control method and apparatus
JP6350772B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
US9575565B2 (en) Element selection device, element selection method, and program
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
CN102929547A (zh) 智能终端无接触交互方法
WO2013078989A1 (zh) 人机交互操作指令的触发控制方法和系统
CN105988686A (zh) 播放界面的显示方法、装置及终端
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치
CN103902202B (zh) 一种信息处理方法及电子设备
KR101394604B1 (ko) 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치
KR20110033318A (ko) 영상인식을 이용한 가상마우스 시스템
CN103838364B (zh) 手势辨识模块及手势辨识方法
JP5733056B2 (ja) 仮想マウスによるデータ入力方法
WO2023031988A1 (ja) 電子機器及びプログラム
CN117111736A (zh) 一种基于手势识别的增强显示交互方法和头戴式显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant