CN104246661B - 使用手势与装置交互 - Google Patents

使用手势与装置交互 Download PDF

Info

Publication number
CN104246661B
CN104246661B CN201380020242.0A CN201380020242A CN104246661B CN 104246661 B CN104246661 B CN 104246661B CN 201380020242 A CN201380020242 A CN 201380020242A CN 104246661 B CN104246661 B CN 104246661B
Authority
CN
China
Prior art keywords
user
posture
detection
predetermined state
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380020242.0A
Other languages
English (en)
Other versions
CN104246661A (zh
Inventor
弗兰西斯·B·麦克杜格尔
埃文·R·希尔德雷思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104246661A publication Critical patent/CN104246661A/zh
Application granted granted Critical
Publication of CN104246661B publication Critical patent/CN104246661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

提供用于啮合及重新啮合手势模式的系统、方法、设备及计算机可读媒体。在一个实施例中，由所述计算机系统执行的方法检测用户姿势的初始存在，向用户指示朝向达成检测的预定状态的进程同时继续检测所述用户姿势，确定所述用户姿势的所述检测己达到所述预定状态，及基于确定所述检测己达到所述预定状态而对所述用户姿势的所述检测作出响应。所述计算机系统可进一步通过显示所述用户姿势对应于用于用户决策的选项的表示来提示所述用户，至少部分基于确定所述用户姿势的所述检测己达到所述预定状态而检测所述用户决策，及对所述用户决策作出响应。

Description

使用手势与装置交互
相关申请案的交叉参考
本专利申请案主张2012年4月16日申请且标题为“使用手势与装置交互(INTERACTING WITH A DEVICE USING GESTURES)”的第61/625,076号美国临时专利申请案及2013年3月13日申请且标题为“使用手势与装置交互(INTERACTING WITH A DEVICEUSING GESTURES)”的第13/799,839号美国非临时专利申请案的权益，所述申请案出于所有目的以全文引用的方式并入本文中。
背景技术
本发明的方面涉及计算技术。确切地说，本发明的方面涉及执行手势辨识的系统、方法、设备及计算机可读媒体。
日益地，例如智能电话、平板计算机、个人数字助理(PDA)和其它装置等计算装置包含触摸屏、加速度计、相机、接近度传感器、麦克风，和/或可允许这些装置俘获呈用户输入形式的运动和/或其它所感测状况的其它传感器。在一些装置中，例如，可将特定移动和/或出现辨识为(例如)对应于不同情境中的特定命令的手势。举例来说，当显示浏览器应用程序时，装置可将例如向左滑动(例如，其中用户将其手在装置前方向左挥动)等手势辨识为对应于“上一页”命令，且当显示媒体播放器应用程序时，装置可将例如向左滑动等手势辨识为“上一个曲目”命令。在此实例中，用户可通过执行这些情境中的每一者中的对应手势来致使装置执行这些命令。改进的手势辨识在许多情况下可为有益的。
发明内容
此等益处和其它可根据本文中所描述的本发明的实施方案来实现。此外，实施例可解决与啮合手势控制系统相关联的问题。
本文中提供系统、方法、设备及计算机可读媒体。在一个实施例中，由计算机系统执行的方法向用户提示第一姿势，检测第一姿势，且对第一姿势的检测作出响应。在一些实施例中，姿势可包括啮合手势，例如在恰当地配置计算系统时和/或在姿势后跟着另一运动时。此外，姿势可由手、臂、腿、面部特征等或甚至一个人可以携带或挥舞的其它对象执行且包括所述手、臂、腿、面部特征等或甚至一个人可以携带或挥舞的其它对象。第一姿势可由例如手等用户肢体执行，且可包括手姿势或伴随手姿势的运动。计算机系统可在对所述姿势作出响应时在左手及右手之间进行区分。本发明的示范性实施例可用于确认来自计算机系统的提示，取消或接受一系列动作，解锁计算机系统，及接受或拒绝呼叫。在一些实施例中，姿势可包括一种类型的手势，且当手势包括姿势时，可使用描述手势的实施例。另外，在一些实施方案中，关于姿势论述的实施例可供其它手势使用。
在一些实施例中，方法包含检测用户姿势的初始存在。方法可进一步包括向用户指示朝向达成检测的预定状态的进程同时继续检测所述用户姿势。方法可进一步包括确定已达成检测的所述预定状态。方法可进一步包括基于确定已达成检测的所述预定状态而对所述用户姿势作出响应。
在一些实施例中，方法进一步包括通过显示包括所述用户姿势的多个可能用户姿势的表示来提示所述用户，所述多个可能用户姿势中的每一者对应于用于用户决策的选项。方法可进一步包括至少部分基于确定已达成检测的所述预定状态而检测所述用户决策。所述响应可包含对所述用户决策作出响应。
在一些实施例中，所述确定进一步包含获得及分析多个图像。
在一些实施例中，所述响应进一步包含接受针对通知事件的确认。
在一些实施例中，所述检测步骤进一步包含检测所述用户的手姿势。
在一些实施例中，所述预定状态包括已检测所述用户姿势达预定时间周期。
在一些实施例中，所述预定状态包括所述用户姿势的检测达到特定置信度水平。
在一些实施例中，所述指示包括显示包括多个区的圆形指示条，其中所述多个区指示所述进程。
在一些实施例中，所述指示包括显示所述用户姿势的动画图像，其中所述用户姿势的所述所显示图像的部分选择性地动画化以指示所述进程。
在一些实施例中，所述指示包括显示朝向达成所述预定状态的百分比。
在一些实施例中，所述指示包括向所述用户提供所述进程的顺序指示直到已确定已达成所述预定状态为止或直到不再检测到所述用户姿势为止。
在一些实施例中，方法进一步包括向所述用户提供将在达成所述预定状态之后完成用户运动的指示。
在一些实施例中，一种设备包含经配置以俘获图像的图像俘获装置，及经配置以将输出提供到用户的用户输出装置。设备可进一步包括耦合到所述图像俘获装置及所述用户输出装置的处理器。所述处理器可经配置以基于由所述图像俘获装置俘获的图像检测用户姿势的初始存在。所述处理器可经进一步配置以致使所述用户输出装置向用户指示朝向达成检测的预定状态的进程同时继续检测所述用户姿势。所述处理器可经进一步配置以在已致使向所述用户指示所述进程之后，确定已达成检测的所述预定状态。所述处理器可经进一步配置以基于确定已达成检测的所述预定状态而对所述用户姿势作出响应。
在一些实施例中，一种设备包含用于检测用户姿势的初始存在的装置。设备可进一步包括用于向用户指示朝向达成检测的预定状态的进程同时继续检测所述用户姿势的装置。设备可进一步包括用于在已向所述用户指示进程之后确定已达成检测的所述预定状态的装置。设备可进一步包括用于基于确定已达成检测的所述预定状态而对所述用户姿势作出响应的装置。
在一些实施例中，非暂时性处理器可读媒体包含处理器可读指令，所述处理器可读指令经配置以致使处理器检测用户姿势的初始存在。所述指令可经进一步配置以致使所述处理器向用户指示朝向达成检测的预定状态的进程同时继续检测所述用户姿势。在已向所述用户指示进程之后，所述指令可经进一步配置以致使所述处理器确定已达成检测的预定状态。所述指令可经进一步配置以致使所述处理器基于确定已达成检测的所述预定状态而对所述用户姿势作出响应。
附图说明
参照以下各图，可以对各种实施方案的性质及优点实现进一步的理解。在附图中，类似组件或特征可以具有相同参考标记。此外，通过遵循长划及第二标记的参考标记可以区分相同类型的各种组件，这些长划及第二标记在类似组件当中予以区分。如果说明书中只使用第一参考标记，那么描述适用于具有相同第一参考标记的类似组件中的任一者，与第二参考标记无关。
图1说明根据一些实施例的示范性计算机系统。
图2说明根据一些实施例经配置以检测用于与提示交互的姿势的另一示范性计算系统。
图3说明根据一些实施例经配置以检测用于解锁装置的姿势的另一示范性计算系统。
图4A到4F说明根据一些实施例经配置以检测姿势且使用渐进式反馈的另一示范性计算系统。
图5A到5L说明根据一些实施例经配置以检测姿势且使用渐进式反馈的另一示范性计算系统。
图6说明根据一些实施例经配置以检测用于与提示交互的姿势的另一示范性计算系统。
图7说明根据一些实施例经配置以检测用于与提示交互的姿势的另一示范性计算系统。
图8说明根据一些实施例经配置以检测用于与两步提示交互的姿势的另一示范性计算系统。
图9为说明用于检测姿势的示范性实施例的流程图。
图10为说明用于检测姿势的示范性实施例的另一流程图。
图11为说明用于向用户提示姿势的示范性实施例的流程图。
具体实施方式
本发明的方面提供执行手势辨识的更便利、直观及功能性方式。在触摸系统中，手指触摸玻璃，且接着沿手势的方向移动，且接着从需要与用户触摸交互的玻璃抬起。然而，存在其中用户可能不能够或可能不想要触摸屏幕以便对提示作出响应的许多情境。举例来说，用户可能正驾驶汽车且可能不想要使其眼睛离开道路以触摸用户接口中的特定按钮或区。此等及许多其它情形指出具有仅可经由触摸来启动的接口的缺点。
为了说明性目的，本文中使用手姿势来描述本发明的实施例。然而，可使用任何用户肢体来做出姿势和手势。在一些实施例中，用户的身体、脸或头可用以执行手势。此外，在一些实施例中，与用户相关联和/或由用户控制的控制对象可用以执行姿势或手势。控制对象可包括例如人手或由用户拿着或穿戴的某物。作为实例，棒可为控制对象。所属领域的技术人员将辨识可执行的其它手势。
在一些实施例中，姿势可包括啮合手势，例如在恰当地配置计算系统时和/或在姿势后跟着另一运动时。此外，姿势可由手、臂、腿、面部特征等或甚至一个人可以携带或挥舞的其它对象执行且包括所述手、臂、腿、面部特征等或甚至一个人可以携带或挥舞的其它对象。在以下实施例中，术语“所要结果”係指启动手势意味着调用的用户接口事件。在一些实施方案中，可以使用例如手姿势选择显示的提示的形式将模拟“触摸”事件发送到装置。在一些实施例中，用户可执行例如“向左滑动”或“向右滑动”等姿势在装置上所显示的选项之间进行浏览。在一些实施方案中，装置上的应用程序可具有用于解译由装置(例如，由例如相机等输入装置)俘获的手势的内置手势检测能力。在又其它实施方案中，可产生从应用程序到单独的手势系统的直接连接，且可由手势系统解译手势消息并将其直接发送到应用程序，其中应用程序可存在于装置的工作存储器中，且装置的处理器可执行应用程序指令。下文关于图1更详细地描述这些元件。
使用本发明的实施例，可例如解锁计算机系统而不使用户执行已知姿势来进行触摸。举例来说，相机可与计算机系统相关联，且用户可执行与计算机系统相关联的相机的视图中的姿势。在一些实施例中，其它具有检测能力的装置可与计算机系统相关联，所述计算机系统包括(但不限于)超音波传感器、电磁辐射传感器、基于微机电系统(MEMS)的装置及包含惯性传感器的控制器装置。用户可以这些其它具有检测能力的装置可检测的方式执行姿势。如果姿势对应于用于解锁计算机系统的预定义的手势和/或已达成检测的预定状态，那么可解锁计算机系统。在一些实施例中，用户可执行在由装置提示时的任何姿势，且一旦达成检测的预定状态，装置便可确认所述姿势或对所述姿势作出响应。姿势可为手姿势或手势，且光标可显示于计算机系统上，所述计算机系统反映用户的手位置。在一些实施例中，手势可由用户沿着预定义路径在空中移动一或多个手来执行，或由以上方法的任何组合执行。在一些实施例中，姿势可包括啮合手势，例如在恰当地配置计算系统时和/或在姿势后跟着另一运动时。此外，姿势可由手、臂、腿、面部特征等或甚至一个人可携带或挥舞的其它对象执行，且包含所述手、臂、腿、面部特征等或甚至一个人可携带或挥舞的其它对象。计算机系统还可在其屏幕上显示预定义手势的视觉提示，从而向用户提醒所述手势。另外，具有相机的计算机系统可使得用户能够在不经由类似机构触摸计算机系统的情况下确认任何提示。另外，对于具有两个可能响应的提示(如应答/忽略或好/取消)，可使用两个预定义的手势，每一可能回应有一个预定义的手势。确切地说，如果视觉提示在显示器的一侧上展示一个响应选项，且在显示器的另一侧上展示另一响应选项，那么相同手姿势可用于选择所要响应，但用户可使用其右手(呈所述姿势)来选择右侧选项，且使用其左手(呈所述姿势)来选择左侧选项。另外，针对每一选项的特定手姿势或手势的合适的视觉提示可如先前一样显示为针对用户的提示。
现将相对于形成其一部分的附图来描述若干示意性实施例。虽然上文描述可在其中实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。可在例如计算机系统等此类系统中实践上文所描述的所有实施例。下文实施例可指姿势或手势或由用户用相机提供的其它输入的检测。然而，如上文所论述，可使用的其它具有检测能力的装置包含(但不限于)超音波传感器、电磁辐射传感器、基于微机电系统(MEMS)的装置及控制器装置。因此，在下文描述相机的实例中的每一者中，可替换相机，或除了上文所描述的传感器中的任一者之外可使用相机，或可使用经配置以检测姿势或手势或由用户提供的其它输入的另一传感器。
图2说明根据一些实施例经配置以检测用于与提示220交互的姿势226、228的示范性计算系统(例如图1中说明的计算机系统100)。在一个实施例中，计算系统为移动装置200，例如智能电话。在其它实施例中，计算系统可为其它装置，例如平板计算机、电视、个人计算机、个人数字助理、上网本等。移动装置200包含一或多个相机120及输出装置110。在一个实施例中，输出装置110为显示装置。装置200可向用户呈现提示220及姿势请求224。用户可通过执行用户姿势226、228对提示220作出响应。在一个实施例中，用户姿势为左手用户姿势226及右手用户姿势228。可了解，用户姿势不限于由用户的手构造的姿势且可由用户的腿、脚、脚趾、膝盖、脚踝、胃、胸、肩部、臂、肘部、手指及任何其它用户身体部分或肢体构造。此外，姿势可包括预定义姿势。在一些实施例中，装置200可向用户提示运动，例如沿着预定义路径或在预定义方向上的运动或姿势及运动的组合。相机120可为可操作的以用于通过俘获多个图像检测、获得及分析用户姿势226、228。
在一些实施例中，控制具有一或多个相机120的移动装置200的方法包括使用例如显示单元或扬声器等输出装置110通知用户，移动装置200正等待确认，从相机120俘获一系列图像，分析那些图像，且确定是否以类似于姿势请求224或任何其它预定义姿势的方式已检测到用户的右手或左手或任选地双手(或任何其它身体部分或肢体)。一旦最初检测到用户的姿势，移动装置200便可任选地显示渐进式反馈(参见图3)或使用用于感觉反馈的一些其它手段直到已达成检测的预定状态为止，例如姿势已保持足够的时间从而触发所要结果。用于感觉反馈的其它手段的一些实例包含，但不限于，音频提示、移动装置200的振动等。
在一些实施例中，足够时间可与正确地检测到的手势或姿势的特定置信度水平相关。举例来说，显示器110可呈现进程指示符，所述进程指示符向用户指示朝向达到特定置信度水平的进程。在一些实施例中，足够时间包括期间用户通常可能并不会保持一姿势的时间量，且因此可用以确保例如用户正提供有意输入，而不是在玩弄或出于另一原因而运动。图2中说明的方法可适合于提示220，所述提示为可能需要确认但并不在两个选项之间进行决策(如图7中所描绘)的信息消息。举例来说，移动装置200可宣布其电池仅剩余有其电池的5％。在一些实施例中，装置200可在检测到左手用户姿势226或检测到右手用户姿势228时确定用户已提供确认。因此，在显示请求224时，装置可检测到手处于手掌张开手指伸出的姿势而不管使用哪一只手。在其它实施例中，装置200可在检测到特定手(例如，与由请求224所显示的姿势成镜像的手)时确定用户已提供确认。
在一些实施例中，控制具有相机120的移动装置200的方法包含向用户通知移动装置200可等待确认，从相机120俘获一系列图像，分析那些图像，及确定是否已检测到姿势226、228。在姿势226、228在其部分完成时可被检测到的状况下，移动装置200接着可任选地显示渐进式反馈图像或使用用于感觉反馈的一些其它渐进式手段(参见图3)直到姿势已完全完成且触发所要结果为止。
图3说明根据一些实施例经配置以检测用于解锁装置的姿势226、228的另一示范性计算系统(例如，图1中说明的计算机系统100)。在图3中，装置200呈现渐进式反馈图像330。
在一个实施例中，控制具有一或多个相机120的移动装置200的方法包括使用例如显示单元或扬声器等输出装置110通知用户，移动装置200正等待确认或命令，从相机120俘获一系列图像，分析那些图像，及确定是否在手掌张开姿势或其它预定义姿势中已检测到左手用户姿势226及右手用户姿势228或任选地用户的双手。可了解用户姿势不限于由用户的手构造的姿势，且可由用户的腿、脚、脚趾、膝盖、脚踝、胃、胸、肩部、臂、肘部、手指及任何其它用户身体部分或肢体构造。此外，姿势可包括预定义姿势。在一些实施例中，装置200可向用户提示运动，例如沿着预定义路径或在预定义方向上的运动或姿势及运动的组合。一旦最初检测到用户的姿势226、228，计算机系统接着便可任选地显示渐进式反馈图像330或使用用于感觉反馈的一些其它渐进式手段直到用户姿势226、228已保持足够时间从而经确认为与系统啮合为止。在一些实施例中，装置200在检测到姿势之前显示图像330，但不更新图像330直到检测到姿势之后。在一实施例中，足够时间可与特定置信度水平相关。举例来说，显示器110可呈现进程指示符，所述进程指示符向用户指示朝向达到特定置信度水平的进程。随后，可提示用户在一方向上从所述点移动其手(或其它肢体)以证实其确认所述提示的需要，以使得触发所要结果。在其它实施例中，装置200可在检测姿势之前向用户显示针对手运动的提示，以使得用户察觉到姿势及运动可用以向装置200提供确认或命令。图3中说明的方法可适合于信息消息，所述信息消息简单地需要确认但不在两个选项之间作出决策(如图6中所描绘)。举例来说，如图中所描绘，此方法可由装置200利用以确定用户是否想要解锁例如移动电话、平板计算机或电视等计算机系统。
在实施例中，移动装置200最初可在相机120检测到用户的存在之后显示解锁提示220及姿势请求224。在此特定实施例中，渐进式反馈图像330为滑条图像。滑条图像可根据用户姿势226、228的移动而跨越显示器持续左右移动。举例来说，姿势请求224可描绘手掌张开的人右手的图像。用户可执行右手用户姿势228以解锁移动装置200。移动装置200最初可呈现提示220、姿势请求224及渐进式反馈图像330。提示220可为向用户指示需要在与移动装置200进一步交互之前解锁的消息。姿势请求224可包含描绘用户肢体(在此状况下为用户的右手的图像)的图像。姿势请求还可包含描绘其中用户应移动用户肢体(右手)的运动的图像。在用户在类似于姿势请求224中所描绘的姿势的姿势中伸出其右手，且在由姿势请求224描绘的运动中移动其右手时，渐进式反馈图像330根据用户的右手姿势228移动而跨越显示器110持续左右移动。一旦用户完成由姿势请求224描绘的运动(由渐进式反馈图像330(滑条)到达显示器110上的预定义位置指示)，移动装置200便可解锁。用户接着可继续与移动装置200交互。可了解，姿势请求可描绘手掌张开的用户左手或任何其它身体部分或用户肢体(呈任何配置)的图像，以及任何类型的用户肢体运动。用户可使用其对应身体部分或肢体通过模拟所描绘运动来解锁装置。在一些实施例中，用户姿势请求224可变得突出显示，改变颜色或以任何其它方式可视地更改，以向用户指示已正确地检测到用户姿势226、228，且用户姿势226、228的后续移动将导致到姿势请求224的滑条的对应移动。在一些实施例中，姿势请求224的滑条可用以向用户指示用户姿势已保持了多长时间，而不是在已检测到姿势之后跟踪用户移动。
在实施例中，相机120可以预定义时间间隔检测、俘获及分析用户姿势。举例来说，相机120可以预定时间间隔(例如，每隔0.5秒)检测、俘获及分析用户姿势。通过以预定时间间隔检测、俘获及分析用户姿势，与持续地检测、俘获及分析用户姿势相比，移动装置200及啮合系统可以较低的功率分布图来操作。在实施例中，移动装置200及啮合系统可基于用户身体部分或肢体在显示器110或相机120之前的存在而动态地增加检测、俘获及分析帧的频率。举例来说，一旦用户姿势由装置200检测到，相机和/或手势或姿势辨识引擎的工作循环接着便可增加，以检测姿势或手势或其改变，其中精确性较大和/或时延较低。
图4A到4F说明根据一些实施例经配置以检测姿势且使用渐进式反馈图像330的另一示范性计算系统。如上文所描述，计算机系统可任选地显示渐进式反馈图像330或使用用于感觉反馈的一些其它渐进式手段直到用户姿势已保持足够时间从而经确认为与系统啮合为止。在一实施例中，足够时间可与特定置信度水平相关。在实施例中，渐进式反馈图像330可显示朝向达到检测到用户姿势(例如，检测到用户姿势已实质上维持阈值时间量)的百分比。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。在图4A中，提示220经显示有是否继续与移动装置200(图2)交互的消息及确认。此外，姿势请求224经显示为指示系统接受姿势及预期哪些姿势的用户右手的图像。图4A描绘在时间t＜0处的移动装置200(图2)显示器110。时间t可为任何时间单位，例如秒、毫秒等。在实施例中，在时间t＜0处，无渐进式反馈图像330显示于显示器110上。
在一些实施例中，可能不存在显示器110上最初展示的姿势请求224。在一些状况下，用户可已经知道何种特定姿势可与系统交互(例如，在使用特定啮合手势来起始与系统的交互时)。也可存在用于起始或控制某些功能性的相关联的多个可能姿势。在此类实施例中，装置200(图2)可仅描绘在最初检测到手姿势的时间处或之后对应手姿势的图像，从而向用户通知所检测的特定手姿势或恰当地检测到手姿势。在一些实施例中，渐进式反馈330接着可显示于显示器110上以确保手姿势保持足够时间以与系统啮合，或提供某一类的输入或命令。
在实施例中，一旦相机120(图1)在时间t＝0处检测到用户姿势的存在，渐进式反馈图像330便可显示于显示器110上。举例来说，在此特定实施例中，渐进式反馈图像330为圆形指示条。圆形指示条可指示在执行用户姿势达足够时间从而经确认为与系统啮合时的用户的进程。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。在实施例中，圆形指示条可通过弄暗、着色、染色、捏夹、擦除等对应于在用户正执行用户姿势时已过去的时间量的圆形指示条的部分来指示此进程。
在此特定实施例中，姿势请求224描绘手掌张开的用户右手。可了解用户姿势不限于由用户的手构造的姿势，且可由用户的腿、脚、脚趾、膝盖、脚踝、胃、胸、肩部、臂、肘部、手指及任何其它用户身体部分或肢体构造。
在图4B中，渐进式反馈图像330显示于显示器110上。在实施例中，渐进式反馈图像330为在姿势请求224周围居中的圆形指示条。图4B描绘在时间t＝0处(即，一旦相机120(图1)检测到用户姿势的存在)的移动装置200(图2)显示器110。圆形指示条提供指示用户姿势已保持足够时间从而经确认为与系统啮合的渐进式反馈。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。可了解，渐进式反馈图像330可为可将渐进式反馈提供到用户的任何类型的图像，例如矩形指示条、百分比指示符、动画图像等。
图4C描绘在时间t＝0.25处的移动装置200(图2)显示器110。在描述中，圆形指示渐进式反馈图像330使其8个区段中的两者着色。圆形指示渐进式反馈图像330的着色区段指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.25，用户已执行类似于姿势请求224的用户姿势。
图4D描绘在时间t＝0.5处的移动装置200(图2)显示器110。在描述中，圆形指示渐进式反馈图像330使其8个区段中的四者着色。圆形指示渐进式反馈图像330的着色区段指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.5，用户已执行类似于姿势请求224的用户姿势。
图4E描绘在时间t＝0.75处的移动装置200(图2)显示器110。在描述中，圆形指示渐进式反馈图像330使其8个区段中的六者着色。圆形指示渐进式反馈图像330的着色区段指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.75，用户已执行类似于姿势请求224的用户姿势。
图4F描绘在时间t＝1处的移动装置200(图2)显示器110。在描述中，圆形指示渐进式反馈图像330使其所有8个区段着色。圆形指示渐进式反馈图像330的着色区段指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝1，用户已执行类似于姿势请求224的用户姿势。在此描述中，所述姿势请求224的用户姿势已保持了足够长的时间以由系统确认，在所述时间处渐进式反馈图像330经完全着色，且用户已完成提示220的确认。在一些实施例中，此确认可与系统啮合，且实现其它功能性。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。
图5A到5L说明根据一些实施例经配置以检测姿势且使用渐进式反馈330的另一示范性计算系统。如上文所描述，计算机系统可任选地显示渐进式反馈图像330或使用用于感觉反馈的一些其它渐进式手段直到用户姿势已保持足够时间从而经确认为与系统啮合为止。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。在图5A中，提示220经显示具有需要是或否响应以用于与移动装置200(图2)交互的消息及确认。此外，姿势请求224经显示为指示系统接受姿势及预期哪些姿势的手掌张开的用户右手的图像。图4A描绘在时间t＜0处的移动装置200(图2)显示器110。时间t可为任何时间单位，例如秒、毫秒等。在实施例中，在时间t＜0处，无渐进式反馈图像330显示于显示器110上。
在实施例中，一旦相机120(图1)在时间t＝0处检测到用户姿势的存在，渐进式反馈图像330便可显示于显示器110上。举例来说，在此特定实施例中，渐进式反馈图像330可为上覆在姿势请求224之上的图像。上覆图像可指示在执行用户姿势达足够时间从而经确认为与系统啮合时的用户的进程。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。在实施例中，上覆图像可通过弄暗、着色、染色、捏夹、擦除等对应于在用户正执行用户姿势时已过去的时间量的上覆图像的部分来指示此进程。
在此特定实施例中，姿势请求224描绘手掌张开的用户右手。可了解用户姿势不限于由用户的手构造的姿势，且可由用户的腿、脚、脚趾、膝盖、脚踝、胃、胸、肩部、臂、肘部、手指及任何其它用户身体部分或肢体构造。
在图5B中，渐进式反馈图像330显示于显示器110上。在实施例中，渐进式反馈图像330上覆于姿势请求224上。图5B描绘在时间t＝0处（即，一旦相机120(图1)检测到用户姿势的存在)的移动装置200(图2)显示器110。上覆图像提供指示用户姿势已保持足够时间从而经确认为与系统啮合的渐进式反馈。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。可了解，渐进式反馈图像330可为可将渐进式反馈提供到用户的任何类型的上覆图像，例如矩形指示条、百分比指示符、动画图像等。在此特定实施例中，上覆图像描绘手掌张开的用户右手(由姿势请求224描绘的相同图像)。
图5C描绘在时间t＝0.25处的移动装置200(图2)显示器110。在描述中，上覆渐进式反馈图像330粗略地使其总高度中的四分之一着色。上覆渐进式反馈图像330的着色高度指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.25，用户已执行类似于姿势请求224的用户姿势。可了解，指示在通过使用用户姿势完成与提示220的交互时的用户的进程的着色可横向地、对角地、螺旋地、圆形地等来着色。
图5D描绘在时间t＝0.5处的移动装置200(图2)显示器110。在描述中，上覆渐进式反馈图像330粗略地使其总高度中的二分之一着色。上覆渐进式反馈图像330的着色高度指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.5，用户已执行类似于姿势请求224的用户姿势。
图5E描绘在时间t＝0.75处的移动装置200(图2)显示器110。在描述中，上覆渐进式反馈图像330粗略地使其总高度中的四分之三着色。上覆渐进式反馈图像330的着色高度指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝0.75，用户已执行类似于姿势请求224的用户姿势。
图5F描绘在时间t＝1处的移动装置200(图2)显示器110。在描述中，上覆渐进式反馈图像330粗略地使其总高度全部着色。上覆渐进式反馈图像330的着色高度指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在此实例中，对于时间t＝1，用户已执行类似于姿势请求224的用户姿势。在此描述中，所述姿势请求224的用户姿势已保持了足够长的时间以由系统确认，在所述时间处渐进式反馈图像330经完全着色，且用户已完成提示220及系统的确认。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。
可了解渐进式反馈图像可替换提示请求224，而不是上覆提示请求224。可了解，例如渐进式反馈图像330的大小或不透明度等其它动画可用以指示渐进式反馈。
图5G描绘在时间t＝1.25处的移动装置200(图2)显示器110。在描述中，上覆渐进式反馈图像330粗略地使其总高度全部着色。上覆渐进式反馈图像330的着色高度指示在通过使用用户姿势完成与提示220的交互时的用户的进程。在实施例中，在足够长的时间量内检测到用户姿势后(例如，如图5A到5F中所说明)，一对新的姿势请求224即刻可呈现于显示器110上以供与提示220进一步交互。在一实施例中，足够时间可与特定置信度水平相关。渐进式反馈图像330可指示朝向达到特定置信度水平的进程。所述对姿势请求224可向用户指示在任一方向上移动用户的姿势以作出对应用户提示220选择。在此实例中，用户可在是或否响应之间选择。所述对姿势请求224可显示于渐进式反馈图像330之后，且可动画化以指示预期用户姿势运动。举例来说，姿势请求可动画化，且个别地朝向是及否提示220移动。在实施例中，动画可循环直到用户完成用户姿势运动且选择用户提示220选择或用户停止执行用户姿势为止。在此描述中，所述对用户姿势请求224为从渐进式反馈图像330到用户提示220的距离的三分之一。在一些实施例中，姿势运动可包括在实质上维持姿势时执行的运动。在此处的实例中，可实施不需要在移动期间维持某一姿势的运动来代替在一些实施例中的姿势运动。
图5H描绘在时间t＝1.5处的移动装置200(图2)显示器110。在描述中，所述对用户姿势请求224为从渐进式反馈图像330到用户提示220的距离的三分之二。
图5I描绘在时间t＝1.75处的移动装置200(图2)显示器110。在描述中，所述对用户姿势请求224动画化，且移动从渐进式反馈图像330到用户提示220的整个距离。在实施例中，动画现在可循环，重新开始(如图5G中所描绘)，直到用户完成用户姿势运动且选择用户提示220选择或用户停止执行用户姿势为止。
图5J描绘在时间t＝2.0处的移动装置200(图2)显示器110。在描述中，，用户开始用户姿势运动，其类似于由图5G到5I中的所述对用户姿势请求224说明的用户姿势运动。在实施例中，渐进式反馈图像330动画化，且移动以指示用户姿势相对于用户姿势预期移动(由所述对用户姿势请求224的动画及移动指示)以完成与提示220的交互的距离已移动的距离。在此描述中，用户的手掌张开的右手姿势移动到显示器110的左边缘，以指示用户希望对提示220作出是响应。可了解用户姿势可为手掌张开的左手姿势。亦可了解，用户姿势可移动到相对于显示器110的任何地方以与提示220交互。在此描述中，渐进式反馈图像330已粗略地移动了其预期移动以完成与提示220的交互的距离的三分之一。
图5K描绘在时间t＝2.25处的移动装置(图2)显示器110。在描述中，渐进式反馈图像330已粗略地移动了用户姿势预期移动以完成与提示220的交互的距离的三分之二。
图5L描绘在时间t＝2.5处的移动装置(图2)显示器110。在描述中，渐进式反馈图像330已粗略地移动了用户姿势预期移动以完成与提示220的交互的距离。在描述中，用户现在已选择是用户提示220选择，且与提示220的交互可以完成。
可了解图5A到5F的实施例可结合图5G到5L中描述的实施例来使用。也就是说，用户可在用户在任一方向上移动姿势以作出对应用户提示选择之前和/或在显示提示220及用户姿势请求224中的一或多者之前保持姿势达足够时间量(例如，直到渐进式反馈图像330经完全着色为止)。在一些实施例中，可在无图5G到5L的情况下使用图5A到5F。在此类实施例中，在一些实施方案中(例如，在不需要用户进行选择时)可省略是及否提示220。
图6说明根据一些实施例经配置以检测用于与提示220交互的姿势226、228的另一示范性计算系统。在一个实施例中，一种控制具有一或多个相机120的移动装置200的方法包括使用例如显示单元或扬声器等输出装置110通知用户，计算机系统等待用户在两个或两个以上可能提示220之间进行选择，在显示器110的左侧及右侧上显示提示，及接着从相机120俘获一系列图像，分析那些图像，及确定是否已在手掌张开的姿势或其它预定义姿势中检测到用户的右手姿势228或左手姿势226。如果用户希望选择在屏幕的左侧上显示的提示220(取消)，那么用户可抬起其左手，且将其保持由姿势请求224所示的所要姿势。如果用户希望选择在屏幕的右侧上显示的提示220(好)，那么用户可抬起其右手，且将其保持所要姿势。一旦最初检测到用户的姿势，计算机系统便可任选地向用户显示渐进式反馈图像，或使用用于感觉反馈的一些其它渐进式手段(如上文所描述)，直到姿势已保持足够时间以触发所要结果为止。在一实施例中，足够时间可与特定置信度水平相关。举例来说，显示器110可呈现进程指示符，所述进程指示符向用户指示朝向达到特定置信度水平的进程。
此方法可适合于任何“好/取消”或其它双选项提示220，如图中所示。显示器110可显示提示220以及姿势请求224。姿势请求224可描绘左手用户姿势及右手用户姿势。用户可执行用户姿势，右手用户姿势228可允许用户调用动作，而左手用户姿势226可允许用户取消动作。在一些实施例中，仅展示一个请求224，且装置200检测由请求224表示的姿势是由用户的左手执行还是由用户的右手执行，且基于使用哪一只手执行姿势来确定已选择两个选项中的一者。
在一些实施例中，右手姿势228及左手姿势226可完全不同。举例来说，右手姿势228可为张开手姿势，而左手姿势226可为闭合手姿势，或者反过来。闭合手姿势可表示选择“取消”提示，而张开手姿势可表示选择“好”提示。在一些实施例中，可将多个姿势呈现给用户，和/或针对每一提示可接受多个姿势。举例来说，“取消”提示可由通过手来形成的闭合手姿势或V字形和平姿势选择，而“好”提示可由通过手来形成的张开手姿势或好姿势(例如，其中拇指及食指接触，且其它手指伸展)选择。
图7说明根据一些实施例经配置以检测用于与提示220交互的姿势226、228的另一示范性计算系统。在一个实施例中，一种控制具有一或多个相机120的移动装置200的方法包括使用例如显示单元或扬声器等输出装置110通过在显示器的左侧及右侧上显示提示来通知用户，计算机系统等待用户在两个可能提示之间进行选择，任选地在显示器110上显示单个手图标，及接着从相机120俘获一系列图像，分析那些图像，及确定是否已在手掌张开的姿势或其它预定义姿势中检测到用户的右手或左手。一旦最初检测到用户的姿势，移动装置200接着便可任选地向用户显示渐进式反馈图像，或使用用于感觉反馈的一些其它渐进式手段(如上文所描述)，直到姿势已保持足够时间从而经确认为啮合为止。在一实施例中，足够时间可与特定置信度水平相关。举例来说，显示器110可呈现进程指示符，所述进程指示符向用户指示朝向达到特定置信度水平的进程。一旦啮合，用户便可向左移动以与左手侧选项啮合，且向右移动以与右手侧选项啮合。在用户朝向所要方向移动时，计算机系统接着可任选地显示渐进式反馈图像或用于感觉反馈的其它渐进式手段直到移动完成且触发所要结果为止。在一些实施例中，省略渐进式反馈。举例来说，一旦最初检测到姿势，装置200便可立即跟踪手的运动，且基于所述运动选择提示220中的一者。
此方法将适合于呼叫应答应用程序，如图中所示。在电话响时，可显示提示220，所述提示指示来电通话及接受或拒绝呼叫的选项。在实施例中，描绘手掌张开的用户右手的提示请求224也可显示于显示器110上。用户可基于将用户姿势226、228移动到显示器110的右边缘或左边缘而啮合及选择接受或拒绝呼叫的提示。在实施例中，仅右手用户姿势228将啮合移动装置200，且左手用户姿势226的使用将不被接受。在另一实施例中，右手用户姿势228或左手用户姿势226可用以啮合移动装置200，且选择提示220。
图8说明根据一些实施例使用用于与两步提示交互的姿势的另一示范性计算系统及啮合系统。在用户与提示220交互及啮合(如图7中所描述)后，新提示220即刻可基于用户对初始提示220的决策而显示。在实施例中，姿势请求224可包含用户要执行的姿势及运动。随后，可提示用户在一方向上从所述点移动其手以证实其确认所述提示220的需要，以使得触发所要结果。在用户朝向所要方向移动时，计算机系统可任选地显示渐进式反馈图像或用于感觉反馈的其它渐进式手段直到移动完成为止。此情形在图中得以表明，且可适用于任何双选项提示220，所述双选项提示可能归因于其后果而需要更故意的确认。
图9为说明用于检测姿势的本发明的示范性实施例的流程图。方法900是由处理逻辑来执行，例如处理器104(图1)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，方法900是由图1的计算机系统100或图2的移动装置200执行。计算机系统上运行的软件可包括存储于工作存储器118(图1)中或存储于存储装置106(图1)上的操作系统114(图1)及应用程序116(图1)。
参看图9，在框902处，计算机系统向用户提示姿势。在一个实施方案中，使用耦合到计算机系统的显示单元向用户提示姿势。图2到8中在显示单元上所显示的提示为在框902处所显示的提示的示范性实施例。显示单元可经实施为输出装置110，如图1中所说明。
为了响应于提示，用户可以姿势作出响应。在框904处，计算机系统检测第一姿势。计算机系统可通过获得多个图像及分析多个图像以检测姿势来检测第一姿势。图像可经由图1的计算机系统的相机120获得。姿势可由用户肢体产生。在一个实施例中，用户肢体可为用户的左手、右手或双手。姿势可为手姿势或任何其它预定义的姿势。
在一些实施例中(例如，图6及图8)，姿势的检测是基于用于产生姿势的用户肢体的检测。计算机系统可考虑用于产生姿势的不同用户肢体之间的区别。在一个实例中，可使用耦合到计算机系统的显示单元向用户提示姿势，所述显示单元水平地显示至少两个事件以进行选择，其中姿势的检测选择至少两个事件中的一者。
举例来说，使用右手及左手的姿势可与不同含义及因此不同响应相关联。举例来说，检测用户肢体(左手)选择向左显示的事件，且检测用户肢体(右手)选择向右显示的事件。返回参看框902，在一些实施例中，计算机系统可向用户指示计算机系统将左手姿势与右手姿势进行区分。举例来说，在图6中，“取消”命令与使用左手的姿势或手姿势相关联，而“好”命令与使用右手的姿势或手姿势相关联。
在一个实施例中，检测第一姿势包括检测用户肢体的初始存在，及任选地继续检测用户肢体的存在达预定时间周期，同时向用户提供渐进式反馈以向用户指示检测处于进程中。举例来说，在框906处，一旦最初检测到用户的第一姿势，计算机系统接着便可任选地显示渐进式反馈图像或使用用于感觉反馈的一些其它渐进式手段(框908)直到第一姿势已保持不动达预定时间周期为止。在一个实施例中，计算机系统使用如图1中所论述的显示单元以将反馈提供到用户。
在框910处，计算机系统通过接受用户的确认或向用户提示另一姿势或姿势的运动来作出响应。举例来说，在图2中，计算机系统在检测到第一姿势后，即刻接受用户对“消息”的确认且继续。类似地，在图6中，计算机系统检测到左手以解译“取消”命令，且检测到右手以解译“好”命令。
然而，在一些实施例中，计算机系统向用户提示额外动作或运动，例如提示用户在至少一个方向上移动用户肢体。在框912处，计算机系统检测到用户肢体在提示所指定的至少一个方向上移动。此外，在框914处，计算机系统对用户肢体在至少一个指定方向上移动的检测作出响应。在一个实施例中，响应可与接受确认或移除提示一样简单。用户肢体在至少一个指定方向上移动的检测可包括与所述方向相关联的动作的指示。举例来说，在图3中，计算机系统预期一滑动以确认“解锁”命令。在图7中，除了检测到姿势之外，计算机系统预期检测到左或右滑动运动。类似地，在图8中，计算机系统预期在确认“取消”或“好”命令之前检测到左或右滑动运动。
图10为说明根据一些实施例用于检测姿势的本发明的示范性实施例的另一流程图1000。方法1000是由处理逻辑来执行，例如处理器104(图1)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，方法1000是由图1的计算机系统100或图2的移动装置200执行。计算机系统上运行的软件可包括存储于工作存储器118(图1)中或存储于存储装置106(图1)上的操作系统114(图1)及应用程序116(图1)。
在框1002中，检测用户姿势的初始存在。计算机系统可通过获得多个图像及分析多个图像以检测姿势来检测第一姿势。图像可经由图1的计算机系统的相机120获得。姿势可由用户肢体产生。在一个实施例中，用户肢体可为用户的左手、右手或双手。姿势可为手姿势或任何其它预定义的姿势。
在一些实施例中(例如，图6及图8)，姿势的检测是基于用于产生姿势的用户肢体的检测。计算机系统可考虑用于产生姿势的不同用户肢体之间的区别。在一个实例中，可使用耦合到计算机系统的显示单元向用户提示姿势，所述显示单元水平地显示至少两个事件以进行选择，其中姿势的检测选择至少两个事件中的一者。
举例来说，使用右手及左手的姿势可与不同含义及因此不同响应相关联。举例来说，检测用户肢体(左手)选择向左显示的事件，且检测用户肢体(右手)选择向右显示的事件。举例来说，在图6中，“取消”命令与使用左手的姿势或手姿势相关联，而“好”命令与使用右手的姿势或手姿势相关联。
在一个实施例中，检测第一姿势包括检测用户肢体的初始存在，及任选地继续检测用户肢体的存在达预定时间周期，同时向用户提供渐进式反馈以向用户指示检测处于进程中。举例来说，一旦最初检测到用户的第一姿势，计算机系统接着便可任选地显示渐进式反馈图像或使用用于感觉反馈的一些其它渐进式手段(框1004)直到第一姿势已保持不动达预定时间周期为止。在一个实施例中，计算机系统使用如图1中所论述的显示单元以将反馈提供到用户。
在框1006中，作出用户姿势的检测是否已达到预定状态的确定。在实施例中，在已向用户指示朝向达成预定状态的进程之后进行确定，同时继续检测用户姿势(框1004)。预定状态可包含保持用户姿势达预定时间周期或参与姿势运动。举例来说，在图4F中，用户姿势已保持达预定时间周期，且完全着色渐进式反馈图像，其指示用户姿势已达到预定状态。在一些实施例中，预定状态可包括由控制对象执行的有限预定运动，或预定状态可包括控制对象到达基于在框102处的初始姿势检测确定的地点或位置。可例如在图3和/或5中说明的计算系统的一些实施例中实施此些预定状态。
在框1008中，基于确定检测已达到预定状态而产生对用户姿势的检测的响应。在检测到用户姿势后，计算机系统即刻可确认用户决策或向用户呈现如图8中所描绘的其它提示及选项。在实施例中，计算机系统可对用户肢体在至少一个指定方向上移动的检测作出响应。在一个实施例中，响应可与接受确认或移除提示一样简单。对用户姿势的检测的响应可例如为接受来电呼叫或解锁移动装置，或显示消息，以及许多其它可能动作。用户肢体在至少一个指定方向上移动的检测可包括与所述方向相关联的动作的指示。举例来说，在图3中，计算机系统预期滑动以确认“解锁”命令。在图7中，除了检测到姿势之外，计算机系统预期检测到左或右滑动运动。类似地，在图8中，计算机系统预期在确认“取消”或“好”命令之前检测到左或右滑动运动。
在一些实施例中，可通过显示对应于用于用户决策的选项的用户姿势的表示来提示用户。表示可为例如手掌张开的手姿势或一用户肢体的任何其它姿势或手势的图像。可至少部分基于确定用户姿势的检测已达到预定状态来检测用户决策。举例来说，系统已确定用户姿势已执行了一定的时间量或任何其它可测量阈值，系统可达到特定置信度水平，且接受用户决策的输入。举例来说，用户可进行选择以选择显示于显示装置上的“好”提示。对用户决策的输入的响应可由计算机系统执行。
图11为说明根据一些实施例用于向用户提示姿势的本发明的示范性实施例的流程图1100。方法1100是由处理逻辑来执行，例如处理器104(图1)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算系统或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，方法1100是由图1的计算机系统100或图2的移动装置200执行。计算机系统上运行的软件可包括存储于工作存储器118(图1)中或存储于存储装置106(图1)上的操作系统114(图1)及应用程序116(图1)。
在框1102中，通过显示对应于用于用户决策的至少第一用户选项的至少第一用户姿势的表示来提示用户。计算机系统向用户提示姿势。在一个实施方案中，使用耦合到计算机系统的显示单元向用户提示姿势。图2到8中在显示单元上所显示的提示为在框1102处显示的提示的示范性实施例。显示单元可经实施为输出装置110，如图1中所说明。在实施例中，第一用户姿势可对应于用于用户决策的至少第一用户选项，如图2到8中所描绘。
在框1104中，检测指示用户决策的第一用户姿势的存在。计算机系统可通过获得多个图像及分析多个图像以检测姿势来检测第一用户姿势。图像可经由图1的计算机系统的相机120获得。姿势可由用户肢体产生。在一个实施例中，用户肢体可为用户的左手、右手或双手。姿势可为手姿势或任何其它预定义的姿势。姿势可对应于及因此指示用户决策。
在一些实施例中(例如，图6及图8)，姿势的检测是基于用于产生姿势的用户肢体的检测。计算机系统可考虑用于产生姿势的不同用户肢体之间的区别。在一个实例中，可使用耦合到计算机系统的显示单元向用户提示姿势，所述显示单元水平地显示至少两个事件以进行选择，其中姿势的检测选择至少两个事件中的一者。
举例来说，使用右手及左手的姿势可与不同含义及因此不同响应相关联。举例来说，检测用户肢体(左手)选择向左显示的事件，且检测用户肢体(右手)选择向右显示的事件。举例来说，在图6中，“取消”命令与使用左手的姿势或手姿势相关联，而“好”命令与使用右手的姿势或手姿势相关联。
在一个实施例中，检测第一姿势包括检测用户肢体的初始存在，及任选地继续检测用户肢体的存在达预定时间周期，同时向用户提供渐进式反馈以向用户指示检测处于进程中。举例来说，一旦最初检测到用户的第一姿势，计算机系统接着便可任选地显示渐进式反馈图像或使用用于感觉反馈的一些其它渐进式手段(框1104)直到第一姿势已保持不动达预定时间周期为止。在一个实施例中，计算机系统使用如图1中所论述的显示单元以将反馈提供到用户。
在框1106中，产生对用户决策的响应。在检测到用户姿势后，计算机系统即刻可确认用户决策或向用户呈现如图8中所描绘的其它提示及选项。在实施例中，计算机系统可对用户肢体在至少一个指定方向上移动的检测作出响应。在一个实施例中，响应可与接受确认或移除提示一样简单。用户肢体在至少一个指定方向上移动的检测可包括与所述方向相关联的动作的指示。举例来说，在图3中，计算机系统预期滑动以确认“解锁”命令。在图7中，除了检测到姿势之外，计算机系统预期检测到左或右滑动运动。类似地，在图8中，计算机系统预期在确认“取消”或“好”命令之前检测到左或右滑动运动。
上文所论述的方法、系统及装置为实例。各种实施例可在适当时省略、替代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序来执行，及/或可添加、省略及/或组合各种阶段。并且，相对于某些实施例描述的特征可在各种其它实施例中加以组合。实施例的不同方面及元件可以类似方式加以组合。并且，技术演进，且因此许多元件为实例，其并不将本发明的范围限制于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不意欲限制本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能及布置进行各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可将操作描述为顺序方法，但许多操作可并行地或同时执行。此外，操作的次序可以重新排列。过程可具有不包含在图中的额外步骤。此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。
图1说明并有在实践本发明的实施例中使用的装置的部分的示范性计算机系统。如图1中所说明的计算机系统可作为上文描述的计算机化装置的部分而并入。举例来说，计算机系统100可表示以下装置的组件中的一些组件：电视机、移动装置、服务器、桌上型计算机、工作站、汽车中的控制或交互系统、平板计算机、头戴式显示器(HMD)、上网本或任何其它合适的计算系统。在一些实施例中，系统100可包含在医疗装置中，且可向医疗专业人员提供在不接触医疗装置的情况下接受或确认某些消息或状态的手段。移动装置可为具有图像俘获装置或输入感觉单元和用户输出装置的任何计算装置。图像俘获装置或输入感觉单元可为相机装置。用户输出装置可为显示单元。移动装置的实例包含(但不限于)视频游戏控制台、平板计算机、智能电话和任何其它手持式装置。图1提供计算机系统100的一个实施例的示意性说明，所述计算机系统可执行通过各种其它实施例提供的方法(如本文所描述)，及/或可充当主控计算机系统、远程查询一体机/终端、销售点装置、汽车中的电话或导航或多媒体接口、移动装置、机顶盒、桌上型计算机和/或计算机系统。图1仅意欲提供对各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。因此，图1广泛地说明可如何以相对分离或相对较集成方式实施个别系统元件。
计算机系统100经展示为包括硬件元件，所述硬件元件可经由总线102(或可在适当时以其它方式通信)电耦合。所述硬件元件可包含：一或多个处理器104，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器，和/或其类似者)；一或多个输入装置108，其可包含(但不限于)一或多个相机、传感器、鼠标、键盘、经配置以检测超声波或其它声音的麦克风，和/或其类似者；以及一或多个输出装置110，其可包含(但不限于)显示单元(例如，本发明的实施例中所使用的装置)、打印机和/或其类似者。处理器104或系统100的另一元件可致使输出装置110向上文所论述的用户显示指示或提示中的任一者，例如提示220、请求224和/或图像330。在一些实施例中，除了上文关于图2到11所描述的实例中的相机之外，或代替所述相机，可使用输入装置108(例如，对超声波频率敏感的麦克风和/或惯性测量单元)中的一或多者，以检测姿势或手势或由用户提供的其它输入。额外相机120可用于检测用户的肢体和手势。在一些实施方案中，输入装置108可包含例如红外及超音波传感器等一或多个传感器。
可了解计算机系统100的一些元件也可外部地附接到计算机系统100。举例来说，相机120可外部地连接到计算机系统100(例如，经由通用串行总线连接)，并且还俘获用于由计算机系统100处理的图像。在一些实施例中，处理可由处理器104或由其它外部子系统进行。
在本发明的实施例的一些实施方案中，各种输入装置108和输出装置110可嵌入到例如显示装置、桌子、地板、壁和窗口屏幕等接口中。此外，耦合到处理器的输入装置108及输出装置110可形成多维跟踪系统。
计算机系统100可进一步包含以下各者(及/或与以下各者通信)：一或多个非暂时性存储装置106，所述非暂时性存储装置可包括(但不限于)本地和/或网络可存取的存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的和/或其类似者。此些存储装置可经配置以实施任何适当数据存储装置，包含但不限于各种文件系统、数据库结构及/或类似者。
计算机系统100还可包含通信子系统112，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)及/或其类似者。通信子系统112可准许与网络、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统100将进一步包括非暂时性工作存储器118，所述非暂时性工作存储器可包含RAM或ROM装置，如上文所描述。
计算机系统100也可包括展示为当前位于工作存储器118内的软件元件，包含操作系统114、装置驱动器、可执行库及/或例如一或多个应用程序116等其它代码，其可包括由各种实施例所提供，及/或可经设计以实施方法及/或配置系统，由其它实施例所提供的计算机程序，如本文中所描述。仅仅作为实例，关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令；接着，在一方面中，此代码及/或指令可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
一组这些指令及/或代码可存储在计算机可读存储媒体(例如上文所描述的存储装置106)上。在一些状况下，存储媒体可并入于计算机系统(例如，计算机系统100)内。在其它实施例中，存储媒体可与计算机系统分离(例如，可装卸式媒体(例如，光盘)，及/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统100执行的可执行代码形式，及/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在由计算机系统100编译及/或安装于所述计算机系统上后(例如，使用多种大体可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)，接着呈可执行代码的形式。在一些实施例中，指令的处理可发生在计算机系统100的工作存储器118内的应用程序116层级处。在其它实施例中，指令的处理可发生在处理器104内。在其它实施例中，指令的处理可发生在专用手势辨识芯片(未图示)或计算机系统100的应用程序处理器内。在一些实施例中，关于图2到11所描述的操作或功能性被并入到操作系统114中或实施于所述操作系统中，所述操作系统在一些实施例中可包括高阶操作系统(HLOS)。
可根据特定需求进行实质性变化。举例来说，还可使用定制硬件，及/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可利用到其它计算装置(例如，网路输入/输出装置)的连接。在一些实施例中，可省略计算机系统100的一或多个元件或可将其与所说明系统分离地来实施。举例来说，处理器104和/或其它元件可与输入装置108分开实施。在一个实施例中，处理器经配置以从单独地实施的一或多个相机接收图像。在一些实施例中，可将除图1中所说明的元件之外的元件包含在计算机系统100中。
一些实施例可使用计算机系统(例如，计算机系统100)来执行根据本发明的方法。举例来说，所描述方法的程序中的一些程序或全部可由计算机系统100响应于处理器104执行工作存储器118中所含有的一或多个指令(其可并入到操作系统114和/或其它代码中，例如，应用程序116)的一或多个序列来执行。此些指令可从另一计算机可读媒体(例如，存储装置106中的一或多者)读出到工作存储器118中。仅仅作为实例，执行工作存储器118中所含有的指令序列可使得处理器104执行本文中所描述方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统100实施的实施例中，在将指令/代码提供到处理器104以用于执行中可能涉及各种计算机可读媒体，及/或各种计算机可读媒体可用以存储及/或载运此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可以采用许多形式，包括但不限于，非易失性媒体、易失性媒体，以及传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置106。易失性媒体包含(但不限于)例如工作存储器118等动态存储器。传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线102的电线，以及通信子系统112的各种组件(和/或通信子系统112提供与其它装置的通信所借助于的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电-波和红外线数据通信期间产生的那些波)。
举例来说，常见形式的物理和/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器104以用于执行时可涉及各种形式的计算机可读媒体。仅仅作为实例说明，最初可将指令载运于远程计算机的磁盘和/或光学光盘上。远程计算机可将指令载入到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机系统100接收及/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光信号和/或其类似者形式的这些信号皆为可在其上编码指令的载波的实例。
通信子系统112(和/或其组件)一般将接收信号，且总线102可接着将信号(和/或由信号携载的数据、指令等)载运到工作存储器118，处理器104从所述工作存储器检索指令并执行指令。由工作存储器118接收的指令可任选地在由处理器104执行之前或之后存储于非暂时性存储装置106上。
上文所论述的方法、系统及装置为实例。各种实施例可在适当时省略、替代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序来执行，及/或可添加、省略及/或组合各种阶段。并且，相对于某些实施例描述的特征可在各种其它实施例中加以组合。实施例的不同方面及元件可以类似方式加以组合。并且，技术演进，且因此许多元件为实例，其并不将本发明的范围限制于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不意欲限制本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能及布置进行各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可将操作描述为顺序方法，但许多操作可并行地或同时执行。此外，操作的次序可以重新排列。过程可具有图中未包含的额外步骤。此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。因此，在上述描述中，描述为由计算机系统执行的功能或方法可由经配置以执行功能或方法的处理器(例如，处理器104)来执行。另外，此类功能或方法可由执行存储在一或多个计算机可读媒体上的指令的处理器来执行。
上文已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，以上元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上元件之前、期间或之后进行数个步骤。因此，以上描述并不限制本发明的范围。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (30)

1.一种用于装置的姿势检测的方法，其包括：
检测用户姿势的初始存在；
在继续检测所述用户姿势的同时，向用户指示实现检测的预定状态以确认所述用户与所述装置的啮合的进程，其中实现所述预定状态包括保持所述用户姿势达到预定时间周期或参与姿势运动至预定位置；
在已向所述用户指示进程之后，确定已达成检测的所述预定状态；
向所述用户提供将在达成所述预定状态之后完成用户运动的指示；及
基于确定已达成检测的所述预定状态而对所述用户姿势作出响应。
2.根据权利要求1所述的方法，其进一步包括：
通过显示包括所述用户姿势的多个可能用户姿势的表示来提示所述用户，所述多个可能用户姿势中的每一者对应于用于用户决策的选项；及
至少部分基于确定已达成检测的所述预定状态而检测所述用户决策，
其中所述响应包括对所述用户决策作出响应。
3.根据权利要求1所述的方法，其中所述确定包括获得及分析多个图像。
4.根据权利要求1所述的方法，其中所述响应包括接受针对通知事件的确认。
5.根据权利要求1所述的方法，其中所述检测包括检测所述用户的手姿势。
6.根据权利要求1所述的方法，其中所述预定状态包括所述用户姿势的检测达到特定置信度水平。
7.根据权利要求1所述的方法，其中所述指示包括显示包括多个区的圆形指示条，其中所述多个区指示所述进程。
8.根据权利要求1所述的方法，其中所述指示包括显示所述用户姿势的动画图像，其中所述用户姿势的所述所显示图像的若干部分被选择性地动画化以指示所述进程。
9.根据权利要求1所述的方法，其中所述指示包括显示朝向达成所述预定状态的百分比。
10.根据权利要求1所述的方法，其中所述指示包括向所述用户提供所述进程的顺序指示直到已确定已达成所述预定状态为止或直到不再检测到所述用户姿势为止。
11.一种用于姿势检测的设备，其包括：
图像俘获装置，其经配置以俘获图像；
用户输出装置，其经配置以将输出提供到用户；
处理器，其耦合到所述图像俘获装置及所述用户输出装置；
其中所述处理器经配置以基于由所述图像俘获装置俘获的图像检测用户姿势的初始存在；
其中所述处理器经配置以致使所述用户输出装置在继续检测所述用户姿势的同时，向用户指示实现检测的预定状态以确认所述用户与所述装置的啮合的进程，其中实现所述预定状态包括保持所述用户姿势达到预定时间周期或参与姿势运动至预定位置；
其中所述处理器经配置以在已致使向所述用户指示所述进程之后，确定已达成检测的所述预定状态；
其中所述处理器经配置以致使所述用户输出装置向所述用户提供将在达成所述预定状态之后完成用户运动的指示；及
其中所述处理器经配置以基于确定已达成检测的所述预定状态而对所述用户姿势作出响应。
12.根据权利要求11所述的设备，其中所述处理器经进一步配置以：
通过致使所述用户输出装置显示包括所述用户姿势的多个可能用户姿势的表示来提示所述用户，所述多个可能用户姿势中的每一者对应于用于用户决策的选项；及
至少部分基于确定已达成检测的所述预定状态而检测所述用户决策，
其中所述响应包括对所述用户决策作出响应。
13.根据权利要求11所述的设备，其中所述确定包括获得及分析多个图像。
14.根据权利要求11所述的设备，其中所述响应包括接受针对通知事件的确认。
15.根据权利要求11所述的设备，其中所述检测包括检测所述用户的手姿势。
16.根据权利要求11所述的设备，其中所述预定状态包括所述用户姿势的检测达到特定置信度水平。
17.根据权利要求11所述的设备，其中所述致使包括致使所述用户输出装置显示包括多个区的圆形指示条，其中所述多个区指示所述进程。
18.根据权利要求11所述的设备，其中所述致使包括致使所述用户输出装置显示所述用户姿势的动画图像，其中所述用户姿势的所述动画图像的若干部分被选择性地动画化以指示所述进程。
19.根据权利要求11所述的设备，其中所述致使包括致使所述用户输出装置显示朝向达成所述预定状态的百分比。
20.根据权利要求11所述的设备，其中所述致使包括致使所述用户输出装置向所述用户提供所述进程的顺序指示，直到已确定已达成所述预定状态为止或直到不再检测到所述用户姿势为止。
21.一种用于姿势检测的设备，其包括：
用于检测用户姿势的初始存在的装置；
用于在继续检测所述用户姿势的同时向用户指示实现检测的预定状态以确认所述用户与所述装置的啮合的进程的装置，其中实现所述预定状态包括保持所述用户姿势达到预定时间周期或参与姿势运动至预定位置；
用于在已向所述用户指示进程之后确定已达成检测的所述预定状态的装置；
用于向所述用户提供将在达成所述预定状态之后完成用户运动的指示的装置；及
用于基于确定已达成检测的所述预定状态对所述用户姿势作出响应的装置。
22.根据权利要求21所述的设备，进一步包括：
用于通过显示包括所述用户姿势的多个可能用户姿势的表示来提示所述用户的装置，所述多个可能用户姿势中的每一者对应于用于用户决策的选项；及
用于至少部分基于确定已达成检测的所述预定状态而检测所述用户决策的装置，
其中所述用于响应的装置包括用于对所述用户决策作出响应的装置。
23.根据权利要求21所述的设备，其中所述用于确定的装置包括用于获得及分析多个图像的装置。
24.根据权利要求21所述的设备，其中所述用于响应的装置包括用于接受针对通知事件的确认的装置。
25.根据权利要求21所述的设备，其中所述用于检测的装置包括用于检测所述用户的手姿势的装置。
26.根据权利要求21所述的设备，其中所述预定状态包括所述用户姿势的检测达到特定置信度水平。
27.根据权利要求21所述的设备，其中所述用于指示的装置包括用于显示包括多个区的圆形指示条的装置，其中所述多个区指示所述进程。
28.根据权利要求21所述的设备，其中所述用于指示的装置包括用于显示所述用户姿势的动画图像的装置，其中所述用户姿势的所述动画图像的若干部分被选择性地动画化以指示所述进程。
29.根据权利要求21所述的设备，其中所述用于指示的装置包括用于显示朝向达成所述预定状态的百分比的装置。
30.根据权利要求21所述的设备，其中所述用于指示的装置包括用于向所述用户提供所述进程的顺序指示直到已确定已达成所述预定状态为止或直到不再检测到所述用户姿势为止的装置。
CN201380020242.0A 2012-04-16 2013-04-10 使用手势与装置交互 Active CN104246661B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261625076P 2012-04-16 2012-04-16
US61/625,076 2012-04-16
US13/799,839 US9141197B2 (en) 2012-04-16 2013-03-13 Interacting with a device using gestures
US13/799,839 2013-03-13
PCT/US2013/035930 WO2013158433A1 (en) 2012-04-16 2013-04-10 Interacting with a device using gestures

Publications (2)

Publication Number Publication Date
CN104246661A CN104246661A (zh) 2014-12-24
CN104246661B true CN104246661B (zh) 2017-10-31

Family

ID=49324614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380020242.0A Active CN104246661B (zh) 2012-04-16 2013-04-10 使用手势与装置交互

Country Status (6)

Country Link
US (1) US9141197B2 (zh)
EP (2) EP2839356B1 (zh)
JP (1) JP6158913B2 (zh)
KR (1) KR102255774B1 (zh)
CN (1) CN104246661B (zh)
WO (1) WO2013158433A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
KR102041984B1 (ko) * 2012-12-18 2019-11-07 삼성전자주식회사 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
US10216403B2 (en) * 2013-03-29 2019-02-26 Orange Method to unlock a screen using a touch input
US9612740B2 (en) * 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US10402060B2 (en) 2013-06-28 2019-09-03 Orange System and method for gesture disambiguation
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
KR102131828B1 (ko) * 2013-12-03 2020-07-09 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
CN104932797A (zh) * 2014-03-17 2015-09-23 深圳富泰宏精密工业有限公司 手势解锁方法及系统
USD738910S1 (en) * 2014-03-19 2015-09-15 Wargaming.Net Llp Display screen with animated graphical user interface
DE102014004675A1 (de) * 2014-03-31 2015-10-01 Audi Ag Gestenbewertungssystem, Verfahren zur Gestenbewertung und Fahrzeug
CN103941873B (zh) * 2014-04-30 2017-05-10 北京智谷睿拓技术服务有限公司 识别方法和设备
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
GB201412268D0 (en) * 2014-07-10 2014-08-27 Elliptic Laboratories As Gesture control
KR102319530B1 (ko) * 2014-08-18 2021-10-29 삼성전자주식회사 사용자 입력 처리 방법 및 장치
JP2016051288A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 車両用入力インターフェイス
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
US9588643B2 (en) * 2014-12-18 2017-03-07 Apple Inc. Electronic devices with hand detection circuitry
CN104680364A (zh) * 2015-03-13 2015-06-03 珠海市金邦达保密卡有限公司 动态签名密码装置、网络交易系统和网络交易方法
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
WO2016185586A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 情報処理装置及びインタロック制御方法
CN105824405A (zh) * 2015-11-26 2016-08-03 维沃移动通信有限公司 一种移动终端的信息显示方法及装置
EP4283447A3 (en) * 2016-04-21 2023-12-13 Wayne Fueling Systems LLC Intelligent fuel dispensers
JP2018109871A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器
JP6101881B1 (ja) * 2017-01-04 2017-03-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
JP6346699B1 (ja) * 2017-08-08 2018-06-20 京セラ株式会社 電子機器
EP3477429A1 (en) * 2017-10-30 2019-05-01 Vestel Elektronik Sanayi ve Ticaret A.S. Screen lock for an optical see through hmd
KR102461024B1 (ko) * 2017-10-31 2022-10-31 에스케이텔레콤 주식회사 헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법
CN108989553A (zh) * 2018-06-29 2018-12-11 北京微播视界科技有限公司 场景操控的方法、装置及电子设备
US11294472B2 (en) * 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11301128B2 (en) * 2019-05-01 2022-04-12 Google Llc Intended input to a user interface from detected gesture positions
CN110968239B (zh) * 2019-11-28 2022-04-05 北京市商汤科技开发有限公司 一种展示对象的控制方法、装置、设备及存储介质
EP3835924A1 (en) * 2019-12-13 2021-06-16 Treye Tech UG (haftungsbeschränkt) Computer system and method for human-machine interaction
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
CN112173899A (zh) * 2020-10-10 2021-01-05 田锐 升降装置控制方法、系统及其计算机可读存储介质
CN112860212A (zh) * 2021-02-08 2021-05-28 海信视像科技股份有限公司 一种音量调节方法及显示设备
JP2022182801A (ja) * 2021-05-28 2022-12-08 京セラドキュメントソリューションズ株式会社 表示装置及び画像形成装置
USD1026009S1 (en) * 2021-11-17 2024-05-07 Express Scripts Strategic Development, Inc. Display screen with an icon
US11983691B2 (en) * 2022-07-27 2024-05-14 Bank Of America Corporation System and methods for detecting and implementing resource allocation in an electronic network based on non-contact instructions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131609A (zh) * 2006-08-25 2008-02-27 株式会社东芝 接口装置和接口方法
CN101371258A (zh) * 2005-12-23 2009-02-18 苹果公司 通过在解锁图像上执行手势来解锁设备
CN102147654A (zh) * 2010-02-08 2011-08-10 日立民用电子株式会社 信息处理装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331851B1 (en) * 1997-05-19 2001-12-18 Matsushita Electric Industrial Co., Ltd. Graphic display apparatus, synchronous reproduction method, and AV synchronous reproduction apparatus
JP3791728B2 (ja) * 1998-06-03 2006-06-28 コナミ株式会社 ゲーム画面の表示制御方法、ゲームシステムおよびコンピュータ読み取り可能な記録媒体
WO2001067749A2 (en) * 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
US7581103B2 (en) 2001-06-13 2009-08-25 Intertrust Technologies Corporation Software self-checking systems and methods
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
US8312372B2 (en) * 2006-02-10 2012-11-13 Microsoft Corporation Method for confirming touch input
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20090109036A1 (en) 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8514251B2 (en) 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8600166B2 (en) 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US8751953B2 (en) * 2010-06-04 2014-06-10 Apple Inc Progress indicators for loading content
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8768006B2 (en) 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
US9147058B2 (en) * 2012-10-12 2015-09-29 Apple Inc. Gesture entry techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371258A (zh) * 2005-12-23 2009-02-18 苹果公司 通过在解锁图像上执行手势来解锁设备
CN101131609A (zh) * 2006-08-25 2008-02-27 株式会社东芝 接口装置和接口方法
CN102147654A (zh) * 2010-02-08 2011-08-10 日立民用电子株式会社 信息处理装置

Also Published As

Publication number Publication date
EP2839356A1 (en) 2015-02-25
WO2013158433A1 (en) 2013-10-24
JP6158913B2 (ja) 2017-07-05
KR20150002786A (ko) 2015-01-07
KR102255774B1 (ko) 2021-05-24
CN104246661A (zh) 2014-12-24
US20130271360A1 (en) 2013-10-17
JP2015515065A (ja) 2015-05-21
US9141197B2 (en) 2015-09-22
EP2839356B1 (en) 2021-01-06
EP3825823A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN104246661B (zh) 使用手势与装置交互
US11609681B2 (en) Reduced size configuration interface
US11579721B2 (en) Displaying a representation of a user touch input detected by an external device
US11452915B2 (en) User interfaces for workout content
US10627902B2 (en) Devices, methods, and graphical user interfaces for a wearable electronic ring computing device
US20230082492A1 (en) User interface for managing controllable external devices
KR102447385B1 (ko) 트랜스퍼 계정들을 위한 사용자 인터페이스들
US20240004530A1 (en) Stopwatch and timer user interfaces
KR102311622B1 (ko) 신체 액티비티들과 연관된 어포던스들의 스크롤가능한 목록의 디스플레이
KR102596477B1 (ko) 아바타 생성 및 편집
CN114071239B (zh) 录制和广播应用视觉输出
CN106462283B (zh) 计算设备上的字符识别
AU2016100155A4 (en) Navigation user interface
JP5837991B2 (ja) 認証型ジェスチャ認識
US20180024643A1 (en) Gesture Based Interface System and Method
CN104508618B (zh) 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
CN107797658A (zh) 用于触觉混合的设备、方法和图形用户界面
US20170068416A1 (en) Systems And Methods for Gesture Input
KR20210151192A (ko) 아이템을 추적하고 찾기 위한 사용자 인터페이스
CN104115099A (zh) 取决于参与的手势辨识
CN109219791A (zh) 具有实际时间指示的内容刷动条
KR20110044391A (ko) 입력 장치 및 방법
CN107797656A (zh) 用于触觉混合的设备、方法和图形用户界面
Wolf et al. PickRing: seamless interaction through pick-up detection
CN113498029A (zh) 交互式广播

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant