CN109189223A - 用户界面控制的装置、系统及方法 - Google Patents

用户界面控制的装置、系统及方法 Download PDF

Info

Publication number
CN109189223A
CN109189223A CN201810997745.8A CN201810997745A CN109189223A CN 109189223 A CN109189223 A CN 109189223A CN 201810997745 A CN201810997745 A CN 201810997745A CN 109189223 A CN109189223 A CN 109189223A
Authority
CN
China
Prior art keywords
user interface
hand
user
display
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810997745.8A
Other languages
English (en)
Inventor
沃尔弗拉姆·卢希纳
雅各布·朋诺克
埃里克·法伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhixing New Energy Automotive Technology Development Co Ltd
Original Assignee
Nanjing Zhixing New Energy Automotive Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhixing New Energy Automotive Technology Development Co Ltd filed Critical Nanjing Zhixing New Energy Automotive Technology Development Co Ltd
Publication of CN109189223A publication Critical patent/CN109189223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了用户界面控制的装置、系统及方法的实施方案，其中该装置包括用于捕获用户的手部的视频或静止图像序列的相机。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收所述用户界面命令。显示器联接到用户界面控制器。用户界面控制器使一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。

Description

用户界面控制的装置、系统及方法
技术领域
所公开的实施方案整体涉及用户界面，并且更具体地但不仅仅涉及使用姿势和姿势/动作组合与用户界面的非接触式交互。
背景技术
随着电子设备的普及，控制它们及其属性的方法已经大大改善。最初，大多数电子设备使用物理控制(旋钮、滑块、按钮等)进行控制。现在，许多电子设备是由软件控制的，但在很多情况下，它们仍然需要通过用户的某种形式的直接或间接的物理触碰；示例包括利用鼠标进行指向和单击，以及在触摸屏或触摸板上选择或操纵项目。这些控制方法的缺点包括：用户通常必须注意所考虑的设备，因此从其他任务转移了注意力，并且用户必须能够触碰物理控制设备，如果物理控制设备不方便放置，这可能会很困难。
发明内容
本公开讨论了用于基于姿势和动作的用户界面控制的装置和方法的实施方案。该装置包括相机，该相机用于捕获用户的手部的视频或静止图像序列。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收用户界面命令。显示器联接到用户界面控制器。用户界面控制器使得一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。
该方法包括捕获用户的手部的视频或静止图像序列。处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。
本发明提供一种用户界面控制的装置，该用户界面控制的装置包括：
相机，该相机用于捕获用户的手部的视频或静止图像序列；
一个或多个处理器，该一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联；
用户界面控制器，该用户界面控制器被联接以从一个或多个处理器接收用户界面命令；和
显示器，该显示器联接到用户界面控制器，其中该用户界面控制器使一组的一个或多个用户界面控件出现在显示器上，其中用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪用户的手部的动作。
进一步地，还包括联接到用户界面控制器的一个或多个底层系统，其中所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。
进一步地，所述组所显示的用户界面控件是上下文特定的。
进一步地，相机是立体相机或飞行时间相机。
进一步地，用户界面控制的装置还包括联接到一个或多个处理器的用户反馈机构。
进一步地，用户反馈机构包括被安置成轻击用户的身体的一部分的轻击机构。
进一步地，如果姿势、动作、或姿势/动作组合不能通过一个或多个处理器与用户界面命令相关联，则轻击机构向用户提供反馈。
进一步地，用户界面控制器在显示器上显示手部的数字表示。
进一步地，用户界面控制的装置还包括联接到用户界面控制器的至少一个附加显示器。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，该第二姿势与特定区段的方向上的动作相结合，用于选择由该区段表示的用户界面命令。
进一步地，特定区段与第二姿势的动作成比例地填充，并且在变成完全填充时激活用户界面命令。
进一步地，第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以圆周运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，该第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由该块表示的用户界面命令。
进一步地，第一姿势/动作组合是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以左右运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手指基本上指向显示器，并且该动作是：
将手部向上或向下指以选择行；
将手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择特定的块。
本发明还提供一种用户界面控制的系统，该用户界面控制的系统包括：
汽车，该汽车包括驾驶员座椅、一个或多个乘客座椅以及其中具有仪表板显示器的仪表板；
姿势和动作辨识系统，包括：
相机，该相机用于捕获驾驶员的手部的视频或静止图像序列，
一个或多个处理器，该一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生驾驶员的手部的数字表示，从数字表示确定驾驶员的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联，
用户界面控制器，该用户界面控制器被联接以从一个或多个处理器接收用户界面命令；以及
显示器，该显示器联接到用户界面控制器，其中用户界面控制器使一组的一个或多个用户界面控件出现在显示器上，其中用户界面控制器使用用户界面命令来选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪用户的手部的动作。
进一步地，用户界面控制的系统还包括联接到用户界面控制器的一个或多个底层系统，其中所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。
进一步地，一个或多个系统包括声音系统、导航系统、电话系统或汽车系统。
进一步地，用户界面控制的系统还包括用于每个乘客座椅的乘客相机和乘客显示器，每个乘客相机联接到一个或多个处理器并且每个乘客显示器联接到用户界面控制器。
进一步地，乘客座椅包括前排乘客座椅和后排乘客座椅，用于每个后排乘客座椅的乘客显示器位于对应的前排乘客座椅的背部。
进一步地，乘客座椅包括前排乘客座椅和后排乘客座椅，每个后排乘客座椅的乘客显示器包括固定装置，平板电脑被固定到固定装置中并且被电连接以提供显示器，其中固定装置包括乘客相机和附加的面部相机。
进一步地，相机和乘客相机是立体相机或飞行时间相机。
进一步地，用户界面控制的系统还包括联接到一个或多个处理器的用户反馈机构。
进一步地，用户反馈机构包括安置在驾驶员的座椅背部中的轻击机构。
进一步地，如果姿势、动作或姿势/动作组合未被一个或多个处理器辨识，则轻击机构向用户提供反馈。
进一步地，用户界面控制器在显示器上显示手部的数字表示。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，第二姿势与特定区段方向上的动作相结合，用于选择由该区段表示的用户界面命令。
进一步地，特定区段与第二姿势的动作成比例地填充，并且在变成完全填充时激活用户界面命令。
进一步地，第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以圆周运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由该块表示的用户界面命令。
进一步地，第一姿势/动作组合是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以左右运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手指基本上指向显示器，并且动作是：
将手部向上或向下指以选择行；
将手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择特定的块。
本发明还提供一种用户界面控制的方法，该用户界面控制的方法包括：
捕获用户的手部的视频或静止图像序列；
处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联；
使一组的一个或多个用户界面控件出现在显示器上，其中用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。
进一步地，所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。
进一步地，所述组所显示的用户界面控件是上下文特定的。
进一步地，还包括向用户提供触觉反馈。
进一步地，触觉反馈包括轻击用户的身体的一部分。
进一步地，如果姿势、动作或姿势/动作组合不能与用户界面命令相关联，则向用户提供触觉反馈。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，该第二姿势与特定区段方向上的动作相结合，用于选择由区段表示的用户界面命令。
进一步地，特定区段与第二姿势的动作成比例地填充，并且在变成完全填充时激活用户界面命令。
进一步地，第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以圆周运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器。
进一步地，姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，该第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由该块表示的用户界面命令。
进一步地，第一姿势/动作组合是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以左右运动的方式移动。
进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手指基本上指向显示器，并且动作是：
将手部向上或向下指以选择行；
将手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择特定的块。
附图说明
参考以下附图对非限制性和非排他性的实施方案进行描述，其中除非另外指明，否则各个视图中同样的附图标记指代同样的部分。
图1A至图1B为可以使用姿势和姿势/动作组合进行交互的用户界面系统的实施方案的框图。
图2为图1A至图1B所示用户界面系统的操作的实施方案的流程图。
图3A至图3C为诸如图1A至图1B所示的用户界面系统的汽车应用的实施方案的示意图。
图4A至图4E为使用姿势和姿势/动作组合的用户界面系统的操作的实施方案的示意图。
图5A至图5D为使用姿势和姿势/动作组合的用户界面系统的操作的另一个实施方案的示意图。
图6A至图6D是用于改变软件定义的显示器的数量或尺寸的交互的实施方案的示意图。
图7A至图7C是与多个显示器的用户交互的实施方案的示意图。
图8A至图8C是用于从显示器选择信息的用户交互的实施方案的示意图。
图9A至图9D是用于从显示器选择和删除信息的用户交互的实施方案的示意图。
图10A至图10C是用于旋转显示器上所显示的三维界面的用户交互的实施方案的示意图。
图11是用于放大和缩小显示器上所显示的项目的用户交互的实施方案的示意图。
图12是用于激活和停用姿势识别系统的用户交互的实施方案的示意图。
具体实施方式
描述了用于使用姿势或姿势/动作组合与用户界面进行非接触式交互的装置、系统和方法的实施方案。描述了具体细节以提供对实施方案的理解，但是相关领域的技术人员将认识到，可以在没有一个或多个所述细节的情况下或者利用其他方法、组件、材料等来实践本发明。在一些情况下，熟知的结构、材料或操作未被详细示出或描述，但仍然包括在本发明的范围之内。
在整个说明书中对“一个实施方案”或“实施方案”的引用指示所描述的特征、结构或特性可以被包括在至少一个所描述的实施方案中，使得“在一个实施方案中”或“在实施方案中”的出现不一定都是指相同的实施方案。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或多个实施方案中。
图1A示出了用户界面系统100的实施方案，其中一个或多个人体部分的姿势或姿势/动作组合允许用户与用户界面进行交互，并通过用户界面控制一个或多个底层系统。在所示实施方案中，人体部分为人手，而在其他实施方案中，也可使用其他身体部分诸如头部或面部的姿势或姿势/动作组合。其他实施方案还可以使用多个身体部分的姿势和姿势/动作组合。
系统100包括通信地联接到图像处理器114的相机102。图像处理器114继而通信地联接到计算机116，并且计算机116进一步通信地联接到控制器/图形用户界面(graphicuser interface，GUI)驱动器124。控制器/GUI驱动器124随后进一步通信地联接到显示器126、一个或多个底层系统1至3，以及在一些实施方案中，联接到一个或多个附加显示器136。
相机102为RGB立体相机，包括一对隔开的透镜104a，104b，这对透镜共同作用，以创建对象诸如人手110的立体图像或视频。透镜104a，104b是隔开的，使得每个透镜均具有手部110的略微不同的视点；需要手部110的不同视点，以能够提供手部的立体(即，三维)图像。每个透镜104a，104b均光学地联接到图像传感器，使得每个透镜均将图像聚焦到其对应的图像传感器上：传感器S1光学地联接到透镜104a，并且传感器S2光学地联接到透镜104B。传感器S1和S2通信地联接到微处理器106，该微处理器106继而联接到通信接口108，相机102可以通过该通信接口108将所捕获的视频或静止图像传输到图像处理器114。可以用作相机102的合适的可商购获得的立体相机是由加利福尼亚州圣克拉拉市的英特尔公司制造的RealSense系列相机。
图像处理器114和计算机116共同处理从相机102所接收的图像以确定用户的手部110的姿势或姿势/动作组合。在所示实施方案中，图像处理器114和计算机116被示为单独的部件，而在其他实施方案中，图像处理器114和计算机116可以在同一部件中体现；例如，在另一个实施方案中，图像处理器114和计算机116可为在单个控制器上运行即在单个硬件上运行的不同进程。
在所示实施方案中，在从相机102接收了图像或视频之后，图像处理器114可以处理这些图像或视频以产生用户的手部110的数字表示。例如，在图像处理器114上运行的软件可以识别手部的特定关键部分诸如关节或其他接合部(在一个实施方案中)，并基于这些关键部分的位置创建手部的数字表示。在创建了手部110的姿势的数字表示后，然后图像处理器114可以基于该数字表示识别由手部110形成的姿势或姿势/动作组合。另选地，姿势识别可以由计算机116执行，或者可以由图像处理器114部分地执行，以及由计算机116部分地执行。可以创建数字表示并识别姿势的合适的可商购获得的软件包括日本东京索尼公司创建的SoftKinetic软件。
为了这个应用目的，手部姿势是指例如手部的不同部分的相对位置。手部动作是指以下任一个：手部沿X、Y或Z方向的线性平移；手部围绕X轴、Y轴或Z轴中任一个的角旋转；手部的任何部分诸如食指112沿着或围绕X轴、Y轴或Z轴的平移或旋转；手部110或手部的任何部分的线性或角运动相关量，诸如速度、加速度、加速度变化率；或手部或手部的任何部分的缺乏的动作。
计算机116通信地联接到图像处理器114并且包括微处理器120，该微处理器120通信地联接到存储器118和存储装置122两者。在一个实施方案中，计算机116可以从图像处理器114接收手部的数字表示，然后分析该数字表示以识别手部110形成的姿势或姿势/动作组合。在识别了姿势或姿势/动作组合之后，计算机116随后可以尝试将所识别的姿势或姿势/动作组合关联到用户界面命令。这可以例如通过将所识别的姿势或姿势/动作组合与存储在库、数据库、查找表或存储在存储器118或存储装置122中的其他搜索和关联机制中的已知的姿势或姿势/动作组合进行比较来完成。如果姿势或姿势/动作识别先前已由单独的图像处理器114完成，那么计算机116可仅从图像处理器接收信息并直接使用该信息来将所识别的姿势或姿势/动作组合关联到用户界面命令。在其他实施方案中，系统可以“学习”并适应，而不是严格执行匹配和比较算法来识别姿势。例如，即使有数据库和库，系统也仍然可以学习以区分各个模式并修改数据库以添加关于各个模式的信息，从而提高准确性。
控制器/GUI驱动器124通信地联接到计算机116以接收计算机116已确定的对应于手部110形成的姿势或姿势/动作组合的用户界面命令。尽管在所示实施方案中，控制器/GUI驱动器被示为单独的部件，但在其他实施方案中，控制器/GUI驱动器124的功能可结合到计算机116中并由计算机执行。控制器/GUI驱动器124还联接到显示器126，该显示器可以显示一组的一个或多个图形用户界面控件，随后可以基于从计算机116所接收的用户界面命令选择、操纵或以其他方式与这些图形用户界面控件进行交互。在一些实施方案中，控制器/GUI驱动器124还可以联接到一个或多个附加显示器136。在具有附加显示器136的一个实施方案中，不同的显示器可以显示相同的或不同的用户界面控件组，并且姿势或姿势/动作组合可以用于将控件从一个显示器传输到另一个显示器。
显示器126上所示的图形用户界面控件可以是上下文(context)相关的；也就是说，显示器126上所示的用户界面控件的特定组可以依赖于它们所使用的系统，或者它们在特定系统中使用的功能。在所示实施方案中，图形用户界面控件为滑块130，在该滑块上，柄部可以通过手部110的正确姿势和动作而从位置132a移动到位置132b，以改变底层系统的一些属性。例如，在其中音响系统音量从一个值调整到另一个值的实施方案中，这个图形用户界面控件可以是有用的。当调整音响系统的多个音质诸如低音、高音、平衡、渐弱等时，可以使用不同的一组图形用户界面控件(例如，多个滑块130)或某种其他类型的控件(例如，参见图4A至图10)。在一些实施方案中，手部110形成的姿势的图形表示128可以显示在显示器126上和附加显示器136上(如果存在的话)，并且它在显示器的屏幕上的动作可以跟踪手部110的实际动作以提供视觉用户反馈。可以提供用户界面控件诸如可见光标，作为其他控件的代替或补充，以提供不同的或附加的视觉用户反馈。
系统100允许用户使用姿势来与显示器上所示的用户界面控件进行交互，同时为用户提供基本上实时反馈。除此之外，通过使屏幕上所显示项目(诸如用户界面控件)的动作与手部的姿势/动作组合的动作有关来提供基本上实时反馈。例如，在上文讨论的滑块实施方案中，姿势可以使得光标出现在屏幕上。该光标在屏幕上的动作随后将实时跟踪手部的动作，以帮助用户接触到并选择滑块。一旦滑块被选择，那么滑块从位置132a移动到132b的动作也可跟踪用户手部的动作以便为用户提供实时视觉反馈。在附图中示出并在以下讨论了用户界面控件和显示器与姿势/动作交互的众多其他示例。
用户反馈设备134通信地联接到计算机116，以允许向用户提供反馈，而不是通过显示器126和附加显示器136向用户提供反馈。例如，在各种实施方案中，如果手部110的姿势或姿势/动作组合未被图像处理器114辨识，或者不能由计算机116关联至已知的用户界面控件，则反馈设备134可以向用户提示特定情况，诸如：姿势未被辨识，必须重新输入；姿势已被辨识，但命令不成功；动作得到确认；等等。在一个实施方案中，用户反馈设备134可以为用户提供视觉(例如，光或其他视觉指示器)或听觉(即，声音)反馈，而在其他实施方案中，用户反馈设备134可以向用户身体的一部分提供触觉反馈，诸如振动。例如，在汽车中，用户反馈设备134可为安置在驾驶员座椅后部的振动机构，以向驾驶员的后部提供振动作为反馈。
底层系统1至3也联接到控制器/GUI驱动器124。尽管在所示实施方案中仅示出了三个系统，但其他实施方案可以具有比所示更多或更少的系统。系统1至3为其属性是通过手部的姿势或姿势/动作组合与由显示器126和136上的控制器/GUI驱动器124所显示的用户界面控件的交互作用来控制的系统。例如，在汽车实施方案中，系统1可为其音量是通过与显示器上所示的滑块130进行交互的姿势和动作来调整的音响系统。在汽车实施方案中，系统1至3可包括音响系统、导航系统、电话系统或汽车系统，诸如控制转向、悬挂、空调、内部照明、外部照明、锁定、电池管理、电源管理等等。
图1B示出了控制系统150的另一个实施方案。控制系统150在大多数方面类似于控制系统100。控制系统100与控制系统150之间的主要区别在于控制系统150用飞行时间相机152代替立体相机102。飞行时间相机158包括光学地联接到图像传感器S1的单个透镜154。一个或多个辐射源156a至156b将辐射158朝向手部110引导。传感器S1，连同处理器159一起，测量经反射辐射160的延迟以确定辐射的飞行时间。处理器159随后可使用飞行时间信息来创建手部110的三维图像或视频。可以在控制系统150的实施方案中使用的合适的可商购获得的飞行时间相机包括可从比利时Melexis NV或其附属公司获得的那些相机。
图2示出了系统100和150可以运行的过程200的一个实施方案。过程200在框202处开始。在框204处，将相机激活并置于观察出现在其视场内和其景深内的姿态和/或动作的状态。
在框206处，相机捕获用户的手部的视频、静止图像或一系列静止图像。在框208处，该过程确定当前用户界面(user interface，UI)上下文只需要姿势还是姿势/动作组合。如果在框208处，该过程确定当前用户界面上下文需要姿势和动作，则该过程进行到框210，然后进行到框212，在此该过程创建用户的手部的数字表示。
在框214处，该过程基于框212处所创建的手部的数字表示来确定姿势，并且在框216处，该过程也基于框212处所创建的数字表示来计算手部的动作。在框218处，该过程检查在当前UI上下文中与用户界面控件相关联的姿势的库中是否找到该姿势/动作组合。
如果在框218处，该过程确定姿势/动作组合不在当前库中，则该过程进行到框219，在此提供用户反馈，表明该姿势/动作组合未被找到或未被接受，然后回到框204，在此观察进一步的姿势和/或动作。但如果在框218处，该过程确定在库中确实找到姿势/动作组合，则该过程进行到框220，在此将姿势/动作相关或关联到针对这组所显示的UI控件内的一个UI控件的命令。在框222处，该过程将UI命令传输到适用的用户界面控件，相应地更新UI控件，然后进行到框224。在框224处，将命令从用户界面控制器发送到与刚刚被激活或操纵的用户界面控件相关联的系统。然后，该过程进行到框225，更新用户界面上下文(如果适用)，然后返回框204，在那里观察来自用户的进一步姿势和/或动作。
如果在框208处，该过程确定当前用户界面上下文仅需要姿势，那么该过程进行到框226。在框228处，该过程创建手部110的数字表示，并且在框230处，该过程基于框228处所创建的数字表示来确定手部所形成的姿势。在框232处，该过程确定框230中所确定的姿势是否存在于当前姿势库中。如果在框232处，该过程确定姿势不在当前库中，那么该过程进行到框233，在此为用户提供反馈，表明姿势不被接受并且需要新的尝试。
如果在框232处，该过程确定姿势确实在当前姿势库中，那么该过程进行到框234，在那里将姿势相关或关联到与当前所显示的用户界面控件相关联的用户界面命令。在框236处，将用户界面命令施加于用户界面控件，并且在框238处，由用户界面控制器向与刚刚被激活或操纵的用户界面控件相关联的系统发送命令。在先前的调整音响系统音量的汽车示例中，在框238处，将滑块调整到正确音量，然后将该信息发送到底层音响系统以实际调整音量。然后，该系统进行到框240，在好像更新UI上下文(如果适用)，然后回到框204，在此观察进一步的姿势。
图3A至图3B示出了用户界面系统100或150的汽车实施方案。图3A示出了包括多个显示器的汽车仪表板302。在所示实施方案中，仪表板302包括单个显示器，该单个显示器可被配置为在三个软件可配置的显示区域304,306和308中显示不同的事物，但是在其他实施方案中，仪表板302可以具有与所示不同数量的显示区域并且在其他实施方案中区域304,306和308可以是物理上分离的显示器。在所示实施方案中，软件可配置的显示区域306可以显示交互式地图，驾驶员和乘客可以利用该交互式地图与姿势进行交互。仪表板302还包括安置在显示区域304,306和308下方的手部姿势辨识相机310和312，在该处它们可以捕获驾驶员的手和双手或前排乘客中的至少一者的视频或图像。显示器313可安置在方向盘的中心，以充当用户输入设备并为驾驶员提供附加的显示能力。
面部相机305也可安置在车厢内，例如安置在后视镜的位置或者在不存在后视镜的情况下安置在后视镜通常所在的位置处，以捕获驾驶员和前排乘客面部的视频或静止图像。相机305可用于面部辨识，或者可用于支持面部表情或动作辨识的姿势辨识系统。例如，在一个实施方案中，相机305可使用面部辨识来识别汽车的授权用户。在其他实施方案中，相机305可以用于辨识特定用户头部动作：点头，用于表示批准(即，“是”)；或左右旋转头部，用于表示不批准(即，“否”)。还有其他实施方案可以使用手部姿势与头部动作之间的交互作用。例如，手部姿势可以用于从用户界面中选择项目，然后头部动作可以用于批准或不批准该选择。在其他实施方案中，头部动作的辨识可以例如由姿势辨识系统(如果头部动作与当前用户界面上下文不相关)或由用户(如果用户不想使用头部动作)选择性地打开和关闭。
所描述的不同部件基本上如系统100或150那样彼此联接，以在汽车内饰中提供姿势辨识功能。系统100或150的其他元件可以放在汽车的其他地方，例如在仪表板中或在后备箱中。
图3B为汽车内饰300的平面图。汽车内饰300包括仪表板302，并且还包括驾驶员座椅、前排乘客座椅和两个后排乘客座椅。如上所述，仪表板302中的显示器304,306和308为坐在驾驶员座椅和前排乘客座椅中的人员提供显示。为了给坐在后排乘客座椅中的人员提供显示，后排乘客显示器314可安置在驾驶员座椅和前排乘客座椅的背部。每个后排乘客显示器314包括显示单元，用于捕获自拍或面部表情和动作的面部相机315以及用于捕获每个乘客的手部姿势和动作的手部相机316。
反馈机构318安置在驾驶员座椅的后部以及前排乘客座椅的后部和后排乘客座椅的后部，以向用户提供关于使用姿势系统的触觉反馈。因此占据车内座椅的每个人都可以通过姿势(他们的手部姿势、面部表情等)控制自己的显示器。为了防止驾驶员混淆，由反馈机构318为姿势控制系统提供的触觉反馈可以与汽车中的其他触觉反馈不同。例如，如果车道辅助系统提供振动反馈，则反馈系统318可以为用户提供急剧的敲击(也称为触觉反馈)，诸如用户可能感觉到是否被小锤撞击。可以使用不同的敲击模式来确认不同的情况，例如由面部表情或手部姿势发起的成功的(或不成功的)动作。
图3C示出了可以例如用作汽车内饰300内的后排乘客显示器的显示器325的实施方案。显示器325可以被安装到前排座椅(例如驾驶员座椅和前排乘客座椅)的后部，并允许后排乘客使用他们自己的平板电脑作为显示器。换句话讲，显示器325将显示器托架326与单独的平板电脑334相结合形成座椅后部的显示器。
显示器325包括一个显示器托架326和多个夹钳332a至332d。还联接到托架326的是一对相机：面部相机328和手部相机330。面部相机328可由后排乘客使用，用于自拍，用于面部表情识别，或用于与面部相关的生物特征功能，而手部相机330可用于检测后排乘客的手部姿势和动作以控制相应的显示。为了给后排座椅乘客提供显示，乘客可以将平板电脑334插入托架326中，在那里通过夹钳332a至332d将平板电脑334保持在适当的位置。尽管附图中未示出，但托架326还提供平板电脑334与用户界面系统100或150进行通信所需的电连接和通信连接。
图4A至图4E示出了使用手势和动作来激活并使用特定用户界面控件的实施方案。图4A至图4C示出了可用于激活显示器402上的用户界面控件的手势/动作组合。手部404，其包括拇指404a、食指404b、中指404c、无名指404d和小指404e，被保持为所有手指完全伸出并且手掌或手背基本上平行于显示器402，然后在相机403的视场内如箭头406所指出的那样左右移动，以激活用户界面控件。
图4B示出了激活显示器402上的用户界面控件的另一个实施方案。在手部404，食指404b被保持为伸出，而中指、无名指和小指404c至404d缩回。食指404b的端部，单独地或连同手部404的剩余部分一起，针对相机403以圆周运动的方式移动，从而激活显示器。
图4C示出了激活显示器402的另一个实施方案。手部404被保持为手掌或手背基本上平行于显示器402，并且食指404b和中指404c伸出且剩余手指缩回。手部404然后在相机403的前部以圆周或椭圆形运动的方式移动，从而激活用户界面控件。
图4D示出了可利用图4A至图4C所示手势激活的用户界面的实施方案。用户界面控件408为环，所示环划分成编号为1至8的多个区段，其中每个区段均表示不同的命令选项。因此，用户界面控件408为用户提供八个不同的命令选项。
图4E示出了从用户界面控件408选择命令选项的实施方案。为了选择命令选项1至8中的一个，手部404被保持为手指伸出并且手掌或手背基本上平行于显示器402。为了选择区段，并且因此选择由该区段表示的命令选项，手部404在基本上对应于从环的中心到期望区段的方向的方向上移动。因此，手部404沿箭头4的方向移动以选择区段4。当手部在区段4的方向上移动时，区段4逐渐填充，直到被完全填充，该区段所表示的命令被选择。类似地，如果用户希望选择命令选项1，则手部404沿箭头1的方向移动，该方向基本上对应于从环的中心到区段1的方向。当手部404朝区段1移动时，区段1逐渐填充，直到被完全填充，由该区段表示的命令被选择。
图5A至图5D示出了用户界面控件的激活和从该用户界面控件的命令选项的选择的另一个实施方案。图5A示出了通过将手部404保持为所有手指404a至404e伸出并且手掌或手背基本上平行于显示器402，并且如箭头所示在相机403的视场中左右移动手部来激活用户界面控件。
图5B示出了由图5A中所示的姿势/动作激活的用户界面控件。该用户界面控件包括两行框：顶行包括编号为1至4的框，底行包括编号为5至8的框。当然，其他实施方案可以具有与所示不同数量的框。
图5C示出了从用户界面控件中选择其中一行。为了选择顶行，手部404被保持为手掌平放并且手指伸出。然后将伸出的手指向上指以选择顶行或向下指以选择底行。
图5D示出了对图5B的用户界面控件中的特定行中的特定框的选择；在本例子中，框4位于顶行。在如图5C所示选择了顶行之后，手部404被保持在用于选择顶行的相同姿势和取向中(即，向上指的手指)并且左右移动，以选择顶行内的特定框。在所示出的示例中，如果用户希望选择框4，则手部404朝显示器402的右侧移动，直到框4被加亮。一旦框4被加亮，手部404便被保持不动以选择该框；换句话讲，允许手部留在原地直到框4填充，框4填充指示该框已被选择。
图6A至图6D示出了在诸如图3B所示的软件定义的显示器中调整显示区域的大小的姿势交互的实施方案。在所示实施方案中，屏幕最初被划分为两个软件定义的区域602和604。在所示实施方案中，区域602示出汽车相关信息和电子后视镜，而区域604示出地图显示。为了创建第三个软件定义的显示区域606，用户可以使用姿势来缩小区域604。图6A至图6B示出了第一实施方案。用户首先作一个姿势，在这个姿势中他们伸出食指，然后将他们的手部定位成使得基本上实时跟踪手指的动作的圆形光标被定位在大致对应于区域间(或显示器内)分隔符的位置的位置610处。在食指仍然伸出时，用户将他们的手部从位置610移动到位置612。随着手部的移动，区域间分隔符跟随(基本上实时地跟踪手部的动作)，并且在手部停止时停止。并且随着区域间分隔符608跟随，新的软件定义的显示区域606出现在其一侧(在该实施方案中为右侧)，当手部到达位置612时，用户简单地降低手部以指示区域间分隔符现在处于期望的位置并且三个显示区域具有期望的大小(参见图6B)。
图6C至图6D示出了第二实施方案。用户首先作一个姿势，在这个姿势中他们伸出食指，然后将他们的手部定位成使得基本上实时跟踪手指的动作的圆形光标被定位在大致对应于区域间(或显示器内)分隔符608的位置的位置610处。然后为了选择区域间分隔符608，用户形成拳头，就好像抓取分隔符608一样。随着手部仍处于握拳，用户将拳头从位置610移动到位置612。随着拳头的移动，区域间分隔符跟随(基本上实时地跟踪拳头的动作)，并且在拳头停止时停止。并且随着区域间分隔符608跟随，新的软件定义的显示区域606出现在其一侧(在该实施方案中为右侧)，当拳头到达位置612时，用户简单地展开他们的手指成张开的手部(参见图6D)，由此释放他们在区域间分隔符608上的抓握以指示区域间分隔符现在处于期望位置并且显示区域604和显示区域606具有其期望尺寸。
图7A至图7C一同示出了将来自另一显示区域的事件添加到地图时间线的实施方案。显示器700是诸如图3B中所示的汽车仪表板显示器的显示器：它是被配置成在不同的软件定义的显示区域702,704和706上显示不同内容的单一显示器700。在所示实施方案中，在中心区域704中显示地图和时间线，而区域706示出信息诸如可用餐饮选项。如果用户希望将来自显示区域706的餐饮选项中的一个添加到他们的时间表，他们可以使用姿势和动作从区域706中选择期望的娱乐事件并将其拖动到区域704。
如图7A所示，在所示实施方案中，用户伸出他们的食指，使得出现圆形光标708。在食指仍然伸出时，用户移动他们的手部，并且随着手部移动光标708跟随食指(基本上实时跟踪手指的动作)，并且当手指停止时停止。当光标708到达期望的项目710时，该项目加亮。如图7B所示，在期望项目加亮之后，用户改变为捏缩姿势，将食指、中指以及可能的无名指和小指与大拇指放在一起，就好像抓取该项目一样。在手部仍保持捏缩姿势时，用户将他们的手部朝向地图显示移动(如箭头所示)，并且光标708和所选项目710基本上实时跟踪手部的动作相应地从显示区域706移动到显示区域708(如箭头所示)。如图7C所示，当光标708和所选择的项目710出现在地图上时，手部停止。为了将所选择的项目710释放到地图上，用户伸出他们的所有手指，使得手部完全打开，手掌面向显示器。当在显示区域704中被释放时，所选择的项目710被添加到时间线，并且相应地更新本地或远程的所有适当的用户数据源以包括新事件。
图8A示出了用户从显示器中选择项目的实施方案。显示器800是具有三个软件可定义的显示区域802,804和806的单个显示器。除此之外，显示区域806显示娱乐选项，诸如可以在汽车中播放的音乐。在所示实施方案中，用户伸出他们的食指并指向显示区域806，使得圆形光标808出现。为了从显示器中选择一个项目，用户仍在伸出食指的情况下移动他们的手部，并且随着手部移动，光标808跟随食指(基本上实时跟踪手指的动作)，并且当手指停止时停止。当光标808到达期望的项目810时，用户将手部或仅食指推向屏幕-就好像试图戳屏幕一样(如箭头所示)-以确认项目810是期望的选择。
图8B示出了用户从显示器800选择项目的实施方案。在所示实施方案中，用户通过伸出大拇指、食指、中指、无名指和小指以形成手掌面向显示区域806的张开的手部从而使得出现圆形光标808来选择项目。为了从显示器中选择一个项目，用户移动手部，并且随着手部移动，光标808跟随手部(基本上实时跟踪手部的动作)，并且当手部停止时停止。当光标808到达期望的项目810时，用户通过快速地将手部闭合成拳头，然后再次张开手部以返回至手掌面向显示器的张开的手部来确认该选项作为其选择。虽然所示实施方案使用食指、中指、无名指和小指四根手指全部伸出的张开姿势，但是其他实施方案不需要使用全部四个手指；可以使用利用了这些手指中的一个、两个或三个的姿势，相应地修改需要闭合以形成确认姿势(例如，闭合手部以形成拳头或捏缩姿势)的手指的数量。
图8C示出了用户从显示器800选择项目的实施方案。在所示实施方案中，用户通过伸出大拇指、食指、中指、无名指和小指以形成手掌面向显示区域806的张开的手部从而使得出现圆形光标808来选择项目。为了从显示器中选择一个项目，用户移动手部，并且随着手部移动，光标808跟随手部(基本上实时跟踪手部的动作)，并且当手部停止时停止。当光标808到达期望的项目810时，用户通过以上下运动812点头以指示“是”来确认该项目为其选择。在用户向用户建议某事的实施方案中，用户可以通过以左右摇摆动作814摇头指示“否”来拒绝该建议。虽然所示实施方案使用食指、中指、无名指和小指四个手指伸出的张开姿势，但是其他实施方案不需要使用全部四个手指；可以使用利用了这些手指中的一个、两个或三个的姿势。其他实施方案也可以使用与所示动作不同的头部动作。
图9A至图9D示出了从地图时间线中选择和删除项目的实施方案。显示器900是具有三个软件可定义的显示区域902,904和906的单个显示器。地图和时间线显示在中心显示区域904中。图9A至图9B示出了第一实施方案。在所示实施方案中，系统通过在时间线上自动显示事件908来建议该事件。如果用户希望拒绝建议的事件908，则用户伸出他们的食指并指向显示区域904中的时间线。在食指仍然伸出时，用户移动他们的手部，并且随着手部的移动，圆形光标907沿着时间线基本上实时地跟踪手指的动作。当圆形光标907位于事件908上方时，用户将手部或仅食指推向屏幕-就好像试图戳屏幕一样(如箭头所示)以选择事件908。如图9B所示，在选择了事件908之后，用户改变为捏缩姿势，将食指、中指以及可能的无名指和小指与大拇指放在一起，就好像抓取该项目一样。在手部仍保持捏缩姿势时，用户将他们的手部朝向显示区域902移动(如箭头所示)，并且所选项目908基本上实时跟踪手部的动作相应地从显示区域904移动到显示区域902(如箭头所示)。一旦事件908不再位于显示区域904中，它就自动从时间线上删除，并且相应地上传所有必要的数据源。
图9C至图9D示出了另一个实施方案。如果用户希望拒绝建议的事件908，则用户伸出他们的大拇指、食指、中指、无名指和小指以形成手掌面向显示器的张开的手部。在手部仍然张开时，用户移动他们的手部，并且在手部移动时，光标907跟踪手部的动作并且基本上实时显示手部的动作。如图9D所示，当光标907到达建议的事件908时，用户闭合手部以形成拳头(就好像抓取建议的事件908一样)以选择事件908。在选择了建议的事件908之后，用户在手部仍然形成拳头的情况下将他们的手部移向显示区域902，从而将建议的事件908拖向显示区域902。项目908基本上实时地跟踪手部的动作相应地从显示区域904移动到显示区域902(如箭头所示)。当事件908不再位于显示区域904中时，用户通过再次张开手部以返回至手掌面向显示器的张开的手部来释放项目从而将其删除。虽然所示实施方案使用食指、中指、无名指和小指伸出的张开姿势，但是其他实施方案不需要使用全部四个手指；可以使用利用了这些手指中的一个、两个或三个的姿势，相应地修改需要闭合以形成选择姿势(例如，闭合手部以形成拳头或捏缩姿势)的手指的数量。
图10A至图10C示出了用户从显示器选择项目的实施方案。显示器1000是具有三个软件可定义的显示区域1002,1004和1006的单个显示器。除此之外，显示区域1004示出了三维用户界面对象1008，各种可选用户选项1012定位在该三维用户界面对象周围。图10A示出了实施方案。在所示实施方案中，用户将他们的手部保持在支撑位置中，就好像支撑对象1008一样。当手部仍然处于支撑位置中时，用户旋转手部，并且随着手部的旋转，对象1008基本上实时跟踪手部的动作跟随手部的旋转，并且当手部停止时停止。当对象1008在特定用户选项位于其面前(即，看起来最接近用户)停止时，该选项被自动选择。
图10B示出了另一个实施方案。在该实施方案中，用户保持大拇指、食指、中指、无名指和小指伸出的手部，使得手部张开并且手掌面向显示器。随着手部张开，用户然后上下或左右移动他们的手部，并且随着手部的移动，三维界面对象1008的旋转基本上实时跟踪手部的动作跟随手部移动，并且当手部停止时停止。当期望的可选用户选项1012位于用户面前(即，看起来最接近用户)时，然后用户通过快速地将手部闭合成拳头，然后再次张开手部以返回至手掌面向显示器的张开的手部来确认该选项1012作为其选择。虽然所示实施方案使用食指、中指、无名指和小指伸出的张开姿势，但是其他实施方案不需要使用全部四个手指；可以使用利用了这些手指中的一个、两个或三个的姿势，相应地修改需要闭合以形成确认姿势(例如，闭合手部以形成拳头或捏缩姿势)的手指的数量。
图10C示出了用于反转动作的姿势的实施方案。在所示实施方案中，用户已经从三维用户界面对象1008选择了用户选项1012。该项目的选择已经使得菜单1014出现。但是，如果在查看菜单1014时用户发现他们希望的内容没有出现在菜单中，则他们可以通过保持他们的手部张开(大拇指、食指、中指、无名指和小指伸出使得手掌面向侧面)并作出滑动动作(就好像拍击某物一样)来返回至三维用户界面对象1008。在所示实施方案中，手部动作从右向左，在动作期间手部有一些加速。但是在其他实施方案中，手部动作可以从左到右。尽管在三维用户界面对象1008和相关联的菜单的上下文中示出，但是所示姿势可用于用户希望反转动作以返回至先前状态的任何接触。虽然所示实施方案使用食指、中指、无名指和小指伸出的张开姿势，但是其他实施方案不需要使用全部四个手指；可以使用利用了这些手指中的一个、两个或三个的姿势。
图11示出了可用于修改显示器上的项目的外观的姿势和动作的实施方案，例如通过使它们看起来更大(即，放大)或更小(即，缩小)。在所示实施方案中，用户伸出他们的大拇指、食指、中指、无名指和小指以形成手掌面向显示器的张开的手部。在手部仍然张开时，用户移动他们的手部，并且在手部移动时，光标1108基本上实时地跟踪和显示手部的动作。当光标1108处于用户希望放大或缩小的显示区域中(在本实施方案中为具有地图显示器的中心显示区域1104)时，用户闭合手部以形成拳头(就好像抓取显示区域1104一样)来选择它。在选择了显示区域1104之后，用户在他们的手部仍然形成拳头的情况下将他们的手部移向显示区域1104(即，朝向屏幕和/或姿势相机)，以扩大(即，放大)显示器上所显示的内容或者将他们的手部移动远离显示区域1104(即，远离屏幕和/或姿势相机)，以使显示器中所显示的内容更小(即，缩小)。
图12示出了可用于激活或停用姿势辨识系统的姿势和动作的实施方案。在一些情况下，使姿势辨识系统不要总是处于激活状态可以是有用的。例如，在汽车中，驾驶员和乘客可能会在对话过程中使用许多姿势和动作，但可能并非意图使姿势辨识系统看到或解释这些姿势或动作。如果姿势辨识系统确实看到并解释了这些姿势或动作，则可能会导致设置、选择等被无意修改，或者可能导致显示器上的项目不断移动，从而导致驾驶员分心。为了防止这种情况发生，可以停用系统，或者如果未完全停用，则将其设定为不显示姿势导致的显示动作。因此，可能需要部分或完全激活或停用系统的姿势和动作。
在所示实施方案中，系统可以在指定的时间段检查区域1208，如果系统在指定的时间段内在该区域中没有看到姿势或动作，则系统可以部分或完全停用姿势辨识。另选地，姿势辨识系统可由另一事件部分或完全停用，诸如当手部接触方向盘1210时。如果姿势辨识系统已被部分或完全停用，则用户可以通过伸出大拇指、食指、中指、无名指和小指以形成手掌向下的张开的手部来重新激活该系统。然后，该姿势保持大致静止一段固定时间以激活显示器。
前面的附图中示出的特定姿势、动作和用户界面并非旨在进行限制。在其他实施方案中，许多其他姿势、动作和用户界面也是可能的，并且在此被涵盖。在其他实施方案中，姿势和动作可以包括：
·朝天花板移动手部使得显示菜单。
·用户使用他的手指旋转菜单。
·在手指处于特定构型的情况下朝向和远离显示器移动手部可以控制旋转。在一种模式下，显示器示出跟踪手部动作的用户手部图像。
·用户可以抓取并拖动图标或文件至不同的显示器定义区域，甚至拖动到汽车后部的屏幕上。
·在屏幕区域内逗留达限定时间的姿势替换点击以选择选项或应用程序。
·如果用户用他的手部画圆圈，那么会显示选择框选项的圆圈。
·如果姿势逗留在一个框上，则该框逐渐填充，然后一旦该框被颜色填满，便会被选择。
·将手部向靠近屏幕的方向移动会加速逗留时间的激活。
·另一种变化是具有选择框选项的水平显示器。对于这种变化，会显示一个圆圈以示出逗留/等待时间，随着时间的推移，圆圈的边缘逐渐在顺时针方向上加亮。用户可以在利用逗留姿势选择项目或使用触控板选择项目之间进行切换。
包括在摘要中描述的内容的实施方案的以上描述并非意图是穷尽性的或将本发明限制为所描述的形式。为了进行示意性的说明，在此描述了本发明的具体实施方案和示例，但是本领域的技术人员将认识到，按照上述详细描述，在本发明的范围内可以进行各种等同修改。
在以上权利要求中使用的术语不应解释为限制本发明的该说明书和权利要求中公开的特定的实施方案。更确定地说，本发明的范围将全部由以上权利要求来确定。

Claims (47)

1.一种用户界面控制的装置，其特征在于，包括：
相机，所述相机用于捕获用户的手部的视频或静止图像序列；
一个或多个处理器，所述一个或多个处理器联接到所述相机，用于处理所述视频或所述静止图像序列以产生所述用户的手部的数字表示，从所述数字表示确定所述用户的手部的姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联；
用户界面控制器，所述用户界面控制器被联接以从所述一个或多个处理器接收所述用户界面命令；和
显示器，所述显示器联接到所述用户界面控制器，其中所述用户界面控制器使一组的一个或多个用户界面控件出现在所述显示器上，其中所述用户界面命令选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪所述用户的手部的所述动作。
2.根据权利要求1所述的装置，其特征在于，还包括联接到所述用户界面控制器的一个或多个底层系统，其中所述所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对所述一个或多个底层系统的属性进行选择或调整。
3.根据权利要求1所述的装置，其特征在于，所述组所显示的用户界面控件是上下文特定的。
4.根据权利要求1所述的装置，其特征在于，所述相机是立体相机或飞行时间相机。
5.根据权利要求1所述的装置，其特征在于，还包括联接到所述一个或多个处理器的用户反馈机构。
6.根据权利要求5所述的装置，其特征在于，所述用户反馈机构包括被安置成轻击所述用户的身体的一部分的轻击机构。
7.根据权利要求6所述的装置，其特征在于，如果所述姿势、所述动作、或所述姿势/动作组合不能通过所述一个或多个处理器与所述用户界面命令相关联，则所述轻击机构向所述用户提供反馈。
8.根据权利要求1所述的装置，其特征在于，所述用户界面控制器在所述显示器上显示所述手部的所述数字表示。
9.根据权利要求1所述的装置，其特征在于，还包括联接到所述用户界面控制器的至少一个附加显示器。
10.根据权利要求1所述的装置，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，所述第二姿势与特定区段的方向上的动作相结合，用于选择由所述区段表示的用户界面命令。
11.根据权利要求10所述的装置，其特征在于，所述特定区段与所述第二姿势的所述动作成比例地填充，并且在变成完全填充时激活所述用户界面命令。
12.根据权利要求10所述的装置，其特征在于，所述第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以圆周运动的方式移动。
13.根据权利要求12所述的装置，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器。
14.根据权利要求1所述的装置，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，所述第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由所述块表示的用户界面命令。
15.根据权利要求14所述的装置，其特征在于，所述第一姿势/动作组合是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以左右运动的方式移动。
16.根据权利要求15所述的装置，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手指基本上指向所述显示器，并且所述动作是：
将所述手部向上或向下指以选择行；
将所述手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择所述特定的块。
17.一种用户界面控制的系统，其特征在于，包括：
汽车，所述汽车包括驾驶员座椅、一个或多个乘客座椅以及其中具有仪表板显示器的仪表板；
姿势和动作辨识系统，包括：
相机，所述相机用于捕获驾驶员的手部的视频或静止图像序列，
一个或多个处理器，所述一个或多个处理器联接到所述相机，用于处理所述视频或所述静止图像序列以产生所述驾驶员的手部的数字表示，从所述数字表示确定所述驾驶员的手部的姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联，
用户界面控制器，所述用户界面控制器被联接以从所述一个或多个处理器接收所述用户界面命令；以及
显示器，所述显示器联接到所述用户界面控制器，其中所述用户界面控制器使一组的一个或多个用户界面控件出现在所述显示器上，其中所述用户界面控制器使用所述用户界面命令来选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪所述用户的手部的所述动作。
18.根据权利要求17所述的系统，其特征在于，还包括联接到所述用户界面控制器的一个或多个底层系统，其中所述所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对所述一个或多个底层系统的属性进行选择或调整。
19.根据权利要求18所述的系统，其特征在于，所述一个或多个系统包括声音系统、导航系统、电话系统或汽车系统。
20.根据权利要求17所述的系统，其特征在于，还包括用于每个乘客座椅的乘客相机和乘客显示器，每个乘客相机联接到所述一个或多个处理器并且每个乘客显示器联接到所述用户界面控制器。
21.根据权利要求20所述的系统，其特征在于，所述乘客座椅包括前排乘客座椅和后排乘客座椅，用于每个所述后排乘客座椅的所述乘客显示器位于对应的前排乘客座椅的背部。
22.根据权利要求20所述的系统，其特征在于，所述乘客座椅包括前排乘客座椅和后排乘客座椅，每个后排乘客座椅的所述乘客显示器包括固定装置，平板电脑被固定到所述固定装置中并且被电连接以提供所述显示器，其中所述固定装置包括所述乘客相机和附加的面部相机。
23.根据权利要求20所述的系统，其特征在于，所述相机和所述乘客相机是立体相机或飞行时间相机。
24.根据权利要求17所述的系统，其特征在于，还包括联接到所述一个或多个处理器的用户反馈机构。
25.根据权利要求24所述的系统，其特征在于，所述用户反馈机构包括安置在所述驾驶员的座椅背部中的轻击机构。
26.根据权利要求25所述的系统，其特征在于，如果所述姿势、所述动作或所述姿势/动作组合未被所述一个或多个处理器辨识，则所述轻击机构向所述用户提供反馈。
27.根据权利要求17所述的系统，其特征在于，所述用户界面控制器在所述显示器上显示所述手部的所述数字表示。
28.根据权利要求17所述的系统，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，所述第二姿势与特定区段方向上的动作相结合，用于选择由所述区段表示的用户界面命令。
29.根据权利要求28所述的系统，其特征在于，所述特定区段与所述第二姿势的所述动作成比例地填充，并且在变成完全填充时激活所述用户界面命令。
30.根据权利要求28所述的系统，其特征在于，所述第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以圆周运动的方式移动。
31.根据权利要求30所述的系统，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器。
32.根据权利要求17所述的系统，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，所述第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由所述块表示的用户界面命令。
33.根据权利要求32所述的系统，其特征在于，所述第一姿势/动作组合是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以左右运动的方式移动。
34.根据权利要求33所述的系统，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手指基本上指向所述显示器，并且所述动作是：
将所述手部向上或向下指以选择行；
将所述手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择所述特定的块。
35.一种用户界面控制的方法，其特征在于，包括：
捕获用户的手部的视频或静止图像序列；
处理所述视频或所述静止图像序列以产生所述用户的手部的数字表示，从所述数字表示确定所述用户的手部的所述姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联；
使一组的一个或多个用户界面控件出现在显示器上，其中所述用户界面命令选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作基本上实时地跟踪所述用户的手部的所述动作。
36.根据权利要求35所述的方法，其特征在于，所述所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对所述一个或多个底层系统的属性进行选择或调整。
37.根据权利要求35所述的方法，其特征在于，所述组所显示的用户界面控件是上下文特定的。
38.根据权利要求35所述的方法，其特征在于，还包括向用户提供触觉反馈。
39.根据权利要求38所述的方法，其特征在于，所述触觉反馈包括轻击所述用户的身体的一部分。
40.根据权利要求39所述的方法，其特征在于，如果所述姿势、所述动作或所述姿势/动作组合不能与所述用户界面命令相关联，则向所述用户提供触觉反馈。
41.根据权利要求35所述的方法，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；
第二姿势，所述第二姿势与特定区段方向上的动作相结合，用于选择由所述区段表示的用户界面命令。
42.根据权利要求41所述的方法，其特征在于，所述特定区段与所述第二姿势的所述动作成比例地填充，并且在变成完全填充时激活所述用户界面命令。
43.根据权利要求42所述的方法，其特征在于，所述第一姿势/动作组合是以下中的一者：
伸出的食指以圆周运动的方式移动；
伸出的食指和中指以圆周运动的方式移动；以及
手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以圆周运动的方式移动。
44.根据权利要求43所述的方法，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器。
45.根据权利要求35所述的方法，其特征在于，所述姿势/动作组合包括：
第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；
第二姿势，所述第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由所述块表示的用户界面命令。
46.根据权利要求45所述的方法，其特征在于，所述第一姿势/动作组合是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以左右运动的方式移动。
47.根据权利要求46所述的方法，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手指基本上指向所述显示器，并且所述动作是：
将所述手部向上或向下指以选择行；
将所述手部左右移动以选择行内的块；以及
逗留在特定的块上方以选择所述特定的块。
CN201810997745.8A 2017-09-05 2018-08-29 用户界面控制的装置、系统及方法 Pending CN109189223A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/696,022 US20190073040A1 (en) 2017-09-05 2017-09-05 Gesture and motion based control of user interfaces
US15/696,022 2017-09-05

Publications (1)

Publication Number Publication Date
CN109189223A true CN109189223A (zh) 2019-01-11

Family

ID=63529002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810997745.8A Pending CN109189223A (zh) 2017-09-05 2018-08-29 用户界面控制的装置、系统及方法

Country Status (5)

Country Link
US (1) US20190073040A1 (zh)
EP (1) EP3679455A1 (zh)
JP (1) JP2020537209A (zh)
CN (1) CN109189223A (zh)
WO (1) WO2019050748A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275611A (zh) * 2019-05-27 2019-09-24 联想（上海）信息技术有限公司 一种参数调节方法、装置和电子设备
CN111469859A (zh) * 2020-03-27 2020-07-31 一汽奔腾轿车有限公司 一种汽车手势交互系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10991139B2 (en) * 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10732725B2 (en) * 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition
CN112394811B (zh) * 2019-08-19 2023-12-08 华为技术有限公司 一种隔空手势的交互方法及电子设备
GB2586857B (en) * 2019-09-06 2023-10-11 Bae Systems Plc User-Vehicle Interface
WO2021044116A1 (en) * 2019-09-06 2021-03-11 Bae Systems Plc User-vehicle interface
CN112558752A (zh) * 2019-09-25 2021-03-26 宝马股份公司 用于操作平视显示器的显示内容的方法、操作系统和车辆
US11386871B2 (en) 2019-12-18 2022-07-12 Continental Automotive Systems, Inc. Instrumentation perspective and light emulator
CN111998829B (zh) * 2020-10-30 2021-01-29 四川写正智能科技有限公司 一种基于传感器判定读写姿态的方法
US12077160B2 (en) 2020-11-05 2024-09-03 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for performing an action associated with a driver input indicated via an input modality of a human machine interface of a vehicle
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device
CN112860070A (zh) * 2021-03-03 2021-05-28 北京小米移动软件有限公司 设备交互方法、设备交互装置、存储介质及终端
CN113330395B (zh) * 2021-04-26 2023-10-20 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
CN113325987A (zh) * 2021-06-15 2021-08-31 深圳地平线机器人科技有限公司 引导操作体进行隔空操作的方法和装置
US20240217440A1 (en) * 2022-12-30 2024-07-04 Gentex Corporation 3d skeleton detection for in-cabin automotive application

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR101652535B1 (ko) * 2008-06-18 2016-08-30 오블롱 인더스트리즈, 인크 차량 인터페이스를 위한 제스처 기반 제어 시스템
US8919848B2 (en) * 2011-11-16 2014-12-30 Flextronics Ap, Llc Universal console chassis for the car
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US9459758B2 (en) * 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US20130117711A1 (en) * 2011-11-05 2013-05-09 International Business Machines Corporation Resize handle activation for resizable portions of a user interface
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
US20140181710A1 (en) * 2012-12-26 2014-06-26 Harman International Industries, Incorporated Proximity location system
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US20140282161A1 (en) * 2013-03-13 2014-09-18 Honda Motor Co., Ltd. Gesture-based control systems and methods
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
KR20150087544A (ko) * 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
US10444834B2 (en) * 2014-04-01 2019-10-15 Apple Inc. Devices, methods, and user interfaces for a wearable electronic ring computing device
WO2015170641A1 (ja) * 2014-05-08 2015-11-12 Ｎｅｃソリューションイノベータ株式会社 操作画面表示装置、操作画面表示方法および非一過性の記録媒体
US9457731B2 (en) * 2014-05-27 2016-10-04 Honda Motor Co., Ltd. Integrated device holder assembly and methods of use and manufacture thereof
JP3194297U (ja) * 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US9919421B2 (en) * 2015-04-15 2018-03-20 Abb Schweiz Ag Method and apparatus for robot path teaching
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
KR20170074740A (ko) * 2015-12-22 2017-06-30 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10095473B2 (en) * 2015-11-03 2018-10-09 Honeywell International Inc. Intent managing system
GB2545005B (en) * 2015-12-03 2021-09-08 Bentley Motors Ltd Responsive human machine interface
US9891711B1 (en) * 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275611A (zh) * 2019-05-27 2019-09-24 联想（上海）信息技术有限公司 一种参数调节方法、装置和电子设备
CN110275611B (zh) * 2019-05-27 2023-02-17 联想（上海）信息技术有限公司 一种参数调节方法、装置和电子设备
CN111469859A (zh) * 2020-03-27 2020-07-31 一汽奔腾轿车有限公司 一种汽车手势交互系统

Also Published As

Publication number Publication date
US20190073040A1 (en) 2019-03-07
WO2019050748A1 (en) 2019-03-14
JP2020537209A (ja) 2020-12-17
EP3679455A1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
CN109189223A (zh) 用户界面控制的装置、系统及方法
JP7341166B2 (ja) ウェアラブルシステムのためのトランスモード入力融合
US20220261112A1 (en) Systems, devices, and methods for touch-free typing
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11986259B2 (en) Association processes and related systems for manipulators
JP6810125B2 (ja) 仮想現実環境においてナビゲートする方法、システム、および装置
US11124118B2 (en) Vehicular display system with user input display
CN209043333U (zh) 用于交互式地图的装置
CN101375235B (zh) 信息处理装置
CN110476142A (zh) 虚拟对象用户界面显示
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US20180292907A1 (en) Gesture control system and method for smart home
US20100083180A1 (en) Graphical User Interface Manipulation Method
EP1607840A1 (en) Eye control of computer apparatus
WO2013028268A1 (en) Method and system for use in providing three dimensional user interface
CN109917970A (zh) 使用单个控制器和支持触觉的用户接口控制多个显示器的系统和方法
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
US20190212910A1 (en) Method for operating a human-machine interface and human-machine interface
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
CN110045815A (zh) 用于运行人机接口的方法以及人机接口
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
WO2015170641A1 (ja) 操作画面表示装置、操作画面表示方法および非一過性の記録媒体
Aladin et al. Designing user interaction using gesture and speech for mixed reality interface
Kulik Building on realism and magic for designing 3d interaction techniques
JP2023181513A (ja) 教示システム、教示方法及び教示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination