CN105723301A - 人体工程学物理交互区域光标映射 - Google Patents

人体工程学物理交互区域光标映射 Download PDF

Info

Publication number
CN105723301A
CN105723301A CN201480043401.3A CN201480043401A CN105723301A CN 105723301 A CN105723301 A CN 105723301A CN 201480043401 A CN201480043401 A CN 201480043401A CN 105723301 A CN105723301 A CN 105723301A
Authority
CN
China
Prior art keywords
phiz
user
motion
hands
human engineering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480043401.3A
Other languages
English (en)
Other versions
CN105723301B (zh
Inventor
R·贝利
D·巴斯蒂安
M·施韦辛格
E·杨
A·史密斯
O·穆里洛
T·弗兰克林
J·安德森
C·克莱因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105723301A publication Critical patent/CN105723301A/zh
Application granted granted Critical
Publication of CN105723301B publication Critical patent/CN105723301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

用户在三维(“3D”)物理交互区域(“PHIZ”)中移动他们的手来控制被显示在计算机耦合的2D显示器(诸如电视机或监视器)上的用户界面(“UI”)中的光标。PHIZ相对用户被调整形状、调整大小和定位以在人体工程学上匹配用户的运动的自然范围，使得光标控制在UI上的支持光标交互的整个区域上是直观且舒服的。运动捕捉系统跟踪用户的手，使得用户在PHIZ内的3D运动可被映射到2D UI。因此，当用户在PHIZ中移动他或她的手时，光标对应地在显示器上移动。在PHIZ中在z方向(即，前后)上的移动允许附加的交互被执行，诸如按压、缩放、3D操纵或其它形式的对UI的输入。

Description

人体工程学物理交互区域光标映射
背景
运动捕捉系统获取关于物理空间中的人或其他对象的位置及运动的数据，并且可以使用该数据作为在计算系统上执行的应用的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，所捕捉的数据可被用于对被用于应用(诸如游戏)中的经动画化的角色或化身的三维(“3D”)人类模型进行动画化。尽管许多运动捕捉系统令人满意地执行，但是使得用户能够更加自然地与应用进行交互的附加的特征和能力是期望的。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
用户在3D物理交互区域(“PHIZ”)中移动他们的手来控制被显示在计算机耦合的2D显示器(诸如电视机或监视器)上的用户界面(“UI”)中的光标。PHIZ相对用户被调整形状、调整大小和定位以在人体工程学上匹配用户的运动的自然范围，使得光标控制在UI上的支持光标交互的整个区域上是直观且舒服的。运动捕捉系统跟踪用户的手，使得用户在PHIZ内的3D运动可被映射到2DUI。因此，当用户在PHIZ中移动他或她的手时，光标在显示器上的UI的被支持的区域的边界内对应地移动。在一些实现中，用户的手在PHIZ的运动可被映射到延伸出显示器的物理边界的光标位置。用户的手在PHIZ中在z方向(即，前后)上的移动允许附加的交互被执行，诸如按压、缩放、3D操纵或其它形式的对UI的输入。
对PHIZ的基本3D形状、大小或位置相对于用户的调整可被执行以针对用户在所监视的空间内的人体工程学运动来调节PHIZ，使得对应于UI的限制。例如，这样的调整可考虑水平和垂直居中并且对水平和垂直范围和触及施加限制。PHIZ的前平面和后平面也可被独立地调节以考虑用户运动或沿着z方向在空间中漂移。这样的调节还使得从3DPHIZ到2DUI的映射能够取决于上下文被动态地调节，例如，基于计算和/或捕捉系统设置、用户的位置和/或由给定应用支持的用户体验。
在各个说明性的示例中，完整手臂人体工程学PHIZ被用于确定用户的相对于已知点(诸如肩膀)的手部位置，其中用户的整个手臂的运动不被限制。当用户的手臂被限制时，例如，当肘部搁在椅子的扶手上时，前臂人体工程学PHIZ使得能够相对于肘部来确定手部位置。当用户的前臂的运动被限制时，例如，当躺在沙发或床上时，手人体工程学PHIZ使得能够相对于用户的手腕来确定手部位置或指尖位置。
各种人体工程学PHIZ的使用可被实现以在光标控制中实现不同的粒度级别。例如，完整手臂或前臂PHIZ可被用于在UI上执行光标的粗略移动，而手PHIZ中的指尖位置可被用于提供精细控制。此外，在一些实现中，不同的人体工程学PHIZ可按离散或连续的方式被动态地选择以确定在UI中的最终光标位置。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1显示说明性计算环境，其中用户在三维(“3D”)物理空间中的运动被映射到使用2D显示器上的用户界面(“UI”)来实现的虚拟空间；
图2-4显示说明性人体工程学物理交互区域(“PHIZ”)的简化图示表示；
图5显示在PHIZ的前向平面上的各点和UI之间的映射的说明性示例；
图6显示可被应用到人体工程学PHIZ的调节参数的说明性分类；
图7显示人体工程学PHIZ可如何被动态地更改来适应特定个别使用场景；
图8是用于动态地在不同的PHIZ之间进行选择的说明性方法的流程图；
图9和10显示说明性骨架模型，这些说明性骨架模型显示可在物理空间内被定位且跟踪的身体关节；
图11-13分别显示完整手臂PHIZ、前臂PHIZ和手PHIZ底层的关节模型；
图14是用于校准物理空间、动态地改变光标映射以及动态地在不同大小形状、和位置的多个PHIZ中进行选择的说明性方法的流程图；
图15和16显示包括多媒体控制台和光学传感器在内的说明性计算环境，其中可实现本人体工程学PHIZ光标映射；
图17显示说明性光学传感器以及多媒体控制台的细节；
图18示出可部分地被用于实现本人体工程学PHIZ光标映射的说明性的多媒体控制台的框图；图19是可部分地被用于实现本人体工程学PHIZ光标映射的说明性计算系统(诸如个人计算机(“PC”))的简化框图；以及
图20示出可部分地被用于实现本人体工程学PHIZ光标映射的说明性计算平台的框图。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
图1显示了说明性计算环境100，其中用户105在三维(“3D”)物理空间(由附图标记110代表性地表示)中的运动被捕获并被映射到使用被显示在2D显示器120(诸如电视机或监视器)上的用户界面(“UI”)115来实现的虚拟空间。这样的运动捕捉和映射使得用户105能够使用在3D物理空间110内的身体移动来与由UI115展示的各种元素(包括诸如光标和按钮之类的控制元素)进行交互。在这个如显示的说明性示例中，光标125具有类似手的形状。在一些使用场景中，给定光标可被允许来遍历显示器的整个屏幕区域，而在其它场景中，在环境100中执行的应用可仅支持在UI115的有限区域内的光标移动。替代地，在一些如在以下被更加详细描述的实现中，用户105可按延伸出UI115的可视边界的方式来与UI115进行交互。
如显示的，UI115使用具有x和y方向的2D坐标系来描述，而3D物理空间110使用具有x、y和z方向的3D坐标系来描述。由此，用户的手在物理空间110中x和y方向上的运动可被用于瞄准UI115上的按钮130，而在z方向上的运动可使得用户105能够按压该按钮或执行其它3D交互。
可使用各种技术和装置来捕捉用户运动，通过该各种技术和装置，在物理空间110内的用户105的定位以及用户身体的各个部分的运动可被确定。如在以下伴随附图15-18的文本中描述的光学传感器和计算平台可被用在一些实现中。然而，需要强调，光学传感器或相机系统不是被用于运动捕捉的仅有的装置类型。
在这个特定的说明性示例中，物理空间中的用户运动与虚拟空间中的光标运动/交互之间的映射可通过使用人体工程学物理交互区域(“PHIZ”)或在一些场景中的多个人体工程学PHIZ来实现。图2-4显示说明性人体工程学PHIZ205的图示表示。要注意的是，人体工程学PHIZ205的图示表示出于阐述方面清晰的目的被简化，并且人体工程学PHIZ相对于用户105的实际大小、形状或位置可按需被预期与所显示的不同以满足特定实现的需求。
人体工程学PHIZ205是物理空间中的用户105在其中移动他的手的3D空间(3Dvolume)。在人体工程学PHIZ内的手运动导致光标运动和交互，诸如在UI上的所支持的区域内的按压。PHIZ205相对于用户105来调整形状、调整大小和定位以在人体工程学上匹配用户的运动的自然范围，使得用户可舒服地触及UI上的每一事物以有利地实现一致且直观的交互。在一些实现中，可为用户的每个手提供分开的PHIZ。
如在这个说明性示例中在图2中显示的，人体工程学PHIZ205的正面区域大致从用户的头部跨越到躯干的中间部分。典型地，人体工程学PHIZ205的区域将相对于用户在物理空间内的大小和位置来调整大小。如在图3和4中显示的，替代于从具有与在显示器上的屏幕相同的大小、形状和宽高比的平坦、矩形区域中映射，人体工程学PHIZ205使用弯曲的前平面和后平面，如分别由附图标记310和315指示的。
人体工程学PHIZ205的前平面和后平面的弯曲度将用户的手臂的移动和伸展的自然范围考虑在内。这样的运动可例如根据围绕用户的手臂关节的转动来描述。这些关节包括肩膀、肘部和手腕，这些中的两个(肩膀和手腕)提供运动的多个自由度。用户的手相对于肩膀的定位可使用球面坐标系来描述，在该球面坐标系中，肩膀关节用作原点。
人体工程学PHIZ的前向平面310将一般采取部分椭圆的形状，其中椭圆的长轴沿着y方向。这种形状是归因于用户的手臂在物理空间中的人体工程学运动，其中在y-z平面中移动旨在涉及围绕肩膀和肘部关节两者的转动，而在x-y平面中的移动旨在涉及仅围绕肩膀关节的转动。
图5显示人体工程学PHIZ的前向平面310(该平面的周界被显示为虚线)上的各个点与UI115之间用于实现光标移动的映射的说明性示例。可以理解，人体工程学PHIZ205内的其它点到UI115的映射将类似于图5中显示的那样。在这个说明性示例中，箭头指示PHIZ中的点505P被映射到UI中的点505UI，点510P被映射到点510UI，点515P被映射到点515UI，并且点520P被映射到点520UI。类似地，用户的手沿着人体工程学PHIZ中的线525P的运动将对应于沿着UI中的线525UI的光标运动。
如图5中显示的，映射实现在平坦UI上的x和y方向上的光标运动，即使PHIZ的前平面被弯曲来适应人体工程学运动。用户的手在物理空间中的z方向上的运动可例如通过测量手相对于用户的肩膀的伸展来测量以执行按钮按压或UI上的其它动作。
人体工程学PHIZ205与UI115之间的映射可典型地使得在UI的极端周界(如被图5中的粗线指示的)处的点能被用户访问。然而，映射还可在一些情况下被实现为使得人体工程学PHIZ205内的位置被映射到UI的可视边界之外的点。例如，如显示的，点530P可被映射到延伸到UI的周界之外的点530UI。这样的实现可实现各种UI交互，诸如对比显示器大的对象或内容(例如，列表、网格等)的基于光标的操纵。在一说明性的示例中，用户可基于光标距UI边缘的距离和/或用户的运动方向来用不同的速度平移对象/内容。
在一些实现中，可使用各种参数来调节人体工程学PHIZ的基本部分的椭圆形状。这样的调节实现对PHIZ的大小、形状或位置的进一步细化以跨用户群体提供人体工程学优化。调节参数600的说明性分类被显示在图6中。在图6中显示的并在以下描述的调节参数旨在是说明性的，并且在具体实现中使用的特定参数可变化。可以理解，在一些情况下也可使用除了图6中显示的那些调节参数之外的调节参数。
如以上提到的，人体工程学PHIZ的基本形状将用户的手相对于肩膀关节在向前和向上方向中的转动考虑在内(分别调节参数605和610)。角偏移可被添加以将人体工程学PHIZ在水平和垂直方向中的每一个中相对于用户居中(615，620)。也可应用角水平和垂直范围以限制在物理空间中需要的移动量来触及UI的范围(625，630)。类似地，当用户从远离他的肩膀触及时，进一步减小PHIZ的范围可能是期望的。为了满足这个需求，当比最远的触及点更近时，附加的水平和垂直范围被应用以适应用户的触及(635，640)。
从用户的肩膀到手的线性距离是用户的当前触及。用户的手臂的长度可被观察以用作用户的触及范围的基础。为了标识舒服的缩回手臂位置，ArmRatioToZeroTouch(到零接触的手臂比率)调节参数(645)被使用来表示用户的手臂长度的这个部分。
已经确定了，当用户触及越高时，他们具有将他们的手臂伸展离开他们的肩膀越远的趋势。为了考虑这个趋势，当他们的垂直位置在人体工程学PHIZ的顶部部分中时，他们的触及可被缩短。调节参数ShoulderToHandScaleVerticalMiddle(肩膀到手缩放垂直中间)(650)是被用于当处于人体工程学PHIZ的垂直部分的中间时缩短该触及的倍数。随着用户在人体工程学PHIZ中向上移动地更远，这个参数的值可线性地增加以将用户的触及返回到其完全值。
前平面和后平面也可随着调节参数(655)被独立地调整。理想的后平面调节在竞争的因素之间进行平衡。从能量和人体工程学角度而言，位于接近于用户的整体手臂的质心的小的后平面通常是最优的。然而，在一些实现中，传感器分辨率方面的实际限制要求较大的PHIZ后平面被使用以用于提升的瞄准准确性。因此，可通过评估具有在坐姿和站姿两者中各种手臂长度的测试主体的瞄准准确性来找到最优后平面。后平面大小可被减少，直到存在对跨测试群体的瞄准准确性的显著的影响。
前向平面可被类似地调节。例如，如果用户的手臂能够挥动一定的角度范围，则在完全伸展时，这样的最大挥动可证明为对于用户是不舒服的。通过调节前向平面以将角度范围减少某一量，用户在完全手臂伸展时的舒服度可被增加，同时依然能够触及UI上的理想区域的全部。
调节参数600在一些实现中可被静态地使用，其中参数以跨用户群体提供舒服的且直观的光标控制的方式被先验地选择并被应用到人体工程学PHIZ。替代地，一个或多个调节参数可被动态地应用和/或调整以满足个别使用场景的需求。例如在图7中显示的，在其中用户105就座的场景中，人体工程学PHIZ705可在大小方面被减少并被定位在椅子的扶手710之上，扶手710通常限制用户手臂的完全运动。在这样的情况下，居中和范围参数可被动态地调整以使得用户105可在就座的同时舒服地触及UI上的所有控制元素并与这些元素交互。
如果用户105站起来，则调节参数可再次被动态地调整以使得人体工程学PHIZ被匹配到用户的完全且不受限制的手臂运动。在一些实现中，调节参数被动态地应用和/或调整以一次使用来自多于一个的人体工程学PHIZ的运动数据来确定在UI上的最终光标位置可以是理想的。例如，如在图8中的流程图中显示的，当用户就座时，来自以上提到的较小的PHIZ(称为“就座人体工程学PHIZ”)的数据被用于在步骤805的光标映射。
在步骤810，在从就座到站立的转换时间段期间，可使用来自就座人体工程学PHIZ以及在图2-4中显示的并且在伴随的文本中描述的PHIZ两者中的数据来映射最终光标位置。在此，数据可在连续的基础上被加权或以其它方式组合，而非选择一个离散的PHIZ或其它，以避免在光标移动中用户可能未预料到的突然转变和/或跳跃。考虑每个PHIZ的输出是零对x、y和z中每一个中的一个值。如果x和y值随着某一时间间隔的改变被视为归一化的PHIZ速度，则PHIZ中的每一个的速度可被比较。持续地取得最大速度量的PHIZ可以被认为是用户最希望用其来控制光标的一个PHIZ。一些求平均和急拉过滤也可被使用来防止非活动PHIZ中的偶发移动来从活动PHIZ中盗取优先级。在一些实现中，也可对较大的站立人体工程学PHIZ给予增加的优先级或偏向。
当用户在步骤815处完全站立时，UI上的光标位置使用仅来自站立人体工程学PHIZ的数据来被映射。
可通过运动捕捉系统和/或相关系统来确定用户在物理空间内的取向，例如是就座还是站立。例如，如以下在伴随图17的文本中描述的，骨架跟踪可在一些系统中被实现以处理姿势(即，可被用作对UI的输入或被解释为与在计算环境中执行的应用的交互的任意形式的用户移动)。图9和10分别显示了完整骨架模型905和就座骨架模型1005。如显示的，完整骨架模型905包括20个关节，而就座骨架模型1005仅包括上部10个关节。在使用以下描述的光学传感器的典型实现中，骨架模型可被用于确定用户的关节在物理空间内的位置，即使关节不在传感器的直接视场内。在这样的情况下，被遮挡的关节的位置可基于骨架模型来预测。
在物理空间中标识和定位各种身体关节的能力使得能够使用具有不同形状和大小的多个不同的人体工程学PHIZ。图11-13分别显示了被用于实现整个手臂人体工程学PHIZ205、前臂人体工程学PHIZ1200以及手人体工程学PHIZ1300的关节模型。例如，当用户的手臂具有全范围运动而无限制的情况下，可使用完整手臂人体工程学PHIZ。注意的是，图11中显示的完整手臂人体工程学PHIZ205是在伴随图2-4和8的文本中指代的相同的PHIZ。还注意的是，图11-13中的虚线是相应人体工程学PHIZ的简化图示表示，并且实际PHIZ的形状可与所显示的不同。
在完整手臂人体工程学PHIZ205底层的关节模型1105包括肩膀、肘部和手腕关节。如以上描述的，用户的手相对于肩膀的运动被用于将用户的手的运动从PHIZ映射到UI。
例如，当如图7中说明性显示的用户的手臂的完全运动被限制时(诸如，当用户的肘部搁在椅子扶手上时)，前臂人体工程学PHIZ1200可被使用。在前臂人体工程学PHIZ1200底层的关节模型1205包括肘部和手腕关节。用户的手相对于肘部的运动被用于将用户的手的运动从PHIZ映射到UI。因此，球面坐标系的原点可位于前臂人体工程学PHIZ1200的肘部关节。随着使用完整手臂人体工程学PHIZ，调节参数可被应用到前臂人体工程学PHIZ1200例如以针对水平和垂直居中以及水平和垂直范围来调整。
例如，当用户的前臂被限制时，手人体工程学PHIZ1300可被使用。用户可以限制前臂的完全运动的方式躺在地板、床或沙发上。替代地，用户可以站立，但是在他/她的手臂上挂着手提包或外套，这限制了运动。在一些情况下，当使用光学传感器系统来检测用户运动时，用户的视野可部分地被遮挡。例如，用户可能坐在沙发上，在他的膝盖上有阻挡在身体中段处的传感器视野的膝上型计算机或餐盘并且沙发的一端阻挡了在用户身体一侧的手臂移动。
在手人体工程学PHIZ1300底层的关节模型1305包括肘部和手腕关节。用户的手相对于手腕的运动被用于将用户的手的运动从PHIZ映射到UI。因此，球面坐标系的原点可位于手人体工程学PHIZ1300的手腕关节。在替换的实现中，一个或多个指尖相对于手腕的运动也可被用于映射光标运动。随着使用较大的人体工程学PHIZ，调节参数可被应用到手人体工程学PHIZ1300例如以针对水平和垂直居中以及水平和垂直范围来调整。在一些实现中，可使用用户的手或指尖相对于某个其它原点或可标识特征(诸如，从用户的身体向前映射的向量)的运动来执行光标映射。使用指尖来映射光标运动也可实现以下场景：其中手的位置被用于执行粗略光标移动，而指尖位置提供精细粒度控制。
在一些实现中，不同的人体工程学PHIZ205、1200和1300可被选择性地使用。图14是用于校准物理空间、动态地改变光标映射以及动态地在不同大小和形状的多个PHIZ中进行选择的说明性方法1400的流程图。方法开始于步骤1405，其中物理空间110(图1)被校准。这个步骤可被任选地执行，因为使得用户执行显式校准任务可能不是在所有使用场景中都是适当的。物理空间校准可包括通过在UI上提供要被按压的单个按钮(例如，定位在左上角)来测量用户的偏好位置。当用户按压该按钮时，按压的位置被获取并被用于计算经调整的水平和垂直居中参数。这个技术也可被扩展来实现用于对用于按压距离的范围和触及的校准。调节参数还可基于具有变化的置信度的多个校准输入来调整。
来自单个按钮按压校准的数据可在用户群体上被聚集。通过使得用户执行被禁的按压，他们名义上在三个空间中定义一线。通过取得针对群体中的所有用户的所有定义的线，可创建最小化针对用户的x和y漂移的理想的PHIZ形状。
在步骤1410选择初始人体工程学PHIZ。用户在物理空间内的位置以及对用户运动的任何限制可以是在作出这个选择时的因素。例如，如果用户就座，则前臂人体工程学PHIZ可被初始地选择。如果用户站立且具有不被限制的手臂运动，则完整手臂PHIZ可被初始地选择。
在步骤1415，调节参数600(图6)中的一个或多个可被动态地调整以针对人体工程学PHIZ在其中正被使用的特定上下文来定制该人体工程学PHIZ。可针对这样的动态调整来考虑多个上下文因素中的任意，这样的动态调整可更改人体工程学PHIZ的大小、形状和/或位置。这些包括例如，正被使用的特定运动捕捉系统的设置、用户在物理空间内的位置(例如，在其中光学传感器这样的设备正被使用的实现中，离开该光学传感器多远)以及由应用提供的具体上下文。在一些实现中，上下文可包括用户的过往行为，该过往行为可被用于标识可被用于动态地将调节参数600应用到人体工程学PHIZ的模式。
在由应用提供的上下文的情况下，调节参数可取决于什么正被显示在UI上以及其如何被显示来在物理空间中调整PHIZ的大小、形状和位置。例如，如果应用处理媒体内容(诸如电影或电视节目)的呈现，则传播控件(例如，停止/开始/暂停/快进/快退/前跳/后跳等)可被呈现为UI的在所显示的内容下的底部上的水平阵列的按钮。在这样的情况下，调节参数可被动态地应用来以以下方式调整人体工程学PHIZ的形状：使得按钮变大并且在物理空间内容易瞄准和按压，同时依然在UI上看上去正常和较小。
在步骤1420，另一人体工程学PHIZ可被选择为上下文改变。例如，如果用户坐下并且他的手臂变得被限制，则完整手臂人体工程学PHIZ可被交换为前臂PHIZ。用户的下半部分从光学传感器的视角而言可变得被遮挡(例如，如果用户在物理空间内在椅子或其它家具的后面移动)，在这种情况下切换到前臂人体工程学PHIZ也可以是有益的。如使用图8中显示的并且在伴随文本中描述的说明性示例，在人体工程学PHIZ之间的选择可持续地而非离散地执行，以避免用户未预料的任何不和谐或突然的转换。然而，在一些应用中，离散的人体工程学PHIZ选择可能是理想的。
控制返回到步骤1415，其中可基于上下文来动态地调整针对新选择的人体工程学PHIZ的调节参数。
现在呈现关于使用计算系统的人体工程学PHIZ光标映射的特定说明性实现的讨论，该计算系统采用光学传感器来捕捉用户在物理空间内的运动。强调的是，这个实现旨在是说明性的，并且通过使用如本文中描述的人体工程学PHIZ光标映射，具有不同类型的运动捕捉的其它计算系统依然可受益。
图15显示了其中可实现本人体工程学PHIZ光标映射的特定说明性计算环境1500。环境1500包括诸如多媒体控制台1503的计算平台，该多媒体控制台通常被配置成用于使用本地和/或联网的编程和内容来运行游戏和非游戏应用、播放预先录制的多媒体(诸如包括DVD(数字多功能盘)和CD(紧致盘)的光盘)、从网络流传输多媒体、参与社交媒体、使用诸如用于显示UI的电视机等耦合的音频/视觉显示器1508来浏览因特网和其他联网媒体和内容等等。在替换的实现中，多媒体控制台可被适当适配的个人计算机(“PC”)来替换，诸如台式机、膝上型计算机或笔记本PC、平板或类似的计算平台。
多媒体控制台1503在此例中被操作地耦合至光学传感器1513，光学传感器1513可使用被配置为在视觉上监视用户105所占据的物理空间110(在图15中大致由虚线指示)的一个或多个摄像机来实现。如以下更详细地描述的，光学传感器1513被配置成捕捉、跟踪以及分析用户105的移动和/或姿势，使得这些移动和/或姿势能被用作可被用来影响例如多媒体控制台1503上运行的应用或操作系统的控制。用户105的手1521或其他身体部位的各种运动可对应于常见的系统范围任务，诸如从主用户界面中选择游戏或其他应用。
例如如图15所示，用户105可在可选对象1522(包括显示在耦合显示器1508上的各种图标15251-N)之间导航、浏览分层菜单中的项目、打开文件、关闭文件、保存文件等等。另外，用户105可使用移动和/或姿势来结束、暂停或保存游戏，选择级别，查看高分，与朋友交流等。事实上，操作系统和/或应用的任何可控方面都可以由用户105的移动来控制。在许多上下文中，光标或类似设备将被显示在UI上以帮助用户与控制台以及在其上执行的应用进行交互。用户105的全范围运动可以用任何合适的方式来获得、使用并分析以与在环境1500中执行的应用或操作系统进行交互。
光学传感器1513也可被用来捕捉、跟踪以及分析用户105的移动以在游戏应用在多媒体控制台1503上执行时控制玩游戏过程。例如，如图16所示，游戏应用诸如拳击游戏使用显示器1508来提供用户105的拳击对手的视觉表示以及用户105可用他或她的移动来控制的玩家化身的视觉表示。用户105可在物理空间110中作出移动(例如，挥拳)以使得玩家化身在游戏空间中作出相应的移动。可在物理空间110中识别并分析用户105的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。图17示出光学传感器1513的说明性功能组件，光学传感器113的功能性组件可作为目标识别、分析和跟踪系统1700的一部分用于在物理空间110(图1)的捕捉区域识别人类和非人类目标而无需使用附加到这些主体的专门感测设备，唯一地标识人类和非人类目标，以及在三维空间跟踪人类和非人类目标。光学传感器1513可被配置成经由任何合适的技术(包括例如飞行时间、结构化光、立体图像等)来捕捉具有深度信息的视频，包括可包括深度值的深度图像。在一些实施例中，光学传感器1513可将所计算的深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。
如图17所示，光学传感器1513包括图像捕捉组件1703。图像捕捉组件1703可被配置成用作可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的2D像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与相机相距的距离，例如以厘米、毫米等为单位。在此例中，图像捕捉组件1703包括配置在阵列中的IR光组件1706、IR相机1711和可见光RGB相机1714。
可利用各种技术来捕捉深度视频帧。例如，在飞行时间分析中，光学传感器1513的IR光组件1706可以将红外光发射到捕捉区域上，然后用例如IR相机1711和/或RGB相机1714来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从光学传感器1513到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从光学传感器到目标或对象上的特定位置的物理距离。可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从光学传感器1513到目标或物体上的特定位置的物理距离。
在其他实施例中，光学传感器1513可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件1706被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如IR相机1711和/或RGB相机1714来捕捉，然后可被分析来确定从光学传感器到目标或对象上的特定位置的物理距离。
光学传感器1513可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。使用单个或多个相机的其它类型的深度图像布置也可用来创建深度图像。光学传感器1513还可包括话筒1718。话筒1718可包括可接收声音并将其转换成电信号的换能器或传感器。话筒1718可以被用来减少目标识别、分析及跟踪系统1700中的光学传感器1513和多媒体控制台1503之间的反馈。附加地，话筒1718可用来接收也可由用户105提供的音频信号，以控制可由多媒体控制台1503执行的诸如游戏应用、非游戏应用等应用。
光学传感器1513还可包括可以通过总线1728与图像捕捉组件1703可操作地通信的处理器1725。处理器1725可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。光学传感器1513还可以包括存储器组件1732，该存储器组件1732可以存储可以由处理器1725执行的指令、由相机捕捉到的图像或图像的帧、用户简档或任何其他合适的信息、图像等。根据一个示例，存储器组件1732可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图17所示，存储器组件1732可以是与图像捕捉组件1703和处理器1725进行通信的单独组件。替代地，存储器组件1732可被集成到处理器1725和/或图像捕捉组件1703中。在一个实施例中，光学传感器1513的组件1703、1706、1711、1714、1718、1725、1728和1732中的部分或全部位于单个外壳中。
光学传感器1513通过通信链路1735可操作地与多媒体控制台1503进行通信。通信链路1735可以是包括例如USB(通用串行总线)连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线IEEE802.11连接等的无线连接。多媒体控制台1503可以经由通信链路1735向光学传感器1513提供时钟，该时钟可以用来确定何时捕捉例如场景。光学传感器1513可经由通信链路1735来向多媒体控制台1503提供由例如IR相机1711和/或RGB相机1714捕捉的深度信息和图像，包括可由光学传感器1513生成的骨架模型和/或面部跟踪模型。多媒体控制台1503然后可使用骨架和/或面部跟踪模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、适配用户界面、以及控制应用。
运动跟踪引擎1741使用骨架和/或面部跟踪模型以及深度信息来向在光学传感器1513所耦合至的多媒体控制台1503上运行的一个多个应用(在图17中由应用1745代表性地指示)提供控制输出。姿势识别引擎1751、深度图像处理引擎1754和/或操作系统1759也可使用该信息。深度图像处理引擎1754使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理引擎1754会将检测到的每个对象的标识以及每帧的对象的位置报告给操作系统1759。操作系统1759可使用该信息来更新例如化身或显示器1508中示出的其他图像的位置或移动，或对用户界面执行动作。
姿势识别引擎1751可利用可包括姿势过滤器集合的姿势库(未示出)，每个姿势过滤器都包含关于例如由骨架模型(在用户移动时)可执行的姿势的信息。姿势识别引擎1751可将由光学传感器113所捕捉的帧(其形式为骨架模型以及与其相关联的移动)与姿势库中的姿势过滤器进行比较来标识用户(其由骨架模型来表示)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。这样，多媒体控制台1503可采用姿势库来解释骨架模型的移动并基于该移动来控制在多媒体控制台上运行的操作系统或应用。
在一些实现中，由应用1745、运动跟踪引擎1741、姿势识别引擎1751、深度图像处理引擎1754和/或操作系统1759所提供的功能的各种方面可直接在光学传感器1513本身上实现。
图18是图15-17所示的多媒体控制台1503的说明性的功能框图。如图18所示，多媒体控制台1503具有含有一级高速缓存1802、二级高速缓存1804和闪存ROM(只读存储器)1806的中央处理单元(CPU)1801。一级高速缓存1802和二级高速缓存1804临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU1801可被配置为具有一个以上的核，并且由此具有附加的一级高速缓存1802和二级高速缓存1804。闪存ROM1806可存储在多媒体控制台1503通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)1808和视频编码器/视频编解码器(编码器/解码器)1814形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU1808向视频编码器/视频编解码器1814运送数据。视频处理流水线向A/V(音频/视频)端口1840输出数据，用于传输至电视机或其他显示器。存储器控制器1810连接到GPU1808，以便于处理器对各种类型的存储器1812(诸如，但不限于RAM)的访问。
多媒体控制台1503包括较佳地在模块1818上实现的I/O控制器1820、系统管理控制器1822、音频处理单元1823、网络接口控制器1824、第一USB主控制器1826、第二USB控制器1828和前面板I/O子部件1830。USB控制器1826和1828用作外围控制器1842(1)-1842(2)、无线适配器1848、以及外置存储器设备1846(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口控制器1824和/或无线适配器1848提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器1843被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器1844，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器1844可以是对多媒体控制器1503内置的或外置的。应用数据可经由介质驱动器1844访问，以供多媒体控制台1503执行、回放等。介质驱动器1844经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器1820。
系统管理控制器1822提供与确保多媒体控制台1503的可用性相关的各种服务功能。音频处理单元1823和音频编解码器1832形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元1823与音频编解码器1832之间传输。音频处理流水线将数据输出到A/V端口1840，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件1830支持暴露在多媒体控制台1503的外表面上的电源按钮1850和弹出按钮1852、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块1836向多媒体控制台1503的组件供电。风扇1838冷却多媒体控制台1503内的电路。
多媒体控制台1503内的CPU1801、GPU1808、存储器控制器1810、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(“PCI”)总线、PCI-Express总线等。
当多媒体控制台1503通电时，应用数据可从系统存储器1843加载到存储器1812和/或高速缓存1802、1804中，并且可在CPU1801上执行。应用可在导航到多媒体控制台1503上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器1844中所包含的应用和/或其他媒体可从介质驱动器1844启动或播放，以将附加功能提供给多媒体控制台1503。
多媒体控制台1503可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台1503允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口控制器1824或无线适配器1848可用的宽带连接集成的情况下，多媒体控制台1503可进一步作为更大网络社区中的参与者来操作。
当多媒体控制台1503通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源从应用的视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需要的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。缩放器可用于设置该分辨率，从而消除对改变频率并引起TV重新同步的需求。
在多媒体控制台1503引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU1801上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器1842(1)和1842(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。光学传感器1513可对控制台1503定义附加的输入设备。
允许除说明性媒体控制台1503以外的其他类型的计算平台来在一些应用中实现本人体工程学PHIZ光标映射可能是合乎需要和/或有利的。例如，人体工程学PHIZ光标映射可被容易地适配来在PC和配备有运动和/或适配捕捉能力的类似设备上运行。图19是可用来实现本人体工程学PHIZ光标映射的诸如PC、客户端机器或服务器之类的说明性计算机系统1900的简化框图。计算机系统1900包括处理单元1905、系统存储器1911以及将包括系统存储器1911的各种系统组件耦合至处理单元1905的系统总线1914。系统总线1914可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。系统存储器1911包括只读存储器(“ROM”)1917和随机存取存储器(“RAM”)1921。基本输入/输出系统(“BIOS”)1925被存储在ROM1917中，该基本输入/输出系统1925包含了诸如在启动期间帮助在计算机系统1900内的元件之间传输信息的基本例程。计算机系统1900还可包括对内置硬盘(未示出)读写的硬盘驱动器1928、对可移动磁盘1933(例如，软盘)读写的磁盘驱动器1930、以及对诸如CD(压缩盘)、DVD(数字多功能盘)或其它光学介质等可移动光盘1943读写的光盘驱动器1938。硬盘驱动器1928、磁盘驱动器1930，以及光盘驱动器1938分别通过硬盘驱动器接口1946、磁盘驱动器接口1949，以及光盘驱动器接口1952连接到系统总线1914。驱动器及其相关联的计算机可读存储介质为计算机系统1900提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失性存储。虽然这个说明性的示例显示硬盘、可移动磁盘1933以及可移动光盘1943，但是其它类型的可存储可被诸如磁带盒、闪存卡、数字视频卡、数据磁带、随机存取存储器(“RAM”)、只读存储器(“ROM”)等访问的数据的计算机可读存储介质也可在本人体工程学PHIZ光标映射的一些应用中使用。此外，如在此使用的，术语计算机可读存储介质包括媒体类型的一个或多个实例(例如，一个或多个磁盘、一个或多个CD等)。出于本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质。
可以有若干个程序模块存储在硬盘、磁盘1933、光盘1943、ROM1917，和/或RAM1921上，包括操作系统1955、一个或多个应用程序1957、其他程序模块1960、以及程序数据1963。用户可通过诸如键盘1966和如鼠标等定点设备1968等的输入设备向计算机系统1900中输入命令和信息。其它输入设备(未显示)可包括话筒、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、跟踪球、触摸垫、触摸屏、触敏设备、语音识别模块或设备、语音命令模块或设备等。这些和其它输入设备通常由耦合至系统总线1914的串行端口接口1971连接至处理单元1905，但也可以由其它接口，诸如并行端口、游戏端口或通用串行总线(“USB”)连接。监视器1973或其他类型的显示设备也可以通过诸如视频适配器1975之类的接口，连接到系统总线1914。除监视器1973以外，个人计算机通常包括如扬声器和打印机等其它外围输出设备(未示出)。图19中显示的说明性示例还包括主机适配器1978、小型计算机系统接口(“SCSI”)总线1983以及连接到SCSI总线1983的外置存储设备1976。
计算机系统1900可使用到诸如远程计算机1988等一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机1988可以被选为另一台个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并通常包括以上对计算机系统1900描述的许多或所有元件，虽然在图19中只示出单个代表性远程存储器/存储设备1990。图19中所描绘的逻辑连接包括局域网(“LAN”)1993和广域网(“WAN”)1995。此类联网环境通常被部署在例如办公室、企业范围的计算机网络、内联网和因特网中。
当在LAN联网环境中使用时，计算机系统1900通过网络接口或适配器1996连接到局域网1993。当在WAN联网环境中使用时，计算机系统1900通常包括宽带调制解调器1998、网络网关或用于通过诸如因特网等广域网1995建立通信的其它装置。或为内置或为外置的宽带调制解调器1998经由串行端口接口1971连接到系统总线1914。在联网环境中，与计算机系统1900有关的程序模块或其部分可被储存在远程存储器存储设备1990中。注意，图19中显示的网络连接是说明性的，并且取决于人体工程学PHIZ光标映射的应用的具体要求，用于建立计算机之间的通信链路的其它手段可被使用。
允许除多媒体控制台1503(图15)以外的其他类型的计算平台来在一些应用中实现本人体工程PHIZ光标映射可能是合乎需要和/或有利的。例如，方法可能被容易地适配成在具有运动和/或视频捕捉能力的固定的计算平台和移动计算平台上运行。图20示出能够执行此处描述的各种组件来提供人体工程学PHIZ光标映射的计算平台或设备的说明性架构2000。因此，由图20例示出的架构2000示出如下架构：该架构可被适配成用于服务器计算机、移动电话、PDA(个人数字助理)、智能电话、台式计算机、上网本计算机、平板计算机、GPS(全球定位系统)设备、游戏控制台和/或膝上型计算机。架构2000可用于执行本文所呈现的组件的任何方面。
图20中例示的架构2000包括CPU2002、系统存储器2004(包括RAM2006和ROM2008)以及将存储器2004耦合至CPU2002的系统总线2010。基本输入/输出系统被存储在ROM2008中，该系统包含帮助诸如在启动期间在架构2000中的元件之间传递信息的基本例程。架构2000还包括用于存储被用于实现应用、文件系统和操作系统的软件代码或其它被计算机执行的代码的大容量存储设备2012。
大容量存储设备2012通过连接至总线2010的大容量存储控制器(未示出)连接至CPU2002。大容量存储设备2012及其相关联的计算机可读存储介质为架构2000提供非易失性的存储。虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读介质可以是可由架构2000访问的任何可用的计算机存储介质。
虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读存储介质可以是可由架构2000访问的任何可用的存储介质。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他固态存储器技术，CD-ROM、DVD、HD-DVD(高清晰度DVD)、蓝光或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由架构2000访问的任何其他介质。
根据各实施例，架构2000可以使用通过网络至远程计算机的逻辑连接在联网环境中操作。架构2000可以通过连接至总线2010的网络接口单元2016来连接到网络。应当理解，网络接口单元2016还可以被用来连接到其他类型的网络和远程计算机系统。架构2000还可以包括用于接收和处理来自数个其他设备的输入的输入/输出控制器2018，这些设备包括键盘、鼠标或者电子指示笔(未在图20中示出)。类似地，输入/输出控制器2018可向显示屏、打印机、或者其他类型的输出设备(在图20中也未示出)提供输出。
应当理解，本文所描述的软件组件在被加载到CPU2002中并被执行时可以将CPU2002和总体架构2000从通用计算系统变换成为方便本文所提出的功能而定制的专用计算系统。CPU2002可以用任意数量的晶体管或其他分立的电路元件(它们可以分别地或共同地呈现任意数量的状态)构建。更具体而言，CPU2002可以响应于包含在本文所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU2002如何在各状态之间转换来变换CPU2002，由此变换了构成CPU2002的晶体管或其它分立硬件元件。
对本文所提出的软件模块的编码也可变换本文所提出的计算机可读存储介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的因素的示例可以包括，但不仅限于：用于实现计算机可读存储介质的技术、计算机可读存储介质被表征为主存储器还是辅存储器等等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态而在计算机可读存储介质上编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或其它分立电路元件的状态。软件还可变换这些组件的物理状态以在其上存储数据。
作为另一示例，本文所公开的计算机可读存储介质可以使用磁或光技术来实现。在这些实现中，本文所提出的软件可以在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性来改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可以的，前面提供的示例只是为了便于此讨论。
鉴于以上内容，应当理解，在架构2000中发生许多类型的物理变换以便存储并执行本文所提出的软件组件。还应当理解，架构2000可以包括其它类型的计算设备，包括：手持式计算机、嵌入式计算机系统、智能电话、PDA、以及本领域技术人员已知的其它类型的计算设备。还可构想架构2000可以不包括图20所示的全部组件，可以包括未在图20中明确示出的其它组件，或者可利用完全不同于图20所示的架构。
基于上述内容，应当领会，本文已经公开了用于提供和使用人体工程学PHIZ光标映射的技术。虽然用计算机结构特征、方法和变换动作、特定计算机器、以及计算机可读存储介质专用的语言描述了本文中所描述的主题，但是应当理解，所附权利要求书中所定义的本发明不必限于本文中所描述的具体特征、动作、或介质。相反，这些具体特征、动作和介质是作为实现权利要求的示例形式来公开的。
以上所述的主题仅作为说明提供，并且不应被解释为限制。可对本文中所描述的主题作出各种修改和改变，而不必遵循示出和描述的示例实施例和应用且不背离所附权利要求书中所阐述的本发明的真正精神和范围。

Claims (10)

1.一种计算机实现的用于响应于用户的手的运动来在二维(“2D”)显示器上移动光标的方法，所述方法包括以下步骤：
捕捉所述用户的手在所监视的物理交互区域(“PHIZ”)内的位置，所述PHIZ被人体工程学地被匹配到所述用户的自然的运动范围；
跟踪所述PHIZ内的位置以确定所述用户的手的运动；以及
将跟踪到的手位置从所述PHIZ映射到所述显示器，使得所述手在所述PHIZ中的运动导致所述光标在所述显示器上的对应运动。
2.如权利要求1所述的计算机实现的方法，其特征在于，还包括生成多个调节参数的步骤，所述调节参数使得所述PHIZ的大小、形状或位置能够被调节到所捕捉的运动的区域内给定的用户配置。
3.如权利要求2所述的计算机实现的方法，其特征在于，所述用户配置是以下之一：站立、就座、躺下、具有不被限制的完整手臂运动、具有被限制的完整手臂运动、具有被限制的前臂运动、或具有被限制的手腕运动。
4.如权利要求2所述的计算机实现的方法，其特征在于，所述调节参数包括以下至少之一：针对所述PHIZ相对于所述用户的水平居中的调整、针对所述PHIZ相对于所述用户的垂直居中的调整、针对所述用户在所述PHIZ内的水平触及的调整、针对所述用户在所述PHIZ内的垂直触及的调整、当处于所述PHIZ的垂直尺度内的中间位置处时的用户触及的调整、所述PHIZ的后平面的调整、或所述PHIZ的前平面的调整。
5.如权利要求2所述的计算机实现的方法，其特征在于，还包括基于上下文来动态地调整所述调节参数的步骤。
6.如权利要求5所述的计算机实现的方法，其特征在于，所述上下文包括系统上下文或应用上下文之一，所述应用上下文包括以下中的至少之一：被显示在用户界面(“UI”)上的用户能访问的控件的数量、类型或位置、宽高比、所述UI内光标移动的被支持的区域或响应于用户输入的应用行为。
7.如权利要求1所述的计算机实现的方法，其特征在于，还包括使用完整手臂PHIZ的步骤，其中相对于所述用户的肩膀关节来确定所述用户的手的运动。
8.如权利要求1所述的计算机实现的方法，其特征在于，还包括使用前臂PHIZ的步骤，其中相对于所述用户的肘部关节来确定所述用户的手的运动。
9.如权利要求1所述的计算机实现的方法，其特征在于，还包括使用手PHIZ的步骤，其中相对于所述用户的手腕关节来确定所述用户的手或手指的运动。
10.如权利要求1所述的计算机实现的方法，其特征在于，还包括在所述PHIZ中检测z方向上的手运动并将检测到的运动使用为按压姿势的指示的步骤。
CN201480043401.3A 2013-07-31 2014-07-28 人体工程学计算机交互方法 Active CN105723301B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/955,229 US9063578B2 (en) 2013-07-31 2013-07-31 Ergonomic physical interaction zone cursor mapping
US13/955,229 2013-07-31
PCT/US2014/048340 WO2015017294A1 (en) 2013-07-31 2014-07-28 Ergonomic physical interaction zone cursor mapping

Publications (2)

Publication Number Publication Date
CN105723301A true CN105723301A (zh) 2016-06-29
CN105723301B CN105723301B (zh) 2019-06-04

Family

ID=51300904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043401.3A Active CN105723301B (zh) 2013-07-31 2014-07-28 人体工程学计算机交互方法

Country Status (5)

Country Link
US (2) US9063578B2 (zh)
EP (1) EP3028120A1 (zh)
KR (1) KR102296967B1 (zh)
CN (1) CN105723301B (zh)
WO (1) WO2015017294A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250711A (zh) * 2016-08-18 2016-12-21 青岛海信医疗设备股份有限公司 一种用于医疗显示的光标移动方法、装置和医疗设备
CN107145220A (zh) * 2017-03-24 2017-09-08 深圳奥比中光科技有限公司 人机交互自适应调整方法及系统
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335916B2 (en) * 2009-04-15 2016-05-10 International Business Machines Corporation Presenting and zooming a set of objects within a window
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
USD748136S1 (en) * 2013-02-23 2016-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
KR101700817B1 (ko) * 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
US9785243B2 (en) * 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US9807340B2 (en) * 2014-11-25 2017-10-31 Electronics And Telecommunications Research Institute Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
US9740010B2 (en) * 2014-11-28 2017-08-22 Mahmoud A. ALHASHIM Waterproof virtual reality goggle and sensor system
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
KR101659849B1 (ko) * 2015-01-09 2016-09-29 한국과학기술원 아바타를 이용한 텔레프레즌스 제공 방법, 상기 방법을 수행하는 시스템 및 컴퓨터 판독 가능한 기록 매체
US9811165B2 (en) * 2015-03-11 2017-11-07 Samsung Electronics Co., Ltd. Electronic system with gesture processing mechanism and method of operation thereof
CN104866096B (zh) * 2015-05-18 2018-01-05 中国科学院软件研究所 一种利用上臂伸展信息进行命令选择的方法
WO2017197549A1 (zh) * 2016-05-16 2017-11-23 深圳维盛半导体科技有限公司 一种dpi自动调节的鼠标及方法
US10037626B2 (en) 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
EP3488321B1 (en) * 2016-07-22 2021-05-05 Google LLC Detecting user range of motion for virtual reality user interfaces
USD844664S1 (en) * 2016-08-02 2019-04-02 Smule, Inc. Display screen or portion thereof with animated graphical user interface
USD815147S1 (en) * 2016-08-12 2018-04-10 Gemalto Sa Display screen with graphical user interface
USD830412S1 (en) * 2016-08-15 2018-10-09 Gemalto Sa Display screen with graphical user interface
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
USD870152S1 (en) 2018-01-04 2019-12-17 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
USD900872S1 (en) * 2018-08-31 2020-11-03 General Electric Company Display screen or portion thereof with icon
US20200296316A1 (en) * 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
US11341674B2 (en) 2020-06-17 2022-05-24 Microsoft Technology Licensing, Llc Determining an object's 3D orientation from a single camera's image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313269A (zh) * 2005-11-25 2008-11-26 皇家飞利浦电子股份有限公司 图像的非接触操作
CN102023784A (zh) * 2009-09-16 2011-04-20 创新科技有限公司 非接触式输入字符的方法和设备
CN102141837A (zh) * 2010-01-29 2011-08-03 索尼公司 信息处理设备和信息处理方法
WO2011138775A1 (en) * 2010-05-04 2011-11-10 Timocco Ltd. System and method for tracking and mapping an object to a target
CN102365560A (zh) * 2009-01-27 2012-02-29 Xyz互动技术公司 用于单个和/或多个设备的测距、定向和/或定位的方法和装置
US20120235904A1 (en) * 2011-03-19 2012-09-20 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Ergonomic Touch-free Interface
CN102870079A (zh) * 2010-02-10 2013-01-09 微晶片科技德国第二公司 具有集成电极布置的计算机键盘
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
JP5575652B2 (ja) 2007-10-26 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ レンダリングされた像の表示設定を選択するための方法及びシステム
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
EP2620849B1 (en) * 2010-09-22 2019-08-28 Shimane Prefectural Government Operation input apparatus, operation input method, and program
CA2868276A1 (en) 2011-03-23 2013-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313269A (zh) * 2005-11-25 2008-11-26 皇家飞利浦电子股份有限公司 图像的非接触操作
CN102365560A (zh) * 2009-01-27 2012-02-29 Xyz互动技术公司 用于单个和/或多个设备的测距、定向和/或定位的方法和装置
CN102023784A (zh) * 2009-09-16 2011-04-20 创新科技有限公司 非接触式输入字符的方法和设备
CN102141837A (zh) * 2010-01-29 2011-08-03 索尼公司 信息处理设备和信息处理方法
CN102870079A (zh) * 2010-02-10 2013-01-09 微晶片科技德国第二公司 具有集成电极布置的计算机键盘
WO2011138775A1 (en) * 2010-05-04 2011-11-10 Timocco Ltd. System and method for tracking and mapping an object to a target
US20120235904A1 (en) * 2011-03-19 2012-09-20 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Ergonomic Touch-free Interface
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250711A (zh) * 2016-08-18 2016-12-21 青岛海信医疗设备股份有限公司 一种用于医疗显示的光标移动方法、装置和医疗设备
CN106250711B (zh) * 2016-08-18 2019-12-06 青岛海信医疗设备股份有限公司 一种用于医疗显示的光标移动方法、装置和医疗设备
CN107145220A (zh) * 2017-03-24 2017-09-08 深圳奥比中光科技有限公司 人机交互自适应调整方法及系统
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置

Also Published As

Publication number Publication date
US9063578B2 (en) 2015-06-23
EP3028120A1 (en) 2016-06-08
US9342160B2 (en) 2016-05-17
US20150035750A1 (en) 2015-02-05
KR20160037227A (ko) 2016-04-05
CN105723301B (zh) 2019-06-04
US20150370349A1 (en) 2015-12-24
KR102296967B1 (ko) 2021-08-31
WO2015017294A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
CN105723301A (zh) 人体工程学物理交互区域光标映射
US11875012B2 (en) Throwable interface for augmented reality and virtual reality environments
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
JP7168612B2 (ja) ユーザインターフェースメニューのコンテキスト認識
US20210181857A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
US9916002B2 (en) Social applications for augmented reality technologies
US8659658B2 (en) Physical interaction zone for gesture-based user interfaces
US9996977B2 (en) Compensating for ambient light in augmented or virtual reality systems
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
US8866898B2 (en) Living room movie creation
US12062142B2 (en) Virtual environment
KR20160106653A (ko) 조정된 스피치 및 제스처 입력

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant