CN108475120A - 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 - Google Patents
用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 Download PDFInfo
- Publication number
- CN108475120A CN108475120A CN201780004806.XA CN201780004806A CN108475120A CN 108475120 A CN108475120 A CN 108475120A CN 201780004806 A CN201780004806 A CN 201780004806A CN 108475120 A CN108475120 A CN 108475120A
- Authority
- CN
- China
- Prior art keywords
- sensor
- input equipment
- motion tracking
- remote input
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims description 45
- 238000003860 storage Methods 0.000 claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 62
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 108091069677 HMD family Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
公开了利用远程传感器和本地传感器作为输入设备的混合现实计算设备的示例。在一个示例中，一种混合现实计算设备包括图像传感器、远程输入设备、处理器、以及包括存储的指令的存储。所存储的指令可由该处理器执行以进行以下操作：基于来自该图像传感器的输出执行对象运动跟踪和环境跟踪，以及响应于检测到该远程输入设备处于使用中而在维持环境跟踪的同时调整运动跟踪的参数。
Description
背景技术
各种类型的用户输入机制可被用来向计算设备提供控制信号。例如，计算设备可利用采用感测到的由用户执行的身体动作(例如，身体姿势、眼镜注视、语音命令)的形式的自然用户输入，该自然用户输入被转换成该计算设备的控制信号。
概述
公开了利用远程传感器和本地传感器作为输入设备的混合现实计算设备的示例。在一个示例中，混合现实计算设备包括图像传感器、远程输入设备、处理器、以及包括存储的指令的存储。所存储的指令可由处理器执行以进行以下操作：基于来自该图像传感器的输出执行对象运动跟踪和环境跟踪；以及响应于检测到该远程输入设备处于使用中而在维持环境跟踪的同时调整运动跟踪的参数。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念选集。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1和2示出了其中用户佩戴着示例混合现实计算设备的示例使用环境。
图3是解说用于使用混合现实计算设备和远程输入设备中的一者或多者执行对象运动跟踪的示例方法的流程图。
图4示出了示例远程输入设备的框图。
图5和6示意性地示出了示例混合现实计算设备。
详细描述
可穿戴混合现实计算系统可依赖于手和臂姿势来控制由该混合现实计算系统执行的各种动作。这些手和臂姿势可使用能够测量其前方的对象的深度的传感器(诸如图像传感器(例如，深度图像传感器或立体图像传感器配置))来感测和测量。这些图像传感器往往具有有限的感测视野，并且因为图像传感器放置于可穿戴计算系统上，所以传感器视野通常以操作者的头部附近为中心。如此，用户可以频繁地举臂降臂以将手置于传感器视野之内以供检测。
由此，根据本文所公开的诸实施例，配置成被拿在混合现实计算系统的操作者手中的远程输入设备可被选择性地用来执行姿势输入。通过允许经由远程输入设备的传感器来检测姿势输入，对操作者在可穿戴计算系统的图像传感器前方重复地执行运动姿势的需求可被减少。
如以下所更详细描述的，经由远程输入设备(例如，经由惯性运动传感器)执行的姿势运动跟踪与基于图像传感器数据执行的姿势运动跟踪相比可以是较不耗电的。由此，与基于图像传感器的姿势运动跟踪有关的一个或多个参数可在系统检测到远程输入设备处于使用中时被调整。例如，使用混合现实计算设备的板载图像传感器的姿势运动跟踪可在远程运动跟踪处于使用中时被禁用，或者可针对姿势运动跟踪减小图像传感器姿势运动跟踪的帧率。更一般地，可在执行姿势运动跟踪时考虑跨可穿戴计算系统和远程输入设备放置的能够执行姿势运动跟踪的多个传感器中的每一者的能力和功耗特性以在各种对象跟踪上下文中调整传感器使用。这可有助于在每个对象跟踪上下文中达成功耗和运动跟踪精度的合适平衡，从而在需要较低精度的情况下节省功率，同时在恰适的情况下达成较高精度。
图1示出了其中用户102可与示例混合现实(MR)计算设备交互的示例使用环境100。MR计算设备在图1中以头戴式显示器(HMD)设备104的形式示出，但是其它示例可以采取任何其它合适的形式。以下参照图5和6来分别描述示例硬件配置。
HMD 104为用户102提供了环境100的透视视图。HMD还将增强现实图像显示给用户。在一个示例中，HMD是立体显示设备，其中两个分开的增强现实图像各自被显示在HMD的相应的左眼和右眼显示器上。当由HMD的佩戴者(例如，用户102)观看时，这两个增强现实图像共同形成可作为环境100的一部分由佩戴者感知的增强现实对象。图1描绘了示例增强现实对象106a。
HMD 104可包括能够对环境100进行成像的一个或多个图像传感器。例如，HMD 104可包括使用飞行时间、结构化光、或其它合适的深度感测技术对环境100进行成像的深度相机。基于来自深度相机的输出，可生成环境模型，并且可基于该环境模型来显示增强现实图像。
为了对环境进行成像，HMD 104的深度相机可以第一相对高的亮度来传送成像光，以便在离该HMD的相对长距离(诸如30英尺)内对环境进行成像。因为环境不太可能频繁地改变，所以被传送以执行对环境的建模(在本文中亦被称为环境跟踪)的成像光可以相对低的帧率(例如，1Hz)输出。
作为对比，当HMD 104传送光以执行对象跟踪(其可包括跟踪用户的手或手指)时，可以第二相对低的亮度来传送成像光，以便在离该HMD的较短距离内(诸如三英尺内)对环境进行成像。因为正被跟踪的对象的位置可能频繁地改变，所以被传送以执行对象跟踪的成像光可以相对高的帧率(例如，30Hz)传送。
在图1中解说的示例中，用户102正在经由姿势输入创建增强现实绘制。如图所示，用户102正在沿墙108创建第一绘制(被描绘为增强现实对象106a)。然而，该增强现实绘制是可响应于姿势输入而执行的动作的一个非限定性示例，并且其它动作也是可能的。例如，姿势输入可被用于控制用户接口或其它合适动作。如图1中所示，用户102正在用他或她的手执行姿势输入，并且HMD 104的一个或多个传感器(诸如以上所描述的深度传感器)检测到该用户的手的运动。
图2示出了第二示例使用环境200，其中用户102正在执行姿势输入以沿墙108创建另一绘制(被描绘为增强现实对象106b)。基于通信地耦合至HMD104的远程输入设备110的一个或多个传感器来检测由用户102执行以创建该绘制的姿势运动。
远程输入设备110可包括能够检测用户姿势和/或用户致动输入的任何合适的一个或多个传感器。在一个示例中，远程输入设备110包括惯性测量单元(IMU)，其包括一个或多个加速计、陀螺仪、瞬时开关、和/或磁力计。远程输入设备110可进一步包括用户可致动输入设备，诸如按钮、跟踪轮、操纵杆等。远程输入设备110可经由合适机制(诸如无线连接)与HMD设备104通信。由IMU感测到的移动数据(例如，相对于基准的垂直和水平位移、俯仰、翻滚、偏航)和/或用户致动输入可以直接或经由远程计算系统传达给HMD并被HMD用于控制HMD上的动作，诸如将姿势移动转换成用户接口控制。
如上所述，远程输入设备110可以选择性地调整HMD的深度传感器系统的操作。这允许减少HMD汲取的功率，因为在成像系统关闭时没有功率被用于成像系统。更具体而言，HMD 104可包括深度图像传感器，其被配置成传送成像光(例如，红外光)并基于经反射的成像光来确定该传感器视野中各对象的深度。可跟踪视野中各个对象(尤其是用户的手、臂、或手指)的运动，以使用所检测到的姿势作为输入来控制HMD的各个方面。然而，由于输出成像光、接收经反射的成像光、以及以相对高帧率处理来自所接收的光的信号以确定对象运动，此类姿势/对象运动跟踪可能是资源密集的。由此，当远程输入设备处于使用中时，基于HMD图像传感器的姿势/对象运动跟踪可被调整以减少功耗。在其它示例中，HMD的图像传感器可与远程输入设备的传感器结合使用以达成精度和功耗的合适平衡。
图3示出了描绘用于使用以下一者或两者执行对象运动跟踪的示例方法300的流程图：计算系统图像传感器；以及通信地耦合至计算系统的远程输入设备的一个或多个传感器。作为示例，方法300可由混合现实计算系统(诸如图1和2的HMD 104)结合远程输入设备(诸如图2的远程输入设备110)来执行。
在302，方法300包括基于来自图像传感器的输出以第一光源亮度和第一帧率执行环境跟踪。如以上所解释的，计算系统(例如，HMD)可包括能执行环境和对象跟踪两者的图像传感器，诸如深度传感器。在执行环境跟踪时，图像传感器系统可以第一亮度传送成像光以在离图像传感器的相对远距离处以较低帧率对环境进行成像。可使用所接收的反射成像光来构建环境模型，进而可使用该环境模型来生成增强现实对象以供经由HMD的显示设备来显示。
在304，方法300包括基于来自图像传感器的输出以第二光源亮度和第二帧率执行对象运动跟踪。从计算系统的图像传感器系统传送的成像光也可以较低的亮度被传送以用于跟踪在到图像传感器的近距离内的对象。对象跟踪可以相对高帧率执行。所接收的成像光可被用于跟踪对象(诸如用户的手)的运动，以便例如执行对HMD的姿势控制。
在306，方法300确定远程输入设备是否处于使用中。可按任何合适方式来确定远程输入设备处于使用中。作为一个示例，如果HMD的图像传感器检测到远程输入设备处于其视野中(例如，经由边缘识别方法或其它合适算法使用图像数据的对象识别分析)，则该远程输入设备可被确定为处于使用中。作为另一示例，可基于接收到被配置成激活远程输入设备的用户输入(例如，在用户致动远程输入设备的开关或其它输入机制的情况下)来确定该远程输入设备处于使用中。作为进一步示例，可基于接收自远程输入设备的传感器的输出(例如，在来自远程输入设备的运动信号指示从不移动状态至移动状态的改变、至与使用相关联的取向的取向改变等的情况下)来确定该远程输入设备处于使用中。
如果确定远程输入设备不处于使用中，则方法300行进至328，如以下所更详细描述的。另一方面，如果确定远程输入设备处于使用中，则方法300包括在308，以第一光源亮度和第一帧率维持基于来自图像传感器的输出的环境跟踪。由此，不管哪个(哪些)传感器将被用于执行对象运动跟踪，环境跟踪被维持以继续生成准确的环境模型。
此外，在310，方法300包括调整基于来自图像传感器的输出的对象运动跟踪的一个或多个参数。当远程输入设备处于使用中时，在一些实例中，基于来自HMD图像传感器的输出来禁用或调整由HMD执行的对象运动跟踪可能是有利的，以节省功率使用。可使用任何合适方法来确定如何调整对象运动跟踪的这一个或多个参数。在一些示例中，可利用功率函数，其中该功率函数表示每个运动跟踪传感器针对这些传感器的各种可能状态的精度和功耗。这可允许为这些传感器选择针对当前使用上下文合适地平衡精度和功耗的对象跟踪参数。相应地，在310，方法300至少部分地基于每个传感器的功耗和运动跟踪精度来确定功率函数。关于每个传感器的功耗的数据可以是预定的和/或随时间被跟踪。类似地，运动跟踪精度数据也可以是预定的(例如，在设备开发或制造期间)，和/或可在使用期间(例如，经由校准)被确定。
用于对象跟踪的任何合适参数都可被调整。例如，调整对象运动跟踪可包括减小用于基于图像的对象跟踪的对象运动跟踪帧率，如在314所指示的。如先前所解释的，由HMD执行的对象运动跟踪可以相对高的帧率(例如，30Hz)执行。由此，当远程输入设备处于使用中时，该对象运动跟踪的帧率可被减小以节省功率。该帧率可被减小至任何合适速率。作为一个非限定性示例，30Hz速率可被减小至10Hz。在另一示例中，调整对象运动跟踪可包括停用基于图像的对象运动跟踪，如在316所指示的。
调整对象运动跟踪可进一步包括激活一个或多个姿势过滤器，如在318所指示的。在一些实例中，对象跟踪可只由远程输入设备执行。如此，用户将不太可能出于姿势输入的目的而将他或她的手放到HMD的图像传感器前面以控制HMD。由此，该一个或多个姿势运动过滤器可用于滤除在HMD的图像传感器前面检测到的运动，由此忽略或丢弃HMD前面潜在的不必要或无意运动并且降低功耗。该一个或多个姿势运动滤波器可丢弃发生在HMD的图像传感器的阈值距离内的运动数据，丢弃仅在阈值时间段内发生的运动数据，和/或执行任何其它合适的过滤。
在一些示例中，分立的预定义操作模式可被用在各种对象跟踪上下文中。如此，调整对象运动跟踪的一个或多个参数可基于所选传感器操作模式的改变，如在320所指示的。各种上下文因素可被用来确定传感器操作模式，诸如正被跟踪的对象的特性(例如，大或小)、正在发生的运动类型(例如，线性对非线性)、以及跟踪的期望精度(例如，基于当前使用上下文，诸如与大的良好间隔的图形用户界面特征交互、或创作详细的小尺度增强现实图像)。功率函数信息可被用于选择模式。作为更具体的示例，第一传感器操作模式可包括执行使用来自远程输入设备IMU并且不是来自HMD图像传感器的输出的运动跟踪。这一模式可被用于其中功率节省的优先级可高于精度的对象运动跟踪状况，诸如用于跟踪对象的线性运动。同样地，示例第二传感器操作模式可包括执行使用来自图像传感器的输出(具有或不具有远程输入设备IMU输出)的运动跟踪。这一模式可在远程输入设备IMU的精度可胜过IMU的功率节省的情况下被使用。
在322，方法300包括基于来自远程输入设备的输出执行对象运动跟踪。这可包括基于所选传感器操作模式来将来自图像传感器的输出与来自远程输入设备的一个或多个传感器的输出结合使用，如在324所指示的。这还可包括基于来自图像传感器的输出来校正输入设备传感器输出漂移，如在326所指示的。如以上所解释的，远程输入设备可包括IMU以检测该远程输入设备的移动。虽然基于来自IMU的输出的运动跟踪比基于来自深度传感器的输出的运动跟踪相比可具有相对低的功耗，但是IMU运动数据容易漂移，这随时间推移可累积并创建对象跟踪中的误差。由此，当IMU输出开始漂移(例如，IMU指示对象大于如由来自深度传感器的输出确定的离该对象的位置的阈值距离)时，由图像传感器执行的对象跟踪可被用来校正IMU漂移。
在328，方法300包括基于环境跟踪和对象运动跟踪来对HMD执行动作。该动作可包括任何合适的计算设备动作，诸如选择用户界面对象、创建增强现实对象、光标控制、游戏控制、和/或其它操作系统或应用交互。方法300随后返回。
图4示意性地示出了被配置成向混合现实计算系统(诸如HMD 104)提供位置/移动数据的示例远程输入设备400的框图。远程输入设备400包括输入子系统402和通信子系统404。远程输入设备400可任选地包括逻辑设备406、存储设备408、和/或图4中未示出的其它组件。
输入子系统402可包括诸如按钮、跟踪轮、键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户可致动输入设备或者与这些用户可致动输入设备对接。输入子系统402可进一步包括被配置成确定远程输入设备400的相对位置和/或跟踪运动的一个或多个传感器。此类传感器的示例包括但不限于惯性移动单元(IMU)、图像传感器、瞬时开关、磁力计、和/或其它传感器。
IMU可被配置成向逻辑子系统、与远程输入设备400通信的HMD的控制器、和/或远程计算系统提供远程输入设备400的位置和/或取向数据。在一个实施例中，IMU可被配置为三轴或三自由度位置传感器系统。该示例位置传感器系统例如可包括用于指示或测量远程输入设备400在3D空间内绕三个正交轴(例如，x、y、z)的取向变化的三个陀螺仪。
在另一示例中，IMU可被配置为六轴或六自由度位置传感器系统。此类配置可包括三个加速度计和三个陀螺仪以指示或测量远程输入设备400沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化(例如，翻滚、俯仰、偏航)。
通信子系统404可被配置成将远程输入设备400与一个或多个其它计算设备(诸如HMD 104)通信地耦合。通信子系统404可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限定性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许远程输入设备400经由网络(诸如因特网)向和/或从其它设备发送和/或接收消息。
来自各远程输入设备传感器的数据可被个体地发送或本地地处理以确定组合的传感器数据，并且该数据可出于体验控制的目的而被发送给HMD 104。在一示例中，俯仰和偏航数据可从这些运动传感器的融合导出。当瞬时开关被按压时，系统的精确取向被测量并被用作俯仰和偏航两者的‘零’点。当设备被有角度地移位时，相对于起始取向的所有角度数据被报告。
在其它实施例中，位于用户的拇指通常将搁置的区域之下的电容性触摸传感器被使用。当拇指(或身体的其它部位)压靠在该电容性触摸传感器的表面上并移动时，手指的水平和垂直位置经由无线连接被发送给HMD 104。
在进一步实施例中，多向开关(亦被称为操纵杆)被使用。当操纵杆被移动时，该操纵杆的水平和垂直位置经由无线连接被发送给HMD。在不同实施例中，各种开关和轮输入设备(可以用手指持续旋转的圆形垫，其报告旋转量和方向)可被包括在内。当轮被移动时，旋转和开关数据经由无线连接被发送给HMD 104。在以上描述的各实施例中，这些开关可被配置成使得它们报告所施加的力。
远程输入设备400和HMD之间的数据连接可以是双向的。这一双向数据链路可被用来发送触发设备上的触觉事件的信息。在以上各实施例中，触觉反馈系统可被包括以向远程输入设备的持有者提供触觉反馈。
在进一步示例中，远程输入设备400的取向和位置可使用多个相机来测量，该多个相机检测周围场景，跟踪该场景，并且使用该场景的位置来推断该远程输入设备的位置和取向。位置和取向计算可在远程输入设备上执行(例如，经由逻辑和/或存储子系统)，或者数据可被发送给远程系统以供分析而结果发送回远程输入设备和/或HMD。该位置和取向数据(以及随时间推移对所述数据的改变)随后可被用于生成经由无线连接发送给HMD的命令。
指纹传感器可被包括以允许用户认证。认证也可经由用户执行的特定运动数据(姿势)代替经由键盘输入的字母数字口令来完成。该设备可包括不可再充电电池或可再充电电池。这些单元的充电(其中这些单元可再充电的情形)可经由有线连接或经由无线连接来完成。
可通过在不处于活跃使用中时使设备保持在低功率状态来减少该设备汲取的功率。这一非活跃状态可通过使用检测人手的存在的电容性传感器来被检测。当该传感器不再检测到手的存在时，其可切换成低功率状态。该设备也可在未检测到运动(运动传感器在预设时间段之后未报告运动)之后进入低功率状态。其随后可通过检测到新运动或在所包括的瞬时开关(或其它合适开关)被致动时被唤醒。
HMD 104可提供与远程输入设备的运动和取向相关的视觉反馈。此外，来自远程输入设备的运动和移位数据可以控制HMD上的信息滚动速度。该运动和移位数据还可以控制HMD上的绝对光标位置。
另外，该远程输入设备可包含触觉反馈设备。触觉反馈可基于设备传感器和状态信息来被本地地生成，或者基于HMD内部的数据从HMD生成。
多个手指致动输入设备可被包括在内，诸如滑块(报告离散数字致动数据或模拟报告连续致动数据)、用于测量和报告手指/手与设备之间的手指/手压力的压力传感器、或用于测量设备与外部对象(诸如台子或桌子的表面)之间的力的压力传感器。
当包括逻辑设备406时，逻辑设备406包括被配置成执行指令的一个或多个物理设备。例如，逻辑设备可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其它方式得到期望结果。
当包括存储设备408时，存储设备408包括被配置成保持可由逻辑设备执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储设备404的状态可以被转换—例如以保存不同的数据。
图5示出了采取具有透明显示器502的一副可穿戴眼镜的形式的HMD设备500的非限定性示例。在其它示例中，HMD设备可以采取任何其它合适的形式，其中透明、半透明和/或不透明显示器被支撑在观察者的一只或两只眼睛前方。HMD设备500是可与远程输入设备一起使用的混合现实计算设备的非限定性示例。
HMD设备500包括被配置成控制透视显示器502的操作的控制器504。透视显示器502可以使得图像(诸如全息对象)被递送到HMD设备500佩戴者的眼睛。透视显示器502可被配置成向透过该透明显示器观察物理环境的佩戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可通过经由透明显示器502呈现的图形内容来增强以创建混合现实环境。在一个示例中，显示器可被配置成显示一个或多个可视数字内容项目。在一些情况下，数字内容项目可以是覆盖在真实世界环境前面的虚拟对象。同样地，在一些情况下，数字内容项目可合通过透明显示器502看到的现实世界的现实世界对象的元素。
任何合适的机制可被用于经由透明显示器502来显示图像。例如，透明显示器502可包括位于镜片506内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器502可包括位于HMD设备500的框架内的光调制器。在该示例中，透镜506可用作用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于佩戴者正在查看的物理环境内的3D全息图像，同时还允许佩戴者查看物理环境中的物理对象，因此创建了混合现实环境。
HMD设备500还可包括用于向控制器504提供信息的各种传感器和相关系统。此类传感器可包括但不限于：话筒512、一个或多个面向外的图像传感器508、以及惯性测量单元(IMU)510。
话筒512可以是被配置成捕捉声音的任何合适话筒，并且可包括被放置在HMD设备500上的(诸)合适位置处的单个话筒或话筒阵列。作为非限定性示例，话筒阵列可包括位于HMD设备500的不同部分上的6个话筒。
一个或多个面向外的图像传感器508可被配置成捕捉来自HMD设备500所处的物理环境的虚拟数据。例如，面向外的传感器508可被配置成检测显示器502视野内的移动，诸如视野内的佩戴者或人或物理对象所执行的移动。在一个示例中，面向外的传感器508可检测被用户用来输入姿势运动的远程输入设备，诸如远程输入设备400。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如，面向外的图像传感器508可以被配置为收集物理环境的图像数据、关于物理环境的环境光条件的照明数据、物理环境中的表面的深度数据、物理环境中的表面的材料属性数据等等。在一个示例中，这一个或多个面向外的图像传感器508可包括红外飞行时间深度相机。在另一示例中，这一个或多个面向外的图像传感器508可包括红外结构光深度相机。
来自这一个或多个面向外的图像传感器508的数据可被控制器504用于检测透视显示器502视野内的移动。此类移动的示例包括视野内的佩戴者或人或物理对象所执行的基于姿势的输入或其它移动。在一个示例中，来自面向外的图像传感器508的数据可被用于检测由HMD的佩戴者执行的指示经由HMD与可视地呈现的用户界面进行虚拟交互的姿势输入(例如，捏合手指、握紧拳头等)。来自面向外的图像传感器的数据可被控制器504用于确定(例如，来自成像环境特征的)方向/位置和取向数据，这使得能实现对HMD 500在现实世界环境中的位置/运动跟踪。来自面向外的图像传感器508的数据可被控制器504用于从HMD500的视角构造周围环境的静止图像和/或视频图像。
控制器504可被配置成以任何合适的方式标识物理空间的各表面。在一个示例中，物理空间的表面可基于从由深度相机和/或图像传感器提供的深度数据导出的深度图被标识。附加地或替换地，来自面向外的图像传感器的信息可被传达给负责生成和/或更新物理空间的模型的远程计算机。在任一情形下，HMD500相对于物理空间的相对位置和/或取向可以被评估，使得经增强的现实图像可以以期望的取向在期望的现实世界位置中被准确地显示。在一个示例中，控制器504可被配置成使用由表面传感器单独或与HMD 500的其它传感器组合提供的信息来执行对物理空间的同时定位和映射(SLAM)。具体而言，控制器504可被配置成生成物理空间的3D模型，包括可被用于标识物理空间中的表面的表面重构信息。
IMU 510可被配置成将HMD设备500的位置和/或取向数据提供给控制器504。在一个实施例中，IMU 510可被配置为三轴或三自由度位置传感器系统。该示例位置传感器系统例如可包括用于指示或测量HMD设备500在3D空间内绕三个正交轴(例如，x、y、z)的取向变化的三个陀螺仪。从IMU的传感器信号导出的取向可以用于确定在对话中已经与HMD设备的佩戴者交互的用户的方向。
在另一示例中，IMU 510可被配置成六轴或六自由度位置传感器系统。此类配置可包括三个加速度计和三个陀螺仪以指示或测量HMD设备500沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化(例如，翻滚、俯仰、偏航)。在一些实施例中，来自图像传感器508和IMU 510的位置和取向数据可以被结合使用以确定HMD设备500的位置和取向。
HMD 500还可支持其它合适的定位技术，诸如GPS或其它全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将理解，任何其它合适的传感器系统可被使用。例如，头部姿势和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。
HMD设备500还可包括扬声器524和526，扬声器524和526被配置成向HMD设备的佩戴者输出声音。扬声器524和526可被定位在HMD设备的贴近佩戴者耳朵的每个侧框架部分上。例如，扬声器524和526可以将诸如音乐或音轨的音频内容播放到经由透视显示器502显示的视觉内容。在一些情况下，响应于佩戴者与被检测到的另一个人之间的对话，扬声器的音量可以被降低或静音。
控制器504可包括与HMD 500的显示器和各个传感器进行通信的逻辑机和存储机，如下文关于图6更详细讨论的。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。
HMD设备500是本文中所公开的示例可被实现在其上的计算系统的一个示例。更一般地，图6示意性地示出了可以执行上述方法和过程之中的一个或多个的计算系统600的示例非限定性实施例的框图。以简化形式示出了计算系统600。除本文中所描述的HMD设备以外，计算系统600可采取以下形式：一个或多个个人计算设备、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其它计算设备。
计算系统600包括逻辑设备602和存储设备604。计算系统600可任选地包括显示子系统705、输入子系统608、通信子系统610和/或在图6中未示出的其它组件。
逻辑设备602包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其它方式得到期望结果。
逻辑设备可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑设备可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑设备的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑设备的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储设备604包括被配置成保持可由逻辑设备执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储设备604的状态可以被转换——例如以保存不同的数据。
存储设备604可包括可移动和/或内置设备。存储设备604可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储设备604可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储设备604包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑设备602和存储设备604的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“程序”可用于描述被实现来执行特定功能的计算系统600的一方面。在一些情况下，可经由执行存储设备604所保持的指令的逻辑设备602来实例化程序。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
在包括显示子系统605时，显示子系统605可用于呈现由存储设备604所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储设备保存的数据，并由此转换存储设备的状态，因此同样可以转换显示子系统605的状态以可视地表示底层数据的改变。显示子系统605可包括使用实质上任何类型的技术的一个或多个显示设备。此类显示设备可与逻辑设备602和/或存储设备604一起组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入子系统608时，输入子系统608包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与其对接。此类部件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统610时，通信子系统610可被配置为将计算系统600与一个或多个其它计算设备通信地耦合。通信子系统610可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限定性示例，通信子系统可被配置为用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统600经由诸如互联网这样的网络将消息发送至其它设备以及/或者从其它设备接收消息。
另一示例提供了一种混合现实计算设备，包括：图像传感器；远程输入设备；处理器；以及包括存储的指令的存储，这些指令可由该处理器执行以进行以下操作：基于来自该图像传感器的输出执行对象运动跟踪和环境跟踪；以及响应于检测到该远程输入设备处于使用中而在维持环境跟踪的同时调整运动跟踪的参数。此类示例可附加地或替换地包括可执行以进行以下操作的指令：在维持环境跟踪的帧率的同时通过减小运动跟踪的帧率来调整运动跟踪的该参数。此类示例可附加地或替换地包括可执行以通过执行用于以下操作的指令来调整该运动跟踪的该参数的指令：停用基于来自该图像传感器的输出的运动跟踪；以及基于来自该远程输入设备的输出执行运动跟踪。此类示例可附加地或替换地包括光源和可执行以进行以下操作的指令：通过以第一亮度激活该光源来执行对象运动跟踪；以及通过以第二亮度激活该光源来执行环境跟踪。该远程输入设备可替换地或附加地包括惯性测量单元(IMU)和用户可致动输入设备。此类示例可附加地或替换地包括可执行以基于以下一者或多者来检测到该远程输入设备处于使用中的指令：检测到该远程输入设备处于该图像传感器的视野中；经由该远程输入设备的该用户可致动输入设备接收到用户输入；以及接收到来自该远程输入设备的该IMU的输出。此类示例可附加地或替换地包括可执行以进行以下操作的指令：响应于检测到该远程输入设备处于使用中而基于来自该远程输入设备的该IMU的输出执行对象运动跟踪。该远程输入设备可替换地或附加地进一步包括一个或多个图像传感器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种混合现实计算系统，包括：头戴式显示设备；远程输入设备；分布在该头戴式显示设备和该远程输入设备之间的多个传感器；包括存储的指令的存储；以及处理器，其被配置成执行用于以下操作的指令：接收来自该多个传感器的输出，至少部分地基于该多个传感器的功耗和精度来获得功率函数，至少部分地基于该功率函数来选择传感器操作模式，以及执行根据所选传感器操作模式的对象运动跟踪。在此类示例中，传感器操作模式可附加地或替换地确定对将要被用于执行对象运动跟踪的传感器输出的选择。在此类示例中，这些传感器可附加地或替换地包括加速计、陀螺仪、以及图像传感器中的一者或多者。在此类示例中，该图像传感器可附加地或替换地位于该头戴式显示设备上，并且其中该加速计和该陀螺仪可附加地或替换地位于该远程输入设备上。此类示例可附加地或替换地包括可执行以进行以下操作的指令：利用该加速计和陀螺仪中的一者或多者来执行根据第一所选传感器操作模式的对象运动跟踪。此类示例可附加地或替换地包括可执行以进行以下操作的指令：在根据第一所选传感器操作模式的对象运动跟踪期间基于来自该图像传感器的输出来校正由该加速计和陀螺仪中的一者或多者引入的运动跟踪误差。此类示例可附加地或替换地包括可执行以进行以下操作的指令：利用该图像传感器来执行根据第二所选传感器操作模式的对象运动跟踪。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种混合现实计算系统，包括：头戴式显示设备；远程输入设备；分布在该头戴式显示设备和该远程输入设备之间的多个传感器；处理器；以及包括存储的指令的存储，这些指令可由该处理器执行以进行以下操作：响应于确定该远程输入设备处于使用中而激活一个或多个姿势运动过滤器并基于来自该多个传感器中的一个或多个传感器和该一个或多个姿势运动过滤器的输出执行对象运动跟踪；以及响应于确定该远程输入设备不处于使用中而停用该一个或多个姿势运动过滤器。在此类示例中，该一个或多个姿势运动过滤器可附加地或替换地包括以下一者或多者：用于滤除所检测到的发生在该图像传感器的阈值距离内的对象运动的第一姿势运动过滤器以及用于滤除所检测到的停留在该图像传感器的视野内达小于阈值数据量的对象运动的第二姿势运动过滤器。此类示例可附加地或替换地包括可执行以进行以下操作的指令：响应于确定该远程输入设备处于使用中而减小对象运动跟踪的帧率以及响应于确定该远程输入设备不处于使用中而增大对象运动跟踪的帧率。在此类示例中，该远程输入设备可附加地或替换地包括惯性测量单元(IMU)和用户可致动输入设备、以及可执行以基于以下一者或多者来检测到该远程输入设备处于使用中的指令：检测到该远程输入设备处于该图像传感器的视野中，经由该远程输入设备的该用户可致动输入设备接收到用户输入，以及接收到来自该远程输入设备的该IMU的输出。此类示例可附加地或替换地包括可执行以进行以下操作的指令：基于该对象运动跟踪来执行动作。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限定性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所例示和/或所描述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其它特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
Claims (15)
1.一种混合现实计算设备，包括：
图像传感器；
远程输入设备；
处理器；以及
存储指令的存储，所述指令能由所述处理器执行以：
基于来自所述图像传感器的输出执行对象运动跟踪和环境跟踪；以及
响应于检测到所述远程输入设备处于使用中而在维持所述环境跟踪的同时调整所述运动跟踪的功耗相关参数。
2.如权利要求1所述的混合现实计算设备，其特征在于，所述指令能进一步执行以在维持所述环境跟踪的帧率的同时通过减小所述运动跟踪的帧率来调整所述运动跟踪的所述参数。
3.如权利要求1所述的混合现实计算设备，其特征在于，所述指令能进一步执行以通过执行用于以下操作的指令来调整所述运动跟踪的所述参数：停用所述基于来自所述图像传感器的输出的运动跟踪以及基于来自所述远程输入设备的输出执行运动跟踪。
4.如权利要求1所述的混合现实计算设备，其特征在于，进一步包括光源，并且其中所述指令能执行以：通过以第一亮度激活所述光源来执行所述对象运动跟踪，以及通过以第二亮度激活所述光源来执行所述环境跟踪。
5.如权利要求1所述的混合现实设备，其特征在于，所述远程输入设备包括惯性测量单元(IMU)和用户可致动输入设备。
6.如权利要求5所述的混合现实设备，其特征在于，所述指令能进一步执行以基于以下一者或多者来检测到所述远程输入设备处于使用中：检测到所述远程输入设备处于所述图像传感器的视野中；经由所述远程输入设备的所述用户可致动输入设备接收到用户输入；以及接收到来自所述远程输入设备的所述IMU的输出。
7.如权利要求5所述的混合现实设备，其特征在于，所述指令能进一步执行以：响应于检测到所述远程输入设备处于使用中而基于来自所述远程输入设备的所述IMU的输出执行对象运动跟踪。
8.如权利要求5所述的混合现实设备，其特征在于，所述远程输入设备进一步包括一个或多个图像传感器。
9.一种用于混合现实计算系统的方法，所述混合现实计算系统包括头戴式显示设备、远程输入设备、分布在所述头戴式显示设备和所述远程输入设备之间的多个传感器、包括存储的指令的存储、以及被配置成执行所述指令的处理器，所述方法包括：
接收来自所述多个传感器的输出；
至少部分地基于所述多个传感器的功耗和精度来获得功率函数；
至少部分地基于所述功率函数来选择传感器操作模式；以及
根据所选传感器操作模式执行对象运动跟踪。
10.如权利要求9所述的方法，其特征在于，选择所述传感器操作模式包括选择确定对将要被用于执行所述对象运动跟踪的传感器输出的选择的传感器操作模式。
11.如权利要求9所述的方法，其特征在于，接收来自所述多个传感器的输出包括接收来自加速计、陀螺仪、以及图像传感器中的一者或多者的输出。
12.如权利要求11所述的方法，其特征在于，所述图像传感器位于所述头戴式显示设备上，并且其中所述加速计和所述陀螺仪位于所述远程输入设备上。
13.如权利要求12所述的方法，其特征在于，执行对象运动跟踪包括利用所述加速计和陀螺仪中的一者或多者来执行根据第一所选传感器操作模式的对象运动跟踪。
14.如权利要求13所述的方法，其特征在于，进一步包括在根据所述第一所选传感器操作模式的对象运动跟踪期间基于来自所述图像传感器的输出来校正由所述加速计和陀螺仪中的一者或多者引入的运动跟踪误差。
15.如权利要求12所述的方法，其特征在于，执行对象运动跟踪包括利用所述图像传感器来执行根据第二所选传感器操作模式的对象运动跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111044127.XA CN113760093A (zh) | 2016-02-01 | 2017-01-16 | 用于对象运动跟踪的方法及混合现实系统 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/012,694 US10908694B2 (en) | 2016-02-01 | 2016-02-01 | Object motion tracking with remote device |
| US15/012,694 | 2016-02-01 | ||
| PCT/US2017/013638 WO2017136125A2 (en) | 2016-02-01 | 2017-01-16 | Object motion tracking with remote device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111044127.XA Division CN113760093A (zh) | 2016-02-01 | 2017-01-16 | 用于对象运动跟踪的方法及混合现实系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108475120A true CN108475120A (zh) | 2018-08-31 |
| CN108475120B CN108475120B (zh) | 2021-09-14 |
Family
ID=57915124
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780004806.XA Active CN108475120B (zh) | 2016-02-01 | 2017-01-16 | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 |
| CN202111044127.XA Pending CN113760093A (zh) | 2016-02-01 | 2017-01-16 | 用于对象运动跟踪的方法及混合现实系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111044127.XA Pending CN113760093A (zh) | 2016-02-01 | 2017-01-16 | 用于对象运动跟踪的方法及混合现实系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US10908694B2 (zh) |
| EP (1) | EP3411777B1 (zh) |
| CN (2) | CN108475120B (zh) |
| WO (1) | WO2017136125A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113031753A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动传感数据产生方法和运动传感数据产生系统 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565723B2 (en) * | 2016-02-02 | 2020-02-18 | Samsung Electronics Co., Ltd. | Systems and methods for drift correction |
| EP3465331B1 (en) | 2016-06-06 | 2024-08-07 | Warner Bros. Entertainment Inc. | Mixed reality system |
| US10078377B2 (en) * | 2016-06-09 | 2018-09-18 | Microsoft Technology Licensing, Llc | Six DOF mixed reality input by fusing inertial handheld controller with hand tracking |
| US10146335B2 (en) * | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Modular extension of inertial controller for six DOF mixed reality input |
| US10146334B2 (en) | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Passive optical and inertial tracking in slim form-factor |
| JP6763434B2 (ja) * | 2016-10-27 | 2020-09-30 | 日本電気株式会社 | 情報入力装置および情報入力方法 |
| US10055028B2 (en) * | 2016-12-05 | 2018-08-21 | Google Llc | End of session detection in an augmented and/or virtual reality environment |
| US10579138B2 (en) | 2016-12-22 | 2020-03-03 | ReScan, Inc. | Head-mounted sensor system |
| US10089784B2 (en) * | 2016-12-22 | 2018-10-02 | ReScan, Inc. | Head-mounted mapping methods |
| US10241587B2 (en) * | 2016-12-22 | 2019-03-26 | Microsoft Technology Licensing, Llc | Magnetic tracker power duty cycling |
| US10719125B2 (en) | 2017-05-09 | 2020-07-21 | Microsoft Technology Licensing, Llc | Object and environment tracking via shared sensor |
| GB2567012B (en) * | 2017-10-02 | 2021-05-12 | Advanced Risc Mach Ltd | Motion Sensing |
| US10558260B2 (en) * | 2017-12-15 | 2020-02-11 | Microsoft Technology Licensing, Llc | Detecting the pose of an out-of-range controller |
| KR102521557B1 (ko) * | 2018-01-04 | 2023-04-14 | 삼성전자주식회사 | 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법 |
| EP4086736A1 (en) * | 2018-02-23 | 2022-11-09 | Telefonaktiebolaget LM Ericsson (publ) | Coordinating alignment of coordinate systems used for a computer generated reality device and a haptic device |
| US11202006B2 (en) | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
| GB2574886A (en) | 2018-06-22 | 2019-12-25 | Ecole Polytechnique Fed Lausanne Epfl | Teleoperation with a wearable sensor system |
| US11334212B2 (en) | 2019-06-07 | 2022-05-17 | Facebook Technologies, Llc | Detecting input in artificial reality systems based on a pinch and pull gesture |
| US11422669B1 (en) | 2019-06-07 | 2022-08-23 | Facebook Technologies, Llc | Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action |
| EP4028862A1 (en) | 2019-09-09 | 2022-07-20 | Apple Inc. | Multimodal inputs for computer-generated reality |
| US11029753B2 (en) | 2019-11-05 | 2021-06-08 | XRSpace CO., LTD. | Human computer interaction system and human computer interaction method |
| EP3832436A1 (en) * | 2019-12-06 | 2021-06-09 | XRSpace CO., LTD. | Motion sensing data generating method and motion sensing data generating system |
| US11715220B1 (en) | 2020-07-30 | 2023-08-01 | Apple Inc | Method and device for depth sensor power savings |
| US11979657B1 (en) * | 2020-09-14 | 2024-05-07 | Apple Inc. | Power efficient object tracking |
| US20220225050A1 (en) * | 2021-01-13 | 2022-07-14 | Dolby Laboratories Licensing Corporation | Head tracked spatial audio and/or video rendering |
| EP4050459A1 (en) * | 2021-02-24 | 2022-08-31 | V-Labs SA | Calibration of a display device |
| US12118790B2 (en) | 2021-04-21 | 2024-10-15 | Meta Platforms, Inc. | Auto-capture of interesting moments by assistant systems |
| US11861315B2 (en) * | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
| US20230410441A1 (en) * | 2022-06-21 | 2023-12-21 | Snap Inc. | Generating user interfaces displaying augmented reality graphics |
| US20230418385A1 (en) * | 2022-06-28 | 2023-12-28 | Snap Inc. | Low-power hand-tracking system for wearable device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520690A (zh) * | 2006-09-08 | 2009-09-02 | 索尼株式会社 | 图像获取和显示设备以及图像获取和显示方法 |
| CN101986243A (zh) * | 2010-11-05 | 2011-03-16 | 友达光电股份有限公司 | 立体影像互动系统及其位置偏移补偿方法 |
| EP2538305A2 (en) * | 2011-06-23 | 2012-12-26 | Omek Interactive, Ltd. | System and method for close-range movement tracking |
| US20140009623A1 (en) * | 2012-07-06 | 2014-01-09 | Pixart Imaging Inc. | Gesture recognition system and glasses with gesture recognition function |
| CN103809687A (zh) * | 2012-11-06 | 2014-05-21 | 索尼电脑娱乐公司 | 头戴式显示器、运动检测器及方法、图像呈现系统和程序 |
| US20140145914A1 (en) * | 2012-11-29 | 2014-05-29 | Stephen Latta | Head-mounted display resource management |
| WO2014197230A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US20150022649A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Controlling Image Focus in Real-Time Using Gestures and Depth Sensor Data |
| US20160025971A1 (en) * | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100811701B1 (ko) | 2006-08-08 | 2008-03-11 | 한국전자통신연구원 | 다수개의 전자 장치들의 통합 원격 지시장치 |
| US8957835B2 (en) | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
| US20120194552A1 (en) | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with predictive control of external device based on event input |
| KR20130000401A (ko) | 2010-02-28 | 2013-01-02 | 오스터하우트 그룹 인코포레이티드 | 대화형 머리장착식 아이피스 상의 지역 광고 컨텐츠 |
| JP5428943B2 (ja) | 2010-03-02 | 2014-02-26 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| KR101444407B1 (ko) | 2010-11-02 | 2014-09-29 | 한국전자통신연구원 | 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법 |
| CN109116985A (zh) | 2011-05-10 | 2019-01-01 | 寇平公司 | 控制信息显示的方法 |
| US9554866B2 (en) | 2011-08-09 | 2017-01-31 | Covidien Lp | Apparatus and method for using a remote control system in surgical procedures |
| EP2761362A4 (en) * | 2011-09-26 | 2014-08-06 | Microsoft Corp | VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY |
| US9459457B2 (en) | 2011-12-01 | 2016-10-04 | Seebright Inc. | Head mounted display with remote control |
| WO2013124741A1 (en) | 2012-02-21 | 2013-08-29 | Comsa Radu Mircea | Augmented reality system |
| US9329678B2 (en) | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
| US20140118257A1 (en) * | 2012-10-29 | 2014-05-01 | Amazon Technologies, Inc. | Gesture detection systems |
| CN111475059A (zh) * | 2013-03-14 | 2020-07-31 | 视力移动科技公司 | 基于近距离传感器和图像传感器的手势检测 |
| US9063330B2 (en) * | 2013-05-30 | 2015-06-23 | Oculus Vr, Llc | Perception based predictive tracking for head mounted displays |
| WO2014200779A2 (en) | 2013-06-09 | 2014-12-18 | Sony Computer Entertainment Inc. | Head mounted display |
| US10055013B2 (en) * | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
| US9244539B2 (en) | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
| EP3108287A4 (en) | 2014-02-18 | 2017-11-08 | Merge Labs, Inc. | Head mounted display goggles for use with mobile computing devices |
| KR102143871B1 (ko) * | 2014-04-22 | 2020-08-12 | 삼성전자 주식회사 | 전자장치의 전원 제어장치 및 방법 |
| DE202014103729U1 (de) * | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| US9999835B2 (en) * | 2015-02-05 | 2018-06-19 | Sony Interactive Entertainment Inc. | Motion sickness monitoring and application of supplemental sound to counteract sickness |
| US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
| US10304247B2 (en) * | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
-
2016
- 2016-02-01 US US15/012,694 patent/US10908694B2/en active Active
-
2017
- 2017-01-16 WO PCT/US2017/013638 patent/WO2017136125A2/en unknown
- 2017-01-16 CN CN201780004806.XA patent/CN108475120B/zh active Active
- 2017-01-16 EP EP17702222.5A patent/EP3411777B1/en active Active
- 2017-01-16 CN CN202111044127.XA patent/CN113760093A/zh active Pending
-
2020
- 2020-10-22 US US16/949,268 patent/US11513605B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520690A (zh) * | 2006-09-08 | 2009-09-02 | 索尼株式会社 | 图像获取和显示设备以及图像获取和显示方法 |
| CN101986243A (zh) * | 2010-11-05 | 2011-03-16 | 友达光电股份有限公司 | 立体影像互动系统及其位置偏移补偿方法 |
| EP2538305A2 (en) * | 2011-06-23 | 2012-12-26 | Omek Interactive, Ltd. | System and method for close-range movement tracking |
| US20140009623A1 (en) * | 2012-07-06 | 2014-01-09 | Pixart Imaging Inc. | Gesture recognition system and glasses with gesture recognition function |
| CN103809687A (zh) * | 2012-11-06 | 2014-05-21 | 索尼电脑娱乐公司 | 头戴式显示器、运动检测器及方法、图像呈现系统和程序 |
| US20140145914A1 (en) * | 2012-11-29 | 2014-05-29 | Stephen Latta | Head-mounted display resource management |
| WO2014197230A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US20150022649A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Controlling Image Focus in Real-Time Using Gestures and Depth Sensor Data |
| US20160025971A1 (en) * | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113031753A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动传感数据产生方法和运动传感数据产生系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170220119A1 (en) | 2017-08-03 |
| EP3411777A2 (en) | 2018-12-12 |
| US10908694B2 (en) | 2021-02-02 |
| CN113760093A (zh) | 2021-12-07 |
| CN108475120B (zh) | 2021-09-14 |
| US20210034161A1 (en) | 2021-02-04 |
| US11513605B2 (en) | 2022-11-29 |
| WO2017136125A3 (en) | 2017-09-14 |
| EP3411777B1 (en) | 2022-03-02 |
| WO2017136125A2 (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108475120A (zh) | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 | |
| US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
| US11043031B2 (en) | Content display property management | |
| CN106164818B (zh) | 使用随着时间的眼睛注视评估进行选择 | |
| CN106462233B (zh) | 用于显示设备观看者视线吸引的方法和设备 | |
| US20210373672A1 (en) | Hand gesture-based emojis | |
| CN107577045B (zh) | 用于头戴式显示器的预测跟踪的方法、装置及存储介质 | |
| CN116724285A (zh) | 用于控制虚拟和图形元素的微手势 | |
| CN110476142A (zh) | 虚拟对象用户界面显示 | |
| CN105359082B (zh) | 用于用户接口导航的系统和方法 | |
| CN107771309A (zh) | 三维用户输入 | |
| CN108780360A (zh) | 虚拟现实导航 | |
| CN105393192A (zh) | 用于近眼显示器的网状分层菜单显示配置 | |
| CN106575153A (zh) | 虚拟现实环境内基于注视的对象放置 | |
| CN115956259A (zh) | 生成用于虚拟现实体验的基础真实数据集 | |
| CN108475114A (zh) | 用于对象姿势跟踪器的反馈 | |
| CN117337426A (zh) | 音频加强的增强现实 | |
| US20240320353A1 (en) | Timelapse of generating a collaborative object | |
| WO2024049578A1 (en) | Scissor hand gesture for a collaborative object | |
| WO2024049576A1 (en) | Real-world responsiveness of a collaborative object | |
| WO2024049580A1 (en) | Authenticating a selective collaborative object | |
| CN117999529A (zh) | 输入设备的多模态跟踪 | |
| US20240069643A1 (en) | Physical gesture interaction with objects based on intuitive design | |
| US20240070299A1 (en) | Revealing collaborative object using countdown timer | |
| US20240070302A1 (en) | Collaborative object associated with a geographical location |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |