CN106255939A - 世界锁定显示质量反馈 - Google Patents

世界锁定显示质量反馈 Download PDF

Info

Publication number
CN106255939A
CN106255939A CN201580021847.0A CN201580021847A CN106255939A CN 106255939 A CN106255939 A CN 106255939A CN 201580021847 A CN201580021847 A CN 201580021847A CN 106255939 A CN106255939 A CN 106255939A
Authority
CN
China
Prior art keywords
estimation
posture
world
sure
credit rating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580021847.0A
Other languages
English (en)
Other versions
CN106255939B (zh
Inventor
M·J·伊比斯特尼
F·斯查法里兹基
D·斯蒂里
E·伊德
M·谢特
M·格拉布纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106255939A publication Critical patent/CN106255939A/zh
Application granted granted Critical
Publication of CN106255939B publication Critical patent/CN106255939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

公开了涉及向头戴式显示设备的用户传送世界锁定显示模式的估计的质量等级的实施例。例如，在一个所揭示的实施例中，从所述设备的一个或多个传感器接收传感器数据。使用传感器数据，确定所述设备的估计的姿势。使用估计的姿势、通过所述设备以世界锁定显示模式或以身体锁定显示模式来显示一个或多个虚拟物体。确定所述传感器数据的输入不确信度值以及估计的姿势的姿势不确信度值中的一个或多个。输入不确信度值和/或姿势不确信度值被映射到世界锁定显示模式的估计的质量等级。将所估计的质量等级的反馈通过设备传送给用户。

Description

世界锁定显示质量反馈
背景
各种技术可允许用户体验真实现实和虚拟现实的混合。例如，诸如各种头戴式显示(HMD)设备之类的一些显示设备可包括透视显示器，该透视显示器允许将虚拟物体叠加在真实世界环境上。当HMD设备的佩戴者通过透视显示器观看时，虚拟物体可看上去与真实世界环境结合。虚拟物体与真实世界环境之间的这种关系可被称为增强现实。
即时定位和映射系统可以提供增强现实体验。通常，这样的跟踪和映射系统依赖于用户正在其中进行操作的环境的照明和其它视觉方面。当所述环境不能提供足够的数据来支持跟踪和映射时，应用或技术可能无法操作或可能以在用户体验方面显著降级的方式操作。
用户可以通过变化量的数据来支持跟踪和映射以在各种真实世界环境中和动态环境中利用这种跟踪和映射系统。在一些情况中，用户可以期望使用跟踪和映射系统来在特定环境中执行增强现实应用。然而，所述环境可能提供了对支持有效的跟踪和映射来说不充足的数据，使得应用执行欠佳并提供了令人失望的用户体验或完全出故障。当关于所述环境的质量的信息涉及跟踪和映射系统时如果仅有有限的信息或没有信息，则用户可能不愉快地惊讶于所述用户体验。而且，用户可能被阻止调整用户体验的期望值和/或选择另一个活动或可以更加高效地操作的其它应用。
概述
在此公开了涉及向头戴式显示设备的用户传送世界锁定显示模式的估计质量等级的各种实施例，在所述世界锁定显示模式中，一个或多个虚拟物体的位置相对于通过头戴式显示设备可观看的真实世界物体来说看起来固定的。例如，一个所揭示的实施例提供了包括从头戴式显示设备的一个或多个传感器接收传感器数据的方法。使用传感器数据，确定头戴式显示设备的估计的姿势。
使用估计的姿势，通过头戴式显示设备要么以世界锁定显示模式要么以身体锁定显示模式来显示一个或多个虚拟物体，在身体锁定显示模式中，每个虚拟物体的位置相对于头戴式显示设备的用户来说看起来固定的。确定所述传感器数据的输入不确信度值以及估计的姿势的姿势不确信度值中的一个或多个。输入不确信度值以及姿势不确信度值中的一个或多个被映射到世界锁定显示模式的估计的质量等级。将所估计的质量等级的反馈通过头戴式显示设备传送给用户。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1是根据本公开的一实施例的增强现实系统的示意图。
图2和3示出了根据本公开的一实施例的具有世界锁定位置的多个虚拟物体。
图4和5示出了根据本公开的一实施例的具有身体锁定位置的多个虚拟物体。
图6示出了作为体积全息图的根据本公开的一实施例的具有世界锁定位置的多个虚拟物体。
图7示出了根据本公开的一实施例的具有身体锁定位置的显示于屏幕视口的多个虚拟物体。
图8是根据本公开的一实施例的跟踪系统的示意图。
图9示出根据本公开的一实施例的示例头戴式显示设备。
图10A和10B是根据本公开的一实施例的用于向头戴式显示设备的用户传送世界锁定显示模式的估计的质量等级的方法的流程图。
图11是计算设备的一实施例的简化示意解说。
详细描述
图1示出增强现实系统10的一个实施例的示意图。增强现实系统10包括可被存储在计算设备22的大容量存储18中的跟踪系统14。跟踪系统14可被加载到存储器26中并由计算设备22的处理器28执行以执行下文更为详细地描述的方法和过程中的一个或多个。
增强现实系统10包括可以生成供在包括一个或多个真实世界物体34的真实世界环境内显示的一个或多个虚拟物体32的显示程序30。诸如头戴式显示(HMD)设备之类的显示设备可在真实世界环境上叠加地显示虚拟物体32以创建增强现实环境40。如下将更加详细描述地，显示程序30可以利用两种不同的显示模式来显示所述虚拟物体32。
更具体而言，在世界锁定显示模式44中，一个或多个虚拟物体32可通过HMD设备36以世界锁定的位置被显示。在世界锁定的位置中，虚拟物体32相对于通过HMD设备36可观看的真实世界物体34来说看起来固定的，并且每个虚拟物体的所述世界锁定位置相对于所述HMD设备的佩戴者来说看起来可移动的。还是参考图8中所示的跟踪系统14，世界锁定显示模式44可与六个自由度(6DOF)的跟踪过滤器816相关联，所述跟踪过滤器在六个自由度(例如，x、y、z、俯仰、翻滚、偏航)上估计HMD设备36的位置和方向。
例如，在六个自由度中的估计可以使用来自HMD设备36的光学传感器和HMD设备的不仅仅依赖于光学信息的其它姿势传感器的组合中的传感器数据46被确定。这样的其它姿势传感器可以包括，但不局限于：加速度计、陀螺仪、磁力计和用于通过使用一个或多个先前确定的位置/方向和在指定时间段上的已知或估计的变化来推断当前位置/方向的推测的其他传感器
光学传感器可提供HMD设备36所处的真实世界环境的光学特征的图像信息。如上所述，由于对用户正在其中操作的真实世界环境的照明条件、光学特征和其它各视觉方面的依赖，来自光学传感器的传感器数据46的精确性可以变化且可能是不可靠的。然而，当条件适合于提供精确传感器数据时，由世界锁定显示模式44提供的增强现实体验可以是丰富和引人注目的。
当条件不适合于在世界锁定显示模式44中以世界锁定位置一致地显示虚拟物体32时以及对于不支持世界锁定显示模式的应用来说，HMD设备36可以以身体锁定显示模式48操作。在身体锁定显示模式48中，一个或多个虚拟物体32可通过HMD设备36以身体锁定的位置被显示。在身体锁定位置中，虚拟物体32相对于所述HMD设备36的佩戴者看起来固定的，而每个虚拟物体的所述身体锁定位置相对于所述真实世界物体34来说看起来可移动的。
身体锁定显示模式48可以与和6DOF跟踪过滤器816并行操作的三个自由度(3DOF)的跟踪过滤器820相关联。3DOF跟踪过滤器820在三个自由度(例如，俯仰、翻滚、偏航)上估计HMD设备36的方向。例如，可使用来自不依赖于光学数据的姿势传感器的信息来确定三个自由度中的估计。因此，在其中6DOF跟踪过滤器816可以提供降级的增强现实体验的条件期间，3DOF跟踪过滤器820可一致性地操作。
再次参考图1，计算设备22可使用有线连接来与HMD设备36在操作上连接，或可采用经由WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与HMD设备36分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备36中。
在一些示例中，计算设备22可采用以下形式：台式计算设备，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，机顶盒，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图11更详细地描述。
如下更加详细地描述，跟踪系统14可以被配置为将世界锁定显示模式44的估计的质量等级的反馈42传送给佩戴HMD设备36的用户50。有利地，通过这种方式，用户50可以被实时告知当前环境条件以及它们对世界锁定显示模式用户体验的质量和/或可用性的影响。
现在参考图2-7，现在将描述对增强现实系统10和跟踪系统14的示例用例。在图2和3所示的示例中，由于真实世界环境的条件在质量等级阈值之上，可以利用世界锁定显示模式44。质量等级阈值可以对应于在世界锁定显示模式44中提供可接受的用户体验的传感器数据的最小数量和/或质量。将理解可用传感器数据的所述数量和/或质量可以随一个环境到另一个环境而显著变化。因此，合适的质量等级阈值也将变化并且将通过有经验的实践者很容易地被确定。
在图2中，相对于HMD设备36的用户50的位置和方向，第一视频板208看起来像被悬挂在房间206的左侧墙壁210上。相对于HMD设备36的用户50的位置和方向，第二视频板212看起来像被悬挂在房间206的面向前方的墙壁214上。相对于HMD设备36的用户50的位置和方向，第三视频板216看起来像被悬挂在右侧墙壁218上。
在图3中，HMD设备36的用户50已经移动至右侧并转向左边，使得他/她正面向墙壁210，并且HMD设备的位置和方向相应地改变了。另外，几个人已经进入到房间，并且各种物品已被放置在第二视频板212之下的桌子222上。由于HMD设备36以世界锁定显示模式44操作，并且视频板相应地具有世界锁定位置，所以相对于通过HMD设备36观看的其他真实世界物体和第二视频板212而言，第一视频板208看起来像是固定在墙210上。类似地，相对于通过HMD设备36观看的其他真实世界物体和第一视频板208而言，第二视频板212看起来像是固定在墙214上。相应地，当用户50移动时，第一和第二视频板中的每一个的世界锁定位置相对于该用户而言看起来是移动的。
将理解，HMD设备36可显示具有世界锁定位置的任何合适数量的视频板或其它虚拟物体32。视频板可呈现任何合适的视频或其他图像。例如，视频板可呈现一个或多个网页、电子邮件应用、天气报告、电视、新闻、照片等。
将理解，视频板可位于房间内的任何合适的世界锁定位置。在一些实施例中，可根据因位置而异的预定义的视觉布局来显示视频板。例如，来自跟踪系统14的光学传感器数据可被用于识别出真实世界环境处于特定位置，诸如用户的办公室。因此，根据因位置而异的视觉布局，视频板可被放置在办公室内的特定位置。另一方面，如果真实世界环境未被识别，则可根据默认的视觉布局来放置视频板。在其他实施例中，视觉布局可以是独立于位置的，并且在以世界锁定显示模式44操作视频板时，该视频板可被显示于相同的世界锁定位置中任何位置中。
再次参考图1且如下更加详细地描述，跟踪系统14利用从房间206接收到的传感器数据46来确定HMD设备36的估计的姿势54。随后，将此估计的姿势用于将视频板显示在其世界锁定的位置中。跟踪系统14可以分析传感器数据46以确定与传感器数据相关联的一个或多个输入不确信度值。如上所述，各种环境因素可以影响与传感器数据相关联的不确信度。这样的因素可以包括，但不局限于，真实世界物体的照明、场景深度、场景运动和特征密度(例如场景混杂)。类似地，跟踪系统14可以分析估计的姿势54以确定估计的姿势的一个或多个姿势不确信度值。
随后，跟踪系统14可以将输入不确信度值以及姿势不确信度值中的一个或多个映射到世界锁定显示模式44的多个估计的质量等级中的一个。有利地，跟踪系统14可以随后通过HMD设备36将估计的质量等级的反馈42传送给用户50。
在一些示例中，反馈42可以包括通过HMD设备36显示估计的质量等级的一个或多个图形表示。现在参考图2，在一个示例中估计的质量等级的反馈42可以包括显示在HMD设备36的视野200内的环230。可以以多个不同的颜色中的一个颜色来显示环230，每个颜色对应于世界锁定显示模式44的不同的估计的质量等级。例如，5种颜色和对应的估计的质量等级可以被使用，诸如(1)红色/不可用，(2)紫色/欠佳，(3)黄色/合理，(4)蓝色/良好，以及(5)绿色/优异。将领会，任何合适数目的质量等级和对应的颜色以及任何其它类型和形式的图形表示都可被使用并在本公开的范围内。
在图2的示例中，房间206中的真实世界物体可以在由HMD设备36所收集的图像数据中提供低的特征密度(或场景混杂)量。跟踪系统14可以确定在该环境(可能和一个或多个其它环境方面一起)中的这样较低的特征密度量将产生世界锁定模式体验的合理(Fair)的估计的质量等级。因此并为了警告用户50，跟踪系统14可以通过HMD设备36显示黄色(Y)环230。
在图3的示例中，房间206中的附加人员和其它真实世界物体可以在由HMD设备36所收集的图像数据中提供增强的特征密度。跟踪系统14可以确定这样的更大的特征密度将产生优异的估计的质量等级。因此并为了警告用户50，跟踪系统14可以通过HMD设备36显示对应于世界锁定模式体验的优异的估计的质量等级的绿色(G)环230。
在图4和图5的示例中，HMD设备36的用户50已经移动通过图2和图3所示的房间206的门道并进入走廊400。在此示例中，走廊400的照明条件和其特征可以是非常差的。因此，由HMD设备36所收集的图像数据可以由低分辨率生成(例如走廊400的欠佳纹理和其特征)来表征。跟踪系统14可以确定这样的欠佳照明条件(可能与一个或多个其它环境因素一起)将产生世界锁定显示模式44的不可用的估计的质量等级；例如HMD设备36不能在世界锁定显示模式中操作。
因此并为了警告用户50，跟踪系统14可以通过HMD设备36显示柱状图指示符404，该柱状图指示符通过显示5个可能的柱形中的一个柱形来传递不可用的估计的质量等级。在一些示例中，跟踪系统14可以被配置为当估计的质量等级在预定质量等级阈值之下时禁用世界锁定显示模式44。
由于世界锁定显示模式44是不可用的，HMD设备36可以在身体锁定显示模式48中操作。在身体锁定显示模式48中，可以在视野200中以身体锁定位置显示多个视频板。例如，多个视频板可出现在球形工作空间布局中，其中HMD设备36的用户50站在球体的中心，而多个视频板围绕着他/她。在一些实施例中，可根据预定义的视觉布局来安排多个视频板。在一个特定示例中，新闻应用可被显示在左侧的第一视频板中，电子邮件应用可被显示在中间的第二视频板中，而股票行情应用可被显示在右侧的第三视频板中。
在图4中，HMD设备36的用户50正站在走廊400中且紧邻房间206的门道。多个视频板以身体锁定位置被显示在视野200中，该身体锁定位置相对于用户50看起来是固定的而相对于诸如门道之类的真实世界物体看起来是可移动的。
在图5中，HMD设备36的用户50已经向下走到了走廊400的末端并且正站在另一门道前面。由于多个视频板以身体锁定位置通过HMD设备36被显示，所以即使当他/她沿着走廊向下走时，该多个视频板相对于用户50保持固定。换言之，板随用户50移动。
图5还示出将世界锁定显示模式44的估计的质量等级的反馈42传送给用户50的另一个示例，在其中视野200的外观被改变。在图5中，跟踪系统14以淡红色高亮视野200(由多个R指示)以传达世界锁定显示模式44是不可用的。当估计的质量等级改变时，视野200的高亮可以相应地改变为上述的另外四种颜色之一。还将理解，改变视野200的外观的任何其它合适的形式和/或方式都可被利用，诸如举例而言，显示对应于估计的质量等级的透明水印。
图6和图7示出了一个示例场景，在其中示出了在世界锁定显示模式44中的3D视图中的多个虚拟物体，并且然后视觉地切换到身体锁定显示模式48中的2D视图。在图6中，HMD设备36以世界锁定显示模式44操作，其中体积全息图形式(例如，3D网格)的多个虚拟物体(好巫师600、火球604和邪恶巫师606)可以以3D视图通过HMD设备36被显示。体积全息图可在真实世界环境(例如，房间)610中具有世界锁定的位置，并且可看起来在真实世界环境内占据体积。
图6还示出了以多个1/4环指示符614形式显示估计的质量等级的图形表示的示例，在该示例中示出了对应于良好估计的质量等级的5分之4的指示符。在一个示例中，多个1/4环指示符614还与所述虚拟物体一起被显示在世界锁定显示模式44中。在另一个示例中，可以以身体锁定显示模式48来显示多个1/4环指示符614，这样，所述指示符相对于用户而言看上去是固定的并且无论用户如何在真实世界环境中移动或转向都保持在用户视野中。
在图7中，HMD设备36的用户50已经走过房间610的门道并且进入小走廊702。小走廊702可以提供非常有限的场景深度，在其中，HMD设备36的传感器可以捕捉传感器数据46。在小走廊702的场景深度低于最小场景深度阈值时，所得到的传感器数据的不确信度和对应的估计的姿势54可能产生不可接受的世界锁定显示模式44的估计的质量等级。
因此，当用户50进入走廊702时，跟踪系统14可以从世界锁定显示模式44切换到身体锁定显示模式48。作为响应，体积网格可从3D视图视觉地切换到2D视图。在一个示例中，体积网格可折叠成视频板706的2D视图。视频板706可以是虚拟物体所栖身的虚拟世界的屏幕视口。视频板706可以具有身体锁定位置，并且虚拟物体可在视频板中描绘的虚拟世界内移动。
在另一个示例中，HMD设备36的一个或多个传感器可以被用户的头发、用户的手或手臂和/或用户所佩戴的帽子至少部分地遮挡住。在该示例中，可以分析来自一个或多个传感器的传感器数据46以检测用户的头发、用户的手或手臂和/或用户所佩戴的帽子的视觉指示符。基于这样的分析，可以确定输入不确信度值。例如，当图像数据显示帽边遮挡了图像传感器的超过50％的视野，跟踪系统14可以确定这样的条件将产生世界锁定显示模式44的不可用的估计的质量等级。
在另一个示例中，世界锁定显示模式44的估计的质量等级的反馈42可以包括改变一个或多个虚拟物体32的外观。再次参考图6，在其中估计的质量等级从第一等级降至第二较低等级的一个示例中，邪恶巫师606的体积全息图可以变得透明以指示较低的估计的质量等级。在其它示例中，一个或多个体积全息图或2D图像可以以特定颜色被显示以指示对应的估计的质量等级。在其它示例中，一个或多个全息图或图像可以被显示为看上去震动的或以其它方式在视觉上是振动的以指示对应的估计的质量等级。将理解前述的示例不是排他性的，并且许多改变一个或多个虚拟物体32的外观的其它示例也可被使用。
在其它示例中并再次参考图1，跟踪系统14可以将估计的质量等级提供给使用世界锁定显示模式44和身体锁定显示模式48的另一个应用，诸如增强现实应用64。随后，该应用可以通过HMD设备36将估计的质量等级的反馈42传送给用户50。例如，增强现实应用64可以通过应用编程接口(API)与跟踪系统14接合，并可以向跟踪系统14查询关于世界锁定显示模式44的可用性和/或估计的质量。基于对所述查询的响应，增强现实应用64可以确定估计的质量等级的反馈42的类型和传递给用户50的方式。例如，增强现实应用64可以通过HMD设备36向用户50提供音频反馈，例如发出“World-lock mode isn’t available at themoment(世界锁定模式此刻不可用)”的声音。
在其它示例中，跟踪系统14或其它应用可以阻止传送世界锁定显示模式44的估计的质量等级的反馈42，直到从用户50接收到调用世界锁定显示模式的用户输入68。在一个示例中，跟踪系统14可以默认以身体锁定显示模式48操作并且在该模式时可以不提供世界锁定显示模式44的估计的质量等级的反馈42。用户50随后可以做出请求，执行动作或通过其它方式以调用世界锁定显示模式44的方式与增强现实应用64交互。例如且参考图6和7，用户50可以走动离开在其中世界锁定显示模式44是不可用的小走廊702，返回到在其中世界锁定显示模式44是可用的房间610中。因此，增强现实应用64和跟踪系统14可以随后显示示出良好估计的质量等级的1/4环指示符。
将理解，许多其它形式的用户输入68可以被用于触发估计的质量等级的反馈42的显示。在一些示例中，这样的用户输入68可以是被动的，诸如上述用户50从走廊702走到房间610的示例。在其它示例中，用户输入68可以是显式的，诸如用户50说出词汇指令以启动使用世界锁定显示模式44的增强现实应用64。
现在转向图8，提供了根据本公开的一实施例的HMD设备36的示例跟踪系统14的示意图解。如上所述，跟踪系统14可以被配置为确定HMD设备36的估计的姿势54以及世界锁定显示模式44的估计的质量等级804。更具体而言，跟踪系统14可以使用来自HMD设备36的传感器数据46来提供HMD设备的实际姿势的经过滤运行估计。这些估计的姿势54可以被用于在世界锁定位置中显示虚拟物体32。估计的质量等级804的反馈42可以被传送给HMD设备86的用户50。
跟踪系统14可以从位于HMD设备36和/或计算设备22上的多个传感器808接收传感器数据46。传感器数据46可以在六个自由度(例如，x、y、z、俯仰、翻滚、偏航)上提供位置和方向信息。例如，多个传感器808可包括光学传感器和姿势传感器，如上所述。如以下参考图9更详细地讨论的，传感器808可包括用于在多至六个自由度上确定HMD设备36的位置、方向、和/或其他运动特性的任何合适数量的传感器和/或传感器的组合。
传感器数据46可以被提供给包括可以并行操作的两个单独的跟踪过滤器的跟踪和映射模块812。6DOF跟踪过滤器816可被配置成基于传感器数据46在六个自由度上输出包括HMD设备的位置和方向的估计姿势54。6DOF跟踪过滤器816的估计姿势54表示通常依赖于可见光或其他光学信息的高度准确和精确的旋转和平移姿势数据。具体地，可以基于环境的光学反馈相对于真实世界环境中的其他真实世界物体34来估计HMD设备36的平移姿势/位置。
此外，6DOF跟踪过滤器816可将真实世界环境映射到虚拟模型以便确定HMD设备36相对于其他真实世界物体34的位置。此外，在一些实施例中，可将光学信息与来自姿势传感器的信息组合使用，以便估计HMD设备36的旋转姿势/方向。如上所述，由于其对可见光的依赖，6DOF跟踪过滤器816可能高度依赖于HMD设备36所处的物理环境的环境条件。
3DOF跟踪过滤器820可被配置成基于姿势传感器的传感器数据46在三个自由度上输出与HMD设备36的方向相对应的估计姿势54。在一些实施例中，3DOF跟踪过滤器820的估计姿势54可基于来自不依赖于可见光或其他光学信息的各种传感器的传感器信息。
在六个自由度和/或三个自由度中的HMD设备36的估计的姿势54可以被提供给姿势过滤器824。姿势过滤器824可以被配置为分析和/或调节估计的姿势54。例如，来自传感器808的图像数据可以具有一个或多个特性，诸如在场景中的低纹理或图像模糊，这些特性产生了特征在图像中的特征的估计位置中的不精确性。姿势过滤器824可以分析这样的图像数据和其它传感器数据46以确定这样的数据的一个或多个输入不确信度值830。
如上所述，真实世界环境的各种因素和条件可以影响与传感器数据相关联的不确信度。这样的因素可以包括，但不局限于，真实世界物体的照明、场景深度、场景运动和特征密度。例如，包括许多运动的真实物体和/或人员的场景可能提高了与该场景的图像数据相关联的不确信度，并且可能因此使得可靠的6DOF跟踪更加困难。
在一个示例中，来自加速度计的加速数据可以被分析以确定平移组件的输入不确信度值830。另外，来自陀螺仪的旋转数据可以被分析以确定旋转组件的输入不确信度值830。姿势过滤器824可以利用几何平均、调和平均或任何其它合适的方法来确定这样的输入不确信度值830。在一些示例中，每个输入或维度的不确信度可以被表示为该维度的协方差。而且，姿势过滤器824可以以任何合适数目的维度来分析不确信度。
输入不确信度值830可以被映射到世界锁定显示模式体验的估计的质量等级804。例如，在六个自由度中的姿势估计的不确信度可以被表示为6x 6的协方差矩阵，该矩阵包括3个旋转分量和3个平移分量。在该矩阵中的对角线表示每个个别的轴的不确信度，而个别的轴表示三个旋转角度中的每个和三个平移方向中的每个。
各种协方差可以被折叠以产生单个协方差，单个协方差与质量等级阈值838和/或与多个质量等级842相比较以产生估计的质量等级804。这样的估计的质量等级804可以表示6x 6DOF世界锁定显示模式体验的估计的质量。跟踪系统14可以随后以反馈42的形式向用户50输出估计的质量等级804，如上所述。
如在图8中所示，在某个示例中，由跟踪系统14输出的估计的姿势54可以被回送到姿势过滤器824。以此方式，姿势过滤器824可以分析估计的姿势54以确定姿势的一个或多个姿势不确信度值850。类似于确定输入不确信度值830，可以为估计的姿势54创建协方差矩阵以确定给定的估计的姿势54的姿势不确信度值850。
在一些示例中，输入不确信度值830和姿势不确信度值850这两者都可被计算并被映射到估计的质量等级804。在其它示例中，输入不确信度值830可以被计算并被映射到估计的质量等级804，而不确定或使用姿势不确信度值850。可以在例如当操作3DOF跟踪过滤器820且不操作6DOF跟踪过滤器816时使用这些示例。在其它示例中，姿势不确信度值850可以被计算并被映射到估计的质量等级804，而不确定或使用输入不确信度值830。
将明白，输入不确信度值830、姿势不确信度值850、估计的姿势54和估计的质量等级804可以以任何合适的方式被确定，而不背离本公开的范围。例如，跟踪和映射模块812可以监视对跟踪系统14中的逐笔传感器数据输入，并且可以评估和调节在较长的时间段上的估计的姿势54和估计的质量等级834。
在一些实施例中，可以硬件实现跟踪系统，诸如包括各种逻辑块或管道阶段的处理流水线。在一些实施例中，跟踪系统可被实现为由处理器执行的软件指令。在一些实施例中，跟踪系统可被实现为硬件和软件的组合。
现在参考图9，提供了一副具有透明显示器的可配戴眼镜形式的HMD设备900的一个示例。将明白，在其他示例中，HMD设备900可以采取其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1-7中所示的HMD设备可采取HMD设备900的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。
HMD设备900包括显示系统902和使得诸如全息物体之类的图像能被递送到HMD设备的佩戴者的眼睛的透视或透明显示器904。透明显示器904可被配置成向透过该透明显示器查看物理环境的佩戴者在视觉上增强真实世界、物理环境的外观。例如，物理环境的外观可以由经由透明显示器904呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建增强现实环境。
透明显示器904还可被配置成使HMD设备的佩戴者能够透过显示虚拟物体表示的一个或多个部分透明的像素来查看物理环境中的物理、真实世界物体。如图9所示，在一个示例中，透明显示器904可包括位于镜片906内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器904可包括在镜片906边缘上的光调制器。在这一示例中，镜片906可以担当用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于物理环境内的佩戴者正在查看的3D全息图像，同时还允许佩戴者查看物理环境中的物理物体，由此创建增强现实环境。
HMD设备900还可包括各种传感器和相关系统。例如，HMD设备900可包括包含配置成获取来自佩戴者的眼睛的注视跟踪数据形式的图像数据的一个或多个图像传感器的注视跟踪系统908。假定佩戴者已同意获取和使用这一信息，注视跟踪系统908可以使用这一信息来跟踪佩戴者的眼睛的位置和/或运动。
在一个示例中，注视跟踪系统908包括被配置成检测佩戴者的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只佩戴者眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从佩戴者的每一只眼睛的角膜反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉佩戴者的眼睛的图像。
如从收集自图像传感器的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。使用这一信息，注视跟踪系统908随后可确定佩戴者的注视方向。作为补充或替换，注视跟踪系统908可确定佩戴者注视哪一物理或虚拟物体。此类注视跟踪数据然后可被提供给HMD设备900。
还将理解，注视跟踪系统908可以具有任意适当数量和布置的光源和图像传感器。例如并参考图9，HMD设备900的注视跟踪系统908可以利用至少一个面向内的传感器910。
HMD设备900还可包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备900还可包括利用一个或多个姿势传感器(诸如HMD设备900上的姿势传感器914)来捕捉头部姿势数据并从而允许佩戴者头部的位置跟踪、方向/位置以及方向感测和/或运动检测的头部跟踪系统912。因此，并如上所述，图8的跟踪系统14可从姿势传感器914接收传感器数据，该姿势传感器允许在三个自由度上估计HMD设备900的方向或在六个自由度上估计HMD设备的位置和方向。
在一个示例中，头部跟踪系统912可包括配置成三轴或三自由度的位置传感器系统的惯性测量单元(IMU)。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备900在3D空间内绕三个正交轴(例如，x、y和z，或俯仰、翻滚和偏航)的方向中的变化的三个陀螺仪。从IMU的传感器信号导出的方向可被用于经由透明显示器904来显示具有身体锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于透视显示器的佩戴者是看起来固定的，而每个虚拟物体的位置相对于物理环境中的真实世界物体是看起来可移动的。
在另一示例中，头部跟踪系统912可包括配置成六轴或六自由度的位置传感器系统的IMU。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备900沿三个正交轴的位置变化和绕该三个正交轴的设备方向变化的三个加速度计和三个陀螺仪。
头部跟踪系统912还可以支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿势和/或移动数据可以基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。
在一些实例中，HMD设备900还可包括利用一个或多个面向外的传感器来捕捉图像数据的可任选传感器系统，诸如HMD设备900上的光学传感器916。面向外的传感器可以检测其视野内的移动，如视野内的佩戴者或人或物理物体所执行的基于姿势的输入或其他移动。该面向外的传感器还可从物理环境和该环境内的物理物体捕捉2D图像信息和深度信息。例如，该面向外的传感器可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。例如，照明可由红外光源918提供。可以理解，在本公开的范围内可使用任意其他合适的深度相机。
面向外的传感器可捕捉HMD设备的佩戴者位于其中的物理环境的图像。参考HMD设备900，在一个示例中，增强现实显示程序可包括使用这样的所捕捉的图像来生成对HMD设备的佩戴者周围的物理环境进行建模的虚拟环境的3D建模系统。在一些实施例中，光学传感器916可与IMU合作以在六个自由度上确定HMD设备900的位置和方向。这样的位置和方向信息可被用于经由透明显示器904来以世界锁定位置显示一个或多个虚拟物体，其中每个虚拟物体的位置相对于通过透明显示器可见的真实世界物体是看起来固定的，而每个虚拟物体的位置相对于透视显示器的佩戴者是看起来可移动的。
HMD设备900还可包括话筒系统，该话筒系统包括捕捉音频数据的一个或多个话筒，诸如话筒920。在其他示例中，音频可经由一个或多个扬声器(诸如HMD设备900上的扬声器922)被呈现给佩戴者。
HMD设备900还可包括控制器，诸如控制器924。该控制器924可包括与HMD设备900的各传感器和系统通信的逻辑机和存储机，如下文参考图11更详细地讨论的。在一个示例中，存储机可包括能由逻辑机执行以接收来自传感器的信号输入、确定HMD设备900的姿势、以及调整通过透明显示器90所显示的内容的显示属性的指令。
图10A和10B示出根据本公开的一实施例的用于向HMD设备的用户传送世界锁定显示模式的估计的质量等级的方法1000的流程图。参考以上描述并在图1-9中示出的增强现实系统10的软件和硬件组件来提供方法1000的以下描述。可以理解，方法1000还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图10A，在1004处，方法1000可以包括从头戴式显示设备的一个或多个传感器接收传感器数据。在1008，方法1000可包括使用传感器数据，确定头戴式显示设备的估计的姿势。在1012，方法1000可以包括使用估计的姿势，通过头戴式显示设备以世界锁定显示模式或以身体锁定显示模式来显示一个或多个虚拟物体。在1016，方法1000可以包括确定所述传感器数据的输入不确信度值以及估计的姿势的姿势不确信度值中的一个或多个。在1020，确定输入不确信度值和姿势不确信度值中的一个或多个的步骤可以包括分析图像数据以查找现实世界物体的照明、场景深度、场景运动、特征密度、用户的头发、用户的手和用户戴的帽子中的一个或多个。
在1024，方法1000可以包括将输入不确信度值以及姿势不确信度值中的一个或多个映射到世界锁定显示模式的估计的质量等级。在1028，方法1000可以包括将所估计的质量等级的反馈通过头戴式显示设备传送给用户。在1032，方法1000可以包括通过头戴式计算设备显示所估计的质量等级的一个或多个图形表示。在1036，方法1000可以包括通过改变经由头戴式显示设备可见的视野的外观来传送所估计的质量等级的反馈。在1040，方法1000可以包括通过改变一个或多个虚拟物体的外观来传送所估计的质量等级的反馈。
在1044，方法1000可以包括通过将估计的质量等级提供给使用世界锁定显示模式和身体锁定显示模式的应用来传送估计的质量等级的反馈。在1048，方法1000可以包括将所估计的质量等级的反馈通过所述应用和HMD设备传递给用户。在1052，方法1000可以包括阻止传送所估计的质量等级的反馈，直到接收到调用世界锁定显示模式的用户输入。
现在参考图10B，在1056处，方法1000可以包括当估计的质量等级在质量等级阈值之下时禁用世界锁定显示模式。在1060，方法1000可以包括确定输入不确信度值并且不确定姿势不确信度值。在1064，方法1000可以包括将输入不确信度值映射到估计的质量等级。在1068，方法1000可以包括确定姿势不确信度值并且不确定输入不确信度值。在1072，方法1000可以包括将姿势不确信度值映射到估计的质量等级。
上述方法1000可以被执行以通过由HMD设备提供的一种或多种反馈形式通知用户世界锁定显示模式的估计的质量等级。以此方式，可以为用户提供更加丰富和更加信息性的增强现实用户体验。
能够理解，方法1000是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法1000可包括相比于图10A和10B中示出的那些步骤而言附加的和/或替换的步骤。并且，可以理解，方法1000可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法1000中省略，而不背离本发明的范围。
图11示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1100的非限制性实施例。以简化形式示出了计算系统1100。计算系统1100可采取以下形式：一个或多个HMD设备、或与HMD设备合作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备)。
计算系统1100包括逻辑机1102和存储机1104。计算系统1100可任选地包括显示子系统1106、输入子系统1108、通信子系统1110和/或在图11中未示出的其他组件。计算系统1100还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑机1102包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机1104包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机1104的状态(例如，保存不同的数据)。
存储机1104可以包括可移动和/或内置设备。存储机1104可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机1104可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机1104包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
逻辑机1102和存储机1104的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在被包括时，显示子系统1106可用于呈现由存储机1104保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统1106的状态以视觉地表示底层数据的改变。显示子系统1106可包括实际上利用任何类型的技术的一个或多个显示设备，诸如图9中所示的HMD设备900的透明显示器904。可将此类显示设备与逻辑机1102和/或存储器机1104组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入子系统1108时，输入子系统1108可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图9的头部跟踪系统912描述的传感器中的任一者；和/或任何其他合适的传感器。
当包括通信子系统1110时，通信子系统1110可被配置成将计算系统1100与一个或多个其他计算设备通信地耦合。通信子系统1110可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1100经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
术语“程序”和“模块”可用于描述被实现来执行一个或多个特定功能的增强现实系统10的一个方面。在某些情况下，可以通过执行由存储机1104所保持的指令的逻辑机1102来实例化此类程序或模块。可以理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的程序和模块。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一程序或模块。术语“程序”和“模块”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种用于向头戴式显示设备的用户传送世界锁定显示模式的估计质量等级的方法，在所述世界锁定显示模式中，一个或多个虚拟物体的位置相对于通过所述头戴式显示设备可观看的真实世界物体来说看起来是固定的，所述方法包括：
从所述头戴式显示设备的一个或多个传感器接收传感器数据；
使用所述传感器数据，确定所述头戴式显示设备的估计的姿势；
使用所述估计的姿势，通过所述头戴式显示设备要么以所述世界锁定显示模式要么以身体锁定显示模式来显示所述一个或多个虚拟物体，在所述身体锁定显示模式中，每个虚拟物体的位置相对于所述头戴式显示设备的所述用户来说看起来是固定的；
确定所述传感器数据的输入不确信度值以及所述估计的姿势的姿势不确信度值中的一个或多个；
将所述输入不确信度值以及所述姿势不确信度值中的一个或多个映射到所述世界锁定显示模式的所述估计的质量等级；以及
将所述估计的质量等级的反馈通过所述头戴式显示设备传送给所述用户。
2.如权利要求1所述的方法，其特征在于，传送所述估计的质量等级的反馈还包括通过所述头戴式计算设备显示所述估计的质量等级的一个或多个图形表示。
3.如权利要求2所述的方法，其特征在于，显示所述一个或多个图形表示包括改变通过所述头戴式显示设备可见的视野的外观。
4.如权利要求2所述的方法，其特征在于，显示所述一个或多个图形表示包括改变所述一个或多个虚拟物体的外观。
5.如权利要求1所述的方法，其特征在于，传送所述估计的质量等级的反馈还包括：
将所述估计的质量等级提供给使用所述世界锁定显示模式和所述身体锁定显示模式的应用；以及
将所述估计的质量等级的反馈通过所述应用和所述头戴式显示设备传递给所述用户。
6.一种在操作上连接到计算设备的头戴式显示设备，所述头戴式显示设备包括：
由所述计算设备的处理器执行的跟踪系统，所述跟踪系统被配置成：
从所述头戴式显示设备的一个或多个传感器接收传感器数据；
使用所述传感器数据，确定所述头戴式显示设备的估计的姿势；
确定所述传感器数据的输入不确信度值以及所述估计的姿势的姿势不确信度值中的一个或多个；
将所述输入不确信度值以及所述姿势不确信度值中的一个或多个映射到世界锁定显示模式的估计的质量等级，在所述世界锁定显示模式中，一个或多个虚拟物体的位置相对于通过所述头戴式显示设备可观看的真实世界对象来说看起来是固定的；
通过所述头戴式显示设备将所述估计的质量等级的反馈传送给所述用户；以及
由所述计算设备的处理器执行的显示程序，所述显示程序被配置为：使用所述估计的姿势，要么以所述世界锁定显示模式要么以身体锁定显示模式来显示所述一个或多个虚拟物体，在所述身体锁定显示模式中，每个虚拟物体的位置相对于所述头戴式显示设备的所述用户来说看起来是固定的。
7.如权利要求6所述的头戴式显示设备，其特征在于，所述跟踪系统被配置为通过阻止传送所述估计的质量等级的反馈，直到接收到调用所述世界锁定显示模式的用户输入，来传送所述反馈。
8.如权利要求6所述的头戴式显示设备，其特征在于，所述跟踪系统被进一步配置为当所述估计的质量等级在质量等级阈值之下时禁用所述世界锁定显示模式。
9.如权利要求6所述的头戴式显示设备，其特征在于，所述跟踪系统被配置为：
确定所述姿势不确信度值并且不确定所述输入不确信度值；以及
将所述姿势不确信度值映射到所述估计的质量等级。
10.如权利要求6所述的头戴式显示设备，其特征在于，所述跟踪系统被配置为：
确定所述输入不确信度值和所述姿势不确信度值；以及
将所述输入不确信度值和姿势不确信度值两者均映射到所述估计的质量等级。
CN201580021847.0A 2014-05-01 2015-04-30 世界锁定显示质量反馈 Active CN106255939B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/267,625 US9430038B2 (en) 2014-05-01 2014-05-01 World-locked display quality feedback
US14/267,625 2014-05-01
PCT/US2015/028382 WO2015168343A1 (en) 2014-05-01 2015-04-30 World-locked display quality feedback

Publications (2)

Publication Number Publication Date
CN106255939A true CN106255939A (zh) 2016-12-21
CN106255939B CN106255939B (zh) 2019-08-27

Family

ID=53181343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021847.0A Active CN106255939B (zh) 2014-05-01 2015-04-30 世界锁定显示质量反馈

Country Status (11)

Country Link
US (1) US9430038B2 (zh)
EP (1) EP3137976B1 (zh)
JP (1) JP2017516250A (zh)
KR (1) KR20160148557A (zh)
CN (1) CN106255939B (zh)
AU (1) AU2015253096A1 (zh)
BR (1) BR112016024343A2 (zh)
CA (1) CA2946582A1 (zh)
MX (1) MX2016014098A (zh)
RU (1) RU2016142613A (zh)
WO (1) WO2015168343A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10218882B2 (en) 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
WO2017122270A1 (ja) * 2016-01-12 2017-07-20 サン電子株式会社 画像表示装置
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
JP6987797B2 (ja) 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
EP3943888A1 (en) 2016-08-04 2022-01-26 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
GB2555838A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
KR102633595B1 (ko) * 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
EP3376163A1 (en) * 2017-03-15 2018-09-19 Essilor International Method and system for determining an environment map of a wearer of an active head mounted device
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
CN110573917B (zh) * 2017-04-24 2022-08-23 奇跃公司 跟踪反向散射的激光斑点图案的光流
EP3399398B1 (en) 2017-05-02 2022-04-13 Nokia Technologies Oy An apparatus and associated methods for presentation of spatial audio
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10614308B2 (en) * 2017-05-30 2020-04-07 Edx Technologies, Inc. Augmentations based on positioning accuracy or confidence
EP3646058A4 (en) * 2017-06-30 2020-12-02 Kaarta, Inc. SYSTEMS AND METHODS FOR IMPROVING SCAN AND IMAGING
CN107742512B (zh) * 2017-11-07 2020-09-01 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
ES2962152T3 (es) 2017-12-15 2024-03-15 Ericsson Telefon Ab L M Determinar la pose del contenido de una pieza de contenido virtual
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
EP3547080B1 (en) * 2018-03-27 2024-01-24 Nokia Technologies Oy Rendering anchored objects in a scene
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
EP3803688A4 (en) * 2018-06-05 2021-08-04 Magic Leap, Inc. MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
CN109218709B (zh) * 2018-10-18 2022-02-15 北京小米移动软件有限公司 全息内容的调整方法及装置和计算机可读存储介质
US10768695B2 (en) 2019-02-01 2020-09-08 Facebook Technologies, Llc Artificial reality system having adaptive degrees of freedom (DOF) selection
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
WO2021154558A1 (en) * 2020-01-27 2021-08-05 Magic Leap, Inc. Augmented reality map curation
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
WO2022159639A1 (en) * 2021-01-20 2022-07-28 Apple Inc. Methods for interacting with objects in an environment
EP4047558A1 (en) * 2021-02-17 2022-08-24 Miehee Ju Kim System for generating 3d mobile augmented reality
US20230045759A1 (en) * 2021-08-04 2023-02-09 Meta Platforms Technologies, Llc 3D Calling Affordances
US11676329B1 (en) 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture
WO2024064180A1 (en) * 2022-09-23 2024-03-28 Apple Inc. User interfaces that include representations of the environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232727A1 (en) * 2007-05-22 2010-09-16 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
CN102449576A (zh) * 2009-05-29 2012-05-09 微软公司 姿势快捷方式
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6997882B1 (en) 2001-12-21 2006-02-14 Barron Associates, Inc. 6-DOF subject-monitoring device and method
US7135992B2 (en) 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
CN103582893B (zh) 2011-06-08 2017-10-13 英派尔科技开发有限公司 用于增强现实表示的二维图像获取
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
HUP1200013A2 (en) 2012-01-06 2013-07-29 Leonar3Do Internat Zrt System and method for 3 dimension display
WO2014179745A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232727A1 (en) * 2007-05-22 2010-09-16 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
CN102449576A (zh) * 2009-05-29 2012-05-09 微软公司 姿势快捷方式
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces

Also Published As

Publication number Publication date
WO2015168343A1 (en) 2015-11-05
MX2016014098A (es) 2017-02-09
US9430038B2 (en) 2016-08-30
AU2015253096A1 (en) 2016-10-27
EP3137976A1 (en) 2017-03-08
JP2017516250A (ja) 2017-06-15
US20150317832A1 (en) 2015-11-05
KR20160148557A (ko) 2016-12-26
CN106255939B (zh) 2019-08-27
BR112016024343A2 (pt) 2017-08-15
RU2016142613A (ru) 2018-05-04
EP3137976B1 (en) 2017-11-15
CA2946582A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
CN106255939A (zh) 世界锁定显示质量反馈
US11210808B2 (en) Systems and methods for augmented reality
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
CN104885144B (zh) 混合现实显示调节
US11810226B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
US9495008B2 (en) Detecting a primary user of a device
CN106462733B (zh) 一种用于视线检测校准的方法和计算设备
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
CN105144022B (zh) 头戴式显示器资源管理
US10147232B2 (en) Method and apparatus for selectively presenting content
CN108369449A (zh) 第三方全息门户
CN103760973B (zh) 增强现实的信息细节
CN106462232A (zh) 在动态环境中确定坐标框架
CN106575357A (zh) 瞳孔检测
CN106104423A (zh) 姿势参数调节
CN106415671A (zh) 用于呈现与真实对象相关的数字信息的方法和系统
CN105050670A (zh) 混合现实体验共享
CN106489171A (zh) 立体图像显示器
CN103761763B (zh) 用于使用预先计算的光照构建增强现实环境的方法
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11729573B2 (en) Audio enhanced augmented reality
US11240482B2 (en) Information processing device, information processing method, and computer program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant