CN106255943B - 身体锁定增强现实与世界锁定增强现实之间的转换 - Google Patents

身体锁定增强现实与世界锁定增强现实之间的转换 Download PDF

Info

Publication number
CN106255943B
CN106255943B CN201580023831.3A CN201580023831A CN106255943B CN 106255943 B CN106255943 B CN 106255943B CN 201580023831 A CN201580023831 A CN 201580023831A CN 106255943 B CN106255943 B CN 106255943B
Authority
CN
China
Prior art keywords
display
see
dummy
objects
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580023831.3A
Other languages
English (en)
Other versions
CN106255943A (zh
Inventor
M·J·伊比斯特尼
F·斯查法里兹基
S·拉塔
P·A·雷让德
D·斯蒂里
A·基普曼
E·伊德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106255943A publication Critical patent/CN106255943A/zh
Application granted granted Critical
Publication of CN106255943B publication Critical patent/CN106255943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

公开了与控制透视显示器相关的各种实施例。在一个实施例中，虚拟物体可被显示于所述透视显示器上。基于各种转换事件，所述虚拟物体在身体锁定的位置与世界锁定的位置之间进行转换。

Description

身体锁定增强现实与世界锁定增强现实之间的转换
背景
各种技术可允许用户体验真实现实和虚拟现实的混合。例如，诸如各种头戴式显示(HMD)设备之类的一些显示设备可包括允许将虚拟物体叠加在真实世界环境上的透视显示器。当HMD设备的佩戴者通过透视显示器观看时，虚拟物体可看起来与真实世界环境结合。虚拟物体与真实世界环境之间的这种关系可被称为增强现实。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
公开了与控制透视显示器相关的各种实施例。在一个实施例中，可经由透视显示器显示虚拟物体。基于各种转换事件，虚拟物体在世界锁定的位置与身体锁定的位置之间转换。世界锁定位置相对于通过透视显示器可见的真实世界物体而言看起来是固定的，而每个虚拟物体的所述世界锁定位置相对于所述透视显示器的佩戴者而言看起来是可移动的。身体锁定位置相对于所述透视显示器的佩戴者而言看起来是固定的，而每个虚拟物体的所述身体锁定位置相对于所述真实世界物体而言看起来是可移动的。
附图简述
图1和2示出了根据本公开的一实施例的具有世界锁定位置的多个虚拟物体。
图3和4示出了根据本公开的一实施例的具有身体锁定位置的多个虚拟物体。
图5示出了根据本公开的一实施例的作为具有世界锁定位置的体积全息图的多个虚拟物体。
图6示出了根据本公开的一实施例的显示在具有身体锁定位置的屏幕视口中的多个虚拟物体。
图7示意性地示出了根据本公开的一实施例的头戴式显示设备的示例跟踪系统。
图8示出了根据本公开的一实施例的用于控制透视显示器的示例方法。
图9示出了根据本公开的一实施例的头戴式显示设备的示例。
图10示意性地示出了根据本公开的一实施例的计算系统的示例。
详细描述
本说明书涉及控制头戴式显示(HMD)设备的透视显示器，以便提供具有始终如一的操作质量的沉浸式增强现实体验。更为具体地，本说明书涉及控制透视显示器设备以便在与两个不同的显示模式相关联的两个不同的跟踪系统之间无缝转换的同时，创建单一体验。
在第一显示模式中，一个或多个虚拟物体可被显示于透视显示器上，具有世界锁定位置。虚拟物体的世界锁定位置相对于通过透视显示器可见的真实世界物体而言看起来是固定的，而每个虚拟物体的世界锁定位置相对于透视显示器的佩戴者而言看起来是可移动的。第一显示模式可与在六个自由度(例如，x、y、z、俯仰、翻滚、偏航)上估计HMD设备的位置和定向的第一跟踪器相关联。例如，可使用来自光学传感器和不仅仅依赖于光学信息的其他姿态传感器(诸如加速度计、陀螺仪、磁力计、或在通过使用一个或多个先前确定的位置/定向和在指定时间段上的已知或估计的变化对当前位置/定向进行推导计算时使用的其他传感器)的组合的信息来确定六个自由度的估计。光学传感器可提供HMD设备所处的真实世界环境的光学特征的反馈。由于依赖于光照条件和真实世界环境的光学特征来提供反馈，光学传感器可能是复杂的且结果可能不总是可靠的。然而，当条件适合于提供精确反馈时，由第一显示模式提供的增强现实体验可能是极其丰富和引人注目的。
如果条件不适于以第一显示模式始终如一地显示具有世界锁定位置的虚拟物体，则HMD设备可转换成以第二显示模式操作。在第二显示模式中，一个或多个虚拟物体可被显示于透视显示器上，具有身体锁定位置。虚拟物体的身体锁定位置相对于透视显示器的佩戴者而言看起来是固定的，而每个虚拟物体的身体锁定位置相对于真实世界物体而言看起来是可移动的。第二显示模式可与和第一跟踪器并行操作的第二跟踪器相关联。第二跟踪器在三个自由度(例如，俯仰、翻滚、偏航)上估计HMD设备的定向。例如，可使用来自不依赖于光学反馈的姿态传感器的信息来确定三个自由度中的估计。因此，在第一跟踪器可能提供降级的增强现实体验的条件期间，第二跟踪器可始终如一地操作。
通过使用被构建于单个HMD设备中的多个跟踪技术，即使在环境条件改变，也可经由显示模式之间的转换来始终如一地提供高质量的增强现实体验。在其他方法中，当环境条件未向单个跟踪器提供足够的数据来支持跟踪和映射时，这样的设备完全不能提供始终如一的高质量的增强现实体验。
图1-6从HMD设备的佩戴者104的视角示出了虚拟物体被显示于HMD设备102的透视显示器100上的不同场景。更为具体地，这些不同场景示出了HMD设备基于真实世界环境的条件以不同的显示模式操作。图1和2示出了真实世界环境106的条件适于HMD设备102以第一显示模式操作的示例场景，其中多个虚拟物体(例如，视频板1、2、3)以世界锁定位置被显示在透视显示器100中。具体地，真实世界环境106是具有各种光学特征(诸如桌子、门道等)的房间，这些光学特征可提供合适的反馈以便在六个自由度上提供对HMD设备的位置和定向的精确跟踪和映射。这样的在六个自由度上的跟踪允许视频板具有真实世界环境中的世界锁定位置。
在图1中，相对于HMD设备102的佩戴者104的位置和定向，第一视频板108看起来像被悬挂在房间106的左侧墙壁110上。相对于HMD设备102的佩戴者104的位置和定向，第二视频板112看起来像被悬挂在房间106的正面墙壁114上。相对于HMD设备102的佩戴者104的位置和定向，第三视频板116看起来像被悬挂在右侧墙壁118上。
在图2中，HMD设备102的佩戴者104已向左旋转，使得他/她正面向墙壁110，并且HMD设备的位置和定向改变。然而，由于HMD设备以第一显示模式操作，并且视频板具有世界锁定位置，所以相对于通过透视显示器可见的其他真实世界物体，第一视频板108看起来像是固定在墙110上。类似地，相对于通过透视显示器可见的其他真实世界物体，第二视频板112看起来像是固定在墙114上。相应地，第一和第二视频板中的每一个的世界锁定位置看上去相对于透视显示器的佩戴者移动。
将会理解，HMD设备可在透视显示器上显示任何合适数量的视频板作为具有世界锁定位置的虚拟物体。将会理解，视频板可呈现任何合适的视频或其他图像。例如，视频板可呈现一个或多个网页、电子邮件应用、天气报告、电视、新闻、照片等。
此外，将会理解，多个视频板可位于房间内的任何合适的世界锁定位置。在一些实施例中，可根据预定义的视觉布局来显示多个视频板。在一些实施例中，预定义的视觉布局可以是因场所而异的。例如，跟踪系统的光学反馈可被使用以便识别出真实世界环境是特定场所，诸如佩戴者的办公室。根据因场所而异的视觉布局，多个视频板可被放置在办公室内的特定位置。另一方面，如果真实世界环境未被识别，则可根据默认的视觉布局来放置多个视频板。在其他实施例中，视觉布局可以是独立于场所的，并且在以第一显示模式操作的同时，视频板可被显示于任何场所中的相同的世界锁定位置中。
图3和图4示出了真实世界环境的条件改变导致HMD设备102从以第一显示模式操作转换到以第二显示模式操作的转换事件的示例场景。在这种情况下，当HMD设备的佩戴者穿过图1和图2所示的房间106的门道并进入走廊300时发生转换事件。例如，转换事件可基于在六个自由度上对HMD设备的位置和定向的估计不满足质量度量而发生。在一个示例中，被用于执行该估计的传感器信息可能不可用。在另一个示例中，该估计可能不具有足够的置信度。
在第二显示模式中，多个视频板可被显示于透视显示器100上，具有身体锁定位置。例如，多个视频板可按球面工作空间布局出现，其中HMD设备102的佩戴者104站在球体的中心，而多个视频板围绕着他/她。在一些实施例中，可根据预定义的视觉布局来安排多个视频板。在一个特定示例中，新闻应用可被显示在左侧的第一视频板中，电子邮件应用可被显示在中间的第二视频板中，而股票行情应用可被显示在右侧的第三视频板中。
在一些实施例中，虚拟物体可经由动画通过一系列图像帧从世界锁定位置视觉地转换到身体锁定位置。例如，当佩戴者离开房间并进入走廊时，视频板可看起来突然从墙壁上的世界锁定位置飞出并转换到球面工作空间中的身体锁定位置。飞行动画对HMD设备的佩戴者而言看起来像是简化显示模式中的转换的自然动作。
在图3中，HMD设备102的佩戴者104正站在走廊300的一端，紧邻房间106的门道。多个视频板以身体锁定位置被显示在透视显示器100上，这些身体锁定位置相对于佩戴者而言看起来是固定的而相对于诸如门道之类的真实世界物体而言看起来是可移动的。
在图4中，HMD设备102的佩戴者104已经走到了走廊300的另一端并且正站在另一门道前面。由于多个视频板以身体锁定位置被显示在透视显示器100上，所以即使当佩戴者104沿着走廊走时，该多个视频板相对于他/她而言保持固定。换言之，板随佩戴者移动。多个视频板可按身体锁定位置被显示在透视显示器100上，直到导致转换成第一显示模式的转换事件发生，届时该多个视频板可转换到世界锁定位置。例如，当六个自由度中的跟踪再次变得可用时，该多个板可视觉地转换离开身体锁定位置并以预定义的视觉布局附连到HMD设备的佩戴者的周围的墙壁。视觉转换可包括动画，诸如视觉板看起来像从球面工作空间飞出到墙壁并沿途放大，使得在视频板中呈现的内容在世界锁定位置仍可被看到。
图5和图6示出了多个虚拟物体以第一显示模式被示于3D视图中，并然后视觉地转换成第二显示模式中的2D视图的示例场景。在图5中，HMD设备102以第一显示模式操作，其中采用体积全息图(例如，3D网格)形式的多个虚拟物体500可以以3D视图被显示于透视显示器100上。体积全息图可具有真实世界环境(例如，房间)502中的世界锁定位置，并且可看起来在真实世界环境内占据一定体积。
在图6中，HMD设备102的佩戴者104已经穿过房间502的门道并进入走廊504，这导致转换事件发生，其中HMD设备102从第一显示模式转换到第二显示模式。响应于转换事件，体积网格从3D视图视觉地转换到2D视图。具体地，体积网格可折叠成视频板506的2D视图。该视频板可以是虚拟物体所栖身的虚拟世界的屏幕视口。视频板506可具有身体锁定位置，并且虚拟物体可在视频板中描绘的虚拟世界内移动。
在一些实施例中，响应于转换事件，HMD设备可捕获真实世界环境的图像并在视频板中显示该图像。此外，根据转换事件发生之前的最后已知的观察点，虚拟物体可在图像中被示于它们相应的真实世界位置中。
此外，当后来的转换事件发生时(例如，当六个自由度上的跟踪再次变得可用时)，视频板可扩展成重新填充房间(或HMD设备的另一当前真实世界场所)，并且视频板中的虚拟物体的图像可扩展成真实世界环境中具有世界锁定位置的体积全息图。
图7示意性地示出根据本公开的一实施例的HMD设备的示例跟踪系统700。跟踪系统700可被配置成基于真实世界环境的条件为HMD设备选择适当的显示模式。跟踪系统700可包括在六个自由度(例如，x、y、z、俯仰、翻滚、偏航)上提供位置和定向信息704的多个传感器702。例如，多个传感器可包括光学传感器和姿态传感器。姿态传感器可不依赖于光学信息来确定定向。姿态传感器的非限制性示例包括加速度计、陀螺仪、磁力计或在对当前位置/定向进行推导计算时使用的其他传感器。传感器信息可被发送到并行操作的两个分开的跟踪过滤器。如以下参考图9更详细地讨论的，传感器702可包括用于在多至六个自由度上确定HMD设备的位置、定向、和/或其他运动特征的任何合适数量的传感器和/或传感器的组合。
第一跟踪过滤器706可被配置成基于传感器信息704输出在六个自由度上的HMD设备的位置和定向的估计710。第一跟踪过滤器706的估计710表示通常依赖于可见光或其他光学信息的高度准确和精确的旋转和平移姿态数据。具体地，可以基于环境的光学反馈相对于真实世界环境中的其他物体来估计HMD设备的平移姿态/位置。此外，真实世界环境可被映射到虚拟模型以便确定HMD设备相对于其他真实世界物体的位置。此外，在一些实施例中，可将光学信息与来自姿态传感器的信息组合使用，以便估计HMD设备的旋转姿态/定向。由于对可见光的依赖，第一跟踪过滤器的操作可能高度依赖于HMD设备所处的物理环境的环境条件。
第二跟踪过滤器708可被配置成基于姿态传感器的传感器信息704输出在三个自由度上的HMD设备的定向的估计712。在一些实施例中，第二跟踪器的估计可基于来自不依赖于可见光或其他光学信息的各种传感器的传感器信息。
在六个自由度上的HMD设备的位置和定向的估计710和在三个自由度上的HMD设备的定向的估计712可被提供给质量监视器714。质量监视器714可被配置成确定估计710和712是否满足关于精确性和可用性的质量度量。例如，质量度量可包括将估计与预期值进行比较，以便确定估计是否在指定的精确性阈值内。如果估计在精确性阈值内，则估计可满足质量度量。否则，估计可能不满足质量度量。在另一示例中，质量监视器可确定传感器信息是否是从用于产生估计的特定传感器接收的，并且如果传感器信息不可用，则估计可能不满足质量度量。
将会理解，可以以任何合适的方式确定估计是否满足质量度量而不背离本公开的范围。例如，质量监视器可负责监视输入到跟踪系统中的逐笔(tick-by-tick)传感器信息以及评估更长时间段上的估计，以便确定充分的质量降级。如果跟踪质量在HMD设备的佩戴者可感知的持续时间内充分或一致地降级，则质量监视器可引起导致显示模式的转换的质量降级事件。
质量监视器716可将跟踪质量信息输出到显示模式选择器718。例如，跟踪质量信息可包括关于估计710和712中的每一个是否精确或者是否满足质量度量的确定。显示模式选择器718可基于跟踪质量信息来选择用于操作的显示模式720。具体地，显示模式选择器718可选择在世界锁定显示模式下操作，其中，如果在六个自由度上对HMD设备的位置和定向的估计满足质量度量，则虚拟物体以世界锁定位置被显示在透视显示器上。否则，显示模式选择器选择在身体锁定显示模式下操作，其中虚拟物体以身体锁定位置被显示在透视显示器上。在一些实施例中，除了基于估计的质量之外，显示模式选择器可基于条件和/或事件来选择显示模式。例如，显示模式选择器可响应于诸如佩戴者发起的操作中转换之类的转换事件来转换显示模式。
在一些实施例中，跟踪系统可以硬件实现，诸如包括各种逻辑块或管道级(stage)的处理流水线。在一些实施例中，跟踪系统可被实现为由处理器执行的软件指令。在一些实施例中，跟踪系统可被实现为硬件和软件的组合。
图8示出了根据本公开的一实施例的用于控制透视显示器的示例方法。例如，方法800可由图9中示出的HMD设备900来执行。在另一示例中，方法800可由图10中示出的计算系统1000来执行。
在802，方法800可包括经由透视显示器显示具有世界锁定位置的一个或多个虚拟物体。每个虚拟物体的世界锁定位置相对于通过透视显示器可见的真实世界物体而言可看起来是固定的，而每个虚拟物体的世界锁定位置相对于透视显示器的佩戴者而言可看起来是可移动的。
在804，方法800可包括确定转换事件是否发生。转换事件可包括从在六个自由度上跟踪透视显示器的位置和定向到在三个自由度上跟踪透视显示器的定向的转换。例如，如上所讨论的，基于头戴式显示设备在六个自由度上的位置和定向不满足质量度量，转换事件可发生或转换可被执行。如果确定存在转换事件，则方法800移至806。否则，方法800返回802。
在一些实施例中，在806，方法800可包括经由动画通过一系列图像帧将所述一个或多个虚拟物体从世界锁定位置视觉地转换到身体锁定位置。
在一个特定示例中，采用处于世界锁定位置地视频板形式的多个虚拟物体可看起来像悬挂在房间的不同墙壁上。透视显示器的佩戴者可能离开房间去往其中六个自由度上的跟踪不可用的另一场所，并因此引起转换事件。响应于该转换事件，所述多个视频板可转换成身体锁定位置，从而看起来像漂浮在透视显示器的佩戴者周围的球面工作空间。具体地，经由动画，所述多个视频板可以看起来像从不同的墙壁飞出并且飞入球面工作空间中的预定义布局中。换言之，当佩戴者离开房间时，板随佩戴者一起移动。
在一些实施例中，在808，方法800可包括将一个或多个物体从一个或多个虚拟物体的3D视图视觉地转换到该一个或多个虚拟物体的2D视图。
在一个特定示例中，采用处于世界锁定位置的体积全息图(例如，3D网格)形式的多个虚拟物体可看起来遍及房间。透视显示器的佩戴者可能离开房间去往其中六个自由度上的跟踪不可用的另一场所，并因此引起转换事件。响应于该转换事件，可经由动画将所述多个体积全息图折叠到采用身体锁定位置的视频板。视频板可以是进入虚拟物体的虚拟世界的屏幕视口(例如，2D视图)。当佩戴者离开房间时，采用身体锁定位置的视频板可随佩戴者一起移动。
在810，方法800可包括经由透视显示器显示具有身体锁定位置的一个或多个虚拟物体。每个虚拟物体的身体锁定位置相对于透视显示器的佩戴者而言可看起来是固定的，而每个虚拟物体的身体锁定位置相对于真实世界物体而言可看起来是可移动的。
在812，方法800可包括确定转换事件是否发生。转换事件可包括从在三个自由度上跟踪透视显示器的定向到在六个自由度上跟踪透视显示器的位置和定向的转换。例如，如上所讨论的，基于头戴式显示设备在六个自由度上的位置和定向满足质量度量，转换事件可发生或转换可被执行。如果确定存在转换事件，则方法800移至814。否则，方法800返回810。
在一些实施例中，在814，方法800可包括经由动画通过一系列图像帧将所述一个或多个虚拟物体从身体锁定位置视觉地转换到世界锁定位置。
在一个特定示例中，采用处于身体锁定位置的视频板形式的多个虚拟物体可出现在围绕透视显示器的佩戴者的球面工作空间中。透视显示器的佩戴者可能从另一场所进入房间，这导致在六个自由度上的跟踪变得可用，并因此引起转换事件。响应于该转换事件，所述多个视频板可转换到房间的不同墙壁上的世界锁定位置。具体地，经由动画，所述多个视频板可看起来像从球面工作空间飞到不同的墙壁。
在一些实施例中，在816，方法800可包括将一个或多个物体从一个或多个虚拟物体的2D视图视觉地转换到该一个或多个虚拟物体的3D视图。
在一个特定示例中，多个虚拟物体可看起来像处于位于身体锁定位置的视频板中。视频板可以是进入虚拟物体的虚拟世界的屏幕视口(例如，2D视图)。无论佩戴者去哪里，采用身体锁定位置的视频板可随佩戴者一起移动。透视显示器的佩戴者可从另一场所进入房间，这导致在六个自由度上的跟踪变得可用，并因此引起转换事件。响应于该转换事件，经由动画，视频板中的多个虚拟物体可扩展到采用世界锁定位置的体积全息图。采用世界锁定位置的体积全息图可看起来遍及房间。
在818，方法800可包括经由透视显示器显示具有世界锁定位置的一个或多个虚拟物体。每个虚拟物体的世界锁定位置相对于通过透视显示器可见的真实世界物体而言可看起来是固定的，而每个虚拟物体的所述世界锁定位置相对于所述透视显示器的佩戴者而言可看起来是可移动的。
可执行上述方法以便提供丰富的和沉浸式的增强现实体验，其中采用世界锁定位置的虚拟物体经由在六个自由度上的跟踪并优雅地转换到经由在三个自由度上跟踪来提供采用身体锁定位置的虚拟物体。当在六个自由度上的跟踪不满足质量度量或以其他方式变得不可用时，可执行这样的转换以便减轻原本会体验到的降级。
现在参考图9，提供了采用一副具有透明显示器902的可配戴眼镜形式的HMD设备900的一个示例。将明白，在其他示例中，HMD设备900可以采取其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1-6中所示的HMD设备可采取HMD设备900的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。
HMD设备900包括显示系统904和使得诸如全息物体之类的图像能被递送到HMD设备的佩戴者的眼睛的透视或透明显示器902。透明显示器902可被配置成向透过该透明显示器查看物理环境的佩戴者在视觉上增强真实世界、物理环境的景象。例如，物理环境的景象可以由经由透明显示器902呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强，以便创建混合现实环境。
透明显示器902还可被配置成使HMD设备的佩戴者能够透过显示虚拟物体表示的一个或多个部分透明的像素来查看物理环境中的物理、真实世界物体。如图9所示，在一个示例中，透明显示器902可包括位于镜片906内的图像产生元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器902可包括在镜片906边缘上的光调制器。在这一示例中，镜片906可以担当用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知佩戴者正在查看的位于物理环境内的3D全息图像，同时还允许佩戴者查看物理环境中的物理物体，由此创建了混合现实环境。
HMD设备900还可包括各种传感器和相关系统。例如，HMD设备900可包括包含配置成获取来自佩戴者的眼睛的注视跟踪数据形式的图像数据的一个或多个图像传感器的注视跟踪系统908。假定佩戴者已同意获取和使用这一信息，注视跟踪系统908可以使用这一信息来跟踪佩戴者的眼睛的位置和/或运动。
在一个示例中，注视跟踪系统908包括被配置成检测佩戴者的每一只眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定佩戴者的每一只眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从佩戴者的每一只眼睛的角膜反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉佩戴者的眼睛的图像。
如从收集自图像传感器的图像数据确定的闪光和瞳孔的图像可被用于确定每一只眼睛的光轴。使用这一信息，注视跟踪系统908随后可确定佩戴者正在注视的方向。作为补充或替换，注视跟踪系统908可确定佩戴者正在注视什么物理或虚拟物体。此类注视跟踪数据然后可被提供给HMD设备900。
还将理解，注视跟踪系统908可具有任意适当数量和布置的光源和图像传感器。例如并参考图9，HMD设备900的注视跟踪系统908可利用至少一个面向内的传感器909。
HMD设备900还可包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备900还可包括利用一个或多个姿态传感器(诸如HMD设备900上的姿态传感器912)来捕捉头部姿态数据并从而允许对佩戴者的头部进行位置跟踪、方向/位置以及定向感测和/或运动检测的头部跟踪系统910。因此，如上所述，图7的跟踪系统700可从姿态传感器接收传感器信息，姿态传感器使得能够在三个自由度上估计HMD设备900的定向或在六个自由度上估计HMD设备的位置和定向。
在一个示例中，头部跟踪系统910可包括配置成三轴或三自由度位置传感器系统的惯性测量单元(IMU)。这一示例位置传感器系统可例如包括用于指示或测量HMD设备900在3D空间内绕三个正交轴(例如，x、y、z)的定向变化(例如，翻滚、俯仰、偏航)的三个陀螺仪。从IMU的传感器信号导出的定向可被用于经由透视显示器来显示具有身体锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于透视显示器的佩戴者而言看起来是固定的，而每个虚拟物体的位置相对于物理环境中的真实世界物体而言看起来是可移动的。
在另一示例中，头部跟踪系统910可包括配置成六轴或六自由度位置传感器系统的惯性测量单元。这一示例位置传感器系统可例如包括用于指示或测量HMD设备900沿三个正交轴的位置变化和绕该三个正交轴的设备定向变化的三个加速度计和三个陀螺仪。
头部跟踪系统910还可支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿态和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。
在一些实例中，HMD设备900还可包括利用一个或多个面向外的传感器来捕捉图像数据的可选传感器系统，诸如HMD设备900上的光学传感器914。面向外的传感器(一个或多个)可以检测其视野内的移动，如视野内的佩戴者或人或物理物体所执行的基于姿势的输入或其他移动。面向外的传感器(一个或多个)还可从物理环境和该环境内的物理物体捕捉2D图像信息和深度信息。例如，面向外的传感器(一个或多个)可包括深度相机、可见光相机、红外光相机、和/或位置跟踪相机。
光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中，每一深度相机可包括立体视觉系统的左相机和右相机。来自这些深度相机中的一个或多个深度相机的时间分辨图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明，并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内相邻特征之间的间隔，可构造该场景的深度图。在又一些其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲红外照明投影到场景上以及检测从该场景反射的照明。例如，照明可由红外光源916提供。可以理解，在本公开的范围内可使用任意其他合适的深度相机。
面向外的传感器(一个或多个)可捕捉HMD设备的佩戴者位于其中的物理环境的图像。就HMD设备900而言，在一个示例中，混合现实显示程序可包括使用这样的所捕捉的图像来生成对HMD设备的佩戴者周围的物理环境进行建模的虚拟环境的3D建模系统。在一些实施例中，光学传感器可与IMU合作以在六个自由度上确定头戴式显示设备的位置和定向。这样的位置和定向信息可被用于经由透视显示器来显示具有世界锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于通过透视显示器可见的真实世界物体而言看起来是固定的，而每个虚拟物体的位置相对于透视显示器的佩戴者而言看起来是可移动的。
HMD设备900还可包括话筒系统，话筒系统包括捕捉音频数据的一个或多个话筒，诸如HMD设备900上的话筒918。在其他示例中，音频可经由一个或多个扬声器(诸如HMD设备900上的扬声器920)被呈现给佩戴者。
HMD设备900还可包括控制器，诸如HMD设备900上的控制器922。该控制器可包括与HMD设备和显示器的各传感器和系统通信的逻辑机和存储机，如下文参考图10更详细地讨论的。在一个示例中，存储子系统可包括能由逻辑子系统执行以接收来自传感器的输入、确定HMD设备900的姿态、以及调整透明显示器902上显示的内容的显示属性的指令。
在一些实施例中，在此描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图10示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1000的非限制性实施例。以简化形式示出了计算系统1000。计算系统1000可采取以下形式：一个或多个头戴式显示设备，或与头戴式显示设备合作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备)。
计算系统1000包括逻辑机1002和存储机1004。计算系统1000可任选地包括显示子系统1006、输入子系统1008、通信子系统1010和/或在图10中未示出的其他组件。
逻辑机1002包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机1004包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机1004的状态(例如，保存不同的数据)。
存储机1004可以包括可移动和/或内置设备。存储机1004可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机1004可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机1004包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机1002和存储机1004的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在被包括时，显示子系统1006可用于呈现由存储机1004保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统1006的状态以视觉地表示底层数据的改变。显示子系统1006可包括利用实际上任何类型的技术的一个或多个显示设备，诸如图9中所示的HMD设备900的显示器902。可将这样的显示设备与逻辑机1002和/或存储机1004组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统1008时，输入子系统1008可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图9的头部跟踪系统910描述的传感器中的任一者；和/或任何其他合适的传感器。
当包括通信子系统1010时，通信子系统1010可被配置成将计算系统1000与一个或多个其他计算设备通信地耦合。通信子系统1010可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1000经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (16)

1.一种操作透视显示器的方法，所述方法包括：
经由所述透视显示器显示具有世界锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于通过所述透视显示器可见的真实世界物体而言看起来是固定的，而每个虚拟物体的所述位置相对于所述透视显示器的佩戴者而言看起来是可移动的；以及
响应于由于在六个自由度上所述透视显示器的位置和定向不满足质量度量从在六个自由度上跟踪所述透视显示器的位置和定向转换为在三个自由度上跟踪所述透视显示器的定向，而经由所述透视显示器显示具有身体锁定位置的所述一个或多个虚拟物体，其中每个虚拟物体的所述位置相对于所述透视显示器的所述佩戴者而言看起来是固定的，而每个虚拟物体的所述位置相对于所述真实世界物体而言看起来是可移动的。
2.如权利要求1所述的方法，其特征在于，进一步包括：
经由动画通过一系列图像帧将所述一个或多个虚拟物体从所述世界锁定位置视觉地转换到所述身体锁定位置。
3.如权利要求2所述的方法，其特征在于，所述一个或多个虚拟物体是多个虚拟物体，并且所述多个虚拟物体视觉地转换到采用所述身体锁定位置的预定义布局。
4.如权利要求1所述的方法，其特征在于，进一步包括：
将所述一个或多个虚拟物体从所述一个或多个虚拟物体的3D视图视觉地转换到所述一个或多个虚拟物体的2D视图。
5.如权利要求4所述的方法，其特征在于，所述一个或多个虚拟物体在所述3D视图中被显示为体积全息图，而所述一个或多个虚拟物体在所述2D视图中被显示在虚拟世界的屏幕视口中。
6.如权利要求1所述的方法，其特征在于，所述转换包括所述透视显示器从视觉上识别出的真实世界场所移动到视觉上未被识别出的真实世界场所。
7.如权利要求6所述的方法，其特征在于，所述一个或多个虚拟物体是多个虚拟物体，并且所述多个虚拟物体是根据与所识别出的真实世界场所对应的因位置而异的视觉布局来被显示的。
8.一种操作透视显示器的方法，所述方法包括：
经由所述透视显示器显示具有身体锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于所述透视显示器的佩戴者而言看起来是固定的，并且每个虚拟物体的所述位置相对于通过所述透视显示器可见的真实世界物体而言看起来是可移动的；以及
响应于由于在六个自由度上所述透视显示器的位置和定向满足质量度量从在三个自由度上跟踪所述透视显示器的位置和定向转换为在六个自由度上跟踪所述透视显示器的定向，而经由所述透视显示器显示具有世界锁定位置的所述一个或多个虚拟物体，其中每个虚拟物体的所述位置相对于所述真实世界物体而言看起来是固定的，而每个虚拟物体的所述位置相对于所述透视显示器的所述佩戴者而言看起来是可移动的。
9.如权利要求8所述的方法，其特征在于，进一步包括：
经由动画通过一系列图像帧将所述一个或多个虚拟物体从所述身体锁定位置视觉地转换到所述世界锁定位置。
10.如权利要求9所述的方法，其特征在于，所述一个或多个虚拟物体是多个虚拟物体，并且所述多个虚拟物体视觉地转换到采用所述世界锁定位置的预定义布局。
11.如权利要求8所述的方法，其特征在于，
将所述一个或多个虚拟物体从所述一个或多个虚拟物体的2D视图视觉地转换到所述一个或多个虚拟物体的3D视图。
12.如权利要求11所述的方法，其特征在于，所述一个或多个虚拟物体在所述2D视图中被显示在虚拟世界的屏幕视口中，而所述一个或多个虚拟物体在所述3D视图中被显示为体积全息图。
13.如权利要求8所述的方法，其特征在于，所述转换包括所述透视显示器从视觉上未被识别出的真实世界场所移动到视觉上被识别出的真实世界场所。
14.如权利要求13所述的方法，其特征在于，所述一个或多个虚拟物体是多个虚拟物体，并且所述多个虚拟物体是根据与所识别出的真实世界场所对应的因位置而异的视觉布局来被显示的。
15.一种头戴式显示设备，包括：
被配置成在三个自由度上确定所述头戴式显示设备的定向的惯性测量单元IMU；
被配置成捕获真实世界环境的图像数据并与所述IMU合作以在六个自由度上确定所述头戴式显示设备的位置和定向的光学传感器；
透视显示器，真实世界环境通过所述透视显示器可由佩戴者看到，所述透视显示器被配置成向所述佩戴者显示虚拟物体，使得虚拟物体看起来像与所述真实世界环境结合在一起，所述透视显示器被配置成：
响应于从在三个自由度上跟踪所述头戴式显示设备的定向到在六个自由度上跟踪所述透视显示器的位置和定向的转换，经由所述透视显示器显示具有世界锁定位置的一个或多个虚拟物体，其中每个虚拟物体的位置相对于通过所述透视显示器可见的真实世界物体而言看起来是固定的，而每个虚拟物体的所述位置相对于所述透视显示器的佩戴者而言看起来是可移动的，所述世界锁定位置是从在六个自由度上所述头戴式显示设备的位置和定向导出的；以及
响应于从在六个自由度上跟踪所述头戴式显示设备的位置和定向到在三个自由度上跟踪所述透视显示器的定向的转换，经由所述透视显示器显示具有身体锁定位置的所述一个或多个虚拟物体，其中每个虚拟物体的所述位置相对于所述透视显示器的所述佩戴者而言看起来是固定的，而每个虚拟物体的所述位置相对于所述真实世界物体而言看起来是可移动的，所述身体锁定位置是从在三个自由度上所述头戴式显示设备的定向导出的。
16.如权利要求15所述的头戴式显示设备，其特征在于，从在三个自由度上跟踪所述头戴式显示设备的定向到在六个自由度上跟踪所述透视显示器的位置和定向的转换是响应于在六个自由度中所述头戴式显示设备的位置和定向满足质量度量而被执行的，并且从在六个自由度上跟踪所述头戴式显示设备的位置和定向到在三个自由度上跟踪所述透视显示器的定向的转换是响应于在六个自由度上所述头戴式显示设备的位置和定向不满足所述质量度量而被执行的。
CN201580023831.3A 2014-05-01 2015-04-28 身体锁定增强现实与世界锁定增强现实之间的转换 Active CN106255943B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/267,624 US9361732B2 (en) 2014-05-01 2014-05-01 Transitions between body-locked and world-locked augmented reality
US14/267,624 2014-05-01
PCT/US2015/027857 WO2015168041A1 (en) 2014-05-01 2015-04-28 Transitions between body-locked and world-locked augmented reality

Publications (2)

Publication Number Publication Date
CN106255943A CN106255943A (zh) 2016-12-21
CN106255943B true CN106255943B (zh) 2019-06-18

Family

ID=53181340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580023831.3A Active CN106255943B (zh) 2014-05-01 2015-04-28 身体锁定增强现实与世界锁定增强现实之间的转换

Country Status (5)

Country Link
US (1) US9361732B2 (zh)
EP (1) EP3137982B1 (zh)
KR (1) KR102291777B1 (zh)
CN (1) CN106255943B (zh)
WO (1) WO2015168041A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10796669B2 (en) * 2014-08-27 2020-10-06 Sony Corporation Method and apparatus to control an augmented reality head-mounted display
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP6426525B2 (ja) * 2015-04-20 2018-11-21 ファナック株式会社 表示システム
US10484824B1 (en) * 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
US20170269712A1 (en) * 2016-03-16 2017-09-21 Adtile Technologies Inc. Immersive virtual experience using a mobile communication device
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
JP7141410B2 (ja) 2017-05-01 2022-09-22 マジック リープ， インコーポレイテッド 空間的３ｄ環境に対するコンテンツのマッチング
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
CN107291266B (zh) * 2017-06-21 2018-08-31 腾讯科技（深圳）有限公司 图像显示的方法和装置
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
WO2019013409A1 (en) 2017-07-10 2019-01-17 Samsung Electronics Co., Ltd. INCREASED REALITY VISIOCASTIC DEVICE FOR DISPLAYING TELEPHONE CONTENT AND HEALTH MONITORING
US10134084B1 (en) 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US10354451B2 (en) * 2017-11-29 2019-07-16 Siemens Healthcare Gmbh Exploration of medical visualization parameters in virtual spaces
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
US11024086B2 (en) 2017-12-22 2021-06-01 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
JP7139436B2 (ja) 2018-02-22 2022-09-20 マジック リープ， インコーポレイテッド 物理的操作を用いたオブジェクト作成
AU2019225989A1 (en) 2018-02-22 2020-08-13 Magic Leap, Inc. Browser for mixed reality systems
CN112219205B (zh) * 2018-06-05 2022-10-25 奇跃公司 内容到空间3d环境的匹配
US11086124B2 (en) * 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
CN109271025B (zh) * 2018-08-31 2021-11-30 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US10969937B2 (en) * 2019-01-11 2021-04-06 Microsoft Technology Licensing, Llc Context-aware system menu behavior for mixed reality
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
US10768695B2 (en) * 2019-02-01 2020-09-08 Facebook Technologies, Llc Artificial reality system having adaptive degrees of freedom (DOF) selection
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN113711174A (zh) 2019-04-03 2021-11-26 奇跃公司 用混合现实系统在虚拟三维空间中管理和显示网页
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN111275612A (zh) * 2020-01-17 2020-06-12 成都库珀区块链科技有限公司 一种基于vr技术的k线显示、交互方法及装置
CN111736689A (zh) * 2020-05-25 2020-10-02 苏州端云创新科技有限公司 虚拟现实装置、数据处理方法与计算机可读存储介质
EP3936978B1 (en) * 2020-07-08 2023-03-29 Nokia Technologies Oy Object display
US11270672B1 (en) 2020-11-02 2022-03-08 Microsoft Technology Licensing, Llc Display of virtual assistant in augmented reality
US20230031832A1 (en) * 2021-07-28 2023-02-02 Apple Inc. Devices, methods and graphical user interfaces for three-dimensional preview of objects
US20230045759A1 (en) * 2021-08-04 2023-02-09 Meta Platforms Technologies, Llc 3D Calling Affordances
WO2023102139A1 (en) * 2021-12-02 2023-06-08 Apple Inc. User interface modes for three-dimensional display
US20230325046A1 (en) * 2022-04-11 2023-10-12 Facebook Technologies, Llc Activating a Snap Point in an Artificial Reality Environment
WO2024029858A1 (ko) * 2022-08-04 2024-02-08 삼성전자주식회사 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024064180A1 (en) * 2022-09-23 2024-03-28 Apple Inc. User interfaces that include representations of the environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449576A (zh) * 2009-05-29 2012-05-09 微软公司 姿势快捷方式

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6997882B1 (en) 2001-12-21 2006-02-14 Barron Associates, Inc. 6-DOF subject-monitoring device and method
JP2003296757A (ja) * 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
US7015831B2 (en) 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8749560B2 (en) * 2010-10-19 2014-06-10 Apple Inc. Image motion blurring
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449576A (zh) * 2009-05-29 2012-05-09 微软公司 姿势快捷方式

Also Published As

Publication number Publication date
WO2015168041A1 (en) 2015-11-05
US20150317831A1 (en) 2015-11-05
EP3137982A1 (en) 2017-03-08
CN106255943A (zh) 2016-12-21
KR102291777B1 (ko) 2021-08-19
EP3137982B1 (en) 2019-02-27
US9361732B2 (en) 2016-06-07
KR20160148558A (ko) 2016-12-26

Similar Documents

Publication Publication Date Title
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
US11810226B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
CN106255939B (zh) 世界锁定显示质量反馈
US10083540B2 (en) Virtual light in augmented reality
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
CN105900041B (zh) 利用视线跟踪进行的目标定位
EP2887322B1 (en) Mixed reality holographic object development
CN108885803A (zh) 物理环境中的虚拟对象操纵
KR20150110726A (ko) 혼합 현실 경험 공유
CN106489171A (zh) 立体图像显示器
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US11238651B2 (en) Fast hand meshing for dynamic occlusion
WO2022147227A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant