CN106575156A - 虚拟对象的智能放置以停留在头戴式显示器的视野中 - Google Patents

虚拟对象的智能放置以停留在头戴式显示器的视野中 Download PDF

Info

Publication number
CN106575156A
CN106575156A CN201580041369.XA CN201580041369A CN106575156A CN 106575156 A CN106575156 A CN 106575156A CN 201580041369 A CN201580041369 A CN 201580041369A CN 106575156 A CN106575156 A CN 106575156A
Authority
CN
China
Prior art keywords
user
virtual objects
new virtual
head
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580041369.XA
Other languages
English (en)
Other versions
CN106575156B (zh
Inventor
A·M·伯恩斯
B·苏格登
T·萨尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106575156A publication Critical patent/CN106575156A/zh
Application granted granted Critical
Publication of CN106575156B publication Critical patent/CN106575156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Abstract

一种HMD设备被配置成检查虚拟现实环境中新引入的对象(诸如交互式元素，如菜单、窗口小程序和通知)的放置以确认这些对象显著地出现在用户视野内。如果预期的原始放置会将对象定位在视野之外，则HMD设备重新定位对象，以使得对象的一部分在HMD显示器中最接近其原始放置的边缘处是可查看的。此类虚拟对象的智能放置使得用户能够在新对象被引入虚拟现实环境内时容易地发现新对象，并且接着在对于支持更优化的交互和用户体验而言是舒适的运动和/或头部位置范围内与对象交互。

Description

虚拟对象的智能放置以停留在头戴式显示器的视野中
背景
诸如头戴式显示器(HMD)系统和手持式移动设备(例如，智能电话、平板计算机等等)之类的虚拟现实计算设备可被配置成向用户显示在用户的视野中和/或设备的相机的视野中的虚拟现实环境。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
一种HMD设备被配置成检查虚拟现实环境中新引入的对象(诸如交互式元素，包括菜单、窗口小程序和通知)的放置以确认这些对象显著地出现在用户视野内。如果预期的原始放置会将对象定位在视野之外，则HMD设备重新定位对象，以使得对象的一部分在HMD显示器中最接近其原始放置的边缘处是可查看的。此类虚拟对象的智能放置使得用户能够在新对象被引入虚拟现实环境内时容易地发现新对象，并且接着在对于支持更优化的交互和用户体验而言是舒适的运动和/或头部位置范围内与对象交互。
在一说明性示例中，如果在菜单对象被引入时用户正以向下倾斜的下颚看向虚拟世界的地面，则仅仅菜单对象的一部分在朝向用户视野顶部的HMD显示器上被呈现为可见。仅仅示出新菜单对象的一部分使得用户在下颚向下的头部位置中仍然能够发现对象。将对象部分定位在沿显示器的上边缘向用户指示他能够通过将他的下颚抬起向前看来查看完整菜单对象。一旦用户头部被定向为提供支持原始对象位置的视野，HMD设备在用户的视野内呈现新菜单对象并且通常能够实现完全交互。在这一说明性示例中，当新菜单对象被引入虚拟世界中时头部被定向成与下颚向下取向相比较中性的姿态时，与菜单对象的用户交互更优化和舒适。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1示出一个说明性的虚拟现实环境，在HMD设备的用户的视野内呈现了该虚拟现实环境的一部分；
图2示出HMD设备的用户位于其中的说明性现实世界环境；
图3示出了由HMD传感器封装提供的说明性数据；
图4-10示出了在HMD设备用户的视野内显示的说明性交互式虚拟对象；
图11描绘正由HMD设备捕捉的与现实世界对象相关联的表面重构数据；
图12示出了说明性表面重构流水线的框图；
图13、14和15是可以使用HMD设备执行的说明性方法的流程图；
图16是虚拟现实HMD设备的说明性示例的图形视图；
图17示出虚拟现实HMD设备的说明性示例的功能框图；
图18和19是可用作虚拟现实HMD设备的组件的说明性封闭面罩的图形前视图；
图20示出了在被部分分解时的封闭面罩的视图；
图21示出了封闭面罩的幻影线前视图；
图22示出了封闭面罩的图形后视图；以及
图23示出了示例性计算系统。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
在位于相关联的现实世界空间中时，用户通常可以在HMD设备所呈现的虚拟现实环境中进行探索、导航、交互以及移动。一说明性虚拟现实环境100被示出在图1中并且一说明性现实世界空间200被示出在图2中。用户102采用HMD设备104来体验被可见地呈现在光学显示器上并且在一些实现中可包括音频和/或触觉/触摸感觉的虚拟现实环境100。在该特定非限制示例中，虚拟现实环境100包括具有用户102可看见并与其交互的各种建筑、商店等的城市街道。当用户改变其头部的位置或朝向和/或在现实世界空间内移动时，其虚拟现实环境的景色可以改变。(由图1中的虚线区域110表示的)视野可被设定尺寸和形状，并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验以为用户提供在虚拟世界的强烈存在感。
如图3所示，HMD设备104配置有传感器封装300。在下文中更详细描述地描述示例性传感器。传感器封装300可以支持各种功能，包括可用于头部追踪以确定用户头部在物理现实世界空间内的3D(三维)位置和取向315的表面重构310。在一些实现中，传感器封装可以支持注视追踪320以查明用户注视的方向325，在实现本公开的虚拟对象的智能放置技术时用户注视的方向325可以与头部位置和取向数据一起使用。
在具有HMD设备104的给定用户体验期间，各种新的虚拟对象可以被引入环境。可以引入包括以下各项的各种对象中的任一者：可以与体验相整合的那些对象(诸如化身、地形、和建筑物等)、或可以被用于增强或控制体验的那些对象(诸如交互式元素，包括菜单、窗口小程序、通知等)、可以被用于促进HMD设备上支持的给定用户界面或用户体验的那些对象。在之后的示例中，新放置的虚拟对象包括交互式元素，但要强调的是，所公开的虚拟对象的智能放置技术可以适用于其他虚拟对象。
在典型的实现中，HMD设备104的视野110可以相对受限。相应地，存在被引入虚拟现实环境的虚拟对象在一给定时间将出现在用户视野之外并且因而可能难以定位或发现的可能性。相应地，根据使用传感器封装追踪的用户头部位置和取向(以及在一些实现中的注视方向)，HMD设备104被配置成执行检查以确认新对象的预期位置显著地在视野110内从而能被容易地发现。在一些实现中，如果新虚拟对象的位置被如此确认，则该对象可以被置于虚拟世界中的其预期原始位置。如果新虚拟对象无法被确认为显著地在视野110内，则HMD设备104重新定位对象以使得它刚刚在显示器中最靠近原始位置的边缘上可查看。
图4到10示出智能虚拟对象放置的说明性示例。图4示出了在用户体验中的某一点处被引入用户视野110内的虚拟世界的示例性虚拟对象405(为了清楚阐述起见，虚拟世界的视野被略去)。虚拟对象405旨在是说明性的，并且所呈现的虚拟对象可以在大小、形状以及在视野中的位置方面与所示出的有所不同。在这一特定示例中，当用户头部位于中性取向(其中用户在某一任意方向上向前看)时，虚拟对象405是被完整呈现的自由漂浮的交互式元素。从该中性取向，用户可以旋转他的头部向左和向右看，向前和向后倾斜他的头部(即，下颚向下和下颚向上)以向下和向上看，并且采用倾斜和旋转的各种组合。在一些实现中，用户还可与头部运动相组合地改变他的注视方向以更改视野。要强调的是，用户可以采用的支持完整对象呈现的特定头部姿态可以根据实现而改变。一般地，与其他取向相比当用户头部被中性取向时用户具有更大的可能的头部运动范围，并且中性取向常常是维持起来最舒适的。因而，当与新交互式虚拟元素交互时，尤其当此类交互(诸如从菜单中选择选项、使用窗口小程序等)可能花费时间时，采用中性头部取向可能常常是期望的。
如果在用户正向下看时新虚拟对象405被引入，则它通常会在视野110之外，因为它的预期放置是在虚拟世界中向前看时能够被看到的一部分中，如上所述。在此情形中，如图5所示，HMD设备104用于重新定位虚拟对象，以使得仅仅虚拟对象中的一部分在在视野110中最靠近其预期原始位置的边缘。在这一示例中，当用户向下看时，虚拟对象405的底部沿视野110的上边缘可查看。当虚拟对象不完全可查看时，在这一情景中，交互性通常被禁用。
如图6所示，在时间t1，当新虚拟对象405被引入时，用户正在向下看。在时间t2，当用户向上看并且将他的头转向中性位置时，HMD设备104将新虚拟对象完成呈现在虚拟世界中其原始预期位置中，并且启用交互性。图7、8和9示出了HMD设备104如何重新定位虚拟对象405以在用户分别向上、向左和向右看时如果对象被定位在虚拟现实环境中的其预期原始位置中时原本不会看到该对象时刚刚在视野内可查看。在每一情形中，经重新定位的虚拟对象405被定位在显示器中最靠近其原始位置的边缘处。
在一些实现中，取决于特定头部姿态(即，旋转和倾斜的组合)，部分视图中的经重新定位的虚拟对象可以被动态地定位和/或重新定位在视野周界周围的各个点处。HMD设备将新虚拟对象的部分视图定位在视野中可以被用作一种指导或引导用户头部在空间中的位置和/或定位以使得新虚拟对象能够以完整视图被看到的方法。用户可以被预期在部分视图的方向上直观地移动他的头部以看见新虚拟对象的完整视图。
图10示出了在一些情形中可以被应用于经重新定位的虚拟对象405的各种可任选处理。在一些场景中，包括颜色、图形、动画化、文本等的突出显示(由参考标号1010代表性地表示)可以被应用于虚拟对象以收集用户注意力和/或提供信息或引导。单独的图形或文本指示符1015也可被使用。另外，当用户将他的头部移动到允许新虚拟对象405的完整视图被呈现的位置/取向时，该对象可以被动画化以从其沿视野110边缘的部分视图移动到其完整视图。在一些场景中，还可采用动画化，如图10中的参考标号1020说明性地指示的。
如上所述，设备104被配置成通过使用包括集成深度传感器1105的传感器封装(如图11所示)来执行头部追踪来获得表面重构数据1100。在替换实现中，可以使用合适的立体图像分析技术来导出深度数据。图12示出用于获得现实世界空间中的对象的表面重构数据的说明性表面重构数据流水线1200。需要强调的是所公开的技术是说明性的，并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据1202被输入到传感器的3D(三维)姿势估计中(框1204)。传感器姿势跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。传感器的每个深度测量可以使用例如被编码为符号距离场(SDF)的表面被整合(框1206)到容积表示中。使用循环，SDF被光线投射(框1208)入所估计的系中以提供所述深度图与之对齐的密集表面预测。因而，当用户102环顾虚拟世界时，与现实世界空间200(图2)相关联的表面重构数据可以被收集并且被分析以确定用户头部在空间内的位置和取向。
图13、14和15是可使用HMD设备104来执行的说明性方法的流程图。除非明确说明，否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。
图13中的方法1300可由支持虚拟现实环境的呈现的HMD设备来执行。在步骤1305，获得描述与HMD设备的用户邻接的物理空间的传感器数据。传感器数据可包括例如使用集成在HMD设备中的深度传感器的深度数据，或者可从外部传感器或源中获得。来自立体成像分析的深度也可被用来创建深度数据。在步骤1310，传感器数据被用来例如使用表面重构来重构物理空间的几何形状。
在步骤1315，物理空间的经重构的几何形状被用来执行对用户头部的追踪以确定虚拟现实环境的当前视野。在一些场景中，在确定当前视野时也可利用注视检测。
当虚拟对象被新引入虚拟现实环境时，在步骤1320，其原始位置被检查。虚拟对象可以被置于虚拟环境内的某一任意位置处。在一些情形中，新对象及其原始位置可具有与虚拟现实环境的某一其他对象或方面相关联的上下文。例如，新对象可以是与图1中的虚拟环境100中示出的城市景观中的特定建筑物相关联的通知。在此类情形中，当他看向大楼时，可能期望通知对象被放置在用户视野内。相应地，通知对象的原始位置可以在例如建筑物的前门附近。在其他情形中，新虚拟对象可能与虚拟现实环境中的特定位置不具有关联。然而，代替将新虚拟对象完全引入用户的当前视野，仅在用户的头部被定位和/或定向在某一阈值范围内时完整地呈现对象可能更优化。当用户以特定头部取向与以用户交互性为特征的一些虚拟对象交互时，可以支持更好的用户体验。例如，如果当用户具有下颚向下的头部取向时通过感测到的头部运动支持交互性的菜单对象被呈现，对于用户而言与菜单对象交互可能是不舒适的，因为与中性取向相比他的头部运动范围受限。
在步骤1325，如果原始位置在当前视野之外，则HMD设备重新定位新虚拟对象，以使得对象的至少一部分在当前视野之内可查看。在步骤1330，当对象的原始位置在当前视野内时，新虚拟对象基本上被完整呈现。替换地，在步骤1335，当用户头部进入对于用户而言一般较舒适的某一预定头部取向范围内时，新虚拟对象基本上被完整呈现。在一些情形中，虚拟对象可以被启动，并且接着被锚定到虚拟世界中不同于其原始位置的一位置处。例如，当用户向下看时，新菜单对象可以被启动并且向用户视野顶部被剪辑。在此情形中，菜单对象可以被锚定在虚拟世界中可能低于其预期原始位置的那个位置处。
图14中的方法1400可以由HMD设备来执行，HMD设备具有一个或多个处理器、用于使用可变视野来呈现虚拟现实环境的显示器、以及存储计算机可读指令(诸如可以被用于实现该方法的软件代码)的一个或多个存储器设备。在步骤1405，使用被纳入HMD设备中的可包括深度传感器或相机系统的传感器封装来生成表面重构数据。在步骤1410，表面重构数据被用于动态地追踪虚拟现实环境的用户当前视野。可利用各种合适的表面重构技术，包括图12中的流水线中示出的其中多个交叠的表面被整合的表面重构技术。在步骤1415，确定被引入虚拟现实环境的新虚拟对象的原始位置是否能够使得新虚拟对象在用户的当前视野中被看到。响应于该确定，在步骤1420，HMD设备被操作以响应于该确定来将新虚拟对象从原始位置重新定位，以使得新虚拟对象的至少一部分在用户的当前视野内可查看。在步骤1425，HMD设备改变新虚拟对象在用户视野内的位置以向用户提供指导。例如，虚拟对象部分的定位可以沿视野的外边缘移动，以帮助将用户头部引导到实现虚拟对象的完整视图的合适位置和取向。
图15中的方法1500可以由存储在HMD设备中的指令来执行，HMD设备在物理空间中操作并且具有呈现虚拟现实环境的显示器。在步骤1505，使用来自HMD设备板上的传感器封装的数据来动态生成物理空间的表明重构模型。该模型可随着用户在物理空间内移动例如在逐帧或其他合适的基础上被更新。在步骤1510，当前表面重构模型被用于确定虚拟现实环境的用户当前视野。在步骤1515，通过将引入虚拟现实环境的虚拟对象的一部分定位在当前视野边缘处来实现对虚拟对象的发现。在步骤1520，该定位可根据作为用户移动的结果而发生的视野改变而变动。
现转至各说明性实现细节，根据本布置的透视、混合现实显示设备可以采用任何合适的形式，包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。图16示出了透视混合现实显示系统1600的一个特定说明性示例，而图17显示了系统1600的功能框图。显示系统1600包括形成透视显示子系统1604的一部分的一个或多个透镜1602，以便图像可以使用透镜1602(例如，使用到透镜1602上的投影、并入透镜1602中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统1600进一步包括被配置成获取正在被用户查看的背景场景和/或物理空间的图像的一个或多个面向外的图像传感器1606，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒1608。面向外的图像传感器1606可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换布置中，代替纳入透视显示子系统，混合现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实图像。
显示系统1600还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统1610，如上文所描述的。注视检测子系统1610可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统1610包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源1612(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器1614(诸如面向内的传感器)。根据使用(诸)图像传感器1614收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。
此外，从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统1610可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中，可以省略注视检测子系统1610。
显示系统1600还可以包括附加传感器。例如，显示系统1600可以包括全球定位系统(GPS)子系统1616，以允许确定显示系统1600的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。
显示系统1600还可以包括一个或多个运动传感器1618(例如惯性、多轴陀螺仪或加速度传感器)，以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿势。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自(诸)面向外图像传感器1606的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自(诸)面向外的图像传感器1606的图像数据。
另外，运动传感器1618，以及话筒1618和注视检测子系统1610，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及在一些情况中通过语音命令，与显示系统1600进行交互。可以理解，图16和17中所示出的并在附随的文本中描述的传感器只是出于示例的目的被包括，而不旨在以任何方式作出限制，因为可以使用任何其他合适的传感器和/或传感器的组合来满足增强现实HMD设备的特定实现的需求。例如，生物特征传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光等级等)可以在一些实现中被使用。
显示系统1600可以进一步包括通过通信子系统1626与传感器、注视检测子系统1610、显示子系统1604，和/或其他组件进行通信的具有逻辑子系统1622和数据存储子系统1624的控制器1620。通信子系统1626还可以促成显示系统与位于远程的资源(例如处理、存储、功率、数据和服务)结合操作。就是说，在一些实现中，HMD设备可以被作为一种系统的部分来操作，该系统可以在不同的组件和子系统间分布资源和能力。
存储子系统1624可以包括存储在其上的指令，这些指令能被逻辑子系统1622执行例如用以：接收并解释来自传感器的输入、标识用户的位置和移动、使用表面重构和其它技术来标识现实对象，以及基于到对象的距离来调暗/淡出显示以便允许所述对象被用户看到，以及其它任务。
显示系统1600被配置有一个或多个音频换能器1628(例如扬声器、耳机等)，使得音频可以被用作增强现实体验的部分。功率管理子系统1630可包括一个或多个电池1632和/或保护电路模块(PCM)以及相关联的充电器接口1634和/或用于对显示系统1600中的组件供电的远程电源接口。
可以理解，所描绘的显示设备104和1600是出于示例的目的来描述的，并由此不旨在是限制性的。还应理解，显示设备可包括除所示出的那些之外的附加的和/或替换的传感器、相机、话筒、输入设备、输出设备等，而不会背离本布置的范围。附加地，显示设备及其各传感器和子组件的物理配置可采取各种不同的形式，而不会背离本安排的范围。
图18-22示出可被用作HMD设备的组件的增强现实显示系统1800的说明性替换实现。在该示例中，系统1800使用透视封闭面罩1802，该封闭面罩1802被配置成保护透视显示子系统所利用的内部光学器件组装件。面罩1802通常与HMD设备的其他组件(未示出)对接，其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等)，如结合图16和17说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被合并到面罩1802中。
该面罩分别包括透视前护罩1804和透视后护罩1806，透视前护罩1804和透视后护罩1806可使用透明材料来建模以促成对光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、镜化、防反射、防雾和其他镀膜之类的处理，并且还可利用各种色彩和饰面。前护罩和后护罩被固定到如在图19中的部分剖视图中描绘的底座1905，在该部分剖视图中，护罩壳体1910被示为与面罩1802分解。
在HMD设备被佩戴并在操作中被使用时，以及在正常清洁处理等期间，封闭面罩1802可物理地保护敏感的内部组件，包括(在图20中的分解视图中示出的)光学器件显示子部件2002。面罩1802还可保护光学器件显示子部件2002免受各环境要素影响，并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件2002按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。
如图20和22所示，后护罩1806按人体工程学上正确的形式被配置成与用户的鼻子和鼻托2204(图22)对接，并且可包括其他舒适特征(例如，作为分立组件来成型和/或添加)。在一些情况下，封闭面罩1802还可将某一水平的光学屈光度曲率(即，眼睛处方)纳入成型的护罩中。
图23示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统2300的非限制性实施例。HMD设备104可以是计算系统2300的一个非限制性示例。计算系统2300以简化形式被示出。可理解，可以使用实际上任何计算机架构，而不偏离本布置的范围。在不同的实施例中，计算系统2300可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统2300包括逻辑子系统2302和存储子系统2304。计算系统2300可任选地包括显示子系统2306、输入子系统2308、通信子系统2310和/或在图23中未示出的其他组件。
逻辑子系统2302包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统2302可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统2302可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统2302可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统2302的处理器可以是单核或多核的，而其上执行的程序可以被配置用于串行、并行或分布式处理。逻辑子系统2302可任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统2302的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统2304包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统2302可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统2304的状态可以被变换(例如，以保持不同的数据)。
存储器子系统2304可包括可移动介质和/或内置设备。存储子系统2304可包括光学存储器设备(例如，CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统2304可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
可领会，存储子系统2304包括一个或多个物理设备，并排除传播信号自身。然而，在一些实现中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子系统2302和存储子系统2304的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子系统2306可用于呈现由存储子系统2304保存的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统2306的状态以视觉地表示底层数据的改变。显示子系统2306可包括利用几乎任何类型的技术的一个或多个显示设备。在一些情况下，可将此类显示设备与逻辑子系统2302和/或存储子系统2304一起组合在共享封装中，或者在其他情况下，此类显示设备可以是外围触摸显示设备。
在包括输入子系统2308时，输入子系统2308可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
在包括通信子系统2310时，通信子系统2310可以被配置成将计算系统2300与一个或多个其他计算设备通信耦合。通信子系统2310可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统2300使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
本发明的虚拟对象的智能放置以停留在头戴式显示器的视野中的各示例性实施例现在作为说明而非作为所有实施例的穷尽性列表被提出。一示例包括一种由支持虚拟现实环境在视野内的呈现的头戴式显示器(HMD)设备执行的方法，包括：获得描述与所述HMD设备的用户邻接的物理空间的传感器数据；使用所述传感器数据来重构所述物理空间的几何形状；使用经重构的几何形状来追踪所述物理空间中的用户头部以确定当前视野；当新虚拟对象被引入虚拟现实环境时，检查其原始位置；以及如果原始位置在当前视野之外，则重新定位新虚拟对象，以使得在被重新定位时新虚拟对象的至少一部分在当前视野之内。
在另一示例中，传感器数据包括深度数据，并且该方法进一步包括使用深度传感器来生成该传感器数据，并应用表面重构技术来重构所述物理空间几何形状。在另一示例中，该方法进一步包括使用通过立体成像的深度分析来生成深度数据。在另一示例中，该方法进一步包括将新虚拟对象沿视野边缘重新定位在最接近虚拟现实环境中的原始位置的一位置中。在另一示例中，该方法进一步包括在原始位置在视野之内时基本上完整呈现新虚拟对象。在另一示例中，该方法进一步包括当头部取向在用户的舒适取向范围内时基本上完整呈现新虚拟对象。在另一示例中，舒适取向范围包括中性头部取向。在另一示例中，该方法进一步包括在确定当前视野时检测用户的注视方向。在另一示例中，新虚拟对象是支持用户界面或用户体验的交互式元素。在另一示例中，交互式元素是菜单、窗口小程序、或通知之一。
又一示例包括一种能由物理环境中的用户操作的头戴式显示器(HMD)设备，包括：一个或多个处理器；显示器，所述显示器用于向用户呈现虚拟现实环境，所呈现的虚拟现实环境的视野至少部分地取决于用户头部在物理环境中的姿态而可变；传感器封装；以及存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：使用所述传感器封装为物理环境的至少一部分生成表面重构数据，使用表面重构数据来动态追踪虚拟现实环境的用户的视野，确定被引入虚拟现实环境的新虚拟对象的原始位置是否能够使得新虚拟对象在用户的当前视野中可查看，以及操作HMD设备以响应于所述确定来将新虚拟对象从原始位置重新定位，以使得新虚拟对象的至少一部分在用户的当前视野内可查看。
在另一示例中，该HMD设备进一步包括响应于来自用户的移动来改变新虚拟对象在当前视野内的位置，该移动包括头部移动或眼睛移动。在另一示例中，定位被改变以将用户引导至新虚拟对象的原始位置，并且进一步包括在当前视野包括原始位置时以完整视图呈现新虚拟对象。在另一示例中，定位被改变以引导用户采用落在预定范围内的头部姿态，并且进一步包括在该头部姿态被采用时以完整视图呈现新虚拟对象。在另一示例中，HMD设备进一步包括使用表面重构数据流水线对物理环境进行建模，该表面重构数据流水线实现一种创建被整合的多个交叠表面的容积方法。在另一示例中，HMD设备进一步包括基本上包围该显示器的封闭保护面罩。
又一示例包括存储计算机可执行指令的一个或多个计算机可读存储器，这些指令用于在头戴式显示器(HMD)设备的可变视野内呈现虚拟现实环境，该HMD设备位于现实世界空间中，该方法包括以下步骤：使用来自被纳入HMD设备中的传感器封装的数据来动态生成现实世界空间的表面重构模型；使用该模型来确定虚拟现实环境的当前视野；通过将虚拟对象的至少一部分定位在当前视野的边缘处来实现用户对被引入虚拟现实环境的虚拟对象的发现；以及在当前视野随着用户移动而改变时，调整虚拟对象的位置。
在另一示例中，该调整包括将虚拟对象的位置沿当前视野的边缘移动。在另一示例中，该一个或多个计算机可读存储器进一步包括在用户头部姿态在阈值范围内时将虚拟对象定位成在当前视野内基本上完全可查看。在另一示例中，该一个或多个计算机可读存储器进一步包括在虚拟对象的预期原始位置在当前视野内时将虚拟对象定位成在当前视野内基本上完全可查看。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (15)

1.一种由支持虚拟现实环境在视野内的呈现的头戴式显示器(HMD)设备执行的方法，包括：
获得描述与所述HMD设备的用户邻接的物理空间的传感器数据；
使用所述传感器数据来重构所述物理空间的几何形状；
使用经重构的几何形状来追踪所述物理空间中的用户头部以确定当前视野；
当新虚拟对象被引入虚拟现实环境时，检查其原始位置；以及
如果原始位置在当前视野之外，则重新定位新虚拟对象，以使得在被重新定位时新虚拟对象的至少一部分在当前视野之内。
2.如权利要求1所述的方法，其特征在于，所述传感器数据包括深度数据，并且进一步包括使用深度传感器来生成所述传感器数据，并应用表面重构技术来重构物理空间几何形状。
3.如权利要求1所述的方法，其特征在于，进一步包括使用立体成像深度分析来生成深度数据。
4.如权利要求1所述的方法，其特征在于，进一步包括将新虚拟对象沿视野边缘重新定位在最接近虚拟现实环境中的原始位置的一位置中。
5.如权利要求1所述的方法，其特征在于，进一步包括在原始位置在视野之内时基本上完整呈现新虚拟对象。
6.如权利要求1所述的方法，其特征在于，进一步包括当头部取向在用户的舒适取向范围内时基本上完整呈现新虚拟对象。
7.如权利要求6所述的方法，其特征在于，所述舒适取向范围包括中性头部取向。
8.如权利要求1所述的方法，其特征在于，进一步包括在确定当前视野时检测用户的注视方向。
9.如权利要求1所述的方法，其特征在于，所述新虚拟对象是支持用户界面或用户体验的交互式元素。
10.如权利要求9所述的方法，其特征在于，所述交互式元素是菜单、窗口小程序、或通知之一。
11.一种能够由物理环境中的用户操作的头戴式显示器(HMD)设备，包括：
一个或多个处理器；
显示器，所述显示器用于向用户呈现虚拟现实环境，所呈现的虚拟现实环境的视野至少部分地取决于用户头部在物理环境中的姿态而可变；
传感器封装；以及
存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：
使用所述传感器封装为物理环境的至少一部分生成表面重构数据，
使用所述表面重构数据来动态追踪虚拟现实环境的用户的视野，
确定被引入虚拟现实环境的新虚拟对象的原始位置是否能够使得新虚拟对象在用户的当前视野中可查看，以及
操作HMD设备以响应于所述确定来将新虚拟对象从原始位置重新定位，以使得新虚拟对象的至少一部分在用户的当前视野内可查看。
12.如权利要求11所述的HMD设备，其特征在于，进一步包括响应于来自用户的移动来改变新虚拟对象在当前视野内的位置，所述移动包括头部移动或眼睛移动。
13.如权利要求12所述的HMD设备，其特征在于，所述定位被改变以将用户引导至新虚拟对象的原始位置，并且进一步包括在当前视野包括原始位置时以完整视图呈现新虚拟对象。
14.如权利要求12所述的HMD设备，其特征在于，所述定位被改变以引导用户采用落在预定范围内的头部姿态，并且进一步包括在所述头部姿态被采用时以完整视图呈现新虚拟对象。
15.如权利要求11所述的HMD设备，其特征在于，进一步包括使用表面重构数据流水线对所述物理环境进行建模，所述表面重构数据流水线实现一种创建被整合的多个交叠表面的容积方法。
CN201580041369.XA 2014-07-25 2015-07-24 虚拟对象的智能放置以停留在头戴式显示器的视野中 Active CN106575156B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462029351P 2014-07-25 2014-07-25
US62/029,351 2014-07-25
US14/612,850 2015-02-03
US14/612,850 US9904055B2 (en) 2014-07-25 2015-02-03 Smart placement of virtual objects to stay in the field of view of a head mounted display
PCT/US2015/041862 WO2016014872A1 (en) 2014-07-25 2015-07-24 Smart placement of virtual objects to stay in the field of view of a head mounted display

Publications (2)

Publication Number Publication Date
CN106575156A true CN106575156A (zh) 2017-04-19
CN106575156B CN106575156B (zh) 2019-05-14

Family

ID=53801183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041369.XA Active CN106575156B (zh) 2014-07-25 2015-07-24 虚拟对象的智能放置以停留在头戴式显示器的视野中

Country Status (4)

Country Link
US (1) US9904055B2 (zh)
EP (1) EP3172646A1 (zh)
CN (1) CN106575156B (zh)
WO (1) WO2016014872A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908763A (zh) * 2017-11-24 2018-04-13 曾良军 应用内容的展示方法、装置和终端设备
CN108121442A (zh) * 2017-11-24 2018-06-05 曾良军 三维空间显示界面的操作方法、装置和终端设备
CN108932879A (zh) * 2018-08-23 2018-12-04 重庆加河科技有限公司 一种基于mr的教学展示系统
WO2019001060A1 (zh) * 2017-06-26 2019-01-03 曾良军 应用显示方法和装置、三维空间显示界面的操作方法和装置、显示方法和装置、应用内容的展示方法和装置，及终端设备
CN109804333A (zh) * 2017-06-15 2019-05-24 腾讯科技（深圳）有限公司 基于用户的物理尺寸定制用户界面面板的系统和方法
CN110442229A (zh) * 2018-05-04 2019-11-12 脸谱科技有限责任公司 虚拟现实环境中的显示重定向
CN110709896A (zh) * 2017-06-01 2020-01-17 昕诺飞控股有限公司 用于呈现虚拟对象的系统及其方法
CN111417989A (zh) * 2017-09-27 2020-07-14 Cy游戏公司 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置
CN112119451A (zh) * 2018-05-22 2020-12-22 索尼公司 信息处理装置、信息处理方法和程序
CN112905007A (zh) * 2021-01-28 2021-06-04 海信视像科技股份有限公司 一种虚拟现实设备及语音辅助交互方法
CN114697302A (zh) * 2020-12-31 2022-07-01 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
CN114743433A (zh) * 2021-12-23 2022-07-12 中国科学院软件研究所 模拟飞行训练环境下威胁的多通道告警呈现方法及装置

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
US10380673B2 (en) * 2015-08-07 2019-08-13 Ebay Inc. Virtual facility platform
JP6017664B1 (ja) * 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム
JP6134019B1 (ja) * 2016-01-29 2017-05-24 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
US10209785B2 (en) * 2016-02-02 2019-02-19 Microsoft Technology Licensing, Llc Volatility based cursor tethering
JP6087453B1 (ja) * 2016-02-04 2017-03-01 株式会社コロプラ 仮想空間の提供方法、およびプログラム
US10257505B2 (en) * 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
JP6630607B2 (ja) * 2016-03-28 2020-01-15 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6515057B2 (ja) * 2016-03-31 2019-05-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム、シミュレーション装置及びプログラム
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN109314800B (zh) * 2016-06-13 2022-02-01 索尼互动娱乐有限责任公司 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
US20180024623A1 (en) * 2016-07-22 2018-01-25 Google Inc. Detecting user range of motion for virtual reality user interfaces
KR20180020043A (ko) 2016-08-17 2018-02-27 삼성전자주식회사 다시점 영상 제어 방법 및 이를 지원하는 전자 장치
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180096506A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备
EP3859495B1 (en) * 2016-12-06 2023-05-10 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
CN206523701U (zh) * 2016-12-30 2017-09-26 深圳市大疆创新科技有限公司 可穿戴设备
US10379606B2 (en) 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US10466953B2 (en) 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
EP3399398B1 (en) * 2017-05-02 2022-04-13 Nokia Technologies Oy An apparatus and associated methods for presentation of spatial audio
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
EP3404510A1 (en) * 2017-05-16 2018-11-21 Nokia Technologies Oy Free viewpoint mediated reality
US10391408B2 (en) 2017-06-19 2019-08-27 Disney Enterprises, Inc. Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space
US10296080B2 (en) 2017-06-19 2019-05-21 Disney Enterprises, Inc. Systems and methods to simulate user presence in a real-world three-dimensional space
US10304239B2 (en) * 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US10366522B2 (en) 2017-09-27 2019-07-30 Microsoft Technology Licensing, Llc Augmented and virtual reality bot infrastructure
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10754502B2 (en) 2018-01-25 2020-08-25 Microsoft Technology Licensing, Llc Framework for contextual notifications
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
EP3553629B1 (en) 2018-04-12 2024-04-10 Nokia Technologies Oy Rendering a message within a volumetric data
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10636118B2 (en) 2018-06-25 2020-04-28 Microsoft Technology Licensing, Llc Input scaling to keep controller inside field of view
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10839607B2 (en) 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US10969937B2 (en) 2019-01-11 2021-04-06 Microsoft Technology Licensing, Llc Context-aware system menu behavior for mixed reality
US10740960B2 (en) * 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality
US11175803B2 (en) 2019-02-07 2021-11-16 International Business Machines Corporation Remote guidance for object observation
US11934579B2 (en) 2019-05-30 2024-03-19 Hewlett-Packard Development Company, L.P. Haptic device activation for virtual events that exceed view boundary
JP7356827B2 (ja) 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
US11907417B2 (en) * 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11372253B2 (en) 2019-08-14 2022-06-28 Apple Inc. Small field of view display mitigation using transitional visuals
US11159766B2 (en) * 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
EP3819873A1 (en) 2019-11-05 2021-05-12 Koninklijke Philips N.V. An image synthesis system and method therefor
GB2590422B (en) * 2019-12-17 2024-03-06 Sony Interactive Entertainment Inc Content generation system and method
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922651A (zh) * 2004-06-10 2007-02-28 松下电器产业株式会社 穿戴型信息提示装置
CN101529899A (zh) * 2006-09-11 2009-09-09 斯卡拉株式会社 头部佩戴型显示装置以及图像显示装置
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5877748A (en) 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6012926A (en) 1996-03-27 2000-01-11 Emory University Virtual reality system for treating patients with anxiety disorders
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
GB2334643A (en) 1998-02-20 1999-08-25 Discreet Logic Inc Generating registration data for a virtual set
US6329986B1 (en) 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
GB2336057B (en) 1998-04-02 2002-05-08 Discreet Logic Inc Producing image data in a virtual set
US6552698B1 (en) 2000-05-02 2003-04-22 Agilent Technologies, Inc. Immersive display system
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
US6898266B2 (en) 2000-11-13 2005-05-24 Digitome Corporation 3D projection method
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US7010158B2 (en) 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
WO2005010825A2 (en) 2003-07-24 2005-02-03 Cognitens Ltd. Method and sytem for the three-dimensional surface reconstruction of an object
JP4262011B2 (ja) 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4638143B2 (ja) 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
US7487463B2 (en) 2004-02-17 2009-02-03 Sun Microsystems, Inc. Multiprocess input redirection in a 3D window system
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
EP1754201A1 (en) 2004-05-27 2007-02-21 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US7950026B1 (en) 2004-06-24 2011-05-24 Julian Michael Urbach Virtual application execution system and method
US7557774B2 (en) 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
US20060050070A1 (en) 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP4696248B2 (ja) 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US7248968B2 (en) 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US20060092178A1 (en) 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
JP2006239844A (ja) 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
JP5154775B2 (ja) 2006-08-18 2013-02-27 任天堂株式会社 ゲームプログラムおよびゲーム装置
CA2667315A1 (en) 2006-11-03 2008-05-15 University Of Georgia Research Foundation Interfacing with virtual reality
US20080174659A1 (en) 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
CN101715581B (zh) 2007-04-20 2014-07-23 索夫特基奈蒂克软件公司 体积识别方法和系统
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US8576247B2 (en) 2007-08-03 2013-11-05 Apple Inc. Method and apparatus for adjusting pixel values
US8049750B2 (en) 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US20090160985A1 (en) 2007-12-10 2009-06-25 The University Of Connecticut Method and system for recognition of a target in a three dimensional scene
US9355493B2 (en) 2007-12-31 2016-05-31 Advanced Micro Devices, Inc. Device and method for compositing video planes
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
WO2009128781A1 (en) 2008-04-17 2009-10-22 Lundgren & Nordstrand Ab A method and a device for remote visualization
JP5111312B2 (ja) 2008-09-16 2013-01-09 任天堂株式会社 ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法
US8266536B2 (en) 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8004769B2 (en) * 2009-03-05 2011-08-23 Nabes, Llc Binocular apparatus and system
CN101540020B (zh) 2009-04-01 2012-09-26 江西省交通设计院 一种公路三维选线方法
US20100315413A1 (en) 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9286720B2 (en) 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
WO2011084895A1 (en) 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
EP2418865A3 (en) 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
KR101674957B1 (ko) 2010-08-31 2016-11-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8675993B2 (en) 2010-09-03 2014-03-18 Adobe Systems Incorporated Methods and apparatus for patch-based shape from shading
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8606010B2 (en) 2011-03-18 2013-12-10 Seiko Epson Corporation Identifying text pixels in scanned images
JP6126076B2 (ja) * 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
US9030425B2 (en) 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US9022864B2 (en) 2011-06-03 2015-05-05 Nintendo Co., Ltd. Apparatus and method for controlling objects on a stereoscopic display
US8692738B2 (en) 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
JP5145444B2 (ja) 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
AU2012304260B2 (en) 2011-08-30 2017-06-08 Monash University System and method for processing sensor data for the visually impaired
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
CA2847975A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130083007A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
ES2656868T3 (es) 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
BR112014009129A2 (pt) 2011-10-20 2017-04-18 Koninklijke Philips Nv sistema e método para exibição holográfica interativa
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US20130137076A1 (en) 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013085193A1 (ko) 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
CN103472909B (zh) 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US8855442B2 (en) 2012-04-30 2014-10-07 Yuri Owechko Image registration of multimodal data using 3D-GeoArcs
US20130307855A1 (en) 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
US8994614B2 (en) 2012-10-11 2015-03-31 Sony Computer Entertainment Europe Limited Head mountable display
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
JP5818773B2 (ja) 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9058693B2 (en) 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US9443352B1 (en) 2012-12-21 2016-09-13 Motion Reality, Inc. Navigating through a virtual environment having a real-world elevation characteristics using motion capture
US9412201B2 (en) 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
EP2953099B1 (en) 2013-02-01 2019-02-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
CN104335155B (zh) * 2013-02-22 2018-11-09 索尼公司 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US20140253605A1 (en) 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
KR102148809B1 (ko) * 2013-04-22 2020-08-27 삼성전자주식회사 단축 아이콘 윈도우 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JPWO2014188798A1 (ja) 2013-05-21 2017-02-23 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20140363073A1 (en) 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9679144B2 (en) 2013-11-15 2017-06-13 Microsoft Technology Licensing, Llc Protecting privacy in web-based immersive augmented reality
JP6119570B2 (ja) 2013-11-19 2017-04-26 ソニー株式会社 表示装置、表示方法およびプログラム
US20150145887A1 (en) 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
CN103761085B (zh) 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
US9626776B2 (en) 2013-12-20 2017-04-18 Cognex Corporation Apparatus, systems, and methods for processing a height map
CN104750440B (zh) * 2013-12-30 2017-09-29 纬创资通股份有限公司 多屏幕的窗口管理方法、电子装置与计算机程序产品
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9691181B2 (en) 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US20150261293A1 (en) 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
KR20150141461A (ko) 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922651A (zh) * 2004-06-10 2007-02-28 松下电器产业株式会社 穿戴型信息提示装置
CN101529899A (zh) * 2006-09-11 2009-09-09 斯卡拉株式会社 头部佩戴型显示装置以及图像显示装置
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709896A (zh) * 2017-06-01 2020-01-17 昕诺飞控股有限公司 用于呈现虚拟对象的系统及其方法
CN109804333B (zh) * 2017-06-15 2021-05-28 腾讯科技（深圳）有限公司 基于用户的物理尺寸定制用户界面面板的系统和方法
CN109804333A (zh) * 2017-06-15 2019-05-24 腾讯科技（深圳）有限公司 基于用户的物理尺寸定制用户界面面板的系统和方法
WO2019001060A1 (zh) * 2017-06-26 2019-01-03 曾良军 应用显示方法和装置、三维空间显示界面的操作方法和装置、显示方法和装置、应用内容的展示方法和装置，及终端设备
CN111417989A (zh) * 2017-09-27 2020-07-14 Cy游戏公司 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置
CN111417989B (zh) * 2017-09-27 2024-03-29 Cy游戏公司 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置
CN108121442A (zh) * 2017-11-24 2018-06-05 曾良军 三维空间显示界面的操作方法、装置和终端设备
CN107908763A (zh) * 2017-11-24 2018-04-13 曾良军 应用内容的展示方法、装置和终端设备
CN110442229A (zh) * 2018-05-04 2019-11-12 脸谱科技有限责任公司 虚拟现实环境中的显示重定向
CN112119451A (zh) * 2018-05-22 2020-12-22 索尼公司 信息处理装置、信息处理方法和程序
CN108932879A (zh) * 2018-08-23 2018-12-04 重庆加河科技有限公司 一种基于mr的教学展示系统
CN114697302A (zh) * 2020-12-31 2022-07-01 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
CN112905007A (zh) * 2021-01-28 2021-06-04 海信视像科技股份有限公司 一种虚拟现实设备及语音辅助交互方法
CN114743433A (zh) * 2021-12-23 2022-07-12 中国科学院软件研究所 模拟飞行训练环境下威胁的多通道告警呈现方法及装置

Also Published As

Publication number Publication date
WO2016014872A1 (en) 2016-01-28
CN106575156B (zh) 2019-05-14
US20160025981A1 (en) 2016-01-28
US9904055B2 (en) 2018-02-27
EP3172646A1 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106575156B (zh) 虚拟对象的智能放置以停留在头戴式显示器的视野中
US10955914B2 (en) Gaze-based object placement within a virtual reality environment
KR102466576B1 (ko) 실세계 오브젝트를 갖는 가상 현실 환경
EP3172649B1 (en) Anti-trip when immersed in a virtual reality environment
CN106575154B (zh) 全息对象的智能透明度
US9645397B2 (en) Use of surface reconstruction data to identify real world floor
CN106662925A (zh) 使用头戴式显示器设备的多用户注视投影
CN106687886A (zh) 三维混合现实视口

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant