CN106575154A - 全息对象的智能透明度 - Google Patents
全息对象的智能透明度 Download PDFInfo
- Publication number
- CN106575154A CN106575154A CN201580041348.8A CN201580041348A CN106575154A CN 106575154 A CN106575154 A CN 106575154A CN 201580041348 A CN201580041348 A CN 201580041348A CN 106575154 A CN106575154 A CN 106575154A
- Authority
- CN
- China
- Prior art keywords
- shell
- user
- holographic object
- holographic
- nearly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 65
- 238000010612 desalination reaction Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 10
- 239000002775 capsule Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000001093 holography Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 26
- 210000001508 eye Anatomy 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 239000007787 solid Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000001681 protective effect Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000009738 saturating Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000012782 phase change material Substances 0.000 description 1
- 238000002135 phase contrast microscopy Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Holo Graphy (AREA)
Abstract
一种头戴式显示器(HMD)设备配置有传感器套件，该传感器套件使得能够进行头部跟踪以确定设备用户与混合现实或虚拟现实环境中的全息对象的邻近度。在用户周围放置包括同心布置的体壳的淡化体，体壳包括最靠近用户的近壳以及最远离用户的远壳。当全息对象在远壳以外时，HMD设备完全不透明地(即，不具有透明度)呈现该对象。当用户朝全息对象移动且该对象与远壳相交时，该对象的不透明度开始淡出且透明度增加以显露该对象后面的背景。全息对象的透明度随着该对象越来越接近近壳而增加，并且该对象在近壳触及该对象时变得完全透明以使得背景变得完全可见。
Description
背景
诸如头戴式显示(HMD)系统和手持式移动设备(例如，智能电话、平板电脑，等等)之类的混合现实和虚拟现实计算设备可被配置成向用户显示关于在用户的视野中和/或设备的相机的视野中的虚拟或真实对象的信息。例如，HDM设备可被配置成使用具有直通式相机或其它向外传感器的透视显示系统或不透明显示系统来显示其中混合真实世界对象的虚拟环境、其中混合虚拟对象的真实世界环境或纯虚拟世界。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
一种HMD设备配置有传感器套件，该传感器套件使得能够进行头部跟踪以确定设备用户与混合现实或虚拟现实环境中的全息对象的邻近度。在用户周围放置包括同心布置的体壳的淡化体，体壳包括最靠近用户的近壳以及最远离用户的远壳。当全息对象在远壳以外时，HMD设备完全不透明地(即，不具有透明度)呈现该对象。当用户朝全息对象移动且该对象与远壳相交时，该对象的不透明度开始淡出且透明度增加以显露该对象后面的背景。全息对象的透明度随着该对象越来越接近近壳而增加，并且该对象在近壳触及该对象时变得完全透明以使得背景变得完全可见。
在各说明性示例中，利用阿尔法合成并且在逐个像素的基础上取决于与近壳和远壳的相应邻近度来确定阿尔法值。可利用透明度混合曲线来在近壳和远壳之间的距离上平滑地混合逐像素阿尔法值。当用户接近全息对象时淡化不透明度并增加透明度能有助于减少视觉不适并防止遮挡对象原本隐藏的背景。在另一示例中，透明度可使用抖动技术来实现。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1示出一说明性虚拟现实环境，该说明性虚拟现实环境的一部分被渲染在HMD设备的用户的视野内；
图2示出其中定位有HMD设备的用户的说明性现实世界环境；
图3描绘正由HMD设备捕捉的与现实世界对象相关联的表面重构数据；
图4示出了说明性表面重构流水线的框图；
图5示出了HMD设备用户由根据用户的高度来调整大小并使用同心壳的说明性淡化体来表示；
图6示出了说明性虚拟对象，该虚拟对象在该对象位于或超过淡化体的远壳时被不透明地呈现在HMD设备的视野中；
图7示出了说明性虚拟对象，该虚拟对象在该对象位于淡化体的远壳或在其内时被透明地呈现在HMD设备的视野中；
图8示出了在虚拟对象位于淡化体的近壳和远壳之间的各个点时应用于这些虚拟对象的说明性透明度混合曲线；
图9、10和11是可以使用HMD设备执行的解说性方法的流程图；
图12是混合现实HMD设备的说明性示例的图形视图；
图13是混合现实HMD设备的说明性示例的功能框图；
图14和15是可用作混合现实HMD设备的组件的封闭脸罩的图形前视图；
图16示出了封闭脸罩的部分分解视图；
图17示出了封闭面罩的幻影线前视图；
图18示出了封闭面罩的图形后视图；以及
图19示出了示例性计算系统。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
在使用HMD设备的同时体验混合或虚拟现实环境时，用户可能当他们在相应的真实世界空间中四处移动时移至全息虚拟对象中。这一移动可以向HDM设备提出了在景深减小(并接近零)时准确地呈现对象方面的技术挑战，并且可能由于每一个眼睛之间的剪切平面失配而导致用户不适。另外，当全息对象随着用户越来越靠近而填满HMD设备的视野时，该对象可遮挡地面或其它对象的视觉。所提出的智能透明度提供了当HMD设备用户接近时淡出(且透明度增加)的全息对象不透明度，以同时减少视觉不适以及对诸如背景对象和地面之类的其它对象的遮挡。
在说明性示例中，如图1所示，用户102可以使用HMD设备104来体验可视地呈现并在一些实现中可包括音频和/或触觉/触摸感觉的虚拟现实环境100。在该特定非限制性示例中，在HMD设备104上执行的应用支持包括室外风景的虚拟现实环境100，室外风景具有用户能与其交互并看见的植被和树木、起伏的山脉、篱笆、道路等。当如在图2所示那样用户改变他的头部的位置或朝向和/或在相应的物理现实世界环境200内移动时，他的虚拟现实环境的视图可以改变。(由图1中的虚线区域110表示的)视野可被调整大小和形状，并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验，来为用户提供在虚拟世界的强烈存在感。尽管本文示出和描述的是虚拟现实环境，但所提出的智能透明度也可被应用于混合现实环境和场景。
HMD设备104被配置成通过跟踪用户(包括他的头部)在物理环境200中的位置来确定用户在虚拟现实环境中的位置以及他与全息对象的关系。如图3所示，该设备被配置成通过使用可包括集成深度传感器的传感器套件305来获取表面重构数据300。在替换实现中，可以使用合适的立体图像分析技术来导出深度数据。在一些应用中，例如可以将表面重构用于头部跟踪以确定在物理现实世界环境200内的用户头部的3D(三维)位置和朝向(包括头部姿态)，这样，可以确定虚拟世界的视野位置。
在一些实现中，传感器套件还可以支持注视跟踪以确定可以与头部位置和朝向数据一起使用的用户注视的方向。HMD设备104可以被进一步配置为展示可以显示系统消息、提示等等的用户接口(UI)310，以及展示用户可以操纵的控件。所述控件在一些情况中可以是虚拟或物理的。UI 310还可以被配置为使用例如语音命令或自然语言与所感测的手势和语音一起操作。
图4示出用于获得现实世界环境的表面重构数据的说明性表面重构数据流水线400。需要强调的是所公开的技术是说明性的，并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据402被输入到传感器的3D(三维)姿态估计中(框404)。传感器姿态跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。每个传感器的深度测量可以使用例如被编码为符号距离场(SDF)的表面来被合并(框406)到体积表示中。使用循环，SDF被射线投射(框408)入所估计的系中以提供所述深度图与之对齐的密集表面预测。
为了确定用户何时靠近全息对象，HMD设备104在用户102周围放置淡化体500(如图5所示)，该淡化体包括近壳505和远壳510。在该特定非限制性示例中，且不作为限制，壳505和510是圆柱形的且基本上是同心对齐的，并且近壳的半径r近约为半米，而远壳的半径r远约为一米。强调的是同心性和半径尺寸旨在是说明性的并且可利用其它布置和尺寸来适配智能透明度的特定应用。
淡化体500可使用各种几何体来配置，诸如图5中所描绘的圆柱体、胶囊体或球体或其它形状，并且注意该淡化体在某些情况下可使用非径向体来实现。该淡化体通常可根据物理环境内用户头部位置来调整大小，并且可以随着用户在地面之上的头部高度的变化(例如在用户在移动的同时进行躲闪或保持低姿的情况下)而相应地改变。用户的头部高度可使用任何合适的技术(包括例如使用如上所述的HMD的传感器套件的头部跟踪、用于估计用户的头部距地面的高度的图像分析或者用外部/远程方法)来确定。
当用户在虚拟现实环境100(图1)中移动时，从淡化体500到给定全息对象的距离被持续地确定。在一说明性示例中，阿尔法值由HMD设备在阿尔法合成过程中设置以完全不透明地、完全透明地或以某种程度的透明度呈现对象，这取决于该对象与近壳和远壳的邻近度。例如，如图6所示，当虚拟世界100中的墙605位于淡化体500的远壳510(图5)以外时，墙被完全不透明地呈现在HMD的视野110上。随着用户朝该墙移动，当该墙触及淡化体的近壳505时，HMD设备将完全透明地(完全透明在该附图中用虚线指示)呈现该墙以使得该墙后的无论何物(例如，其它对象和/或地面)都是可见的，如在图7中说明性地描绘的。
如图8所示，当用户移动且墙605经过淡化体中的远壳和近壳时，该墙随着它越来越靠近近壳而被更透明地呈现。即，该墙在远壳以外是完全不透明的。随着用户朝墙移动，该墙随着用户越来越靠近而变得更加透明(以使得用户能开始看见墙后的东西)，直到墙在用户变得很靠近以使得该墙与近壳相交时变得完全透明(以使得用户能完全看见墙后的虚拟世界)。
透明度的阿尔法合成可以在逐个像素的基础上执行，并且阿尔法值可使用如在图8中由附图标记805表示的施加在近壳和远壳之间的距离上的透明度混合曲线来改变。例如，透明度混合可基于描述全息对象距近壳和远壳的相应距离之比的0和1之间的值。因此，透明度混合曲线805可以选自在近壳和远壳之间的距离范围内从0到1地混合的任何函数。例如，阿尔法值可以在该距离范围内线性地内插，但使用非线性函数的其它透明度混合曲线也可被用于满足智能透明度的特定实现的要求。
在智能透明度的一些实现中，可以对除了阿尔法值以外的全息对象属性做出调整。例如，全息对象的RGB(红、绿、蓝)通道值可被调整以将对象褪化为黑色。当在使用附加显示器的HMD设备中实现时，用黑色呈现的全息内容是透明的以使得真实世界对象是可见的。这一真实世界可见性可以在支持全息和真实世界内容的组合的混合现实环境中被利用。例如，当用户移至更靠近全息对象时，该对象被呈现为黑色以变得透明并显露它后面的真实世界的各部分。
用于实现智能透明度的其它技术也可用于给定应用。例如，除了阿尔法合成以外，可利用诸如有序抖动之类的抖动技术，其中阈值矩阵提供了供全息对象产生不同程度的透明度的抖动模式。全息对象中的像素在它低于给定阈值时被丢弃(且变得不可见)。阈值矩阵可被实现为抖动矩阵(也常被称为索引矩阵或拜尔矩阵)，该矩阵通常提供常规抖动模式，然而在某些情况下也可利用阈值的随机排列。
图9、10和11是可使用HMD设备104来执行的说明性方法的流程图。除非明确说明，否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。
图9所示的方法900可由支持呈现可由用户在物理环境中操作的混合现实或虚拟现实环境的HMD设备来执行。在步骤905中，在设备用户周围放置淡化体。淡化体具有邻近(即，接近)用户的近壳以及在用户远侧(即，远离)的远壳。淡化体可根据用户的当前头部高度来调整大小并使用例如圆柱体或球体来配置，头部高度可使用HMD设备中的板载传感器套件来确定。在步骤910中，通过跟踪用户在混合现实或虚拟现实环境内的位置来确定全息对象的位置。这一跟踪可以例如使用头部跟踪来执行，头部跟踪可使用支持深度感测和其它能力的传感器套件来启用。
在步骤915中，当全息对象位于近壳和远壳之间时，随着位置越来越靠近近壳而更透明地呈现该对象。当位置与近壳相交时，可以完全透明地呈现全息对象以显露环境背景。在步骤920中，由HMD设备在全息对象位于远壳以外时呈现该对象。在步骤925中，可使用阿尔法合成且在以下实现中在逐个像素的基础上执行全息对象的呈现。阿尔法值可基于在近壳和远壳之间的空间距离上建立的透明度曲线来内插。内插在某些情况下可以是线性的。呈现还可另选地使用诸如有序抖动之类的抖动技术来实现。
图10中示出的方法1000可以由HMD设备来执行，本地HMD设备具有一个或多个处理器、用于使用可变视野来呈现混合现实或虚拟现实环境的显示器、传感器套件、以及存储计算机可读指令(诸如可以被用于实现该方法的软件代码)的一个或多个存储器设备。在步骤1005，使用板载传感器套件来执行HMD设备的头部跟踪。在步骤1010中维护全息几何体，该几何体包括环境中的具有已知位置的一个或多个全息对象。在步骤1015中，响应于头部跟踪，确定用户相对于全息几何体的位置。在步骤1020中，基于该用户位置来以某种程度的透明度呈现全息几何体的各部分以使得透明度随着该位置与所呈现的各部分之间的距离减小而增加。在步骤1025中，确定所呈现的各部分与被放置在用户周围的淡化体的相应的近壳和远壳的距离之比，并且使用该比值在逐个像素的基础上执行阿尔法混合。
图11中的方法1100可通过存储在HMD设备上的指令来执行，该HMD设备在真实世界环境中操作。在步骤1105中，HMD设备中的显示光学器件被配置成以各种不透明度选择性地呈现全息对象。在步骤1110中，使用被纳入该设备的传感器来动态地确定全息对象相对于近门槛和远门槛的位置。在步骤1115中，当所呈现的全息对象位于远门槛以外时将该对象的不透明度设为最大值。在步骤1120中，当全息对象位于近门槛和远门槛之间时，基于该位置，从跨越最小值和最大值的范围中设置所呈现的全息对象的不透明度。
现转至各说明性实现细节，根据本布置的混合和/或虚拟现实显示设备可以采用任何合适的形式，包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。尽管在一些实现中可以使用透视显示器，而在其他视线中，使用例如基于相机的传递或外向式传感器的不透明(即非透视)显示器可以被使用。图12示出了透视混合现实显示系统1200的一个特定说明性示例，而图13显示了系统1200的功能框图。显示系统1200包括形成透视显示子系统1202的一部分的一个或多个透镜1204，以便图像可以使用透镜1202(例如，使用到透镜1202上的投影、并入透镜1202中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统1200进一步包括被配置成获取正在被用户查看的背景场景和/或物理环境的图像的一个或多个外向式图像传感器1206，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒1208。外向式图像传感器1206可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换布置中，如上所述，代替纳入透视显示子系统，混合现实显示系统可以通过外向式图像传感器的取景器模式来显示混合现实图像。
显示系统1200还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统1210，如上文所描述的。注视检测子系统1210可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统1210包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源1212(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器1214(诸如内向式传感器)。根据使用(诸)图像传感器1214收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。
此外，从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统1210可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中，可以省略注视检测子系统1210。
显示系统1200还可以包括附加传感器。例如，显示系统1200可以包括全球定位系统(GPS)子系统1216，以允许确定显示系统1200的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。
显示系统1200还可以包括一个或多个运动传感器1218(例如惯性、多轴陀螺仪或加速度传感器)，以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿态。运动数据可以潜在地与眼睛跟踪闪烁数据和外向图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自外向式图像传感器1206的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自外向式图像传感器1206的图像数据。
另外，运动传感器1218，以及麦克风1208和注视检测子系统1210，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及在一些情况中通过语音命令，与显示系统1200进行交互。可以理解，图12和13中所示出的并在附随的文本中描述的传感器只是出于示例的目的被包括，而不旨在以任何方式作出限制，因为可以使用任何其他合适的传感器和/或传感器的组合来满足增强现实HMD设备的特定实现的需求。例如，在一些实现中可利用生物测定传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光照等级等)。
显示系统1200可进一步包括通过通信子系统1226与各传感器、注视检测子系统1210、显示子系统1204和/或其他组件通信的具有逻辑子系统1222和数据存储子系统1224的控制器1220。通信子系统1226还可以便利于显示系统与位于远程的资源，例如处理、存储、功率、数据和服务结合操作。即，在一些实现中，HMD设备可以被作为一种系统的部分来操作，该系统可以在不同的组件和子系统间分布资源和能力。
存储子系统1224可以包括存储在其上的指令，这些指令能被逻辑子系统1222执行例如用以：接收并解释来自传感器的输入、标识用户的移动、使用表面重构和其它技术标识真实对象，以及基于到对象的距离模糊/淡出所述显示以便允许所述对象被用户看到，以及其它任务。
显示系统1200被配置有一个或多个音频换能器1228(例如扬声器、耳机等)，这样，音频可以被用作增强现实体验的部分。功率管理子系统1230可以包括一个或多个电池1232和/或保护电路模块(PCMs)以及相关联的充电接口1234和/或用于对显示系统1200中的组件供电的远程电源接口。
可以理解，所描绘的显示设备104和1200是出于示例的目的描述的，并由此不旨在是限制性的。进一步理解，显示设备可包括除所示出的那些之外的额外的和/或替代的传感器、相机、话筒、输入设备、输出设备等等，而不会背离本安排的范围。另外，显示设备及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不会背离本安排的范围。
图14-18示出可被用作HMD设备的组件的增强现实显示系统1400的说明性替换实现。在该示例中，系统1400使用透视密封护目镜1402，该密封护目镜1702被配置成保护透视显示子系统所利用的内部光学器件组装件。护目镜1402通常与HMD设备的其他组件(未示出)对接，其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等)，如结合图12和13说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被纳入在护目镜1402中。
护目镜分别包括透视前护罩1404和透视后护罩1406，透视前护罩1704和透视后护罩1706可使用透明材料来建模以促成到光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、映射、抗反射、抗雾和其他涂覆之类的处理，并且还可利用各种色彩和饰面。前护罩和后护照被固定到底座1505，如图18中的部分扩展视图中所描绘的，其中护照盖1510被示出为与护目镜1402分解。
密封面罩1402可在HMD设备被佩戴并在操作中被使用时，以及在正常处理以用于清理等器件物理地保护敏感的内部组件，包括光学器件显示子部件1602(在图16中的分解视图中示出的)。面罩1402还可保护光学器件显示子部件1602远离各环境元件，并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件1602按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。
如图16和18所示，后护罩1406按人体工程学上正确的形式被配置成与用户的鼻子和鼻托1804(图18)对接，并且可包括其他舒适特征(例如，作为分立组件来建模和/或添加)。在一些情况下，封闭面罩1402还可将某一水平的光学屈光度曲率(即，眼睛处方)纳入成型的护罩中。
图19示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统1900的非限制性实施例。HMD设备104可以是计算系统1900的一个非限制性示例。计算系统1900以简化形式示出。可理解，可以使用实际上任何计算机架构，而不偏离本布置的范围。在不同的实施例中，计算系统1900可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统1900包括逻辑子系统1902和存储子系统1904。计算系统1900可任选地包括显示子系统1906、输入子系统1908、通信子系统1910和/或在图19中未示出的其他组件。
逻辑子系统1902包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统1902可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统1902可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统1902可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统1902的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统1902可任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统1902的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统1904包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统1902可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统1904的状态可以被变换(例如，以保持不同的数据)。
存储器子系统1904可包括可移动介质和/或内置设备。存储子系统1904可包括光学存储器设备(例如，CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统1904可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
可领会，存储子系统1904包括一个或多个物理设备，并排除传播信号自身。然而，在一些实现中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子系统1902和存储子系统1904的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子系统1906可用于呈现由存储子系统1904保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统1906的状态以视觉地表示底层数据的改变。显示子系统1906可包括利用几乎任何类型的技术的一个或多个显示设备。在一些情况下，可将此类显示设备与逻辑子系统1902和/或存储子系统76一起组合在共享封装中，或者在其他情况下，此类显示设备可以是外围触摸显示设备。
在包括输入子系统1908时，输入子系统2208可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
在包括通信子系统1910时，通信子系统1900可以被配置成将计算系统2200与一个或多个其他计算设备通信耦合。通信子系统1910可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1900使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
所提出的智能透明度的各种示例性实施例现在是出于说明的目的被呈现的，并不是作为所有实施例的穷尽性列表。一示例包括一种由占据物理环境的用户采用的头戴式显示器(HMD)设备执行的方法，该HMD设备支持呈现包括全息对象的混合现实或虚拟现实环境，该方法包括：在用户周围放置淡化体，该淡化体具有邻近用户的近壳以及远离用户的远壳；通过跟踪用户在混合现实或虚拟现实环境内的位置来确定全息对象相对于近壳和远壳的位置；以及在全息对象位于近壳和远壳之间时透明地呈现该对象，该透明度随着该对象越来越靠近近壳而增加。
在另一示例中，该方法还包括在全息对象位于淡化体的远壳以外时完全不透明地呈现该全息对象。在另一示例中，该方法还包括在全息对象与淡化体的近壳相交时完全透明地呈现该全息对象。在另一示例中，该方法还包括使用阿尔法合成来执行全息对象的呈现，并且基于透明度曲线来内插阿尔法值或者使用有序抖动来执行全息对象的呈现，该透明度曲线在淡化体的近壳和远壳之间的空间距离上建立。在另一示例中，透明度曲线是线性曲线，且阿尔法值在线性基础上内插。在另一示例中，该方法还包括在逐个像素的基础上执行对全息对象的阿尔法合成。在另一示例中，该方法还包括执行头部跟踪以确定淡化体与全息对象的邻近度。在另一示例中，头部跟踪利用HMD设备中的传感器套件来生成深度数据。在另一示例中，该方法进一步包括使用一个或多个立体成像深度分析或使用深度传感器来生成深度数据。在另一示例中，该方法进一步包括使用传感器套件来确定用户头部在物理环境的地面之上的当前高度。在另一示例中，该方法还包括根据用户头部的高度来调整淡化体的大小。在另一示例中，该方法还包括将远壳的半径配置为是近壳的半径的1.5倍到2.5倍之间。在另一示例中，该方法还包括将近壳的半径配置为约半米且将远壳的半径配置为约一米。在另一示例中，该方法还包括执行全息对象的透明呈现以显示混合或虚拟现实环境的背景，该背景包括虚拟地面、真实地面、其它全息对象或真实对象中的一个或多个。在另一示例中，该方法还包括使用圆柱体、球体、胶囊体或非径向体之一来配置近壳和远壳。在另一示例中，该方法还包括将近壳和远壳配置为具有不同半径的同心对齐的圆柱体或者共享共同的中心的具有不同半径的球体。
附加示例包括物理环境中的用户可操作的头戴式显示(HMD)设备，包括：一个或多个处理器；具有在其上向用户呈现混合现实或虚拟现实环境的区域的显示器；传感器套件；以及存储计算机可读指令的一个或多个存储器设备，这些指令在由一个或多个处理器执行时执行一种包括以下步骤的方法：使用传感器套件来执行物理环境内的用户的头部跟踪；维护全息几何体，该全息几何体包括混合现实或虚拟现实环境内的具有已知位置的一个或多个全息对象；响应于头部跟踪来确定用户相对于全息对象的位置；以及基于用户位置来透明地呈现全息几何体的各部分，以使得所呈现的各部分的透明度随着用户位置与所呈现的各部分之间的距离减小而增加。
在另一示例中，HMD设备还包括确定所呈现的各部分与被放置在用户周围的淡化体的相应近壳和远壳的距离之比并取决于该比值在逐个像素的基础上控制阿尔法混合。
另一示例包括存储计算机可执行指令的一个或多个计算机可读存储器，这些指令用于在头戴式显示器(HMD)设备的可变视野内呈现混合现实或虚拟现实环境，该HMD设备在真实世界环境中操作，该方法包括以下步骤：将被纳入该HMD设备中的显示器光学器件配置成以不同的不透明度选择性地呈现全息对象；使用被纳入该HMD设备中的传感器来动态地确定全息对象相对于近门槛和远门槛中的每一者的位置；当所呈现的全息对象位于远门槛以外时将该全息对象的不透明度设为最大值；以及当全息对象位于近门槛和远门槛之间时，基于该位置，从跨越最小值和最大值的范围中设置所呈现的全息对象的不透明度。
在另一示例中，不透明度使用阿尔法合成或抖动之一来随着全息对象与近门槛之间的距离减小而增加，该方法还包括将用户包围在具有位于近门槛的近壳以及位于远门槛的远壳的淡化体内，近壳和远壳选自圆柱体、球体、胶囊体或非径向体之一。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
Claims (15)
1.一种由占据物理环境的用户采用的头戴式显示器(HMD)设备执行的方法，所述HMD设备支持呈现包括全息对象的混合现实或虚拟现实环境，所述方法包括：
在所述用户周围放置淡化体，所述淡化体具有邻近所述用户的近壳以及远离所述用户的远壳；
通过跟踪所述用户在所述混合现实或虚拟现实环境内的位置来确定全息对象相对于所述近壳和所述远壳的位置；以及
在所述全息对象位于所述近壳和所述远壳之间时透明地呈现所述全息对象，透明度随着所述对象越来越靠近所述近壳而增加。
2.如权利要求1所述的方法，其特征在于，还包括在所述全息对象位于所述淡化体的所述远壳之外时完全不透明地呈现所述全息对象。
3.如权利要求1所述的方法，其特征在于，还包括在所述全息对象与所述淡化体的所述近壳相交时完全透明地呈现所述全息对象。
4.如权利要求1所述的方法，其特征在于，还包括使用阿尔法合成来执行所述全息对象的呈现并且基于透明度曲线来内插阿尔法值或者使用有序抖动来执行所述全息对象的呈现，所述透明度曲线在所述淡化体的所述近壳和所述远壳之间的空间距离上建立。
5.如权利要求4所述的方法，其特征在于，所述透明度曲线是线性曲线，且所述阿尔法值在线性基础上内插。
6.如权利要求4所述的方法，其特征在于，还包括在逐个像素的基础上执行对所述全息对象的阿尔法合成。
7.如权利要求1所述的方法，其特征在于，还包括执行头部跟踪以确定所述淡化体与所述全息对象的邻近度。
8.如权利要求7所述的方法，其特征在于，所述头部跟踪利用所述HMD设备中的传感器套件来生成深度数据。
9.如权利要求8所述的方法，其特征在于，还包括使用一个或多个立体成像深度分析或使用深度传感器来生成所述深度数据。
10.如权利要求8所述的方法，其特征在于，还包括使用所述传感器套件来确定用户头部在所述物理环境的地面之上的当前高度。
11.如权利要求10所述的方法，其特征在于，还包括根据用户头部的高度来调整所述淡化体的大小。
12.如权利要求1所述的方法，其特征在于，还包括将所述远壳的半径配置为是所述近壳的半径的1.5倍到2.5倍之间。
13.如权利要求12所述的方法，其特征在于，还包括将所述近壳的半径配置为约半米且将所述远壳的半径配置为约一米。
14.如权利要求1所述的方法，其特征在于，还包括执行所述全息对象的透明呈现以显示所述混合或虚拟现实环境的背景，所述背景包括虚拟地面、真实地面、其它全息对象或真实对象中的一个或多个。
15.如权利要求1所述的方法，其特征在于，还包括使用圆柱体、球体、胶囊体或非径向体之一来配置所述近壳和所述远壳。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462029351P | 2014-07-25 | 2014-07-25 | |
| US62/029,351 | 2014-07-25 | ||
| US14/722,942 US10451875B2 (en) | 2014-07-25 | 2015-05-27 | Smart transparency for virtual objects |
| US14/722,942 | 2015-05-27 | ||
| PCT/US2015/041865 WO2016014875A2 (en) | 2014-07-25 | 2015-07-24 | Smart transparency for holographic objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106575154A true CN106575154A (zh) | 2017-04-19 |
| CN106575154B CN106575154B (zh) | 2020-01-07 |
Family
ID=54140626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580041348.8A Active CN106575154B (zh) | 2014-07-25 | 2015-07-24 | 全息对象的智能透明度 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10451875B2 (zh) |
| EP (1) | EP3172650A2 (zh) |
| JP (1) | JP2017531222A (zh) |
| KR (1) | KR102312899B1 (zh) |
| CN (1) | CN106575154B (zh) |
| WO (1) | WO2016014875A2 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110708530A (zh) * | 2019-09-11 | 2020-01-17 | 青岛小鸟看看科技有限公司 | 一种使用增强现实设备透视封闭空间的方法和系统 |
| CN111201491A (zh) * | 2017-10-20 | 2020-05-26 | Sk电信有限公司 | 全息图像显示装置 |
| CN112181551A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种信息处理方法以及相关设备 |
| CN112612389A (zh) * | 2020-12-25 | 2021-04-06 | 珠海金山网络游戏科技有限公司 | 滑动窗口中对象的显示系统及方法 |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US10389992B2 (en) * | 2014-08-05 | 2019-08-20 | Utherverse Digital Inc. | Immersive display and method of operating immersive display for real-world object alert |
| GB2532954A (en) * | 2014-12-02 | 2016-06-08 | Ibm | Display control system for an augmented reality display system |
| JP6367166B2 (ja) * | 2015-09-01 | 2018-08-01 | 株式会社東芝 | 電子機器及び方法 |
| US20170200316A1 (en) * | 2015-09-10 | 2017-07-13 | Sphere Optics Company, Llc | Advertising system for virtual reality environments |
| US10511895B2 (en) * | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| DE102015226585A1 (de) * | 2015-12-22 | 2017-06-22 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
| US9767606B2 (en) * | 2016-01-12 | 2017-09-19 | Lenovo (Singapore) Pte. Ltd. | Automatic modification of augmented reality objects |
| JP6742760B2 (ja) * | 2016-02-29 | 2020-08-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10665019B2 (en) * | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
| DE102016106010B4 (de) * | 2016-04-01 | 2020-08-13 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur Unterstützung der Montage eines Bauteils und Montageunterstützungssystem hierzu |
| EP3249929A1 (en) * | 2016-05-25 | 2017-11-29 | Thomson Licensing | Method and network equipment for establishing a manifest |
| US10373319B2 (en) * | 2016-06-13 | 2019-08-06 | International Business Machines Corporation | Object tracking with a holographic projection |
| US11238610B2 (en) * | 2016-08-10 | 2022-02-01 | Disney Enterprises, Inc. | Placing large objects and objects separated by large distances in augmented reality |
| US10032314B2 (en) | 2016-10-11 | 2018-07-24 | Microsoft Technology Licensing, Llc | Virtual reality headset |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| GB2558284B (en) * | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
| US10303118B2 (en) * | 2017-01-16 | 2019-05-28 | International Business Machines Corporation | Holographic representations of digital object transfers |
| US10175650B2 (en) | 2017-01-16 | 2019-01-08 | International Business Machines Corporation | Dynamic hologram parameter control |
| US10146300B2 (en) | 2017-01-25 | 2018-12-04 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Emitting a visual indicator from the position of an object in a simulated reality emulation |
| IL251189A0 (en) * | 2017-03-15 | 2017-06-29 | Ophir Yoav | Gradual transition between two-dimensional and three-dimensional augmented reality simulations |
| US10803674B2 (en) | 2017-11-03 | 2020-10-13 | Samsung Electronics Co., Ltd. | System and method for changing a virtual reality environment dynamically |
| TWI658291B (zh) * | 2018-01-25 | 2019-05-01 | 宏碁股份有限公司 | 頭戴式顯示器及其操作方法 |
| EP3540570A1 (en) * | 2018-03-13 | 2019-09-18 | Thomson Licensing | Method for generating an augmented representation of a real environment, corresponding device, computer program product, and computer-readable carrier medium |
| US10853946B2 (en) * | 2018-05-18 | 2020-12-01 | Ebay Inc. | Physical object boundary detection techniques and systems |
| US11195336B2 (en) | 2018-06-08 | 2021-12-07 | Vulcan Inc. | Framework for augmented reality applications |
| US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
| US10996831B2 (en) | 2018-06-29 | 2021-05-04 | Vulcan Inc. | Augmented reality cursors |
| KR102274824B1 (ko) * | 2018-12-17 | 2021-07-08 | 주식회사 락소 | 홀로그램 기반 홈퍼니싱 시뮬레이션 시스템 및 방법 |
| US11055918B2 (en) * | 2019-03-15 | 2021-07-06 | Sony Interactive Entertainment Inc. | Virtual character inter-reality crossover |
| JP7356827B2 (ja) | 2019-06-26 | 2023-10-05 | 株式会社コロプラ | プログラム、情報処理方法、及び情報処理装置 |
| US11132052B2 (en) * | 2019-07-19 | 2021-09-28 | Disney Enterprises, Inc. | System for generating cues in an augmented reality environment |
| US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
| US20220146822A1 (en) * | 2019-08-15 | 2022-05-12 | Ostendo Technologies, Inc. | Wearable Display Systems and Design Methods Thereof |
| US11244516B2 (en) * | 2019-09-16 | 2022-02-08 | Magic Leap, Inc. | Object interactivity in virtual space |
| US11175730B2 (en) * | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
| US11126850B1 (en) * | 2020-04-09 | 2021-09-21 | Facebook Technologies, Llc | Systems and methods for detecting objects within the boundary of a defined space while in artificial reality |
| US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
| US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
| US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
| US11475642B2 (en) * | 2020-12-18 | 2022-10-18 | Huawei Technologies Co., Ltd. | Methods and systems for selection of objects |
| US11232644B1 (en) | 2020-12-31 | 2022-01-25 | Facebook Technologies, Llc | Systems and methods for providing spatial awareness in virtual reality |
| US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| CN102918568A (zh) * | 2010-04-02 | 2013-02-06 | 高通股份有限公司 | 扩增现实方向取向遮罩 |
| CN103064188A (zh) * | 2011-11-30 | 2013-04-24 | 微软公司 | 基于头戴式显示器的教育和指导 |
| US20130336629A1 (en) * | 2012-06-19 | 2013-12-19 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
| US20140125557A1 (en) * | 2012-11-02 | 2014-05-08 | Atheer, Inc. | Method and apparatus for a three dimensional interface |
| US20140132484A1 (en) * | 2012-11-13 | 2014-05-15 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
Family Cites Families (161)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6061064A (en) | 1993-08-31 | 2000-05-09 | Sun Microsystems, Inc. | System and method for providing and using a computer user interface with a view space having discrete portions |
| US5615132A (en) | 1994-01-21 | 1997-03-25 | Crossbow Technology, Inc. | Method and apparatus for determining position and orientation of a moveable object using accelerometers |
| US5748189A (en) | 1995-09-19 | 1998-05-05 | Sony Corp | Method and apparatus for sharing input devices amongst plural independent graphic display devices |
| US5877748A (en) | 1995-11-20 | 1999-03-02 | Redlich; Sanford I. | Computer control input interface system |
| US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
| US6012926A (en) | 1996-03-27 | 2000-01-11 | Emory University | Virtual reality system for treating patients with anxiety disorders |
| US5880733A (en) | 1996-04-30 | 1999-03-09 | Microsoft Corporation | Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system |
| GB2334643A (en) | 1998-02-20 | 1999-08-25 | Discreet Logic Inc | Generating registration data for a virtual set |
| US6329986B1 (en) | 1998-02-21 | 2001-12-11 | U.S. Philips Corporation | Priority-based virtual environment |
| GB2336057B (en) | 1998-04-02 | 2002-05-08 | Discreet Logic Inc | Producing image data in a virtual set |
| US6757068B2 (en) | 2000-01-28 | 2004-06-29 | Intersense, Inc. | Self-referenced tracking |
| US6552698B1 (en) | 2000-05-02 | 2003-04-22 | Agilent Technologies, Inc. | Immersive display system |
| US20020154214A1 (en) | 2000-11-02 | 2002-10-24 | Laurent Scallie | Virtual reality game system using pseudo 3D display driver |
| US6898266B2 (en) | 2000-11-13 | 2005-05-24 | Digitome Corporation | 3D projection method |
| US6804607B1 (en) | 2001-04-17 | 2004-10-12 | Derek Wood | Collision avoidance system and method utilizing variable surveillance envelope |
| US6529331B2 (en) | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
| US7274380B2 (en) | 2001-10-04 | 2007-09-25 | Siemens Corporate Research, Inc. | Augmented reality system |
| US7010158B2 (en) | 2001-11-13 | 2006-03-07 | Eastman Kodak Company | Method and apparatus for three-dimensional scene modeling and reconstruction |
| US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
| US20070057946A1 (en) | 2003-07-24 | 2007-03-15 | Dan Albeck | Method and system for the three-dimensional surface reconstruction of an object |
| JP4262011B2 (ja) | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
| JP4401727B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
| JP4638143B2 (ja) | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
| US7487463B2 (en) | 2004-02-17 | 2009-02-03 | Sun Microsystems, Inc. | Multiprocess input redirection in a 3D window system |
| JP4125252B2 (ja) | 2004-03-02 | 2008-07-30 | 株式会社東芝 | 画像生成装置、画像生成方法、及び画像生成プログラム |
| US7952594B2 (en) | 2004-05-27 | 2011-05-31 | Canon Kabushiki Kaisha | Information processing method, information processing apparatus, and image sensing apparatus |
| CN1922651A (zh) | 2004-06-10 | 2007-02-28 | 松下电器产业株式会社 | 穿戴型信息提示装置 |
| US7400322B1 (en) | 2004-06-24 | 2008-07-15 | Julian Michael Urbach | Viewport-based desktop rendering engine |
| US7557774B2 (en) | 2004-08-13 | 2009-07-07 | Microsoft Corporation | Displaying visually correct pointer movements on a multi-monitor display system |
| US20060050070A1 (en) | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| JP4696248B2 (ja) | 2004-09-28 | 2011-06-08 | 国立大学法人 熊本大学 | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 |
| US7248968B2 (en) | 2004-10-29 | 2007-07-24 | Deere & Company | Obstacle detection using stereo vision |
| US20060092178A1 (en) | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
| JP2006239844A (ja) | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
| JP4660357B2 (ja) | 2005-11-18 | 2011-03-30 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| US7542210B2 (en) | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
| JP4789745B2 (ja) | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
| JP5154775B2 (ja) | 2006-08-18 | 2013-02-27 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| JP4999408B2 (ja) | 2006-09-11 | 2012-08-15 | スカラ株式会社 | ヘッドマウント型表示装置、及び画像表示装置 |
| CA2667315A1 (en) | 2006-11-03 | 2008-05-15 | University Of Georgia Research Foundation | Interfacing with virtual reality |
| US20080174659A1 (en) | 2007-01-18 | 2008-07-24 | Mcdowall Ian | Wide field of view display device and method |
| WO2008128568A1 (en) | 2007-04-20 | 2008-10-30 | Softkinetic S.A. | Volume recognition method and system |
| US8605008B1 (en) | 2007-05-04 | 2013-12-10 | Apple Inc. | Head-mounted display |
| US8576247B2 (en) | 2007-08-03 | 2013-11-05 | Apple Inc. | Method and apparatus for adjusting pixel values |
| US8049750B2 (en) | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
| US20090160985A1 (en) | 2007-12-10 | 2009-06-25 | The University Of Connecticut | Method and system for recognition of a target in a three dimensional scene |
| US9355493B2 (en) | 2007-12-31 | 2016-05-31 | Advanced Micro Devices, Inc. | Device and method for compositing video planes |
| US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
| US20090199275A1 (en) | 2008-02-06 | 2009-08-06 | David Brock | Web-browser based three-dimensional media aggregation social networking application |
| NL1035303C2 (nl) | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
| WO2009128781A1 (en) | 2008-04-17 | 2009-10-22 | Lundgren & Nordstrand Ab | A method and a device for remote visualization |
| JP5111312B2 (ja) | 2008-09-16 | 2013-01-09 | 任天堂株式会社 | ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法 |
| US8266536B2 (en) | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
| US8970690B2 (en) | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
| US8004769B2 (en) | 2009-03-05 | 2011-08-23 | Nabes, Llc | Binocular apparatus and system |
| CN101540020B (zh) | 2009-04-01 | 2012-09-26 | 江西省交通设计院 | 一种公路三维选线方法 |
| US20100315413A1 (en) | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Surface Computer User Interaction |
| JP5263049B2 (ja) | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| US9286720B2 (en) | 2009-08-20 | 2016-03-15 | Northrop Grumman Systems Corporation | Locative video for situation awareness |
| KR101627214B1 (ko) | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| WO2011084895A1 (en) | 2010-01-08 | 2011-07-14 | Kopin Corporation | Video eyewear for smart phone games |
| US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
| CN101813976A (zh) | 2010-03-09 | 2010-08-25 | 华南理工大学 | 基于soc的视线跟踪人机交互方法及装置 |
| US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| US9798436B2 (en) | 2010-07-08 | 2017-10-24 | Red Hat Israel, Ltd. | Remote computing with a low latency mouse mode |
| CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
| EP2418865A3 (en) | 2010-08-09 | 2014-08-06 | LG Electronics Inc. | 3D viewing device, image display apparatus, and method for operating the same |
| US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
| KR101674957B1 (ko) | 2010-08-31 | 2016-11-10 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US8625931B2 (en) | 2010-09-03 | 2014-01-07 | Adobe Systems Incorporated | Light space graphical model in shape from shading |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US9946076B2 (en) | 2010-10-04 | 2018-04-17 | Gerard Dirk Smits | System and method for 3-D projection and enhancements for interactivity |
| US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
| US8606010B2 (en) | 2011-03-18 | 2013-12-10 | Seiko Epson Corporation | Identifying text pixels in scanned images |
| EP2691936A1 (en) | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
| US9030425B2 (en) | 2011-04-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Detection of interaction with virtual object from finger color change |
| US9022864B2 (en) | 2011-06-03 | 2015-05-05 | Nintendo Co., Ltd. | Apparatus and method for controlling objects on a stereoscopic display |
| US8692738B2 (en) | 2011-06-10 | 2014-04-08 | Disney Enterprises, Inc. | Advanced Pepper's ghost projection system with a multiview and multiplanar display |
| US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
| JP5145444B2 (ja) | 2011-06-27 | 2013-02-20 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法、及びプログラム |
| WO2013014919A1 (ja) | 2011-07-27 | 2013-01-31 | 株式会社ブリヂストン | 空気入りタイヤおよび、空気入りタイヤの製造方法 |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| WO2013029097A2 (en) | 2011-08-30 | 2013-03-07 | Monash University | System and method for processing sensor data for the visually impaired |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| WO2013033842A1 (en) | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
| US20130083018A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
| US20130083007A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Changing experience using personal a/v system |
| US20130088413A1 (en) | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
| ES2656868T3 (es) | 2011-10-05 | 2018-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dispositivo portátil, sistema y método de realidad virtual |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| RU2608322C2 (ru) | 2011-10-20 | 2017-01-17 | Конинклейке Филипс Н.В. | Голографические пользовательские интерфейсы для медицинских процедур |
| US9454849B2 (en) | 2011-11-03 | 2016-09-27 | Microsoft Technology Licensing, Llc | Augmented reality playspaces with adaptive game rules |
| US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| US9489574B2 (en) | 2011-12-06 | 2016-11-08 | Kyungpook National University Industry-Academic Cooperation Foundation | Apparatus and method for enhancing user recognition |
| US20130147686A1 (en) | 2011-12-12 | 2013-06-13 | John Clavin | Connecting Head Mounted Displays To External Displays And Other Communication Networks |
| US20160011724A1 (en) | 2012-01-06 | 2016-01-14 | Google Inc. | Hands-Free Selection Using a Ring-Based User-Interface |
| US9734633B2 (en) | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
| CN102646117B (zh) | 2012-02-20 | 2015-07-08 | 华为技术有限公司 | 文件数据传送的方法与装置 |
| US10008002B2 (en) | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
| JP6066037B2 (ja) | 2012-03-27 | 2017-01-25 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| US8988465B2 (en) | 2012-03-30 | 2015-03-24 | Ford Global Technologies, Llc | Physical-virtual hybrid representation |
| US20140013248A1 (en) * | 2012-04-03 | 2014-01-09 | Life of Two | System and method for associating a conversation |
| CN103472909B (zh) | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
| US8855442B2 (en) | 2012-04-30 | 2014-10-07 | Yuri Owechko | Image registration of multimodal data using 3D-GeoArcs |
| JP2013238693A (ja) | 2012-05-14 | 2013-11-28 | Sharp Corp | 画像表示装置、画像表示方法及びプログラム |
| US20130307855A1 (en) | 2012-05-16 | 2013-11-21 | Mathew J. Lamb | Holographic story telling |
| US20130326364A1 (en) | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
| JP5953963B2 (ja) | 2012-06-13 | 2016-07-20 | ソニー株式会社 | 頭部装着型映像表示装置 |
| US9389420B2 (en) | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
| US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| US9767720B2 (en) | 2012-06-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Object-centric mixed reality space |
| US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
| CN105378593B (zh) | 2012-07-13 | 2019-03-01 | 索尼深度传感解决方案股份有限公司 | 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统 |
| US9429912B2 (en) | 2012-08-17 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mixed reality holographic object development |
| US8994614B2 (en) | 2012-10-11 | 2015-03-31 | Sony Computer Entertainment Europe Limited | Head mountable display |
| US9135052B2 (en) | 2012-11-06 | 2015-09-15 | Red Hat Israel, Ltd. | Distributed multiple monitor display split using multiple client devices in a virtualization system |
| GB2499694B8 (en) | 2012-11-09 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | System and method of image reconstruction |
| JP5818773B2 (ja) | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6271960B2 (ja) | 2012-11-26 | 2018-01-31 | キヤノン株式会社 | 情報処理システム |
| US20140168264A1 (en) | 2012-12-19 | 2014-06-19 | Lockheed Martin Corporation | System, method and computer program product for real-time alignment of an augmented reality device |
| US9058693B2 (en) | 2012-12-21 | 2015-06-16 | Dassault Systemes Americas Corp. | Location correction of virtual objects |
| JP6029453B2 (ja) * | 2012-12-21 | 2016-11-24 | 京セラ株式会社 | 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法 |
| US9443352B1 (en) | 2012-12-21 | 2016-09-13 | Motion Reality, Inc. | Navigating through a virtual environment having a real-world elevation characteristics using motion capture |
| US9412201B2 (en) | 2013-01-22 | 2016-08-09 | Microsoft Technology Licensing, Llc | Mixed reality filtering |
| US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
| US10529134B2 (en) | 2013-02-01 | 2020-01-07 | Sony Corporation | Information processing device, client device, information processing method, and program |
| WO2014129105A1 (ja) | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
| US20140240351A1 (en) | 2013-02-27 | 2014-08-28 | Michael Scavezze | Mixed reality augmentation |
| US20140253605A1 (en) | 2013-03-05 | 2014-09-11 | John N. Border | Controlling brightness of a displayed image |
| US9041741B2 (en) | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
| KR102148809B1 (ko) | 2013-04-22 | 2020-08-27 | 삼성전자주식회사 | 단축 아이콘 윈도우 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| EP3001406A4 (en) | 2013-05-21 | 2017-01-25 | Sony Corporation | Display control device, display control method, and recording medium |
| US20140363073A1 (en) | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
| WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
| US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
| US9256072B2 (en) | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
| US9679144B2 (en) | 2013-11-15 | 2017-06-13 | Microsoft Technology Licensing, Llc | Protecting privacy in web-based immersive augmented reality |
| JP6119570B2 (ja) | 2013-11-19 | 2017-04-26 | ソニー株式会社 | 表示装置、表示方法およびプログラム |
| US20150145887A1 (en) | 2013-11-25 | 2015-05-28 | Qualcomm Incorporated | Persistent head-mounted content display |
| US10186087B2 (en) | 2013-12-06 | 2019-01-22 | Hewlett-Packard Development Company, L. P. | Occluding augmented reality objects |
| CN103761085B (zh) | 2013-12-18 | 2018-01-19 | 微软技术许可有限责任公司 | 混合现实全息对象开发 |
| US9626776B2 (en) | 2013-12-20 | 2017-04-18 | Cognex Corporation | Apparatus, systems, and methods for processing a height map |
| CN104750440B (zh) | 2013-12-30 | 2017-09-29 | 纬创资通股份有限公司 | 多屏幕的窗口管理方法、电子装置与计算机程序产品 |
| US10001645B2 (en) | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
| US9691181B2 (en) | 2014-02-24 | 2017-06-27 | Sony Interactive Entertainment Inc. | Methods and systems for social sharing head mounted display (HMD) content with a second screen |
| US20150261293A1 (en) | 2014-03-12 | 2015-09-17 | Weerapan Wilairat | Remote device control via gaze detection |
| KR20150141461A (ko) | 2014-06-10 | 2015-12-18 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어 방법 |
| US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US20160027218A1 (en) | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
| US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US20160027214A1 (en) | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
-
2015
- 2015-05-27 US US14/722,942 patent/US10451875B2/en active Active
- 2015-07-24 CN CN201580041348.8A patent/CN106575154B/zh active Active
- 2015-07-24 JP JP2017504019A patent/JP2017531222A/ja active Pending
- 2015-07-24 WO PCT/US2015/041865 patent/WO2016014875A2/en active Application Filing
- 2015-07-24 KR KR1020177004830A patent/KR102312899B1/ko active IP Right Grant
- 2015-07-24 EP EP15763668.9A patent/EP3172650A2/en not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| CN102918568A (zh) * | 2010-04-02 | 2013-02-06 | 高通股份有限公司 | 扩增现实方向取向遮罩 |
| CN103064188A (zh) * | 2011-11-30 | 2013-04-24 | 微软公司 | 基于头戴式显示器的教育和指导 |
| US20130336629A1 (en) * | 2012-06-19 | 2013-12-19 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
| US20140125557A1 (en) * | 2012-11-02 | 2014-05-08 | Atheer, Inc. | Method and apparatus for a three dimensional interface |
| US20140132484A1 (en) * | 2012-11-13 | 2014-05-15 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111201491A (zh) * | 2017-10-20 | 2020-05-26 | Sk电信有限公司 | 全息图像显示装置 |
| CN110708530A (zh) * | 2019-09-11 | 2020-01-17 | 青岛小鸟看看科技有限公司 | 一种使用增强现实设备透视封闭空间的方法和系统 |
| CN112181551A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种信息处理方法以及相关设备 |
| CN112612389A (zh) * | 2020-12-25 | 2021-04-06 | 珠海金山网络游戏科技有限公司 | 滑动窗口中对象的显示系统及方法 |
| CN112612389B (zh) * | 2020-12-25 | 2022-06-10 | 珠海金山网络游戏科技有限公司 | 滑动窗口中对象的显示系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102312899B1 (ko) | 2021-10-15 |
| EP3172650A2 (en) | 2017-05-31 |
| US10451875B2 (en) | 2019-10-22 |
| US20160025982A1 (en) | 2016-01-28 |
| WO2016014875A3 (en) | 2016-03-17 |
| CN106575154B (zh) | 2020-01-07 |
| KR20170035997A (ko) | 2017-03-31 |
| JP2017531222A (ja) | 2017-10-19 |
| WO2016014875A2 (en) | 2016-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106575154A (zh) | 全息对象的智能透明度 | |
| KR102385756B1 (ko) | 가상 현실 환경에서 몰입된 때의 안티 트립 | |
| US10955914B2 (en) | Gaze-based object placement within a virtual reality environment | |
| CN106575156B (zh) | 虚拟对象的智能放置以停留在头戴式显示器的视野中 | |
| KR102466576B1 (ko) | 실세계 오브젝트를 갖는 가상 현실 환경 | |
| CN106687886B (zh) | 三维混合现实视口 | |
| US9645397B2 (en) | Use of surface reconstruction data to identify real world floor | |
| CN106662925A (zh) | 使用头戴式显示器设备的多用户注视投影 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |