CN106687886A - 三维混合现实视口 - Google Patents

三维混合现实视口 Download PDF

Info

Publication number
CN106687886A
CN106687886A CN201580041217.XA CN201580041217A CN106687886A CN 106687886 A CN106687886 A CN 106687886A CN 201580041217 A CN201580041217 A CN 201580041217A CN 106687886 A CN106687886 A CN 106687886A
Authority
CN
China
Prior art keywords
viewport
user
data
hmd
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580041217.XA
Other languages
English (en)
Other versions
CN106687886B (zh
Inventor
A·达　维咖
B·苏格登
J·克里斯腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106687886A publication Critical patent/CN106687886A/zh
Application granted granted Critical
Publication of CN106687886B publication Critical patent/CN106687886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/02—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for mathematics
    • G09B23/04—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for mathematics for geometry, trigonometry, projection or perspective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

使用虚拟视口来扩展在计算平台上运行的采用三维(3D)建模的应用，3D全息由混合现实头戴式显示器(HMD)设备呈现到虚拟视口中。HMD设备用户可以将视口定位成在现实世界2D监视器旁边被呈现，并且将其用作3D建模应用的自然延伸。例如，用户可以与混合现实中被建模的对象交互并且将对象在监视器与视口之间移动。3D建模应用和HMD设备被配置成交换被建模对象的场景数据(诸如几何形状、光照、旋转、比例)和用户接口参数(诸如鼠标和键盘输入)。HMD设备实现头部追踪以确定用户正看向哪里以使得用户输入被恰适地定向到监视器或视口。

Description

三维混合现实视口
背景
诸如头戴式显示器(HMD)系统和手持式移动设备(例如，智能电话、平板计算机等等)之类的混合现实计算设备可以被配置成向用户显示关于在用户的视野中和/或设备的摄像机的视野中的虚拟和/或现实对象的信息。例如，HMD设备可以被配置成使用透视显示系统来显示其中混合有现实世界对象的虚拟环境或者其中混合有虚拟对象的现实世界环境。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
在计算平台上运行的采用三维(3D)建模的应用使用虚拟视口被延伸，3D全息由混合现实头戴式显示器(HMD)设备呈现到虚拟视口中。HMD设备用户可以将视口定位成在现实世界2D监视器旁边被呈现，并且将其用作3D建模应用的自然延伸。例如，用户可以与混合现实中被建模的对象交互并且将对象在监视器与视口之间移动。3D建模应用和HMD设备被配置成交换被建模对象的场景数据(诸如几何形状、光照、旋转和比例)和用户接口数据(诸如鼠标和键盘输入)。HMD设备实现头部追踪以确定用户正看向哪里以使得用户输入被恰适地定向到监视器或视口。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1示出一个说明性的混合现实环境，该混合现实环境的一部分被呈现在头戴式显示器(HMD)设备的用户的视野内；
图2示出HMD设备的用户位于其中的说明性现实世界环境；
图3示出了支持在HMD设备的视野内显示的三维(3D)视口的说明性混合现实环境；
图4示出了在虚拟视口与现实世界监视器之间转移的3D模型；
图5示出了在个人计算机(PC)上被实例化的组件与HMD设备之间交换可扩展性数据以支持3D视口；
图6示出了可由图5示出的PC和HMD设备执行的说明性方法；
图7示出了由HMD传感器封装提供的说明性数据；
图8描绘正由HMD设备捕捉的与现实世界对象相关联的表面重构数据；
图9示出了说明性表面重构流水线的框图；
图10、11和12是可以至少部分地使用HMD设备执行的说明性方法的流程图；
图13是虚拟现实HMD设备的说明性示例的图形视图；
图14示出虚拟现实HMD设备的说明性示例的功能框图；
图15和16是可用作虚拟现实HMD设备的组件的说明性封闭面罩的图形前视图；
图17示出了在被部分分解时的封闭面罩的视图；
图18示出了封闭面罩的幻影线前视图；
图19示出了封闭面罩的图形后视图；
图20示出了示例性计算系统；以及
图21是可部分地被用于实现本发明的3D混合现实视口的说明性计算系统(诸如个人计算机(PC))的简化框图。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
3D模型可以由各种应用出于各种目的(诸如CAD(计算间辅助设计)、CAM(计算机辅助制造)、动画化和游戏)来生成。3D模型常常可能是又大又复杂的，并且用户通常仅能够通过有限2D显示和麻烦的用户界面来查看3D模型并且与3D模型工作。尽管3D打印机的介绍帮助用户更容易地查看3D模型并且更自然地与3D模型交互，但在每一次设计被迭代时此类打印可能消耗时间和资源。
本发明的3D视口可以通过使得用户能够以自然方式以3D查看模型并且与模型交互来与3D打印机基本相同的方式被使用，但是没有打印等待时间和成本。模型修订之间的更快迭代因而可以被实现。用户也可利用视口来查看、操纵模型以及在视口与监视器之间移动模型以提供增强的3D建模灵活性和效率。
现在转向各附图，HMD设备上支持的混合现实或增强现实环境通常组合现实世界元素和计算机生成的虚拟元素以实现各种各样的用户体验。在一说明性示例中，如图1所示，用户102可以使用HMD设备104来体验可视地呈现在光学显示器上并在一些实现中可以包括音频和/或触觉/触摸感觉的混合现实环境100。在这一特定非限制性示例中，HMD设备用户在包括具有各种建筑物、商店等的城市街道的现实世界城市区域中以实体行走。HMD设备104所提供的城市景观的视野(由图1中的虚线区域110所表示)随着用户在环境中四处移动而改变，并且设备可以在现实世界视图上呈现虚拟元素。此处，虚拟元素包括标记(tag)115，标记115标识环境中的商业机构以及到感兴趣地点的指示120。
在图2中示出的另一说明性混合现实场景中，在使用HMD设备104时用户占据的物理现实世界环境200可以包含各种现实世界对象，包括PC 205、监视器210和工作表面215。用户可以使用鼠标225、键盘230和在一些情形中可以使用语音(例如，自然语言或语音命令)或姿势的其他用户接口(未在图2中示出)与PC和监视器交互。在这一示例中，监视器被纳入混合现实环境300中，如图3所示，并且在HMD设备104上的视野110内对于用户可以是可见的。
用户通常可以在查看混合现实环境中的监视器210时按照与现实世界环境中基本上相同的方式与PC 205交互。例如，用户可以与桌面305上支持的对象、元素、窗口等交互。PC 205支持在监视器210上呈现3D模型315的应用。HMD设备104定位虚拟3D视口310，虚拟3D视口310与3D应用相互操作以使得模型315可以以3D被呈现在视口中并且以2D被呈现在监视器中。在一些实现中，HMD设备104可以暴露控件以使得用户能够就其位置、大小、形状和其他特性来配置视口310以将视口针对特定需要来定制。在这一示例中，用户已经将视口310配置成具有大约匹配监视器210大小的总大小的矩形体并且将视口定位成与监视器毗邻。视口的边界在这一示例中是可见的，并且在替换实现中，各个边界可以用不同方式被呈现，在一些情形中，在用户控制之下使用对象(诸如具有各种处理和效果的线和虚线，诸如色彩、透明度、动画化等)被呈现。
用户通常可以将视口310看作一种工具，该工具通过使得3D模型能够在最适合于手头任务的特定呈现模式中(不管在监视器210上以2D还是在视口中以3D)被查看并且对其进行操作来将3D应用的功能延伸。各个模型可以在监视器与视口之间被方便地移动，并且相反情况亦是如此，如图4所示。此处，用户可以使用鼠标光标405来选择3D对象并且将3D对象从一种呈现模式拖拽到另一呈现模式。替换用户动作可包括复制/剪切和粘贴，使用语音或姿势来调用传递，和/或通过可由3D应用或HMD设备暴露的各种菜单和接口来工作。
图4还示出了其中HMD设备104可以施加边界的视口310的另一特征，其中超过边界的被呈现的虚拟对象被剪辑。视口因而用作3D边界框，以使得在混合现实环境中被建模对象将不会溢出超过它们的指定虚拟空间。在图4中，视口的后表面410以交叉影线来示出以代表性地指示矩形视口体的六个剪辑平面之一。
PC 205和HMD设备104可被配置成用于互操作以支持具有3D视口310的混合现实环境。图5示出了在各个设备上被实例化的说明性组件以使得可扩展性数据505能够通过网络连接510被共享。网络连接510可以例如使用无线通信协议(诸如Wi-Fi、蓝牙TM等)来实现。可扩展性数据505包括描述正被呈现的场景的场景数据515以及使用例如鼠标225和/或键盘230(图2)描述用户输入的用户接口(UI)数据520。场景数据515通常由在PC 205上执行的3D应用555生成，3D应用555与在HMD设备104上运行并且被耦合至呈现混合现实环境的呈现引擎575(在一些实现中可以被纳入图形处理单元(GPU)中)的视口应用570对接。场景数据515包括描述给定模型的几何形状和类似方面的3D模型数据525。3D环境数据530描述可影响在被呈现时模型如何表现的光照和其他环境条件。相机参数535可以与模型变形相关联，诸如旋转、平移和缩放。数据描述事件540也可被包括在场景数据中。例如，关于给定模型的事件可以由操作系统、实用程序、程序小窗口等来表露。
UI服务器565可以将UI数据520提供给HMD设备上的UI客户端580。UI数据通常包括鼠标消息545和键盘消息550。然而，在替换实现中，与其他用户接口和输入方法有关的数据可以被利用。
图6是可以使用UI服务器565和UI客户端580实现的说明性方法600的流程图。在步骤602，通常确定监视器在现实世界环境中的位置，以使得使用例如键盘和/或鼠标的用户输入可以被合适地定向到视口或PC和监视器。在一些实现中，监视器可以使用可以检测监视器的边缘和表面表面重构(如下所述)、立体成像或其他合适的远程感测技术被定位。在替换实现中，应用代码可以例如被用户动作或使用自动化过程而被调用，导致监视器显示预定图像或HMD设备可用于识别监视器的多个图像。
为了将键盘输入定向到正被呈现在监视器或视口上的恰适的模型，HMD设备104追踪用户的查看位置，其中与用户的视线(即，用户正在看的方向)相对应的假想光线从HMD设备被投影。此类追踪在下文中在伴随图7、8和9的文本中更详细地描述。在步骤605，被追踪的查看位置被用来确定用户正在与视口上呈现的模型交互还是与在监视器上呈现的模型交互，以使得键盘事件被恰适地定向。例如，用户可能想要在模型在视口中被示出时将描述性文本或尺寸添加到模型，并且接着使用各种键盘命令在视口中从不同取向来查看模型。通常，被追踪的查看位置可以被用来可靠地推断哪一设备(监视器或视口)对于键盘事件消耗是恰适的。
对于鼠标输入，在步骤610，UI服务器565通过其与PC 205上的操作系统560的连接来追踪鼠标移动。在决策框615，如果鼠标没有超过监视器210的屏幕限制，则认为用户仍然在桌面上使用鼠标并且控制返回到步骤610。如果鼠标超过了监视器范围，则在步骤620中，UI服务器取得鼠标控制并且阻止鼠标消息传播到在PC205上执行的其他组件。
在步骤625，UI服务器向UI客户端通知鼠标在虚拟世界中操作并且它将鼠标消息(诸如鼠标移动)和用户输入(例如，按钮点击、滚轮动作等))传递到UI客户端。在步骤630，UI客户端基于监视器屏幕上的退出点来计算光标在视口中的初始位置，并且在步骤635，基于鼠标移动的改变来计算光标的下一位置。光标可以使用与光标离视口中的用户距离成比例的大小以3D被动态呈现。即，当更靠近查看者时通常它被呈现地更大，而在更远离时，它被呈现地更小。此类根据距离的动态呈现可能是有益的，因为在用户查看光标以及视口中的任何周围元素或对象时不需要改变他的焦点深度。在步骤640，使得用户能够使用鼠标和键盘(以及其他输入)与视口中呈现的3D模型以及视口本身(例如，改变其配置，包括位置、大小和形状)交互。
在步骤645，UI客户端计算视口中的下一光标位置与当前查看位置之间的光线。如果计算所得的光线与监视器的屏幕相交，则在步骤650UI客户端向UI服务器通知光标已经在转换回到PC桌面并且将最后的光标位置报告给鼠标输入服务器。在步骤655，UI客户端不继续在视口中呈现光标并且停止对鼠标输入事件作出响应。在步骤660，UI服务器使用UI客户端报告的最后位置来计算桌面上的光标重新进入位置。
如图7和8所示，HMD设备104被配置有传感器封装700，并且示例性传感器在下文更详细地描述。传感器封装700可以支持各种功能，包括表面重构710。表面重构技术实现对边缘和表面的检测(如由图7中的参考标号712所指示)，并且可以被用于从收集的关于物理环境200(如图8所示)的数据800中标识各种现实世界对象(诸如监视器、工作表面、人等)的位置。表面重构也可被用于头部追踪以确定用户头部的3D(三维)位置和取向以及在环境内的查看位置(如由图7中的参考标号715所指示的)。在一些实现中，传感器封装可以支持注视追踪720以查明用户注视725的方向，在实现本公开的视口时用户注视725的方向可以与头部位置和取向数据一起使用。在替换实现中，可以使用合适的立体图像分析技术来推导深度数据。
图9示出用于获得现实世界环境中的对象的表面重构数据的说明性表面重构数据流水线900。需要强调的是所公开的技术是说明性的，并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据902被输入到传感器的3D(三维)姿势估计中(框904)。传感器姿势跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。传感器的每个深度测量可以使用例如被编码为符号距离场(SDF)的表面被整合(框906)到容积表示中。使用循环，SDF被光线投射(框908)入所估计的系中以提供所述深度图与之对齐的密集表面预测。因而，当用户102环顾虚拟世界时，与现实世界环境200(图2)相关联的表面重构数据可以被收集并且被分析以确定用户头部在环境内的位置和取向。在一些实现中，连同注视检测，头部追踪使得HMD设备104能够查明用户的观看位置。
图10和11是可使用HMD设备104来执行的说明性方法的流程图。图12是可以由计算设备(诸如PC 205)执行的说明性方法的流程图。除非明确说明，否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。
在图10中的说明性方法1000的步骤1005，虚拟3D视口被实现在HMD设备104的显示器上。在步骤1010，支持到3D建模应用的可扩展性，3D建模应用在远程计算平台(诸如PC)上执行。在步骤1015，通过网络从远程PC接收可包括场景数据和UI数据的可扩展性数据。在步骤1020，远程应用所支持的3D模型被呈现在视口中作为全息图。在步骤1025，全息图可以响应于UI数据被动态地更新。在步骤1030，HMD用户的查看位置被追踪以确定与视口的用户交互。在步骤1035，鼠标光标被HMD设备呈现在视口中，并且当HMD设备用户与视口交互时，键盘输入被消耗。
在步骤1040，HMD设备可以暴露用户控件以调整视口特性，诸如在混合现实空间中的位置、大小和形状。在步骤1045，提供使能以使得用户能够在监视器与视口之间转移3D模型。在步骤1050，剪辑被应用于被呈现的全息图以将3D模型约束到视口的边界。
在图11中示出的说明性方法1100中，在步骤1105，HMD设备104在其显示器上实现虚拟3D视口。在步骤1110，描述3D模型的可扩展性数据从支持3D建模应用的远程计算平台被接收。在步骤1115，3D模型使用可扩展性数据被动态地呈现在视口中。在步骤1120，鼠标光标使用可扩展性数据被呈现在视口中。在步骤1125，3D模型的呈现使用可扩展性数据中包含的键盘消息被控制。在步骤1130，根据HMD设备用户的查看位置，鼠标光标被转换到由附连到计算平台的监视器所支持的桌面。
在图12中所示的说明性方法1200中，在步骤1205，UI服务器追踪描述鼠标移动和输入的鼠标消息。在步骤1210，描述键盘输入的键盘消息被追踪。UI服务器可具有到在计算平台上运行的操作系统的挂钩以追踪鼠标和键盘消息。如果没有UI客户端被检测到，则UI服务器通常仅仅监听消息但不采取其他动作。当客户端通过网络连接被连接时，则UI服务器可以执行追踪。
在步骤1215，当鼠标移动指示光标移动离开监视器边缘时，UI服务器取得鼠标消息的控制并且阻止鼠标消息转播到在设备上运行的其他系统。在步骤1220和1225，鼠标和键盘消息分别通过网络被发送到HMD设备。在步骤1230，UI服务器从HMD设备上的UI客户端接收光标转换到监视器上的桌面的消息。在步骤1235，基于视口中最后报告的光标位置来确定桌面上的初始光标位置。在步骤1240，对鼠标和键盘消息的控制被释放，并且鼠标和键盘被启用以在桌面上正常操作。
现转至各说明性实现细节，根据本布置的混合现实显示设备可以采用任何合适的形式，包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。尽管在一些实现中可以使用透视显示器，而在其他实现中，使用例如基于相机的传递或面向外的传感器的不透明(即非透视)显示器可以被使用。图13示出了透视混合现实显示系统1300的一个特定说明性示例，而图14显示了系统1300的功能框图。显示系统1300包括形成透视显示子系统1304的一部分的一个或多个透镜1302，以便图像可以使用透镜1302(例如，使用到透镜1302上的投影、并入透镜1302中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统1300进一步包括被配置成获取正在被用户查看的背景场景和/或物理环境的图像的一个或多个面向外的图像传感器1306，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒1308。面向外的图像传感器1306可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换布置中，如上所述，代替纳入透视显示子系统，混合现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实图像。
显示系统1300还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统1310，如上文所描述的。注视检测子系统1310可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统1310包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源1312(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器1314(诸如面向内的传感器)。根据使用(诸)图像传感器1314收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。
此外，从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统1310可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中，可以省略注视检测子系统1310。
显示系统1300还可以包括附加传感器。例如，显示系统1300可以包括全球定位系统(GPS)子系统1316，以允许确定显示系统1300的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。
显示系统1300还可以包括一个或多个运动传感器1318(例如惯性、多轴陀螺仪或加速度传感器)，以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿势。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自(诸)面向外图像传感器1306的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自(诸)面向外的图像传感器1306的图像数据。
另外，运动传感器1318，以及话筒1308和注视检测子系统1310，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及在一些情况中通过语音命令，与显示系统1300进行交互。可以理解，图13和14中所示出的并在附随的文本中描述的传感器只是出于示例的目的被包括，而不旨在以任何方式作出限制，因为可以使用任何其他合适的传感器和/或传感器的组合来满足增强现实HMD设备的特定实现的需求。例如，生物特征传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光等级等)可以在一些实现中被使用。
显示系统1300可以进一步包括通过通信子系统1326与传感器、注视检测子系统1310、显示子系统1304，和/或其他组件进行通信的具有逻辑子系统1322和数据存储子系统1324的控制器1320。通信子系统1326还可以便利于显示系统与位于远程的资源，例如处理、存储、功率、数据和服务结合操作。就是说，在一些实现中，HMD设备可以被作为一种系统的部分来操作，该系统可以在不同的组件和子系统间分布资源和能力。
存储子系统1324可以包括存储在其上的指令，这些指令能被逻辑子系统1322执行例如用以：接收并解释来自传感器的输入、标识用户的移动、使用表面重构和其它技术标识真实对象，以及基于到对象的距离模糊/淡出所述显示以便允许所述对象被用户看到，以及其它任务。
显示系统1300被配置有一个或多个音频换能器1328(例如扬声器、耳机等)，这样，音频可以被用作增强现实体验的部分。功率管理子系统1330可以包括一个或多个电池1332和/或保护电路模块(PCMs)以及相关联的充电接口1334和/或用于对显示系统1300中的组件供电的远程电源接口。
可以理解，所描绘的显示设备104和1300是出于示例的目的描述的，并由此不旨在是限制性的。进一步理解，显示设备可包括除所示出的那些之外的额外的和/或替代的传感器、相机、话筒、输入设备、输出设备等等，而不会背离本安排的范围。另外，显示设备及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不会背离本安排的范围。
图15-19示出可被用作HMD设备的组件的增强现实显示系统1500的说明性替换实现。在该示例中，系统1500使用透视密封面罩1502，该密封面罩1502被配置成保护透视显示子系统所利用的内部光学器件组装件。面罩1502通常与HMD设备的其他组件(未示出)对接，其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等)，如结合图13和14说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被纳入在面罩1502中。
面罩分别包括透视前护罩1504和透视后护罩1506，透视前护罩1504和透视后护罩1506可使用透明材料来建模以促成到光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、映射、抗反射、抗雾和其他涂覆之类的处理，并且还可利用各种色彩和饰面。前护罩和后护罩被固定到底座1605，如图16中的部分剖视图中所描绘的，其中护罩盖1610被示出为与面罩1502分解。
密封面罩1502可在HMD设备被佩戴并在操作中被使用时，以及在正常处理以用于清理等器件物理地保护敏感的内部组件，包括光学器件显示子部件1702(在图17中的分解视图中示出的)。面罩1502还可保护光学器件显示子部件1702远离各环境元件，并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件1702按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。
如图17和19所示，后护罩1506按人体工程学上正确的形式被配置成与用户的鼻子和鼻托1904(图19)对接，并且可包括其他舒适特征(例如，作为分立组件来建模和/或添加)。在一些情况下，封闭面罩1502还可将某一水平的光学屈光度曲率(即，眼睛处方)纳入成型的护罩中。
图20示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统2000的非限制性实施例。HMD设备104可以是计算系统2000的一个非限制性示例。计算系统2000以简化形式示出。可理解，可以使用实际上任何计算机架构，而不偏离本布置的范围。在不同的实施例中，计算系统2000可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统2000包括逻辑子系统2002和存储子系统2004。计算系统2000可任选地包括显示子系统2006、输入子系统2008、通信子系统2010和/或在图20中未示出的其他组件。
逻辑子系统2002包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统2002可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统2002可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统2002可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统2002的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统2002可任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统2002的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统2004包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统2002可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统2004的状态可以被变换(例如，以保持不同的数据)。
存储器子系统2004可包括可移动介质和/或内置设备。存储子系统2004可包括光学存储器设备(例如，CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统2004可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
可领会，存储子系统2004包括一个或多个物理设备，并排除传播信号自身。然而，在一些实现中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子系统2002和存储子系统2004的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子系统2006可用于呈现由存储子系统2004保存的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统2006的状态以视觉地表示底层数据的改变。显示子系统2006可包括使用几乎任何类型的技术的一个或多个显示设备。在一些情况下，可将此类显示设备与逻辑子系统2002和/或存储子系统2004一起组合在共享封装中，或者在其他情况下，此类显示设备可以是外围触摸显示设备。
在包括输入子系统2008时，输入子系统2008可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
在包括通信子系统2010时，通信子系统2010可以被配置成将计算系统2000与一个或多个其他计算设备通信耦合。通信子系统2010可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统2000使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
图21是可用来实现本发明的视口的诸如PC、客户端机器或服务器之类的说明性计算机系统2100的简化框图。计算机系统2100包括处理器2105、系统存储器2111以及将包括系统存储器2111的各种系统组件耦合至处理器2105的系统总线2114。系统总线2114可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、或局部总线。系统存储器2111包括只读存储器(ROM)2117和随机存取存储器(RAM)2121。基本输入/输出系统(BIOS)2125被存储在ROM 2117中，该基本输入/输出系统包含诸如在启动期间帮助在计算机系统2100内的元件之间传输信息的基本例程。计算机系统2100还可包括对内置硬盘(未示出)读写的硬盘驱动器2128、对可移动磁盘2133(例如，软盘)读写的磁盘驱动器1230、以及对诸如CD(压缩盘)、DVD(数字多功能盘)或其它光学介质等可移动光盘2143读写的光盘驱动器2138。硬盘驱动器2128、磁盘驱动器2130，以及光盘驱动器2138分别通过硬盘驱动器接口2146、磁盘驱动器接口2149，以及光盘驱动器接口2152连接到系统总线2114。驱动器及其相关联的计算机可读存储介质为计算机系统2100提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失性存储。虽然这个说明性的示例包括硬盘、可移动磁盘2133以及可移动光盘2143，但是其它类型的可存储可被诸如磁带盒、闪存卡、数字视频盘、数据磁带、随机存取存储器(“RAM”)、只读存储器(“ROM”)等访问的数据的计算机可读存储介质也可在本发明的视口的一些应用中使用。此外，如在此使用的，术语计算机可读介质包括媒体类型的一个或多个实例(例如，一个或多个磁盘、一个或多个CD等)。出于本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质。
可以有若干个程序模块存储在硬盘、磁盘2133、光盘2143、ROM 2117，或RAM 2121上，包括操作系统2155、一个或多个应用程序2157、其他程序模块2160、以及程序数据2163。用户可通过诸如键盘2166和如鼠标等定点设备2168等的输入设备向计算机系统2100中输入命令和信息。其它输入设备(未显示)可包括话筒、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、跟踪球、触摸垫、触摸屏、触敏设备、语音命令模块或设备、用户运动或用户姿势捕捉设备等。这些及其他输入设备常常通过耦合到系统总线2114的串行端口接口2171连接到处理器2105，但是，但也可以通过其他接口，如并行端口、游戏端口或通用串行总线(USB)端口、来进行连接。监视器2173或其他类型的显示设备也可以通过诸如视频适配器2175之类的接口，连接到系统总线2114。除监视器2173以外，个人计算机通常包括如扬声器和打印机等其它外围输出设备(未示出)。图21中显示的说明性示例还包括主机适配器2178、小型计算机系统接口(SCSI)总线2183以及连接到SCSI总线2183的外置存储设备2176。
计算机系统2100可使用到诸如远程计算机2188等一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机2188可以被选为另一台个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并通常包括以上对计算机系统2100描述的许多或所有元件，虽然在图21中只示出单个代表性远程存储器/存储设备2190。图21中所描绘的逻辑连接包括局域网(LAN)2193和广域网(WAN)2195。此类联网环境通常被部署在例如办公室、企业范围的计算机网络、内联网和因特网中。
当在LAN联网环境中使用时，计算机系统2100通过网络接口或适配器2196连接到局域网2193。当在WAN联网环境中使用时，计算机系统2100通常包括宽带调制解调器2198、网络网关或用于通过诸如因特网等广域网2195建立通信的其它装置。或为内置或为外置的宽带调制解调器2198经由串行端口接口2171连接到系统总线2114。在联网环境中，与计算机系统2100有关的程序模块或其部分可被储存在远程存储器存储设备2190中。注意，图21中显示的网络连接是说明性的，并且取决于本发明视口的应用的具体要求，用于建立计算机之间的通信链路的其它手段可被使用。
本发明的三维混合现实视口的各种示例性实施例现在是出于说明的目的被呈现的，并不是作为所有实施例的穷尽性列表。一示例包括物理环境中的用户可操作的头戴式显示器(HMD)设备，包括：一个或多个处理器；传感器封装；显示器，所述显示器被配置成用于向用户呈现混合现实环境，用户对所呈现的混合现实环境的查看位置至少部分地取决于用户头部在物理环境中的姿态而可变；以及存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，该方法包括以下步骤：在显示器上实现三维(3D)虚拟视口，支持到在远程计算平台上执行的3D建模应用的可扩展性，该应用支持3D模型，以及将3D模型作为全息图呈现在视口中。
在另一示例中，该HMD进一步包括网络接口，并且通过网络接口从远程计算平台接收可扩展性数据，该可扩展性数据描述3D模型和远程计算平台处的用户输入。在另一示例中，该HMD进一步包括响应于用户输入动态地更新视口中呈现的全息图。在另一个示例中，该HMD还包括：从传感器封装获得传感器数据，该传感器数据与邻接HMD设备的用户的物理环境相关联；使用该传感器数据来重构物理环境的几何形状，该物理环境包括位于其中的任何现实世界对象；以及使用经重构的几何形状来确定耦合到计算平台的监视器在物理环境内的位置。在另一示例中，该传感器数据包括深度数据，并且该传感器数据使用深度传感器来生成，并且表面重构技术被应用以重构物理环境几何形状。在另一个示例中，该HMD还包括：使用经重构的几何形状来追踪物理环境中的用户头部以确定查看位置，当用户输入导致鼠标光标移动离开监视器所支持的桌面时，在视口中呈现鼠标光标，以及当从查看位置投影的光线与视口相交时，消耗键盘输入。在另一示例中，该HMD进一步包括当所投影的光线指示鼠标光标已经转换到监视器所支持的桌面时，不继续在视口中呈现鼠标光标。在另一示例中，该HMD进一步包括向用户提供控制以控制视口特性，包括以下至少一者：视口在混合现实环境中的位置、视口大小、或视口形状。在另一示例中，该HMD进一步包括使得3D模型能够使用鼠标或键盘在桌面与视口之间转移。在另一示例中，该HMD进一步包括剪辑3D模型以将3D模型约束到视口的范围。
又一些示例包括一种由支持混合现实环境的头戴式显示器(HMD)设备执行的方法，混合现实环境包括虚拟对象和现实对象，该方法包括：在HMD设备的显示器上实现虚拟三维(3D)视口；通过网络连接从远程计算平台接收可扩展性数据，该可扩展性数据包括描述在计算平台上执行的应用所支持的3D模型的场景数据并且进一步包括描述对计算平台的用户输入的用户接口(UI)数据；以及使用接收到的可扩展性数据在视口中动态地呈现3D模型。
在另一示例中，该方法进一步包括基于UI数据中包括的鼠标消息在视口中呈现鼠标光标。在另一示例中，该方法进一步包括使用UI数据中包括的键盘消息来控制3D模型在视口中的呈现。在另一示例中，场景数据包括以下至少一者：3D模型数据、环境数据或相机参数。在另一示例中，该方法进一步包括利用传感器数据来确定HMD设备的用户的查看位置，并且当从查看位置投影的光线与监视器相交时将光标转换回到耦合至计算平台的监视器所支持的桌面。在另一示例中，该方法进一步包括使用表面重构数据流水线对HMD设备位于其中的物理环境进行建模并且至少部分地使用被建模的物理环境来确定查看位置或确定耦合至计算平台的监视器在物理环境中的位置，该表面重构数据流水线实现一种创建被集成的多个交叠表面的容积方法。
又一示例包括一种计算设备，包括：一个或多个处理器；到监视器的接口，所述监视器显示桌面；鼠标接口，用于连接到鼠标并且从鼠标接收指示鼠标移动以及来自计算设备的用户的对鼠标控制的输入的信号；键盘接口，用于连接到键盘并且从键盘接收指示来自用户的键盘输入的信号；网络接口，用于通过网络连接与远程头戴式显示器(HMD)设备通信；以及存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被一个或多个处理器执行时实现一种三维(3D)建模应用和用户接口(UI)服务器，该三维(3D)建模应用和用户接口(UI)服务器被配置成用于：追踪描述鼠标移动和输入的鼠标消息，追踪描述键盘输入的键盘消息，当鼠标移动指示与鼠标相关联的光标正移动超过监视器边界时，取得对鼠标消息的控制并且阻止鼠标消息到在计算设备上操作的系统的传播，通过网络连接将鼠标消息发送到HMD设备，以及通过网络连接将键盘消息发送到HMD设备。
在另一示例中，该HMD设备被配置成用于：i)使用表面重构或者观察在监视器上显示的预定可追踪图像之一来标识监视器在物理环境中的位置，以及ii)在光学显示器上支持混合现实环境，该混合现实环境包括虚拟3D视口，来自3D建模应用的基于全息图的模型可以被呈现到虚拟3D视口中。在另一示例中，该计算设备进一步包括通过与在计算设备上执行的操作系统交互来追踪鼠标消息和键盘消息。在另一示例中，该计算设备进一步包括从HMD设备接收鼠标光标已经转换到桌面的消息，并且使用鼠标光标在视口中的最后报告位置来计算桌面上的初始光标位置。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (15)

1.一种能由物理环境中的用户操作的头戴式显示器(HMD)设备，包括：
一个或多个处理器；
传感器封装；
显示器，所述显示器被配置成用于向用户呈现混合现实环境，用户对所呈现的混合现实环境的查看位置至少部分地取决于用户头部在物理环境中的姿态而可变；以及
存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：
在显示器上实现三维(3D)虚拟视口，
支持到在远程计算平台上执行的3D建模应用的可扩展性，所述应用支持3D模型，以及
将3D模型作为全息图呈现在视口中。
2.如权利要求1所述的HMD，其特征在于，进一步包括网络接口，并且通过所述网络接口从远程计算平台接收可扩展性数据，所述可扩展性数据描述3D模型和远程计算平台处的用户输入。
3.如权利要求2所述的HMD，其特征在于，进一步包括响应于所述用户输入动态地更新视口中呈现的全息图。
4.如权利要求1所述的HMD，其特征在于，还包括：
从传感器封装获得传感器数据，所述传感器数据与邻接HMD设备的用户的物理环境相关联；
使用所述传感器数据来重构物理环境的几何形状，所述物理环境包括位于其中的任何现实世界对象；以及
使用经重构的几何形状来确定耦合到计算平台的监视器在物理环境内的位置。
5.如权利要求4所述的HMD，其特征在于，所述传感器数据包括深度数据，并且进一步包括使用所述深度传感器来生成所述传感器数据，并应用表面重构技术来重构物理环境几何形状。
6.如权利要求1所述的HMD，其特征在于，进一步包括使用经重构的几何形状来追踪所述物理环境中的用户头部以确定查看位置，当用户输入导致鼠标光标移动离开监视器所支持的桌面时在视口中呈现鼠标光标，并且当从查看位置投影的光线与视口相交时消耗键盘输入。
7.如权利要求6所述的HMD，其特征在于，进一步包括当所投影的光线指示鼠标光标已经转换到监视器所支持的桌面时，不继续在视口中呈现鼠标光标。
8.如权利要求6所述的HMD，其特征在于，进一步包括向用户提供控制以控制视口特性，视口特性包括以下至少一者：视口在混合现实环境中的位置、视口大小、或视口形状。
9.如权利要求6所述的HMD，其特征在于，进一步包括使得3D模型能够使用鼠标或键盘在桌面与视口之间转移。
10.如权利要求1所述的HMD，其特征在于，进一步包括剪辑3D模型以将3D模型约束到视口的范围。
11.一种由支持混合现实环境的头戴式显示器(HMD)设备执行的方法，所述混合现实环境包括虚拟对象和现实对象，所述方法包括：
在HMD设备的显示器上实现虚拟三维(3D)视口；
通过网络连接从远程计算平台接收可扩展性数据，所述可扩展性数据包括描述在计算平台上执行的应用所支持的3D模型的场景数据并且进一步包括描述对计算平台的用户输入的用户接口(UI)数据；以及
使用接收到的可扩展性数据在视口中动态地呈现3D模型。
12.如权利要求11所述的方法，其特征在于，进一步包括基于UI数据中包括的鼠标消息在视口中呈现鼠标光标。
13.如权利要求11所述的方法，其特征在于，进一步包括使用UI数据中包括的键盘消息来控制3D模型在视口中的呈现。
14.如权利要求11所述的方法，其特征在于，所述场景数据包括以下至少一者：3D模型数据、环境数据或相机参数。
15.如权利要求13所述的方法，其特征在于，进一步包括利用传感器数据来确定HMD设备的用户的查看位置，并且当从所述查看位置投影的光线与监视器相交时将光标转换回到耦合至计算平台的监视器所支持的桌面。
CN201580041217.XA 2014-07-25 2015-07-24 三维混合现实视口 Active CN106687886B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462029351P 2014-07-25 2014-07-25
US62/029,351 2014-07-25
US14/688,817 US9858720B2 (en) 2014-07-25 2015-04-16 Three-dimensional mixed-reality viewport
US14/688,817 2015-04-16
PCT/US2015/041866 WO2016014876A1 (en) 2014-07-25 2015-07-24 Three-dimensional mixed-reality viewport

Publications (2)

Publication Number Publication Date
CN106687886A true CN106687886A (zh) 2017-05-17
CN106687886B CN106687886B (zh) 2019-09-17

Family

ID=53801185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041217.XA Active CN106687886B (zh) 2014-07-25 2015-07-24 三维混合现实视口

Country Status (5)

Country Link
US (2) US9858720B2 (zh)
EP (1) EP3172648B1 (zh)
KR (2) KR102308736B1 (zh)
CN (1) CN106687886B (zh)
WO (1) WO2016014876A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368193A (zh) * 2017-07-19 2017-11-21 讯飞幻境(北京)科技有限公司 人机操作交互方法和系统
CN109246410A (zh) * 2017-05-31 2019-01-18 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
CN109407822A (zh) * 2017-08-18 2019-03-01 奥多比公司 协作虚拟现实的防恶心和视频流式传输技术
TWI663546B (zh) * 2017-10-02 2019-06-21 宏碁股份有限公司 可支援虛擬實境應用程式的混合實境系統及其顯示方法
CN110209263A (zh) * 2018-02-28 2019-09-06 联想（新加坡）私人有限公司 信息处理方法、信息处理设备及设备可读存储介质
CN110544316A (zh) * 2019-09-06 2019-12-06 北京奇艺世纪科技有限公司 一种虚拟现实回放方法、系统、设备及存储介质
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN111742283A (zh) * 2018-02-19 2020-10-02 微软技术许可有限责任公司 混合现实中内容的弯曲显示
CN113795814A (zh) * 2019-03-15 2021-12-14 索尼互动娱乐股份有限公司 虚拟人物现实间跨界

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738516B1 (en) 2011-10-13 2014-05-27 Consumerinfo.Com, Inc. Debt services candidate locator
US9916621B1 (en) 2012-11-30 2018-03-13 Consumerinfo.Com, Inc. Presentation of credit score factors
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US9774887B1 (en) * 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10440398B2 (en) * 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US11016302B2 (en) * 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
US11461936B2 (en) 2015-03-17 2022-10-04 Raytrx, Llc Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
US11628038B2 (en) 2020-02-21 2023-04-18 Raytrx, Llc Multi-option all-digital 3D surgery visualization system and control
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
US10721280B1 (en) * 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US10318225B2 (en) * 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
KR102559625B1 (ko) * 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10303323B2 (en) * 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US10824294B2 (en) 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
CN108510592B (zh) * 2017-02-27 2021-08-31 亮风台（上海）信息科技有限公司 真实物理模型的增强现实展示方法
US10395427B1 (en) * 2017-04-11 2019-08-27 Bentley Systems, Incorporated On-site visualization and modeling using P and ID drawings and augmented reality
AU2018261328B2 (en) 2017-05-01 2022-08-25 Magic Leap, Inc. Matching content to a spatial 3D environment
EP3622529A1 (en) 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
KR101975820B1 (ko) 2017-05-08 2019-05-08 주식회사 쓰리디뱅크 ３ｄ 데이터를 이용하여 실물과 같은 ４분면을 볼 수 있는 ３차원 홀로그램 생성 장치 및 방법
EP3410256A1 (en) * 2017-06-01 2018-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. Method for outputting of combined 2d and 3d imaging
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10803832B2 (en) * 2017-08-01 2020-10-13 Samsung Electronics Co., Ltd. Synchronizing holographic displays and 3D objects with physical video panels
US10529136B2 (en) * 2017-08-16 2020-01-07 Dell Products L.P. Augmented reality workspace system
WO2019067482A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
AU2018353008B2 (en) * 2017-10-17 2023-04-20 Magic Leap, Inc. Mixed reality spatial audio
US20200285325A1 (en) * 2017-10-24 2020-09-10 Hewlett-Packard Development Company, L.P. Detecting tilt of an input device to identify a plane for cursor movement
FR3074331A1 (fr) * 2017-11-28 2019-05-31 Orange Procede d'affichage en realite mixte d'au moins un objet virtuel, terminal et systeme associes
FR3074332B1 (fr) * 2017-11-28 2019-11-15 Orange Procede de positionnement d'au moins un objet virtuel dans au moins une zone virtuelle de reception d'objets virtuels, terminal et systeme associes
CA3084149A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
JP2019129366A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
WO2019165044A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
CN111758122A (zh) 2018-02-22 2020-10-09 奇跃公司 用于混合现实系统的浏览器
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality
WO2019209608A1 (en) * 2018-04-24 2019-10-31 Zermatt Technologies Llc Multi-device editing of 3d models
EP3794428A1 (en) * 2018-05-15 2021-03-24 Thermo Fisher Scientific Inc. Collaborative virtual reality environment for training
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
JP6542445B1 (ja) * 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
US11265324B2 (en) 2018-09-05 2022-03-01 Consumerinfo.Com, Inc. User permissions for access to secure data at third-party
US11036284B2 (en) 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11349843B2 (en) * 2018-10-05 2022-05-31 Edutechnologic, Llc Systems, methods and apparatuses for integrating a service application within an existing application
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US10665037B1 (en) * 2018-11-28 2020-05-26 Seek Llc Systems and methods for generating and intelligently distributing forms of extended reality content
KR102168318B1 (ko) * 2018-12-03 2020-10-22 동국대학교 산학협력단 혼합현실용 디스플레이 장치 및 방법
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11238656B1 (en) * 2019-02-22 2022-02-01 Consumerinfo.Com, Inc. System and method for an augmented reality experience via an artificial intelligence bot
US10798292B1 (en) * 2019-05-31 2020-10-06 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
JP7356827B2 (ja) 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
EP4270159A3 (en) 2019-09-26 2024-01-03 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
US10916241B1 (en) * 2019-12-30 2021-02-09 Capital One Services, Llc Theme detection for object-recognition-based notifications
US20220229534A1 (en) * 2020-04-08 2022-07-21 Multinarity Ltd Coordinating cursor movement between a physical surface and a virtual surface
US11250642B1 (en) * 2020-04-14 2022-02-15 Worldpay Limited Methods and systems for displaying virtual objects from an augmented reality environment on a multimedia device
TWI745955B (zh) * 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
KR20210158695A (ko) * 2020-06-24 2021-12-31 삼성전자주식회사 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
WO2022074815A1 (ja) * 2020-10-09 2022-04-14 マクセル株式会社 携帯端末とヘッドマウントディスプレイ及びその連携表示システム
GB2603483B (en) * 2021-02-03 2023-02-01 Advanced Risc Mach Ltd Holographic imaging system
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230086055A1 (en) * 2021-09-17 2023-03-23 Yum Connect, LLC Collaborative user interface and systems and methods for providing same
US20230161544A1 (en) * 2021-11-23 2023-05-25 Lenovo (United States) Inc. Virtual content transfer
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20230376161A1 (en) * 2022-05-19 2023-11-23 Microsoft Technology Licensing, Llc Mouse cursor and content migration between 3d space and physical flat displays
US20240019979A1 (en) * 2022-07-15 2024-01-18 Lenovo (Singapore) Pte. Ltd. Conversion of 3d virtual actions into 2d actions
US20240094822A1 (en) * 2022-09-19 2024-03-21 Sharon Moll Ar glasses as iot remote control
US12073054B2 (en) 2022-09-30 2024-08-27 Sightful Computers Ltd Managing virtual collisions between moving virtual objects
US20240112383A1 (en) * 2022-10-04 2024-04-04 Snap Inc. Generating user interfaces in augmented reality environments
US20240223739A1 (en) * 2022-12-30 2024-07-04 Samsung Electronics Co., Ltd. Mask generation with object and scene segmentation for passthrough extended reality (xr)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091226A1 (en) * 2001-11-13 2003-05-15 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102473068A (zh) * 2009-07-21 2012-05-23 索尼公司 信息处理器、处理方法和程序
CN102598677A (zh) * 2009-11-12 2012-07-18 Lg电子株式会社 图像显示设备及其图像显示方法
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5748189A (en) 1995-09-19 1998-05-05 Sony Corp Method and apparatus for sharing input devices amongst plural independent graphic display devices
US5877748A (en) 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6012926A (en) 1996-03-27 2000-01-11 Emory University Virtual reality system for treating patients with anxiety disorders
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
GB2334643A (en) 1998-02-20 1999-08-25 Discreet Logic Inc Generating registration data for a virtual set
US6329986B1 (en) 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
GB2336057B (en) 1998-04-02 2002-05-08 Discreet Logic Inc Producing image data in a virtual set
WO2001056007A1 (en) * 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6552698B1 (en) 2000-05-02 2003-04-22 Agilent Technologies, Inc. Immersive display system
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
US6898266B2 (en) 2000-11-13 2005-05-24 Digitome Corporation 3D projection method
US6804607B1 (en) 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
ATE404952T1 (de) 2003-07-24 2008-08-15 Cognitens Ltd Verfahren und system zur dreidimensionalen oberflächenrekonstruktion eines objekts
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4638143B2 (ja) 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
US7487463B2 (en) 2004-02-17 2009-02-03 Sun Microsystems, Inc. Multiprocess input redirection in a 3D window system
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
EP1754201A1 (en) * 2004-05-27 2007-02-21 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US7950026B1 (en) 2004-06-24 2011-05-24 Julian Michael Urbach Virtual application execution system and method
US7557774B2 (en) 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
US20060050070A1 (en) 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
WO2006035755A1 (ja) 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US7248968B2 (en) 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US20060092178A1 (en) 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
JP2006239844A (ja) 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
JP4660357B2 (ja) 2005-11-18 2011-03-30 任天堂株式会社 画像処理プログラムおよび画像処理装置
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
JP5154775B2 (ja) 2006-08-18 2013-02-27 任天堂株式会社 ゲームプログラムおよびゲーム装置
CA2667315A1 (en) 2006-11-03 2008-05-15 University Of Georgia Research Foundation Interfacing with virtual reality
US20080174659A1 (en) 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
JP5255623B2 (ja) 2007-04-20 2013-08-07 ソフトキネティック エス．エイ． ボリューム認識方法およびシステム
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US8576247B2 (en) 2007-08-03 2013-11-05 Apple Inc. Method and apparatus for adjusting pixel values
US8049750B2 (en) 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US20090160985A1 (en) 2007-12-10 2009-06-25 The University Of Connecticut Method and system for recognition of a target in a three dimensional scene
US9355493B2 (en) 2007-12-31 2016-05-31 Advanced Micro Devices, Inc. Device and method for compositing video planes
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US20090199275A1 (en) 2008-02-06 2009-08-06 David Brock Web-browser based three-dimensional media aggregation social networking application
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
WO2009128781A1 (en) 2008-04-17 2009-10-22 Lundgren & Nordstrand Ab A method and a device for remote visualization
JP5111312B2 (ja) 2008-09-16 2013-01-09 任天堂株式会社 ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法
US8266536B2 (en) 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8004769B2 (en) 2009-03-05 2011-08-23 Nabes, Llc Binocular apparatus and system
CN101540020B (zh) 2009-04-01 2012-09-26 江西省交通设计院 一种公路三维选线方法
US20100315413A1 (en) 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US9286720B2 (en) 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
WO2011084895A1 (en) 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US9798436B2 (en) 2010-07-08 2017-10-24 Red Hat Israel, Ltd. Remote computing with a low latency mouse mode
EP2418865A3 (en) 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
KR101674957B1 (ko) 2010-08-31 2016-11-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8625931B2 (en) 2010-09-03 2014-01-07 Adobe Systems Incorporated Light space graphical model in shape from shading
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8606010B2 (en) 2011-03-18 2013-12-10 Seiko Epson Corporation Identifying text pixels in scanned images
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US9030425B2 (en) 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US9022864B2 (en) 2011-06-03 2015-05-05 Nintendo Co., Ltd. Apparatus and method for controlling objects on a stereoscopic display
US8692738B2 (en) 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
JP5145444B2 (ja) 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
EP2751775B1 (en) 2011-08-30 2016-07-06 Monash University System and method for processing sensor data for the visually impaired
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013033842A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130083007A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
EP2579128B1 (en) 2011-10-05 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portable device, virtual reality system and method
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
CN103959179B (zh) 2011-10-20 2017-09-15 皇家飞利浦有限公司 用于医疗程序的全息用户界面
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US20130137076A1 (en) 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013085193A1 (ko) 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
CN102646117B (zh) 2012-02-20 2015-07-08 华为技术有限公司 文件数据传送的方法与装置
US10008002B2 (en) 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
JP6066037B2 (ja) 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
US8988465B2 (en) 2012-03-30 2015-03-24 Ford Global Technologies, Llc Physical-virtual hybrid representation
CN103472909B (zh) 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US8855442B2 (en) 2012-04-30 2014-10-07 Yuri Owechko Image registration of multimodal data using 3D-GeoArcs
JP2013238693A (ja) 2012-05-14 2013-11-28 Sharp Corp 画像表示装置、画像表示方法及びプログラム
US20130307855A1 (en) 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
KR101757080B1 (ko) 2012-07-13 2017-07-11 소프트키네틱 소프트웨어 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
US8994614B2 (en) 2012-10-11 2015-03-31 Sony Computer Entertainment Europe Limited Head mountable display
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9135052B2 (en) 2012-11-06 2015-09-15 Red Hat Israel, Ltd. Distributed multiple monitor display split using multiple client devices in a virtualization system
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
JP5818773B2 (ja) 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6271960B2 (ja) 2012-11-26 2018-01-31 キヤノン株式会社 情報処理システム
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9058693B2 (en) 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US9443352B1 (en) 2012-12-21 2016-09-13 Motion Reality, Inc. Navigating through a virtual environment having a real-world elevation characteristics using motion capture
US9412201B2 (en) 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US10529134B2 (en) 2013-02-01 2020-01-07 Sony Corporation Information processing device, client device, information processing method, and program
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US20140253605A1 (en) 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
KR102148809B1 (ko) 2013-04-22 2020-08-27 삼성전자주식회사 단축 아이콘 윈도우 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN105229720B (zh) 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
US20140363073A1 (en) 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9679144B2 (en) * 2013-11-15 2017-06-13 Microsoft Technology Licensing, Llc Protecting privacy in web-based immersive augmented reality
JP6119570B2 (ja) 2013-11-19 2017-04-26 ソニー株式会社 表示装置、表示方法およびプログラム
US20150145887A1 (en) 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
CN103761085B (zh) 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
US9626776B2 (en) 2013-12-20 2017-04-18 Cognex Corporation Apparatus, systems, and methods for processing a height map
CN104750440B (zh) 2013-12-30 2017-09-29 纬创资通股份有限公司 多屏幕的窗口管理方法、电子装置与计算机程序产品
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US20150261293A1 (en) 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
KR20150141461A (ko) 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091226A1 (en) * 2001-11-13 2003-05-15 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
CN102473068A (zh) * 2009-07-21 2012-05-23 索尼公司 信息处理器、处理方法和程序
CN102598677A (zh) * 2009-11-12 2012-07-18 Lg电子株式会社 图像显示设备及其图像显示方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246410A (zh) * 2017-05-31 2019-01-18 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
CN109246410B (zh) * 2017-05-31 2021-04-02 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
CN107368193A (zh) * 2017-07-19 2017-11-21 讯飞幻境(北京)科技有限公司 人机操作交互方法和系统
CN109407822A (zh) * 2017-08-18 2019-03-01 奥多比公司 协作虚拟现实的防恶心和视频流式传输技术
CN109407822B (zh) * 2017-08-18 2024-04-02 奥多比公司 协作虚拟现实的防恶心和视频流式传输技术
TWI663546B (zh) * 2017-10-02 2019-06-21 宏碁股份有限公司 可支援虛擬實境應用程式的混合實境系統及其顯示方法
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN111742283A (zh) * 2018-02-19 2020-10-02 微软技术许可有限责任公司 混合现实中内容的弯曲显示
CN110209263B (zh) * 2018-02-28 2022-11-08 联想（新加坡）私人有限公司 信息处理方法、信息处理设备及设备可读存储介质
CN110209263A (zh) * 2018-02-28 2019-09-06 联想（新加坡）私人有限公司 信息处理方法、信息处理设备及设备可读存储介质
CN113795814A (zh) * 2019-03-15 2021-12-14 索尼互动娱乐股份有限公司 虚拟人物现实间跨界
CN113795814B (zh) * 2019-03-15 2024-08-30 索尼互动娱乐股份有限公司 虚拟人物现实间跨界
CN110544316A (zh) * 2019-09-06 2019-12-06 北京奇艺世纪科技有限公司 一种虚拟现实回放方法、系统、设备及存储介质
CN110544316B (zh) * 2019-09-06 2023-12-01 北京奇艺世纪科技有限公司 一种虚拟现实回放方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN106687886B (zh) 2019-09-17
KR102352703B1 (ko) 2022-01-17
KR20170035991A (ko) 2017-03-31
US9858720B2 (en) 2018-01-02
US20160027216A1 (en) 2016-01-28
KR20210124500A (ko) 2021-10-14
WO2016014876A1 (en) 2016-01-28
EP3172648B1 (en) 2020-02-26
EP3172648A1 (en) 2017-05-31
US20180101994A1 (en) 2018-04-12
KR102308736B1 (ko) 2021-10-05
US10096168B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
CN106687886B (zh) 三维混合现实视口
US10955914B2 (en) Gaze-based object placement within a virtual reality environment
CN106662924A (zh) 桌面与虚拟世界之间的鼠标共享
KR102385756B1 (ko) 가상 현실 환경에서 몰입된 때의 안티 트립
CN106575156B (zh) 虚拟对象的智能放置以停留在头戴式显示器的视野中
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
US9645397B2 (en) Use of surface reconstruction data to identify real world floor
CN106575209A (zh) 具有现实世界对象的虚拟现实环境

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant