CN103149689B - 扩充的现实虚拟监视器 - Google Patents

扩充的现实虚拟监视器 Download PDF

Info

Publication number
CN103149689B
CN103149689B CN201210516323.7A CN201210516323A CN103149689B CN 103149689 B CN103149689 B CN 103149689B CN 201210516323 A CN201210516323 A CN 201210516323A CN 103149689 B CN103149689 B CN 103149689B
Authority
CN
China
Prior art keywords
display
virtual
virtual monitor
see
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210516323.7A
Other languages
English (en)
Other versions
CN103149689A (zh
Inventor
B·芒特
S·拉塔
A·普洛斯
D·麦卡洛克
D·贝内特
R·哈斯汀斯
J·斯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103149689A publication Critical patent/CN103149689A/zh
Application granted granted Critical
Publication of CN103149689B publication Critical patent/CN103149689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及扩充的现实虚拟监视器。头戴式显示器包括透视显示器和虚拟现实引擎。透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。虚拟现实引擎被配置成使得透视显示器在视觉上呈现虚拟监视器，该虚拟监视器对通过透视显示器查看物理空间的用户而言看上去与该物理空间一体化。

Description

扩充的现实虚拟监视器
技术领域
本发明涉及虚拟监视器。
背景技术
电视机、计算机显示器、电影屏幕和其它视频监视器向用户提供视觉信息。常规的视频监视器受到各种不同的物理约束的限制，诸如监视器的物理尺寸和放置监视器的物理位置。
发明内容
头戴式显示器包括透视（see-through）显示器和虚拟现实引擎。透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。虚拟现实引擎被配置成使得透视显示器在视觉上呈现虚拟监视器，该虚拟监视器对通过透视显示器查看物理空间的用户而言看上去与该物理空间一体化。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图说明
图1示出根据本发明的一实施例的示例头戴式显示器。
图2A示出在物理空间中佩戴头戴式显示器的用户的顶视图。
图2B示出了图2A的用户的未经更改的第一人称观点。
图2C示出了图2A的用户的第一人称观点，同时头戴式显示器扩充现实以在视觉上呈现虚拟监视器。
图3示出根据本发明的一实施例的扩充现实的示例方法。
图4是根据本发明的一实施例的示例计算系统。
具体实施方式
图1示出包括透视显示器102的头戴式显示器100的非限制性示例。透视显示器102至少是部分透明的，因此允许光穿过透视显示器到达用户的眼睛。而且，透视显示器被配置成对通过透视显示器查看物理空间的用户在视觉上扩充该物理空间的外观。例如，透视显示器可显示当用户在通过透视显示器观看时用户可看见的虚拟对象。因此，用户能够在用户查看物理空间的同时看到不存在于物理空间内的虚拟对象。这创造了虚拟对象是物理空间的一部分的幻觉。
头戴式显示器100还包括虚拟现实引擎104。虚拟现实引擎104被配置成使透视显示器以虚拟监视器的形式在视觉上呈现虚拟对象。虚拟监视器可模拟现实世界的电视机、计算机显示器、电影屏幕和/或其它监视器的外观。对通过透视显示器查看物理空间的用户而言，虚拟监视器看上去与物理空间一体化。以此方式，用户能够查看实际上在物理空间中不存在的监视器。虚拟现实引擎可包括软件、硬件、固件或其任何组合。
图2A示意性示出在物理空间202内佩戴头戴式显示器100的用户200的顶视图。线204a和204b指示用户通过头戴式显示器的透视显示器的视野。图2A还示出物理空间202内处于用户200的视野中的真实世界对象206a、206b、206c和206d。
图2B示出通过头戴式显示器查看真实世界对象206a、206b、206c和206d的用户200的第一人称观点。在图2B中，头戴式显示器的虚拟现实引擎没有在视觉上呈现虚拟对象。因此，用户只能看见真实世界的对象。用户看见这样的真实世界对象是因为从真实世界对象的反射的光能够穿过透视显示器到达用户的眼睛。
图2C示出用户200的同样的第一人称观点，但是虚拟现实引擎正在视觉上呈现虚拟对象。具体地，虚拟现实引擎在视觉上呈现虚拟监视器208a、虚拟监视器208b和虚拟监视器208c。从用户的观点，虚拟监视器看上去与物理空间202一体化。
具体地，图2C示出虚拟监视器208a，该监视器被渲染为如同虚拟监视器被安装到墙210（这是常规电视机的典型安装选择）那样显现。虚拟监视器208b被渲染为如同虚拟监视器正被搁在桌子表面212上（这是常规平板计算设备的典型用法）那样显现。虚拟监视器208c被渲染为如同它正在自由空间中浮动（这是采用常规监视器不能容易实现的安排）那样显现。
虚拟监视器208a、虚拟监视器208b和虚拟监视器208c作为非限制性示例提供。虚拟监视器可被渲染为具有基本上任何的外观，而不背离本发明的范围。
作为一个示例，虚拟监视器可正在播放运动或静止图像的视频流。运动图像的视频流可以相对较高的帧速率播放，以便创建实况动作的幻觉。作为非限制性示例，电视节目的视频流可按照每秒三十帧来播放。静止图像的视频流可在相对较长的一段时间内在虚拟监视器上呈现同一图像。作为非限制性示例，照片幻灯片的视频流可仅在每五秒钟改变图像。应当理解，可使用基本上任何的帧速率，而不背离本发明的范围。
作为另一示例，虚拟监视器可以是不透明的（例如，虚拟监视器208a和虚拟监视器208b）或部分透明的（例如，虚拟监视器208c）。不透明虚拟监视器可被渲染，以便挡住显现在虚拟监视器之后的真实世界对象。部分透明的虚拟监视器可被渲染，使得真实世界对象或其它虚拟对象可通过虚拟监视器查看。
作为另一示例，虚拟监视器可以是无框的（例如，虚拟监视器208c）或有框的（例如，虚拟监视器208a和虚拟监视器208b）。无框的虚拟监视器可用可播放视频流的无边屏幕部分渲染，而任何其它结构都不在屏幕部分周围渲染。作为对比，有框虚拟监视器可被渲染以在屏幕周围包括边框。这样的边框可被渲染，以便类似常规电视机边框、计算机显示器边框、电影屏幕边框等的外观。
无框和有框虚拟监视器两者均可被渲染为不具有任何深度。例如，当从一角度被查看时，无深度虚拟监视器将不会显现为在屏幕的表面背后具有任何结构（例如，虚拟监视器208c）。而且，无框和有框虚拟监视器均可被渲染为具有一深度，使得当从一角度被查看时，虚拟监视器将显现为占据屏幕表面背后的空间（虚拟监视器208b）。
作为另一示例，虚拟监视器可包括矩形或非矩形屏幕。而且，屏幕可以是平坦的或不平坦的。在一些实施例中，虚拟监视器的屏幕的形状可匹配物理空间中真实世界对象的平坦或不平坦形状（例如，虚拟监视器208a和虚拟监视器208b）或匹配另一虚拟对象的平坦或不平坦形状。即使当平坦屏幕被渲染时，在平坦屏幕上被渲染的视频流可被配置成显示三维虚拟对象（例如，以创建正在观看三维电视机的幻觉）。三维虚拟对象可经由模拟的立体3D内容来实现——例如，观看来自从3D记录的3D内容，使得内容以2D显现在显示器的平面上，但用户的左眼和右眼看到稍微不同的视频视图，从而产生3D效果。在一些实施例中，内容的回放可引起虚拟3D对象实际上离开显示的平面。例如，其中菜单实际上从TV弹出到用户的客厅的电影。此外，无框虚拟监视器可被用于在视觉上呈现来自视频流的三维虚拟对象，因此创造了视频流的内容正在物理空间环境中播放出的幻觉。
作为另一示例，虚拟监视器可被渲染在相对于物理空间中的真实世界对象的固定位置中，或虚拟监视器可被渲染以便相对于真实世界对象移动。固定虚拟监视器可显现为例如固定在墙上、桌子上、或其它表面上。固定虚拟监视器还可被显现为与任何真实世界对象分开地漂浮。
移动虚拟监视器可被显现为以受限或不受限的方式移动。例如，虚拟监视器可被局限于物理墙壁，但是虚拟监视器可在用户在墙壁附近走过时沿墙壁移动。作为另一示例，虚拟监视器可被受限于一移动对象。作为又一示例，虚拟监视器可不受限于任何物理对象，且可显现为在用户前面直接漂浮而不管用户看着哪里。
虚拟监视器或者可以是私人虚拟监视器或者可以是公共虚拟监视器。私人虚拟监视器被仅渲染在一个透视显示器上，使得只有通过透视显示器查看物理空间的用户才能看到虚拟监视器。公共虚拟监视器可被并发渲染在一个或多个其它设备上，包括其它透视显示器上，使得其它人可查看虚拟监视器的克隆。
在一些实施例中，虚拟现实引擎可被配置成将虚拟坐标系映射到物理空间，使得虚拟监视器显现为处于特定物理空间位置中。此外，虚拟坐标系可以是可由一个或多个其它头戴式显示器使用的共享坐标系。在这样的情况中，每一单独的头戴式显示器可识别虚拟监视器显现的同一物理空间位置。每一头戴式显示器然后可在该物理空间位置处渲染该虚拟监视器，使得通过不同的透视显示器查看该物理空间位置的两个或更多个用户将在同一位置看到同一虚拟监视器且该同一虚拟监视器处于同一方向。换言之，一个头戴式显示器渲染虚拟对象的特定物理空间位置将是另一头戴式显示器渲染该虚拟监视器的同一物理空间位置。
转回图1，头戴式显示器100可任选地包括一个或多个扬声器106——例如，两个扬声器以允许立体声效果诸如位置音频提示。在其它实施例中，头戴式显示器可被通信地耦合到板外扬声器。在任一情况中，虚拟现实引擎可被配置成使得这样的扬声器播放与虚拟监视器播放的视频流同步的音频流。例如，在图2C的虚拟监视器208a播放电视节目形式的视频流的同时，扬声器可播放构成电视节目的音频组成部分的音频流。
音频流的音量可根据各种不同参数来调整。作为一个示例，渲染引擎可被配置成与透视显示器和一物理空间位置之间的距离成反比地调整音频流的音量，该物理空间位置是对通过透视显示器查看物理空间的用户而言虚拟监视器看上去位于其中的位置。换言之，声音可被局部化，使得当用户靠近虚拟监视器时，虚拟监视器的音量将增加。作为另一示例，渲染引擎可被配置成与正在查看一物理空间位置的透视显示器的直接程度成比例地调整音频流的音量，该物理空间位置是对通过透视显示器查看物理空间的用户而言虚拟监视器看上去位于其中的位置。换言之，在用户更直接地观看虚拟监视器时，音量增加。
当两个或更多个虚拟监视器被映射到用户附近的位置时，与各虚拟监视器相关联的相应的音频流可被混合在一起或独立播放。当混合在一起时，任何特定音频流的相对贡献可基于各种不同参数来加权，诸如基于邻近程度或查看的直接程度。例如，用户离特定虚拟监视器越近和/或用户越直接地观看虚拟监视器，与该虚拟监视器相关联的音量将被播放得越响。
当被独立播放时，与特定虚拟监视器相关联的音频流而非与其它虚拟监视器相关联的音频流可基于各种不同参数（诸如邻近程度和/或查看的直接程度）播放。例如，当用户环顾其中若干虚拟监视器被渲染的物理空间时，仅与在用户的视野中最直接的虚拟监视器相关联的音频流可被播放。如下讨论的，眼睛跟踪可被用于更准确地评估用户焦点所指，且这样的焦点可用作调整音量的参数。
简要转向图1，头戴式显示器100包括传感器子系统108。传感器子系统可在不同的实施例中包括各种不同的传感器。作为非限制性示例，传感器子系统可包括话筒110、一个或多个前向（背对用户）的红外和/或可见光相机112、一个或多个后向（朝向用户）的红外和/或可见光相机114。前向相机可包括一个或多个深度相机，和/或后向相机可包括一个或多个眼睛跟踪相机。在一些实施例中，板载传感器子系统可与一个或多个板外传感器通信，板外传感器将观察信息发送给板载传感器子系统。例如，游戏控制台使用的深度相机可将深度图和/或所建模的虚拟骨架发送给头戴式显示器的传感器子系统。
虚拟现实引擎可被配置成响应于经由传感器子系统识别的命令来控制虚拟监视器。作为非限制性示例，经由传感器子系统识别的命令可被用于控制虚拟监视器创建、虚拟监视器定位（例如，虚拟监视器显现在哪里并看上去多大）；回放控制（例如，哪个内容被视觉呈现、快进、倒带、暂停等）；与虚拟监视器相关联的音频的音量；隐私设置（例如，谁被允许查看克隆虚拟监视器；这样的人们被允许查看什么）；屏幕捕捉、发送、打印和保存；和/或基本上虚拟监视器的任何其它方面。
如上所述，传感器子系统可包括或被配置成与一种或多种不同类型的传感器通信，且每一不同类型的传感器可被用于识别控制虚拟监视器的命令。作为非限制性示例，虚拟现实引擎可被配置成响应于经由话筒识别的听得到的命令、经由相机识别的手部姿势命令和/或经由相机识别的眼睛姿势命令来控制虚拟监视器。
命令的类型以及这样的命令控制虚拟监视器的方式可变化，而不背离本发明的范围。例如，为了创建虚拟监视器，前向相机可识别用户用L形左手和L形右手之间的想像出的矩形限定一场景。当这一画者L形手的姿势作出时，新虚拟监视器的位置和尺寸可通过将一矩形从用户的眼睛投影到画者姿势所建立的矩形并投影到画者姿势背后的墙壁上来建立。
作为另一示例，新虚拟监视器的位置和尺寸可通过识别用户轻叩表面来建立虚拟监视器的角落来建立。作为又一示例，用户可说出命令“新监视器”，虚拟监视器可被渲染在表面上，朝向眼睛跟踪相机确定用户正在观看的方向。
一旦虚拟监视器被渲染并正在播放视频流，用户可说出诸如“暂停”、“快进”、“换频道”等命令来控制视频流。作为另一示例，用户可作出停止信号手势以暂停回放，将手从左向右滑动以快进，或扭动伸出的手以换频道。作为又一示例，用户可说出“拆分”或作出空手道砍劈姿势以将单个虚拟监视器拆分成可被移动到不同物理空间位置的两个虚拟监视器。
简要地回到图1，头戴式显示器100可包括允许头戴式显示器被佩戴到用户的头上的一个或多个特征。在所示示例中，头戴式显示器100采用眼镜形式，并包括鼻撑116和耳撑118a和118b。在其它实施例中，头戴式显示器可包括具有面部前方透视防护板的帽子或头盔。而且，尽管在头戴式透视显示器的上下文中描述，此处描述的概念可被应用于不是头戴式的透视显示器（例如，挡风玻璃）以及应用到不是透视的显示器（例如，渲染相机观察到的真实对象以及不在相机视野内的虚拟对象的不透明显示器）。
头戴式显示器100还可包括通信子系统120。通信子系统120可被配置成与一个或多个板外计算设备通信。作为示例，通信子系统可被配置成无线地接收视频流、音频流、坐标信息、虚拟对象描述和/或其它信息以渲染虚拟监视器。
图3示出扩充现实的示例方法300。在302，方法300包括从传感器子系统接收物理空间的观察信息。观察信息可包括描述物理空间的任何信息。作为非限制性示例，来自一个或多个相机的图像和/或来自一个或多个话筒的音频信息可被接收。信息可从作为头戴式显示器的一部分的传感器和/或不作为头戴式显示器的一部分的板外传感器接收。信息可在头戴式显示器处接收，或在与头戴式显示器通信的板外设备接收。
在304，方法300包括基于观察信息将虚拟现实环境映射到物理空间，其中虚拟现实环境包括在视觉上呈现视频流的虚拟监视器。这样的映射可被虚拟现实引擎执行，该虚拟现实引擎是头戴式显示器的一部分或是与头戴式显示器通信的板外设备。
在306，方法300包括向透视显示器发送扩充的现实显示信息。扩充的现实显示信息被配置成使得透视显示器显示被映射到物理空间的虚拟现实环境，使得通过透视显示器查看物理空间的用户看到与物理空间一体化的虚拟监视器。扩充的现实显示信息可从作为头戴式显示器的一部分或作为与头戴式显示器通信的板外设备的虚拟现实引擎发送到透视显示器。
在一些实施例中，上述扩充的现实技术可连系于集成到头戴式显示器的计算系统和/或被配置成与头戴式显示器通信的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。
图4示意性示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统400。以简化形式示出了计算系统400。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统400可以采取板载头戴式显示器计算机、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
计算系统400包括逻辑子系统402和数据保持子系统404。计算系统400可以任选地包括显示子系统406、音频子系统408、传感器子系统410、通信子系统412和/或在图4中未示出的其他组件。
逻辑子系统402可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统404可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统404的状态（例如，以保持不同的数据）。
数据保持子系统404可包括可移动介质和/或内置设备。数据保持子系统404尤其可以包括光学存储器设备（例如，CD、DVD、HD-DVD、蓝光盘等）、半导体存储器设备（例如，RAM、EPROM、EEPROM等）和/或磁存储器设备（例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等）。数据保持子系统404可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统402和数据保持子系统404集成到一个或更多个常见设备中，如专用集成电路或片上系统。
图4还示出以可移动计算机可读存储介质414形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质414尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
可以明白，数据保持子系统404包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号（例如电磁信号、光信号等）传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个或多个具体功能的计算系统400的一方面。在某些情况下，可以通过执行由数据保持子系统404所保持的指令的逻辑子系统402来实例化这样的模块、程序或引擎。应当理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
当被包括时，显示子系统406可用于呈现由数据保持子系统404所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统406的状态以在视觉上表示底层数据的改变。显示子系统406可以包括使用实际上任何类型的技术的一个或多个显示设备。这样的显示设备可与共享封包（例如具有板载计算的头戴式显示器）中的逻辑子系统402和/或数据保持子系统404组合，或这样的显示设备可以是外围显示设备（例如具有板外计算的头戴式显示器）。
作为一个非限制性示例，显示子系统可包括位于头戴式显示器的透镜内的图像产生元件（例如，透视OLED显示器）。作为另一示例，显示子系统可包括透镜边缘上的光调制器，透镜可用作使光从光调制器传递到用户眼睛的光导。在任一情况中，因为透镜至少部分是透明的，光可穿过透镜到达用户的眼睛，因此允许用户透过透镜查看。
音频子系统408可包括或被配置成利用用于播放如上所述的音频流和/或其它声音的一个或多个扬声器。
传感器子系统可包括和/或被配置成与各种不同传感器通信。例如，头戴式显示器可包括至少一个内向传感器和/或至少一个外向传感器。内向传感器可以是被配置成获取图像数据以允许查看者的眼睛被跟踪的眼睛跟踪图像传感器。外向传感器可检测基于姿势的用户输入。例如，外向传感器可包括深度相机、可见光相机或另一位置跟踪相机。此外，这样的外向相机可具有立体配置。例如，头戴式显示器可包括两个深度相机，以从用户观点的两个不同角度立体地观察物理空间。在一些实施例中，基于姿势的用户输入还可经由一个或多个板外相机来检测。
此外，外向图像传感器可捕捉物理空间的图像，这些图像可作为输入向板载或板外3D建模系统提供。3D建模系统可用于生成物理空间的3D模型。这样的3D建模可用于将头戴式显示器的精确位置定位于物理空间中，使得虚拟监视器可被渲染以便显现在相对于物理空间的精确位置中。此外，3D建模可用于准确地标识虚拟监视器可被局限的真实世界表面。为了便于这样的3D建模，传感器子系统可任选地包括红外投影仪以协助结构光和/或飞行时间深度分析。
传感器子系统还可包括一个或多个运动传感器以检测查看者正佩戴头戴式显示器时该查看者头部的移动。运动传感器可输出运动数据，以例如跟踪查看者的头部运动和眼睛方向。因此，运动数据可便于检测用户头部沿横滚、俯仰和/或偏航轴的倾斜。此外，运动传感器可允许头戴式显示器的位置被确定和/或细化。同样地，运动传感器还可被用作用户输入设备，使得用户可经由颈部、头部或身体的姿势与头戴式显示器交互。运动传感器的非限制性示例包括加速度计、陀螺仪、罗盘和方向传感器。此外，HMD设备可被配置有全球定位系统（GPS）能力。
传感器子系统还可包括一个或多个话筒来允许使用语音命令作为用户输入。
当包括通信子系统412时，通信子系统508可以被配置成将计算系统400与一个或多个其他计算设备可通信地耦合。通信子系统412可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统400经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种头戴式显示器，包括：
透视显示器，被配置成对通过所述透视显示器查看物理空间的用户在视觉上扩充所述物理空间的外观；以及
虚拟现实引擎，被配置成使得所述透视显示器在视觉上呈现虚拟监视器，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去与所述物理空间一体化，所述虚拟现实引擎还被配置成将虚拟共享坐标系映射到所述物理空间以在特定物理空间位置处渲染所述虚拟监视器，以使得通过不同的透视显示器查看所述特定物理空间位置的两个或更多个用户将在同一位置看到同一虚拟监视器且所述同一虚拟监视器处于同一方向。
2.如权利要求1所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成在所述虚拟监视器上播放视频流，还包括扬声器，且其中所述虚拟现实引擎还被配置成使得所述扬声器播放与所述视频流同步的音频流。
3.如权利要求2所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成与所述透视显示器和一物理空间位置之间的距离成反比地调整所述音频流的音量，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去位于所述物理空间位置，或者所述虚拟现实引擎还被配置成与所述透视显示器正在查看所述物理空间位置的直接程度成比例地调整所述音频流的音量，所述虚拟监视器对通过所述透视显示器查看所述物理空间的用户而言看上去位于所述物理空间位置。
4.如权利要求2所述的头戴式显示器，其特征在于，还包括被配置成无线地接收视频流的通信子系统。
5.如权利要求1所述的头戴式显示器，其特征在于，所述虚拟现实引擎还被配置成将虚拟坐标系映射到所述物理空间，使得所述虚拟监视器看上去位于特定物理空间位置，且其中所述虚拟监视器是固定虚拟监视器或移动虚拟监视器。
6.如权利要求5所述的头戴式显示器，其特征在于，所述虚拟坐标系是共享坐标系，且其中所述特定物理空间位置是映射到所述共享坐标系的另一头戴式显示器显示所述虚拟监视器的同一物理空间位置。
7.如权利要求1所述的头戴式显示器，其特征在于，还包括传感器子系统，其中所述虚拟现实引擎被控制成响应于经由所述传感器子系统识别的命令来控制所述虚拟监视器，其中所述传感器子系统包括话筒，且其中所述虚拟现实引擎被配置成响应于经由所述话筒识别的听得到的命令来控制所述虚拟监视器。
8.如权利要求7所述的头戴式显示器，其特征在于，所述传感器子系统包括相机，且其中所述虚拟现实引擎被配置成响应于经由所述相机识别的手部姿势命令或眼睛姿势命令来控制所述虚拟监视器。
9.一种用于扩充现实的方法，所述方法包括：
从传感器子系统接收物理空间的观察信息；
基于所述观察信息将包括虚拟共享坐标系的虚拟现实环境映射到所述物理空间，所述虚拟现实环境包括在特定物理空间位置处被渲染的、在视觉上呈现视频流的虚拟监视器；以及
将扩充的现实显示信息发送到透视显示器，所述扩充的现实显示信息被配置成使得所述透视显示器显示被映射到所述物理空间的所述虚拟现实环境，使得通过不同的透视显示器查看所述特定物理空间位置的两个或更多个用户将在同一位置看到同一虚拟监视器且所述同一虚拟监视器处于同一方向。
10.如权利要求9所述的方法，其特征在于，还包括将扩充的现实音频信息发送给扬声器，所述扩充的现实音频信息被配置成使得所述扬声器播放与所述视频流同步的音频流。
CN201210516323.7A 2011-12-06 2012-12-05 扩充的现实虚拟监视器 Active CN103149689B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/312,604 US9497501B2 (en) 2011-12-06 2011-12-06 Augmented reality virtual monitor
US13/312,604 2011-12-06

Publications (2)

Publication Number Publication Date
CN103149689A CN103149689A (zh) 2013-06-12
CN103149689B true CN103149689B (zh) 2015-12-23

Family

ID=48523656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210516323.7A Active CN103149689B (zh) 2011-12-06 2012-12-05 扩充的现实虚拟监视器

Country Status (3)

Country Link
US (2) US9497501B2 (zh)
CN (1) CN103149689B (zh)
WO (1) WO2013085853A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US11266919B2 (en) * 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US9088787B1 (en) * 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
KR20140045801A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
US10288881B2 (en) * 2013-03-14 2019-05-14 Fresenius Medical Care Holdings, Inc. Wearable interface for remote monitoring and control of a medical device
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
EP2983137B1 (en) * 2013-04-04 2019-05-22 Sony Corporation Information processing device, information processing method and program
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
US9466150B2 (en) 2013-11-06 2016-10-11 Google Inc. Composite image associated with a head-mountable device
JP6352426B2 (ja) 2013-12-27 2018-07-04 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
US20150185826A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Mapping gestures to virtual functions
US11154379B2 (en) * 2014-01-21 2021-10-26 Trophy Method for implant surgery using augmented visualization
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
EP3007088A1 (en) 2014-10-07 2016-04-13 Nokia Technologies OY Modification of an exercise plan
US10783284B2 (en) 2014-10-15 2020-09-22 Dirtt Environmental Solutions, Ltd. Virtual reality immersion with an architectural design software application
CN105611267B (zh) * 2014-11-21 2020-12-15 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9904053B2 (en) * 2014-12-25 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10156721B2 (en) 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
TWI568481B (zh) * 2015-04-21 2017-02-01 南臺科技大學 擴增實境遊戲系統與方法
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示系统
CN107787588B (zh) 2015-05-05 2019-11-29 雷蛇(亚太)私人有限公司 控制耳机装置的方法、耳机装置、计算机可读介质
US10176638B2 (en) * 2015-05-18 2019-01-08 Dreamworks Animation L.L.C. Method and system for calibrating a virtual reality system
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9746675B2 (en) 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
WO2016194232A1 (ja) * 2015-06-05 2016-12-08 日立マクセル株式会社 映像表示装置および制御方法
EP3308539A1 (en) * 2015-06-12 2018-04-18 Microsoft Technology Licensing, LLC Display for stereoscopic augmented reality
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10484824B1 (en) 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US10454943B2 (en) 2015-08-17 2019-10-22 The Toronto-Dominion Bank Augmented and virtual reality based process oversight
US10015370B2 (en) * 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
EP3206121A1 (en) 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
CN105786672B (zh) * 2016-03-10 2018-05-01 杨威 一种针对虚拟现实环境的监控系统及其监控方法
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
CN105920837A (zh) * 2016-06-05 2016-09-07 深圳市中幼国际教育科技有限公司 一种虚拟互动游戏装置
WO2017214559A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality architectural design environment
WO2017214576A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality and cad architectural design environment
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
EP3264222B1 (en) 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
WO2018017125A1 (en) * 2016-07-22 2018-01-25 Hewlett-Packard Development Company, L.P. Display of supplemental information
US9972119B2 (en) 2016-08-11 2018-05-15 Microsoft Technology Licensing, Llc Virtual object hand-off and manipulation
CN106648075B (zh) * 2016-11-29 2020-07-03 维沃移动通信有限公司 一种虚拟现实设备的控制方法及虚拟现实设备
KR102413561B1 (ko) * 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10438418B2 (en) * 2016-12-08 2019-10-08 Colopl, Inc. Information processing method for displaying a virtual screen and system for executing the information processing method
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
US10209360B2 (en) * 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN110476139B (zh) * 2017-03-28 2024-01-02 奇跃公司 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
EP3639154A4 (en) 2017-06-15 2021-01-27 Tencent Technology (Shenzhen) Company Limited SYSTEM AND PROCEDURE FOR CUSTOMIZING A USER INTERFACE PANEL ON THE BASIS OF PHYSICAL SIZES
US10460748B2 (en) 2017-10-04 2019-10-29 The Toronto-Dominion Bank Conversational interface determining lexical personality score for response generation with synonym replacement
US10339931B2 (en) 2017-10-04 2019-07-02 The Toronto-Dominion Bank Persona-based conversational interface personalization using social network preferences
DE102017126748A1 (de) * 2017-11-14 2019-05-16 Zimmermann Holding-Ag Verfahren zur Darstellung eines dreidimensionalen Objekts sowie diesbezügliches Computerprogrammprodukt, digitales Speichermedium und Computersystem
US10509463B2 (en) 2017-11-17 2019-12-17 Microsoft Technology Licensing, Llc Mixed reality offload using free space optics
US11222612B2 (en) 2017-11-30 2022-01-11 Hewlett-Packard Development Company, L.P. Augmented reality based virtual dashboard implementations
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
US11526211B2 (en) * 2018-05-08 2022-12-13 Nevermind Capital Llc Methods and apparatus for controlling, implementing and supporting trick play in an augmented reality device
CN108717234A (zh) * 2018-05-21 2018-10-30 云谷（固安）科技有限公司 视力保护方法和显示装置
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CN111937051B (zh) * 2018-06-15 2022-09-27 谷歌有限责任公司 使用增强现实可视化的智能家居设备放置和安装
CN110780442A (zh) * 2018-07-30 2020-02-11 宏达国际电子股份有限公司 头戴式显示器及其使用方法
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
CN111915709A (zh) * 2019-05-10 2020-11-10 阿里巴巴集团控股有限公司 渲染方法及装置
US11209581B2 (en) * 2019-06-19 2021-12-28 Universal City Studios Llc Techniques for selective viewing of projected images
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
TWI757824B (zh) 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
US11494992B2 (en) 2020-08-27 2022-11-08 Micron Technology, Inc. Constructing an augmented reality image
CN113573079B (zh) * 2021-09-23 2021-12-24 北京全心数字技术有限公司 一种自由视角直播方式的实现方法
WO2023090690A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024085550A1 (ko) * 2022-10-17 2024-04-25 삼성전자주식회사 가상 장치의 디스플레이의 제어를 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262743A (zh) * 1998-01-28 2000-08-09 皇家菲利浦电子有限公司 头戴显示器
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6396497B1 (en) * 1993-08-31 2002-05-28 Sun Microsystems, Inc. Computer user interface with head motion input
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
US20110239136A1 (en) * 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562463A (en) 1981-05-15 1985-12-31 Stereographics Corp. Stereoscopic television system with field storage for sequential display of right and left images
US4461541A (en) 1982-03-25 1984-07-24 The United States Of America As Represented By The Secretary Of The Army Stereoscopic video image display
US4740836A (en) 1983-12-05 1988-04-26 Craig Dwin R Compatible 3D video display using commercial television broadcast standards and equipment
HU197469B (en) 1987-10-23 1989-03-28 Laszlo Holakovszky Spectacle like, wearable on head stereoscopic reproductor of the image
US4933755A (en) 1989-02-15 1990-06-12 Dahl Thomas R Head mounted stereoscopic television viewer
US5365370A (en) 1993-06-10 1994-11-15 Hudgins J Stephen Three dimensional viewing illusion with 2D display
EP0644701B1 (en) 1993-09-20 1999-12-01 Canon Kabushiki Kaisha Image taking and/or displaying system
US5905499A (en) 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
US5835133A (en) 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
WO1997031305A2 (en) 1996-02-08 1997-08-28 Synthonics Incorporated 3d stereo browser for the internet
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
IL120950A0 (en) 1997-05-29 1997-09-30 Scitex Corp Ltd Three dimensional image generator
JP3717653B2 (ja) 1998-01-20 2005-11-16 株式会社リコー 頭部搭載型画像表示装置
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
JP4298407B2 (ja) 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20070291035A1 (en) 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
US20080246759A1 (en) 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US7868893B2 (en) * 2006-03-07 2011-01-11 Graphics Properties Holdings, Inc. Integration of graphical application content into the graphical scene of another application
US8314815B2 (en) * 2006-04-12 2012-11-20 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
KR100911376B1 (ko) 2007-11-08 2009-08-10 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치
JP4933406B2 (ja) 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
US20090189830A1 (en) 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
WO2009155688A1 (en) 2008-06-23 2009-12-30 Craig Summers Method for seeing ordinary video in 3d on handheld media players without 3d glasses or lenticular optics
US20100020254A1 (en) 2008-07-23 2010-01-28 Zheng Jason Geng Multi-panel virtual image display
US20100110069A1 (en) 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
JP5293154B2 (ja) 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20100321482A1 (en) 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US8817078B2 (en) * 2009-11-30 2014-08-26 Disney Enterprises, Inc. Augmented reality videogame broadcast programming
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110210962A1 (en) * 2010-03-01 2011-09-01 Oracle International Corporation Media recording within a virtual world
KR101813028B1 (ko) * 2010-12-17 2017-12-28 엘지전자 주식회사 이동 단말기 및 그 디스플레이 제어 방법
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
EP2490452A1 (en) 2011-02-21 2012-08-22 Advanced Digital Broadcast S.A. A method and system for rendering a stereoscopic view
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20150312561A1 (en) 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
KR101845350B1 (ko) 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US9380295B2 (en) 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US9473764B2 (en) 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396497B1 (en) * 1993-08-31 2002-05-28 Sun Microsystems, Inc. Computer user interface with head motion input
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
CN1262743A (zh) * 1998-01-28 2000-08-09 皇家菲利浦电子有限公司 头戴显示器
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110239136A1 (en) * 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue

Also Published As

Publication number Publication date
US20130141421A1 (en) 2013-06-06
US20160379417A1 (en) 2016-12-29
CN103149689A (zh) 2013-06-12
US9497501B2 (en) 2016-11-15
WO2013085853A1 (en) 2013-06-13
US10497175B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
CN103149689B (zh) 扩充的现实虚拟监视器
US11863845B2 (en) Geometry matching in virtual reality and augmented reality
CN108701371B (zh) 用于提供虚拟现实输出和增强现实输出的方法和装置
CN109479010B (zh) 通过注视化身的私有通信
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
US10114455B2 (en) Eye tracking enabling 3D viewing
US9779538B2 (en) Real-time content immersion system
US20150312561A1 (en) Virtual 3d monitor
TWI571130B (zh) 體積式視訊呈現
US11310618B2 (en) Virtual reality, augmented reality, and mixed reality systems with spatialized audio
US20120223885A1 (en) Immersive display experience
CN107810634A (zh) 用于立体增强现实的显示器
JP2021512402A (ja) マルチビューイング仮想現実ユーザインターフェース
US20230281933A1 (en) Spatial video capture and replay

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150805

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150805

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant