CN105452994B - 虚拟物体的同时优选观看 - Google Patents

虚拟物体的同时优选观看 Download PDF

Info

Publication number
CN105452994B
CN105452994B CN201480035136.4A CN201480035136A CN105452994B CN 105452994 B CN105452994 B CN 105452994B CN 201480035136 A CN201480035136 A CN 201480035136A CN 105452994 B CN105452994 B CN 105452994B
Authority
CN
China
Prior art keywords
user
common
dummy object
place
dummy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480035136.4A
Other languages
English (en)
Other versions
CN105452994A (zh
Inventor
T·G·萨尔特
B·J·苏格登
D·德普福德
R·L·小克罗可
B·E·基恩
L·K·梅赛
A·A-A·基普曼
P·T·金内布鲁
N·F·卡穆达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105452994A publication Critical patent/CN105452994A/zh
Application granted granted Critical
Publication of CN105452994B publication Critical patent/CN105452994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种透视的头戴式显示装置包括执行一种选择为呈现给公共环境中的多个用户的共享观看的虚拟物体的优选观看地点和视角的方法的代码。在确定优选、共同查看位置时考虑多个物体和多个用户。该技术允许每个用户具有对于环境中的物体的相对位置的共同查看。

Description

虚拟物体的同时优选观看
背景
混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式显示(HMD)设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图像。用户可例如通过执行手、头、或语音姿势来进一步与虚拟物体进行交互，以移动物体、更改它们的外观或简单地观看它们。
为了让多个用户在两个用户都佩戴透视头戴式显示器时能够交互，用户设备所呈现的虚拟物体将被共享。观看虚拟物体的设备的每个用户在其自己的视野内具有对于该物体的视角。这些设备中的一个或多个独立地或者与中枢计算系统结合地可被用来确定每个用户各自对虚拟物体的视图。
概述
提供了用于向透视的头戴式显示设备的配戴者呈现虚拟物体的优选的、共享的观看的技术。该技术为共享观看的虚拟物体选择优选观看地点和朝向。在确定物体的优选的、共同查看位置时考虑物体和用户的数目。该技术允许每个用户具有对于共享环境中的物体的相对位置的共同观看。
在一个方面，确定公共环境中多个用户的位置、朝向以及视野。根据这一信息以及与共同观看的虚拟物体相关联的物体定义，为物体确定共同的优选观看位置和朝向。这一信息在用户间分享以允许在该位置并且以该朝向来呈现该共同观看的虚拟物体。该技术针对物体和/或物体的观看者的移动以及用户的数目来进行调整。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。
附图简述
图1A是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组件的图示。
图1B是两个都佩戴着头戴式显示器的用户分享和观看共同的虚拟物体的描绘。
图1C是图1B中的用户观看被优选放置的虚拟物体的描绘。
图2是头戴式显示单元的一个实施例的立体图。
图3是头戴式显示单元的一个实施例的一部分的侧视图。
图4是头戴式显示单元的组件的一个实施例的框图。
图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
图8是表示根据本技术的方法的流程图。
图9是表示一种用于实现图8中的步骤612的方法的流程图的描绘。
图10是表示一种用于实现图8中的步骤616的方法的流程图。
图11A是表示一种用于实现图10中的步骤1024的方法的流程图。
图11B和11C表示根据图11A的虚拟物体相对于用户的优选放置。
图12A是表示一种用于在三用户情况下实现图10中的步骤1024的方法的流程图。
图12B和12C示出虚拟物体相对于三个用户的优选放置。
图13A是示出图12A的方法的替代实施例的流程图。
图13B-13D示出虚拟物体和用户的各种位置，其中三个用户正在观看一个虚拟物体。
图14A示出一种用于解决被共同观看的物体之间的位置冲突的方法。
图14B和14C解说多个虚拟物体的各种位置。
图15A示出一种用于针对不同物理环境中的用户的解决被共同观看的物体之间的位置冲突的方法。
图15B和15C示出针对不同物理环境中的用户的虚拟物体的各种位置。
详细描述
提供了一种用于允许公共环境或不同环境中的多个用户能够具有对虚拟物体的优选或共同的相对观看的技术。当向配备透视HMD设备的两个或更多个用户呈现虚拟物体时，该物体的呈现可以在一个相对于每个用户的位置，使得每个用户可具有针对该物体的优选体验。特定类型的虚拟物体不适用于相同物体视图(两个用户都看到物体的“正面”，即使用户处于物理上不同的位置)或者以用户为中心的物体视图(相对的用户看到物体的“正面”和“背面”)中的任意一个。
该技术为呈现给公共环境中的或共享共同的虚拟环境的多个用户的共享观看虚拟物体选择优选观看位置和视角。在确定优选、共同观看位置时考虑多个物体和多个用户。该技术允许每个用户具有对于环境中的物体的相对位置的共同观看。
虚拟物体可包括物体定义。该定义可包括允许显示设备2在用户的视野中呈现虚拟物体的数据。定义的一个组件可包括物体类型、物体大小、以及一个或多个优选观看视角和朝向。每个优选观看视角可包括用户观看该物体的优选视角的定义。当虚拟物体被分享时，此处所提供的技术使用物体定义以及分享该物体的每个用户的位置和视野来确定要为每个用户呈现该物体的优选位置。
头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界物体。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。
在一个替代实施例中，中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其他环境中的所有用户、现实世界物体和虚拟三维物体的x、y、z笛卡尔位置的环境的模型。由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并且被彼此校准。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户显示虚拟物体，但是从每个用户的视角的虚拟图像的显示可以是相对的，从而针对来自或由于该环境中的其他物体的任何视差以及遮挡来调整该虚拟物体。该环境的所述模型(在本文中被称为场景图)以及对用户的FOV以及该环境中的物体的跟踪可由协力或独立工作的中枢和移动处理单元来生成。
在一个实施例中，当用户在混合现实环境内走来走去时，虚拟物体可相对于每个用户的位置被重新放置。
图1A例示出用于通过将虚拟图像21与用户的FOV内的现实内容相融合来提供混合现实体验的系统10。图1示出了佩戴头戴式显示设备2的单个用户18，但理解到，一个以上的用户可以存在于混合现实环境中并从他们自己的角度观看相同的虚拟物体。如在图2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行观看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实施例中，处理单元4与一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供，使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合现实体验。
中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令来执行本文所述的过程。
中枢计算系统12进一步包括捕捉设备20，该捕捉设备20用于从其FOV内的场景的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环境在捕捉设备20的FOV内和/或每一头戴式显示设备2的FOV内被捕捉。图1A示出了单个捕捉设备20，但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作以从所述多个捕捉设备20的合成FOV内的场景中集体地捕捉图像数据。捕捉设备20可包括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动作和/或使化身或屏上人物动画化。
中枢计算系统12可被连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
中枢计算系统12与头戴式显示设备2和处理单元4一起可以提供混合现实体验，其中一个或多个虚拟图像(如图1中的虚拟图像21)可与场景中的现实世界物体混合在一起。图1例示出作为出现在用户的FOV内的现实世界物体的植物23或用户的手23的示例。
图1B和1C示出用于为多个用户定位虚拟物体的本技术。图1B示出在公共环境100中的两个用户18A和18B之间的虚拟物体27的以用户为中心的视角。
每个用户可配备有显示设备2和处理单元4。每个用户具有其自身视角的虚拟物体27。用户18a具有视角24a，而用户18b具有视角24b。虚拟物体27具有正面27a和背面27b。图1B中示出的视图是相对于用户18a的以用户为中心。用户18a看到虚拟物体27的正面27a，而用户18b看到虚拟物体的背面27b。
在诸如图1B中示出的用户18a和18b正观看图片的情况下，当以用户为中心的视图被使用时，难以让用户分享体验图片。图1B中的视图被称为以用户为中心，因为就虚拟物体27而言，用户18a的视图要比用户18b的视图好。
图1C示出虚拟物体27针对用户18a和18b的共同或优选观看定位。虚拟物体27的新位置相对于用户18a和18b来呈现，使得每个视角24a和24b针对用户相对于用户的位置来优化。当一个用户指向虚拟物体27时，物体的位置和用户指向的方向将对于用户18b而言看上去是正确的。
本技术提供了确定虚拟物体相对于两个或更多个用户的共同视图。在图1C中，应当理解，虚拟物体27现在具有共同位置，但每个用户的视图是相关的——每个用户“看到”虚拟物体在环境中的公共地点中的位置，但是每个用户18A和18b具有相对于该用户的不同视角。
图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110用于记录声音以及将音频数据传送给处理单元4，如下所述。在头戴式显示设备2的前方是朝向房间的视频相机112，该视频相机112可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。
头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明度滤光器114之后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何验光单(包括无验光单)来制作。光导光学元件115将人造光引导到眼睛。不透明滤光器114以及光导光学元件115的更多细节在2012年5月24日公开的题为“Head-Mounted Display Device Which Provides Surround Video”(提供环绕视频的头戴式显示设备)的美国已公开专利申请号2012/0127284中被提供。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU 132还可包括其他惯性传感器。
微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自高通公司的显示技术都是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。
光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2的前方通过光导光学元件115传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。光导光学元件的更多细节可在于2008年11月20日公开的题为“Substrate-Guided Optical Devices”(基底导向的光学设备)的美国专利公开号2008/0285140中找到。
头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的FOV。然而，人类将不会感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的FOV的测量的技术。例如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见于2008年7月22日颁发的题为“Head Mounted Eye Tracking and DisplaySystem”(头戴式眼睛跟踪和显示系统)的美国专利号7,401,920。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。
另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的一侧上使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。
用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼睛的其他实施例。
图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。
图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各种组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中被描绘)将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12(图1A)交换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4的头戴式显示设备。
图4的组件中的一些(例如朝向房间的相机112、眼睛跟踪相机134B、微显示器120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。
在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维对象的主要力量。以下提供更多的细节。
电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。
图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施例，捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。
相机组件423可包括可被用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20的IR光组件425可将红外光发射到场景上，并且然后可使用传感器(在一些实施例中包括未示出的传感器)、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和对象的表面后向散射的光。
在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。
捕捉设备20可进一步包括存储器434，存储器434可存储由处理器432执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可以是与图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处理器432和/或图像捕捉组件423中。
捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11B、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。
上述中枢计算系统12与头戴式显示设备2和处理单元4一起能够将虚拟三维物体插入到一个或多个用户的FOV中，使得该虚拟三维物体扩充和/或替换现实世界的视图。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算系统12一起工作，因为这些设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟三维对象的数据的传感器子集。在一个实施例中，确定何处、何时以及如何插入虚拟三维对象的计算由彼此合作地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都可由单独工作的中枢计算系统12或单独工作的(一个或多个)处理单元4执行。在其他实施例中，计算中的至少一些可由头戴式显示设备2执行。
在一个示例实施例中，中枢计算设备12和处理单元4一起工作以创建所述一个或多个用户所在的环境的场景图或模型，以及跟踪该环境中各种移动的物体。此外，中枢计算系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪头戴式显示设备2的FOV。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在一个实施例中，该信息被传送给中枢计算系统12，该中枢计算系统12更新场景模型并且将其传送回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟三维对象的指令。基于来自捕捉设备20和(一个或多个)头戴式显示设备2中的相机的传感器信息，可在一闭环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型和跟踪信息，如下面所解释的那样。
图7例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图7中所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器543被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器544可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。
系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。
前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和弹出按钮552、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。
多媒体控制台500内的CPU 501、GPU 508、存储器控制器510、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可在导航到多媒体控制台500上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多媒体控制台500。
多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口524或无线适配器548可用的宽带连接集成的情况下，多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台500可以通过无线适配器548与处理单元4通信。
可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维护有关焦点切换的状态信息。捕捉设备20可经由USB控制器526或其他接口来定义控制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一个硬件架构是必需的。
图1中所示的头戴式显示设备2和处理单元4(有时统称为移动显示设备)与一个中枢计算系统12(亦称中枢12)通信。在又一些实施例中，可以存在一个或两个或更多移动显示设备与中枢12通信。移动显示设备中的每一个可如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在中枢处被计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动对象的位置和定向，并且然后将该信息传输给每个移动显示设备。
在另一实施例中，系统可以包括多个中枢12，其中每个中枢都包括一个或多个移动显示设备。中枢可彼此直接通信或经由因特网(或其他网络)通信。这样的一种实施例在2010年10月15日提交的题为“Fusing Virtual Content Into Real Content”(将虚拟内容融合到现实内容中)的Flaks等人的美国专利申请号12/905,952中被公开。
此外，在另外的实施例中，中枢12可以被完全省略。这样的实施例的一个优点是，本系统的混合现实体验变为完全移动的，并且可以被用在室内和室外设定二者中。在这样的一实施例中，下面的描述中由中枢12执行的所有功能都可以可替代地由处理单元4之一、合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在这样的一实施例中，相应的移动显示设备2执行系统10的所有功能，包括生成和更新状态数据、场景图、每个用户对场景图的视图、所有纹理和渲染信息、视频和音频数据、以及为了执行本文所述的操作的其他信息。下文参考图9的流程图描述的实施例包括中枢12。然而，在每一这样的实施例中，处理单元4中的一个或多个处理单元可替代地执行中枢12的所有所描述的功能。
图8是示出根据本技术的总体方法的流程图。图8的方法可由中枢计算系统12、处理单元4和/或头戴式显示设备2在离散时间段(诸如，为了生成、渲染和向每个用户显示单帧图像数据所花费的时间)期间执行。中枢计算系统2、处理单元4和/或头戴式显示设备2中的任何一者或多者单独或与这些系统中的其他系统结合起作用可执行该方法的全部或部分。
一般而言，该系统生成具有环境和该环境中的诸如用户、现实世界物体和虚拟物体之类的物体的x、y、z坐标的场景图。如上所述，虚拟物体27可例如由在处理单元4和/或头戴式显示设备2上运行的应用或由用户18虚拟地置于环境中。该系统还跟踪每个用户的FOV。尽管所有用户或许可能在观看该场景的相同方面，然而他们正在从不同视角来观看它们。
用于将混合现实呈现给一个或多个用户18的系统可被配置成允许用户18(或者用户都存在于其中的公共环境的拥有者/操作者)在公共环境内的共同或优选观看位置处观看虚拟物体。
参考图6，在步骤602，收集场景数据。对于中枢12，这可以是由捕捉设备20的深度相机426和RGB相机428感测到的图像和音频数据。对于处理单元4，该场景数据可以是由头戴式显示设备2感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组件134和IMU 132感测到的图像数据。
在步骤604，将会与其共同观看物体的HMD配戴者被确定。被允许观看共同观看的虚拟物体的用户可以是公共环境或一个经定义的用户集中的每个人。例如，当共同观看的虚拟物体在用户之间共享时，对物体的控制的共享可由用户(诸如用户18a)或公共环境100的拥有者来定义。例如，一个用户18a可选择与用户18b共享虚拟物体27中的图片或图片集。在另一示例中，公共环境100可包括咖啡店，则该环境的拥有者可选择与咖啡店的顾客共享虚拟物体。在这两种情况下，每个物体的虚拟物体定义可包括哪些用户被允许观看虚拟物体以及定位和朝向规则、物体呈现信息、以及视角信息。这可能需要确定视角、虚拟设备的属性、以及某些用户是否被允许观看该物体。对于共享的虚拟物体的许可设置的解说可在题为“COLLABORATION ENVIRONMENT USING SEE THROUGH DISPLAYS”(使用透视显示器的协作环境)的美国专利申请序列号13/464,941中找到。
在步骤608，各个HMD在公共环境100中的位置被确定，并且各设备被校准到公共的本地坐标系。一般来说，耦合到用户的头戴式显示设备2在公共环境中移来移去是可能的。因此，在各实施例中，每个成像相机的位置相对于环境和彼此来校准。步骤608的进一步细节在2012年5月3日公开的题为“Low-Latency Fusing of Virtual And Real Content”(虚拟和现实内容的低延迟融合)的美国专利公开号2012/0105473中被描述。
一旦在步骤608校准了该系统，则可以在步骤610发展场景图，该场景图标识出该场景的几何形状以及该场景内的物体的几何形状和位置。在各实施例中，在给定帧中生成的场景图可包括公共环境中的所有用户、现实世界对象和虚拟物体在本地坐标系中的x、y和z位置。场景图可被用来定位场景内的虚拟物体，以及显示带有正确遮挡的虚拟三维对象(虚拟三维对象可被现实世界对象或另一虚拟三维对象遮挡，或虚拟三维对象可遮挡现实世界对象或另一虚拟三维对象)。
在步骤612，该系统可检测和跟踪诸如在公共环境中移动的人之类的移动物体，并且基于移动物体的位置来更新场景图。
在步骤614，确定第一用户的头戴式显示设备2的位置、朝向和FOV。现在参考附图9的流程图描述步骤614的进一步细节。下文参考单个用户描述图9的步骤。然而，图9的步骤可针对场景内的每一用户来执行。当其他用户的位置、取向和FOV被确定时，该信息可被取回到执行该方法的设备，以供在确定虚拟物体的共同/优选观看位置时使用。
在步骤616，确定要被呈现给环境中的用户的每一个共同观看的虚拟物体的优选位置和朝向。图10中示出了一种用于确定共同观看的虚拟物体的位置和朝向的方法。
在618，关于要被共同观看的虚拟物体的信息被发送给公共环境中要与其一起观看该物体的所有用户。该信息可包括物体定义(如果观看者设备没有该物体定义)以及该物体应当被呈现的公共/优选位置(及朝向)。在620，物体被呈现在每个观看用户的HMD中。
在步骤622，如果检测到相对于虚拟物体的用户移动，则该物体的共同/优选观看位置和/或朝向可被改变。用户移动可包括如上所述用于操纵物体的移动或在公共环境内的移动。例如，共同观看的虚拟物体可以是书，用户可作动作来翻书页。如此，方法将返回到步骤616以作出对于该虚拟物体的共同视图是否需要改变的判断。类似地，用户可在公共环境内物理地移动，并且其相对于虚拟物体的位置音乐可改变。再次，系统将返回到步骤616，以确定用户的视角视图是否需要改变。
如果否，则在步骤624，做出对于更多或更少个用户是否进入或离开了公共环境的判断。如果是，则方法返回到步骤604以确定场景中的改变是否能够导致公共环境中呈现的虚拟物体中的任何改动。
图9示出一种用于执行图8中的步骤612的方法。在步骤700，分析场景的经校准的图像数据以确定用户头部位置、以及从用户的面部向外直视的面部单位向量二者。可通过根据用户的骨架模型定义用户的面部的平面并取垂直于该平面的向量来确定面部单位向量(或视角24)。这一平面可通过确定用户的眼睛、鼻子、嘴、耳朵、或其他面部特征的位置来被标识。面部单位向量可被用来定义用户的头部定向，且在一些示例中可被认为是用户的FOV的中心。也可或替代地根据从头戴式显示设备2上的相机112返回的相机图像数据来标识面部单位向量。
在步骤704，用户的头部的位置和定向还可或替代地通过如下方式来被确定：分析来自较早时间(要么在帧中较早，要么来自前一帧)的用户的头部的位置和定向，以及然后使用来自IMU 132的惯性信息来更新用户的头部的位置和定向。来自IMU 132的信息可以提供用户的头部的精确运动学数据，但是IMU典型地不提供关于用户的头部的绝对位置信息。也被称为“地面真值”的该绝对位置信息可以从获得自捕捉设备20、主体用户的头戴式显示设备2上的相机和/或其他用户的(一个或多个)头戴式显示设备2的图像数据来提供。
在一些实施例中，用户的头部的位置和定向可以通过联合作用的步骤700和704来确定。在又一些实施例中，步骤700和704中的一者或另一者可被用来确定用户的头部的头部位置和定向。
可能发生的是，用户未向前看。因此，除了标识出用户头部位置和定向以外，中枢可进一步考虑用户的眼睛在其头部中的位置。该信息可由上述眼睛跟踪组件134提供。眼睛跟踪组件能够标识出用户的眼睛的位置，该位置可以被表示成眼睛单位向量，该眼睛单位向量示出了与用户的眼睛聚焦所在且向前看的位置的向左、向右、向上和/或向下的偏离(即面部单位向量)。面部单位向量可以被调整为定义用户正在看向何处的眼睛单位向量。
在步骤710，接着可以确定用户的FOV。头戴式显示设备2的用户的视图范围可以基于假想用户的向上、向下、向左和向右的边界视力(peripheral vision)来预定义。为了确保针对给定用户计算得到的FOV包括特定用户或许能够在该FOV的范围内看到的物体，这一假想用户可不被当作具有最大可能边界视力的人。在一些实施例中，某一预定的额外FOV可被添加于此以确保对给定用户捕捉足够的数据。
然后，可以通过取得视图范围并且将其中心定在调整了眼睛单位向量的任何偏离的面部单位向量周围来计算该用户在给定时刻的FOV。除了定义用户在给定时刻正在看什么之外，用户的FOV的这一确定还有用于确定用户不能看到什么。如下文解释的，将对虚拟物体的处理限制到特定用户可看到的那些区域提高了处理速度并降低了延迟。
在上述实施例中，中枢12计算该场景中的一个或多个用户的FOV。在又一些实施例中，用于某一用户的处理单元4可在这一任务中共享。例如，一旦用户头部位置和眼睛定向被估计，该信息就可被发送给处理单元，处理单元可基于与头部位置(来自IMU 132)和眼睛位置(来自眼睛跟踪组件134)有关的更新近的数据来更新位置、定向等。
图10示出一种用于确定共同观看的虚拟物体的共同/优选位置和朝向的方法。在步骤1020，对于每个共同观看的物体，在步骤1022，作出针对用户是否执行了对于物体的位置和朝向的用户控制的判断。步骤1022的用户控制可包括将物体定位在环境中或者可包括可在物体的定位过程中被考虑的一系列用户偏好1034。
在1024，通过参考与物体相关联的规则来确定共同/优选物体位置和朝向，该规则可基于物体类型、物体位置、物体朝向、用户的数目以及用户位置。图11到14中示出了步骤1024中的几个示例。在一个实施例中，当不止一个用户正观看物体时，对所呈现的每一个共同观看物体自动执行步骤1024。在另一实施例中，步骤1024在共享共同物体的用户的请求下触发，例如通过对该共同物体的姿势或操纵动作来触发，该姿势或操纵动作指示用户希望系统将该物体移动到优选位置。
在步骤1030，作出针对是否接收到用户对虚拟物体的操纵的判断。这一操纵或控制可以是图8中的步骤622处进行什么动作。如果接收到操纵动作，则在1032标识该控制动作。控制动作可以是对共同观看物体的物理重新定位或者可包括对虚拟物体的控制或操纵姿势(诸如举例而言翻书页)。
在1038，更新输出给每个用户的HMD的针对虚拟物体的信息。在一个方面，这可包括将新的定位信息传达给该共同物体的其他观看者或者传达对虚拟物体形式的改变。方法对每个共同观看的虚拟物体重复。
图11－14是根据图10的步骤1024确定共同观看的虚拟物体的位置和朝向的各个示例。应当理解，图11－14仅仅是示例性的，用于确定共同或优选观看位置的许多其它方法也可根据本技术来使用。如此处所提到的，每个虚拟物体可包括一个或多个物体定义，包括关于该物体的一个或多个优选观看视角的信息。在图11A中，示出了共同虚拟物体1125。在一个示例中，共同虚拟物体1125是一个相框或其它基本平坦的物体。物体1125包括由箭头1130所示的优选观看视角。箭头1130示出了观看该虚拟物体1125的优选方向。应当理解，箭头1130所示出的优选观看视角是在三维空间中的，并且表示该物体相对于正对该物体的观看者的优选朝向。换言之，箭头1130具有相对于该物体的二维位置(X、Y)以及Z方向上的幅值，该幅值可指示优选距离。
在图11－14中所示的示例中，示例性方法基于观看该虚拟物体1125的用户的数目来确定该虚拟物体的位置和朝向。应当理解，其它触发因素可确定用于确定虚拟物体的共同观看点的方法的起始点。例如，物体定义可指示无论用户数量多少，虚拟物体应当可被公共环境中的每一个用户观看到，这样如果判断环境是太拥挤的而导致无法容易地为所有用户找到优选观看位置，则物体应当被放大并且显示在所有用户的头部以上。
转到图11A，在步骤1102，检索物体数据和用户位置数据。在步骤1104，如果观看共同虚拟物体的用户的数目是两个，则方法前进至步骤1106。如果确定了不同的用户数目，则在1150，方法前进到该用户数目。
两个用户1162和1160正观看物体1125。在步骤1106，初始确定可以是计算第一用户和第二用户之间的中点1127。在1108，确定物体定义中的朝向、位置和大小数据，以及任何其它因物体而异的定义。这包括确定该虚拟物体的优选观看视角和朝向。在图11B，物体1125被示为在知晓共同/优选观看地点和视角之前被放置在中点1127处。应当注意(像图1B一样)，一个用户(用户1162)将看到物体的优选视角(相对于视角1130)，而另一用户(用户1160)则不会。
在步骤1110，方法计算相对于物体的大小和物体定义的共同/优选观看位置和朝向。在这一示例中，点1137处的共同/优选观看位置被选择为距用户1160和1162等距的点，并且处于与到步骤1106中计算的中点的光线偏移相同的相对角度，使得每个用户1160、1162具有相同的相对视角并且感觉到物体处于空间中的相同的相对物理地点。应当注意，如果物体是一个相对较小的物品，则呈现的距离可能较小，而如果物体较大，则距离可同样的较大。物体的朝向将视角1130置于与每一个观看者呈相等的关系。在其它实施例中，相对于每一个用户的朝向可不相同。在本示例中，每个用户1160、1162的相对视角是相同的角度A。
图12A－12C示出三用户场景以及相同的虚拟物体1125。相对于用户1160和1162，示出了额外的用户1164。图12A在1202初始地确定是否存在三个用户。如果是，则在1204，确定物体定义中的朝向、位置和大小数据，以及任何其它因物体而异的定义。在1206，确定用户1160、1162和1164之间的共同地点1227。该共同地点1227可以是三个用户之间的相对中点，或者各用户之间的某个其它相对点，其中该相对点取决于例如用户是否是进行共享的用户而偏向或远离一个或多个用户来加重权重。在计算共同地点之后，在1210处确定物体的优选视角和任何定位限制。在1212，考虑每个用户的视野。每个用户的视野被考虑，因为用户中的一个也许会挡住在其它位置处的呈现，所以用户之间的共同观看地点的可用区域被缩小到用户的位置之间的区域。(在两个用户的场景中，中点的右边或左边的任何地点对于另一用户都是可用的。)
在1214，计算相对于物体的大小和物体定义的共同/优选观看地点和朝向。物体位置被基于相对角度和距用户1160、1162以及1164的距离而确定为定义在本地坐标系内的某一地点。
图12B和12C示出共同地点1127和作为图12A的方法的结果而计算的共同观看位置1327。在一个实施例中，步骤1214的计算结果可通过最初考虑从物体定义中检索到的物体的大小来计算。大小可确定物体相对于用户的优选距离。替代地，物体定义可具有该物体的明确定义的优选距离。接着，如物体定义中提供的该物体的优选和可接受的视角被考虑。接着，相对于所确定的共同点，可确定物体从共同点移动到所选距离处的新地点的最大角度。在存在三个或更多个用户正观看该共同物体的情况下，有可能不是每一个用户都将承受物体以最大移动角移动。因此，可作出针对哪个用户将看到该物体相对于共同点移动得较多而哪个用户将看到该物体移动得较少的判断。换言之，该方法可确定哪个用户承受较大的移动角而哪个用户承受较小的群角。再次，可基于物体定义、用户是否正共享该虚拟物体、或者物体是否由第三方所共享来确定哪个用户承受较大或较小的移动角。一旦考虑了相对于每个用户的距离和角度，优选/共同观看地点和角度被确定并转换成本地坐标系，以供头戴式显示器在将虚拟物体呈现在公共环境中使用。
在图12B和12C所示的示例中，用户和共同点以及用户和共同观看地点1327之间的相对角B、C和D全都是不同的并且倾斜的。
图13A－13D示出三用户场景以及三维虚拟物体1325。该三维虚拟物体1325(图13B－13D中表示为自行车)与虚拟物体1125的不同可在于可提供多个优选视角1130(在本示例中为三个)。在图13B中，示出了三个共同观看朝向或视角1130。在一个示例中，所有的三个视角可被相等地加权，而在另一实施例中，一个或多个视角可被给予更多权重作为“优选”视角，而较少的定义的视角被加权为可接受。
图13A最初在1302确定公共环境中是否存在三个用户。如果否，则方法前进到1350处的适合环境中的用户数目的计算。如果是，则在1304，检索用户朝向、物体类型数据以及用户位置。在1306，确定用户1360、1362和1364之间的共同位置1327。一旦确定了共同地点，则在1310检索由物体定义所定义的朝向以及位置限制。这些限制可包括物体的大小、对观看角度的限制、以及对相对于虚拟物体的可接受视角的优选观看视角的确定。在1312，确定每个用户的视野。最后，在1314，计算共同/优选位置。共同观看位置相对于物体的大小来计算，并且基于相对于每个用户的角度和距用户1360、1362和1364的距离来将物体位置设置在本地坐标系中定义的地点处。
图13B示出虚拟物体1325处于用户1360、1364、1362之间的共同地点。图13C示出虚拟物体1325处于相对于用户1360、1362以及1364的经计算得到的共同/优选观看位置。在图13B和13C之间，用户1360、1362以及1364未改变位置。然而，有可能用户1360、1362以及1364将改变位置，从而需要虚拟物体1325的共同/优选观看位置的改变。在图13C和13D之间，用户1364和用户1362改变了位置。作为这一改变的结果，方法将经由步骤1030返回并处理虚拟物体相对于用户的移动。如图13D中所指出的，虚拟物体1325已相对于用户的移动而偏移了位置。在图13D中，物体1325已相对于图13C中的观看点1328微微地向左移动到新的优选观看点1329。
图14A、14B和14C示出其中存在多个虚拟物体的场景。图14的方法示出用于步骤1024中的另一种方法，该方法协调了计算出的两个虚拟物体的位置结果之间的冲突。应该理解，在任何给定公共环境中额外的虚拟物体可能存在冲突，而图14A的方法可被扩展以考虑任何数量的额外的虚拟物体。在步骤1402和1404中，接收到单个公共环境中的虚拟物体的两个共同/优选位置的计算出的结果。在步骤1406，作出针对物体的经计算的位置中是否存在冲突的判断。如果不存在冲突，则物体的位置可被转发给头戴式显示器。如果在1406存在冲突，则可选地，在1410，用户可被提示要求用户输入。用户输入可包括关于在哪里放置物体的用户偏好，或者可引导与将物体放置在公共环境中有关的用户操纵。如果提供了用户输入，则在1412，基于用户输入来放置物体，并且在1420将数据转发给头戴式显示器。如果用户未提供输入，则在1414，作出针对可用的最接近的不冲突的公共观看位置的确定。最接近的不冲突的位置可根据通过调整物体的大小、相对于个人的角度、以及相对于用户的所选的距离来执行的地点确定来确定。在放置中可考虑所有的规则，如果在1416，放置可以的话，则在1420，物体将被放置。如果否，则系统将基于对计算中的参数中的一个或多个进行调整或忽略来重新计算新的位置。例如，系统可增加物体相对于用户放置的距离，替代地，系统可增加或减小相对于用户中的一个用户的角度，该用户是在之前被指示为应优先对其调整的那个用户。
图14B示出相对于三个用户1360、1362以及1364的两个虚拟物体1425和1426。两个虚拟物体处于冲突的地点，因为每个用户的两个公共点遮挡了一个或多个用户的视野。
图14C示出了被放置在相对于每个用户的第一共同观看点和第二共同观看点处的虚拟物体1425和1426。该公共观看点并不冲突，从而允许每个用户有对每一个虚拟物体1425和1426的最佳可能观看。
通过参照图11-14应当理解，当观看虚拟物体的用户的数目超过阈值的情况下(诸如在共同虚拟物体被放置在诸如咖啡店之类的商店中的情况下)，优选或共同计算可能不能用于考虑每一个潜在地观看共同观看的虚拟物体的用户。在这种情况下，对虚拟物体的放置的定义可留给共同空间的拥有者、共享的物体的拥有者来决定，或者可考虑对于该场地中的用户总数的平均或加权位置并基于对用户的相对位置求和来定位“最佳”或优化观看地点处的虚拟物体以确定相对于该物体的加权位置。
本文中的方法中的任何一个或多个可通过存储在计算机存储介质上的计算机可读代码来实现，该计算机可读代码可被中枢计算系统12、处理单元4和/或头戴式显示设备2中的任何一者或多者合适地读取。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (8)

1.一种用于在透视头戴式显示器中呈现虚拟物体的方法，包括：
确定公共环境中的至少第一用户和第二用户的位置、朝向和视野；
确定至少一个共同观看的虚拟物体相对于所述第一用户和所述第二用户的共同优化定位，所述共同优化定位包括由本地坐标系定义的地点；
在所述至少第一用户和所述第二用户之间共享所述公共环境中的物体数据和位置数据以允许将所述共同观看的虚拟物体呈现在所述地点，
其中所述方法还包括：
为共同优化定位确定距至少所述第一用户和所述第二用户的距离；
为所述虚拟物体确定至少一个可接受的观看视角；
确定共同点和所述地点之间的最大移动角度，其中所述共同点是所述至少第一用户和所述第二用户之间的相对中点或加权中点；以及
基于所述距离、可接受的观看视角以及最大移动角度来确定所述地点。
2.如权利要求1所述的方法，其特征在于，确定共同优化定位还包括以下步骤：
确定所述第一用户和所述第二用户之间的共同位置；
根据所述虚拟物体确定控制所述虚拟物体相对于用户的定位的朝向和位置规则；以及
基于与每个用户的相对角度和距离来计算所述虚拟物体的物体位置。
3.如权利要求1所述的方法，其特征在于，还包括确定至少一个第三用户的位置、朝向和视野，并且其中所述方法包括确定所述至少一个共同观看的虚拟物体相对于所述第一用户、所述第二用户、以及所述第三用户的共同优化定位，以及在所述至少第一用户、所述第二用户、以及所述第三用户之间共享所述公共环境中的物体数据和位置数据，以允许将所述共同观看的虚拟物体呈现在所述地点。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述第一用户和所述第二用户的移动；以及
重复确定共同优化定位和共享的步骤。
5.一种显示装置，包括：
透视显示器；
处理器，所述处理器被配置成
确定公共环境中的至少第一用户和第二用户的位置、朝向和视野；
确定至少一个共同观看的虚拟物体相对于所述第一用户和所述第二用户的共同优化定位，所述共同优化定位包括由本地坐标系定义的地点；
在所述至少第一用户和所述第二用户之间共享所述公共环境中的物体数据和位置数据以允许将所述共同观看的虚拟物体呈现在所述地点，
所述处理器还被配置成：
为共同优化定位确定距至少所述第一用户和所述第二用户的距离；
为所述虚拟物体确定至少一个可接受的观看视角；
确定共同点和所述地点之间的最大移动角度，其中所述共同点是所述至少第一用户和所述第二用户之间的相对中点或加权中点；以及
基于所述距离、可接受的观看视角以及最大移动角度来确定所述地点。
6.如权利要求5所述的装置，其特征在于，所述共同观看的虚拟物体具有至少一个物体定义，所述物体定义包括物体大小数据和优化位置数据。
7.如权利要求5所述的装置，其特征在于，所述处理器还被配置成：
检测所述第一用户和所述第二用户的移动；以及
重复确定共同优化定位和共享的步骤。
8.一种用于在透视头戴式显示器中呈现虚拟物体的系统，包括：
用于确定公共环境中的至少第一用户和第二用户的位置、朝向和视野的装置；
用于确定至少一个共同观看的虚拟物体相对于所述第一用户和所述第二用户的共同优化定位的装置，所述共同优化定位包括由本地坐标系定义的地点；
用于在所述至少第一用户和所述第二用户之间共享所述公共环境中的物体数据和位置数据以允许将所述共同观看的虚拟物体呈现在所述地点的装置，
其中所述系统还包括：
用于为共同优化定位确定距至少所述第一用户和所述第二用户的距离的装置；
用于为所述虚拟物体确定至少一个可接受的观看视角的装置；
用于确定共同点和所述共同优化定位之间的最大移动角度的装置，其中所述共同点是所述至少第一用户和所述第二用户之间的相对中点或加权中点；以及
用于基于所述距离、可接受的观看视角以及最大移动角度来确定所述地点的装置。
CN201480035136.4A 2013-06-18 2014-06-17 虚拟物体的同时优选观看 Active CN105452994B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/921,113 2013-06-18
US13/921,113 US10955665B2 (en) 2013-06-18 2013-06-18 Concurrent optimal viewing of virtual objects
PCT/US2014/042658 WO2014204914A1 (en) 2013-06-18 2014-06-17 Concurrent optimal viewing of virtual objects

Publications (2)

Publication Number Publication Date
CN105452994A CN105452994A (zh) 2016-03-30
CN105452994B true CN105452994B (zh) 2019-07-19

Family

ID=51210752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035136.4A Active CN105452994B (zh) 2013-06-18 2014-06-17 虚拟物体的同时优选观看

Country Status (4)

Country Link
US (1) US10955665B2 (zh)
EP (1) EP3011412A1 (zh)
CN (1) CN105452994B (zh)
WO (1) WO2014204914A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215368B2 (en) * 2012-12-02 2015-12-15 Bachir Babale Virtual decals for precision alignment and stabilization of motion graphics on mobile video
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10228893B2 (en) * 2015-10-28 2019-03-12 Paypal, Inc. Private virtual object handling
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
US10534429B2 (en) 2017-01-10 2020-01-14 International Business Machines Corporation Method of instant sharing invoked from wearable devices
US10348725B2 (en) 2017-01-10 2019-07-09 International Business Machines Corporatino Method of instant sharing invoked from wearable devices
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
US10521944B2 (en) * 2017-08-16 2019-12-31 Microsoft Technology Licensing, Llc Repositioning user perspectives in virtual reality environments
EP3698233A1 (en) * 2017-10-20 2020-08-26 Google LLC Content display property management
US10616033B2 (en) * 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
DE112018005954T5 (de) * 2017-11-21 2020-08-20 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN108479060B (zh) * 2018-03-29 2021-04-13 联想(北京)有限公司 一种显示控制方法及电子设备
US10740982B2 (en) * 2018-05-04 2020-08-11 Microsoft Technology Licensing, Llc Automatic placement and arrangement of content items in three-dimensional environment
CN110569006B (zh) * 2018-06-05 2023-12-19 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN113168007B (zh) * 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
CN109632263B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于光栅尺的vr头盔的移动延迟测量方法
CN109765035B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于渐变编码的vr头盔的移动延迟测量方法
EP3914996A1 (en) 2019-04-18 2021-12-01 Apple Inc. Shared data and collaboration for head-mounted devices
KR20210048739A (ko) * 2019-10-24 2021-05-04 엘지전자 주식회사 Ar 모빌리티 제어 장치 및 ar 모빌리티 제어 방법
WO2021176947A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、及び情報処理方法
EP4016251A1 (en) * 2020-12-16 2022-06-22 Hitachi Energy Switzerland AG Portable display device with overlaid virtual information
CN112684883A (zh) * 2020-12-18 2021-04-20 上海影创信息科技有限公司 多用户对象区分处理的方法和系统
DE102021100653B3 (de) 2021-01-14 2022-04-07 Hochschule Anhalt (FH) , Körperschaft des öffentlichen Rechts Verfahren und Vorrichtungen zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte, Computerprogramm zur Durchführung eines solchen Verfahrens, sowie Anzeigegerät
CN113610001B (zh) * 2021-08-09 2024-02-09 西安电子科技大学 基于深度相机和imu组合的室内移动终端定位方法
JP2023028330A (ja) * 2021-08-19 2023-03-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP3517639B2 (ja) * 2000-09-27 2004-04-12 キヤノン株式会社 複合現実感提示装置及びその方法並びに記憶媒体
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
DE10339076B4 (de) 2003-08-26 2007-10-31 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP2008108246A (ja) 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
GB2446617A (en) 2007-02-16 2008-08-20 Indepth Optics Ltd 3D holographic display
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20110216160A1 (en) 2009-09-08 2011-09-08 Jean-Philippe Martin System and method for creating pseudo holographic displays on viewer position aware devices
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
RU2533628C2 (ru) * 2010-03-17 2014-11-20 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
CN103140879B (zh) * 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
US9946076B2 (en) * 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
JP5066244B2 (ja) 2010-10-29 2012-11-07 株式会社東芝 映像再生装置及び映像再生方法
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
JP5942456B2 (ja) * 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device

Also Published As

Publication number Publication date
EP3011412A1 (en) 2016-04-27
US10955665B2 (en) 2021-03-23
US20140368534A1 (en) 2014-12-18
CN105452994A (zh) 2016-03-30
WO2014204914A1 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
CN105452994B (zh) 虚拟物体的同时优选观看
CN105408837B (zh) Hmd上的混合世界/身体锁定的hud
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
CN105264478B (zh) 全息锚定和动态定位
CN105453011B (zh) 虚拟对象朝向和可视化
CN105378632B (zh) 用户焦点控制的有向用户输入
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
CN107430278A (zh) 基于用户的上下文敏感全息图反应
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN102540464B (zh) 提供环绕视频的头戴式显示设备
CN106716303B (zh) 稳定交互射线的运动
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
JP7207809B2 (ja) センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
EP2869573B1 (en) Video output device, 3d video observation device, video display device, and video output method
CN107408314A (zh) 混合现实系统
CN105393158A (zh) 共享的和私有的全息物体
CN102419631A (zh) 虚拟内容到现实内容中的融合
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN102445756A (zh) 用于扩展现实显示的自动焦点改善
CN107810634A (zh) 用于立体增强现实的显示器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant