CN111602100A - 提供替代现实环境的方法、装置和系统 - Google Patents

Abstract

一个或多个处理器向可穿戴显示设备提供图像信息，以在可穿戴显示设备的表面上产生显示图像，该显示图像包括第一计算机生成图像(CGI)和第二CGI，其中第一CGI表示处于显示图像中的第一位置的虚拟对象，以与通过该表面可见的背景显示中包括的第一阴影图像重合；第二CGI表示对应于背景显示并且处于显示图像中的第二位置的图像，以隐藏背景显示中包括的第二阴影图像的一部分。

Description

提供替代现实环境的方法、装置和系统

技术领域

本公开涉及替代现实技术。

背景技术

家用的更大的TV、更好的声音和改进的图像对剧院上座构成了威胁，同时也增加了对高质量内容的需求。随着个人使用虚拟现实(Virtual Reality，VR)的发展，有机会确定下一代娱乐体验，例如，什么可以取代家庭以外的社交活动的去剧院的体验。然而，对于消费者对讲故事的消费，当前的每一种替代现实技术(VR、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR))都表现出它们自身的局限性。虚拟现实是一种非常隔离和脱离实体的体验。这对个人来说是可行的，并且价格点将继续下降。VR需要在实施和与其他VR装备(VR rig)中的附加用户的交互性方面进一步发展，以克服隔离性。增强现实克服了隔离性，提供了更多的共享体验，但故事必须发生在用户所处或所在的给定环境中。然而，在AR中，对象并不一定与环境交互，而是只发生在环境中。此外，在AR中生成的图像对比度有限，因为体验中的最低光照级别与房间中的最低光照相同。混合现实使AR更进一步，允许这些增强对象更真实地出现在给定的物理环境中，使它们看起来像存在于现实世界中一样。MR将需要更智能的方式来与现实世界交互，以允许与光/影和其他对象进行更真实的交互。虽然这是一个有趣的空间，但它不能为内容创作者提供对世界的普遍控制。因此，需要为AR、VR和MR实施方式提供更公共的社交娱乐体验，以使创建这种环境的应用(例如，在下一代影院中)足以吸引用户和观众去寻找和参与在这些环境中提供的体验。

发明内容

现有技术的这些和其他缺点和不足可以通过本原理的一个或多个实施例来解决。

根据本原理的一个方面，一个实施例包括具有控制器的协作空间，以提供对诸如可穿戴设备(例如，头戴式显示器(HMD))的多个设备以及诸如视频墙的独立视频元素的中央控制，该控制器控制多个设备和独立视频元素，以提供虚拟对象的可视表示，这些虚拟对象看起来在诸如HMD的一个设备到诸如视频墙的另一个设备之间移动或者跨域它们而移动。

从下面结合附图阅读的示例性实施例的详细描述中，本原理的这些和其他方面、特征和优点将变得明显。

附图说明

通过结合以下示例性附图考虑本文提供的详细描述，可以更好地理解本原理，其中:

图1是图示根据本原理的系统的实施例的图；

图2以框图形式图示了根据本原理的系统的另一个实施例；

图3以框图形式示出了根据本原理的方法的实施例；

图4示出了根据本原理的替代现实环境的实施例；

图5示出了根据本原理的替代现实环境的另一个实施例；

图6示出了根据本原理的替代现实环境的另一个实施例；

图7示出了根据本原理的替代现实环境的另一个实施例；

图8提供了根据本原理的通过替代现实设备的视图的示例性图示；

图9A、9B和9C示出了根据本原理的替代现实设备的实施例；

图10示出了根据本原理的替代现实环境的实施例；

图11示出了根据本原理的替代现实环境的另一个实施例；

图12示出了根据本原理的替代现实环境的另一个实施例；

图13示出了根据本原理的替代现实环境的若干实施例；

图14A、14B和14C示出了根据本原理的替代现实环境的实施例的方面；

图15示出了根据本原理的替代现实环境的各种实施例；

图16以框图形式示出了根据本原理的实施例；

图17以框图形式示出了根据本原理的实施例；

图18以框图形式示出了根据本原理的实施例；

图19以框图形式示出了根据本原理的实施例；

图20以框图形式示出了根据本原理的实施例；

图21以框图形式示出了根据本原理的实施例；

图22以框图形式示出了根据本原理的实施例；

图23以框图形式示出了根据本原理的实施例；

图24以框图形式示出了根据本原理的实施例；

图25以框图形式示出了根据本原理的实施例；

图26以框图形式示出了根据本原理的实施例；

图27以框图形式示出了根据本原理的实施例；

图28以框图形式示出了根据本原理的实施例；

图29示出了本原理各方面的实施例；

图30示出了本原理各方面的另一个实施例；

图31以框图形式示出了根据本原理的系统和装置的实施例；

图32是图示根据本原理的实施例的图；

图33是图示根据本原理的实施例的图；

图34是图示根据本原理的方法的实施例的图；和

图35是图示根据本原理的另一种方法的实施例的图。

在不同的附图中，相同的附图标记表示相同或相似的特征。

具体实施方式

下面本文将参考附图描述本公开的实施例。在以下描述中，没有详细描述众所周知的功能或结构，以避免在不必要的细节中模糊本公开。本文描述的实施例，例如方法和/或装置和/或系统的实施例，仅是示例性的。应当理解，本文使用的词语“示例性”意味着“用作示例、实例或说明”。本文描述为“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征更优选或有利。本文描述的示例性实施例不意味着是限制性的。很容易理解，所公开的系统和方法的某些方面可以以各种不同的配置来安排和组合，所有这些都是本文所考虑的。

应当理解，图中所示的元素可以以各种形式的硬件、软件或其组合来实施。优选地，这些元素在一个或多个适当编程的通用设备上以硬件和软件的组合来实施，通用设备可以包括处理器、存储器和输入/输出接口。本文，短语“耦合”被定义为直接连接到或通过一个或多个中间组件间接连接。这些中间组件可以包括基于软件的组件和硬件两者。

本说明书说明了本公开的原理。因此，将理解，本领域技术人员将能够设计各种布置，尽管本文没有明确描述或图示，但是这些布置体现了本公开的原理并且包括在本公开的范围内。此外，除了所描述的实施例之外，其他实施例也被考虑并旨在包含在本公开的范围内。例如，可以通过组合、删除、修改或补充所公开实施例的各种特征来创建附加实施例。

本文所述的所有示例和条件语言都旨在用于教育目的，以帮助读者理解本公开的原理以及发明人为推进本领域所贡献的概念，并且应被解释为不限于这些具体所述的示例和条件。

此外，本文列举本公开的原理、方面和实施例以及其具体示例的所有陈述都旨在涵盖其结构和功能等同物两者。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，开发的执行相同功能的任何元素。

因此，例如，本领域技术人员将理解，本文呈现的框图表示体现本公开原理的说明性电路的概念图。类似地，将理解，任何作业图、流程图、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并由计算机或处理器运行的各种过程，无论这种计算机或处理器是否被明确图示。

图中所示的各种元素的功能可以通过使用专用硬件以及能够与适当软件相关联地运行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或其中一些处理器可以是共享的多个单独的处理器提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为仅指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。

也可以包括传统和/或定制的其他硬件。同样，图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来实施，或者甚至手动实施，如从上下文中更具体地理解的，实施者可以选择特定技术。

在本发明的权利要求中，表示为用于执行特定功能的装置的任何元素旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微码等，与用于运行该软件以执行该功能的适当电路相结合。由这样的权利要求限定的公开存在于这样的事实中，即由各种所列的装置提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何装置都等同于本文所示的那些装置。

在附图中，图1图示了根据本原理的示例性替代现实环境，其在下文中可以被称为ARENV。图1的示例性ARENV包括封闭区域10，该封闭区域10可以是房屋的房间、剧院等，用于提供替代现实用户体验(在下文中可以称为ARUX)。一个或多个用户20在ARENV 10中，并且可以穿戴可穿戴设备，诸如增强现实(AR)眼镜或头盔、生物传感器或与ARENV协作操作以提供根据本原理和如本文所述的替代现实体验的其他设备(在下文中通常作为替代现实设备(Alternative Reality Device，ARD))。还包括控制系统或设备30，其与区域10、用户20穿戴或持有的设备以及可被包括在内以控制视频、音频、运动效果等的其他ARD传感器和设备通信，这些是ARUX的一部分。如图1所示，控制系统30可经由有线和/或无线方式与区域10和一个或多个用户20通信，以提供和接收诸如控制信号和用户反馈之类的信号。系统30还可以从内容提供商接收可用于创建环境的内容40。例如，控制系统30可以从内容提供商接收诸如视频和音频的内容，内容提供商诸如剧院内容传送系统、前端提供商(例如，电缆或卫星前端)、网关设备、互联网服务提供商、网关设备等。控制系统30然后可以传送视频内容以显示在区域10的视频显示墙、地板和天花板上和/或一个用户或多个用户20穿戴的显示设备上，以创建ARENV的视频表示。与ARENV相关联的音频内容可以在ARENV中的音频设备(例如，扬声器)上输出，和/或经由一个用户或多个用户20穿戴的或以其他方式与创建ARENV相关联的ARD音频输出功能输出。与内容相关联的其他效果(诸如振动、运动等)可以由控制系统30通信到其他设备，例如诸如，在用户附近或者与用户接触的ARENV中的应答器或者由用户穿戴的提供触觉反馈和/或效果的设备。

图2图示了根据本原理的另一个实施例。在图2中，装置或系统可以包括控制系统100，该控制系统100可以提供诸如关于图1描述的控制功能。控制系统100可以包括耦合到存储器130的一个或多个处理器，诸如图2中的处理器120，存储器130可以包括一个或多个存储设备，诸如在对本领域技术人员明显的各种配置中的RAM、ROM、PROM、硬盘驱动器(HDD)等。控制系统100还可以包括各种输入/输出或I/O，在图2中被示为示例性端口110、115、140、150和160的端口，用于接收诸如内容和控制命令的输入并传送诸如视频、音频等的输出，如上所述。输入和输出的通信可以经由有线或无线通信发生在控制系统100和各种设备之间。例如，图2示出了无线通信172、174、176和178，用于经由172从控制系统100到ARENV190以及经由174和176到ARENV 190内的一个或多个用户180和185的通信。图2还示出了ARENV 190内用户之间的通信，例如，用户180和185之间经由178的通信。诸如180和185的用户可以各自配备有一个或多个AR和/或VR设备、传感器等，诸如AR眼镜、平板电脑、智能电话、VR耳机(headset)、麦克风、扬声器等。尽管图2示出了用户180和185在环境190内，但是这种用户和穿戴、携带或以其他方式与用户相关联的设备可以在ARENV内，诸如本文描述的360墙空间内，也就是说，不需要这种ARENV。根据图2的示例性实施例可以包括中央控制器，诸如图2中的100，其控制可以发送到多个VR和/或AR类型设备以及这些设备之间的数据，例如180和185，这些设备处于诸如360墙空间的环境中或者不处于该环境中，其中中央信息可以包括例如表示虚拟对象的数据，该数据可以跨平台发送到各种类型的设备，诸如但不限于AR眼镜、平板电脑、智能电话、VR耳机等。根据图2的另一示例性实施例包括在虚拟现实环境中提供交易服务的装置，该装置包括中央控制器，该中央控制器控制可以发送到多个VR和/或AR类型设备(诸如180和185)的数据，这些设备处于诸如360墙空间的环境中或者不处于该环境中，其中中央信息可以包括例如表示虚拟对象的数据，该数据可以跨平台发送到各种类型的设备，诸如但不限于AR眼镜、平板电脑、智能电话、VR耳机等，并且其中控制器与设备通信以在虚拟空间内提供销售点，用于实现与交易服务相关联的交易的完成。

图3图示了根据本原理的另一个实施例。图3示出了如图1或图2所示的示例性系统或装置的操作方法的示例性实施例。在图3中，示例性方法开始于步骤210，其中用户可以选择ARENV的内容。例如，用户可能希望体验室外环境并选择风景(诸如山景)、音频(诸如风、鸟叫声等)、和与选择的环境相关联的其他特征。该选择可以例如通过用户在步骤230处生成命令来进行，例如使用诸如键盘、触摸屏、语音命令等的输入设备。在步骤230处，该命令可以由控制系统接收和处理，例如图1的控制系统30或图2的控制系统100。替代地或附加地，在步骤220处，命令可以被直接传送到内容源。响应于环境选择命令，在步骤220处，从内容源检索与选择的环境相关联的内容，例如，通过从诸如图2的存储器130之类的存储器、从服务器(例如，在远程前端位置)、或从其他一个或多个源检索内容。在步骤230处，内容被引导到各种设备，以产生实施选择的环境所需的显示和效果。例如，在步骤240处，视频内容可以显示在ARENV的视频墙上，以提供创建虚拟环境所需的主要视觉背景和特征。在步骤250处，其他内容可以控制诸如用户在ARENV内穿戴的可穿戴设备(例如HMD)。在步骤260处，控制系统还监视各种传感器，以获得来自用户的反馈，该反馈可以被提供给控制系统和/或ARENV、可穿戴设备或其他设备的内容源和/或其他控制功能，以根据用户的动作，例如用户正在看的方向和/或用户做出的移动，调整ARENV的参数并调整虚拟体验。

图4示出了根据本原理的示例性实施例。在图4中，两个穿戴AR眼镜的用户在AR中，该AR包括围绕用户提供360度视频的视频墙。中央计算机或控制单元控制视频墙和AR耳机两者，以根据本原理创建替代现实环境。

图5、图6和图7示出了根据本原理的各种示例性实施例。例如，这些图图示了ARENV中的两个用户，并且用户穿戴AR眼镜或耳机。视频墙围绕着用户。AR眼镜或耳机使用户能够看到ARENV中的虚拟对象。中央计算机或控制单元控制视频墙和AR耳机两者，以创建对应于室外环境的示例性替代现实环境。此外，控制系统根据本原理操作，以使虚拟对象能够看起来在ARENV中的虚拟空间和ARENV的墙之间无缝移动。也就是说，对象可以无缝地在ARENV中移动。

图5和图7图示了环境中包括各种虚拟对象的示例性室外环境。图6示出了示例性室内环境，诸如具朝向室外的窗户的房子的房间。

图8和图9示出了根据本原理并适用于本文所述的ARENV的AR眼镜或AR耳机的示例性实施例的各方面。图8图示了可以通过AR眼镜或耳机看到的虚拟对象的视图。图9A、图9B和图9C示出了在眼镜或耳机的显示区域中包括两个层或元素的AR眼镜的示例性实施例。第一层提供对象的彩色显示。第二层相对于由第一层显示的对象提供附加对比度和阴影。这两层都可以由根据本文描述的原理的控制系统控制，以提供与虚拟对象相关联的增强对比度和阴影，从而提高用户在眼镜或耳机中看到的这种虚拟对象的真实感。

图10、图11和图12示出了根据本原理的附加示例性实施例。图10图示了提供室外环境的ARENV中的用户，该环境似乎包括作为虚拟对象的汽车。环境可能是移动的，也可能是静止的。诸如，在图10的示例性实施例中，远处的水可能正在移动(例如，波动)，和/或树木可能看起来在风中移动，和/或一个或多个虚拟对象，诸如示出的汽车可能正在移动。虚拟对象(诸如汽车)的某些方面或特征可以由ARENV(例如视频墙)提供，而其他方面可以经由用户穿戴的可穿戴设备(诸如AR眼镜或耳机)来提供。例如，在图10中，ARENV的视频墙提供了室外环境的表示。此外，视频墙可以提供或显示诸如阴影的特征，这些特征与诸如所示汽车的虚拟对象相关联。耳机或眼镜可以显示或提供汽车和/或特征的表示，诸如一些或所有示出的阴影。ARENV和可穿戴设备提供的特征由控制系统基于诸如所涉及的替代物、所涉及的一个或多个虚拟对象、用户正在看的方向、用户相对于虚拟对象的位置等因素来确定和控制。此外，控制系统同步和协调所涉及的所有设备的视觉输出，例如ARENV和可穿戴设备两者，考虑诸如上述那些因素，来增强所涉及的体验和虚拟对象的真实感。

图11示出了结合如以上关于图10所述的根据本发明原理的方面的示例性实施例。在图11中，ARENV中的用户体验示例性虚拟水下设置，包括，例如，虚拟鲨鱼，其看起来移动出了ARENV的墙，进入用户占据的空间，并经过用户进入对面的墙。如图10所示，控制系统既控制ARENV，诸如在ARENV的视频墙上的视频内容的显示，也控制其他设备，诸如用户佩戴的眼镜，以协调和同步虚拟环境和环境中虚拟对象的显示方面和特征，从而增强体验的真实感。

图12图示了根据本原理的另一示例性实施例。图12示出了类似于图10所示的室外环境和特征。然而，在图12中，图示了结合两个视频墙的示例性实施例，而不是围绕用户的360度ARENV。一面墙在用户面前。第二面墙实际上是用户脚下的地板。利用一个或多个视频墙的ARENV的各种配置是预期的，并且符合本原理。ARENV配置可能取决于具体应用而变化。例如，诸如图10中的360度环境可适用于专用空间，诸如电影院中的剧院或商业机构中的广告空间，例如，汽车经销商可利用诸如图10中的360度空间来使顾客体验新的汽车模型。其他应用，例如家庭中的应用，可以基于诸如成本或可用空间的限制，指示不太广泛或不太复杂的空间，诸如图12中的空间。

图13、图14A和图14B图示了根据本原理并结合上述各种特征的各种应用的示例性实施例和特征。

图14C图示了根据本原理的家庭环境中的示例性实施例。在图14C中，本原理可用于启用家中的虚拟对象，例如虚拟艺术品、虚拟视频屏幕等。也就是说，本原理能够使诸如家庭的环境适应于包括用户或房主期望的虚拟特征，并且此外，能够基于如上所述的控制系统可用的内容和控制系统的能力随意改变或修改这些特征。

图15示出了根据本原理的ARENV的各种配置的示例性实施例的另一种表示。这种示例性实施例被设想为包括但不限于专用空间，诸如360度空间、虚拟墙和地板、移动配置(例如，车辆中的360度空间)，并且在诸如酒店大堂或房间的空间中与其他显示设备(例如，电视)相结合。

根据本原理，另一方面涉及本文称为“大视场内容(large field-of-viewcontent)”的内容，其中所涉及的视场可以高达360°。可以以各种方式提供或产生大视场内容，诸如例如，三维计算机图形图像场景(3D CGI场景)、点云、沉浸式视频或本文描述的其他内容，诸如上述ARENV。关于这种沉浸式视频可以使用许多术语，诸如例如，虚拟现实(VR)、360、全景、4π、球面度、沉浸式、全向、大视场。

这种内容对于在沉浸式显示设备(诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等)上观看内容的用户来说可能是不完全可见的。这意味着在给定的时刻，用户可能只在观看部分内容。然而，用户通常可以通过各种方式在内容内导航，诸如头部移动、鼠标移动、触摸屏、语音等。通常希望对该内容进行编码和解码。

沉浸式视频通常是指编码在矩形帧上的视频，该矩形帧是像“常规”视频一样的二维像素阵列(即颜色信息元素)。在许多实施方式中，可以执行以下过程。为了呈现，首先将帧映射到凸体(convex volume)的内表面上，也称为映射表面(例如球体、立方体、金字塔)，其次，该体的一部分被虚拟相机捕获。在沉浸式显示设备的屏幕上呈现虚拟相机捕获的图像。立体视频被编码在一个或两个矩形帧上，投影在两个映射表面上，根据设备的特性，这两个映射表面被组合以由两个虚拟相机捕获。

像素可以根据帧中的映射函数来编码。映射函数可能取决于映射表面。对于相同的映射表面，各种映射函数都是可能的。例如，立方体的面可以根据帧表面内的不同布局来构造。例如，球体可以根据等矩形投影或球心(gnomonic)投影来映射。由选择的投影函数产生的像素组织修改或中断了线连续性、正交局部帧、像素密度，并引入了时间和空间的周期性。这些是用于编码和解码视频的典型特征。在编码和解码方法中缺乏考虑沉浸式视频的特殊性。事实上，由于沉浸式视频是360°视频，例如平移会引入运动和不连续性，这需要对大量数据进行编码，而场景的内容不改变。在对视频帧进行编码和解码时，考虑沉浸式视频的特殊性将为现有方法带来宝贵的优势。

图16示意性示出了根据一个或多个实施例的编码和解码系统的总体概述。图16的系统被配置为执行一个或多个功能。可以提供预处理模块300来准备由编码设备400进行编码的内容。预处理模块300可以执行多图像采集、将采集的多图像合并到公共空间(如果方向被编码，则通常为3D球体)中、以及使用例如但不限于等矩形映射或立方体映射来将3D球体映射到2D帧中。预处理模块300还可以获取特定格式(例如，等矩形)的全向视频作为输入，并且预处理视频以将映射改变为更适合进行编码的格式。根据获取的视频数据表示，预处理模块300可以执行映射空间改变。在被编码之后，可以是例如编码的沉浸式视频数据或3D CGI编码数据的数据被发送到网络接口500，网络接口500通常可以以任何网络接口实施，例如存在于网关中。然后，数据通过诸如互联网的通信网络传输，但是可以预见任何其他网络。然后经由网络接口600接收数据。网络接口600可以在网关、电视、机顶盒、头戴式显示设备、沉浸式(投影式)墙或任何沉浸式视频呈现设备中实施。在接收之后，数据被发送到解码设备700。解码的数据然后由播放器800处理。播放器800为呈现设备900准备数据，并且可以从传感器或用户输入数据接收外部数据。更准确地说，播放器800准备将由呈现设备900显示的视频内容的一部分。解码设备700和播放器800可以集成在单个设备(例如智能电话、游戏控制台、STB、平板电脑、计算机等)中。在另一个实施例中，播放器800可以集成在呈现设备900中。

可以设想各种类型的系统来执行沉浸式显示设备的功能，用于呈现沉浸式视频，例如解码、播放和呈现。

图17至图24示出了用于处理增强现实、虚拟现实或增强虚拟内容的系统的实施例。这种系统具有一个或多个处理功能，并且包括沉浸式视频呈现设备，该设备可以是例如头戴式显示器(HMD)、平板电脑或智能电话，并且可选地包括一个或多个传感器。沉浸式视频呈现设备还可以包括显示设备和执行处理功能的一个或多个模块之间的接口模块。处理功能可以集成到沉浸式视频呈现设备中，或者由一个或多个处理设备来执行。这样的处理设备可以包括一个或多个处理器以及与沉浸式视频呈现设备通信的通信接口，诸如无线或有线通信接口。

处理设备还可以包括与诸如互联网的宽接入网络通信的通信接口，并且直接或通过诸如家庭或本地网关的网络设备来访问位于云上的内容。处理设备还可以通过诸如本地接入网络接口(例如以太网类型接口)的接口来访问本地存储设备。在一个实施例中，可以在具有一个或多个处理单元的计算机系统中提供处理设备。在另一个实施例中，可以在智能电话中提供处理设备，该智能电话可以通过有线链路或无线链路连接到沉浸式视频呈现设备。智能电话可以插入沉浸式视频呈现设备的外壳中，并通过有线或无线连接与沉浸式视频呈现设备通信。处理设备的通信接口可以包括有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或

接口)。

当处理功能由沉浸式视频呈现设备执行时，沉浸式视频呈现设备可以具有直接或通过网关到网络的接口，以接收和/或发送内容。

在另一个实施例中，系统包括与沉浸式视频呈现设备和处理设备通信的辅助设备。在这样的实施例中，辅助设备可以执行至少一个处理功能。

沉浸式视频呈现设备可以包括一个或多个显示器。该设备可以在每个显示器前面采用光学器件，诸如透镜。显示器也可以是沉浸式显示设备的一部分，诸如例如，在智能电话或平板电脑的情况下。在另一个实施例中，显示器和光学器件可以嵌入头盔、眼镜或可穿戴护目镜(visor)中。如稍后所述，沉浸式视频呈现设备还可以包括一个或多个传感器。沉浸式视频呈现设备还可以包括接口或连接器。它可以包括一个或多个无线模块，以便与传感器、处理功能、手持或与其他身体部位相关的传感器或设备通信。

沉浸式视频呈现设备还可以包括由一个或多个处理器运行并被配置为解码内容或处理内容的处理功能。通过在此处理内容，可以理解为准备用于显示的内容的功能。这可以包括例如解码内容、在显示内容之前合并内容以及根据显示设备修改内容。

沉浸式内容呈现设备的一个功能是控制虚拟相机，该虚拟相机捕获被结构化为虚拟体(virtual volume)的内容的至少一部分。系统可以包括一个或多个姿态跟踪传感器，其全部或部分跟踪用户的姿态，例如用户头部的姿态，以便处理虚拟相机的姿态。可以提供一个或多个定位传感器来跟踪用户的位置、移动和/或位移。系统还可以包括与环境相关的其他传感器，例如测量照明、温度或声音条件。这种传感器也可以与用户的身体相关，例如，检测或测量用户的生物特征，诸如出汗或心率。系统还可以包括用户输入设备(例如，鼠标、键盘、遥控器、操纵杆)。传感器和用户输入设备通过有线或无线通信接口与处理设备和/或沉浸式呈现设备通信。来自传感器和/或用户输入设备的信息可以用作控制内容的处理或提供、管理用户界面或控制虚拟相机姿态的参数。例如，这种信息或参数可以用于确定用户对内容的反应(例如，基于心率增加或突然移动的兴奋或恐惧)，这可能有助于诸如用户感兴趣的内容的选择、虚拟对象的布局或移动等特征的实施。

将参考图17至图21描述用于显示增强现实、虚拟现实、增强虚拟或从增强现实到虚拟现实的任何内容的第一类型的系统的实施例。

图17示意性示出了被配置为解码、处理和呈现沉浸式视频的系统的实施例。该系统包括沉浸式视频呈现设备10、一个或多个传感器20、一个或多个用户输入设备30、计算机40和网关50(可选)。

将参考图25更详细地描述沉浸式视频呈现设备10的实施例。沉浸式视频呈现设备包括显示器101。显示器是例如OLED或LCD类型显示器。沉浸式视频呈现设备10是例如HMD、平板电脑或智能电话。设备10可以包括触敏表面102(例如触摸板或触觉屏幕)、相机103、与至少一个处理器104和至少一个通信接口106连接的存储器105。至少一个处理器104处理从(多个)传感器20接收的信号。来自传感器的一些测量用于计算设备的姿态并控制虚拟相机。可用于姿态估计的传感器包括例如陀螺仪、加速度计或罗盘。在更复杂的系统中，例如也可以使用一套相机。至少一个处理器104执行图像处理以估计设备10的姿态。根据环境条件或用户反应，可以使用一些其他测量来处理内容。用于检测环境和用户条件的传感器包括例如一个或多个麦克风、光传感器或接触传感器。也可以使用更复杂的系统，诸如跟踪用户眼睛的摄像机。在这种情况下，至少一个处理器执行图像处理以执行期望的测量。来自(多个)传感器20和(多个)用户输入设备30的数据也可以传输到计算机40，计算机40将根据传感器的输入处理数据。

存储器105包括用于处理器104的参数和代码程序指令。存储器105还可以包括从(多个)传感器20和(多个)用户输入设备30接收的参数。通信接口106使沉浸式视频呈现设备能够与计算机40通信。处理设备的通信接口106可以包括有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或

接口)。计算机40向沉浸式视频呈现设备10发送数据和可选的控制命令。计算机40处理数据，例如，为沉浸式视频呈现设备10的显示准备数据。处理可以仅由计算机40来执行，或者可以部分处理由计算机来执行，部分由沉浸式视频呈现设备10来执行。计算机40可以直接或通过网关或网络接口50连接到互联网。计算机40从互联网和/或另一个源接收表示沉浸式视频的数据，处理这些数据(例如，解码数据，并且可以准备将由沉浸式视频呈现设备10显示的视频内容的一部分)，并且将处理后的数据发送到沉浸式视频呈现设备10用于显示。在另一个实施例中，系统还可以包括本地存储装置(未图示)，其中存储了表示沉浸式视频的数据。本地存储装置可以包括在计算机40中或者在可通过例如局域网(未图示)访问的本地服务器上。

图18示意性地表示被配置为解码、处理和呈现沉浸式视频的系统的第二实施例。在该实施例中，STB 90直接(即，STB 90包括网络接口)或者经由网关50连接到诸如互联网的网络。STB 90通过无线接口或通过有线接口连接到呈现设备，诸如电视机100或沉浸式视频呈现设备200。除了STB的典型功能之外，STB 90还包括处理功能，以处理视频内容，用于在电视100或任何沉浸式视频呈现设备200上呈现。这些处理功能类似于为计算机40描述的处理功能，这里不再描述。(多个)传感器20和(多个)用户输入设备30也与前面参考图17描述的(多个)传感器和(多个)输入设备是相同类型的。STB 90从互联网获得表示沉浸式视频的数据。在另一个实施例中，STB 90从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得表示沉浸式视频的数据。

图19示意性地表示被配置为解码、处理和呈现沉浸式视频的系统的第三实施例。在第三实施例中，游戏控制台60处理内容数据。游戏控制台60向沉浸式视频呈现设备10发送数据和可选的控制命令。游戏控制台60被配置为处理表示沉浸式视频的数据，并将处理后的数据发送到沉浸式视频呈现设备10用于显示。处理可以仅由游戏控制台60完成，或者部分处理可以由沉浸式视频呈现设备10完成。

游戏控制台60直接或通过网关或网络接口50连接到互联网。游戏控制台60从互联网获得表示沉浸式视频的数据。在另一个实施例中，游戏控制台60从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得表示沉浸式视频的数据。本地存储装置可以在游戏控制台60上或者在可通过例如局域网(未图示)访问的本地服务器上。

游戏控制台60从互联网接收表示沉浸式视频的数据，处理这些数据(例如解码它们，并且可能准备将要显示的视频的一部分)，并且将处理后的数据发送到沉浸式视频呈现设备10用于显示。游戏控制台60可以从传感器20和用户输入设备30接收数据，并且可以使用接收到的数据来处理表示从互联网或从本地存储装置获得的沉浸式视频的数据。

图20示意性地表示被配置为解码、处理和呈现沉浸式视频的系统的第四实施例。沉浸式视频呈现设备70由插入外壳705中的智能电话701提供。智能电话701可以连接到互联网，因此可以从互联网获得表示沉浸式视频的数据。在另一个实施例中，智能电话701从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得表示沉浸式视频的数据。本地存储装置可以在例如智能电话701上或者在可通过局域网(未图示)访问的本地服务器上。

参考图26描述沉浸式视频呈现设备70的实施例。沉浸式视频呈现设备70可选地包括至少一个网络接口702和智能电话701的外壳705。智能电话701包括智能电话和显示器的功能。智能电话的显示器被用作沉浸式视频呈现设备70的显示器。为了在智能电话显示器上查看数据，可以包括诸如透镜的光学器件704。智能电话701被配置为例如根据从传感器20和从用户输入设备30接收的数据来处理(例如，解码并准备显示)表示沉浸式视频的数据。来自传感器的一些测量可用于计算设备的姿态并控制虚拟相机。可用于姿态估计的传感器包括例如陀螺仪、加速度计或罗盘。也可以使用更复杂的系统，例如一套相机。在这种情况下，至少一个处理器执行图像处理以估计设备10的姿态。例如，根据环境条件或用户反应，可以使用其他测量来处理内容。用于检测环境和用户条件的传感器包括例如麦克风、光传感器或接触传感器。也可以使用更复杂的系统，诸如跟踪用户眼睛的摄像机。在这种情况下，至少一个处理器执行图像处理以执行测量。

图21示意性地表示其中沉浸式视频呈现设备80包括用于处理和显示数据内容的功能的第一类型的系统的第五实施例。该系统包括沉浸式视频呈现设备80、传感器20和用户输入设备30。沉浸式视频呈现设备80被配置为可以根据从传感器20和从用户输入设备30接收的数据来处理(例如，解码并准备显示)表示沉浸式视频的数据。沉浸式视频呈现设备80可以连接到互联网，并且因此可以从互联网获得表示沉浸式视频的数据。在另一个实施例中，沉浸式视频呈现设备80从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得表示沉浸式视频的数据。可以在呈现设备80上或者在可通过例如局域网(未图示)访问的本地服务器上提供本地存储装置。

图27示出了沉浸式视频呈现设备80的实施例。沉浸式视频呈现设备包括显示器801，例如OLED或LCD类型显示器，触摸板(可选)802，相机(可选)803，与至少一个处理器804和至少一个通信接口806连接的存储器805。存储器805包括用于处理器804的参数和代码程序指令。存储器805还可以包括从传感器20和用户输入设备30接收的参数。存储器805可以具有足够大的容量来存储表示沉浸式视频内容的数据。不同类型的存储器可以提供这样的存储功能，并且包括一个或多个存储设备，诸如SD卡、硬盘、易失性或非易失性存储器等。通信接口806使沉浸式视频呈现设备能够与互联网网络通信。处理器804处理表示视频的数据，以在显示器801上显示图像。相机803捕获环境的图像用于图像处理步骤。从该步骤提取数据以控制沉浸式视频呈现设备。

图22至图24示出了用于处理增强现实、虚拟现实或增强虚拟内容的第二类型的系统的实施例。在这些实施例中，系统包括沉浸式墙。

图22示意性地表示包括显示器1000-从计算机4000接收数据的沉浸式(投影)墙的第二类型的系统的实施例。计算机4000可以从互联网接收沉浸式视频数据。计算机4000可以直接或通过网关5000或网络接口连接到互联网。在另一个实施例中，沉浸式视频数据由计算机4000从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得。本地存储装置可以在计算机4000中或者在可通过例如局域网(未图示)访问的本地服务器中。

该系统还可以包括一个或多个传感器2000和一个或多个用户输入设备3000。沉浸式墙1000可以是OLED或LCD类型，并且可以配备有一个或多个相机。沉浸式墙1000可以处理从一个或多个传感器2000接收的数据。从(多个)传感器2000接收的数据可以例如与照明条件、温度、用户环境，诸如例如对象的位置相关。

沉浸式墙1000还可以处理从一个或多个用户输入设备3000接收的数据。(多个)用户输入设备3000可以发送诸如触觉信号的数据，以便给出关于用户情绪的反馈。用户输入设备3000的示例包括例如手持设备，诸如智能电话、遥控器和具有陀螺仪功能的设备。

数据也可以从(多个)传感器2000和(多个)用户输入设备3000传输到计算机4000。计算机4000可以根据从这些传感器/用户输入设备接收的数据来处理视频数据(例如，解码它们并为显示准备它们)。传感器信号可以通过沉浸式墙的通信接口接收。该通信接口可以是蓝牙类型、WIFI类型或任何其他类型的连接，优选无线连接，但也可以是有线连接。

计算机4000将处理后的数据以及可选的控制命令发送到沉浸式墙1000。计算机4000被配置为处理数据，例如准备由沉浸式墙1000显示的数据。处理可以仅由计算机4000完成，或者可以部分处理由计算机4000完成，部分由沉浸式墙1000完成。

图23示意性地表示第二类型的系统的另一个实施例。该系统包括沉浸式(投影)墙6000，其被配置为处理(例如解码和准备用于显示的数据)和显示视频内容，并且还包括一个或多个传感器2000和一个或多个用户输入设备3000。

沉浸式墙6000通过网关5000从互联网或者直接从互联网接收沉浸式视频数据。在另一个实施例中，沉浸式墙6000从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得沉浸式视频数据。本地存储装置可以在浸入式墙6000中或者在可通过例如局域网(未图示)访问的本地服务器中。

该系统还可以包括一个或多个传感器2000和一个或多个用户输入设备3000。沉浸式墙6000可以是OLED或LCD类型，并且配备有一个或多个相机。沉浸式墙6000可以处理从传感器2000(或多个传感器2000)接收的数据。从(多个)传感器2000接收的数据可以例如与照明条件、温度、用户环境，诸如对象的位置相关。沉浸式墙6000还可以处理从(多个)用户输入设备3000接收的数据。(多个)用户输入设备3000发送诸如触觉信号的数据，以便给出关于用户情绪的反馈。用户输入设备3000的示例包括例如手持设备，诸如智能电话、遥控器和具有陀螺仪功能的设备。

沉浸式墙6000可以根据从这些(多个)传感器/(多个)用户输入设备接收的数据来处理视频数据(例如，解码它们并为显示准备它们)。传感器信号可以通过沉浸式墙的通信接口接收。通信接口可以包括蓝牙类型、WIFI类型或任何其他类型的无线连接、或者任何类型的有线连接。沉浸式墙6000可以包括至少一个通信接口，以与(多个)传感器和互联网通信。

图24示出了另一个实施例，其中沉浸式墙用于游戏。一个或多个游戏控制台7000例如通过无线接口连接到沉浸式墙6000。沉浸式墙6000通过网关5000从互联网或者直接从互联网接收沉浸式视频数据。在替代实施例中，沉浸式墙6000从存储有表示沉浸式视频的数据的本地存储装置(未图示)获得沉浸式视频数据。本地存储装置可以在浸入式墙6000中或者在可通过例如局域网(未图示)访问的本地服务器中。

游戏控制台7000向沉浸式墙6000发送指令和用户输入参数。沉浸式墙6000例如根据从(多个)传感器2000和(多个)用户输入设备3000以及(多个)游戏控制台7000接收的输入数据来处理沉浸式视频内容，以便为显示准备内容。沉浸式墙6000还可以包括内部存储器来存储要显示的内容。

根据本原理，另一方面涉及包括混合现实域的实施例，其中虚拟对象由单独的投影系统显示，该投影系统通常是由用户在物理空间中穿戴的AR眼镜或其他头戴式显示器(HMD)，同时观看者与一个或多个其他用户共享物理空间，其中每个用户或观看者也可以穿戴AR眼镜或HMD。示例性实施例可以包括一个或多个配置，其中物理空间是洞穴状(cave-like)空间或者具有至少一个视频墙的房间，在视频墙上显示诸如运动图像的内容。这种空间的一个示例是，例如，CAVE自动虚拟环境(CAVE)，诸如由Visbox公司生产的那些。在下文中，根据本原理的AR耳机和空间或房间的组合将被统称为AR洞穴或AR环境(ARENV)，如本文别处所述。

另一方面涉及光学透视耳机，其中通过透明光学器件使真实的环境内容(诸如环境中的对象)或可被认为是真实的环境内容(例如，显示在用户在场的环境(诸如ARENV)的墙上的内容)可见，同时虚拟对象通过为左眼和右眼显示立体全息图的投影仪投影到空中。给定光的附加性质，投影图像看起来像全息图，其中虚拟对象是半透明的，真实背景没有被虚拟对象完全阻挡或遮挡。本原理的一个方面涉及改善虚拟对象的表观不透明度。

图28图示了包括由位于物理空间2880内的用户2810穿戴的耳机的系统2890的示例性实施例。在图28中，用户2810穿戴眼镜或HMD，其可以包括一个或多个处理器2820，用于产生和呈现表示对象或计算机的生成(CG)对象或通常的计算机生成的图像(CGI)的内容。然后，可以在耳机中包括的监视器2860(例如，LED显示器)上显示CGI。用户可以位于物理空间中，诸如具有一个或多个显示内容并提供ARENV的视频显示墙的黑暗房间2880。系统控制(例如，图1中的控件130)可以(例如，有线和/或无线地)与用户的耳机和ARENV两者进行通信，以协调耳机中CGI与显示在视频墙或ARENV的墙上的内容的显示。耳机可以包括附加特征，诸如测距仪2830和/或其他传感器，以确定用户在ARENV内的位置、布局和/或移动。这种信息可以被用作例如由一个或多个处理器2820产生CGI的输入，以控制用户看到的GUI的布局、移动、尺寸、方向等。耳机或HMD设备还可以包括半透明表面，诸如半镀银镜2870，其被定位成将显示器2860产生的内容图像，诸如CGI，反射到用户2810的眼睛中，同时还使得用户2810能够透过表面2870看到显示在视频墙或空间2880的墙上的内容。根据本原理的一个方面，用户2810穿戴的耳机或HMD还可以包括遮罩(mask)图案生成器2840和光源2850，它们如下面更详细解释的那样操作。对于本领域技术人员来说，明显的是，关于图28描述的处理能力，诸如由图28所示的特征2820和2840提供的处理能力，可以部分或完全包括在用户穿戴的耳机中。耳机中不包括的任何处理能力可以位于其他地方或者分布在图28中未图示的一个或多个其他设备中，诸如用户携带的设备(例如，移动电话、平板电脑等)和/或在不由用户穿戴的计算机、服务器或处理器中。在这种分布式处理的情况下，各种处理器可以经由各种方式通信，诸如有线和/或无线通信协议，并且耳机或HMD可以包括启用这种有线或无线通信所需的接口或通信设备或模块(图28中未图示)。

可以使用各种方法来使虚拟对象看起来更不透明或更实心。这些方法的示例包括:1)阻挡光源和对象之间的光线或切断光线，2)通过提供虚拟对象的真实对应物来阻挡或切断光线，3)阻挡或切断对象和用户的眼睛之间的光线，以及4)通过增加合成或CGI图像的相对强度来降低真实对象或场景的可见度。根据本原理的一个方面，示例性实施例包括阻挡或切断光源和显示的内容表示的真实对象之间的光线，所述内容显示在例如视频墙上，诸如用户在房间内面对的单个墙上，或者在诸如本文描述的其中包括六个侧面ARENV的一个或多个墙上，或其中用户可以完全沉浸在替代真实环境或其他环境中的视频墙。

提供真实内容或对象的示例性环境如图15所示。本文对“真实”内容或对象的引用可以指显示在ARENV的一个或多个显示墙上的内容或对象，诸如图15的左上和右上图像中示出的内容或对象，与耳机中显示的看起来漂浮在ARENV内的空间中或从ARENV的显示墙“弹出”的虚拟对象相对。在专用ARENV的情况下，诸如在图15的左上和右上图像中示出的那些，前段中描述的技术(1)可以这样实施：根据耳机位置和方向在视频显示面板或右侧位置的墙上生成和显示黑色轮廓或遮罩以用黑色替换用户通常会通过虚拟对象看到的一个或多个视频墙上的内容。参考图15中的上部图像，如果观看者看到虚拟鲨鱼(图15的左上)或虚拟汽车(图15的右上)作为看起来从ARENV的屏幕或墙“弹出”的对象出现在用户的耳机中，那么从用户的视角来看，通过提供位于虚拟对象后面的屏幕或墙上的黑色遮罩，用户可以体验看起来是完整和实心对象的虚拟对象(例如鲨鱼或汽车)。

根据本原理的一个方面，一个实施例为ARENV内的多个用户改善了虚拟对象的不透明度，每个用户穿戴耳机或HMD，并且所有用户同时参与ARENV内提供的虚拟体验。在多用户情况下，一个或多个用户可能会出现视觉伪像，并对虚拟现实体验的真实性产生不利影响。例如，多个用户都可能看到视频墙内容。从一个或多个其他用户的视角来看，从一个HMD的视角来看的包括在内容中并被定位为出现在一个HMD中的虚拟对象后面的黑色遮罩可能没有被正确定位。结果，一个或多个其他用户可能将黑色遮罩的全部或一部分视为内容中的可见伪像。在ARENV中显示的内容中看到黑色遮罩伪像可能会对看到黑色遮罩的每个观看者的体验质量产生显著的负面影响。

如下文详细解释的，根据本原理，解决所述问题的实施例包括：向可穿戴显示设备提供图像信息，以在可穿戴显示设备的表面上产生显示图像，其包括第一计算机生成图像(CGI)和第二CGI，其中第一CGI表示处于显示图像中的第一位置的虚拟对象以与通过该表面可见的背景显示中包括的第一阴影图像重合；并且第二CGI表示对应于背景显示并且处于作为显示图像中的第二位置的图像以隐藏背景显示中包括的第二阴影图像的一部分。

图29示出了与遮罩相关的伪像的详细创建过程。在图29中，第一用户，用户1位于图29中标记为“前墙”的视频墙的中心的左侧，面向该视频墙，并且正穿戴HMD1。用户1具有视野(FOV)2920。第二用户，用户2位于视频墙的右侧，面向该视频墙，并且正穿戴HMD2。用户2具有FOV 2950。每个用户在他们的HMD中看到出现在他们视野中的虚拟对象，例如海豚2970。用户1和用户2看到的HMD显示分别由图29中的图像2910和2940示出。类似地，用户2的HMD显示在图29中由图像2940示出。为用户1和用户2增加对象2970的不透明度，两个遮罩2981和2982被包括在显示在视频墙上的内容中，并且从每个用户的视角来看，其尺寸和位置看起来与对象2970重合，即在对象2970的后面。也就是说，遮罩2981在用户1的FOV内，并且被定位成增加对象2970在用户1的HMD1中的不透明度。遮罩2982在用户2的FOV范围内，并且被定位成增加对象2970在用户2的HMD2中的不透明度。然而，用户1和用户2在视频墙前面的各自位置以及相对于遮罩2981和2982的显示，引起每个遮罩的一部分出现在另一用户的HMD中。更具体地说，对于用户1，遮罩2982的部分2930在用户1的FOV内，并且将在显示器HMDl的左上角作为伪像出现。对于用户2，遮罩2981的一部分2960将作为伪像出现在HMD2的显示器的右上角。

根据本原理的一个方面，一个示例性实施例为多用户情况提供了改善虚拟对象的表观实心或不透明度，同时消除或减少了可能被一个或多个用户看到的相关联的伪像，如图30所示。在图30中，打算显示在视频墙上的内容的一部分根据需要显示在每个用户的HMD的显示器上，以阻挡或隐藏每个显示器中的遮罩伪像，从而使用户能够通过每个HMD中的半透明表面看到用户应该可见的真实内容而不是黑色遮罩。也就是说，通过在HMD显示从每个用户的视角来看与每个伪像重合的真实内容的一部分，黑色遮罩伪像的影响被隐藏、阻挡、遮蔽或消除。在图30中，对于用户1，对应于被遮罩2982的部分2930遮罩的内容的视频墙内容的一部分被显示在图示器HMDl的左上角，如图30中的图像3010所示。对于用户2，对应于被遮罩2981的部分2960遮罩的内容的视频墙内容的一部分被显示在HMD2的显示器的右上角，如图30中的图像3040所示。因此，由于黑色遮罩而没有显示在视频墙上的视频墙内容的部分被替代地显示在每个HMD显示器中，从而隐藏了否则将在每个用户的HMD显示器中可见的遮罩伪像。结果，从每个用户的视角来看，每个用户的HMD中的显示器既显示与视频墙上的黑色遮罩重合的虚拟对象，使得虚拟对象看起来不透明或实心，又显示视频墙内容的一部分，以隐藏遮罩相关的伪像。

换句话说，通过包括在HMD中的半透明表面，诸如图28中的表面2870，第一HMD的用户可以看到显示在一个或多个视频墙上的内容。HMD的用户将显示在(多个)视频墙上的内容视为背景显示。即，由用户的HMD的显示器产生的计算机图形图像或CGI似乎是紧靠背景显示或在背景显示上显示的。在HMD中显示的第一CGI可以是用户应该看到的紧靠背景显示的虚拟对象，诸如海豚紧靠水下场景的图像2970，如图29中的视频墙前墙所示。背景显示中包括遮罩图像或阴影图像，从第一HMD的视角来看，该遮罩图像或阴影图像与在第一HMD中显示的第一CGI重合或对齐，以提供第一CGI(例如虚拟对象)的不透明度或实心性的明显增加。背景显示可以包括一个或多个附加遮罩图像或阴影图像，其被包括在背景显示中，以提供由一个或多个其他用户在他们各自的一个或多个其他HMD设备中观看到的相同或其他虚拟对象的增加的不透明度。然而，这些其他遮罩或阴影图像的一部分对于第一HMD的用户可能是可见的，并且可能无意地和不期望地为第一HMD的用户创建图像伪像。根据本原理的一个方面，可以在第一HMD的显示中生成第二CGI，以将这些伪像从第一HMD的用户的视野隐藏。例如，参考图29，可以生成第二CGI来表示对应于背景显示的一部分的图像，诸如对应于阴影图像2982的部分2930的海豚的头部的图像。也就是说，第二CGI表示、再现、复制或重复与背景显示的一部分相对应的图像，其应该由第一HMD的用户在不期望的伪像的位置处看到。因此，第二CGI有效地隐藏、阻挡或消除第一用户的一个或多个伪像。对于具有其他HMD的其他用户而言可能会出现类似的伪像，并且根据本原理，可以通过在用户的HMD中显示所需的附加CGI来进行伪像的类似消除。因此，本原理为ARENV中的一个或多个用户提供了改善虚拟对象的外观以及与外观改善相关联的减少或消除伪像。

根据本原理的另一方面，如上所述管理伪像减少的示例性实施例可以包括如图31所示的服务器-客户端架构。图31所示的示例性架构包括驱动一个或多个视频墙的服务器、驱动HMD设备的两个客户端设备和跟踪系统。在图31中，产生内容的各种组件通过HDMI连接耦合到显示设备，即视频墙、HMD设备等。然而，这种连接仅仅是示例性的。如本领域技术人员将清楚的，包括有线和无线连接两者在内的各种形式的组件互连都是可能的，并且适用于诸如如图31所示的实施例。

继续更详细地参考图31，服务器可以包含用于存储例如CGI内容的数据存储装置、以及一个或多个处理器。一个或多个处理器可以操作来提供包括内容引擎的功能。内容引擎组装要提供给一个或多个视频墙或显示在一个或多个视频墙上的内容。内容可以包括其中包含CGI的3D内容，并且可以包括如上所述的一个或多个遮罩。根据本原理，内容引擎可以是产生内容的独立处理器或硬件引擎，或者可以是运行在处理器上以产生内容的诸如Unity3D的应用。遮罩可以由图31中指定为遮罩生成器的单独处理器产生，或者可以由服务器中包括的一个或多个其他处理器(例如内容引擎)实施的遮罩功能产生。包括在服务器中并在图31中标记为“视频墙驱动器”的呈现引擎功能驱动一个或多个视频墙，以产生一个或多个视频墙上的包括遮罩的内容显示。图31所示的示例性系统包括六个视频墙，诸如包括在具有四个视频墙、视频天花板和视频地板的洞穴或房间中，以提供完全沉浸式体验ARENV。

诸如图31中的客户端#1或客户端#2的客户端设备可以包括与关于服务器描述的那些类似的能力。例如，图31所示的每个客户端设备可以包括用于存储诸如CGI内容的内容的数据存储装置、根据本原理操作的遮罩消除特征遮罩消除、内容引擎和呈现引擎，该呈现引擎也可以作为图31中的AR耳机驱动器来操作，以驱动诸如用户穿戴的HMD的设备。客户端设备的示例性实施例可以包括独立耳机(例如，微软全息透镜)，该独立耳机包括诸如与图31所示的客户端设备相关联的特征，或者通过诸如HDMI的连接或其他有线和/或无线连接耦合到诸如移动设备(移动电话、平板电脑、膝上型电脑)或PC之类的处理器的耳机，以提供诸如关于图31所示和所述的处理能力。

诸如图31所示的跟踪系统如本文所述操作，以跟踪每个用户的位置和移动。跟踪操作可以响应于位于耳机和/或ARENV内的一个或多个位置指示功能而发生。例如，跟踪系统可以包括以下一个或多个：

·位于穿戴或安装在用户身上的设备(诸如耳机或HMD)上的无源或有源标记，以及

·ARENV内的多个高频(例如240fps)相机，例如位于ARENV的每个角落的相机，用于收集每个用户提供的位置指示，例如通过每个用户的HMD上的LED发射器，和/或通过图像感测和识别，如图33所示。

图31所示实施例的示例性操作可以包括以下内容。收集和处理来自跟踪系统的信息，以便知道每个观看者或用户的位置。从跟踪信息产生位置信息可以发生在跟踪系统内、服务器内或通过与ARENV相关联的另一个处理器。基于跟踪信息，确定屏幕上遮罩的形状和位置，使得其与每个用户看到的虚拟对象的视角对齐。用于确定遮罩形状和位置的示例性实施例可以包括，例如，使用阴影投射应用，诸如由诸如Unity 3D的系统提供并在图32中示出的应用。在这样的应用中，可以在耳机的位置处创建和定位光(例如，图28中的光源2850)。然后，可以在呈现过程中创建阴影，并且有可能仅对那些需要阴影的对象启用该附加光以避免在其他时间对场景产生不期望的干扰的。根据观看者的位置确定遮罩或阴影的形状和位置的另一个示例性实施例涉及使用本领域技术人员已知的程序作为“着色器(shader)”。

在确定了遮罩或阴影的尺寸和位置之后，可以通过将CGI呈现为对应于打算作为平面2D图片的一部分显示在视频墙上的对象的像素的彩色像素以及对应于打算作为表示虚拟对象的立体3D图片显示在AR耳机中的对象的像素的黑色像素(遮罩)，来将CGI内容呈现在观看者的耳机或HMD的显示器中。

根据本原理的另一方面，可以包括滤波操作来滤波遮罩，以减少由于从观看者或用户的角度看遮罩和虚拟对象未对齐而导致的伪像。滤波应该平滑呈现步骤中添加的黑色和背景轮廓的过渡。滤波的示例性方法可以包括滤波显示在视频墙上的内容和滤波显示在用户耳机中的内容中的一个或多个。例如，在视频墙上，可以通过将黑色遮罩与背景融合(blend)来添加平滑过渡，以避免出现锐边。同样，在AR耳机中，可以通过将背景和黑色轮廓融合来添加平滑过渡。

在为每个用户的视角确定内容中的遮罩的形状、尺寸和位置之后，诸如图31所示的系统可以驱动一个或多个视频墙来显示包括遮罩内容的内容。例如，可以使用诸如Unity3D应用的多显示模式的特征来驱动视频墙。此外，为驱动显示设备，系统必须持续地向所有设备发送场景改变和参数(诸如帧锁定)的更新，包括当观看者改变位置和内容改变时显示在一个或多个耳机中的遮罩位置和遮罩隐藏内容的更新。

根据本原理的另一方面，图34示出了减少或消除遮罩相关伪像的方法的示例性实施例。图34的方法可以通过例如服务器或控制ARENV的其他设备来实施，诸如图31所示的服务器。在图34中，方法从步骤3410处开始，在步骤3410处，例如通过从跟踪系统获得用户位置信息来确定用户在ARENV中的位置，所述跟踪系统诸如上面关于图31描述的示例性实施例。在步骤3410之后，在步骤3420处，从ARENV中的每个用户的视角确定要在用户耳机中显示的虚拟对象(VO)的视图。然后，在步骤3430处，使用关于来自每个用户的视角的视图的信息，确定将被包括在视频墙上显示的内容中以与来自每个用户的视角的VO对齐的遮罩的形状和位置，以及将被显示在耳机中任何遮罩隐藏内容的形状、尺寸和位置以防止伪像。在步骤3440处，对内容应用滤波，以平滑遮罩的锐边，并防止由边缘效应引起的伪像。在步骤3440之后，在步骤3450处驱动一个或多个视频墙和一个或多个耳机，以显示包括(多个)视频墙上的遮罩和隐藏(多个)耳机显示器中的内容的遮罩的内容。然后，在步骤3460处，重复该过程以向所有设备提供更新。

根据本原理，图35示出了可以由客户端执行以消除或减少遮罩相关伪像的示例性方法。在图35中，在步骤3510处，客户端从跟踪系统(诸如上面关于图31解释的示例性系统)收集信息，以便知道每个观看者的位置。接下来，在步骤3520处确定要由客户端显示的内容。也就是说，处理(例如，从存储装置检索、生成或创建、组装中的一个或多个)包括虚拟对象的图像信息、如本文所述的遮罩消除信息以及其他图像信息或组件的内容以形成要显示的内容。然后，在步骤3530处，所得到的内容被呈现为用于CGI内容或对象的彩色像素，这些内容或对象打算作为3D立体图像(例如虚拟对象(VO))显示在AR耳机上。在步骤3530期间，添加遮罩消除，以隐藏与在耳机中可见的ARENV的一个或多个视频墙上的一个或多个黑色遮罩部分相对应的伪像。在步骤3530处添加遮罩消除信息考虑了每个观看者的视角，以便在耳机中添加背景的复制来隐藏黑色遮罩部分的不想要的视图。在步骤3530添加遮罩消除的示例性实施例可以包括使用着色器程序进行处理，该着色器程序将在耳机显示器中的正确位置处投影与打算用于视频墙平面的内容的一部分相关联的2D图案，以隐藏黑色像素。此外，如上所述，可以在步骤3540处滤波遮罩和/或遮罩消除，以减少由于遮罩的未对齐和/或锐边导致的伪像。然后，在步骤3550处，驱动所得到的其中包括遮罩隐藏内容和滤波的内容到客户端的显示器上，例如AR耳机或HMD显示器。接着在步骤3560处，例如从服务器进行连续更新，以更新每个用户的耳机，用于移动、场景改变、各种用户和视频墙之间的同步，并通信诸如帧锁定的参数。

作为使用如图35所示的方法的示例，诸如可穿戴设备(例如耳机或HMD)的客户端可以在客户端设备的透明屏幕(例如图28所示的半镀银镜2870)上显示第一和第二计算机生成的图像(CGI)。如关于图28所述，透明屏幕使穿戴可穿戴显示设备的用户能够通过透明屏幕观看，并且在观看第一和第二CGI的同时，看到背景显示，诸如显示在ARENV的视频墙上的内容。客户端可以在透明屏幕上的第一位置处显示或产生第一CGI，以与背景显示中包括的第一阴影图像重合。例如，第一阴影图像可以包括在背景显示的内容中，以增加包括在客户端的显示中的虚拟对象(例如，第一CGI)的表观不透明度。客户端还可以在透明屏幕上的第二位置处显示或产生第二CGI。第二CGI可以被定位成隐藏背景显示中包括的第二阴影图像的一部分。例如，第二阴影图像可以是包括在背景显示中的遮罩，以增加在第二客户端设备(例如，由第二用户穿戴的第二HMD)中观看到的虚拟对象的表观不透明度。因此，由第一客户端包括在显示器中的第二CGI隐藏或阻挡第二用户的第二遮罩或阴影图像，否则第一用户将会看到该第二遮罩或阴影图像。通过还参考图29和图30以及本文提供的那些图的相关联的描述，可以更好地理解图35的方法的所述示例，包括第一和第二客户端、第一和第二客户端设备、第一和第二CGI以及第一和第二阴影图像。

尽管本文已经详细图示和描述了结合本公开的教导的实施例，但是本领域技术人员可以仍然结合这些教导根据上述教导容易地设计修改和许多其他变化的实施例。例如，应当理解，所示和所述的各种特征可以互换，即一个实施例中所示的特征可以结合到另一个实施例中。因此，应当理解，在本公开的范围内，可以对本公开的特定实施例进行改变。

根据本原理的一个方面，一种方法或系统或装置被配置为在房间或洞穴状空间内提供替代现实环境，并且包括：形成洞穴状空间的墙的视频墙、存储器和被配置为控制洞穴状空间的处理器，其中存储器存储处理器可运行的软件例程，以创建由空间内的至少一个用户选择的替代现实环境，处理器访问并运行存储在存储器中的软件例程，以控制视频墙来显示空间内围绕至少一个用户的替代现实环境的各方面，并控制至少一个用户穿戴的至少一个可穿戴设备来增强替代现实体验。

根据本原理的一个方面，示例性实施例包括处理器，该处理器被配置为运行存储在存储器中的软件例程，并且被配置为控制视频墙和可穿戴设备两者，以在空间内创建至少一个有体积的对象的外观，其中该有体积的对象具有在空间内无缝移动的外观，包括从视频墙进入空间。

根据本原理的一个方面，示例性实施例包括中央控制单元或处理器，该中央控制单元或处理器与多个单独的个人AR或VR设备通信，并且在共享用户体验的单个设备的多个平台上，无论有没有360度视频元素。

根据本原理的一个方面，示例性实施例包括中央控制器或处理器和/或由中央控制器控制的设备，该设备接收授权的内容，以使控制器能够控制设备提供由该设备创建的虚拟对象和效果，以无缝地从房间尺度环境跨越到诸如个人VR设备(例如，AR眼镜或HMD)的个人相关联或由个人穿戴的设备，从而能够无缝地从诸如360视频环境的房间或剧院环境跨越到诸如内容的游戏引擎实施方式的个性化体验。

根据本原理的一个方面，示例性实施例包括控制器，该控制器被配置为控制墙上具有视频的专用房间和MR HMD，使得用户能够与虚拟元素交互，并且通过将虚拟房间的呈现与在单个平台中的AR元素的呈现相结合，从而使得能够对所有对象的光、阴影、颜色和空间进行完全交互控制。

根据本原理的一个方面，示例性实施例包括控制器和增强现实耳机，该控制器被配置为控制排列在房间尺度空间的墙、天花板和地板上的无缝OLED屏幕，该增强现实耳机包括增强对比度能力，该增强对比度能力为围绕视频和增强现实HMD两者中的所有图像提供显著的对比度，从而提供增强的图像质量，并且其中中央计算机平台或网络驱动允许所有用户共享相同图像的体验。

根据本原理的另一方面，示例性实施例包括控制器，该控制器控制位于诸如大房间的空间中的多个激光投影仪，并控制由相应的多个用户穿戴的多个AR设备，以使所有用户能够彼此交互以及与房间内的虚拟元素交互，并与可能包括空间的物理方面和/或虚拟特征的环境交互，其中控制器驱动使所有用户能够共享相同图像的体验。

根据本原理的另一方面，示例性实施例包括控制器，该控制器控制用户在专用位置使用的多个物理VR设备，以实现与物理对象的真实交互，这些物理对象不一定是用户在物理VR设备的耳机中看到的，其中控制器映射并跟踪VR空间中的所有用户，以允许体验中的交互。

根据本原理的另一方面，示例性实施例包括中央控制器，该中央控制器控制可以发送到多个VR和/或AR类型设备的数据，这些设备处于诸如360墙空间的环境中或者不处于该环境中，其中中央信息可以包括例如表示虚拟对象的数据，该数据可以跨平台发送到各种类型的设备，诸如但不限于AR眼镜、平板电脑、智能电话、VR耳机等。

根据本原理的另一方面，示例性实施例包括在虚拟现实环境中提供交易服务的装置，该装置包括中央控制器，该中央控制器控制可以发送到多个VR和/或AR类型设备的数据，这些设备处于诸如360墙空间的环境中或者不处于该环境中，其中中央信息可以包括例如表示虚拟对象的数据，该数据可以跨平台发送到各种类型的设备，诸如但不限于AR眼镜、平板电脑、智能电话、VR耳机等，并且其中控制器与设备通信以在虚拟空间内提供销售点，用于实现与交易服务相关联的交易的完成。

根据另一方面，装置的实施例可以包括一个或多个处理器，该处理器被配置为：向可穿戴显示设备提供图像信息，以在可穿戴显示设备的表面上产生显示图像，该显示图像包括第一计算机生成图像(CGI)和第二CGI，其中第一CGI表示处于显示图像中的第一位置的虚拟对象以与通过该表面可见的背景显示中包括的第一阴影图像重合；第二CGI表示对应于背景显示并且处于作为显示图像中的第二位置的图像以隐藏背景显示中包括的第二阴影图像的一部分。

根据另一方面，如本文所述的包括一个或多个处理器的装置的实施例可以包括还被配置为产生图像信息的一个或多个处理器，该图像信息包括表示第一CGI和第二CGI的信息，该第一CGI处于显示图像中的第一位置，该第二CGI处于显示图像中的第二位置。

根据另一方面，如本文所述的装置的实施例可以包括在头戴式显示器(HMD)或移动设备或服务器中。

根据另一方面，实施例可以包括其中包含HMD、跟踪设备、第二显示设备和服务器的系统，该HMD包括如本文所述的装置；该跟踪设备产生指示穿戴HMD的用户的位置的跟踪信息；该服务器被配置为：向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；基于跟踪信息和背景显示确定第一和第二位置；以及产生表示第一CGI和第二CGI的图像信息，该第一CGI处于显示图像中的第一位置，该第二CGI处于显示图像中的第二位置。

根据另一方面，实施例可以包括其中包含移动设备、跟踪设备、第二显示设备和服务器的系统，该移动设备包括如本文所述的装置；该跟踪设备产生指示穿戴可穿戴显示设备的用户的位置的跟踪信息；该服务器被配置为:向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；基于跟踪信息和背景显示确定第一和第二位置；以及产生表示第一CGI和第二CGI的图像信息，该第一CGI处于显示图像中的第一位置，该第二CGI处于显示图像中的第二位置。

根据另一方面，实施例可以包括其中包含服务器、跟踪设备和第二显示设备的系统，该服务器包括如本文所述的包括一个或多个处理器的装置；该跟踪设备产生指示穿戴可穿戴显示设备的用户的位置的跟踪信息；其中该一个或多个处理器被配置为：向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；基于跟踪信息和背景显示确定第一和第二位置；产生包括第一CGI和第二CGI的图像信息；以及将图像信息提供给可穿戴显示设备。

根据另一方面，如本文所述的装置的实施例还可以包括可穿戴显示设备的表面，以产生显示图像，并通过表面能够观看包括图像信息的显示图像和背景显示两者；其中背景显示表示替代现实环境；第一CGI表示替代现实环境中的虚拟对象；并且从穿戴可穿戴显示设备的用户的视角来看，第一阴影图像看上去与第一CGI对齐，从而增强了第一CGI表示的虚拟对象的表观不透明度。

根据另一方面，如本文所述的系统的实施例还可以包括由第二用户穿戴的第二可穿戴显示设备；其中第一CGI表示从第一用户的视角观看到的虚拟对象；系统向第二可穿戴显示设备提供第三图像信息，该第三图像信息表示包括第三CGI和第四CGI的第二显示图像；该第三CGI表示从第二用户的视角观看到的并且被定位成与第二阴影图像重合的虚拟对象；该第四CGI复制第二用户可见的并且被定位成隐藏在第二可穿戴显示器中可见的第一阴影图像的一部分的背景显示的第二部分。

根据另一方面，如本文所述的实施例还可以包括一个或多个滤波器，以滤波第一图像信息和第二图像信息中的至少一个，以减少与第一阴影图像和第二阴影图像中的至少一个的边缘相对应并且在第一和第二可穿戴显示设备中的至少一个中可见的图像伪像。

根据另一方面，如本文所述的系统的实施例可以包括第二显示设备，该第二显示设备包括显示背景显示的一个或多个视频墙。

根据另一方面，如本文所述的系统的实施例可以包括第二显示设备，该第二显示设备包括形成替代现实洞穴的多个视频显示表面，该多个视频显示表面包括洞穴的多个视频墙和洞穴的视频地板以及洞穴的视频天花板中的一个或多个。

根据另一方面，实施例包括一种方法，该方法包括：产生表示第一计算机生成图像(CGI)和第二CGI的图像信息；以及将图像信息提供给可穿戴显示设备以在可穿戴显示设备的表面上产生包括第一CGI和第二CGI的显示图像，其中第一CGI表示处于显示图像中的第一位置的虚拟对象以与通过该表面可见的背景显示中包括的第一阴影图像重合；第二CGI表示对应于背景显示并且处于作为显示图像中的第二位置的图像以隐藏背景显示中包括的第二阴影图像的一部分。

根据另一方面，如本文所述的方法的实施例可以包括：在产生图像信息之前，处理指示穿戴可穿戴显示设备的用户的位置的位置信息；以及基于位置信息确定第一CGI的第一位置和第二CGI的第二位置。

根据另一方面，如本文所述的方法的实施例可以包括处理位置信息以确定背景显示中第一阴影图像的第三位置和背景显示中第二阴影图像的第四位置；产生表示背景显示的第二图像信息，该背景显示包括分别处于第三和第四位置的第一和第二阴影图像；以及将第二信息提供给第二显示设备以产生背景显示。

根据另一方面，实施例可以包括存储可运行程序指令的非暂时性计算机可读介质，以使运行指令的计算机执行根据本文所述的方法的任何实施例的方法。

根据另一方面，装置的实施例可以包括第一可穿戴显示设备和一个或多个处理器，该第一可穿戴显示设备包括一表面，该表面使穿戴该可穿戴显示设备的第一用户通过其能够观看替代现实环境的背景显示；该一个或多个处理器耦合到该第一可穿戴显示设备，并且被配置为:在该表面上产生第一计算机生成图像(CGI)和第二CGI的显示，这两个图像以及背景显示对于第一用户都是可见的；其中第一CGI的显示被定位成与背景显示中包括的第一阴影图像重合；第二CGI复制背景显示的一部分；并且第二CGI的显示被定位成隐藏背景显示中包括的第二阴影图像的一部分。

根据另一方面，如本文所述的装置的实施例可以包括由第二用户穿戴的第二可穿戴显示设备；其中，第一CGI表示从第一用户的视角观看到的虚拟对象，第二可穿戴显示设备显示表示从第二用户的视角观看到的并且被定位成与第二阴影图像重合的虚拟对象的第三CGI；并且第二可穿戴显示设备显示的第四CGI，其复制第二用户可见的并且被定位成隐藏在第二可穿戴显示器中可见的第一阴影图像的一部分的背景显示的第二部分。

根据另一方面，如本文所述的装置的实施例可以包括被配置为执行以下操作的装置：接收指示第一和第二用户在替代现实环境中的相应位置的位置信息；以及处理该位置信息以确定用于第一和第二CGI的显示位置。

根据另一方面，如本文所述的装置或系统的实施例可以包括服务器，该服务器提供要在替代现实环境的背景显示中显示的内容。

根据另一方面，如本文所述的装置或系统的实施例可以包括跟踪模块，该跟踪模块提供指示替代现实环境的每个用户在替代现实环境中的位置的信息。

根据另一方面，如本文所述的装置或系统的实施例可以包括处理位置信息，以及基于位置信息向背景显示和一个或多个可穿戴显示设备提供更新，其中更新包括第一和第二阴影图像中的至少一个的重新定位，以保持第一CGI与第一阴影图像对齐，并且第二CGI被定位成隐藏第二阴影图像的一部分。

根据另一方面，一种方法的实施例可以包括：在第一可穿戴显示设备的透明或半透明屏幕上产生第一和第二计算机生成图像CGI的显示，其中该屏幕使穿戴该可穿戴显示设备的第一用户能够通过该屏幕观看替代现实环境的背景显示，同时也观看第一和第二CGI；在透明屏幕上的第一位置处产生第一CGI，以与背景显示中包括的第一阴影图像重合；以及在透明屏幕上的第二位置处产生第二CGI，以隐藏背景显示中包括的第二阴影图像的一部分。

根据另一方面，如本文所述的装置或方法的实施例可以提供用于在替代现实环境的显示设备上产生背景显示；检测第一用户在替代现实环境中的位置，其中该用户穿戴第一头戴式显示(HMD)设备；向第一HMD设备提供使第一HMD设备能够在第一HMD设备的透明或半透明显示屏幕上显示第一和第二计算机生成(CGI)图像的信息，使第一用户能够通过该透明显示屏幕观看背景显示以及观看该显示屏上的第一和第二CGI，其中，该第一CGI表示看起来处于替代现实环境中并且看起来从第一用户在该虚拟现实环境中的相应位置观看到的虚拟对象；并且第一CGI被定位在屏幕上以与背景显示中包括的第一阴影图像重合，以增加第一CGI对于第一用户的表观不透明度，并且第二CGI复制背景显示的一部分，并且被定位在屏幕上以遮蔽背景显示中包括的第二阴影图像的一部分，以增加替代现实环境的第二用户穿戴的第二可穿戴显示设备中可见的第三CGI的表观不透明度。

根据本原理，如本文所述的装置或方法可以包括背景显示中包括的第一阴影图像，其为第一用户提供第一CGI的第一表观不透明度的第一增加，以及背景显示中包括的第二阴影图像，其提供替代现实环境的第二用户穿戴的第二可穿戴显示设备中可见的第三CGI的第二表观不透明度的第二增加。

根据另一方面，如本文所述的装置或方法的实施例可以包括处理跟踪信息以确定指示第一用户位置的位置信息；以及处理位置信息以确定第一设备的显示器中的第一和第二CGI的位置，使得第一CGI与背景显示中包括的第一阴影图像对齐以产生第一表观不透明度的第一增加，并且第二CGI与第二阴影图像对齐以降低第二阴影图像对第一用户的可见性。

根据另一方面，如本文所述的装置或方法或系统的实施例可以包括滤波以减少由第一和第二阴影图像的锐边引起的对第一用户可见的图像伪像。

根据另一方面，如本文所述的装置或系统的实施例可以包括第二可穿戴显示设备，该第二可穿戴显示设备包括第二透明或半透明屏幕，通过该屏幕能够观看背景显示，诸如穿戴第二可穿戴显示设备的第二用户的替代现实环境，其中第二可穿戴显示设备显示表示从第二用户的视角观看到的并且被定位成与第二阴影图像重合的虚拟对象的第三CGI；并且第二可穿戴显示设备显示第四CGI，其与第二可穿戴显示设备的第二视野内的背景显示的第二部分相对应，并且被定位成隐藏第二视野内的第一阴影图像的一部分。

根据另一方面，如本文所述的装置或系统的实施例可以包括由相应的多个用户使用的多个头戴式显示器(HMD)，其中多个用户中的每一个观看背景显示，多个HMD中的每一个从HMD的相应用户的视角显示第一CGI，多个HMD中的每一个显示与背景显示中包括的多个阴影图像中的相应的第一阴影图像对齐的第一CGI，多个阴影图像中的第二阴影图像的一部分在多个HMD中的每一个的视野内，多个HMD中的每一个显示其复制背景图像的相应部分并且被定位成防止观看多个阴影图像中的第二阴影图像的一部分的第二CGI。

Claims (15)

1.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置为:

向可穿戴显示设备提供图像信息，以在可穿戴显示设备的表面上产生显示图像，所述显示图像包括第一计算机生成图像CGI和第二CGI，其中

-所述第一CGI表示处于显示图像中的第一位置的虚拟对象，以与通过所述表面可见的背景显示中包括的第一阴影图像重合；以及

-所述第二CGI表示对应于背景显示并且处于显示图像中的第二位置的图像，以隐藏背景显示中包括的第二阴影图像的一部分。

2.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为产生图像信息，该图像信息包括表示所述第一CGI和所述第二CGI的信息，所述第一CGI处于显示图像中的第一位置，所述第二CGI处于显示图像中的第二位置。

3.一种头戴式显示器HMD或移动设备或服务器，包括根据权利要求1或2所述的装置。

4.一种系统，包括：

HMD，包括根据权利要求1所述的装置；

跟踪设备，产生指示穿戴HMD的用户的位置的跟踪信息；

第二显示设备；

服务器，被配置为:

向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；

基于跟踪信息和背景显示确定第一和第二位置；以及

产生表示第一CGI和第二CGI的图像信息，所述第一CGI处于显示图像中的第一位置，所述第二CGI处于显示图像中的第二位置。

5.一种系统，包括:

移动设备，包括根据权利要求1所述的装置；

跟踪设备，产生指示穿戴可穿戴显示设备的用户的位置的跟踪信息；

第二显示设备；

服务器，被配置为:

向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；

基于跟踪信息和背景显示确定第一和第二位置；以及

产生表示第一CGI和第二CGI的图像信息，所述第一CGI处于显示图像中的第一位置，所述第二CGI处于显示图像中的第二位置。

6.一种系统，包括:

根据权利要求3所述的服务器；

跟踪设备，产生指示穿戴可穿戴显示设备的用户的位置的跟踪信息；和

第二显示设备；

其中所述一个或多个处理器被配置为:

向第二显示设备提供表示背景显示的第二图像信息，以产生包括第一和第二阴影图像的背景显示；

基于跟踪信息和背景显示确定第一和第二位置；

产生包括第一CGI和第二CGI的图像信息；以及

向可穿戴显示设备提供所述图像信息。

7.根据权利要求1或2所述的装置，或根据权利要求3所述的HMD、移动设备或服务器，或根据权利要求4至6中任一项所述的系统，其中:

所述可穿戴显示设备的表面使得通过所述表面能够观看包括图像信息的显示图像和背景显示两者；

背景显示表示替代现实环境；

所述第一CGI表示替代现实环境中的虚拟对象；并且

从穿戴所述可穿戴显示设备的用户的视角来看，所述第一阴影图像看上去与所述第一CGI对齐，从而增强由所述第一CGI表示的虚拟对象的表观不透明度。

8.根据权利要求4至7中任一项所述的系统，还包括：

由第二用户穿戴的第二可穿戴显示设备；其中

所述第一CGI表示从第一用户的视角观看到的虚拟对象；

所述系统向第二可穿戴显示设备提供第三图像信息，所述第三图像信息表示包括第三CGI和第四CGI的第二显示图像；

所述第三CGI表示从第二用户的视角观看到的并且被定位成与所述第二阴影图像重合的虚拟对象；以及

所述第四CGI复制背景显示的第二部分，所述背景显示的第二部分是第二用户可见的并且被定位成隐藏在第二可穿戴显示器中可见的所述第一阴影图像的一部分。

9.根据权利要求8所述的系统，其中所述一个或多个处理器还被配置为滤波所述第一图像信息和所述第二图像信息中的至少一个，以减少与所述第一阴影图像和所述第二阴影图像中的至少一个的边缘相对应并且在第一和第二可穿戴显示设备中的至少一个中可见的图像伪像。

10.根据权利要求4至9中任一项所述的系统，其中，所述第二显示设备包括显示所述背景显示的一个或多个视频墙。

11.根据权利要求4至9中任一项所述的系统，其中所述第二显示设备包括形成替代现实洞穴的多个视频显示表面，所述多个视频显示表面包括所述洞穴的多个视频墙和所述洞穴的视频地板以及所述洞穴的视频天花板中的一个或多个。

12.一种方法，包括:

产生表示第一计算机生成图像CGI和第二CGI的图像信息；以及

将所述图像信息提供给可穿戴显示设备，以在所述可穿戴显示设备的表面上产生包括所述第一CGI和所述第二CGI的显示图像，其中

-所述第一CGI表示处于显示图像中的第一位置的虚拟对象，以与通过所述表面可见的背景显示中包括的第一阴影图像重合；以及

-所述第二CGI表示对应于背景显示并且处于作为显示图像中的第二位置的图像，以隐藏背景显示中包括的第二阴影图像的一部分。

13.根据权利要求12所述的方法，还包括：

在产生所述图像信息之前，处理用于指示穿戴所述可穿戴显示设备的用户的位置的位置信息；以及

基于所述位置信息确定所述第一位置和所述第二位置。

14.根据权利要求13所述的方法，还包括：

处理所述位置信息以确定背景显示中第一阴影图像的第三位置和背景显示中第二阴影图像的第四位置；

产生表示背景显示的第二图像信息，所述背景显示包括分别处于所述第三和第四位置的第一和第二阴影图像；以及

向第二显示设备提供第二信息以产生背景显示。

15.一种存储可运行程序指令的非暂时性计算机可读介质，使得运行指令的计算机执行根据权利要求12至14中任一项所述的方法。

Images