CN113660539B - 用于渲染视觉对象的方法及装置 - Google Patents

Abstract

本公开涉及用于渲染视觉对象的方法及装置。访问描述表示于一个或多个多视角未分层图像中的三维(3D)图像空间中的视觉对象的空间定位的空间信息。基于所述空间信息，从所述一个或多个多视角未分层图像生成影院图像层和一个或多个设备图像层。将包括所述影院图像层和所述设备图像层的多层多视角视频信号发送至下游设备以供渲染。

Description

用于渲染视觉对象的方法及装置

本申请是申请日为2018年4月10日、申请号为201880011840.4、发明名称为“分层的增强型娱乐体验”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2017年4月11日提交的美国临时申请号62/484,121的优先权权益，所述美国临时申请通过引用以其全文并入本文。

技术领域

本发明总体上涉及三维(3D)娱乐体验，并且更具体地涉及分层的增强型3D娱乐体验。

背景技术

当观看真实世界场景中的真实世界对象时，人类大脑利用调节过程来控制睫状肌，使位于两只眼睛的瞳孔后方的每只眼睛晶状体调节成特定焦距(或焦度)，以聚焦于真实世界对象上。同时，人类大脑利用聚散过程来控制眼外肌，使两只眼睛同时朝向真实世界对象会聚或发散，以支持将真实世界对象感知为3D对象。

通过比较，当观看3D图像中描绘的对象时，人类大脑利用调节过程来控制睫状肌，使观看者眼睛的眼睛晶状体固定，以聚焦于(例如，影院等)显示器上，从而支持对于在显示器上渲染的3D图像的清晰视觉，而不论3D图像中所描绘的对象应位于何处。同时，人类大脑利用聚散过程来控制眼外肌，使眼睛同时朝向3D图像中所描绘的对象会聚或发散，以支持将所描绘的对象感知为3D对象。

如果所描绘的对象具有相对大的负视差(parallax)并且因此在视觉上被感知为相对靠近显示器前方的眼睛，则调节过程仍尝试将眼睛集中于显示器上，同时聚散(vergence)过程试图使眼睛以相对较近的距离向所描绘的对象会聚或发散，从而导致调节与聚散冲突。3D图像观看中的这种调节与聚散冲突容易导致严重的生理不适/疾病；因此，很少使用相对大的负视差，尤其是在影院3D娱乐体验中。

在这一部分中描述的方法是可以寻求的方法，但不一定是之前已经设想到或寻求的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。

发明内容

根据本公开的一个方面，涉及一种方法，包括：接收包括影院图像层中的一个或多个单层影院图像以及一个或多个设备图像层中的一个或多个单层设备图像的多层多视角视频信号，所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像是之前从一个或多个多视角未分层图像得到的；从所述多层多视角视频信号的所述影院图像层取得所述一个或多个单层影院图像，所述一个或多个单层影院图像描绘原本通过所述一个或多个多视角未分层图像描绘的多个视觉对象中的一个或多个视觉对象的第一适当子集；从所述多层多视角视频信号的所述一个或多个设备图像层取得所述一个或多个单层设备图像，所述一个或多个设备图像描绘原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集；使得在3D空间中的影院显示器上向观看者渲染在所述一个或多个单层影院图像中描绘的视觉对象的第一适当子集；使得在所述3D空间中的设备显示器上向所述观看者同时渲染在所述一个或多个单层设备图像中描绘的视觉对象的一个或多个第二适当子集；其中，在所述影院显示器上渲染的所述视觉对象的第一适当子集和在所述设备显示器上渲染的所述视觉对象的一个或多个第二适当子集共同描绘原本通过所述一个或多个多视角未分层图像描绘的、定位在3D图像空间中的相同空间定位处的所述多个视觉对象；其中，描述所述3D图像空间中的所述多个视觉对象所处的空间定位的空间信息之前用于将原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象划分成所述影院图像层和所述一个或多个设备图像层。

根据本公开的一个方面，涉及一种方法，包括：访问描述在表示于一个或多个多视角未分层图像中的三维(3D)图像空间中的多个视觉对象的空间定位的空间信息，所述一个或多个多视角未分层图像中的每一个包括与多个观看方向相对应的多个单视角未分层图像；基于描述在表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象的所述空间定位的所述空间信息，执行以下操作：从所述一个或多个多视角未分层图像生成影院图像层，所述影院图像层包括一个或多个单层影院图像，所述一个或多个单层影院图像描绘所述多个视觉对象中的一个或多个视觉对象的第一适当子集；从所述一个或多个多视角未分层图像生成一个或多个设备图像层，所述一个或多个设备图像层中的每一个包括一个或多个单层设备图像，所述一个或多个单层设备图像描绘所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集；将包括所述影院图像层中的所述一个或多个单层影院图像以及所述一个或多个设备图像层中的所述一个或多个单层设备图像的多层多视角视频信号发送至一个或多个下游设备以供渲染，

其中，使用一个或多个层分离面将表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象分离到所述影院图像层和所述一个或多个设备图像层中，并且其中，所述一个或多个层分离面中没有一个层分离面的空间位置与要用于渲染从所述影院图像层中的所述单层影院图像生成的影院显示图像的影院显示器的空间位置重合。

根据本公开的一个方面，涉及一种方法，包括：访问描述在表示于一个或多个多视角未分层图像中的三维(3D)图像空间中的多个视觉对象的空间定位的空间信息，所述一个或多个多视角未分层图像中的每一个包括与多个观看方向相对应的多个单视角未分层图像；基于描述在表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象的所述空间定位的所述空间信息，执行以下操作：从所述一个或多个多视角未分层图像生成影院图像层，所述影院图像层包括一个或多个单层影院图像，所述一个或多个单层影院图像描绘所述多个视觉对象中的一个或多个视觉对象的第一适当子集；从所述一个或多个多视角未分层图像生成一个或多个设备图像层，所述一个或多个设备图像层中的每一个包括一个或多个单层设备图像，所述一个或多个单层设备图像描绘所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集；将包括所述影院图像层中的所述一个或多个单层影院图像以及所述一个或多个设备图像层中的所述一个或多个单层设备图像的多层多视角视频信号发送至一个或多个下游设备以供渲染，

其中，所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像中的至少一个是使用通过张量映射生成的3D像素分布来生成的。

根据本公开的一个方面，涉及一种装置，所述装置执行根据本公开所述的方法。

根据本公开的一个方面，涉及一种系统，所述系统执行根据本公开所述的方法。

根据本公开的一个方面，涉及一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储软件指令，所述软件指令当由一个或多个处理器执行时，使得执行根据本公开所述的方法。

根据本公开的一个方面，涉及一种计算设备，所述计算设备包括一个或多个处理器以及存储指令集的一个或多个存储媒介，所述指令集当由一个或多个处理器执行时，使得执行根据本公开所述的方法。

附图说明

在附图中以示例而非限制的方式来展示本发明，并且其中相似的附图标记指代相似的元件，并且在附图中：

图1A图示了多视角(multi-view)图像中描绘的示例3D视觉对象；图1B至图1E图示了观看者要在其中使用影院显示器和可穿戴设备的设备显示器观看如多视角图像中所描绘的多个视觉对象的示例3D空间；

图1F图示了由张量映射得到的示例3D像素分布；图1G图示了来自基于张量映射(tensor map)生成的未分层视角图像的示例单层图像；图1H图示了图像渲染操作中重构的张量映射；

图2A至2C图示了增强型娱乐系统的示例配置；

图3A和图3B图示了影院显示器在其中充当多个观看者的共享显示器的示例多观看者环境；

图4A和图4B图示了示例过程流程；并且图5图示了可以在其上实施本文所描述的计算机或计算设备的示例硬件平台。

具体实施方式

本文描述了涉及分层的增强型3D娱乐体验的示例实施例。在以下说明中，出于解释的目的，阐述了许多特定细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些特定细节的情况下实施本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。

在此根据以下概要对示例实施例进行描述：

1.总体概述

2.增强型娱乐体验

3.分层图像生成

4.张量映射

5.分层图像编码器及增强型娱乐系统

6.示例过程流程

7.实施机制——硬件概述

8.等效、扩展、替代及其他

1.总体概述

此概述介绍了对本发明的示例实施例的某些方面的基本描述。应当注意的是，此概述不是对示例实施例的各方面的广泛或详尽总结。此外，应当注意的是，此概述不旨在被理解为确认示例实施例的任何特别重要的方面或要素，也不旨在被理解为特别地描绘示例实施例的任何范围，也不是概括地描绘本发明。此概述仅以压缩和简化的格式介绍与示例实施例相关的一些概念，并且应被理解为仅仅是以下示例实施例的更详细说明的概念性前序。注意，尽管本文讨论了单独的实施例，但是可以组合本文讨论的实施例和/或部分实施例的任何组合以形成进一步实施例。

本文所述的技术可以与3D技术一起使用以提供增强型娱乐体验，其中，观看者可以使用共享显示器和观看者的可穿戴设备的个人设备显示器的组合来观看描绘统一图像空间中的3D对象的图像。通过示例而非限制的方式，共享显示器可以是影院显示器，如与以下任一项相关联的显示器：Dolby 3D、RealD、基于线偏振的3D、基于圆偏振的3D、基于光谱空间分离的3D等。可穿戴设备的设备显示器可以是与共享显示器有关的可移动显示器，如与图像投影仪相关联的显示器、AR显示器、全息透镜(HoloLens)显示器、Magic Leap显示器、混合现实(MR)显示器、张量显示器、立体(volumetric)显示器、光场(LF)显示器、Immy显示器、元显示器、一副相对简单的AR眼镜、具有任何广泛的克服调节与聚散冲突的能力的显示器等。示例可穿戴设备和设备显示器可见于由Ajit Ninan和Neil Mammen于2018年4月4日提交的申请名称为“AUGMENTED 3D ENTERTAINMENT SYSTEMS(增强型3D娱乐系统)”的美国专利申请号15/945,237中，所述美国专利申请的全部内容如同在此充分阐述的那样通过引用并入本文。

2D或3D影院图像可以显示在影院显示器上。观看影院图像的观看者可以在渲染于设备显示器上的设备图像中同时看到(或视觉上感知到)附加的3D对象或附加的3D深度信息。设备图像中描绘的一些附加的3D对象可能好像从观看者前方的影院显示器上弹出一样。观看者可以跟踪这些3D对象中的任何3D对象，就好像这种3D对象实际地存在于观看者所处的3D(物理)空间中一样。当观看者在3D对象周围移动时，观看者可以在3D对象周围看到3D对象的之前遮蔽的具有增加/增强维度或深度的真实感的视觉细节。因此，通过设备图像和影院图像的组合，观看者可以通过响应于观看者的头部运动而看到不同的视差来获得对象正漂浮在周围的(例如，精神视觉上的、精神物理学上的)感觉。

可以将设备显示器设置为在一个或多个图像平面处虚拟地或物理地定位成相对靠近观看者。因此，即使当观看者观看设备图像中描绘的相比于影院图像中描绘的对象可能被定位成相对靠近观看者的3D对象时，设备图像中描绘的3D对象相对于渲染设备图像的设备显示器(或与设备显示器相关联的图像平面)仍具有正视差。因此，依据本文所述的技术，可以避免或大大改善在其他方法下可能引起的调节与聚散冲突。设备显示器可以在观看者前方的单个距离的单个图像平面上或多个不同距离(例如，通过时分复用等)的多个图像平面处显示或投影设备显示图像。图像平面的这些距离可以是固定的或自动可调的。具有相距观看者(多个)自动可调距离的(多个)图像平面的示例设备显示器可见于2017年10月30日提交的申请名称为“EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES(具有可变焦透镜的眼镜设备)”的美国专利申请号15/798,274，所述美国专利申请的全部内容如同在此充分阐述的那样通过引用并入本文。

因此，依据本文所述的技术的可穿戴设备为观看者提供了至少两个不同深度的图像平面，其中影院图像和设备图像同步地在所述图像平面处渲染。所述至少两个图像平面的第一图像平面与影院显示器的图像平面相对应，而所述至少两个图像平面的一个或多个第二图像平面与设备显示器的图像平面相对应。

多视角未分层(例如，预分层的、非分层的、整体的、单一的等)图像中描绘的视觉对象可以虚拟地定位在表示于多视角图像中的3D图像空间中的各个空间定位中。如本文所使用的，多视角未分层图像是指将应用分层图像生成操作的多视角图像。

基于空间定位，可以将多视角未分层图像中描绘的视觉对象划分成不同的图像层。对于每个多视角未分层图像来说，每个图像层包括描绘视觉对象的子集的单层图像。

在不同的图像层中，影院图像层可以包括描绘多视角未分层图像中相对远离位于参考空间定位处的观看者的视觉对象子集的单层图像，如在影院显示器附近或后方的那些视觉对象。一个或多个设备图像层可以包括描绘多视角未分层图像中相对靠近位于参考空间定位处的观看者的一个或多个视觉对象子集的单层图像，如好像在观看者面前从影院显示器弹出的视觉对象。

影院图像层中的单层图像可以用于得到要在影院显示器上渲染的影院显示图像，而设备图像层中的单层图像可以用于得到要用可穿戴设备的设备显示器渲染的设备显示图像。可以使用在影院显示器上渲染的影院显示图像中描绘的3D图像空间的一部分将3D图像空间锚定或投影在3D物理空间中。设备显示图像中描绘的3D图像空间的其他部分可以在空间上变换为与影院显示图像中描绘的3D图像空间的一部分无缝地邻接。可以根据可穿戴设备的对应的空间定位和/或空间方向将不同的空间变换应用于不同的可穿戴设备，使得在不同的可穿戴设备中单独描绘的3D图像空间的其他部分可以与在影院显示图像中描绘的3D图像空间的一部分无缝地邻接。

单一图像渲染器或多个图像渲染器可以用于同时驱动影院图像渲染操作和设备图像渲染操作。存在于3D空间(例如，影院、影剧院等)中的多个观看者可以向图像渲染器注册其可穿戴设备，以体验增强型娱乐会话。

在一些实施例中，可穿戴设备可以自动注册。例如，可以将设备跟踪器部署在3D空间中以在3D空间中跟踪/监测可穿戴设备的空间位置和空间方向。另外地、可选地或可替代地，设备跟踪器可以通过远程设备跟踪/监测来获得可穿戴设备的设备ID信息，如MAC地址、网络地址、IP地址等。可穿戴设备的设备ID信息、空间位置和空间方向可以用于注册可穿戴设备并将设备显示图像递送到正确的MAC地址、网络地址、IP地址等处的已注册的可穿戴设备。示例设备跟踪可见于由Ajit Ninan和Neil Mammen于2018年4月10日提交的申请名称为“PASSIVE MULTI-WEARABLE-DEVICES TRACKING(无源的多个可穿戴设备的跟踪)”的美国专利申请号15/949,536，所述美国专利申请的全部内容如同在此充分阐述的那样通过引用并入本文。

依据本文所述的技术，从不同的图像层得到的多个显示图像可以在设备显示器和影院显示器上同时渲染，并且可以提供或重构3D图像空间的无缝外观，其中，所有视觉对象定位于如之前在原始多视角未分层图像中描绘的相同的空间定位处，不同的图像层的多个显示图像是从所述原始多视角未分层图像中直接或间接得到的。

多视角未分层图像可以包括对应于不同的视角(例如，观看方向、视场等)的未分层(单个)视角图像。基于与多视角未分层图像中的每个未分层视角图像相关联的深度信息，可以在分层图像生成操作中构建(例如，x、y、z维度/坐标/轴等中的3阶的)张量映射，以在3D图像空间中生成多视角未分层图像中的未分层视角图像的像素分布。由张量映射生成的像素分布中的像素以x、y和z维度/坐标/轴(例如，图像帧的列、图像帧的行、深度等)表示。考虑到张量映射，例如，可以用层分离面生成单层图像。基于张量映射的图像层生成操作可以应用于多视角未分层图像中的视角图像中的每个视角图像，以生成不同的图像层中的每个这种视角图像的单层图像。

张量映射还可以用于图像渲染操作中。例如，当使用单层图像生成用于用观看者的可穿戴设备渲染的显示图像时，可以基于可穿戴设备的实际空间位置和实际空间方向通过平移、旋转、缩放等在空间上变换单层图像或显示图像。

由影院图像层中的单层图像生成的影院显示图像可以与深度信息一起使用，以重构张量映射的一部分，所述张量映射的一部分对应于3D图像空间的一部分。由一个或多个设备图像层中的单层图像生成的设备显示图像可以与深度信息一起使用，以重构3D图像空间的其他部分。可以基于可穿戴设备的特定空间位置和/或特定空间方向单独生成用于可穿戴设备的设备显示图像，约束条件是：从设备显示图像中构建的张量映射的其他部分与从影院显示图像中构建的同一张量映射的该部分无缝地邻接。因此，依据本文所述的技术，如通过影院显示图像与设备显示图像的组合渲染的3D图像空间准确地或如实地再现了原本在多视角未分层图像中描绘的3D图像空间。

本文所述的示例实施例涉及生成图像层。访问描述在表示于一个或多个多视角未分层图像中的三维(3D)图像空间中的多个视觉对象的空间定位的空间信息。所述一个或多个多视角未分层图像中的每一个包括与多个观看方向相对应的多个单视角未分层图像。基于描述在表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象的所述空间定位的所述空间信息，执行以下操作：由所述一个或多个多视角未分层图像生成影院图像层，所述影院图像层包括一个或多个单层影院图像，所述单层影院图像描绘所述多个视觉对象中的一个或多个视觉对象的第一适当子集；由所述一个或多个多视角未分层图像生成一个或多个设备图像层，所述一个或多个设备图像层中的每一个包括一个或多个单层设备图像，所述单层设备图像描绘所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集等。将包括所述影院图像层中的所述一个或多个单层影院图像和所述一个或多个设备图像层中的所述一个或多个单层设备图像的多层多视角视频信号发送至一个或多个下游设备以供渲染。

本文所述的示例实施例涉及渲染由图像层生成的影院显示图像和设备显示图像。接收包括影院图像层中的一个或多个单层影院图像和一个或多个设备图像层中的一个或多个单层设备图像的多层多视角视频信号。所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像预先从一个或多个多视角未分层图像中得到。从所述多层多视角视频信号的所述影院图像层中取得所述一个或多个单层影院图像。所述一个或多个单层影院图像描绘原本通过所述一个或多个多视角未分层图像描绘的多个视觉对象中的一个或多个视觉对象的第一适当子集。从所述多层多视角视频信号的所述一个或多个设备图像层中取得所述一个或多个单层设备图像。所述一个或多个设备图像描绘原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集。使得在3D空间中的影院显示器上向观看者渲染在所述一个或多个第一多视角单层图像中描绘的所述视觉对象的第一适当子集。使得同时在所述3D空间中的设备显示器上向所述观看者渲染在所述一个或多个第二多视角单层图像中描绘的所述视觉对象的一个或多个第二适当子集。在所述影院显示器上渲染的所述视觉对象的第一适当子集和在所述设备显示器上渲染的所述视觉对象的一个或多个第二适当子集共同描绘原本通过所述一个或多个多视角未分层图像描绘的、定位在3D图像空间中的相同空间定位处的所述多个视觉对象。描述在所述3D图像空间中所述多个视觉对象所处的空间定位的空间信息之前用于将原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象划分离到所述影院图像层和所述一个或多个设备图像层中。

在一些示例实施例中，本文所描述的机制形成媒体处理系统的一部分，所述机制包括但不限于以下各项中的任何一项：基于云的服务器、移动设备、虚拟现实系统、增强现实系统、抬头显示设备、头盔式显示设备、CAVE式系统、墙壁尺寸的显示器、视频游戏设备、显示器设备、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于家庭的系统、通信设备、视频处理系统、视频编解码器系统、制作室系统、流式服务器、基于云的内容服务系统、手持式设备、游戏机、电视机、影院显示器、膝上型计算机、上网本计算机、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服务器、计算机亭、或各种其他类型的终端和媒体处理单元。

对优选实施例和通用原理以及在此描述的特征作出的各种修改对本领域的技术人员而言将是显而易见的。因此，本公开不旨在受限于所示实施例，而旨在符合与本文描述的原理和特征一致的最大范围。

2.增强型娱乐体验

在一些示例实施例中，本文所描述的技术可以用于用共享显示器(例如，影院显示器等)和可穿戴设备的设备显示器来呈现整合的(例如，3D、多视角等)图像内容，以增强/提高观看者的娱乐体验。当在影院显示器上观看影院图像内容时，观看者可以同时观看使用观看者所使用的可穿戴设备的设备显示器渲染的设备图像内容。可以从多视角未分层图像中得到的影院图像内容和设备图像内容共同呈现原本在同一多视角未分层图像中描绘的所有视觉对象。

可穿戴设备及其附带的设备显示器表示对作为平面娱乐屏幕(如电视等)的影院显示器等的补充。例如，可穿戴设备可以是一副由观看者佩戴的AR眼镜。可穿戴设备可以实施左眼和右眼分离技术，以在影院显示器上观看3D内容。同时，可穿戴设备(或其具有的成像器)可以渲染设备图像内容，同时在影院显示器上渲染2D或3D影院图像内容。因此，可穿戴设备可以将新的维度或新的深度范围添加到可以单独由影院显示器以其他方式提供的维度或深度范围。

在影院显示器上渲染3D影院图像内容的情况下，在可穿戴设备上渲染的设备图像内容可以是3D设备图像内容。在一些实施例中，如通过可穿戴设备渲染的3D设备图像内容可以(例如，大部分地、基本上地、部分地等)聚焦于观看者与影院显示器之间的视觉对象上。如果在影院显示器上渲染，则这种3D图像内容部分将具有负的视差和深度。通过对比的方式，依据本文所述的技术，观看者与影院显示器之间的3D图像内容部分可以用可穿戴设备在具有正的视差和深度的情况下显示。因此，可以向在如渲染于影院显示器上具有负视差的视觉对象与如通过可穿戴设备渲染的还具有正视差的视觉对象之间的观看者提供很大程度上舒适的过渡。

在影院显示器上渲染2D影院图像内容的情况下，在AR眼镜上渲染的设备图像内容可以是补充2D影院图像内容的3D设备图像内容。如通过可穿戴设备渲染的3D设备图像内容可以(例如，大部分地、基本上地、部分地等)聚焦于整体图像内容中的3D图像内容部分上，所述3D图像内容部分将视觉对象描绘为位于观看者与影院显示器之间并且可选地相对于观看者位于影院显示器后方的3D对象，其中，根据可穿戴设备的空间位置和/或空间方向，适当地遮挡和/或去遮挡3D细节。如果在影院显示器上渲染，则这些3D图像内容部分中的一些将具有负的视差和深度。通过对比的方式，依据本文所述的技术，观看者与影院显示器之间的以及甚至位于影院显示器后方的所有3D图像内容部分可以通过AR眼镜在具有正的视差和深度的情况下显示。因此，当观看者跟踪在影院显示器上渲染的以及如用可穿戴设备渲染的视觉对象时，可以为观看者提供很大程度上舒适的且无缝的过渡。

与将视觉对象限制在影院显示器前方很浅的深度或尝试通过在具有相对大的负视差的情况下显示视觉对象来增加深度的其他方法相比，如本文所述的技术下的方法可以用于在影院显示器前方在具有相对较大的深度的情况下显示视觉对象，而无需引入相对较大的负视差。因此，如本文所述的技术可以提供有效的解决方法以防止或解决调节与聚散冲突。

仅当影院显示器(而非如本文所述的可穿戴设备)用于渲染3D视觉对象时，特定3D视觉对象可以从影院显示器的后方过渡到影院显示器的前方。如果特定3D视觉对象离影院显示器太远，则影院图像内容可能不能渲染特定3D视觉对象，因为特定3D视觉对象可能会移动到由影院显示器支持的立体观看角度范围之外。

通过对比，依据本文所述的技术，特定3D视觉对象可以用可穿戴设备来显示或渲染，以支持比可能单独由影院显示器以其他方式支持的观看角度范围更大的观看角度范围。因此，观看者可以在更大的观看角度范围内继续在视觉上跟踪特定3D视觉对象，而无需限制于或受限于单独由影院显示器支持的立体角。

可以用各种共享显示器中的共享显示器和各种可穿戴设备中的可穿戴设备的组合来实施本文所述的技术。与用单一共享显示器或单一专用显示器显示3D图像相反，多个显示器可以同时用于显示由同一多视角图像内容生成的多个图像层。可以渲染这些图像层中的每一个，以描绘具有正视差或深度(或不大于容许量的负视差)的视觉对象。示例可穿戴设备包括但不一定仅限于以下各项中的一些或全部：图像投影仪、AR显示器、全息透镜显示器、Magic Leap显示器、混合现实(MR)显示器、张量显示器、立体显示器、光场(LF)显示器、Immy显示器、元显示器、一副相对简单的AR眼镜、具有任何广泛的克服调节与聚散冲突的能力的显示器等。

可穿戴设备可以是相对简单的AR系统，所述AR系统投影于、聚焦于具有相对较近的距离或调节点的单一图像平面(例如，虚拟显示器、真实显示器、LF显示器等)上。可以给予观看者使用可穿戴设备的选项，以避免负视差和/或在由影院显示器支持的深度范围处除了用影院显示器呈现的2D或3D图像内容或视觉对象之外还同步观看附加的3D图像内容或视觉对象。因此，可以将差异化的观看体验提供给观看者，并且诱使意识(mind)把在具有多个深度的多个显示器上渲染的多个图像层实际地当成是在具有强大的深度范围的单个显示器上渲染的整体图像内容。人类大脑可以容易地接受(或可以容易地适应于)这些感知，因为如本文所述的增强型娱乐体验与具有相对较大的负视差的观看体验相比在生理上更舒适，并且表示比由具有相对较大的负视差的观看体验所表示的心理接受阈值更低的心理接受阈值。

3.分层图像生成

图1A图示了多视角未分层图像中描绘的示例3D视觉对象(例如，118，120等)。多视角未分层图像可以包括与多个不同的视角(例如，观看方向、视场等)相对应的多个未分层(单个)视角图像。多视角未分层图像的所述多个未分层视角图像中的每个未分层视角图像可以与所述多个不同的视角中的对应视角相对应。例如，多视角未分层图像可以包括与左视角(例如，要向观看者的左眼渲染等)相对应的第一未分层视角图像和与右视角(例如，要向观看者的右眼渲染等)的第二未分层视角图像。

在一些实施例中，多视角未分层图像描绘了3D图像空间196中的多个(3D)视觉对象。为了简单起见，只有两个(3D)视觉对象(120和118)位于3D图像空间(196)中，如图1A所图示的。然而，应注意，本文所述的多视角未分层图像可以描绘任何数量的(3D)视觉对象。示例视觉对象可以包括但不必限于：人类、化身、计算机生成的图形、动物、植物、山川、河流、天空、房屋、公园、桥梁、飞机、汽车、船舶或可以向人类的视觉系统渲染并被人类的视觉系统感知的其他视觉对象等。

可以通过各种捕捉设备的任何组合从物理或虚拟3D场景中获得/捕捉/合成多视角未分层图像，所述多视角未分层图像可以物理地或虚拟地在3D场景中呈现。在一些实施例中，视觉对象模型可以用于渲染或生成多视角未分层图像中的一些或全部图像部分。示例捕捉设备包括但不必限于：工作室相机、多视角相机、光场相机、包括微透镜元件的相机、HDR相机、移动电话相机、与计算设备集成的相机、结合计算设备操作的相机、非专业相机、专业相机、虚拟相机、计算机图像生成器、计算机图像渲染器、计算机图形生成器、计算机动画器(animator)、虚拟图像生成器等。应注意，从其中得到多视角未分层图像的三维场景可能是完全的物理3D场景、完全的虚拟3D场景、或一个或多个物理3D场景和/或一个或多个虚拟3D场景的组合。

3D图像空间(196)可以表示从中获得/捕捉/合成多视角未分层图像的3D场景的一部分。3D图像空间(196)的示例可以包括但不一定仅限于以下场景之一：整个3D场景、3D场景的一个或多个突出部分、3D场景的一个或多个详细部分、相对较大的3D场景、相对较小的3D场景等。

图1B图示了示例3D空间126，在所述3D空间中，观看者被定位成通过用如影院显示器104、由观看者使用的可穿戴设备的设备显示器116等(图像)显示器渲染的图像来观看3D图像空间(196)中的所述多个视觉对象。

3D空间(126)的示例可以包括但不一定仅限于以下各项中的任一项：参考3D空间、物理空间、影院、剧场、音乐厅、礼堂、游乐场、酒吧、家、房间、展厅、会场、酒吧、船舶、飞机等。3D空间(126)可以是三维体积空间位置，所述三维体积空间位置可以表示于相对于3D空间(126)静止的三维空间坐标系(例如，参考坐标系、世界坐标系等)中。

通过说明性而非限制性的方式，用于表示3D空间(126)中的空间位置的静止三维空间坐标系可以是3D空间(126)的左下角中描绘的参考笛卡儿坐标系。参考笛卡儿坐标系可以包括位于参考空间位置处的表示为“p”的坐标系原点，如图1B中所示。参考空间位置“p”可以选自相对于3D空间(126)静止的任何空间位置。

多视角未分层图像中描绘的3D图像空间(196)的大小可以或可以不与其中显示器用于渲染多视角未分层图像中的所述多个视觉对象的3D空间(126)的大小相同。根据与多视角未分层图像有关的特定图像内容(例如，广阔的景观、狭小的房间等)或显示应用，如渲染的3D图像空间(196)可以(例如，远远等)大于或小于观看者(112-0)和显示器(例如，104，116等)所处的3D空间(126)。

依据本文所述的技术渲染所述多个视觉对象允许观看者(112-0)具有在3D图像空间(196)中呈现的以下用户体验：如同观看者(112-0)所处的3D空间(126)被合并、融合或投影到3D图像空间(196)中一样，或者如同视觉对象(例如，118，120等)是存在于3D空间(126)中或作为其一部分的实际3D对象一样。

在一些实施例中，实施本文所述的技术中的一些或全部的增强型娱乐系统从多视角未分层图像中取得由如分层图像编码器(例如，图2A的180等)等上游设备之前生成的多个图像层中的单层图像，由已接收的单层图像生成影院显示图像和设备显示图像，并且在包括由观看者使用的可穿戴设备的设备显示器的3D空间(126)中的多个显示器(例如，104，116等)上渲染影院显示图像和设备显示图像，而不是在3D空间(126)中的单个显示器上直接渲染多视角未分层图像(或其中的单视角未分层图像)。

在一些实施例中，上游设备或分层图像编码器(图2A的180)访问描述所述多个视觉对象中的每个视觉对象在多视角未分层图像中描绘的3D图像空间(196)中的空间定位的空间信息。空间信息的示例可以包括但不一定仅限于以下信息中的一种或多种信息：深度图像、差异(disparity)信息、极线信息、3D网格等。

基于描述在表示于所述一个或多个多视角未分层图像中的3D图像空间(196)中的所述多个视觉对象的空间定位的空间信息，分层图像编码器(图2A的180)从多视角未分层图像生成所述多个图像层。

所述多个图像层中的每个图像层包括一个或多个多视角单层图像，所述多视角单层图像描绘在多视角未分层图像中描绘(例如，原本的、之前的等)的多个视觉对象中的一个或多个视觉对象的适当子集。

各种选择性因素、空间关系阈值、空间关系标准等的任何组合可以用于从在多视角未分层图像中描绘的所述多个视觉对象当中选择待包括在所述多个图像层中的特定图像层中的视觉对象。示例选择性因素、空间关系阈值、空间关系标准等包括但不一定仅限于以下各项中的一个或多个：显示器在3D空间(126)中的空间定位；观看者(112-0)在3D空间(126)中的空间定位；视觉对象的与显示器或观看者(112-0)的空间定位有关的空间位置；视觉对象在3D空间(126)中相对于观看者(112-0)的空间方向；视觉对象的相对艺术重要性；视觉对象的视觉特性(例如，亮度、颜色等)；视觉对象的运动特征(例如，移动对象、静止对象、背景等)；视觉对象的过去空间定位；视觉对象的过去空间方向；等等。

通过示例而非限制的方式，可以基于在多视角未分层图像中描绘的视觉对象的深度从多视角未分层图像生成所述多个图像层。如图1B所图示的，多视角未分层图像的3D图像空间(196)可以(例如，参考、实际等)相对于定位于3D空间(126)中静止的(例如，参考等)空间位置192处的观看者(112-0)而投影或叠加到3D空间(126)中。可以沿着观看者(112-0)的参考空间方向相对于观看者(112-0)的参考空间位置(192)测量在多视角未分层图像中描绘的所述多个视觉对象中的视觉对象的深度。观看者(112-0)的此参考空间方向可以被确定为由观看者(112-0)使用的可穿戴设备的正面观看方向——所述正面观看方向源于观看者(112-0)朝着影院显示器((104))的参考空间位置(192)，并且在影院显示器(104)处垂直地截断。

可以将影院显示器(104)用作3D空间(126)中的例如用于由单个观看者或多个观看者观看的静止显示器。设备显示器(116)可以是由包括观看者(112-0)的观看者使用的单独可穿戴设备的单独显示器当中的特定显示器，并且可能不一定静止于3D空间(126)中。

依据本文所述的技术，由观看者(112-0)使用的可穿戴设备的设备显示器(116)和在观看者当中共享的影院显示器(104)用于向观看者(112-0)渲染从多视角未分层图像生成的所述多个图像层中的单层图像。

如图1B所图示的，分层图像编码器可以使用层分离面194将相对于观看者(112-0)位于层分离面(194)处或后方的第一适当视觉对象子集(例如，118等)划分成影院图像层。影院图像层包括由多视角未分层图像的所述多个未分层视角图像中描绘第一适当视觉对象子集(例如，118等)的图像部分生成的多个第一多视角单层图像。

进一步地，分层图像编码器可以使用层分离面(194)将相对于观看者(112-0)位于层分离面(194)前方的一个或多个第二适当视觉对象子集(例如，120等)划分成一个或多个设备图像层。一个或多个第二适当视觉对象子集(例如，120等)中的每个第二适当子集与一个或多个设备图像层中的对应的设备图像层相对应。对应的图像层包括由多视角未分层图像的所述多个未分层视角图像中描绘每个这种第二适当视觉对象子集(例如，118等)的对应的图像部分生成的对应多个第二多视角单层图像。因此，所述一个或多个设备图像层包括由多视角未分层图像的所述多个未分层视角图像中描绘所述视觉对象的一个或多个第二适当子集(例如，118等)的图像部分生成的一个或多个第二多视角单层图像。

除了如图1B所图示的一个层分离面194之外，在一些实施例中，可以使用零个或多个附加的层分离面使所述一个或多个设备图像层彼此划分。例如，在存在多个第二适当视觉对象子集的情况下，附加的层分离面可以用于在一个或多个第二适当视觉对象子集(例如，120等)当中将一个子集与另一个子集分开或区分。在一些实施例中，视觉对象(例如，3D对象等)可以横跨多于一个图像层。例如，如汽车等视觉对象可以使视觉对象的一部分(如汽车的前部分)处于第一设备图像层中并使视觉对象的其他部分(如汽车的后部分)处于一个或多个第二设备图像层中。另外地、可选地或可替代地，如文本所述的视觉对象可以横跨影院图像层以及设备图像层中的一个或多个设备图像层。

如图1C所图示的，由观看者(112-0)使用的可穿戴设备可以包括来自观看者(112-0)的参考空间位置(192)的一个或多个设备显示器116-1、116-2等(或具有不同图像平面深度的单个设备显示器)。如由层分离面(194)划分的影院图像层中的单层图像可以用于生成在影院显示器(104)处渲染/显示的影院显示图像。如进一步由层分离面(194-1)划分的所述一个或多个设备图像层之一中的单层图像可以用于生成在设备显示器(116-1)处渲染/显示的设备显示图像。所述一个或多个设备图像层中其余的设备图像层中的单层图像可以用于生成在设备显示器(116-2)处渲染/显示的附加的显示图像。在不同图像平面深度处渲染/显示的显示图像可以使用时分复用以单个图像刷新时间或单个图像帧间隔同时渲染或按时间顺序渲染。

本文所述的层分离面的示例可以包括但不一定仅限于以下各项中的任一项：平面、曲面、规则形状、不规则形状等。

在一些实施例中，相对于影院显示器(104)设置层分离面(194)的空间位置。在示例中，层分离面(194)可以与影院显示器(104)重合。在另一个示例中，层分离面(194)可以以特定距离设置在影院显示器(104)的后方(如图1B所图示的)或前方(如图1D所图示的)。层分离面(194)到影院显示器(104)的特定距离可以是但不限于以下各项之一：相对较小的距离、相对较大的距离、零距离、一米远、五米远、影院显示器(104)与观看者(112-0)的空间位置(192)之间的一段深度或距离等。因此，层分离面(194)到影院显示器(104)的特定距离可以表示用于将在多视角未分层图像中描绘的所述多个视觉对象中的视觉对象分成不同的图像层的距离阈值(或相对深度阈值)。

在一些实施例中，相对于位于(参考)空间位置(192)处的观看者(112-0)设置层分离面(194)的空间位置。例如，可以在距观看者(112-0)特定距离处设置层分离面(194)。层分离面(194)到观看者(112-0)的特定距离可以是但不限于以下各项之一：相对较小的距离、相对较大的距离、五米远、20米远、50米远等。因此，层分离面(194)到观看者(112-0)的特定距离可以表示用于将在多视角未分层图像中描绘的所述多个视觉对象中的视觉对象分成不同的图像层的距离阈值(或相对深度阈值)。

在一些实施例中，相对于除了位于(参考)空间位置(192)处的观看者(112-0)以及影院显示器(104)的空间位置之外的另一个空间定位设置层分离面(194)的空间位置。例如，可以在距参考坐标系的原点“p”特定距离处设置层分离面(194)。层分离面(194)到原点“p”的特定距离可以是但不限于以下各项之一：相对较小的距离、相对较大的距离、零距离、一米远、五米远、20米远、50米远等。因此，层分离面(194)到原点“p”的特定距离可以表示用于将在多视角未分层图像中描绘的所述多个视觉对象中的视觉对象分成不同的图像层的距离阈值(或相对深度阈值)。

在一些实施例中，如图1E所图示的，分层图像编码器可以基于与物理地或虚拟地存在于3D空间(126)中的实体有关的空间关系将多视角未分层图像中的所述多个视觉对象划分成图像层，而无需使用层分离面(例如，图1B或图1C的194等)。

例如，可以基于这些视觉对象是否分别满足涉及以下各项中的一个或多个的某些空间关系阈值(或标准)来划分所述多个视觉对象(例如，118，120等)：影院显示器(104)、位于(参考)空间定位(192)处的观看者(112-0)、参考坐标系的原点“p”等，如图1B所示。

可以将满足相对于影院显示器(104)的特定空间关系阈值(或标准)的第一适当视觉对象子集(例如，118等)划分成影院图像层。不满足相对于影院显示器(104)的特定空间关系阈值(或标准)的一个或多个第二适当视觉对象子集(例如，120等)被划分成一个或多个设备图像层。相对于影院显示器(104)的特定空间关系阈值(或标准)可以包括可以用于将所述一个或多个设备图像层彼此划分的进一步空间关系阈值(或标准)。例如，进一步空间关系阈值(或标准)可以用于在一个或多个第二适当视觉对象子集(例如，120等)当中将一个子集与另一个子集分开或区分。

在一些实施例中，空间关系阈值可以包括特定深度阈值(例如，不超过一米、不超过两米、不超过设置为影院显示器(104)的空间维度的相对值的空间维度值等)。深度阈值指定要将距影院显示器(104)特定深度后方的所有视觉对象划分成影院图像层。深度阈值指定要将距影院显示器(104)特定深度前方的所有其他视觉对象划分成所述一个或多个设备图像层。可以由距影院显示器(104)特定距离的正值、零、或负值来表示所述深度阈值。

另外地、可选地或可替代地，出于选择在多视角未分层图像中描绘的所述多个视觉对象或将其划分成不同的图像层的目的，替代深度阈值或除了深度阈值之外，可以使用如空间视差阈值、空间差异阈值等不同的空间阈值。

例如，在图像渲染操作中，影院显示器(104)可以表示零视差平面/表面。将用在影院显示器(104)上渲染的单层图像描绘为位于影院显示器(104)后方的任何视觉对象将具有正视差，而将用在影院显示器(104)上渲染的单层图像描绘为位于影院显示器(104)前方的任何视觉对象将具有负视差。

在一些实施例中，空间关系阈值可以包括特定视差阈值。视差阈值指定要将不少于相对于如由影院显示器(104)表示的零视差平面/表面的特定视差的所有视觉对象划分成影院图像层。视差阈值指定要将少于相对于如由影院显示器(104)表示的零视差平面/表面的特定视差的所有视觉对象划分成所述一个或多个设备图像层。可以由特定视差的正值、零、或负值来表示所述视差阈值。

另外地、可选地或可替代地，在图像渲染操作中，影院显示器(104)可以表示零差异平面/表面。将用在影院显示器(104)上渲染的单层图像描绘为位于影院显示器(104)后方的任何视觉对象将具有正差异，而将用在影院显示器(104)上渲染的单层图像描绘为位于影院显示器(104)前方的任何视觉对象将具有负差异。

在一些实施例中，空间关系阈值可以包括特定差异阈值。差异阈值指定要将不少于相对于如由影院显示器(104)表示的零差异平面/表面的特定差异的所有视觉对象划分成影院图像层。差异阈值指定要将少于相对于如由影院显示器(104)表示的零差异平面/表面的特定差异的所有视觉对象划分成所述一个或多个设备图像层。可以由特定差异的正值、零、或负值来表示所述差异阈值。

在一些实施例中，多视角未分层图像可以是构成这种图像的时间顺序的多个多视角未分层图像中的特定多视角未分层图像。多视角未分层图像的时间顺序可以表示媒体程序、广播程序、电影、VR会话、AR会话、远程呈现会话、计算机游戏等。

在一些实施例中，视觉对象的过去空间位置和/或未来的空间位置、视觉对象的过去空间方向和/或未来的空间方向、视觉对象的过去运动特征和/或未来的运动特征、视觉对象在特定图像层中的过去隶属关系(membership)和/或未来的隶属关系等中的一些或全部可以用于确定这些视觉对象中的任何视觉对象是否应被划分成所述多个图像层中的特定图像层。

例如，视觉对象可以被预先确定为位于一个图像层中，并且随后移动到将与不同的图像层相对应的空间位置、空间方向等。为了减少视觉对象在相对较短的时间段内在不同的图像层之间或当中跳得太快或太频繁的抖动，可以由分层图像编码器实施以下各项中的一个或多个：延迟效应/机制、阻尼因素、平滑滤波器、噪声处理等，以允许或指定视觉对象保留在如之前的图像层、当前图像层等特定图像层中而非立即被划分或指定到当前图像层、新的图像层等。这些延迟效应/机制、阻尼因素、平滑滤波器、噪声处理等中的任一项可以根据以下各项中的一些或全部进行操作：视觉对象的过去空间位置和/或未来的空间位置、视觉对象的过去空间方向和/或未来的空间方向、视觉对象的过去运动特征和/或未来的运动特征、视觉对象在特定图像层中的过去隶属关系/分派和/或未来的隶属关系/分派。

另外地、可选地或可替代地，替代或除了如以上所讨论的前述选择因素、前述空间关系阈值、前述空间关系标准等之外，还可以将视觉对象的相对艺术重要性、视觉对象的视觉特性(例如，亮度、颜色等)、视觉对象的运动特征(例如，移动对象、静止对象、背景等)等用作选择因素、空间关系阈值、空间关系标准等。

在一些实施例中，分层图像编码器可以将所述多个图像层及其对应的单层图像编码成多层多视角图像。可以将多层多视角图像连同由其他多视角未分层图像生成的其他多层多视角图像一起编码成直接或间接传输至一个或多个下游设备的多层多视角视频信号。示例下游设备可以包括但不一定仅限于以下各项中的任一项：用于在多层表示中渲染多视角图像的增强型娱乐系统、用于在多层表示中存储多视角图像的存储设备、用于在多层表示中流式传输多视角图像的流媒体服务器等。

4.张量映射

如前所述，多视角未分层图像可以包括与多个不同的视角(例如，观看方向、视场等)相对应的多个未分层(单个)视角图像。在一些实施例中，基于多视角未分层图像中的每个未分层视角图像的深度信息，可以构建(例如，x、y、z维度/坐标/轴等中的3阶的)张量映射，以在3D图像空间中生成多视角未分层图像中的未分层视角图像的像素分布。由张量映射生成的像素分布中的像素不仅以x和y维度/坐标/轴(例如，图像帧的列、图像帧的行等)表示还以z维度/坐标/轴(例如，深度等)表示。

图1F图示了从张量映射中得到的多视角未分层图像中的未分层视角图像的示例3D像素分布188。图1G图示了基于3D像素分布(188)由未分层视角图像生成的示例单层图像176-1至176-3。

可以基于以下各项在多视角未分层图像中描绘的3D图像空间(例如，196等)中构建张量映射：(a)在表示于未分层视角图像中的x和y维度/坐标/轴中的2D像素分布以及(b)(例如，准确地、近似地等)指示所述分布中的每个像素的z维度/轴的深度信息。基于张量映射，未分层视角图像中的2D像素分布现在可以表示为3D图像空间(196)中的3D像素分布(188)。

在多视角未分层图像的3D像素分布(188)的情况下，例如，可以用层分离面生成单层图像。通过示例而非限制的方式，两个层分离面194-2和194-3可以置于3D图像空间(196)中以将3D像素分布(188)的像素分成三个不同图像层中的三个单层图像(176-1至176-3)。

如图1G所图示的，可以将可以包括具有沿着深度或z方向(观看者的正面观看方向)从位于参考空间位置(192)的观看者到第一层分离面(194-2)的深度的所有像素的3D像素分布(188)的第一3D像素分布188-1投影到第一单层图像(176-1)中，将在距位于参考空间定位(192)处的观看者第一深度(例如，与由可穿戴设备的设备显示器支持的图像平面相对应的深度等)处用可穿戴设备的设备显示器渲染所述第一单层图像。可以基于第一3D像素分布(188-1)中的3D像素的x和y维度/坐标/轴将第一3D像素分布(188-1)中的3D像素投影到第一单层图像(176-1)的2D像素(例如，178-1，178-2等)上。

可以将可以包括具有沿着深度或z方向从第一层分离面(194-2)到第二层分离面(194-3)的深度的所有像素的3D像素分布(188)的第二3D像素分布188-2投影到第二单层图像(176-2)中，将在距位于参考空间定位(192)处的观看者第二深度(例如，与第一层分离面(194-2)相对应的深度)处用可穿戴设备的设备显示器渲染所述第二单层图像。可以基于第二3D像素分布(188-2)中3D像素的x和y维度/坐标/轴将第二3D像素分布(188-2)中的3D像素投影到第二单层图像(176-2)的2D像素(例如，178-3，178-4等)上。

将可以包括具有沿着深度或z方向位于第二层分离面(194-3)后方的深度的所有像素的3D像素分布(188)的第三3D像素分布188-3投影到第三单层图像(176-3)中，将在距位于参考空间定位(192)处的观看者第三深度(例如，与影院显示器相对应的深度)处用影院显示器渲染所述第三单层图像。可以基于第三3D像素分布(188-3)中的3D像素的x和y维度/坐标/轴将第三3D像素分布(188-3)中的3D像素投影到第三单层图像(176-3)的2D像素(例如，178-5，178-6等)上。

可以将基于张量映射的图像层生成技术应用于多视角未分层图像中的所述多个视角图像中的每个视角图像，以生成分别用于每个这种视角图像的单层图像。因此，可以使用这些图像层生成技术从多视角未分层图像生成多个图像层中的单层图像。

在将单层图像提供给用于用观看者的可穿戴设备渲染的增强型娱乐系统中的图像渲染器时，可以基于可穿戴设备的实际空间位置和实际空间方向通过平移、旋转、缩放等在空间上变换单层图像。例如，可以在影院显示器上渲染第一单层图像(176-1)(或影院图像层)，而可以用可穿戴显示器的设备显示器渲染第二单层图像和第三单层图像(176-2和176-3)(或设备图像层)。

相对较远的观看者可能将第一单层图像(176-1)看成与相对较远的观看者和影院显示器之间的距离成反比的相对较小的图像；因此，第二单层图像和第三单层图像可以按比例缩放，以与如相对较远的观看者观看的第一单层图像(176-1)的大小或纵横比相匹配。进一步地，由于相对较远的观看者可以定位在位于参考空间定位(例如，192等)处的观看者的更后方，因此可以至少部分地基于相对较远的观看者与位于参考空间定位(192)处的观看者之间的距离在空间上平移第二单层图像和第三单层图像或其中的视觉对象。如果相对较远的观看者的可穿戴设备的空间方向与位于用于生成图像层和单层图像的参考空间定位(192)处的观看者的正面观看方向不匹配，则可以至少部分地基于相对较远的观看者的可穿戴设备的空间方向与位于参考空间定位(192)处的观看者的正面观看方向之间的角度或角距离在空间上旋转第二单层图像和第三单层图像或其中的视觉对象。同样，对于相对较近的观看者，可以基于相对较近的观看者的空间位置和/或空间方向将如平移、旋转、缩放等空间变换类似地应用于单层图像。

在一些实施例中，张量映射还可以用于图像渲染操作中，如图1H所展示的。例如，如由影院图像层中的单层图像生成并且在影院显示器(104)上渲染的影院显示图像可以用于再现张量映射(或像素分布)的与3D物理空间(126)中的3D图像空间(196)的一部分相对应的一部分，在所述3D图像空间中，观看者定位于可能与参考空间定位(192)相同或不同的空间定位处。如由一个或多个设备图像层中的单层图像生成并且在一个或多个图像平面(例如，116，116-1等)处用设备显示器渲染的设备显示图像可以用于再现张量映射(或像素分布)的与3D物理空间(126)中的3D图像空间(196)的其余部分相对应的其他部分。可以根据可穿戴设备的特定空间位置和/或特定空间方向基于空间变换(例如，平移、旋转、缩放等)单独生成用于可穿戴设备的设备显示图像，约束条件是，从设备显示图像中再现的张量映射(或像素分布)的其他部分与从影院显示图像中再现的同一张量映射(或像素分布)的部分无缝地邻接。另外地、可选地、可选地，可以依据本文所述的技术在图像渲染操作中执行图像处理操作中的一些或全部，如插入、锐化、模糊、去遮挡等。因此，如被影院显示图像与设备显示图像的组合所渲染的3D图像空间准确地或如实地再现了原本在多视角未分层图像中描绘的3D图像空间(196)中的3D像素分布(188)。

5.分层图像编码器及增强型娱乐系统

图2A图示了增强型娱乐系统的示例配置100，其包括分层图像编码器180、图像内容接收器110、图像渲染器(例如，106，108等)、设备跟踪器122以及3D空间(例如，126等)中的一个或多个可穿戴设备，如观看者112-1的可穿戴图像渲染设备102-1等。如图2A中所描绘的部件/设备中的一些或全部可以由一个或多个机械部件、一个或多个光电部件、一个或多个计算设备、模块、单元等以软件、硬件、软件和硬件的组合等方式实施。如图2A中所描绘的部件/设备中的一些或全部可以与如图2A中所描绘的一些其他部件/设备或图2A中未描绘的其他部件/设备通信地(例如，无线地、用有线连接等)耦接。

在一些实施例中，分层图像编码器(180)包括未分层图像接收器182、分层图像生成器186、未分层图像数据存储装置(store)184等。

在一些实施例中，未分层图像接收器(182)包括被配置为进行以下操作的软件、硬件、软件和硬件的组合等：从未分层图像源中接收例如未分层图像视频信号或已存储的未分层图像数据中的多视角未分层图像，所述未分层图像源诸如是：未分层图像数据存储装置(184)，基于云的图像源，与VR应用、AR应用、远程呈现应用、显示应用等结合的相机系统。

在一些实施例中，分层图像生成器(186)包括被配置为访问空间信息的软件、硬件、软件和硬件的组合等，所述空间信息描述如每个多视角未分层图像中描绘的3D图像空间(例如，图1A的196等)中的多个视觉对象中的每个视觉对象的空间定位。

基于描述每个多视角未分层图像中的3D图像空间(图1A的196)中的所述多个视觉对象的空间定位的空间信息，分层图像生成器(186)从每个这种多视角未分层图像生成多个图像层中的单层图像。因此，所述多个图像层中的每个图像层包括来自所有多视角未分层图像的多视角单层图像。

在非限制性示例中，所述多个图像层中的第一图像层可以由下游接收设备用作影院图像层，而所述多个图像层中的其他图像层可以由下游接收设备用作设备图像层。

分层图像生成器(186)将从多视角未分层图像生成的所述多个图像层中的多视角单层图像编码成图像内容114，并且将图像内容(114)提供/传输至一个或多个下游设备，如输入内容接收器(110)、数据存储装置、影院3D系统等。

在一些实施例中，图像内容接收器(110)包括多视角(MV)图像接收器152、图像层发射器156、数据储存库154等。

在一些实施例中，多视角图像接收器(152)包括被配置为进行以下操作的软件、硬件、软件和硬件的组合等：从图像源接收(输入)图像内容(114)；所述图像源诸如是：分层图像编码器(180)，基于云的图像源，与VR应用、AR应用、远程呈现应用、显示应用等结合的相机系统等；将输入图像流(114)解码成一系列的多层多视角图像。每个多层多视角图像包括影院图像层中的一个或多个单层影院图像以及一个或多个设备图像层中的一个或多个单层设备图像，如由多视角图像接收器(152)从多层多视角视频信号中解码的。

图像层发射器(156)从影院图像层中标识或生成一个或多个单层影院图像。所述一个或多个单层影院图像可以描绘多个视觉对象(例如，118，120等)中的一个或多个视觉对象的第一适当子集(例如，118等)，所述多个视觉对象在从中预先得到影院图像层和一个或多个设备图像层中的单层影院图像和单层设备图像的(原始的)多视角未分层图像中描绘。

图像层发射器(156)从所述一个或多个设备图像层中标识或生成一个或多个单层设备图像。所述一个或多个单层设备图像可以描绘通过(原始的)多视角未分层图像描绘的所述多个视觉对象(例如，118，120等)中的一个或多个视觉对象的一个或多个第二适当子集(例如，120等)。

在一些实施例中，图像层发射器(156)经由数据流158将全部单层影院图像发送或以其他方式提供给图像渲染器(106，108)或其中的影院图像渲染器(例如，106等)。此外，图像层发射器(156)经由数据流(158)将全部单层设备图像发送或以其他方式提供给图像渲染器(106，108)或其中的设备图像渲染器(例如，108等)。

用户(112-1)可以移动以引起可穿戴设备(102-1)的空间位置和空间方向在运行时发生变化。在一些实施例中，设备跟踪器(122)包括被配置为进行以下操作的软件、硬件、软件和硬件的组合等：跟踪/监测可穿戴设备(102-1)的空间位置和/或空间方向；基于可穿戴设备(102-1)的空间位置和/或空间方向生成可穿戴设备(102-1)的位置数据和方向数据等。

如由设备跟踪器(122)生成的可穿戴设备(102-1)的位置数据和方向数据可以具有相对较好的时间分辨率(例如，每毫秒、每五毫秒等)，并且可以由如图像内容接收器(110)和/或图像渲染器(106，108)等其他设备用来在给定的时间分辨率(例如，每毫秒、每五毫秒等)下确立/确定可穿戴设备(102-1)的空间位置和/或空间方向。

本文所述的设备跟踪器的示例可以包括但不一定仅限于以下设备跟踪器中的任一种设备跟踪器：外部设备跟踪器、内部设备跟踪器、由外向内(outside-in)的设备跟踪器、由内向外(inside-out)的设备跟踪器等。通过示例而非限制的方式，如图2A中所图示的配置(100)中的设备跟踪器(122)表示外部设备跟踪器。然而，应注意，在其他实施例中，除了(外部)设备跟踪器之外或替代(外部)设备跟踪器(122)，还可以使用由内向外的设备跟踪器，所述由内向外的设备跟踪器可以是可穿戴设备(102-1)的一部分、与可穿戴设备(102-1)并置、与可穿戴设备(102-1)共同移动等。设备跟踪器(122)可以跟踪相对较大数量的可穿戴设备的空间坐标，所述可穿戴设备包括但不限于存在于3D空间(126)中的可穿戴设备(102-1)。

通过说明性而非限制性的方式，用于表示3D空间(126)中的空间位置的静止三维空间坐标系可以是参考笛卡儿坐标系。图2A仅描绘了两个示例空间维度，即参考笛卡儿坐标系的x轴和z轴；所述参考笛卡儿坐标系可以包括另一个空间维度，即从图2A中指出的与x轴和z轴两者正交的y轴。参考笛卡儿坐标系可以包括位于参考空间位置处的表示为“p”的坐标系原点，如图2A中示出的。参考空间位置可以选自相对于3D空间(126)静止的任何空间位置。

可穿戴设备(102-1)可以是但不一定仅限于操作中的刚体(或固定空间形状的)设备。可穿戴设备(102-1)上的空间位置可以表示在相对于可穿戴设备(102-1)静止的三维空间坐标系中。与参考笛卡儿坐标系有关的设备静止(device-stationary)笛卡儿坐标系可以用于表示可穿戴设备(102-1)上的空间位置和空间方向。设备静止笛卡儿坐标系包括由对应的轴线表示的三个空间维度，所述轴线包括如图2A中示出的x1轴和z1轴以及图2A中未示出的与x1轴和z1轴两者正交的y1轴。设备静止笛卡儿坐标系可以包括位于表示为“p1”的设备静止空间位置处的坐标系原点，如图2A中示出的。设备静止空间位置可以选自相对于可穿戴设备(102-1)静止的任何空间位置。在一些实施例中，如果在可穿戴设备(102-1)上存在作为对称点的空间定位，则这种空间定位可以被选择为设备静止空间位置“p1”，以充当设备静止笛卡儿坐标系的坐标原点。

在一些实施例中，设备跟踪器(122)在给定的时间点在3D空间(126)的参考笛卡儿坐标系中反复地(例如实时、接近实时、在严格的时间预算内、每1毫秒、每2毫秒等)跟踪或确定可穿戴设备(102-1)的一个或多个空间坐标。在一些实施例中，可穿戴设备(102-1)的所述一个或多个空间坐标可以由设备静止空间位置“p1”的一个或多个空间坐标来表示，所述设备静止空间位置“p1”关于3D空间(126)的参考笛卡儿坐标系相对于可穿戴设备(102-1)静止。

可穿戴设备(102-1)的设备静止空间定位“p1”的空间坐标构成可穿戴设备(102-1)的可以表示为时间的函数的空间轨迹。可穿戴设备(102-1)的一个或多个运动特征的任何组合可以根据表示可穿戴设备(102-1)的空间轨迹的这些时间的函数确定。

例如，可以从可穿戴设备(102-1)的空间轨迹(如之前提及的由时间的函数表示)中确定或得到(例如，作为向量差等)可穿戴设备(102-1)相对于静止于3D空间(126)中的参考点——如参考笛卡儿坐标系的原点“p”——的线性位置/位移(随着时间的推移)。另外地、可选地或可替代地，可以从可穿戴设备(102-1)的空间轨迹中确定或得到(例如，作为一阶导数、二阶导数等)可穿戴设备(102-1)相对于静止于3D空间(126)中的参考点的线速率、速度、加速度等(随着时间的推移)。

类似地，可以从设备静止坐标系(例如，x1、y1、z1等)相对于参考笛卡儿坐标系(例如，x、y、z等)的角位置/位移中确定或得到可穿戴设备(102-1)的角位置/位移(例如，a1等)(随着时间的推移)。

另外地、可选地或可替代地，可以从可穿戴设备(102-1)的线性位置/位移或角位置/位移(例如，p1、a1等)中确定或得到(例如，作为一阶导数、二阶导数等)可穿戴设备(102-1)相对于3D空间(126)中的参考坐标系的线速率或角速率、速度、加速度等(随着时间的推移)。

在一些实施例中，图像渲染器(106，108)可以被单独实施为如图2B和图2C中图示的影院图像渲染器(例如，106等)和设备图像渲染器(例如，108)。另外地、可选地或可替代地，如影院图像渲染器(106)、设备图像渲染器(108)等图像渲染器可以共同在如图2A中图示的单个设备(例如，宽屏影院(cinema-wide)服务器等)中实施。图像渲染器(106，108)中任何单独的图像渲染器，如影院图像渲染器(106)、设备图像渲染器(108)等，可以在并行工作的多个(例如，计算机、设备、虚拟机等)实例中实施，以支持在3D空间(126)中同时连接相对大量的观看者的实时图像渲染操作。

通过示例而非限制的方式，图像渲染器(106，108)包括图像层接收器160、设备注册器170、显示图像生成器162等。图像渲染器(106，108)可以包括但不一定仅限于以下渲染器中的任何渲染器：中央图像渲染器，分布式图像渲染器，实施为可穿戴设备(例如，102-1等)的一部分的图像渲染器，3D空间(126)中的可穿戴设备(例如，102-1等)中的一些或全部外部的、部分地实施为可穿戴设备(例如，102-1等)的一部分并且部分地实施在可穿戴设备(102-1)外部的单个设备中的图像渲染器等。

在一些实施例中，图像层接收器(160)包括被配置为执行以下操作的软件、硬件、软件和硬件的组合等：经由数据流(158)接收用于一系列多层多视角图像中的每个多层多视角图像的影院图像层和一个或多个设备图像层。

在一些实施例中，设备注册器(170)包括被配置为执行以下操作的软件、硬件、软件和硬件的组合等：接收3D空间(126)中的可穿戴设备(例如，102-1等)的设备ID信息(例如，MAC地址、网络地址、IP地址等)；注册用于接收要在可穿戴设备(例如，102-1等)处渲染的设备显示图像的每个可穿戴设备(例如，102-1等)等。

基于影院图像层中的单层影院图像，显示图像生成器(162)生成一个或多个影院显示图像；使所述一个或多个影院显示图像在影院显示器(104)上渲染等。

在一些实施例中，图像渲染器(106，108)或其中的显示图像生成器(162)接收如由3D空间(126)中的设备跟踪器(122)跟踪/监测的每个可穿戴设备(例如，102-1等)的位置数据和方向数据；基于一个或多个设备图像层中的单层设备图像和每个这种可穿戴设备(例如，102-1等)的位置数据和方向数据，生成用于每个可穿戴设备(例如，102-1等)的一个或多个对应的设备显示图像；使对应的一个或多个设备显示图像用每个这种可穿戴设备(例如，102-1等)在对应的设备显示器上(例如，图1B的116等)渲染等。图像渲染器(例如，106，108等)可以用可穿戴图像渲染设备(例如，102-1等)通过一个或多个数据连接传送控制信息、状态信息、位置数据、如设备显示图像等图像数据、元数据等。示例数据连接可以包括但不限于到座位/扶手/地板等的以下数据连接方式：无线数据连接；有线数据连接；基于射频的数据连接；蜂窝数据连接；Wi-Fi数据连接；基于红外的数据连接；通过HDMI缆线的数据连接；通过光缆的数据连接；通过高速串行接口(HSSI)、高清串行数字接口(HD-SDI)、12G-SDI、USB线等的数据连接。

影院显示图像和/或设备显示图像的示例包括但不一定仅限于以下图像之一：单视场(monoscopic)图像、左视角图像和右视角图像的组合、两个或多个多视角图像的组合等。

在图像层包括多个不同视角单层图像的操作场景中，影院图像渲染器(106)和/或设备图像渲染器(108)可以从所述多个不同的视角单层图像中标识、选择和/或插入左视角图像和右视角图像。例如，可以通过图像插入和/或图像重构来生成这种左视角图像和右视角图像中的一个或两个，所述图像插入和/或图像重构将不同的视角单层图像组合到左视角图像和/或右视角图像中。

在一些实施例中，图像渲染器(106，108)执行作为渲染影院显示图像和/或设备显示图像的一部分的显示管理操作。

增强型娱乐系统可以用于支持实时视频应用、接近实时的视频应用、非实时的视频应用、虚拟现实(VR)应用、增强现实(AR)应用、远程呈现应用、汽车娱乐应用、头盔式显示应用、抬头显示应用、游戏、2D显示应用、3D显示应用、多视角显示应用等。可以由增强型娱乐系统实时、接近实时、非实时地接收、生成或访问输入图像内容数据(114)中的一些或全部。

如本文所述的技术可以用于支持用各种显示器渲染和观看3D图像或多视角图像。示例显示器(例如，104，可穿戴设备的设备显示器等)可以包括但不一定仅限于以下显示器中的任何显示器：影院显示器、家庭影院显示器、电视机、基于投影的显示器系统、基于背光的显示器系统、基于光场的显示器系统、基于光波导的显示器系统、基于液晶的显示器系统、基于发光二极管的系统、基于有机发光二极管的系统、图像投影仪、AR显示器、全息透镜显示器、Magic Leap显示器、混合现实(MR)显示器、张量显示器、立体显示器、光场(LF)显示器、Immy显示器、元显示器、一副相对简单的AR眼镜、具有任何广泛的克服调节与聚散冲突的能力的显示器等。

在一些实施例中，替代从如分层图像编码器(180)等外部图像源中接收包括多个图像层中的单层图像的多层多视角图像，多视角图像接收器(152)可以从数据储存库(154)例如本地地接收或取得这些多视角多层图像。数据储存库(154)表示被配置为支持与多层多视角图像中的一些或全部等有关的如存储、更新、取得、删除等操作的一个或多个数据库、一个或多个数据存储单元/模块/设备等。

在一些实施例中，替代将图像层直接发送至图像渲染器(例如，影院图像渲染器、设备图像渲染器等)，可以将包括图像层中特别选择的单层图像的图像集发送至图像渲染器(例如，106，108等)中。图像层发射器(156)可以从图像渲染器(106，108)中的图像渲染器和/或从设备跟踪器(122)接收如由设备跟踪器(122)跟踪/监测的可穿戴设备(102-1)的位置数据和方向数据；确立/确定给定可穿戴设备(例如，102-1等)相对于参考坐标系的随着时间的推移的空间位置和/或空间方向；并且通过选择每个已接收的单层多视角图像的图像层中的特定单层图像生成一个或多个图像集。可以根据可穿戴设备(102-1)的空间位置和/或空间方向，将特定单层图像特定地调整成用于可穿戴设备(102-1)。进一步地，图像层发射器(156)可以将所述一个或多个图像集编码成视频流；经由数据流(158)将视频流提供/传输到图像渲染器(106，108)等。可以由图像渲染器(106，108)使用图像集来使用图像重构/图像插入生成用于可穿戴设备(102-1)的设备显示图像。示例图像集和图像重构/图像插入可见于Ajit Ninan和Neil Mammen于2018年4月10日提交的申请名称为“ADAPTINGVIDEO IMAGES FOR WEARABLE DEVICES(调整用于可穿戴设备的视频图像)”的美国专利申请号15/949,720，所述美国专利申请的全部内容如在此充分阐述的那样通过引用并入本文。

本文所述的技术可以在各种系统架构中实施。本文所述的一些或全部图像处理操作可以由以下各项中的一个或多个来实施：基于云的视频流服务器、与可穿戴设备并置的或结合到可穿戴设备中的视频流服务器、视频流客户端、图像内容接收器、图像渲染设备等。基于一个或多个因素，如视频应用的类型；带宽/比特率预算；接收设备的计算能力、资源、负载等；视频流服务器、图像内容接收器、图像渲染设备、底层计算机网络的计算能力、资源、负载等，一些图像处理操作可以由图像内容接收器执行，而其他一些图像处理操作可以由图像渲染设备等执行等。

图2B图示了(3D)增强型娱乐系统的另一种示例配置100-1，所述(3D)增强型娱乐系统包括3D图像渲染观看眼镜设备，如具有设备显示器112的可穿戴设备102、影院显示器104、影院图像渲染器106、设备图像渲染器108、图像内容接收器110等。如图2B所描绘的部件/设备中的一些或全部可以由一个或多个机械部件、一个或多个光电部件、一个或多个计算设备、模块、单元等以软件、硬件、软件和硬件的组合等实施。如图2B所描绘的部件/设备中的一些或全部可以与如图2B所描绘的其他一些部件/设备或图2B中未描绘的其他部件/设备通信地(例如，无线地、用有线连接等)耦接。

在一些实施例中，图像内容接收器(110)将从影院图像层中解码的单层影院图像(如之前结合图2A所讨论的)发送至或以其他方式提供至影院图像渲染器(106)。此外，图像内容接收器(110)将从设备图像层中解码的单层设备图像(如之前结合图2A所讨论的)发送至或以其他方式提供至设备图像渲染器(108)。

基于单层影院图像，影院图像渲染器(106)在影院显示器(104)上渲染影院显示图像，所述影院显示图像可以是下列各项之一：第一单视场图像、第一左视角图像和第一右视角图像的组合、两个或更多个第一多视角图像的组合等。

基于单层设备图像，设备图像渲染器(108)使可穿戴设备(102)在设备显示器116上渲染设备显示图像，所述设备显示图像可以是下列各项之一：第二单视场图像、第二左视角图像和第二右视角图像的组合、两个或多个第二多视角图像的组合等。

在一些实施例中，设备显示器(116)并非物理显示器，而是由可穿戴设备(102)中的(多个)成像器发射的光线所产生的图像平面或虚拟显示器。

在一些实施例中，在渲染于影院显示器(104)上的一对左视角影院显示图像和右视角影院显示图像中描绘的第一适当视觉对象子集(例如，118等)和在渲染于设备显示器(116)上的相应设备显示图像中描绘的一个或多个第二适当视觉对象子集(例如，120等)被同时(例如，并发地、同步地、在同一图像帧间隔内等)渲染，以共同描绘定位在3D图像空间(例如，图1A的196等)中的不同空间定位处的多个视觉对象(例如，118，120等)。3D图像空间(196)中的这些空间定位可以与多视角未分层图像的空间信息中指定或描述的空间定位相同，用于首先将所述多个视觉对象划分成所述影院图像层(或所述视觉对象的第一适当子集)和所述一个或多个设备图像层(或所述视觉对象的一个或多个第二适当子集)。

在一些实施例中，影院图像渲染器(106)和/或设备图像渲染器(108)执行显示管理操作，作为渲染(a)左视角影院显示图像和右视角影院显示图像和/或(b)设备显示图像的一部分。

在本文所述的增强型娱乐系统在多观看者环境中操作的操作场景中，可以跟踪、计算和/或使用多个用户的单独可穿戴设备的空间位置(包括但不限于所述多个用户的单独座位位置)和/或空间方向，以无缝地覆盖(或叠加)用观看者的单独可穿戴设备渲染的单独设备图像内容，其中，在如影院显示器、投影显示器等共享显示器上渲染大屏幕内容(或影院图像内容)。

图3A图示了包括3D空间(例如，126等)和作为多个观看者的共享显示器的影院显示器(例如，104等)的示例多观看者环境的透视图。3D空间(126)可以包括观众区域324，所述观众区域包括多个就座空间(例如，326等)。佩戴对应可穿戴设备的所述多个观看者可以就座于观众区域(324)中的所述多个就座空间中，以观看在影院显示器(104)上渲染的影院图像内容并且在观看影院图像内容的同时观看通过可穿戴设备单独渲染的适当覆盖的设备图像内容。考虑到3D空间(126)的特定几何配置，可穿戴设备的高度、线距离和角距离可以在多观看者环境中相对于影院显示器(104)显著不同。

观看者及其可穿戴设备的实际座位位置可以通过多个不同方式中的一种或多种的组合来确定。在示例中，可以基于发给观看者或观看者的可穿戴设备的特定票来确定观看者和观看者的可穿戴设备的具体座位位置(或具体就座空间)。在另一个示例中，可以将基准标记嵌入影院图像内容中或影院显示器(104)的周围空间区域中。可穿戴设备(或头戴式设备)可以获得具有响应于来自基准标记的光线而生成的图像标记的跟踪图像。基于跟踪图像中的图像标记，可穿戴设备可以(例如，精确地等)在增强型娱乐会话中的任何给定时间确定可穿戴设备的空间位置和/或空间方向。基于基准标记对可穿戴设备的空间位置和/或空间方向的示例确定可见于前文提到的由Ajit Ninan和Neil Mammen于2018年4月10日提交的申请标题为“调整可穿戴设备的视频图像”的美国专利申请号15/949,720中。

在进一步的示例中，可以将不同的可穿戴设备(例如，AR头戴式设备等)附连到或分配到其在3D空间(126)中的对应就座位置(或就座空间)。

另外，可选地或可替代地，可以在增强型娱乐会话中的任何给定时间使用射频(RF)定位检测来确定可穿戴设备的空间位置和/或空间方向。基于RF定位检测的对可穿戴设备的空间位置和/或空间方向的示例确定可见于美国专利号7,580,378中，所述美国专利的全部内容如在此充分阐述的那样通过引用并入本文。

在一些实施例中，可以将(例如，相对较大的等)3D空间(126)隔离成多个区(例如，所述多个区之一可以是图3B的328等)。可以使用多个媒体流服务器来将设备图像内容流式传输到所述多个区(例如，328等)中的观看者。每个区(例如，328等)中的观看者可以由所述多个媒体流服务器中的对应媒体流服务器支持。在一些实施例中，媒体流服务器为就座于区(328)中的指定由媒体流服务器支持的观看者中的每个观看者生成观看者特定的设备图像内容。在接收到观看者特定的设备图像内容后，区(328)中的观看者的可穿戴设备可以在几乎没有进一步调整或具有相对简单的图像渲染操作(例如，图像插值/重构/选择等)的情况下渲染观看者特定的设备图像内容。在一些实施例中，媒体流服务器可以为区(328)中的区中的由媒体流服务器支持的所有观看者生成区特定的设备图像内容。在接收到区特定的设备图像内容后，区(328)中的单独观看者的可穿戴设备可以基于可穿戴设备的空间位置和/或空间方向调整区特定的设备图像内容并渲染经过调整的设备图像内容。

增强型娱乐系统可以与设备跟踪技术一起实施或操作以在增强型娱乐会话(例如，VR会话、AR会话、远程呈现会话、计算机游戏会话、电影等)中实时地确定可穿戴设备的空间位置和/或空间方向。可以缩放(scale)这些设备跟踪技术中的一些或全部以同时跟踪/监测相对大量观看者的可穿戴设备的空间位置和/或空间方向。可以使用可穿戴设备的空间位置和/或空间方向来将设备图像内容调整为单独可穿戴设备和单独观看者的经过特定调整的设备图像内容并且将经过特定调整的设备图像内容在单独可穿戴设备上渲染。

示例设备跟踪技术可以包括但不一定仅限于以下技术中的任何技术：仅由可穿戴设备执行的跟踪技术、仅由外部设备执行的跟踪技术、部分地由可穿戴设备且部分地由外部设备执行的跟踪技术、由外向内设备跟踪、由内向外设备跟踪、由多个设备协作进行的分布式设备跟踪、基于基准标记的跟踪、基于RF或红外信号的跟踪等。这些设备跟踪技术中的一些或全部可能特定地适用于增强型娱乐系统在其中操作的特定环境。这些设备跟踪技术中的一些或全部可以以相对较低的成本、相对较低的复杂度、相对较高的复原(resilence)冗余度、相对较高的准确性、相对较高数量的多个观看者等来实施。

另外地、可选地或可替代地，可以通过本文所述的设备跟踪技术来获得设备ID信息，包括但不限于可穿戴设备的MAC地址、网络地址、IP地址等。

可以使用可穿戴设备的空间位置、空间方向、设备ID信息、网络地址等中的一些或全部来与对应媒体流服务器通信并向媒体流服务器注册可穿戴设备(单独地或在组/区中)从而获得或下载将要与影院图像内容同步渲染的设备图像内容。

可以使用设备ID信息、可穿戴设备在特定时间点的特定空间位置和/或特定空间方向来使为特定时间点生成的设备图像内容的流式传输和渲染与为特定时间点生成的影院图像内容的流式传输和渲染同步。例如，可以通过逻辑地指示第一时间点的时间戳来索引(index)用于生成将在第一时间点在影院显示器(104)上渲染的3D影院显示图像的单层影院图像。可以通过同一时间戳来索引用于生成将在同一第一时间点通过可穿戴设备来渲染的相应3D设备显示图像的相应单层设备图像。因此，可穿戴设备和影院图像渲染器(106)两者可以同时显示3D影院显示图像和相应3D设备显示图像。

图2C图示了增强型娱乐系统的示例配置100-2，所述增强型娱乐系统包括设备跟踪器122，所述设备跟踪器与跟踪传感器组件124一起操作以监测3D空间(例如，126等)中的多个可穿戴设备，如由第一观看者112-1使用的第一可穿戴设备102-1、由第二观看者112-2使用的第二可穿戴设备102-2等。如图2C中图示的，增强型娱乐系统进一步包括影院图像渲染器(例如，106等)、设备图像渲染器(例如，108等)、图像内容接收器(例如，110等)、影院显示器(例如，104等)、一个或多个可穿戴设备。如图2C所描绘的部件/设备中的一些或全部可以通过一个或多个机械部件、一个或多个光电部件、一个或多个计算设备、模块、单元等以软件、硬件、软件和硬件的组合等实施。如图2C所描绘的部件/设备中的一些或全部可以与如图2C所描绘的其他一些部件/设备或图2C中未描绘的其他部件/设备通信地(例如，无线地、用有线连接等)耦接。

在一些实施例中，设备跟踪器(122)和跟踪传感器组件(124)表示远程于正在被跟踪的可穿戴设备的中央跟踪系统。设备跟踪器(122)和跟踪传感器组件(124)可以通过可穿戴设备实现设备跟踪操作，而不需要可穿戴设备实施复杂的和/或主动(active)的自我跟踪功能。因此，可以以相对简单的设计以相对较低的成本来制造可穿戴设备。与跟踪传感器组件一起操作的示例设备跟踪器可见于前文提到的由Ajit Ninan和Neil Mammen于2018年4月10日提交的申请名称为“无源的多个可穿戴设备的跟踪”的美国专利申请号15/949,536中。

可以使用本文所述的中央跟踪系统来准确、可靠且响应地跟踪单个可穿戴设备或多个可穿戴设备的物理移动。用于跟踪目的的部件无需被微型化为相对微小占用空间并且无需被机械和/或电力地结合到可穿戴设备的整体形状因子中。无需在可穿戴设备中设计、完善和实施用于跟踪可穿戴设备的空间位置和观看方向的复杂分析算法。

在一些实施例中，影院图像渲染器(106)、设备图像渲染器(108)和设备跟踪器(122)可以实施在被定位为远离可穿戴设备(例如，102-1，102-2等)的一个或多个中央媒体服务器中。与跟踪传感器组件(124)结合操作的设备跟踪器(122)在增强型娱乐会话(例如，VR会话、AR会话、远程呈现会话、计算机游戏会话、影院等)中实时地确定可穿戴设备(例如，102-1，102-2)的空间位置和/或空间方向。

第一可穿戴设备(102-1)可以是但不一定仅限于刚性主体设备，其中所述刚性主体设备的空间位置可以表示于相对于第一可穿戴设备(102-1)静止的三维空间坐标系中。相对于参考笛卡儿坐标系的设备静止笛卡儿坐标系可以用于表示第一可穿戴设备(102-1)的空间位置和空间方向。设备静止笛卡儿坐标系包括由对应轴线表示的三个空间维度，所述轴线包括x1轴和z1轴以及图2C中未描绘的与x1轴和z1轴两者正交的y1轴。设备静止笛卡儿坐标系可以包括位于表示为“p1”的设备静止空间位置处的坐标系原点。设备静止空间位置“p1”可以选自相对于第一可穿戴设备(102-1)静止的任何空间位置。在一些实施例中，如果在第一可穿戴设备(102-1)上存在作为对称点的空间定位，则这种空间定位可以被选择为设备静止空间位置“p1”，以充当设备静止笛卡儿坐标系的坐标原点。

类似地，第二可穿戴设备(102-2)可以是但不一定仅限于刚性主体设备，其中所述刚性主体设备的空间位置可以表示于相对于第二可穿戴设备(102-2)静止的第二三维空间坐标系中。相对于参考笛卡儿坐标系的第二设备静止笛卡儿坐标系可以用于表示第二可穿戴设备(102-2)的空间位置和空间方向。第二设备静止笛卡儿坐标系包括由对应轴线表示的三个空间维度，所述轴线包括x2轴和z2轴以及图2C中未描绘的与x2轴和z2轴两者正交的y2轴。第二设备静止笛卡儿坐标系可以包括位于表示为“p2”的设备静止空间位置处的坐标系原点。设备静止空间位置“p2”可以选自相对于第一可穿戴设备(102-1)静止的任何空间位置。在一些实施例中，如果在第二可穿戴设备(102-2)上存在作为对称点的空间定位，则这种空间定位可以被选择为设备静止空间位置“p2”，以充当第二设备静止笛卡儿坐标系的坐标原点。

可以使用可穿戴设备(例如，102-1，102-2等)的空间位置和/或空间方向来将设备图像内容调整为单独可穿戴设备和单独观看者的经过特定调整的设备图像内容并且将经过特定调整的设备图像内容在单独可穿戴设备上渲染。

此外，可以随着时间的推移向影院图像渲染器(106)和设备图像渲染器(108)提供可穿戴设备(例如，102-1，102-2等)的空间位置和/或空间方向。基于可穿戴设备(例如，102-1，102-2等)的空间位置、空间方向等，影院图像渲染器(106)和设备图像渲染器可以例如经由对影院图像内容和设备图像内容进行索引的共同时间戳使为特定时间点生成的设备图像内容的流式传输和渲染与为特定时间点生成的影院图像内容的流式传输和渲染同步。对影院图像内容和设备图像内容进行索引的时间戳可以与影院图像内容和设备图像内容一起存储或传输。在影院显示器上渲染影院显示图像的同时，相应设备显示图像流式传输到可穿戴设备(例如，事先等)并且在设备显示器上渲染，所述渲染与同时在影院显示器上渲染影院显示图像同步。

在一些实施例中，影院图像内容和设备图像内容中的一些或全部可以本地存储，而不是无线地或利用有线数据连接从图像内容接收器和图像渲染器流式传输而来或是作为其补充。例如，可以从本地硬盘驱动器(例如，可以从观看者的单独就座空间处的USB数据连接等中获得)中取出设备图像内容。可以通过影院图像渲染器将时间戳、回音检查(pinging)消息等发送给3D空间(126)中的所有可穿戴设备以标识什么相应设备图像内容的渲染应与在影院显示器上渲染的影院图像内容的渲染同步。另外地、可选地或可替代地，可以对水印、由对媒体内容运行指纹算法得到的指纹、基准标记等——而不是时间戳、回音检查消息等或作为其补充——进行嵌入、承载、显示、传输或跟踪以便使对相应设备图像内容的渲染与对影院图像内容的渲染同步。

因此，与具有有可能带来相对较高的设备制造成本、相对较高的设备维护成本(例如，在不同的连续观看者之间共享可穿戴设备的商业环境中的相对较高的设备清洗/清洁成本等)、相对较高的通信成本、相对较高的同步成本的分布式设备跟踪的娱乐系统相比，可以使用如用设备跟踪器(122)和跟踪传感器组件(124)实施的中央跟踪系统来使其成为用于使影院图像内容和设备图像内容在增强娱乐系统中的流式传输和渲染同步的相对高效操作。

可穿戴设备(例如，102-1，102-2等)等可以例如由用户(例如，112-1，112-2等)驱动以相对于静止对象或静止坐标系(如3D空间(126)中静止的影院显示器(104))进行相对运动。这些相对运动可以由以下各项中的一个或多个的任何组合来表示：线性位置/位移、角位置/位移、线速率/速度、角速率/速度、线加速度、旋转加速度等。

例如，可穿戴设备(例如，102-1，102-2等)可以是3D物理对象，所述3D物理对象在给定时间点在如电影院、家庭娱乐空间、会场等物理空间中具有特定空间位置和特定空间方向。

可穿戴设备(例如，102-1，102-2等)的特定空间位置可以通过可穿戴设备(例如，102-1，102-2等)的特定线性位置的空间坐标来表征或测量。这种特定线性位置的示例可以是眼镜框的空间对称点、几何中心点等、对应于观看者的眼睛之间的中间点的位置等。线性位置的示例空间坐标可以是笛卡儿坐标系、极坐标系等的空间坐标。

可穿戴设备(例如，102-1，102-2等)的特定空间方向可以由特定三维坐标系(例如，第一可穿戴设备(102-1)的第一设备静止笛卡儿坐标系、第二可穿戴设备(102-2)的第二设备静止笛卡儿坐标系等)的角位置的空间坐标来表征或测量，所述特定三维坐标系刚性地附连到可穿戴设备(例如，102-1，102-2等)或相对于在3D空间(126)中静止的参考三维坐标系相对于所述可穿戴设备静止。3D空间(126)中的参考三维坐标系可以是包括x轴、y轴和z轴(图2C中仅示出了x轴和z轴)的坐标原点定位在影院显示器(104)的所选位置“p”处的参考笛卡儿坐标系。刚性地附连到可穿戴图像渲染设备(102)或相对于所述可穿戴图像渲染设备静止的示例设备静止三维坐标系可以是正z方向对应于观看者的正面观看方向、x方向平行于观看者的瞳孔间距离并且y方向垂直于x方向和y方向的三维笛卡儿坐标系。角位置的示例空间坐标可以是俯仰、偏航、滚转角等。

可穿戴设备(例如，102-1，102-2等)的特定空间位置和特定空间方向总体上可以由六个空间维度表征，所述六个空间维度中的三个空间维度涉及平移并且所述六个空间维度中的另外三个空间维度涉及旋转。在一些实施例中，用于表征可穿戴设备(例如，102-1，102-2等)的特定空间位置和特定空间方向的六个空间维度彼此完全独立。在这些实施例中，可穿戴设备(例如，102-1，102-2等)具有六个自由度。然而，对应于给定自由度的线性位置或角位置可能仍受限于某一范围。

例如，在电影院中，可穿戴设备(例如，102-1，102-2等)沿着相对于影院显示器(104)静止的参考笛卡尔坐标系中的x方向(例如，摇摆等)的线性位置可能受限于对应于观看者(例如，112-1，112-2等)的所分配座位的宽度的一部分的范围。可穿戴设备(例如，102-1，102-2等)沿着相对于影院显示器(104)静止的笛卡尔坐标系中的y方向(例如，起伏等)的线性位置可能受限于对应于观看者的头部的一部分的范围。可穿戴设备(例如，102-1，102-2等)沿着相对于影院显示器(104)静止的笛卡尔坐标系中的z方向(例如，浪涌等)的线性位置可能受限于观看者(例如，112-1，112-2等)的座椅背部与观看者(例如，112-1，112-2等)的座位正前方的座椅背部之间的范围。

本文所述的技术可以用于支持观看高达360度(或高达球体的整个4π立体角)的全方位图像。例如，即使影院显示器上渲染影院显示图像的影院显示器固定/静止于3D空间中，本文所述的可穿戴设备也可以从高达360度(或高达球体的整个4π立体角)的任何观看角度观看方向特定的设备显示图像。在远离影院显示器观看时，可穿戴设备的观看者可以仅观看从一个或多个设备图像层的单层设备图像中得到的设备显示图像。然而，在一些操作场景中，可穿戴设备(例如，102-1，102-2等)的与影院显示器(104)有关的偏航角的角位置可以受限于正面观看方向的第一范围(例如，+/-20角度、+/-30角度、高达+/-180角度等)。可穿戴设备(例如，102-1，102-2等)的与影院显示器(104)有关的滚转角的角位置可以受限于正面观看方向的第二范围(例如，+/-20角度、+/-30角度、高达+/-180角度等)。可穿戴设备(例如，102-1，102-2等)的与影院显示器(104)有关的俯仰角的角位置可以受限于正面观看方向的第三范围(例如，+/-20角度、+/-30角度、高达+/-180角度等)。这些角范围可以受到不同的约束。例如，第三范围可以设置为相对较小，因为俯仰运动易于引起相对严重的恶心和生理不适。

如果上述位置范围或角范围中的任一项被缩小或被约束为单个值，则与该单个值的位置范围或角范围相对应的自由度将从六个自由度中丢弃或移除。当可穿戴设备(例如，102-1，102-2等)相对于影院显示器(104)在平移和旋转中(逻辑地、物理地等)固定时，可穿戴设备(例如，102-1，102-2等)具有零个自由度。当可穿戴设备(例如，102-1，102-2等)相对于影院显示器(104)在旋转中固定但在平移中被限制为沿着直线或一维曲线移动时，可穿戴设备(例如，102-1，102-2等)具有一个自由度。类似地，当可穿戴设备(例如，102-1，102-2等)相对于影院显示器(104)在平移中固定但被限制为以单一的旋转方向旋转时，可穿戴设备(例如，102-1，102-2等)具有一个自由度。

在一些实施例中，结合在3D空间(126)中部署的跟踪传感器组件(124)操作的设备跟踪器(122)监测3D空间(126)中的可穿戴设备的空间位置和空间方向。在一些实施例中，可穿戴设备(例如，102-1，102-2等)具有可移动地或不可移动地附接至可穿戴设备(例如，102-1，102-2等)或以其他方式安装在所述可穿戴设备上的光源。这些光源可以发射或反射如具有可见光波长的光线、具有不可见光波长的光线、红外线等光线。光源的示例可以包括但不一定仅限于以下光源中的任何光源：光发射器、发光二极管(LED)、非LED灯、光再生器、光反射器、光散射设备、回射器(retroreflector)等。通过示例而非限制的方式，可穿戴设备(例如，102-1，102-2等)上的光源发射或反射如红外线等用于设备跟踪目的的不可见光。

在一些实施例中，跟踪传感器组件(124)中的一个或多个跟踪图像传感器生成设备跟踪图像，所述设备跟踪图像从置于包括但不限于可穿戴设备(例如，102-1，102-2等)的可穿戴设备上的光源中捕捉光线。这些光线可以朝着跟踪传感器组件(124)中的跟踪图像传感器发射/反射/重新定向/分散等。可以在设定的时间进度上连续地捕捉这些光线等。例如，可以在一毫秒或零点几毫秒的时间分辨率处、每一百秒的时间分辨率处、每十秒的时间分辨率处等取得设备跟踪图像。

在一些实施例中，设备跟踪器(122)基于在给定的时间点处由跟踪图像传感器(124)从来自可穿戴设备的光源的光线中捕捉的一个或多个设备跟踪图像在给定时间点(例如，在时间间隔内、在3D电影的整个时间持续期间内等)处跟踪或确定每个可穿戴设备的空间位置和空间方向。

在一些实施例中，设备图像渲染器(108)随时间(例如，在时间间隔内、在3D电影的整个时间持续期间内等)从设备跟踪器(122)中接收可穿戴设备(例如，102-1，102-2等)的空间位置和空间方向(例如，p1、a1、p2、a2等)。基于可穿戴设备(例如，102-1，102-2等)的空间位置和空间方向，设备图像渲染器(108)可以确定可穿戴设备(例如，102-1，102-2等)与影院显示器(104)之间的空间关系。在一些实施例中，这些空间关系可以由以下各项中的一个或多个表示：可穿戴设备(例如，102-1，102-2等)相对于3D空间(126)中的影院显示器(104)或参考笛卡尔坐标系的线性位置/位移、角位置/位移、线速率或角速率、线速度或角速度、线性加速度或角加速度等。

例如，基于从多视角未分层图像中得到的单层设备图像，设备图像渲染器(108)可以确定一个或多个3D设备图像，所述3D设备图像包括一个或多个左视角设备图像和一个或多个右视角设备图像。设备图像渲染器(108)或可穿戴设备(例如，102-1，102-2等)可以基于可穿戴设备(例如，102-1，102-2等)与影院显示器(104)之间的空间关系在渲染所述一个或多个左视角设备图像和所述一个或多个右视角设备图像(在所述一个或多个3D设备图像中)之前对其执行空间变换。

基于如通过空间变换所变换的左视角设备图像和右视角设备图像，设备图像渲染器(108)可以使可穿戴设备(例如，102-1，102-2)在一个或多个设备显示器(例如，116等)上渲染这些左视角设备图像和右视角设备图像。设备图像渲染器(108)可以用可穿戴图像渲染设备(例如，102-1，102-2等)通过一个或多个数据连接传送控制信息、状态信息、位置数据、如设备图像等图像数据、元数据等。示例数据连接可以包括但不限于到座位/扶手/地板等的以下数据连接方式：无线数据连接；有线数据连接；基于射频的数据连接；蜂窝数据连接；Wi-Fi数据连接；基于红外的数据连接；通过HDMI缆线的数据连接；通过光缆的数据连接；通过高速串行接口(HSSI)、高清串行数字接口(HD-SDI)、12G-SDI、USB线等的数据连接。

另外地、可选地、或可替代地，可以由图像内容接收器(110)执行图像处理操作中的一些或全部，如图像旋转确定、图像对准分析、场景突变检测、坐标系之间的转换、时间衰减、显示管理、内容映射、颜色映射、视场管理等。

在一些实施例中，替代使用如图2C中示出的122等外部设备跟踪器，可以使用内部设备跟踪器来跟踪/监测可穿戴设备(例如，102-1，102-2等)的空间位置和/或空间方向；基于可穿戴设备(例如，102-1，102-2等)的空间位置和/或空间方向生成可穿戴设备(例如，102-1，102-2等)的位置数据和方向数据等。

在一些实施例中，设备图像渲染器(108)可以或可以不仅与单个可穿戴设备(例如，102-1等)一起操作。通过示例而非限制的方式，如图2C中图示的设备图像渲染器(108)与多于一个可穿戴设备(例如，102-1和102-2等)同时操作。

在一些实施例中，设备图像渲染器(108)接收用于可穿戴设备(102-1和102-2)的视频流；根据每个这种可穿戴设备(102-1或102-2)的位置数据和方向数据由用于每个可穿戴设备(102-1或102-2)的视频流中的视频数据生成一个或多个显示图像；用对应的可穿戴设备(102-1或102-2)向观看者(112-1或112-2)渲染所述一个或多个显示图像等。

6.示例过程流程

图4A图示了根据本发明的示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行此过程流程。在框402中，分层设备图像编码器(例如，图2A的180等)访问描述表示于一个或多个多视角未分层图像中的三维(3D)图像空间中的多个视觉对象的空间定位的空间信息。所述一个或多个多视角未分层图像中的每一个包括与多个观看方向相对应的多个单视角未分层图像。

在框404中，基于描述表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象的空间定位的空间信息，所述分层图像编码器(180)从所述一个或多个多视角未分层图像生成包括一个或多个单层影院图像的影院图像层，所述单层影院图像描绘所述多个视觉对象中的一个或多个视觉对象的第一适当子集。

在框406中，基于描述在表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象的空间定位的空间信息，所述分层图像编码器(180)由所述一个或多个多视角未分层图像生成一个或多个设备图像层，所述一个或多个设备图像层中的每一个包括一个或多个单层设备图像，所述单层设备图像描绘所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集。

在框408中，所述分层图像编码器(180)将包括所述影院图像层中的所述一个或多个单层影院图像和所述一个或多个设备图像层中的所述一个或多个单层设备图像的多层多视角视频信号发送至一个或多个下游设备以供渲染。

在实施例中，空间信息表示以下信息中的一种或多种信息：深度信息、差异信息、视差信息、3D网格信息、极线信息、张量映射信息等。

在实施例中，3D图像空间表示以下场景之一：一个或多个真实世界场景、一个或多个虚拟世界场景、一个或多个真实世界场景与一个或多个虚拟世界场景的组合等。

在实施例中，使用一个或多个层分离面将表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象分离到所述影院图像层和所述一个或多个设备图像层中。在实施例中，所述一个或多个层分离面中的至少一个与要用于渲染从所述影院图像层中的所述单层影院图像生成的影院显示图像的影院显示器重合。在实施例中，所述一个或多个层分离面中没有一个层分离面与要用于渲染由所述影院图像层中的所述单层影院图像生成的影院显示图像的影院显示器重合。

在实施例中，所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像中的至少一个是使用通过张量映射生成的3D像素分布来生成的。

在实施例中，基于以下各项中的一个或多个将表示于所述一个或多个多视角未分层图像中的所述3D图像空间中的所述多个视觉对象分离到所述影院图像层和所述一个或多个设备图像层中：显示器在3D参考空间中的空间定位；参考空间定位处的观看者在3D参考空间中的空间定位；投影到所述三维参考空间中的视觉对象相对于所述显示器或所述观看者的空间定位的空间位置；视觉对象在所述3D参考空间中相对于所述观看者(112-0)的空间方向；视觉对象的相对艺术重要性；视觉对象的视觉特性；视觉对象的运动特征；视觉对象的过去、现在或未来的空间定位；视觉对象的过去、现在或未来的空间方向等。

图4B图示了根据本发明示例实施例的示例过程流程。在一些示例实施例中，一个或多个计算设备或部件可以执行此过程流程。在框452中，增强型娱乐系统(例如，如图2A、图2B或图2C中图示的等)接收包括影院图像层中的一个或多个单层影院图像和一个或多个设备图像层中的一个或多个单层设备图像的多层多视角视频信号。所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像预先从一个或多个多视角未分层图像中得到。

在框454中，增强型娱乐系统从所述多层多视角视频信号的所述影院图像层中取得所述一个或多个单层影院图像，所述一个或多个单层影院图像描绘原本通过所述一个或多个多视角未分层图像描绘的多个视觉对象中的一个或多个视觉对象的第一适当子集。

在框456中，增强型娱乐系统从所述多层多视角视频信号的所述一个或多个设备图像层中取得所述一个或多个单层设备图像，所述一个或多个设备图像描绘原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象中的一个或多个视觉对象的一个或多个第二适当子集。

在框458中，增强型娱乐系统使得在3D空间中的影院显示器上向观看者渲染在所述一个或多个单层影院图像中描绘的所述视觉对象的第一适当子集。

在框460中，增强型娱乐系统使得同时在所述3D空间中的设备显示器上向所述观看者渲染在所述一个或多个单层设备图像中描绘的所述视觉对象的一个或多个第二适当子集。

在实施例中，在所述影院显示器上渲染的所述视觉对象的第一适当子集和在所述设备显示器上渲染的所述视觉对象的一个或多个第二适当子集共同描绘原本通过所述一个或多个多视角未分层图像描绘的、定位在3D图像空间中的相同空间定位处的所述多个视觉对象。在实施例中，描述在所述3D图像空间中的所述多个视觉对象所处的空间定位的空间信息之前用于将原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象划分离到所述影院图像层和所述一个或多个设备图像层中。

在实施例中，所述设备显示器相对于所述影院显示器以一个或多个自由度在空间上可移动。

在实施例中，所述设备显示器被可穿戴设备用来渲染图像；所述设备显示器相对于所述可穿戴设备在空间上固定。

在实施例中，所述影院显示器是静止显示器；所述设备显示器表示由所述观看者使用的可穿戴设备的头戴式显示器。

在实施例中，所述3D空间中的所述影院显示器用于在所述3D图像空间中限定层分离面；至少部分地基于所述多个视觉对象相对于所述层分离面的空间关系将所述多个视觉对象划分成所述视觉对象的第一适当子集和所述视觉对象的一个或多个第二适当子集。

在实施例中，基于距所述层分离面的空间距离从所述多个视觉对象当中选择所述视觉对象的一个或多个第二适当子集。

在实施例中，所述多个视觉对象当中的至少一个视觉对象跨过所述层分离面；所述视觉对象的第一适当子集包括所述至少一个视觉对象的一部分；所述视觉对象的一个或多个第二适当子集包括所述至少一个视觉对象的其余部分。

在实施例中，所述影院显示器表示所述3D空间中具有零视差的空间表面；被影院显示图像描绘为位于所述影院显示器后方的视觉对象具有正视差；被所述影院显示图像描绘为位于所述影院显示器前方的视觉对象具有负视差；基于所述多个视觉对象中的个体视觉对象的个体视差将所述多个视觉对象划分成所述视觉对象的第一适当子集和所述视觉对象的一个或多个第二适当子集。

在实施例中，如果所述视觉对象的一个或多个第二适当子集将通过渲染于所述影院显示器上的影院显示图像渲染，则所述视觉对象的一个或多个第二适当子集中的所有视觉对象将具有负视差。

在实施例中，如果所述视觉对象的一个或多个第二适当子集将通过渲染于所述影院显示器上的影院显示图像渲染，则所述视觉对象的一个或多个第二适当子集中的至少一个视觉对象将具有正视差。

在实施例中，增强型娱乐系统进一步被配置为执行以下操作：使在所述一个或多个单层设备图像中描绘的所述视觉对象的一个或多个第二适当子集中的两个不同的适当视觉对象子集在距所述观看者为两个不同距离的两个不同图像平面处被渲染于所述设备显示器上。

在实施例中，所述设备显示器在基于所述观看者的聚散角可调节的距离的图像平面处渲染设备显示图像。

在实施例中，所述设备显示器在相对于所述观看者固定的距离的图像平面处渲染设备显示图像。

在实施例中，增强型娱乐系统进一步被配置为执行以下操作：基于以下各项中的一个或多个来使用空间变换将所述一个或多个单层设备图像调整成设备显示图像：包括所述设备显示器的可穿戴设备的特定空间位置或特定空间方向。

在实施例中，所述空间变换重构张量模型，所述张量模型之前用于从所述一个或多个多视角未分层图像生成所述影院图像层和所述一个或多个设备图像层。

在实施例中，在所述影院显示器上渲染的影院显示图像表示以下各项之一：二维图像或3D图像。

在实施例中，包括所述设备显示器的可穿戴设备是所述3D空间中的多个可穿戴设备当中的可穿戴设备，所述多个可穿戴设备自动向媒体系统注册，以接收在影院图像内容正在所述影院显示器上渲染的同时要被渲染的设备图像内容。在实施例中，所述可穿戴设备基于以下各项中的一个或多个自动向所述媒体系统注册：基于向所述可穿戴设备的观看者发放的特定票的特定座位位置、嵌入在影院图像内容中或所述影院显示器的周围空间区域中的基准标记、利用设备ID信息编码的光线、射频(RF)定位检测、所述3D空间中的观众区域的特定区等。

在实施例中，包括所述设备显示器的可穿戴设备是所述3D空间中的多个可穿戴设备当中的可穿戴设备，所述多个可穿戴设备被分到所述3D空间中的观众区域中的多个区中；所述多个区中的第一区中的第一可穿戴设备从第一设备图像内容服务器(例如，第一设备图像渲染器等)接收设备图像内容；所述多个区中的第二区中的第二可穿戴设备从第二设备图像内容服务器(例如，第二设备图像渲染器等)接收设备图像内容。

在实施例中，增强型娱乐系统进一步被配置为执行以下操作：利用安装在所述3D地点中的一个或多个空间安装定位处的设备传感器组件跟踪可穿戴设备。在实施例中，所述设备传感器组件中的至少一个位于以下位置之一处：所述3D地点中的天花板、墙壁、地板、靠近所述影院显示器的空间区域、远离所述影院显示器的空间区域、就座空间、座椅背部等。

在各种示例实施例中，装置、系统、装置、或者一个或多个其他计算设备执行所描述的前述方法中的任何方法或其一部分。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时致使执行本文所述的方法。

注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

7.实施机制——硬件概述

根据一个实施例，本文所述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备还可以将自定义硬接线逻辑、ASIC或FPGA与自定义编程相结合以实现所述技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。

例如，图5是框图，图示了可以在其上实施本发明的示例实施例的计算机系统500。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。这种指令当存储在处理器504可访问的非暂态存储介质中时，将计算机系统500渲染为专用机器，所述专用机器被自定义为执行特定于指令的操作。

计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。

提供存储设备510(诸如磁盘或光盘、固态RAM)，并将其耦接到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制装置516，用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，这个输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在某个平面中指定方位。

计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文所述技术，所述固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行本文中的技术。可以将这种指令从如存储设备510等另一个存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所述的过程步骤。在替代性实施例中，可以使用硬接线电路代替软件指令或者与所述软件指令结合。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。

各种形式的介质可以涉及将一个或多个指令的一个或多个序列携载到用于执行的处理器504上。例如，指令最初可以携载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以在电话线上接收数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携载的数据，并且适当的电路系统可以将数据放在总线502上。总线502将数据携载到主存储器506，处理器504从所述主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供与相应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与相容LAN的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收携载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。局部网络522和因特网528都使用携载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据携载到计算机系统500和从所述计算机系统携载数字数据)是传输介质的示例形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用程序的请求代码。

所接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供稍后执行。

8.等效、扩展、替代及其他

在前述说明书中，已经参考许多具体细节描述了本发明的示例实施例，这些细节可以根据实施方式而变化。因此，作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本申请中以这套权利要求发布的具体形式发布的权利要求，包括任何后续修改。本文中明确阐述的针对这种权利要求中包含的术语的任何定义应当支配着权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。

Claims (23)

1.一种用于渲染视觉对象的方法，包括：

接收包括影院图像层中的一个或多个单层影院图像以及一个或多个设备图像层中的一个或多个单层设备图像的多层多视角视频信号，所述影院图像层中的所述单层影院图像和所述一个或多个设备图像层中的所述单层设备图像是之前从一个或多个多视角未分层图像得到的；

从所述多层多视角视频信号的所述影院图像层取得所述一个或多个单层影院图像，所述一个或多个单层影院图像描绘原本通过所述一个或多个多视角未分层图像描绘的多个视觉对象中的第一视觉对象；

从所述多层多视角视频信号的所述一个或多个设备图像层取得所述一个或多个单层设备图像，所述一个或多个单层设备图像描绘原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象中的一个或多个第二视觉对象；

使得在3D空间中的影院显示器上向观看者渲染在所述一个或多个单层影院图像中描绘的第一视觉对象；

使得在所述3D空间中的设备显示器上向所述观看者同时渲染在所述一个或多个单层设备图像中描绘的一个或多个第二视觉对象；

其中，描述3D图像空间中的所述多个视觉对象所处的空间定位的空间信息之前用于将原本通过所述一个或多个多视角未分层图像描绘的所述多个视觉对象划分成所述影院图像层和所述一个或多个设备图像层。

2.如权利要求1所述的方法，其中，所述设备显示器相对于所述影院显示器以一个或多个自由度在空间上能够移动。

3.如权利要求1所述的方法，其中，所述设备显示器被可穿戴设备使用以渲染图像；并且其中，所述设备显示器相对于所述可穿戴设备在空间上固定。

4.如权利要求1所述的方法，其中，所述影院显示器是静止显示器，并且其中，所述设备显示器表示由所述观看者使用的可穿戴设备的头戴式显示器。

5.如权利要求1所述的方法，其中，所述3D空间中的所述影院显示器用于限定所述3D图像空间中的层分离面；并且其中，至少部分地基于所述多个视觉对象相对于所述层分离面的空间关系将所述多个视觉对象划分成所述第一视觉对象和所述一个或多个第二视觉对象。

6.如权利要求5所述的方法，其中，基于距所述层分离面的空间距离从所述多个视觉对象当中选择所述一个或多个第二视觉对象。

7.如权利要求5所述的方法，其中，所述多个视觉对象当中的至少一个视觉对象跨过所述层分离面；其中，所述第一视觉对象包括所述至少一个视觉对象的一部分；并且其中，所述一个或多个第二视觉对象包括所述至少一个视觉对象的其余部分。

8.如权利要求1所述的方法，其中，所述影院显示器表示所述3D空间中具有零视差的空间面；其中，由影院显示图像描绘为位于所述影院显示器后方的视觉对象具有正视差；其中，由所述影院显示图像描绘为位于所述影院显示器前方的视觉对象具有负视差；并且其中，基于所述多个视觉对象中的个体视觉对象的个体视差将所述多个视觉对象划分成所述第一视觉对象和所述一个或多个第二视觉对象。

9.如权利要求8所述的方法，其中，如果所述一个或多个第二视觉对象将通过在所述影院显示器上渲染的影院显示图像渲染，则所述一个或多个第二视觉对象中的所有视觉对象将具有负视差。

10.如权利要求8所述的方法，其中，如果所述一个或多个第二视觉对象将通过在所述影院显示器上渲染的影院显示图像渲染，则所述一个或多个第二视觉对象中的至少一个视觉对象将具有正视差。

11.如权利要求1所述的方法，进一步包括：使得在所述一个或多个单层设备图像中描绘的所述一个或多个第二视觉对象中的视觉对象的两个不同的子集在距所述观看者为两个不同的距离的两个不同的图像平面处被渲染在所述设备显示器上。

12.如权利要求1所述的方法，其中，所述设备显示器在基于所述观看者的聚散角能够调节的距离的图像平面处渲染设备显示图像。

13.如权利要求1所述的方法，其中，所述设备显示器在相对于所述观看者固定的距离的图像平面处渲染设备显示图像。

14.如权利要求1所述的方法，进一步包括基于以下各项中的一个或多个来使用空间变换将所述一个或多个单层设备图像调整成设备显示图像：包括所述设备显示器的可穿戴设备的特定空间位置或特定空间方向。

15.如权利要求14所述的方法，其中，所述空间变换重构张量模型，所述张量模型之前用于从所述一个或多个多视角未分层图像生成所述影院图像层和所述一个或多个设备图像层。

16.如权利要求1所述的方法，其中，在所述影院显示器上渲染的影院显示图像表示以下各项中的一个：二维图像或3D图像。

17.如权利要求1所述的方法，其中，包括所述设备显示器的可穿戴设备是所述3D空间中的多个可穿戴设备当中的，所述多个可穿戴设备自动向媒体系统注册，以接收在影院图像内容正在所述影院显示器上被渲染的同时要被渲染的设备图像内容。

18.如权利要求17所述的方法，其中，所述可穿戴设备基于以下各项中的一个或多个自动向所述媒体系统注册：基于向所述可穿戴设备的观看者发放的特定票的特定座位位置、嵌入影院图像内容中或所述影院显示器的周围空间区域中的基准标记、利用设备ID信息编码的光线、射频RF定位检测、或所述3D空间中的观众区域的特定区。

19.如权利要求1所述的方法，其中，包括所述设备显示器的可穿戴设备是所述3D空间中的多个可穿戴设备当中的，所述多个可穿戴设备被分到所述3D空间中的观众区域中的多个区中；其中，所述多个区中的第一区中的第一可穿戴设备接收来自第一设备图像内容服务器的设备图像内容；其中，所述多个区中的第二区中的第二可穿戴设备接收来自第二设备图像内容服务器的设备图像内容。

20.如权利要求1所述的方法，进一步包括利用安装在所述3D空间中的一个或多个空间安装定位处的设备传感器组件跟踪可穿戴设备。

21.如权利要求20所述的方法，其中，所述设备传感器组件中的至少一个位于以下各项中的一个处：所述3D空间中的天花板、墙壁、地板、靠近所述影院显示器的空间区域、远离所述影院显示器的空间区域、就座空间、或座椅背部。

22.一种用于渲染视觉对象的装置，包括：

一个或多个处理器；

存储器，存储计算机程序，当所述计算机程序由所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-21中任一项所述的方法。

23.一种计算机可读存储介质，存储指令，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-21中任一项所述的方法。