CN112602042B - 用于生成场景的图像的装置和方法 - Google Patents

Abstract

一种装置包括：存储器(209)，其存储针对场景的锚定姿态的集合以及针对所述场景的典型3D图像数据。接收器(201)接收针对观看者的观看者姿态，并且绘制姿态处理器(203)针对所述观看者姿态中的当前观看者姿态来确定所述场景中的绘制姿态，其中，所述绘制姿态是相对于参考锚定姿态确定的。检索器(207)检索针对所述参考锚定姿态的3D图像数据，并且合成器(205)响应于所述3D图像数据来合成针对所述绘制姿态的图像。选择器从锚定姿态的所述集合中选择所述参考锚定姿态，并且被布置为响应于所述观看者姿态来将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。

Description

用于生成场景的图像的装置和方法

技术领域

本发明涉及一种用于针对场景生成图像的设备和方法，尤其涉及但不排他地涉及用于访问虚拟场景的虚拟现实应用的图像生成。

背景技术

近年来，随着不断开发和引入新的服务以及利用和使用视频的方式，图像和视频应用的种类和范围已大大增加。

例如，一种越来越流行的服务是以如下的方式提供图像序列：使得观看者能够主动和动态地与系统交互以改变绘制的参数。在许多应用中，一个非常吸引人的功能是能够更改观看者的有效观看位置和观看方向的能力，例如允许观看者在呈现的场景中移动并“环顾四周”。

这样的特征可以具体地允许将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中(相对)自由地移动，并动态地改变其位置和他所看的位置。通常，这样的虚拟现实应用基于场景的三维模型，其中该模型被动态评估以提供特定的请求视图。从例如用于计算机和控制台的第一人称射击游戏类别的游戏应用中，这种方法是众所周知的。

尤其对于虚拟现实应用，还期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选的是，用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应该优选地允许用户选择相对于虚拟世界的他/她自己的位置、相机视点以及时间。

通常，虚拟现实应用固有地受限于它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。如果可以基于真实世界的捕获来提供虚拟现实体验，则将是理想的。但是，在许多情况下，这样的方法非常受限制，或者倾向于要求根据真实世界的捕获物来构建真实世界的虚拟模型。然后通过评估该模型来生成虚拟现实体验。

然而，许多当前的方法倾向于是次优的，并且倾向于通常具有较高的计算或通信资源要求和/或以例如降低的质量或受限的自由度提供次优的用户体验。

作为应用的示例，虚拟现实眼镜已经进入市场。这些眼镜使观看者可以体验捕获的360度(全景)或180度视频。这些360度视频通常是使用摄影机预先捕获的，其中将单幅图像拼贴在一起形成单个球面映射。针对180或360度视频的常见立体声格式为上/下和左/右。与非全景立体声视频相似，左眼和右眼图片被压缩为单个H.264视频流的一部分。在对单个帧解码后，观看者旋转他/她的头部以查看他/她周围的世界。一个示例是如下的记录，其中，观看者可以体验360度环视效果，并且可以在从不同位置录制的视频流之间离散地切换。在切换时，将加载另一个视频流，这中断了体验。

立体全景视频方法的一个缺点是观看者不能改变虚拟世界中的位置。除了全景立体视频之外，全景深度图的编码和传输还允许补偿客户端观看者的小的平移运动，但是这种补偿本质上将限于小的变化和运动，并且将不能提供沉浸式和自由虚拟现实体验的视觉效果。

一种相关技术是自由视点视频，其中具有深度图的多个视点在单个视频流中被编码和传输。除了利用众所周知的时间预测方案之外，还可以通过利用视点之间的角度依赖性来降低视频流的比特率。然而，所述方法仍然需要高比特率，并且在可以生成的图像方面是受限制的。它实际上不能提供在三维虚拟真实世界中完全自由移动的体验。

遗憾的是，没有任何一种现有技术能够提供理想的体验，而是常常倾向于限制位置和观看方向的改变的自由度。另外，这些技术趋向于要求非常高的数据率并提供包括比生成单幅图像/视图所需的数据更多的数据的数据流。

事实上，尽管虚拟现实服务和应用的数量和变化在增加，但是仍然希望提供改进的用户体验。特别希望提供更灵活和直观的用户体验。特别期望一种如下的应用：不仅提供高质量的视觉响应，而且还使用户控制和输入直观、自然、灵活且易于使用。

因此，其用于生成场景，特别是虚拟现实体验/应用的图像的改进的方法将是有利的。特别地，一种允许改善操作、增加灵活性、降低数据速率、便于分发、降低复杂性、简化实施、降低存储需求、提高图像质量、改善和/或便于用户控制、改善虚拟现实体验和/或改进性能和/或操作的方法将是有利的。

发明内容

因此，本发明寻求单独地或以任何组合来优选地减弱、减轻或消除上述缺点中的一个或多个。

根据本发明的一个方面，提供了一种生成场景的图像的装置，所述装置包括：存储器，其用于存储针对所述场景的锚定姿态的集合；接收器，其用于接收针对观看者的观看者姿态；选择器，其用于从锚定姿态的所述集合中选择参考锚定姿态；绘制姿态处理器，其用于针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态；检索器，其用于检索针对所述参考锚定姿态的第一三维图像数据；合成器，其用于响应于所述第一三维图像数据来合成针对所述绘制姿态的图像；其中，所述选择器被布置为响应于所述观看者姿态的变化满足准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，并且所述绘制姿态处理器被布置为根据观看者姿态到绘制姿态的映射来确定所述第一绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。

本发明可以响应于观看者的观看者姿态而为场景提供改进的和/或更有用的场景图像生成。在许多实施例中，所述方法可以提供非常适合于灵活、高效和高性能的虚拟现实(VR)应用的图像数据。在许多实施例中，它可以允许或实现改善的VR用户体验。在许多示例中，所述方法可以提供用户体验，其中用户可以体验针对小运动的自然视差，仍能够更剧烈地改变视图以便例如环顾四周。例如，对于大多数运动，用户可能会经历自然视差，但是当需要不同的视点时，能够传送到不同的视点。此外，在许多实施例中，所述方法可以提供有利且直观的用户控制。例如，用户可能能够基于自然而简单的头部运动来控制不同的体验和功能。

该方法可以减少提供期望的例如虚拟现实体验所需的功能的复杂性。例如，可以仅基于很少的捕获场景的相机来提供灵活的体验。该方法对于例如真实世界事件的广播或传输，例如体育赛事的实况传输或广播，可能是非常有利的。

所生成的图像可以对应于针对头部姿态的视口图像。图像可以被生成以形成连续的数据流，并且例如可以是与观看图像相对应的立体帧的流。

所述场景可以是虚拟场景，并且可以具体地是人工虚拟场景，或者可以例如是捕获的真实世界场景或增强现实场景。观看者姿态可以表示真实世界中观看者的姿态，并且可以具体对应于观看者的头部姿态，诸如例如由VR耳机检测到的。观看者姿态可以在真实世界坐标系中表示。绘制姿态和锚定姿态可以在场景坐标系中表示。

在一些实施例中，观看者姿态、绘制姿态和/或锚定姿态可以分别是观看者位置、绘制位置和/或锚定位置。锚定姿态可以是如下的姿态，针对所述姿态，表示场景的三维图像数据可用。具体地，锚定姿态可以是针对场景的捕获姿态(特别是针对捕获场景的真实或虚拟相机的姿态)。

如果观看者姿态(当前观看者姿态)满足切换准则，则选择器可以被布置为将参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。在一些实施例中，选择器可以被布置为响应于满足准则的观看者姿态的改变，将参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。

所使用的特定准则将取决于各个实施例的特定要求和偏好以及要实现的期望效果。类似地，映射的特性以及其如何随着锚定姿态而变化将取决于各个实施例的特定要求和偏好以及要实现的期望效果。

在许多实施例中，映射可以不考虑除了当前观看者姿态以外的其他观看者姿态，而准则可以包括考虑(要求)至少一个观看者姿态不是当前观看者姿态。通常，映射可以仅包括当前观看者姿态，而用于切换参考锚定姿态的准则可以包括对过去观看者姿态的考虑。该准则可以具体地包括针对参考锚定姿态的选择的滞后。锚定姿态的选择可以取决于观看者姿态的历史，而映射可以仅考虑当前观看者姿态。

该映射可以是一对一的映射。在一些实施例中，切换锚定姿态时映射的变化可能是瞬时的，而在其他实施例中可能是渐进的。在一些实施例中，针对不同锚定姿态的相对映射可以是使得观看者姿态中的相对变化映射到针对不同参考锚定姿态的绘制姿态中的相同相对变化(即，在没有参考锚定姿态变化的情况下)。

根据本发明的任选的特征，绘制姿态处理器被布置为将观看者姿态值映射到针对被选择为基准锚定姿态的第一锚定姿态和被选择为基准锚定姿态的第二锚定姿态的不同的绘制姿态值。

在许多实施例中，这可以提供改善的体验和/或性能。

根据本发明的任选的特征，所述映射包括取决于选择锚定姿态的所述集合中的哪个锚定姿态作为参考锚定姿态而对绘制姿态施加不同的偏移。

在许多实施例中，这可以提供特别有利的操作。在许多实施例中，相同的相对/差分映射可以被应用于每个锚定姿态并且锚定姿态之间的改变导致针对绘制姿态的姿态偏移的改变。

根据本发明的任选的特征，所述绘制姿态处理器被布置为将观看者姿态映射到针对相同参考锚定姿态的绘制姿态，使得观看者姿态在第一方向上的变化被映射到绘制姿态在第一方向上的变化。

在许多实施例中，这可以提供特别有利的操作。

根据本发明的任选的特征，所述映射是针对从绘制姿态到参考锚定姿态的不超过阈值的距离的恒定线性映射。

在许多实施例中，这可以提供特别有利的操作，并且可以特别地允许对于观看者姿态的相对小的改变具有自然的观看体验。

在一些实施例中，所述映射可以是从所述绘制姿态到所述参考锚定姿态的距离不超过阈值的恒定线性映射。

根据本发明的任选的特征，所述线性映射具有不小于50％且不大于150％的比例因子。

这提供了改善的体验，并且尤其可以提供自然的体验，但允许在操作中进行一些调整。在许多实施例中，比例因子可以是100％，从而获得具有自然视差的更自然体验。比例因子可以反映观看者姿态的姿态距离与绘制姿态中的对应(映射)姿态距离之间的比率。

根据本发明的任选的特征，所述选择器被布置为响应于检测到第一观看者姿态满足准则而切换所述参考锚定姿态，所述准则包括第一观看者姿态和参考观看者姿态之间的第一距离超过阈值的要求。

这可以提供有效和直观的体验，但只需要低复杂度。参考观看者姿态可以具体地是映射到参考锚定姿态的姿态。

根据本发明的任选的特征，选择器布置成根据锚定姿态的所述集合中的哪个锚定姿态被选择为基准锚定姿态来修改基准观看者姿态。

这可以在许多实施例中提供改进的体验。其尤其可以允许改进何时切换参考锚定姿态的控制。例如，它可以允许一种方法，在该方法中，针对观看者的姿态的不同姿态区域映射到不同的参考锚定姿态，从而便于控制。

根据本发明的任选的特征，第一距离取决于锚定姿态的所述集合中的哪个锚定姿态被选择为参考锚定姿态。

这可以在许多实施例中提供改进的性能。

根据本发明的任选的特征，所述第一距离是所述第一观看者姿态的位置与所述参考观看者姿态的位置之间的距离，并且所述选择器被布置为取决于所述观看者姿态的取向与参考取向之间的差异来调整所述阈值。

这可以提供改善的体验。特别地，在许多实施例中，它可以允许对用户是否正在转动他的头或他是否正在移动他的头以环顾例如前景物体的改进的估计。

根据本发明的任选的特征，所述阈值是差异的单调递增函数。

这可以提供改善的体验。

根据本发明的任选的特征，所述选择器布置成响应于观看者姿态的变化率来切换参考锚定姿态。

在许多情况下，这可以为用户提供改善的体验。例如，为了增加观看者姿态的取向的变化率，可以减小切换锚定姿态所需的阈值距离。

根据本发明的任选的特征，检索器还被布置为针对锚定姿态的所述集合中的第二锚定姿态来检索第二三维图像数据。并且所述合成器被布置为使用第二三维图像数据合成图像；其中，所述第一三维图像数据的质量水平高于所述第二三维图像数据。

在许多应用中，这允许提高图像质量，而不导致数据速率出现不希望的高增长。

根据本发明的一个方面，提供了一种生成场景的图像的方法，所述方法包括：存储针对所述场景的锚定姿态的集合；接收针对观看者的观看者姿态；从锚定姿态的所述集合中选择参考锚定姿态；针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态，所述第一绘制姿态是相对于所述参考锚定姿态确定的；检索针对所述参考锚定姿态的第一三维图像数据；响应于所述第一三维图像数据来合成针对所述绘制姿态的图像；其中，所述选择包括响应于所述观看者姿态的变化满足准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。

参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优势将变得显而易见并将得以阐述。

附图说明

仅以范例的方式参考附图描述本发明的实施例，其中，

图1图示了用于提供虚拟现实体验的客户端服务器布置的示例；

图2图示了根据本发明一些实施例的装置的元件的示例；

图3图示了通过图2的装置的一些示例性实施方式将观看者姿态映射到绘制姿态的示例；

图4图示了通过图2的装置的一些示例性实施方式将观看者姿态映射到绘制姿态的示例；

图5图示了通过图2的装置的一些示例性实施方式将观看者姿态映射到绘制姿态的示例；

图6图示了观看者移动的示例；

图7图示了观看者移动的示例；

图8图示了观看者移动的示例；

图9图示了观看者移动的示例；

图10图示了由图2的装置的一些示例性实施方式使用的决策边界的示例；并且

图11图示了由图2的装置的一些示例性实施方式使用的3D图像数据的示例。

具体实施方式

允许用户在虚拟世界中四处移动的虚拟体验正变得越来越流行，并且正在开发满足这些需求的服务。但是，提供有效的虚拟现实服务非常具有挑战性，特别是如果体验是基于对真实世界环境的捕获，而不是基于完全虚拟生成的人造世界的话。

在许多虚拟现实应用中，确定观看者姿态输入，以反映虚拟场景中虚拟观看者的姿态。然后，虚拟现实设备/系统/应用为与观看者姿态相对应的观看者生成与虚拟场景的视图和视口相对应的一幅或多幅图像。

通常，虚拟现实应用以针对左眼和右眼的单独视图图像的形式生成三维输出。然后可以通过合适的方式将这些呈现给用户，例如通常是VR头戴套件的左右眼显示器。在其他实施例中，可以例如在自动立体显示器上呈现一个或多个视图图像，或者实际上在一些实施例中，可以仅生成单个二维图像(例如，使用常规的二维显示器)。

观看者或姿态输入可以在不同应用中以不同方式确定。在许多实施例中，可以直接跟踪用户的身体运动。例如，勘测用户区域的相机可以检测并跟踪用户的头部(或者甚至是眼睛)。在许多实施例中，用户可以佩戴可以由外部和/或内部装置跟踪的VR耳机。例如，头戴套件可以包括加速度计和陀螺仪，所述加速度计和陀螺仪提供有关头戴套件并且因此头部的运动和旋转的信息。在一些示例中，VR头戴套件可以发送信号或包括(例如视觉)识别符，其使得外部传感器能够确定VR头戴套件的位置。

在一些系统中，观看者姿态可以通过手动方式提供，例如通过用户手动控制操纵杆或类似的手动输入。例如，用户可以通过用一只手控制第一模拟操纵杆来手动在虚拟场景中四处移动虚拟观看者，并通过用另一只手手动移动第二模拟操纵杆来手动控制虚拟观看者的观看方向。

在一些应用中，可以使用手动和自动方法的组合来生成输入观看者姿态。例如，头戴套件可以跟踪头部的取向，并且场景中观看者的移动/位置可以由用户使用操纵杆来控制。

图像的生成基于虚拟世界/环境/场景的适当表示。在一些应用中，可以为场景提供完整的三维模型，并且可以通过评估该模型来确定来自特定观看者姿态的场景的视图。在其他系统中，虚拟场景可以由与从不同捕获姿态捕获的视图相对应的图像数据表示。例如，对于多个捕获姿态，可以将完整的球形图像与三维(深度数据)一起存储。在这样的方法中，可以通过三维图像处理，例如专门使用视图平移算法，来生成除了捕获姿态以外的其他姿态的视图图像。在系统中，场景是通过针对离散的视点/位置/姿态存储的视点数据来描述/引用的，但也可以将这些场景称为锚定视点/位置/姿态。通常，当已经通过捕获来自不同点/位置/姿态的图像来捕获现实环境时，这些捕获点/位置/姿态也是锚定/位置/姿态。

典型的VR应用程序相应地提供(至少)与当前观看者姿态的虚拟场景的视口相对应的图像，其中图像被动态更新以反映观看者姿态的变化，并且图像基于表示虚拟场景/环境/世界的数据而生成。

在本领域中，术语放置和姿态用作针对位置和/或方向/取向的通用术语。例如对象、相机、头部或视图的位置和方向/取向的组合可以被称为姿态或放置。因此，放置或姿态指示可包括六个值/分量/自由度，其中每个值/分量通常描述相应对象的方位/位置或取向/方向的单独属性。当然，在许多情况下，放置或姿态可利用较少的分量表示，例如，如果一个或多个分量被认为是固定的或不相关的(例如，如果所有对象都被认为处于相同的高度并具有水平方向，则四个分量可以提供对象姿态的完整表示)。在下文中，术语“姿态”用于表示可以由一到六个值(对应于最大可能的自由度)表示的位置和/或取向。

许多VR应用都是基于具有最大自由度的姿态，即，每个位置和取向的三个自由度导致总共六个自由度。因此，姿态可以由表示六个自由度的六个值的集合或向量表示，因此姿态向量可以提供三维位置和/或三维方向指示。然而，将意识到，在其他实施例中，姿态可以由更少的值表示。

基于为观看者提供最大自由度的系统或实体通常是指具有6个自由度(6DoF)。许多系统和实体仅提供方向或位置，通常将其称为具有3个自由度(3DoF)。

在一些系统中，VR应用可以由例如不使用或者甚至不能访问任何远程VR数据或处理的独立设备本地地提供给观看者。例如，诸如游戏主机的设备可以包括：用于存储场景数据的存储器，用于接收/生成观看者姿态的输入部，以及用于从场景数据生成对应图像的处理器。

在其他系统中，VR应用可以在远离观看者的地方实现和执行。例如，用户本地的设备可以检测/接收运动/姿态数据，所述数据被发送到处理该数据以生成观看者姿态的远程设备。然后，远程设备可以基于描述场景数据的场景数据针对观看者的姿态生成合适的观看图像。然后将观看图像传输到观看者所在的本地设备。例如，远程设备可以直接生成由本地设备直接呈现的视频流(通常是立体声/3D视频流)。因此，在这样的示例中，除了发送运动数据以及呈现接收到的视频数据之外，本地设备可以不执行任何VR处理。

在许多系统中，功能可以分布在本地设备和远程设备上。例如，本地设备可以处理接收到的输入和传感器数据以生成观看者姿态，所述观看者姿态被连续地发送到远程VR设备。然后，远程VR设备可以生成相应的视图图像，并将其发送到本地设备以用于呈现。在其他系统中，远程VR设备可能不直接生成视图图像，而是可能会选择相关的场景数据并将其传输到本地设备，然后本地设备可以生成呈现的视图图像。例如，远程VR设备可以识别最近的捕获点并提取对应的场景数据(例如，来自捕获点的球面图像和深度数据)，并将其发送到本地设备。然后，本地设备可以处理接收到的场景数据，以生成针对特定当前观看姿态的图像。

图1图示了VR系统的这样示例，其中，远程VR服务器103例如经由诸如因特网的网络105与客户端VR设备101联络。远程VR服务器103可以被布置为同时支持潜在大量的客户端VR设备101。

在许多场景，这种方法可以提供改进的折衷，例如在复杂性和针对不同设备的资源需求、通信需求等之间。例如，观看者姿态和对应的场景数据可以以较大的间隔被发送，其中本地设备在本地处理观看者姿态和接收的场景数据以提供实时的低延迟体验。例如，这可以显著减少所需的通信带宽，同时提供低延迟体验，并且同时允许场景数据被集中存储、生成和维护。例如，它可能适用于将VR体验提供给多个远程设备的应用。

图2图示了根据本发明的一些实施例的用于响应于观看者姿态来生成虚拟场景的图像的装置。该方法特别适合于其中例如针对由相对较少数量的捕获设备(通常是3D相机)捕获的现场事件提供虚拟现实体验的实施例。

作为说明性和说明性的示例，可以考虑通过几个空间偏移的3D相机(例如可以提供图像和相关深度图或实际上是立体图像和相关联的3D图的立体相机或测距相机)捕获诸如篮球比赛的体育赛事的应用。例如，事件可以由排成一行并在其之间的距离为50厘米的三个3D相机时捕获。相机可以例如定位成对应于篮球比赛的第一排上的三个连续座位。

在这样的情况下，图1的装置可以例如被用于提供给用户以实际坐在第一排的感觉的用户体验。例如，它可以支持他环顾四周并且具有针对头部运动调整的视野。如将描述的，所述方法还可以允许用户更多地改变他的视点以便例如环顾对象。

具体地，在该示例中，所述设备可以提供VR体验，所述VR体验为观看者提供有限量的运动自由度，使得观看者在坐下时可以稍微移动其头部并看到相应的视点的微小变化(视差偏移)。为了进一步提高沉浸感，所述方法可以支持观看者能够环顾遮挡的前景对象。例如，在篮球比赛期间，它可以支持观看者能够环顾遮挡球或重要动作的球员，或者在网球比赛期间，它可以允许用户环顾网球球员以观察球的路径。

图2的装置包括：接收器201，其被布置为接收观看者的观看者姿态。所述装置可以生成与视图姿态相对应的一个或多个视图图像。

在一些实施例中，接收器201可以例如从VR头戴设备或从被布置为基于传感器输入数据确定和计算视点姿态的内部处理器直接接收定义视点姿态的视点姿态数据。例如，所述装置可以包括传感器输入处理器，所述传感器输入处理器(未示出)被布置为从传感器接收数据，所述传感器检测观看者或与所述观看者有关的装备的运动。传感器输入被特别地布置为接收指示观看者的头部姿态的数据。响应于传感器输入，如本领域技术人员所知，传感器输入处理器被布置为确定/估计观看者的当前头部姿态。例如，基于来自头戴套件的加速度、陀螺仪和相机传感器数据，传感器输入处理器可以估计和跟踪头戴套件以及因此估计和跟踪观看者的头部的位置和方向。替代地或者额外地，例如可以使用相机来捕获观看环境，并且可以使用来自相机的图像来估计和跟踪观看者的头部位置和方向。以下描述将集中于其中图像属性是深度属性实施例，头部姿态被确定为具有六个自由度，但是应当理解，在其他实施例中可以考虑更少的自由度。传感器输入处理器然后可以将头部姿态馈送到接收器201以用作观看者姿态。

接收器被耦合到绘制姿态处理器203，所述绘制姿态处理器203被布置为根据观看者姿态生成绘制姿态。观看者姿态反映了用户在真实世界中的姿态，并且可以具体地被提供为反映真实世界坐标参考的一组矢量参数值。具体地，观看姿态可以指示真实世界中用户的头部的位置变化。

生成绘制姿态以指示虚拟场景中的查看姿态，尤其是查看点和查看方向。绘制姿态具体指示虚拟场景的坐标系中的姿态。绘制姿态反映了要针对其生成视图图像的虚拟场景/世界中的所需姿态。因此，用于绘制视图图像的期望基本姿态被该绘制姿态反映。绘制姿态可以具体地作为反映虚拟场景/世界坐标参考的一组矢量参数值来提供。

绘制姿态处理器203可以具体地将观看者姿态映射到绘制姿态，并且因此可以具体地可以将真实世界参考/坐标系中的头部/观看者姿态映射到虚拟场景/世界参考/坐标系中的绘制姿态。绘制姿态处理器203可以相应地基于观看者运动来确定虚拟场景中与观看者的虚拟观看姿态相对应的相应绘制姿态。绘制姿态处理器203可以被布置为执行从当前观看者姿态到绘制姿态的映射，所述映射独立于除当前观看者姿态之外的所有其他观看者姿态(并且具体地独立于过去和将来的观看者姿态)。

绘制姿态处理器203被耦合到图像合成器205，图像合成器205被布置为合成针对绘制姿态的图像。图像合成器205可以针对给定的绘制姿态专门生成与虚拟场景中的视口相对应的视点图像。观看图像可以具体地是对应于左眼视口和右眼视口的立体图像。相应地，被呈现以这些图像(例如，在VR头戴设备中)的用户将获得位于虚拟世界中的呈现姿态所给定的位置和取向的观看者将获得的视图。绘制姿态处理器203被布置为基于描述场景的三维(3D)图像数据来生成图像。通过检索器207检索3D图像数据。在一些实施例中，检索器207可以被布置为从内部源检索适当的3D图像数据。

例如，包括所有三个相机馈送的篮球比赛的记录可以被提供在蓝光^TM碟上，或者可以例如在下载之后被存储在本地存储器中。然后，检索器207可以检索针对例如中央相机的3D图像数据流，并将其馈送到图像合成器205，图像合成器205可以针对当前绘制姿态生成适当的视图图像。

在其他实施例中，检索器207可以被布置为从远程源检索3D图像数据。例如，远程源可以针对直播事件实时广播相机馈送，并且检索器207可以包括接收器，所述接收器被布置为接收流并将适当的流馈送到图像合成器205，然后图像合成器205可以对其进行处理以生成适当的视图图像。

在其他实施例中，可以响应来自客户端的明确请求而由诸如图1的远程VR服务器103的远程服务器提供3D图像数据。在这样的实施例中，检索器207可以在例如周期性时间生成对3D图像数据的请求，并将这些请求发送到将提供所需的3D图像数据的服务器。在许多实施例中，可以使用更灵活的方法，其中该请求是要向数据流提供所请求的流，然后连续提供该请求，直到发送新请求为止。例如，根据请求，可以将来自一个相机的数据流形式的3D图像数据从服务器连续提供给检索器207，直到发送新请求为止，例如，针对服务器替代地提供来自不同的相机数据流。

应当理解，所提供的特定3D图像数据以及图像合成器205用于生成图像的特定算法将取决于各个实施例的偏好和要求。实际上，基于3D图像数据为特定绘制姿态生成视图图像的许多不同方法是已知的，并且可以使用任何合适的方法而不背离本发明。

例如，在许多实施例中，可以针对照相机的位置(即针对捕获位置)以立体图像或图像+深度的形式提供3D图像数据。图像合成器205然后可以使用该数据执行视图合成，以使用本领域技术人员将众所周知的常规视图移位算法来生成当前绘制姿态的特定视口的视图图像。

在一些实施例中，可以以立体图像的形式提供3D图像数据，对于该立体图像，每个立体图像(即，对于左眼和右眼而言)还可以与深度图相关联。

在图2的装置中，绘制姿态的生成和3D图像数据的采集不仅基于观看者的姿态或观看者的运动，而且还考虑场景中的锚定，并且具体地取决于针对场景的当前选择的参考锚定姿态。

所述装置包括锚定姿态存储装置209，锚定姿态存储装置209存储锚定姿态的所述集合。每个锚定姿态可以由取向和位置两者来表示，或者例如可以在一些实施例中仅由取向或仅由位置来表示。此外，针对每个锚定姿态定义的参数的数量可以取决于各个实施例，并且通常取决于捕获姿态的自由度。例如，对于篮球比赛的示例，三个立体相机可以具有朝向球场的固定取向，并且已知处于具有已知方向的直线上。因此，在该示例中，每个(立体)相机的锚定姿态可以由单个位置坐标(在下文中称为x坐标)表示。

锚定姿态通常可以对应于针对其3D图像数据可用的场景内的姿态。因此，场景可以由针对多个锚定姿态的3D图像数据表示，并且存储在锚定姿态存储器209中的锚定姿态的所述集合可以包括这些锚定姿态中的至少两个。在许多实施例中，锚定姿态可以对应于场景的相机姿态或捕捉姿态(包括可能的虚拟相机/捕捉姿态)。

所述装置包括选择器211，所述选择器211被耦合到接收器201和锚定姿态存储209。选择器211被布置为从参考姿态集合中选择参考锚定姿态并将该选择馈送到绘制姿态处理器203。然后，绘制姿态处理器203确定相对于该绘制姿态的绘制姿态，使得所述绘制姿态既取决于当前选择的参考锚定姿态又取决于观看者姿态。因此，绘制姿态将既取决于观看者姿态中反映的观看者的移动，又取决于参考锚定姿态的选择。参考锚定姿态的改变将引起绘制姿态的改变，并且实际上对于相同的观看者姿态，针对相同观看者姿态的绘制姿态对于被选择为参考锚定姿态的不同锚定姿态可能是不同的。

参考锚定姿态的选择是基于观看者姿态的，并且选择器211被布置为特别地响应于所述观看者姿态而将参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，并且特别地，在观看者的姿态符合准则的情况下。该准则可以取决于/包括对当前观看者姿态以外的其他观看者姿态的考虑，并且可以具体地取决于先前观看者姿态，或者直接通过考虑其他观看者姿态或者通过考虑当前或先前选择的参考锚定姿态(已根据先前的观看者姿态选择)。

因此，如果选择器211当前已经选择了第一锚定姿态作为参考锚定姿态，则其可以连续地监视观看者姿态。如果检测到观看者姿态满足给定选择准则(通常可以考虑当前锚定姿态或先前的观看者姿态)，则选择器211可以将参考锚定姿态的选择从第一锚定姿态改变为第二锚定姿态。

该方法可以由与前面提到的特定示例相对应的应用程序来说明，其中，三个立体相机正在捕捉篮球比赛，并且相机之间的距离为50cm。在这样的实施例中，围绕标称上位于中心的立体对的小运动可以直接映射到虚拟世界中的相应运动。例如，用户最初可能处于由给定观看者姿态表示的准则/标称位置。该设备可以最初选择参考锚定姿态为中心立体相机的姿态，并且当前观看者姿态可以被映射到该参考锚定姿态。因此，所述设备将针对该观看者姿态生成与位于场景中的中央立体相机的位置处的观看者相对应的观看图像。

对于较小的运动，所述装置可以生成绘制姿态以跟随观看者的姿态，使得观看者在虚拟世界中的运动(如绘制姿态所表示的)跟随观看者在真实世界中的运动(如观看者姿态所表示的)。这可以导致完全自然的体验，其中所产生的视差跟随头部运动，并且向用户提供自然的体验。

然而，如果用户平移(在x方向上侧向移动他的头部)超过一定量(例如5cm)，则选择器211可以检测到观看者姿态已经改变超过给定阈值，并且其可以改变选择的参考锚定姿态。例如，如果用户将他的头向左移动超过给定量，则选择器211可以将参考锚定姿态从对应于中央相机的锚定姿态切换到对应于左相机的姿态。参考锚定姿态的这种变化被馈送到绘制姿态处理器203，所述绘制姿态处理器203继续确定绘制姿态现在位于例如左立体相机的右侧5cm的位置。如果用户继续其向左的移动，则用户将跟随该移动并关于左立体相机位置提供正确的视差。

因此，用户将经历这样的情况，即只要保持相对较小的运动，他就可以从三个不同的位置观看具有正确视差的篮球比赛。此外，他可以使用较大的头部移动来在具有较大头部移动的不同视点之间切换，从而有效地导致从一个视点到另一个视点的虚拟远距传输，例如具体地从一个相机位置到另一个相机位置。

该方法可以由图3图示，其示出了虚拟世界中的三个相机/捕获/锚定位置301，所述位置彼此相距50cm。该图还示出了针对真实世界中头部位置的三个10cm区间303。通过设备的操作，三个区间303被映射到围绕锚定位置301的三个10cm区间，其中区间的中点映射到锚定位置。因此，在该示例中，用户在30厘米区间内的横向运动被映射为三个不同区间内的虚拟运动，其中区间内的运动彼此直接对应，从而提供了正确的视差，并且真实区间之间的转换导致了虚拟世界中不同离散区间之间的传送。

该示例也可以由图4图示，其示出了从观看者姿态表示的观看者运动/位置到绘制姿态表示的虚拟运动/位置的结果映射。在此示例中，通过以下将真实世界/观看者姿态坐标系中的x位置被映射到虚拟世界/绘制姿态坐标系中x位置：标称观看者位置左侧0-5厘米内的位置被1：1映射的到中心锚定位置左侧0-5cm内的位置，并且标称观看者位置左侧5-10cm内的位置被1：1映射到到左锚定位置右侧0-5cm之内。因此，观看者的姿态坐标系中的[0；0.05]的区间401被线性地映射到区间在绘制姿态坐标系中的区间[0；0.05]；并且观看者的姿态坐标系中的[0.05；0.1]的区间403被线性地映射到区间在绘制姿态坐标系中的区间[0.45；0.5]。因此，虚拟场景为[0.05；0.45]的区间405未被使用且未映射观看者位置。

因此，不仅考虑观看者姿态而且考虑锚定姿态的组合方法提供了增强的效果，已经发现在许多实施例中这是非常期望的。具体而言，对于较小的运动，用户将体验到真实的运动视差，但是对于较高的运动，用户将被传送至其他位置/姿态。这可以提供以下效果，其中，大部分时间都会体验自然视差，同时仍然允许用户通过更改其位置来环顾前景对象。此外，传送效果和自然视差移动都是用户移动的函数，因此提供了直观且用户友好的控制。另外，所述方法可以确保高质量，因为可以针对相对接近于可获用的3D图像数据的锚定姿态的绘制姿态生成视图图像。可以避免或至少显著减少许多系统中已知的明显的位置相关图像劣化。

作为示例，感知到的效果可能是当用户正常坐在椅子上时，他将能够体验例如自然视差的围绕中心位置的小的视点变化。当观看者需要向右看物体时，他可以将他的头向右移动。在那一刻，他的动作将被放大，他将被迅速传送到他右边的一个新的虚拟观看位置，在那里他将停下来。快速传送与视图融合相结合，将隐藏视图插值伪像。

所描述的方法的另一个优点是，它仅用几个捕获位置/相机即可以提供非常理想且灵活的体验。事实上，为观看者提供更多运动自由度的问题在于，它立即转化为对3D场景信息的处理的更高要求和/或对用于捕获/表示场景的相机数量的更高要求。该方法可以避免对大量相机的需求，其甚至可能提供否则不切实际的应用。对照相机馈送/捕获点数据的减少需求也显著促进了编码、传输和绘制。

该方法的关键特征在于，所述系统不仅针对生成与当前观看者姿态相对应的图像，而且取决于选择的锚定姿态，将该观看者姿态映射为绘制姿态。当前绘制姿态的确定是通过将映射应用于当前观看者姿态来进行的。但是，所述映射不是恒定映射，而是取决于所选择的锚定姿态。根据观看者的姿态，系统选择锚定姿态，并且基于针对该锚定姿态提供的3D图像数据生成针对绘制姿态的图像。此外，所选锚定姿态的改变还导致映射的改变，即，映射取决于所选择的锚定姿态。因此，取决于选择哪个锚定姿态，相同的观看者姿态可能导致不同的绘制姿态。绘制姿态既取决于当前观看者姿态，也取决于选定的锚定姿态——其再次也取决于观看者姿态。

该方法允许取决于针对各体锚定姿态的映射的特定选择和用于切换锚定姿态的准则来实现一系列效果。还应注意，特定方法与简单地向观看者姿态提供更复杂的映射以确定绘制姿态不同。而是，映射的选择和适配与哪幅图像数据被用于生成用于绘制位置的图像紧密相关。例如，所述方法可以提供如下的效果，其中，绘制姿态坚持靠近一个锚定姿态(具有高质量)，直到其移动足够远以跳至另一个绘制姿态，之后再坚持该新姿态。但是，当然，许多其他效果和应用也是可能的，并且可以通过选择要应用的映射和切换锚定姿态的准则来针对特定应用设计这些效果和应用。然而，所有的共同点是，映射不仅取决于观看者的姿态，而且取决于当前用于提供用于合成的3D图像数据的锚定姿态。

将根据个体实施例和应用的特定要求来选择所使用的特定映射和用于选择锚定点的准则，并且应当理解，可以使用/实现不限制的数量的算法、映射、准则和效果。该方法可以允许更灵活的方法，其中特别是在许多实施例中，可以实现朝向(或实际上远离(如果期望的话))锚定姿态的偏置。该方法可以适应当前的锚定姿态配置并且可以为一系列锚定姿态配置提供有利的性能。

该方法的特别优点是它可以提供一致的高图像质量。特别地，它可以将视点限制为非常接近为其提供3D图像数据的锚定姿态。因此，尽管例如可以使用视点移位来从3D图像数据不包括显式数据的视点生成图像，但是所需的视点移位通常很小，并且因此可以在不造成较大劣化的情况下执行。实际上，在大多数时间里，观看者可以从锚定位置观看场景，因此可能不需要移动视线。例如，如果3D图像数据是用于捕获姿态的立体图像的形式，则可以直接呈现这些图像，而不会由于任何3D处理引起任何劣化。

因此，在许多实施例中，绘制姿态处理器203被布置为来根据观看者姿态到绘制姿态的映射来确定绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为参考锚定姿态。

已经参照图3和图4描述了观看者姿态与绘制姿态之间的示例性映射，其中，绘制姿态被确定为观看者位置加上取决于所选择的锚定姿态的偏移。在这些示例中，观看者姿态与绘制姿态之间的映射是一对一的映射，具有一对一的对应关系(双射函数)，其中锚定姿态的变化用于在输出范围中引入间隙。在该示例中，所述映射包括根据锚定姿态的所述集合中的哪个锚定姿态被选择为参考锚定姿态来向所述绘制姿态应用不同的偏移。具体地，对于图3的示例，如果选择了中心锚定姿态，则应用为零的偏移量，如果选择了左手锚定姿态，则应用为-40cm的偏移量，如果选择了右手锚定的姿态，则应用为+40cm的偏移量(假设相机之间的距离为50厘米，并且x方向是从左到右，即正值的增加表示位置更靠右)。

在其他实施例中，可以使用其他映射。实际上，可以应用任何合适的映射和锚定姿态依赖性，其中，特定映射选择以提供期望的效果，例如朝向和/或远离锚定姿态的期望的偏差。在许多映射中，取决于选择的锚定姿态(对于至少一些观看者姿态)，相同的观看者姿态可以映射到不同的位置。这样的一个示例在图5中示出，其也基于绘制姿态处理器203应用不同的偏移量来确定绘制姿态，取决于选择哪个锚定姿态作为参考锚定姿态。该示例对应于图3的示例，除了偏移是不同的并且锚定姿态之间的选择不再仅取决于观看者姿态而且还取决于当前哪个锚定姿态被选择为参考锚定姿态。

在此示例中，对于被选择的中央锚定姿态，偏移仍为零，但如果选择了左锚定姿态，则偏移为-43cm，并且如果选择了右手锚定姿态，则偏移为+43cm。

从中心锚定姿态切换到左锚定姿态的阈值仍然是-5cm，并且从中心锚定姿态切换到右锚定姿态的阈值仍然是+5cm。但是，用于从左锚定姿态切换到中心锚定姿态的阈值现在为-2cm，并且用于从右锚定姿态切换到中心锚定姿态的阈值现在为+2cm。

在这种情况下，针对观看者姿态确定的绘制姿态在-5cm至-2cm以及+2cm至+5cm的范围内，取决于当前/先前选择了哪个锚定姿态作为参考锚定姿态。如果选择了左锚点姿态，则范围[-0.05；-0.02]映射到[-0.48；-0.45]，并且如果选择了中心锚定姿态，则其映射为[-0.05；-0.02]。类似地，如果选择了右锚定姿态，则范围[0.02；0.05]映射到[0.45；0.48]，并且如果选择了中心锚定姿态，则其映射为[0.02；0.05]。此外，只要观看者姿态不超过这些范围，基准锚定姿态就不发生变化。

这种方法通常可以通过较少的视角移动/隐形传送来提供更稳定的体验。它可能引入滞后效应，从而为用户提供更好的体验。

在包括所描述的示例的许多实施例中，绘制姿态处理器203被布置为单调地映射观看者姿态以针对相同参考锚定姿态绘制姿态。因此，只要参考锚定姿态不发生变化，观看者姿态就被映射到绘制姿态，使得观看者在给定方向上的移动被映射到绘制姿态相同方向上的改变/在移动。

此外，在许多实施例中，所述映射是从所述绘制姿态到所述参考锚定姿态的距离不超过阈值的恒定线性映射。因此，在许多实施例中，被应用以导致绘制姿态的映射是线性映射，对于所述绘制姿态，到参考锚定姿态的距离不超过阈值。在某些实施例中，导致到参考锚定姿态的距离确实超过阈值的姿态的映射也可以是线性映射(并且整个映射可以是线性映射)，但是在许多实施例中可以包括非线性元素，例如步进功能。恒定映射可能是时间不变的。在许多实施例中，线性映射在具有恒定映射因子的意义上可以是恒定的。

映射函数可以是一对一的函数，特别是在从观看者姿态到与参考锚定姿态相对应的观看者参考姿态的距离与从绘制姿态到参考锚定姿态的距离之间。映射函数可以是单调函数，特别是在从观看者姿态到与参考锚定姿态相对应的观看者参考姿态的距离与从绘制姿态到参考锚定姿态的距离之间。在这样的实施例中，到参考锚定姿态的距离不超过阈值的绘制姿态的范围/集合可以是到观看者锚定姿态的距离不超过第二阈值的观看者姿态的范围/集合的映射。

因此，对于绘制姿态和参考锚定姿态之间的差异足够低的情况，映射是线性的，使使观看者姿态域中(特别是在真实世界中)的相同相对运动导致虚拟域中的相同相对运动，而无论观看者的绝对位置如何。这可以向用户提供更真实的体验，因为它对应于真实观看者将体验的体验。

在许多情况下，可以为给定参考锚定姿态的所有可能位置提供线性映射。例如，在图3-5的示例中，将与一个锚定姿态相对应的观看者姿态区间中的给定位置区间的整个范围线性地映射到绘制姿态区间。然而，将理解的是，在一些实施例中，可以对接近锚定姿态的位置范围执行线性映射，而可以将不同的例如非线性映射应用于距锚定姿态更远的位置。例如，这可以提供在区间结束时位置变化增加的效果，从而为用户提供接近传送动作的指示。

在许多实施例中，线性映射可具有不小于50％且不大于150％的比例因子。因此，在这样的实施例中，观看者姿态中在给定方向上的位置的相对变化可以导致绘制姿态中的相对变化，其不小于原始变化的50％并且不大于原始变化的150％。这可以提供以下效果，其中，感知到的运动非常接近于实际运动，从而提供自然效果。在许多实施例中，比例因子可以被精确地设置为100％(如图3-5中)，以提供与实际观看者应有的体验相对应的体验。然而，在一些实施例中，减小或放大运动以提供增强的效果可以被认为是有利的。

如前所述，在许多实施例中，选择器211可以被布置为响应于检测到观看者姿态偏离标称位置给定量而将参考锚定姿态切换到不同的锚定姿态。

因此，在一些实施例中，选择器211可以被布置为响应于检测到当前观看者姿态满足包括或实际上包括观看者姿态与参考观看者姿态之间的距离超过阈值的要求的准则而将参考锚定姿态切换为不同的锚定姿态。参考观看者姿态可以是标称观看者姿态，其在一些实施例中可以是固定的预定姿态。例如，在图3中，如果观看者姿态指示的位置在标称位置305的5cm之内，则选择器211可以将参考锚定姿态保持为中心锚定姿态，但是如果其超过5cm，则其可以切换到另一锚定姿态(左侧或右锚定姿态)。

在许多实施例中，选择器211被布置为根据选择哪个锚定姿态作为参考锚定姿态来修改参考观看者姿态。例如，对于每个锚定姿态，在观看者姿态的坐标系中可以存在对应的参考观看者姿态。例如，在图5的示例中，为每个锚定姿态确定参考观看者姿态501。在该示例中，选择器211可以相应地进行到比较当前观看者姿态与当前选择的锚定姿态的参考观看者姿态501。如果所得到的距离超过给定阈值，在示例中为5cm，则选择器211将继续进行到另一个锚定姿态。这将导致在比较中使用新的参考观看者姿态，但是在特定示例中，可以使用相同的准则，特别是可以确定距离是否超过5厘米。

在许多实施例中，参考观看者姿态可以被设置为观看者姿态的坐标系中的位置，所述位置与锚定姿态在绘制姿态的坐标系中的位置相对应。具体地，当前锚定姿态的参考观看者姿态可以被设置为映射到当前锚定姿态的观看者姿态的值。然而，在其他实施例中，参考观看者姿态可以根据将要实现的期望效果而被不同地设置。例如，它可以由用户手动设置。

还应当理解，尽管上面的选择示例已经参考在真实世界/观看者姿态的坐标系中进行的比较进行了描述，但是可以等效地在虚拟场景/绘制姿态的坐标系中执行要求。具体地，可以将当前观看者姿态到绘制姿态的映射与锚定姿态进行比较，并且例如可以将它们之间的距离与阈值进行比较。

在许多实施例中，距离阈值可以取决于锚定姿态的所述集合中的哪个锚定姿态被选择为参考锚定姿态。例如，中心锚定姿态的距离阈值可以比非中心锚定姿态的距离阈值更高。例如图1的示例可以被修改为使得，除非观看者姿态距相应的参考观看者姿态超过例如10cm，否则中心锚定姿态被选择，而对于左右锚定姿态，可以将切换距离保持在5cm。这样的方法可以向中心视图提供更强的偏置，这在许多实施例中可能是有利的，例如偈其中3D图像数据对于中心锚定姿态具有更高质量的情况(例如，包括一些去遮挡数据)。

此外，在许多实施例中，至少一些锚定姿态的距离阈值可取决于差异的方向。例如，对于图3的侧锚定姿态，距离阈值可以是朝向中心5cm，但是远离中心点无限远。

在以上示例中，参考锚定姿态的选择被描述为仅取决于位置，但是将理解的是，在其他实施例中，可以仅考虑取向或者可以同时考虑位置和取向。

作为示例，在许多实施例中，选择准则可以考虑观看者姿态的位置与参考观看者姿态/参考锚定姿态的位置之间的距离，例如，如上所述。但是，何时切换锚定姿态的决定阈值可能取决于观看者姿态的方向。具体地，可以考虑观看者姿态的取向与参考取向之间的差异，并将其用于调整距离阈值。以这种方式，何时切换锚固姿态的决定不仅取决于使用者的位置(特别是平移位置)，而且还取决于观看者的取向，例如角度方向。因此，选择可以取决于观看者的位置以及他在看哪里。

具体地，距离阈值可以是当前观看者姿态与参考取向之间的差异的单调递增函数。例如，对于篮球应用，阈值可根据观看者的取向与对应于朝球场正视的方向之间的角度差的增加而增加。观看者平移头的次数越多，锚定姿态切换所需的平移运动就可能增加。

因此，尽管图3-5的示例集中在绘制完全通过观看者的横向x位置确定绘制的情况，但是可以考虑观看者的更多特征以便决定何时突然变到不同的视点(即何时将参考锚定姿态切换到其他锚定姿态)。例如，可以考虑图6和图7中所示的实验位置和取向数据。图6示出了反映用户旋转其头部以在场景的不同部分朝不同方向看的数据，并且图7示出了反映用户正在平移他的头以试图环视正在阻挡他的视线的前景对象的数据。这些图清楚地表明，在同时考虑观看者的横向x位置和的取向角θ时，可以对观看者的预期运动做出更好的估计，即用户只是在旋转他的头(图6)还是试图环顾一个物体(图7)。

在一些实施例中，基于位置和方向两者，所述装置可以寻求检测观看者何时想要突然变到新的观看位置以便发起快速的头部运动引起的过渡，即，当用户正在寻找传送到新的视点时。

在该示例中，选择器211可以同时考虑观看者姿态的横向x位置和相对于观看方向的取向角θ。如图8中所示，当环顾四周时，观看者的眼睛通常会执行较小的横向平移运动，并结合取向变化。如图9中所示，对环顾被遮挡物体感兴趣的观看者倾向于保持相同的取向组合以(通常更大和更快)横向运动。可以根据横向x位置和取向角θ来创建决策边界(针对中心锚定姿态/相机)，如图10中所示。如果横向位置(距离，y轴)超过取向角(x轴)的函数，则选择器211切换参考锚定姿态，并且否则选择器保持参考锚定姿态不变。该示例显示了一个决策边界，其中横向x位置是取向角的单调递增函数θ。在决策边界以下，绘制是从原始位置(不变的参考锚定姿态)完成的，但在决策边界之上，用户会“快速变”到当前位置右侧(或视情况而定，左侧)的新查看位置(新锚定姿态针对参考锚定姿态被选择)。可以针对其他锚定姿态/相机确定相应的决策边界。

在一些实施例中，选择器211可以被布置为响应于所述观看者姿态的变化率来切换所述参考锚定姿态。例如，在一些实施例中，用户可能能够通过例如在期望的方向上执行快速的头部移动或例如通过快速地转动头部来在锚定姿态之间切换。如果确定的观看者姿态变化率超过给定阈值，则认为该运动在静态观看场景时不是自然运动，因此可以将其解释为切换锚定姿态以便切换到不同的观看位置的输入指令。

在其他实施例中，可以例如应用更细微的修改。例如，在发生锚定姿态切换之前，距标称位置的距离可能取决于位置变化的速度。如果用户缓慢地移动其头部，则可以认为他只是在自然观看体验中只是在移动其头部，因此在切换之前需要相对较长的距离。然而，如果用户快速移动其头部，则这可以解释为指示用户可能试图环视前景物体，并且可以减小距离以导致更早的视点移动/传送。

如前所述，检索器207检索用于所选参考锚定姿态的3D图像数据，并且图像合成器205在生成针对绘制姿态的图像时使用该3D图像数据。在一些实施例中，检索器207可以进一步被布置为取回用于第二锚定姿态的3D图像数据，并且该第二3D图像数据也可以被馈送到图像合成器205并且用于生成用于绘制姿态的图像。

该第二3D图像数据可以用于改善绘制的质量，以便生成改善的视图图像。例如，针对第二锚定姿态的附加3D图像数据可以用于改善可以被第一3D图像数据从参考锚定姿态向绘制姿态的移位遮挡的区域的填充。来自第二锚定姿态的3D图像数据可以表示来自不同位置的场景，并且因此可以具有关于场景中被参考锚定姿态遮挡的部分的信息。

然而，在许多这样的实施例中，第二3D图像数据的质量水平低于第一3D图像数据的质量，即，所检索的3D图像数据针对参考锚定姿态的质量水平高于针对第二锚定姿态的质量水平。较高的质量水平可以具体是较高的数据速率(空间或时间)。

例如，在检索器207向服务器明确请求3D图像数据的实施例中，服务器可以继续提供数据流，所述数据流具有高质量的针对参考锚定姿态的3D图像数据和针对一个或多个相邻锚定姿态的较低质量的3D图像数据。

作为三相机篮球比赛示例的具体示例，服务器可以如图11中进行到为所选择的锚定姿态提供高质量的图像和深度，而为(一个或多个)相邻的锚定姿态提供低的质量(在该示例中，图像和深度图的质量由反映例如空间分辨率的差异)。

因此，在该示例中，所提供的数据流还包括例如用于相邻锚定姿态的3D图像数据的低分辨率版本，其中该数据用于视图合成和锚之间的融合。观看者在接近中心位置的位置时，可以看到根据中心图像(对)和深度(对)生成的视图。一旦检测到他做出更大的运动，就通过改变参考锚定姿态来启动下一个位置的捕捉。因此，传输的内容将以全分辨率更改为新位置，并且再次具有较低分辨率的相邻位置。

应当理解，可以在不同的实施例中使用不同的实现方式。该方法可以例如由执行一种方法的一个或多个处理器来实现，其中，例如，一个子例程使用查找表来从(通常相对)观看者姿态映射到(通常相对)绘制姿态。该子例程可以以给定的重复频率执行以提供以给定的频率更新的绘制姿态。第二子例程可以评估观看者的姿态，以查看是否满足改变锚定姿态的准则。如果是这样，则它可能会更改锚定姿态，因此向合成器提供不同的图像数据。另外，锚定姿态的改变与被应用于映射子例程的不同的映射相关联，例如简单地通过用链接到新的锚定姿态的LUT覆盖存储器中的LUT。该第二子例程的重复率通常可能比第一子例程的重复率低(并且通常大大低于)，但实际上可能与第一子例程的重复率相同，甚至更高。这两个子例程可以彼此同步(即顺序运行)，但不一定要同步，并且可以很容易地是两个并行且不同步的进程。

应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显而易见的是，可以在不背离本发明的情况下使用不同功能电路、单元或处理器之间的任何合适的功能分布。例如，被示为由分别的处理器或控制器执行的功能可以由相同的处理器执行。因此，对特定功能单元或电路的引用仅被视为对用于提供所描述的功能的合适设备的引用，而不是指示严格的逻辑或物理结构或组织。

本发明可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。本发明可以任选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式来物理地、功能地和逻辑地实现。实际上，功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同的单元、电路和处理器之间物理地和功能地分布。

尽管已经结合一些实施例描述了本发明，但是并不旨在将本发明限于这里阐述的特定形式。相反，本发明的范围仅受所附权利要求的限制。另外，尽管可能看起来结合特定实施例描述了特征，但是本领域技术人员将认识到，可以根据本发明组合所描述的实施例的各种特征。在权利要求中，术语“包括”不排除存在其他元件或步骤。

此外，尽管单独列出，但是多个设备、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实现。另外，尽管各个特征可以包括在不同的权利要求中，但是这些特征可以有利地组合，并且包含在不同的权利要求中并不意味着特征的组合是不可行和/或不利的。在一类权利要求中包含特征并不意味着对该类别的限制，而是指示该特征在合适时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着特征必须工作的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序并不意味着必须以该顺序执行这些步骤。而是，可以以任何合适的顺序来执行这些步骤。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供用于地使示例清楚，不应被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于生成场景的图像的装置，所述装置包括：

存储器(209)，其用于存储针对所述场景的具有不同位置的锚定姿态的集合；

接收器(201)，其用于接收针对观看者的观看者姿态；

选择器(211)，其用于从锚定姿态的所述集合中选择参考锚定姿态；

绘制姿态处理器(203)，其用于针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态；

检索器(207)，其用于检索针对所述参考锚定姿态的第一三维图像数据；

合成器(205)，其用于响应于所述第一三维图像数据来合成针对所述第一绘制姿态的图像；

其中，所述选择器(211)被布置为响应于所述观看者姿态满足关于所述观看者姿态与参考观看者姿态之间的距离变化的准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，其中，所述参考观看者姿态是指在所述观看者姿态的坐标系中与当前选择的参考锚定姿态相对应的观看者姿态，并且所述绘制姿态处理器(203)被布置为根据观看者姿态到绘制姿态的映射来确定所述第一绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。

2.根据权利要求1所述的装置，其中，所述绘制姿态处理器(203)被布置为针对被选择为所述参考锚定姿态的所述第一锚定姿态和针对被选择为所述参考锚定姿态的所述第二锚定姿态将观看者姿态值映射到不同的绘制姿态值。

3.根据任一前述权利要求所述的装置，其中，所述映射包括根据锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态来向所述绘制姿态应用不同的位置偏移。

4.根据权利要求1或2所述的装置，其中，所述绘制姿态处理器(203)被布置为将观看者姿态映射为针对相同参考锚定姿态的绘制姿态，使得所述观看者姿态在第一方向上的变化被映射到所述绘制姿态在所述第一方向上的变化。

5.根据权利要求1或2所述的装置，其中，所述映射是针对从所述绘制姿态到所述参考锚定姿态的距离不超过阈值的恒定线性映射。

6.根据权利要求5所述的装置，其中，所述线性映射的比例因子不小于50％并且不大于150％。

7.根据权利要求1或2所述的装置，其中，所述选择器(211)被布置为响应于检测到第一观看者姿态满足准则而切换所述参考锚定姿态，所述准则包括所述第一观看者姿态与所述参考观看者姿态之间的第一距离超过阈值的要求。

8.根据权利要求7所述的装置，其中，所述选择器(211)被布置为根据锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态来修改所述参考观看者姿态。

9.根据权利要求7所述的装置，其中，所述第一距离取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。

10.根据权利要求7所述的装置，其中，所述第一距离是所述第一观看者姿态的位置与所述参考观看者姿态的位置之间的距离，并且所述选择器(211)被布置为根据所述观看者姿态的取向与所述参考观看者姿态的取向之间的差异来调整所述阈值。

11.根据权利要求10所述的装置，其中，所述阈值是所述差异的单调递增函数。

12.根据权利要求7所述的装置，其中，所述选择器(211)被布置为响应于所述观看者姿态的变化的速率来切换所述参考锚定姿态。

13.根据权利要求1或2所述的装置，其中，所述检索器(207)还被布置为针对锚定姿态的所述集合中的第二锚定姿态检索第二三维图像数据；并且所述合成器(205)被布置为使用所述第二三维图像数据来合成所述图像；其中，所述第一三维图像数据的质量水平高于所述第二三维图像数据的质量水平。

14.一种生成场景的图像的方法，所述方法包括：

存储针对所述场景的具有不同位置的锚定姿态的集合；

接收针对观看者的观看者姿态；

从锚定姿态的所述集合中选择参考锚定姿态；

针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态，所述第一绘制姿态是相对于所述参考锚定姿态确定的；

检索针对所述参考锚定姿态的第一三维图像数据；

响应于所述第一三维图像数据来合成针对所述第一绘制姿态的图像；

其中，所述选择包括响应于所述观看者姿态满足关于所述观看者姿态与参考观看者姿态之间的距离变化的准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，其中，所述参考观看者姿态是指在所述观看者姿态的坐标系中与当前选择的参考锚定姿态相对应的观看者姿态。

15.一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行根据权利要求14所述的所有步骤。