CN116261855A - 编码和解码沉浸式视频 - Google Patents

Abstract

公开了用于对针对沉浸式视频的多视图数据进行编码和解码的概念。在编码方法中，生成包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段的元数据。所生成的元数据提供了将包括原始纹理和深度数据的片块数据单元与包括修复数据(例如修复纹理和深度数据)的片块数据单元区分开的手段。在沉浸式视频的元数据内提供这样的信息可以解决与混合和修剪的视图重建相关联的问题。还提供了针对沉浸式视频的多视图数据的编码器和解码器，以及包括元数据的对应比特流。

Description

编码和解码沉浸式视频

技术领域

本发明涉及沉浸式视频。其特别地涉及用于对针对沉浸式视频的多视图数据进行编码和解码的方法和装置。

背景技术

沉浸式视频，也称为六自由度(6DoF)视频，是一种三维(3D)场景的视频，其允许针对位置和方向上不同的视点重建场景的视图。它表示了三自由度(3DoF)视频的发展，其允许为具有任意取向的视点重建视图，但仅在空间中的固定点处重建。在3DoF中，自由度是有角度的-即俯仰、滚动和偏航。3DoF视频支持头部旋转-换句话说，消费视频内容的用户可以在场景中的任何方向上观看，但不能移动到场景中的不同地点。6DoF视频支持头部旋转，并且额外地支持在场景中选择观看场景的位置。

生成6DoF视频要求多个相机来记录场景。每个相机生成图像数据(在该上下文中常被称为纹理数据)和对应的深度数据。对于每个像素，深度数据表示观察到对应图像像素数据的深度。多个相机中的每个提供场景的相应视图。

针对目标视图的生成的问题在于，仅可以合成在来自源相机的视图中可用的图像数据。目标视图的一些图像区域可能从传输的视频流中不可用(例如因为它们从任何源相机不可见)。为了解决该问题，通常使用来自其他背景区域的可用颜色数据来填充或“修复”这些图像区域。这样的“修复”是在视图合成阶段之后作为后处理步骤(例如在解码器处)执行的。这是复杂的操作，特别地当缺失数据的(一个或多个)区域的大小很大时。

在后处理期间修复的备选方案是在数据编码期间(例如在编码器处)进行修复，并且然后将所得的纹理图谱连同通常的片块一起打包。然而，这具有相关联的缺点，包括以下各项：

(i)修复图像区域涉及纹理以及深度信息。对于必要的重新投影需要深度信息。除了纹理信息之外，修复深度信息也被认为具有比原始深度信息更低的质量。因此，修复数据的区域的重新投影是不太准确的。

(ii)在从编码数据重建修剪(没有冗余部分)的源视图期间，当纹理图谱与额外的修复图像区域一起打包时，出现问题。修复片块和具有原始图像数据的片块可以映射到重建视图中的相同位置，这导致冲突。

(iii)在视频流内打包额外的修复纹理增加了它们的比特率。它还增加了纹理和深度图谱的所要求的(活动)帧大小，即像素率。这在客户端设备上放置了增加的资源要求(其通常将仅具有有限的资源)。

发明内容

本发明由权利要求定义。

根据本发明的方面的示例，提供了一种根据权利要求1的对针对沉浸式视频的多视图数据进行编码的方法。

所提出的概念旨在提供与对针对沉浸式视频的多视图数据进行编码相关的方案、解决方案、概念、设计、方法和系统。特别地，实施例旨在提供用于区分保持原始纹理和深度信息的片块数据单元与保持在修复数据的片块数据单元的概念。这样一来，可以解决混合和修剪的视图重建问题。特别地，实施例提出使用沉浸式视频的元数据来提供指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的方式。以这种方式，可以利用沉浸式视频的现有特征来指示所述多视图数据中的修复数据的存在。

例如，根据所提出的实施例，可以生成沉浸式视频的元数据以包括指示片块数据单元是否包括修复数据的字段(即语法元素、元数据字段、元数据元素或填充有数据的输入元素)。

字段可以包括至少两个允许值的集合。所述集合的第一值可以指示所述多视图数据的片块数据单元包括从至少一个视点捕获的原始图像数据，并且所述集合的第二值指示所述多视图数据的片块数据单元包括修复数据。例如，所述字段可以包括二元标志或布尔指示符，并且因此包括简单位(指示布尔值“0”/“低”或“1”/“高”)。所述字段可以具有比特流中的语法元素的形式。备选地，所述字段从其他字段导出。例如，第一其他字段可以表示所述比特流中存在的视图的总数，并且第二其他字段可以指示未被修复的视图的总数。当视图索引超过未修复的视图总数时，那么(导出的)字段是“1”，否则它是“0”，或者反之亦然。因此，这样的实施方式可能仅要求对常规沉浸式视频元数据进行最小或微小的修改。

然而，在一些实施例中，允许值的集合可以包括两个以上允许值。例如，所述字段的值可以指示针对所述片块数据单元的细节水平(LoD)。所述字段的一个值可以指示所述片块数据单元包括具有最高质量(并且因此具有最高使用优先级，即没有丢失)的原始/采集的数据。所述字段的另一个值可以指示所述片块数据单元包括从所采集的数据合成的数据(即，具有一些较小的保真度，但仍具有良好的质量)。所述字段的又一个值可以指示所述片块数据单元包括具有最低质量(并且因此具有最低使用优先级，即修复丢失)的修复数据。以这种方式，所述字段可以提供关于所述修复数据的进一步信息(诸如所述修复数据的LoD细节)。因此，一些实施例可以采用具有三个或更多个允许值的字段。因此，所述字段可以包括多个比特(例如一个或多个字节)。

可以对所述多视图数据进行编码。所述字段然后可以与编码多视图数据的帧相关联，并且包括包含修复数据的帧的一个或多个片块数据单元的描述(或定义)。

在一些实施例中，所述字段包括存储值的标识符或地址。例如，这样的存储值可以包括绘制参数值。即，所述字段可以包括使得一个或多个值能够被检索或“查找”的信息。例如，可以预定义不同的绘制参数集，并且每个绘制参数集使用相应的唯一标识符(例如地址)存储。然后，包括在用于片块数据单元的字段中的标识符/地址可以被用于识别和检索用于与片块数据单元一起使用的参数集(即参数值集)。即，与片块数据单元相关联的字段可以包括用于定位与所述片块数据单元相关的额外信息的标识符或地址。

一些实施例还可以包括以下先前步骤：确定多视图数据的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据；并且基于确定的结果来定义用于指示所述片块数据单元是包括原始图像数据还是包括修复数据的字段值。即，一些实施例可以包括以下过程：分析片块数据单元以确定其是否包括修复数据，并且然后根据分析结果设置所述字段的值。例如，当尚未通过备选手段(例如经由用户输入或从分离的数据分析过程)以其他方式提供关于多视图数据中的修复数据的信息时，可以进行这样的过程。

根据一些实施例，所述字段值可以包括视图参数。确定多视图数据的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据然后可以包括：响应于识别出所述片块数据单元包括对修复视图的引用而确定多视图数据的片块数据单元包括修复数据。在这样的实施例中，所述字段可以是所述视图参数的一部分，并且当片块引用修复视图时，它可以被识别为修复片块。这对于创建合成背景视图的实施方式可能是特别有益的，该合成背景视图然后被修复成片块数据单元。

此外，实施例还可以包括基于确定的结果来定义细节水平LoD值的步骤，该值表示要应用于片块数据单元的数据子采样因子。通过采用LoD特征，实施例可以支持对修复片块数据单元的缩小。

所述多视图数据可以是包括多个源视图的视频数据，每个源视图包括纹理值和深度值。换句话说，如上文所概述的编码多视图数据的方法可以应用于编码沉浸式视频的方法中。

根据本发明的另一方面，提供了一种根据权利要求8的对针对沉浸式视频的多视图数据进行解码的方法。因此，所提出的概念旨在提供与对针对沉浸式视频的多视图数据进行解码相关的方案、解决方案、概念、设计、方法和系统。特别地，实施例旨在提供用于解码比特流的概念，该比特流包括根据所提出的实施例编码的多视图数据和相关联的元数据。在这样的概念中，基于指示所述多视图数据的片块数据单元包括修复数据的字段来设置所述片块数据单元的绘制参数。以这种方式，可以利用与所述多视图数据相关联的元数据的所提出的字段来控制用于片块数据单元的视图合成，诸如例如绘制优先级、绘制顺序或混合(混成)权重。

以示例的方式，在实施例中，所述字段可以包括绘制参数值的标识符。设置所述片块数据单元的绘制参数然后可以包括：基于所述标识符来确定所述绘制参数值；并且将所述绘制参数设置为所确定的绘制参数值。以这种方式，所提出的实施例可以被配置为使用所述字段来“查找”一个或多个绘制参数。例如，多个绘制参数集可以是预定义的，并且每个绘制参数集具有相应的唯一标识符，并且然后可以根据其标识符来选择参数集以用于与片块数据单元一起使用，该标识符被包括在针对该片块数据单元的字段中。

在一些实施例中，所述绘制参数包括绘制优先级。设置所述片块数据单元的绘制参数然后可以包括：响应于指示所述多视图数据的片块数据单元包括修复数据的字段而将所述片块数据单元的绘制优先级设置为第一优先级值；并且响应于指示所述多视图数据的片块数据单元包括从至少一个视点捕获的原始图像数据的字段而将所述片块数据单元的绘制优先级设置为不同的第二优先级值。因此，可以根据与所述片块数据单元相关联的字段是否指示它包括修复数据来控制绘制片块数据单元的重要性或“权重”。这可以允许根据与修复数据相关的偏好或要求来控制绘制或视图合成的顺序。

还公开了一种包括计算机代码的计算机程序，该计算机代码用于当所述程序在处理系统上运行时使所述处理系统实施如上文所概述的方法。所述计算机程序可以存储在计算机可读存储介质上。这可以是非瞬态存储介质。

还提供了一种根据权利要求14的用于对针对沉浸式视频的多视图数据进行编码的编码器。

还进一步提供了一种根据权利要求16的用于对针对沉浸式视频的多视图数据进行解码的解码器。

根据又一方面，提供了一种根据权利要求17的包括针对沉浸式视频的多视图数据和相关联的元数据的比特流。

可以使用如上文所概述的方法对所述比特流进行编码和解码。其可以体现在计算机可读介质上，或者体现为调制到电磁载波上的信号。

本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见，并且将参考在下文中所描述的(一个或多个)实施例得到阐述。

附图说明

为了更好地理解本发明并且更清楚地示出其可以如何实现，现在将仅通过示例的方式对附图进行参考，其中：

图1是根据本发明的第一实施例的对针对沉浸式视频的多视图数据进行编码的方法的流程图；

图2是根据实施例的编码器的框图，其被配置为执行图1所图示的方法；

图3是图示根据本发明的第二实施例的对针对沉浸式视频的多视图数据进行解码的方法的流程图；并且

图4是根据实施例的解码器的框图，其被配置为执行图3所图示的方法。

具体实施方式

将参考附图来描述本发明。

应该理解，详细描述和特定示例在指示装置、系统和方法的示例性实施例时旨在仅为了图示的目的并且不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。尽管在互不相同的从属权利要求中记载了特定措施，但这并不指示不能有利地使用这些措施的组合。

通过研究附图、说明书和权利要求书，本领域的技术人员在实践请求保护的本发明时可以理解和实现对所公开的发明的变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且词语“一”或“一个”不排除多个。

应该理解，附图仅是示意性的并且不按比例绘制。还应当理解，相同的附图标记贯穿附图被用于指示相同或相似的部分。

根据本公开的实施方式涉及与对针对沉浸式视频的多视图数据进行编码和解码相关的各种技术、方法、方案和/或解决方案。根据所提出的概念，可以分离地或联合地实施多个可能的解决方案。即，尽管这些可能的解决方案可以在下文单独描述，但是这些可能的解决方案中的两个或两个以上可以以一种组合或另一种组合来实施。

MPEG沉浸式视频(MIV)具有三个数据流：纹理数据、深度数据(也称为几何或范围数据)和元数据。使用标准压缩编解码器(例如，HEVC)对内容进行编码，并且元数据包括相机参数和片块数据。

术语“片块”或“片块数据单元”是指沉浸式视频的编码多视图帧(图谱)中的(矩形)区域(即片块)。因此，片块中的像素是指某个源视图中的部分，并且相等地变换和投影。片块数据单元可以对应于截头体切片或整个投影平面。即，片块不一定限于大小小于整个帧的区域(即帧的子区域)，而是相反可以包括整个帧。

在源侧，多视图数据对应于完整(即捕获的)视图。在沉浸式视频中，编码多视图帧通常被称为图谱，并且包括一幅或多幅纹理和深度(几何)图像。

而且，应当理解对“绘制优先级”的引用是指重要性或相对加权，而不是顺序。因此，尽管被分配高绘制优先级的片块数据单元可能导致该片块数据单元按顺序向上移动朝向绘制队列的前面，但情况可能未必总是如此。相反，尽管较高的绘制优先级可能影响绘制顺序，但由于其他因子或片块数据单元的相对重要性或加权，它可能最终不会改变或更改绘制顺序。即，优先级并不一定隐含时间排序。绘制顺序可以取决于实施例，并且修复数据和原始数据的不同绘制顺序是可能的。

根据所提出的(一个或多个)概念，公开了对针对沉浸式视频的多视图数据进行编码和解码的方法。在所提出的编码方法中，生成包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段的元数据。所生成的元数据提供了将包括原始纹理和深度数据的片块数据单元与包括修复数据(例如修复纹理和深度数据)的片块数据单元区分开的手段。在沉浸式视频的元数据内提供这样的信息可以解决与混合(作为目标视图合成的一部分)和修剪的视图重建相关联的问题。

通过提供包括指示多视图数据的片块数据单元是否包括修复数据的字段的元数据，实施例可以提供用于指示修复数据在沉浸式视频内的(一个或多个)位置的手段。这也可以允许具有修复数据的片块数据单元采用降低的细节水平LoD，从而使能所要求的比特率和像素率的降低。

因此，根据所提出的(一个或多个)概念，可以增强沉浸式视频的元数据，以指示沉浸式视频的多视图数据内的修复数据的存在、位置和范围。所提出的编码方法可以输出(增强的)指示一个或多个片块中的修复数据的元数据。该(增强的)元数据可以由对应的解码方法用于绘制或合成视图。还提供了用于多视图数据的编码器和解码器，以及包括这样的(增强的)元数据的对应比特流。

图1图示了根据本发明的第一实施例的编码方法。图2是用于执行图1的方法的编码器的示意性框图。

编码器200包括输入接口210；分析器220；元数据编码器230；以及输出部240。

在步骤110中，输入接口210接收包括片块数据单元的多视图数据。在本实施例中，多视图数据是包括多个源视图的沉浸式视频数据。每个源视图包括纹理值和深度值。纹理值和深度值的编码在本发明的范围之外，并且此处将不会进一步讨论。输入接口210耦合到分析器220。

在步骤120中，分析器220确定多视图数据的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据。

在步骤125中，分析器基于确定的结果来定义用于指示片块数据单元是包括原始图像数据还是包括修复数据的字段值。

因此，分析器的任务是识别其片块数据单元是包括原始图像数据还是包括修复数据，并且指示这样的分析的结果。分析器220将分析的结果提供给元数据编码器230。

在步骤130中，元数据编码器230生成元数据140，其包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。在该示例中，字段包括具有两个允许值的二元标志(例如，具有“0”(逻辑低)和“1”(逻辑高)的允许值的单个位)。第一值“0”指示多视图数据的片块数据单元包括从至少一个视点捕获的原始图像数据。第二值“1”指示多视图数据的片块数据单元包括修复数据。

因此，元数据编码器230的任务是生成(增强的)元数据，其包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的二元标志。该(增强的)元数据包括定义包括修复数据的片块数据单元的信息。尽管在本实施例中不是这种情况，但是元数据的(一个或多个)字段可以被配置为指示/包括关于片块数据单元的修复数据的进一步信息，诸如例如修复数据的LoD。然而，在一些实施例中，这可能不是必要的。例如，修复数据的LoD可以是预定的和/或归一化的。

输出部240生成并输出所生成的(增强的)元数据。它可以输出元数据，要么作为包括多视图数据(即纹理和深度数据流)的比特流的一部分，要么与比特流分离。

图3是图示根据本发明的第二实施例的对针对沉浸式视频的编码多视图数据进行解码的方法的流程图。图4是用于执行图3的方法的解码器的示意性框图。

解码器400包括输入接口410；元数据解码器420；以及输出部430。可选地，它还可以包括绘制器440。

在步骤310中，输入接口410接收包括纹理和深度数据305的比特流。输入接口410还接收描述比特流的元数据140。元数据可以被嵌入在比特流中，或者可以是分离的。在该示例中根据上文所描述的图1的方法创建元数据140。因此，元数据包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。注意，输入到解码器400的元数据通常将是由编码器300输出的元数据的版本，其随后可能已经经受压缩(并且可能地通过传输信道进行容易出错的通信)。

在步骤320中，元数据解码器420对元数据进行解码。这涉及基于指示多视图数据的片块数据单元是否包括修复数据的相关联的字段来设置片块数据单元的绘制参数。在该示例中，绘制参数是绘制优先级。响应于指示片块数据单元包括修复数据的字段，片块数据单元的绘制优先级被设置为第一优先级值(例如低)。响应于指示片块数据单元包括从至少一个视点捕获的原始图像数据的字段，片块数据单元的绘制优先级被设置为更高的第二优先级值(例如高)。

元数据解码器420将(一个或多个)绘制参数提供给输出部430。输出部430输出(一个或多个)绘制参数(步骤330)。

如果解码器400包括可选的绘制器440，则数据解码器420可以向绘制器440提供(一个或多个)解码的绘制参数，绘制器440根据(一个或多个)绘制参数重建一个或多个视图。在这种情况下，绘制器440可以将重建视图提供给输出部430，并且输出部430可以输出该重建视图(例如，到帧缓冲器)。

存在可以定义元数据的字段的各种方式和用户。现在将更详细地讨论这些方式中的一些。

备选方案A

在一些实施例中，元数据的字段包括二元标志(例如，单个比特)，该二元标志指示多视图数据的片块数据单元包括：从至少一个视点捕获的原始图像数据；或用于表示缺失数据的修复数据。

在编码器处：当片块数据单元包含原始内容时，标志被设置(即断言、设置为逻辑高、设置为值“1”等)，并且当片块数据单元包含修复内容时，则标志未设置(即否定、设置为逻辑低、设置为值“0”等)。

在解码器处：当片块的纹理与未设置的标志混合时，混合权重被设置为低值。因此，当其他纹理数据(具有设置的标志)被映射到相同的输出位置时，它有效地获得高混合优先级，从而得到更优化的质量。

当解码器在实际视图合成之前使用“修剪视图重建”时：现在，通过选择性地允许仅设置了标志的片块来进行重建过程。有效地忽略修复数据(即将修复数据视为低优先级)。随后，在实际视图合成中，保持修复内容的片块(即具有未设置的标志的片块)仅用于缺失数据的区域。

备选方案B

在备选实施例中，元数据被扩展，使得针对每个图谱帧，指定专用于包含修复数据的片块的“修复片块区域”(例如矩形)。这样的区域可以初始利用用户参数(例如作为可用图谱帧大小的百分比)来指定，或者其可以自动确定以平衡用于原始数据与修复数据的可用空间(由最大像素率确定)。以这种方式，元数据的字段与编码多视图数据的帧相关联，并且包括包含修复数据的帧的一个或多个片块数据单元的描述(即定义)。

在编码器处：考虑“修复片块区域”。具有修复内容的片块数据单元被放置在其内部，其他片块(具有原始内容)被留在区域之外。

在解码器处：如上文所描述的前述实施例中所描述的相同的行为也适用。视频编码器可以被指示以利用针对纹理和/或深度视频分量的较高量化值(即较低质量)对该区域进行编码。

对于MIV的实施方式，其中，多个图谱部件被打包到视频帧中，片块数据单元可以是分离图谱的一部分，并且该图谱可以被打包到视频帧中。即，视频帧的一个或多个部分可以被保留用于与这些修复片块数据单元相关的视频数据。

注意，备选方案A要求对当前MIV(草案)标准的最少的变化量，因为它仅添加了与(一个或多个)片块数据单元相关联的标志。它还允许所有片块数据单元更有效地打包在一起(与备选方案B相比较)。使用质量值(例如字节)而不是质量标志(例如比特)可以具有可以进一步优化质量的额外益处。

备选方案B不要求每个片块数据单元的元数据语法，并且因此可能要求较低的元数据比特率。此外，保持修复内容的片块可以紧凑地打包在一起，这可以允许创建要用于专用修复绘制阶段的不同三角形网格(例如首先利用修复数据创建背景，并且然后使用通常的片块数据合成)。

如上面在背景部分中指出的，在编码器处修复缺失数据增加比特率和像素率。现在将描述旨在限制该增加的对所提出的实施例的扩展和/或修改。

缩小包含修复内容的片块

提出了可以使用较小的标度(即减少的LoD)将修复内容打包到片块中，以便减少比特率和像素率。特别地，提出了一些实施例可以被配置为指定每个片块数据单元的LoD，使得具有修复内容的片块数据单元可以采用较低的LoD来减少比特率和像素率。

所采用的传输标准可以支持语法/语义，由此每个片块数据单元的LoD的定义在默认情况下针对修复片块数据单元启用，并且在默认情况下针对常规片块(即包括原始数据的片块)禁用。可以为包含修复片块的比特流指定默认LoD参数值。

典型的实施方式可以被配置为以二的因子对修复数据进行子采样，而不对常规片块进行子采样。然而，实施例仍然可以被配置为在逐片块的基础上覆盖默认LoD参数值(例如，对场景的低纹理部分采用较低的LoD)。

采用低分辨率网格来表示背景

可以采用具有减少/稀疏顶点集的特定网格以用于表示缺失背景内容。顶点可以伴随有颜色数据(或对现有纹理中的颜色数据的引用)。这样的方法提供以下益处：相对大的背景区域可以仅利用少量顶点来表示。

这样的低分辨率网格可以由编码器侧的源视图的深度图来构造。然而，情况可能并不总是这样，并且具有纹理的图形模型可以用作背景网格。即，可以使用人工(图形)和真实相机数据的组合。

不需要在与源视图相同的投影空间中表示具有相关联纹理的低分辨率网格。例如，当源视图具有带有给定视场(FoV)的透视投影时，可以关于具有较大FoV的透视投影来定义低分辨率背景网格，以避免在视口的边界处露出。为背景网格选择球形投影也可能是有用的。

低分辨率背景网格可能要求定义/生成相关联的元数据。因此，一些实施例可以包括生成元数据的步骤，该元数据包括用于定义和/或描述相关联的低分辨率网格的字段。例如，在最简单的形式中，字段可以包括指示背景网格的存在度/存在性的二元标志。备选地，字段可以是允许指示另外的信息的形式，诸如深度和纹理数据的位置和/或规格投影参数。如果这样的额外信息(例如，不存在绘制参数)，则可以采用默认参数。

在上文所描述的示例实施例中，字段已被描述为包括二元标志或布尔指示符。然而，应理解，用于指示多视图数据的片块数据单元是否包括修复数据的提议字段可以被配置为提供除了简单二元指示之外的额外信息。例如，在一些实施例中，字段可以包括用于指示大范围的可能值的一个或多个字节。而且，可能的值可能包括存储值的标识符或地址，因此使得信息能够被检索或“查找”。

例如，可以预定义多个绘制参数集，并且每个绘制参数集与相应的唯一标识符(例如地址)一起存储。然后，包括在用于片块数据单元的字段中的标识符可以被用于选择和检索用于与片块数据单元一起使用的参数集。即，与片块数据单元相关联的字段可以包括用于识别与所述片块数据单元相关的额外信息的标识符或地址。

当然，可能的是，所提出的元数据字段可以被用于提供关于修复片块数据单元的其他信息。这样的功能可以包括(但不限于)：数据质量；绘制偏好；一个或多个标识符等。这样的信息可以整体使用，或者分段使用，其与其他信息或绘制参数组合。

本发明的实施例依赖于描述片块数据单元的元数据的使用。由于元数据对解码过程很重要，因此如果利用额外的错误检测或错误校正码对元数据进行编码，则可能是有益的。在通信理论领域中已知适合的代码。

图1和图3的编码和解码方法以及图2和图4的编码器和解码器可以以硬件或软件或两者的混合(例如，作为在硬件设备上运行的固件)实施。在实施例部分或全部以软件实施的程度上，过程流程图中所图示的功能步骤可以由适合编程的物理计算设备来执行，诸如一个或多个中央处理单元(CPU)或图形处理单元(GPU)。每个过程-及其如流程图中所图示的个体组成步骤-可以由相同或不同的计算设备执行。根据实施例，计算机可读存储介质存储包括计算机程序代码的计算机程序，该计算机程序代码被配置为当程序在一个或多个物理计算设备上运行时使得一个或多个物理计算设备执行如上文所描述的编码或解码方法。

存储介质可以包括易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM、光盘(如CD、DVD、BD)、磁存储介质(如硬盘和磁带)。各种存储介质可以被固定在计算设备内或可以是可运输的，使得被存储在其上的一个或多个程序可以被加载到处理器中。

根据实施例的元数据可以被存储在存储介质上。根据实施例的比特流可以存储在相同的存储介质或不同的存储介质上。元数据可以被嵌入在比特流中，但这不是必需的。同样地，元数据和/或比特流(其中元数据在比特流中或与其分离)可以作为调制到电磁载波上的信号来传输。信号可以根据用于数字通信的标准来定义。载波可以是光学载波、射频波、毫米波或近场通信波。它可以是有线的或无线的。

在实施例部分或全部以硬件实施的程度上，图2和图4的框图中所示的框可以是分离的物理部件，或单个物理部件的逻辑细分，或者可以全部以集成的方式在一个物理部件中实施。附图中所示的一个框的功能可以在实现中在多个部件之间划分，或者附图中所示的多个框的功能可以在实施方式中组合在单个部件中。适合于在本发明的实施例中使用的硬件部件包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。一个或多个框可以被实施为执行一些功能的专用硬件和执行其他功能的一个或多个编程微处理器和相关联的电路的组合。

通过研究附图、说明书和权利要求书，本领域的技术人员在实践请求保护的实施例时可以理解和实现所公开的实施例的变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。如果计算机程序是如上文所讨论的，则其可以被存储/被分布在适合的介质(诸如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质)上，但是其也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统分布。如果术语“适于”被使用在权利要求或说明书中，则应注意，术语“适于”旨在等效于术语“被配置为”。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种对针对沉浸式视频的多视图数据(110)进行编码的方法，所述方法包括：

生成(130)元数据(140)，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。

2.根据权利要求1所述的方法，其中，所述字段包括至少两个允许值的集合，并且其中，所述集合的第一值指示所述多视图数据的所述片块数据单元包括从至少一个视点捕获的原始图像数据，并且其中，所述集合的第二值指示所述多视图数据的所述片块数据单元包括修复数据，并且其中，所述字段的所述值指示针对所述片块数据单元的细节水平。

3.根据权利要求1所述的方法，其中，所述字段包括存储值的标识符或地址。

4.根据权利要求3所述的方法，其中，所述存储值包括绘制参数值。

5.根据权利要求1至4中的任一项所述的方法，还包括以下先前步骤：

确定(120)多视图数据(110)的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据；并且

基于确定的结果来定义(125)用于指示所述片块数据单元是包括原始图像数据还是包括修复数据的字段值。

6.根据当从属于权利要求3时的权利要求5所述的方法，其中，所述字段值包括视图参数，

并且其中，确定多视图数据(110)的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据包括：

响应于识别出所述片块数据单元包括对修复视图的引用而确定多视图数据的所述片块数据单元包括修复数据。

7.一种对针对沉浸式视频的多视图数据进行解码的方法，所述方法包括：

接收(310)包括多视图数据和相关联的元数据(140)的比特流，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段；并且

对所述多视图数据的所述片块数据单元进行解码(320)，包括基于指示所述多视图数据的所述片块数据单元包括修复数据的所述字段来设置所述片块数据单元的绘制参数。

8.根据权利要求7所述的方法，其中，所述字段包括存储值的标识符或地址，

并且其中，设置所述片块数据单元的所述绘制参数包括：

基于所述标识符或所述地址来确定所述存储值；并且

基于所述存储值来设置所述绘制参数。

9.根据权利要求7或8所述的方法，其中，所述绘制参数包括绘制优先级，并且其中，设置所述片块数据单元的所述绘制参数包括：

响应于指示所述多视图数据的所述片块数据单元包括修复数据的所述字段而将所述片块数据单元的绘制优先级设置为第一优先级值；并且

响应于指示所述多视图数据的所述片块数据单元包括从至少一个视点捕获的原始图像数据的所述字段而将所述片块数据单元的所述绘制优先级设置为不同的第二优先级值。

10.根据权利要求7、8或9所述的方法，其中，所述字段与所述多视图数据的帧相关联，并且包括对包括修复数据的帧的一个或多个片块数据单元的描述，

并且其中，对所述多视图数据的所述片块数据单元进行解码包括：

分析所述描述以确定所述片块数据单元是否包括修复数据；并且

基于所述分析的结果来设置所述片块数据单元的绘制参数。

11.根据权利要求10所述的方法，其中，所述字段值是视图参数，

并且其中，分析所述描述包括确定所述描述是否包括对修复视图的引用。

12.一种包括计算机程序的存储介质，当所述程序在处理系统上运行时，所述计算机程序用于使所述处理系统实施根据权利要求1至11中的任一项所述的方法。

13.一种用于对针对沉浸式视频的多视图数据(110)进行编码的编码器(200)，所述编码器包括：

元数据编码器(230)，其被配置为生成元数据(140)，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。

14.一种用于对针对沉浸式视频的多视图数据进行解码的解码器(400)，所述解码器包括：

输入接口(410)，其被配置为接收包括多视图数据和相关联的元数据(140)的比特流，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段；以及

数据解码器(420)，其被配置为对所述多视图数据的所述片块数据单元进行解码，包括基于指示所述多视图数据的所述片块数据单元包括修复数据的所述字段来设置所述片块数据单元的绘制优先级。

15.一种比特流，包括针对沉浸式视频的多视图数据和相关联的元数据，

其中，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。

Images