CN114731416A

CN114731416A - 用于对体积视频进行编码、传输和解码的方法和装置

Info

Publication number: CN114731416A
Application number: CN202080071154.3A
Authority: CN
Inventors: J·弗勒罗; F·苏多; R·多尔
Original assignee: Interactive Digital Vc Holdings France Ltd
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2019-09-30
Filing date: 2020-09-22
Publication date: 2022-07-08
Also published as: KR20220066328A; US20220368879A1; WO2021063732A1; TW202116063A; EP4038880A1; BR112022005231A2; JP2022549431A

Abstract

本发明公开了用于对多视图帧进行编码、解码和传输的方法、设备和流。获得非修剪MVD帧，并且确定表示视图之间的修剪优先级关系的无环图。通过使用这些优先级关系来修剪MVD。经修剪MVD和表示图形的数据被编码在数据流中。在解码时，根据解码修剪图，确定要生成的视口帧的像素的每个视图的贡献。

Description

用于对体积视频进行编码、传输和解码的方法和装置

1.技术领域

本发明原理总体涉及三维(3D)场景和体积视频内容的域。还在编码、格式化和解码表示3D场景的纹理和几何结构的数据的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。在其他主题中，本发明原理涉及修剪多视图图像的像素以保证最佳比特流和渲染质量。

2.背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本发明原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本发明原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。

最近，可用的大视场内容(高达360°)有所增长。观看沉浸式显示设备(诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等)上的内容的用户可能无法完全看到此类内容。这意味着在给定的时刻，用户只能观看一部分内容。然而，用户通常可通过例如头部移动、鼠标移动、触摸屏、语音以及类似物的各种手段在内容内导航。通常希望对该内容进行编码和解码。

沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3个自由度(3DoF)的体验。即使3DoF视频足以满足第一次全向视频体验(例如，使用头戴式显示器(HMD设备))的要求，但3DoF视频对于期望更多自由(例如，通过体验视差)的观看者可能很快变得令人沮丧。此外，3DoF还可能导致眩晕，因为用户永远不会只旋转其头部，而是还向三个方向平移头部，这些平移不会在3DoF视频体验中再现。

其中，大视场内容可以是三维计算机图形图像场景(3D CGI场景)、点云或沉浸式视频。许多术语可用于设计此类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π球面度、沉浸式、全向或大视场。

体积视频(也称为6个自由度(6DoF)视频)是3DoF视频的替代方案。在观看6DoF视频时，除了旋转之外，用户还可以在观看的内容中平移其头部，甚至其身体，并且体验视差甚至体积。这种视频显著增加了沉浸感和对场景深度的感知，并通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容是通过专用传感器创建的，允许同时记录感兴趣场景的颜色和深度。即使仍然存在技术困难，使用结合摄影测量技术的彩色相机装备也是执行这种记录的一种方式。

虽然3DoF视频包括由纹理图像的解映射产生的图像序列(例如，根据纬度/经度投影映射或等角投影映射编码的球面图像)，但6DoF视频帧嵌入了来自多个视点的信息。它们可被视为由三维捕获产生的点云的时间序列。根据观看条件可以考虑两种体积视频。第一种(即完整的6DoF)允许在视频内容内完全自由导航，而第二种(又名3DoF+)将用户观看空间限制到称为观看边界框的有限体积，从而允许有限的头部平移和视差体验。该第二种情况是在自由导航和就座观众的被动观看条件之间的有价值的折衷。

3DoF+内容可以被设置作为一组多视图+深度(MVD)帧。此类内容可以已经由专用相机捕获，或者可以借助于专用(可能真实)渲染从现有计算机图形(CG)内容生成。体积信息作为存储在对应的颜色和深度图集中的颜色和深度补丁的组合被输送，这些图集利用常规编解码器(例如HEVC)视频编码。颜色和深度补丁的每个组合表示MVD输入视图的子部分，并且在编码阶段处设计所有补丁的集合以覆盖整个场景，同时存在尽可能少的冗余。在解码阶段处，图集首先视频解码，并且补丁在视图合成过程中渲染以恢复与期望观看位置相关联的视口。此类解决方案的问题与补丁被创建为足够非冗余且互补的方式有关。

3.发明内容

以下呈现本发明原理的简化概述，以便提供对本发明原理的一些方面的基本理解。本发明内容不是本发明原理的广泛概述。不旨在识别本发明原理的关键或重要元素。以下发明内容仅以简化形式呈现本发明原理的一些方面，作为下面提供的更详细描述的前言。

本发明原理涉及一种用于将经修剪多视图帧编码在数据流中的方法。

所述方法包括：

-获得无环图，所述无环图链接非修剪多视图帧的视图，所述图形的链路表示视图修剪优先级；

-按照确定为使得通过修剪优先级链路在链接到第一视图的视图之后修剪所述第一视图的顺序，修剪多视图图像的视图的像素；以及

-将图形和经修剪视图编码在数据流中。

本发明原理也涉及一种包括被配置为实现该方法的处理器的设备。

本发明原理也涉及一种从数据流解码经修剪多视图帧的方法。所述方法包括：

-从所述数据流获得所述经修剪多视图帧；

-从数据流获得无环图，所述图形链接所述多视图图像的视图，所述图形的链路表示视图修剪优先级；

-通过根据所述图形的所述修剪优先级确定所述经修剪多视图帧的每个视图的贡献，来根据观看姿态生成视口帧。

本发明原理也涉及一种数据流，所述数据流包括：

-表示经修剪多视图帧的数据；和

-表示无环图的数据，所述图形链接所述多视图图像的视图，所述图形的链路表示视图修剪优先级。

4.附图说明

将更好地理解本公开，并且在阅读以下描述、参考附图的描述之后，将出现其他特定特征和优点，其中：

-图1示出了根据本发明原理的非限制性实施方案的对象的三维(3D)模型和对应于该3D模型的点云的点；

-图2示出了根据本发明原理的非限制性实施方案的对表示3D场景序列的数据进行编码、传输和解码的非限制性示例；

-图3示出了根据本发明原理的非限制性实施方案的可以被配置为实现关于图11和图12描述的方法的设备的示例架构；

-图4示出了根据本发明原理的非限制性实施方案的当通过基于分组的传输协议传输数据时流的语法的实施方案的示例；

-图5示出了根据本发明原理的非限制性实施方案的以4个投影中心为例的补丁图集方法；

-图6示出了根据本发明原理的非限制性实施方案的包括3D场景的点的纹理信息的图集的示例；

-图7示出了根据本发明原理的非限制性实施方案的包括图6的3D场景的点的深度信息的图集的示例；

-图8示出了根据本发明原理的非限制性实施方案的当从非修剪MVD帧生成给定视口的图像时由视图合成器使用的过程；

-图9示出了根据本发明原理的非限制性实施方案的与图8的从经修剪MVD帧合成的相同视图；

-图10示出了根据本发明原理的非限制性实施方案的4x4多视图帧和针对此类MVD帧的示例修剪图；

-图11示出了根据本发明原理的非限制性实施方案的用于将多视图帧编码在数据流中的方法；

-图12示出了根据本发明原理的非限制性实施方案的用于从数据流解码经修剪多视图帧的方法。

5.具体实施方式

下文将参考附图更全面地描述本发明原理，在该附图中示出了本发明原理的示例。然而，本发明原理可以许多替代形式体现，并且不应被解释为限制于本文阐述的示例。因此，虽然本发明原理易受各种修改和替代形式的影响，但是其具体示例通过附图中的示例示出，并且本文将详细描述。然而，应当理解，不存在将本发明原理限制为所公开的特定形式的意图，但是相反，本公开用于涵盖落入由权利要求书限定的本发明原理的实质和范围内的所有修改、等同物和替代方案。

本文使用的术语仅出于描述特定示例的目的，并且不旨在限制本发明原理。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确说明。将会进一步理解，当用于本说明书时，术语“包括”和/或“包含”指定存在所述特征、整数、步骤、操作、元件和/或分量，但不排除一个或多个其他特征、整数、步骤、操作、元件、分量和/或其组的存在或添加。此外，当元件被称为“响应”或“连接”到另一元件时，它可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。如本文所用，术语“和/或”包括列出的相关联项中的一者或多者的任何和所有组合，并且可以缩写为“/”。

应当理解，尽管在本文中可使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离本发明原理的教导内容的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

尽管一些图示包括通信路径上的箭头以显示主通信方向，但是应理解，通信可以在与所描绘箭头相反的方向上发生。

关于其中每个框表示电路元件、模块或代码部分的框图和操作流程图描述了一些示例，该代码部分包括用于实现指定逻辑功能的一个或多个可执行指令。还应当指出的是，在其他具体实施中，框中标注的功能可能不按标注的顺序出现。例如，连续显示的两个框实际上可基本上同时执行，或者这些框有时可根据所涉及的功能以相反的顺序执行。

本文中的“根据一个示例”或“在一个示例中”的参考意味着结合示例描述的特定特征、结构或特性可以包括在本发明原理的至少一个具体实施中。说明书中各个地方的“根据一个示例”或“在一个示例中”的短语的出现不一定全部参考同一示例，也不一定是与其他示例相互排斥的单独的或替代的示例。

在权利要求书中出现的附图标号仅通过说明的方式，并且对权利要求书的范围没有限制作用。虽然未明确描述，但本示例和变体可以任何组合或子组合采用。

图1示出了对象的三维(3D)模型10和对应于3D模型10的点云11的点。3D模型10和点云11可例如对应于包括其他对象的3D场景的对象的可能3D表示。模型10可以是3D网格表示，并且点云11的点可以是网格的顶点。点云11的点也可以是分布在网格面的表面上的点。模型10也可表示为点云11的喷溅版本，模型10的表面是通过喷溅点云11的点而创建的。模型10可由诸如体素或样条的许多不同表示来表示。图1示出了可用3D对象的表面表示来定义点云以及可从云点生成3D对象的表面表示的事实。如本文所用，将3D对象的点(引申为3D场景的点)投影到图像上等效于投影该3D对象的任何表示，例如点云、网格、样条模型或体素模型。

点云可在存储器中表示为例如基于矢量的结构，其中每个点在视点的参照系中都有自己的坐标(例如三维坐标XYZ，或立体角和从/到视点的距离(也称为深度))和一个或多个属性，也称为分量。分量的一个示例是可在各种色彩空间中表示的颜色分量，例如RGB(红、绿和蓝)或YUV(Y是亮度分量并且UV是两个色度分量)。点云是包括对象的3D场景的表示。可从给定视点或视点范围看到3D场景。点云可通过多种方式获得，例如：

·从由相机装备拍摄的真实对象的捕获，任选地辅以深度主动感测设备；

·从由建模工具中的虚拟相机装备拍摄的虚拟/合成对象的捕获；

·从真实对象和虚拟对象两者的混合。

3D场景(特别是当制作用于3DoF+渲染时)可以由多视图+深度(MVD)帧表示。然后，体积视频是MVD帧序列。在这种方法中，体积信息作为存储在对应的颜色和深度图集中的颜色和深度补丁的组合被输送，然后这些图集利用常规编解码器(通常为HEVC)视频编码。颜色和深度补丁的每个组合表示MVD输入视图的子部分，并且在编码阶段处设计所有补丁的集合以覆盖整个场景，同时存在尽可能少的冗余。在解码阶段处，图集首先视频解码，并且补丁在视图合成过程中渲染以恢复与期望观看位置相关联的视口。

图2示出了对表示3D场景序列的数据进行编码、传输和解码的非限制性示例。编码格式可例如同时兼容3DoF、3DoF+和6DoF解码。

获得3D场景20序列。如同画面序列是2D视频，3D场景序列是3D(也称为体积)视频。可将3D场景序列提供给体积视频渲染设备以进行3DoF、3Dof+或6DoF渲染和显示。

可将3D场景20序列提供给编码器21。编码器21将一个3D场景或3D场景序列作为输入，并提供表示该输入的比特流。比特流可存储在存储器22中和/或电子数据介质上，并且可通过网络22传输。表示3D场景序列的比特流可由解码器23从存储器22读取和/或从网络22接收。解码器23由比特流输入并提供例如点云格式的3D场景序列。

编码器21可包括实现若干步骤的若干电路。在第一步骤中，编码器21将每个3D场景投影到至少一个2D画面上。3D投影是将三维点映射到二维平面的任何方法。由于用于显示图形数据的大多数当前方法都基于平面(来自几个位平面的像素信息)二维介质，因此这种类型的投影的用途是广泛的，在计算机图形、工程和制图方面尤为如此。投影电路211为3D场景20序列提供至少一个二维帧2111。帧2111包括表示投影到帧2111上的3D场景的颜色信息和深度信息。在变体中，颜色信息和深度信息被编码在两个单独的帧2111和2112中。

元数据212由投影电路211使用和更新。元数据212包括关于投影操作的信息(例如投影参数)以及关于颜色和深度信息在帧2111和2112内的组织方式的信息，如结合图5至图7所述。

视频编码电路213将帧2111和2112序列编码为视频。3D场景的画面2111和2112(或3D场景的画面序列)由视频编码器213编码在流中。然后，视频数据和元数据212由数据封装电路214封装在数据流中。

编码器213例如与诸如以下的编码器兼容：

-JPEG，规范ISO/CEI 10918-1UIT-T Recommendation T.81，https://www.itu.int/rec/T-REC-T.81/en；

-AVC，也称为MPEG-4AVC或h264。在UIT-T H.264和ISO/CEI MPEG-4第10部分(ISO/CEI 14496-10)两者中规定，http://www.itu.int/rec/T-REC-H.264/en，HEVC(其规范见于ITU网站，T recommendation,H series,h265,http://www.itu.int/rec/T-REC-H.265-201612-I/en)；

-3D-HEVC(HEVC的扩展，其规范见于ITU网站，T recommendation,H series,h265,http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and I)；

-Google开发的VP9；

-由Alliance for Open Media开发的AV1(AOMedia Video 1)；或者

-未来标准，如多功能视频编码器或MPEG-I或MPEG-V未来版本。

数据流被存储在可由解码器23例如通过网络22访问的存储器中。解码器23包括实现不同的解码步骤的不同电路。解码器23将由编码器21生成的数据流作为输入，并提供待由如头戴式设备(HMD)的体积视频显示设备渲染和显示的3D场景24序列。解码器23从源22获得流。例如，源22属于一组，该组包括：

-本地存储器，例如视频存储器或RAM(或随机存取存储器)、闪存存储器、ROM(或只读存储器)、硬盘；

-存储接口，例如具有大容量存储装置、RAM、闪存存储器、ROM、光盘或磁性载体的接口；

-通信接口，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或

接口)；

以及

-使用户能够输入数据的用户界面，诸如图形用户界面。

解码器23包括用于提取在数据流中编码的数据的电路234。电路234将数据流作为输入，并提供对应于在流中编码的元数据212的元数据232和二维视频。视频由提供帧序列的视频解码器233解码。解码帧包括颜色和深度信息。在变体中，视频解码器233提供两个帧序列，一个包含颜色信息，另一个包含深度信息。电路231使用元数据232去投影来自解码帧的颜色和深度信息，以提供3D场景24序列。3D场景24序列对应于3D场景20序列，可能损失与作为2D视频的编码和视频压缩相关的精度。

图3示出了可以被配置为实现关于图11和图12描述的方法的设备30的示例架构。图2的编码器21和/或解码器23可实现该架构。或者，编码器21和/或解码器23中的每个电路可以是根据图3的架构的设备，其例如经由其总线31和/或经由I/O接口36链接在一起。

设备30包括通过数据和地址总线31连接在一起的以下元件：

-微处理器32(或CPU)，该微处理器是例如DSP(或数字信号处理器)；

-ROM(或只读存储器)33；

-RAM(或随机存取存储器)34；

-存储接口35；

-I/O接口36，该I/O接口用于从应用程序接收要传输的数据；以及

-电源，例如电池。

根据一个示例，电源在设备外部。在每个提到的存储器中，说明书中使用的词语“寄存器”可以对应于小容量的区域(一些位)或非常大的区域(例如，整个程序或大量接收或解码的数据)。ROM 33至少包括程序和参数。ROM 33可以根据本发明原理存储用于执行技术的算法和指令。当接通时，CPU 32上载RAM中的程序并执行对应指令。

RAM 34包括寄存器中的由CPU 32执行并在设备30的接通之后上载的程序、寄存器中的输入数据、寄存器中的方法的不同状态中的中间数据以及用于在寄存器中执行方法的其他变量。

本文所述的具体实施可在例如方法或过程、装置、计算机程序产品、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的具体实施也可以其他形式(例如，程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的装置(诸如，例如处理器)中实施，该装置包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

根据示例，设备30被配置为实现关于图11和图12描述的方法，并且属于包括以下项的集合：

-移动设备；

-通信设备；

-游戏设备；

-平板电脑(或平板计算机)；

-膝上型电脑；

-静态图片相机；

-摄像机；

-编码芯片；

-服务器(例如广播服务器、视频点播服务器或web服务器)。

图4示出了当通过基于分组的传输协议传输数据时流的语法的实施方案的示例。图4示出了体积视频流的示例性结构4。该结构包含在以语法的独立元素组织流的容器中。该结构可包括标头部分41，它是流的每个语法元素所共有的一组数据。例如，标头部分包括关于语法元素的一些元数据，描述它们中每一个的性质和角色。标头部分还可包括图2的元数据212的一部分，例如用于将3D场景的点投影到帧2111和2112上的中心视点的坐标。该结构包括有效载荷，该有效载荷包括语法元素42和至少一个语法元素43。语法元素42包括表示颜色和深度帧的数据。图像可能已根据视频压缩方法进行了压缩。

语法元素43是数据流的有效载荷的一部分，并且可包括关于如何对语法元素42的帧进行编码的元数据，例如用于将3D场景的点投影和打包到帧上的参数。此类元数据可与视频的每个帧或帧组(在视频压缩标准中也称为画面组(GoP))相关联。

图5示出了以4个投影中心为例的补丁图集方法。3D场景50包括人物。例如，投影中心51是透视相机，并且相机53是正射相机。相机还可以是具有例如球面映射(例如等矩形映射)或立方体映射的全向相机。根据在元数据的投影数据中描述的投影操作，3D场景的3D点被投影到与位于投影中心处的虚拟相机相关联的2D平面上。在图5的示例中，根据透视映射将由相机51捕获的点的投影映射到补丁52上，并且根据正射映射将由相机53捕获的点的投影映射到补丁54上。

投影像素的群集产生多个2D补丁，其被打包在矩形图集55中。图集内补丁的组织限定了图集布局。在实施方案中，具有相同布局的两个图集：一个用于纹理(即颜色)信息，并且一个用于深度信息。由同一相机或由两个不同相机捕获的两个补丁可包括表示3D场景的相同部分的信息，如例如补丁54和56。

打包操作为每个生成的补丁产生补丁数据。补丁数据包括对投影数据的引用(例如，投影数据表中的索引或指向投影数据的指针(即，存储器中或数据流中的地址))和描述图集内补丁的位置和尺寸的信息(例如，左上角坐标、尺寸和以像素为单位的宽度)。将补丁数据项添加到元数据，以与一个或两个图集的压缩数据相关联地封装在数据流中。

图6示出了根据本原理的非限制性实施方案的包括3D场景的点的纹理信息(例如，RGB数据或YUV数据)的图集60的示例。如结合图5所解释的，图集是图像打包补丁，补丁是通过投影3D场景的一部分点而获得的画面。

在图6的示例中，图集60包括第一部分61和一个或多个第二部分62，该第一部分包括3D场景的从视点可见的点的纹理信息。第一部分61的纹理信息可例如根据等角投影映射来获得，等角投影映射是球面投影映射的示例。在图6的示例中，第二部分62布置在第一部分61的左边界和右边界处，但第二部分可以不同地布置。第二部分62包括与从视点可见的部分互补的3D场景的部分的纹理信息。可通过以下方式获得第二部分：从3D场景中移除从第一视点可见的点(其纹理存储在第一部分中)并且根据相同的视点来投影剩余的点。可以迭代地重复后一过程，以每次获得3D场景的隐藏部分。根据变体，可通过以下方式获得第二部分：从3D场景中移除从视点(例如，中心视点)可见的点(其纹理被存储在第一部分中)并且根据不同于第一视点的视点，例如从以中心视点为中心的观看空间(例如，3DoF渲染的观看空间)的一个或多个第二视点来投影剩余的点。

第一部分61可被看作第一大纹理补丁(对应于3D场景的第一部分)，并且第二部分62包括较小的纹理补丁(对应于与第一部分互补的3D场景的第二部分)。此类图集具有同时与3DoF渲染(当仅渲染第一部分61时)和与3DoF+/6DoF渲染兼容的优点。

图7示出了根据本原理的非限制性实施方案的包括图6的3D场景的点的深度信息的图集70的示例。图集70可被看作对应于图6的纹理图像60的深度图像。

图集70包括第一部分71和一个或多个第二部分72，该第一部分包括3D场景的从中心视点可见的点的深度信息。图集70可以与图集60相同的方式获得，但包含与3D场景的点相关联的深度信息而不是纹理信息。

对于3D场景的3DoF渲染，仅考虑一个视点，通常是中心视点。用户可围绕第一视点以三个自由度旋转其头部以观看3D场景的各个部分，但用户不能移动该唯一视点。要被编码的场景的点是从该唯一视点可见的点，并且仅需要对纹理信息进行编码/解码以进行3DoF渲染。对于3DoF渲染，不需要对从该唯一视点不可见的场景的点进行编码，因为用户不能访问它们。

对于6DoF渲染，用户可将视点移动到场景中的各处。在这种情况下，需要对比特流中场景的每个点(深度和纹理)进行编码，因为可移动他/她的视点的用户可能会访问每个点。在编码阶段处，不存在先验地知道用户将从哪个视点观察3D场景的手段。

对于3DoF+渲染，用户可在围绕中心视点的有限空间内移动视点。这使得能够体验视差。表示从观看空间的任何点可见的场景的部分的数据将被编码到流中，包括表示根据中心视点可见的3D场景的数据(即第一部分61和71)。例如，可在编码步骤处决定和确定观看空间的尺寸和形状，并在比特流中编码。解码器可从比特流获得该信息，并且渲染器将观看空间限制为由所获得的信息确定的空间。根据另一示例，渲染器根据硬件约束，例如与检测用户移动的传感器的能力有关的硬件约束来确定观看空间。在这种情况下，如果在编码阶段处，从渲染器的观看空间内的点可见的点尚未在比特流中被编码，则该点将不被渲染。根据又一示例，表示3D场景的每个点的数据(例如，纹理和/或几何结构)被编码在流中，而不考虑渲染观看空间。为了优化流的尺寸，可仅对场景的点的子组进行编码，例如可根据渲染观看空间看到的点的子组。

补丁被创建为足够非冗余且互补。用于从3D场景的多视图+深度(MVD)表示生成补丁的过程包括“修剪”输入源视图以移除任何冗余信息。为此，每个输入视图(颜色+深度)一个接一个地迭代修剪。在源视图中首先选择一组未修剪视图(称为基本视图)，并且完全传输。然后，将一组剩余的视图(称为附加视图)迭代地处理以移除与基本视图和已经被修剪的附加视图冗余的信息(就颜色和深度相似性而言)。经修剪像素的颜色或深度值由预定值替换，例如0或255。

图8示出了当从非修剪MVD帧生成给定视口的图像时由图2的视图合成器231使用的过程。为了输送体积视频，关键步骤包括移除基本视图和附加视图之间的冗余信息。然而，即使显著减少了要传输的信息的量，但在没有任何其他信令的情况下简单移除冗余信息也可能显著更改在解码阶段处的视图合成过程并且强烈降低最终用户体验。当尝试合成针对视口80的要合成的像素81时，合成器(例如图2的电路231)去投影通过该给定像素的光线(例如，光线82和83)并检查每个源相机84至87沿着该光线的贡献。如图8所示，当场景中的一些对象创建从一个相机到另一个相机的阻塞时，或者当由于相机设置而无法确保可见性时，可以找不到所有源相机84至87之间的关于要合成的像素的特性的共识。在图8的示例中，随着它们全部沿着要合成的光线“看到”该对象，第一组3个相机84至86“投票”以使用前景对象88的颜色来合成像素81。第二组1个单相机87无法看到该对象，因为它在其视口之外。因此，相机87为背景对象89“投票”以用于合成像素81。消除此类情况的策略是根据它们到要合成的视口的距离以一权重将每个相机贡献共混和/或合并。在图8的示例中，第一组相机84至86随着这些相机更多时并且随着它们更靠近要合成的视口，带来最大贡献。最终，可以预知，将利用前景对象88的特性来合成像素81。

图9示出了与图8的从经修剪MVD帧合成的相同视图。在经修剪MVD帧中，清除共享相同信息的相机的像素，并且不再传输或考虑该像素。在图9的示例中，现在将先前组的3个相机降低到携带前景对象88的信息的1个单相机96。已经修剪了来自相机84和85的视图中的对应像素信息92。与背景对象89相关的第二组相机不改变并且仅包括相机87的视图。在这种情况下，相对于前景的贡献，背景对合成像素91的贡献不再忽略不计，因为现在“对立者”下降到1比1。即使对象88的权重仍略高于背景89的权重，但两种贡献的共混也将包含来自背景的显著量，该显著量不对应于用户所期望的并且导致视觉伪像。因此，当尝试从图集合成新视图时，在解码阶段处可能是关键的是已经丢失了一些相机在修剪阶段之后的贡献信息。

根据本发明原理，公开了克服这些缺点的方法。在编码阶段处，获得修剪图。该修剪图约束相对于给定子组的其他相机完成的每个相机的修剪。表示修剪图的数据被编码在数据流中并以紧凑的方式提供给解码器。在解码阶段处，可以利用这些元数据恢复修剪图，并且用于复原每个经修剪相机的贡献信息。

图10示出了4×4多视图帧和针对此类MVD帧的示例修剪图。根据本发明原理，对于每个相机(即视图111至144)，确定一组其他相机。每个相机以无环方式(即，从修剪优先级关系获得的修剪图不包括任何循环)通过与零个、一个或若干个其他相机的修剪优先级关系相关联。为了具有有效的修剪，选择优先级关系，使得两个连接的视图具有高潜在冗余量。这种可能性可以例如基于两个感兴趣的相机的光学中心之间的距离、其重叠率或其光轴之间的角度/距离来确定。为了获得无环图，可以通过以下项设想2步策略：首先，根据优先级的所选标准以致密方式连接所有相机；以及第二，以贪婪方式修剪获得的图形以保持最小量的连接，从而保证无环特征。基本视图(图10的示例中的视图133)不指向任何其他相机，因为基本视图未被修剪。一些视图(图10的示例中的111、114、141和144)在图形中没有前导者。

在修剪程序期间，确定修剪顺序，使得相机将始终在修剪优先级的意义上在所有其父相机之后进行修剪。在图10的示例中，修剪顺序可以是(133,123,132,134,143,113,122,124,131,142,144,112,114,121,141)。按照该顺序执行所有相机的修剪程序。如果并且仅如果像素可以相对于其涉及的集合的每个相机修剪(即，所有参照相机携带相同信息)，则相对于与该相机相关的相机来修剪相机的要修剪的像素。如果父相机组的一部分已经在过程期间已经被修剪，则为了避免任何漂移效果，相对于其唯一或多个父相机递归地尝试修剪，直到已经发现非修剪区域。如果未发现共识，则要修剪的所考虑的像素未被修剪，并且其值不变。否则，丢弃像素(及其值)。在修剪树的路径上发生的每个二乘二比较，在深度上存在小对准误差。虽然误差低于用于两个靠近相机(即，拓扑邻居视图)之间的比较的阈值，但是对于通过修剪树的路径间接比较的两个远程相机，情况不是这样。漂移效果是沿着修剪树的路径的相机之间的深度上的小对准误差的累积。

为了在解码阶段处使用，根据本发明原理的非限制性实施方案，修剪图被编码在数据流中。

在第一实施方案中，表示修剪图的每个优先级关系的数据被编码为列表，该列表包括针对每个相机的根据表2中所描绘的语法格式的与该相机相关的相机列表，每个相机由其在遵循表1中提出的语法格式的相机参数列表中的位置识别。如果相机的数目为小(例如低于64)，则可以替代地使用掩模/位阵列来描述修剪优先级，如果第i个相机发生优先关系，则每个第i位设置为1，例如遵循如表3中所描绘的语法格式。

表1

表2

表3

在另一个实施方案中，例如根据表4和表5中提出的语法格式，修剪关系作为针对每个相机的新参数集成在相机参数列表内(作为阵列或作为掩模)。

表4

表5

在解码阶段处，从元数据恢复修剪图并且用于正确地处理渲染器的加权策略。在实施方案中，对于要合成的每个像素，迭代地考虑所有相机的贡献。对于提供有效贡献的每个相机，通过按照修剪顺序(从父相机朝向其子相机)浏览修剪图来迭代地考虑已经相对于该相机修剪了每个相机。如果已经相对于所考虑的像素的感兴趣的相机修剪了浏览的相机，则其权重被组合(例如，添加)到当前相机的权重，并且然后类似地处理其子相机。如果尚未已经相对于所考虑的像素的该相机修剪浏览的相机，因为其保持不同的有效信息，则浏览沿着图形的相关联分支停止，并且感兴趣的相机的权重保持不变。

根据本发明原理，在修剪后的解码器阶段处正确恢复经修剪相机贡献，从而防止视觉伪像，如结合图9所述。

图11示出了根据本发明原理的非限制性实施方案的用于将多视图帧编码在数据流中的方法110。在步骤111处，从源获得MVD帧。在该步骤处，MVD帧需要编码大量数据。在步骤112处，根据修剪优先级关系确定链接MVD的视图的图形。该图形构建为无环的，也就是说，没有视图能够在修剪过程中通过其本身之前的视图优先。一些视图没有前导者，并且不意味着被修剪的视图(也称为基本视图)在图形中没有后继者。在步骤113处，根据如结合图10所述的图形的优先级关系经修剪视图。在该阶段处，已经移除在步骤111处获得的初始MVD的冗余信息(颜色和深度)，并且结果需要编码较少数据。可以将剩余的有用信息组织成称为图集的唯一帧，如结合图5至图7所述。在步骤114处，将修剪MVD或对应的图集与专用元数据相关联地编码在流中。根据本发明原理，修剪图的修剪优先级关系也被编码在流中，遵循例如提出的语法格式中的一者。在另外的步骤中，数据流可以存储在存储器或非暂态存储介质中或者通过网络或数据总线传输到远程或本地设备。

图12示出了根据本发明原理的非限制性实施方案的用于从数据流解码经修剪多视图帧的方法120。在步骤121处，获得数据流并且从该数据流获得表示例如呈图集格式的经修剪MVD的数据。例如，通过使用视频编解码器从数据解码经修剪MVD。在步骤122处，从数据流获得MVD的链接视图的修剪图。步骤121和122可以任何顺序或并行执行。修剪图是MVD的视图之间的修剪优先级关系的无环结构，如本申请中详细描述的。在步骤123处，针对观看姿态(即，渲染器的3D空间中的位置和定向)生成视口帧。对于视口帧的像素，根据所获得的修剪图的视图之间的修剪优先级关系确定每个视图(在本申请中也称为“相机”)的贡献的权重。对于提供有效贡献的每个相机，通过按照修剪顺序(从父相机朝向其子相机)浏览修剪图来迭代地考虑已经相对于该相机修剪了每个相机。如果已经相对于所考虑的像素的感兴趣的相机修剪了浏览的相机，则其权重被组合(例如，添加)到当前相机的权重，并且然后类似地处理其子相机。如果尚未已经相对于所考虑的像素的该相机修剪浏览的相机，因为其保持不同的有效信息，则浏览沿着图形的相关联分支停止，并且感兴趣的相机的权重保持不变。

在实施方案中，在解码阶段处，修剪图可以用于未修剪经修剪输入视图。根据本发明原理，通过恢复由修剪过程抑制的缺失冗余部分来重建所接收的经修剪MVD的每个源视图。为此，应用反向程序。从根节点开始到叶，考虑与节点N相关联的视图的有效(非修剪)像素p。然后：

1)像素p被去投影到与其视图的子视图相关联的(仍未“未修剪”)视图上，并且如果其有助于其视口，则获取相关联的去投影像素状态。

2)如果将去投影像素识别为修剪(并且仍没有有效值)，则将其颜色和深度值设置为像素p(颜色和/或深度)中的一者，并且将过程迭代地重复到后一视图的子视图。

3)如果将去投影像素识别为非修剪(并且具有有效值)，则其颜色和深度值保持不变，并且对该后一视图的子视图没有进行图形的更多检查。

4)如果像素p没有落入其一个子视图的视口内，则该过程被递归地重复到孙视图。

这样做可能向多视图显示器馈送，该多视图显示器需要显示所有时刻处的MVD内容的所有视图(而不仅仅是在HMD中的一个合成虚拟视图)，同时以降低的比特率传输经修剪内容。

本文所述的具体实施可在例如方法或过程、装置、计算机程序产品、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的具体实施也可以其他形式(例如，程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的装置(诸如，例如处理器)中实施，该装置包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，智能电话、平板电脑、计算机、移动电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。

本文描述的各种过程和特征的具体实施可以体现于各种不同的设备或应用程序中，特别是例如与数据编码、数据解码、视图生成、纹理处理和图像以及相关纹理信息和/或深度信息的其他处理相关联的设备或应用程序。此类设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型电脑、个人计算机、蜂窝电话、PDA和其他通信设备。应当清楚的是，设备可以是移动的，甚至安装在移动车辆中。

另外，方法可以由处理器执行的指令来实现，并且此类指令(和/或由具体实施产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路、软件载体或其他存储设备，诸如例如硬盘、紧凑型磁盘(“CD”)、光盘(诸如例如，DVD，通常称为数字通用光盘或数字视频光盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成在处理器可读介质上有形地体现的应用程序。指令可以是例如硬件、固件、软件或组合。指令可以在例如操作系统、单独应用程序或两者的组合中发现。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。此外，除了或代替指令，处理器可读介质可以存储由具体实施产生的数据值。

对于本领域的技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，信号可以被格式化为作为数据携带用于写入或阅读所描述的实施方案的语法的规则，或作为数据携带由所描述的实施方案写入的实际语法值的数据。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

已描述了多个具体实施。但应理解的是，可以作出许多修改。例如，可以组合、补充、修改或移除不同具体实施的元件以产生其他具体实施。另外，普通技术人员将理解，其他结构和过程可以被替换为所公开的那些，并且所得具体实施将以至少基本上相同的方式执行至少基本上相同的功能，以实现与所公开的具体实施至少基本相同的结果。因此，本申请考虑了这些和其他具体实施。

Claims

1.一种用于将经修剪多视图帧编码在数据流中的方法，所述方法包括：

-按照确定为使得通过修剪优先级链路在链接到第一视图的视图之后修剪所述第一视图的顺序，修剪所述多视图图像的视图的像素；以及

-将所述图形和经修剪视图编码在所述数据流中。

2.根据权利要求1所述的方法，其中修剪视图的像素包括根据所述修剪优先级链路用确定的值替换存储如在所述多视图帧的未修剪视图的像素中共享而冗余的信息的视图的像素的所述值。

3.根据权利要求1或2所述的方法，其中所述图形作为列表在所述数据流中发信号通知，所述列表包括针对所述多视图帧的每个视图的与所述视图相关的视图列表。

4.一种用于将经修剪多视图帧编码在数据流中的设备，所述设备包括处理器，所述处理器被配置用于：

-将所述图形和经修剪视图编码在所述数据流中。

5.根据权利要求4所述的设备，其中修剪视图的像素包括根据所述修剪优先级链路用确定的值替换存储如在所述多视图帧的未修剪视图的像素中共享而冗余的信息的视图的像素的所述值。

6.根据权利要求4或5所述的方法，其中所述图形作为列表在所述数据流中发信号通知，所述列表包括针对所述多视图帧的每个视图的与所述视图相关的视图列表。

7.一种从数据流解码经修剪多视图帧的方法，所述方法包括：

-从所述数据流获得所述经修剪多视图帧；

-从所述数据流获得无环图，所述图形链接所述多视图图像的视图，所述图形的链路表示视图修剪优先级；

8.根据权利要求7所述的方法，其中视图的经修剪像素的值具有预定值。

9.根据权利要求7或8所述的方法，其中所述图形作为列表在所述数据流中发信号通知，所述列表包括针对所述多视图帧的每个视图的与所述视图相关的视图列表。

10.一种用于从数据流解码经修剪多视图帧的设备，所述设备包括处理器，所述处理器被配置用于：

-从所述数据流获得所述经修剪多视图帧；

11.根据权利要求10所述的设备，其中视图的经修剪像素的值具有预定值。

12.根据权利要求10或11所述的设备，其中所述图形作为列表在所述数据流中发信号通知，所述列表包括针对所述多视图帧的每个视图的与所述视图相关的视图列表。

13.一种数据流，包括：

-表示经修剪多视图帧的数据；和

14.根据权利要求13所述的数据流，其中视图的经修剪像素的值具有预定值。

15.根据权利要求13或14所述的数据流，其中所述无环图作为列表在所述数据流中发信号通知，所述列表包括针对所述多视图帧的每个视图的与所述视图相关的视图列表。