CN113785585B - 用于编码和解码多视图视频序列的方法和设备 - Google Patents

用于编码和解码多视图视频序列的方法和设备 Download PDF

Info

Publication number
CN113785585B
CN113785585B CN202080033348.4A CN202080033348A CN113785585B CN 113785585 B CN113785585 B CN 113785585B CN 202080033348 A CN202080033348 A CN 202080033348A CN 113785585 B CN113785585 B CN 113785585B
Authority
CN
China
Prior art keywords
sub
image
data
encoded
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080033348.4A
Other languages
English (en)
Other versions
CN113785585A (zh
Inventor
J.琼格
P.博伊索纳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ao Lanzhi
Original Assignee
Ao Lanzhi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ao Lanzhi filed Critical Ao Lanzhi
Publication of CN113785585A publication Critical patent/CN113785585A/zh
Application granted granted Critical
Publication of CN113785585B publication Critical patent/CN113785585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种用于对表示多视图视频的至少一个数据流进行解码的方法，所述至少一个数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与纹理数据相关联的深度数据，所述子图像包括被称为有用区域的至少一个区域，所述有用区域旨在用于生成至少一个视图的至少一个图像。对指示子图像是根据第一方法被编码还是根据第二方法被编码的指示符进行解码。当指示符指示子图像是根据第一方法被编码时，对二进制图进行解码，所述二进制图针对子图像的至少一个像素指示所述像素是否属于有用区域。当指示符指示子图像是根据第二方法被编码时，对子图像的纹理数据和深度数据进行解码，子图像中的位于有用区域之外的像素的深度数据包括解码的深度值。

Description

用于编码和解码多视图视频序列的方法和设备
技术领域
本发明涉及沉浸式视频，其表示由一个或多个相机捕获的场景。更具体地，本发明涉及对这样的视频进行编码和解码。
背景技术
在沉浸式视频上下文中，即在观看者具有沉浸在场景中的感觉的情况下，场景通常由一组相机捕获，如图1所示。这些相机可以是2D类型(图1中的相机C1、C2、C3、C4)或360类型，即捕获围绕相机(图1中的相机C5)360度的整个场景。
所有这些捕获的视图传统上被编码，然后由观看者的终端解码。然而，为了提供足够的体验质量，并且因此在向观看者显示的场景中提供视觉质量和良好的沉浸感，仅显示捕获的视图是不够的。
为了改善场景中的沉浸感，通常从解码的视图计算被称为中间视图的一个或多个视图。
这些中间视图可以通过视图“合成”算法来计算。图2中示出了合成算法的示例，主要示出了视图合成算法的输入/输出。根据该示例，根据n个视图(这里为1-4)，合成算法能够合成位于给定体积中的视点“v”，该给定体积被称为视体，这取决于相机的定位。n个视图和合成的视图由表示场景的元素相对于相机之间的距离的纹理数据(T1-T4，Tv)和深度数据(D1-D4，Dv)两者组成。深度数据通常以深度图的形式表示，即在图像的每个点处指示与在该点处表示的对象相关联的深度的图像。
这些深度图由特定相机捕获或从纹理视图计算。由于所考虑的大量数据，压缩所捕获的视图以表示场景是一个挑战。
此外，由于所捕获的视图对于合成中间视图是必要的，因此需要视图的编码效率与中间视图合成的质量之间的折衷。
MV-HEVC及3D-HEVC编码器是适于对多视图视频进行编码的2D HE VC编码器(“高效视频编码，编码工具和规范”，马提亚斯·维恩，《信号与通信技术》，2015年)的两个扩展。
这样的编码器将一组视图以及可选地相关联的深度图作为输入。MV-HE VC编码器不在块级应用任何特定编码工具。当对当前视图的图像进行编码时，除了当前视图的先前编码/解码的图像之外，它还简单地使用另一视图的图像作为参考图像。
3D-HEVC编码器将特定工具添加到深度图编码，并使用更高级的视图间冗余和分量间冗余，其中深度图编码利用纹理编码。
然而，似乎对于360°多视图内容，这两个编码器没有适当地利用视图之间的冗余。因此，它们的编码效率远不是最优的。此外，没有做什么来保持可能导致遮挡的区域，遮挡影响合成的视图的图像的质量。
图3示出了用于在解码器侧对多视图视频进行编码并合成中间视图的另一方法。
根据该方法，利用2D编码器(例如HEVC编码器)或利用多视图编码器对一个或多个基本视图(图3中的Tb、Db)进行编码。
处理其他视图(Ts，Ds)以从这些视图中的每一个中提取某些区域。
在并非所有捕获的视图都被发送到解码器的情况下，或者在相机自然远离的情况下，遮挡区域增加。这些区域对应于隐藏在发送到解码器的视图中的对象，但是这些对象是从视体中的任何视点重建图像所必需的。因此，所提取的区域可以对应于在基本视图中隐藏但在未发送到解码器的视图中可见的遮挡区域。
对视图进行子采样还可能导致视图合成中的显著缺陷，特别是当对象根据观看位置(即合成的视点)而高度失真时。
根据图3所示的方法，例如通过传统的2D视频编码器对所提取的区域(以下也称为面片(patch))进行编码。在解码器侧，合成算法然后可以从基本视图和解码的面片产生一个或多个中间视图。
总的来说，面片可以向解码器发送与可以从基本视图的视点或从另一视点看到的相同区域有关的信息，使得可以考虑两个视点之间的照度变化，或者例如在倾斜对象(在特定深度范围上延伸)的情况下与对象本身有关的不良投影质量。
为了对表示所提取的区域的面片进行编码，有必要对这些面片的纹理和相关联的深度进行编码。为了简化可以具有不同形状的这些面片的编码和表示，通常，面片以矩形图像的形式或至少以四边形(也称为子图像)的形式存储。
通过子图像的形式的表示，看起来子图像包括与所提取的区域对应并且可能用于合成中间视图的有用数据，以及最初不属于所提取的面片的无用数据。
为了对面片的有效编码，无用数据的编码对有用数据的编码具有最小影响是必要的。
此外，在解码器侧，有必要向合成算法发送信息项，该信息项将帮助合成算法标识有用区域和无用区域，使得合成算法在合成期间不使用无用区域。
因此，需要改进现有技术。
发明内容
本发明改进了现有技术。为此，本发明涉及一种用于对表示多视图视频的数据流进行解码的方法。数据流至少包括表示至少一个子图像的编码的数据，编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，并且子图像包括被称为有用区域的至少一个区域，所述有用区域旨在用于生成至少一个视图的至少一个图像。
这种解码方法包括：
-从所述至少一个数据流中对指示子图像是根据第一方法被编码还是根据第二方法被编码的指示符进行编码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行解码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，对所述子图像的纹理数据和深度数据进行解码，所述子图像中的位于所述有用区域之外的像素的深度数据包括解码的深度值。
根据本发明，因此可以编码和解码对于合成有用的子图像编码区域，同时限制这些子图像的编码成本。特别地，根据在流中编码的指示符的值，当从用于子图像的流中编码的深度信息或者从流中编码和解码的二进制图重建视图时，可以通过合成算法确定表示面片的子图像中的有用区域。
根据本发明，与现有技术不同，因此不必对子图像系统地编码用于标识子图像的有用区域的有效性二进制图。例如，在编码器处，可以实现竞争以确定在针对面片的深度信息的速率/失真方面的最佳编码。这种竞争将第一方法的性能与第二方法的性能进行比较，其中第一方法编码指示哪些像素属于有用区域并在合成视图时被发送到合成算法的二进制图，根据第二方法，位于有用区域之外的像素的深度值被分配特定值。
当子图像是根据第一方法被编码时，仅对属于有用区域的像素的深度值进行编码和解码。而当子图像是根据第二方法被编码时，对子图像的所有像素的深度值进行编码和解码，而不管这些像素是否属于有用区域。子图像中不属于有用区域的像素携带在编码时确定的特定解码的深度值。
这样的特定值允许合成算法在合成视图时不使用不属于有用区域的像素。
子图像可以包括与在数据流中编码的视图中不可见的遮挡区域有关的纹理和深度数据。因此，对这样的子图像进行编码提高了未被编码在数据流中的视图的合成质量。
在其他实施例变型中，子图像可以包括与从数据流中编码的视图可见的区域相关的纹理和深度数据，但是导致视图合成中的显著缺陷。通过向区域提供纹理和深度改进，对这样的子图像进行编码改善了该视图的合成质量。
所提出的发明允许更好地适应视图的内容和遮挡类型。特别地，第一方法在合成期间为遮挡区域保持清晰的轮廓，而第二方法通过避免二进制图的传输来节省编码成本。然而，由于当根据第二方法编码时不再区分子图像中的有用区域和无用区域，因此不能保持遮挡区域的轮廓的锐度。
在编码器处在第一方法和第二方法之间的选择可以例如经由速率/失真优化来进行，其中失真在编码器处根据由有用区域对重建的区域的部分合成来测量。
本发明还涉及一种用于对表示多视图视频的数据流进行编码的方法，包括：
-对包括纹理数据和与所述纹理数据相关联的深度数据的至少一个子图像进行编码，所述子图像包括被称为有用区域的区域，所述有用区域旨在用于生成至少一个视图的至少一个图像，
对所述至少一个子图像进行编码包括：
-在第一方法和第二方法之间确定用于对所述子图像进行编码的编码方法，
-对指示所述子图像是根据所述第一方法被编码还是根据所述第二方法被编码的指示符进行编码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行编码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时：
-确定分配深度值，
-针对子图像中的位于有用区域之外的像素，将所述分配深度值分配给所述子图像的深度数据，
-对所述子图像的纹理数据和深度数据进行编码。
根据本发明的特定实施例，所述分配深度值是从在所述子图像的至少所述有用区域上确定的最小深度值减去预定值来确定的。
最小深度值是例如子图像中有用区域的最远(在深度方面)点的深度值。将最小深度值减去预定值，以便获得与有用区域的点的深度值不同的特定深度值。因此，减去预定值允许在对深度数据进行编码时考虑量化误差。
另外，使用保持接近有用区域的点的深度值的特定深度值限制了子图像的深度的编码成本的影响。实际上，要针对子图像编码的深度信息中强不连续性的出现是有限的。
此外，这种分配深度值可以有利地由合成算法使用。实际上，在图像合成期间发生冲突的情况下，合成算法将自然有利于位于前景中的对象，因此具有比位于背景中的对象更大的深度值。因此，对于子图像中的位于无用区域中的像素，使用低于有用区域的像素的深度值的深度值，向合成算法指示携带最低深度值的像素不属于有用区域，并且在重建合成的图像时发生冲突的情况下，合成算法将不有利于对它们的考虑。
根据本发明的另一特定实施例，当指示符指示子图像是根据第二方法被编码时，解码方法(相应地，编码方法)包括对表示分配深度值的信息项进行解码(相应地，编码)，该分配深度值与针对位于有用区域之外的像素解码(相应地，编码)的深度值对应。
根据本发明的该特定实施例，因此可以为根据第二方法编码的子图像创建指示属于有用区域的像素的二进制图，因为解码器知道向位于有用区域之外的像素分配的分配深度值。因此，它可以从解码的像素的深度值中标识哪些像素属于有用区域以及哪些像素在有用区域之外。由此构建的二进制图可以被发送到合成算法。因此，无论子图像是根据第一方法还是根据第二方法被编码，作为合成算法的输入提供的信息都是相同的。
根据本发明的另一特定实施例，针对子图像的至少一个像素，在数据流中编码的子图像的深度数据包括由所述像素的深度值与所述分配深度值之间的差确定的残差。
当子图像是根据第二方法被编码时，本发明的该特定实施例降低了针对子图像的深度数据的编码成本。实际上，当子图像仅包括背景信息时，深度数据的动态是低的，并且将该数据编码为残差是更有利的。
根据本发明的另一特定实施例，针对所述至少一个子图像对指示符进行解码或编码，所述指示符指示深度数据是否通过由所述像素的深度值与所述分配深度值之间的差确定的残差被编码。
本发明的该特定实施例使得可以用信号通知在通过第二方法编码的情况下深度数据是否由残差编码。实际上，根据子图像携带的信息的类型，基于残差的编码模式可能是有利的或可能不是有利的。当子图像携带与遮挡区域有关的信息时，基于残差的编码可能是有利的，而对于包括改进信息的子图像，基于残差的编码可能不太有吸引力。
根据本发明的另一特定实施例，解码方法还包括：
-确定有用区域：
-当所述指示符指示所述子图像是根据所述第二方法被编码时，根据重建的深度数据和表示所解码的分配深度值的信息项，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，根据解码的二进制图，
-构建子图像的深度图，其中无限值被分配给位于有用区域之外的像素，
-将所述深度图发送到合成模块。
根据本发明的该特定实施例，分配给深度值的无限值使得可以简单地向合成算法指示属于有用区域和无用区域的像素，并且避免向合成模块发送附加数据，诸如指示有用区域和无用区域的二进制图。
根据本发明的另一特定实施例，所述解码方法还包括：当所述指示符指示所述子图像是根据所述第二方法被编码时：
-根据重建的深度数据和表示所解码的分配深度值的信息项确定有用区域，
-构建二进制图，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-将所述二进制图发送到合成模块。
根据本发明的另一特定实施例，在数据流中对旨在用于生成所述至少一个视图的所述至少一个图像的至少两个子图像进行编码，根据所述至少两个子图像的每个有用区域确定最小深度值。
根据本发明的另一特定实施例，数据流包括视频的至少一个视图的编码的数据，所述至少一个视图与在从至少一个源视图编码时确定的视图对应。
源视图在这里被定义为由多视图视频表示的场景的原始视图。换句话说，它是由相机捕获场景而产生的图像序列。
根据本发明的该特定实施例，发送到解码器的至少一个基本视图是从一个或多个源视图确定的视图。可以在编码时或在编码之前执行该确定。
例如，它可以是从若干源视图合成的视图或从若干源视点计算/估计的视图。
例如，所确定的视图可以对应于图像序列，其中每个图像大于相机图像并且包括来自360°捕获相机阵列的所有相机的相同时刻的所有图像。
根据本发明的另一特定实施例，解码方法还包括接收所述子图像的纹理数据和深度数据，所述子图像源自视体中观看者的位置和观看方向的合成的中间视图。
根据本发明的该特定实施例，在请求视体中的位置和观看方向时，将子图像的数据提供给解码器。本发明的这种特定实施例使得当观看者正在导航多视图视频时，可以根据需要提供子图像的数据。因此，相应的改进或遮挡区域中的数据更适合于观看者的位置和观看方向。
本发明还涉及一种用于对表示多视图视频的至少一个数据流进行解码的设备，所述至少一个数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域，所述有用区域旨在用于生成至少一个视图的至少一个图像，
所述解码设备被配置为：
-从所述至少一个数据流对指示所述子图像是根据第一方法被编码还是根据第二方法被编码的指示符进行解码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行解码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，对所述子图像的纹理数据和深度数据进行解码，所述子图像中的位于所述有用区域之外的像素的深度数据包括解码的深度值。
根据本发明的特定实施例，这样的解码设备被包括在终端或服务器中。
本发明还涉及一种用于对表示多视图视频的数据流进行编码的设备，被配置为：
-对包括纹理数据和与所述纹理数据相关联的深度数据的至少一个子图像进行编码，所述子图像包括旨在用于生成至少一个视图的至少一个图像的有用区域，包括：
-在第一方法和第二方法之间确定用于对所述子图像进行编码的编码方法，
-对指示所述子图像是根据所述第一方法被编码还是根据所述第二方法被编码的指示符进行编码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行编码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时：
-确定分配深度值，
-针对子图像中的位于有用区域之外的像素，将所述分配深度值分配给所述子图像的深度数据，
-对所述子图像的所述纹理数据和所述深度数据进行编码。
根据本发明的特定实施例，这样的编码设备被包括在终端或服务器中。
本发明还涉及一种表示多视图视频的数据流，所述数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域，所述有用区域旨在用于生成至少一个视图的至少一个图像，所述数据流包括：
-指示子图像是根据第一方法被编码还是根据第二方法被编码的指示符，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，编码的数据表示二进制图，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，所述子图像中的位于所述有用区域之外的像素的深度数据包括深度值。
根据本发明的特定实施例，当指示符指示子图像是根据第二方法被编码时，所述数据流还包括表示所述分配深度值的信息项。
根据本发明的另一特定实施例，所述数据流包括针对所述至少一个子图像的指示符，所述指示符指示所述深度数据是否通过获得由像素的深度值与所述分配深度值之间的差确定的残差被编码。
根据本发明的另一特定实施例，所述数据流还包括视频的至少一个视图的编码的数据，所述至少一个视图与在从至少一个源视图编码时确定的视图对应对应。
根据本发明的解码方法(相应地，编码方法)可以以各种方式实现，特别是以有线形式或以软件形式。根据本发明的特定实施例，解码方法(相应地，编码方法)由计算机程序实现。本发明还涉及一种包括指令的计算机程序，当所述程序由处理器执行时，所述指令用于实现根据先前描述的特定实施例中的任一个的解码方法或编码方法。这样的程序可以使用任何编程语言。它可以从通信网络下载和/或记录在计算机可读介质上。
该程序可以使用任何编程语言，并且可以是源代码、目标代码、或源代码和目标代码之间的中间代码的形式，诸如部分编译的形式，或任何其他期望的形式。
本发明还涉及一种包括如上所述的计算机程序的指令的计算机可读存储介质或数据介质。上述记录介质可以是能够存储程序的任何实体或设备。例如，介质可以包括存储装置，诸如ROM(例如CD-ROM或微电子电路ROM)、USB闪存驱动器或磁记录装置(例如硬盘驱动器)。另一方面，记录介质可以对应于诸如电信号或光信号的可传输介质，其可以经由电缆或光缆、通过无线电或通过其他手段来承载。根据本发明的程序可以特别地在互联网类型的网络上下载。
可替代地，记录介质可以对应于其中嵌入程序的集成电路，该电路适于执行或用于执行所讨论的方法。
附图说明
在阅读作为简单说明性非限制性示例提供的特定实施例的以下描述和附图时，本发明的其他特征和优点将更清楚地显现，其中：
图1示意性地示出了多视图场景捕获系统的示例。
图2示出了视图合成模块的输入/输出的示例。
图3示意性地示出了基于面片的编码的多视图编码器的示例。
图4示出了根据本发明的特定实施例的编码方法的步骤。
图5示出了对要编码的子图像进行分组的图像的示例。
图6示出了包括子图像的图像和指示图5所示的图像的子图像的有用区域和无用区域的对应二进制图的示例。
图7示出了根据本发明的特定实施例的面片的纹理的无用区域的填充示例。
图8示出了根据本发明的特定实施例的面片的深度的无用区域的填充示例。
图9示出了根据本发明的特定实施例的解码方法的步骤。
图10示出了根据本发明的另一特定实施例的解码方法的步骤。
图11示出了根据本发明的另一特定实施例的解码方法的步骤。
图12示出了根据本发明的特定实施例的编码设备的架构的示例。
图13示出了根据本发明的特定实施例的解码设备的架构的示例。
图14示出了根据本发明的特定实施例的数据流示例。
具体实施方式
图4示出了根据本发明的特定实施例的用于对表示多视图视频的至少一个数据流进行编码的方法的步骤。
根据本发明，根据如关于图3所示的编码方案对多视图视频进行编码，其中一个或多个基本视图被编码在数据流中，并且其中包括纹理和深度数据的子图像或面片也被编码在数据流中，并且允许解码器合成场景的未被编码在数据流中的其他视图。下面描述与本发明的特定实施例有关的这种编码方案的步骤。
这里考虑例如场景是根据4个视点V0-V3捕获的，并且与视图的每个图像相关联的深度图d0-d3是先前估计的。视图在这里被定义为表示从视点捕获的场景的图像序列。因此，每个视图是视频，即图像序列，并且对于视图的每个图像，确定深度图。
在步骤E40，例如通过HEVC编码器或任何其他合适的2D或多视图编码器对视图V0-V3和相关联的深度图d0-d3进行编码和解码。这些视图被认为是基本视图，并且将被发送到解码器。它们可以用于在解码器侧合成中间视图。作为变型，可能不是所有视图V0-V3都被编码，例如可以仅编码一个视图，或者2个或3个视图并将其发送到解码器。
根据本发明的特定实施例，在步骤E40，被编码在数据流中的基本视图与从一个或多个视图V0-V3合成的视图对应。
在步骤E41，使用将被发送到解码器的编码的视图来合成中间视图Vi。通常，这样的中间视图Vi包括纹理数据和与纹理数据相关联的深度数据。
在步骤E42，从该中间视图Vi和编码的/解码的基本视图中，从中间视图Vi中提取一个或多个区域。这里在合成的中间视图Vi的情况下呈现该方法。当然，如果合成若干中间视图，则该方法同样适用，从这些中间视图中提取一个或多个区域。
本发明的目的不是确定要提取的区域。因此，将不再进一步开发用于提取这些区域的方法。
所提取的区域可以对应于遮挡区域(即在基本视图中不可见并且在中间视图中可见的区域)，或者对应于已经存在于基本视图中但是在合成的视图中提供不足的合成质量(例如由于在合成时出现的失真)的区域。在后一种情况下，合成的中间视图对应于由相机捕获的视图。从中提取区域的中间视图可以是由相机捕获但未被编码在数据流中的视图。因此，它可以在解码器侧合成，并通过被编码在数据流中的子图像进行改进。
提取的区域以任意形状的面片的形式表示。在下文中，这些面片被称为子图像。子图像包括纹理数据、深度数据、每个视图中的位置和大小。
应当理解，对于中间视图，可以针对中间视图的相同图像提取一个或多个子图像。类似地，可以针对中间视图的不同图像提取表示从中间视图提取的相同区域的子图像。以这种方式，子图像的纹理和深度数据然后随时间变化并形成子图像序列。
在图5中示出了从中间视图Vi的图像提取的子图像P0-P5的示例。在图5的示例中，子图像被分组在矩形图像50中以便于它们的编码。应当理解，根据这种图像的实施例变型，图像50可以包括从中间视图的不同图像提取的子图像，或者从单个图像提取的子图像，或者从在中间视图Vi中提取的子图像中提取的并且也从其他中间视图提取的子图像。
类似地，子图像可以在不被分组在矩形图像中的情况下被编码。然后，当子图像随时间变化时，每个子图像被视为图像或图像序列。
在图5中，通过以适合于编码的形式(矩形或至少四边形形状)表示从中间视图提取的区域，看起来子图像包括与所提取的区域对应并且可能用于合成中间视图或其他视图的有用数据(51，图5中具有宽阴影线的区域)，以及包括纹理和深度数据为0的无用数据(52，图5中具有细阴影线的区域)。
子图像的有用数据可以被包括在子图像的一个区域中或子图像的若干不相交的区域中，使得子图像然后包括对合成有用的若干区域。
根据本发明的编码方法旨在降低无用区域的编码成本。
以下在认为子图像被分组在大图像50中的情况下描述本发明。然而，本发明的一般原理以类似的方式适用于子图像不被分组在大图像中而是被单独处理的情况。
在步骤E42，对(多个)子图像进行编码。为此，根据本发明，可以使用两种用于对子图像进行编码的方法。对于给定的子图像，实现两种编码方法之间的竞争，以便选择提供最佳速率/失真折衷的编码方法。在流中对指示符进行编码，以便为子图像指示使用哪种编码方法。
下面描述这两种编码方法。
根据第一编码方法，使用二进制图对子图像进行编码，对于子图像的给定像素，该二进制图指示该像素属于有用区域(例如，该像素在二进制图中取值1)还是不属于有用区域(例如，该像素在二进制图中取值0)。
图6示出了包括子图像的图像(50text)和对应的二进制图(50bin)的示例，该二进制图指示图5所示的图像50的子图像的有用(51，纹理图像50text中的阴影区域)区域和无用(52，纹理图像50text中的白色区域)区域。根据该第一编码方法，仅对位于有用区域中的像素的纹理和深度数据进行编码并将其发送到解码器，针对子图像的所有像素编码相关联的二进制图。
这里应当注意，不可能使用预定义值(诸如0)作为纹理数据中的参考，这将指定所讨论的像素是无用的。实际上，在对纹理进行编码和解码之后，不保证像素值，并且像素值可能不再为零。此外，对于属于有用区域的像素，可能出现其他空值。
根据第二编码方法，通过填充纹理数据和深度数据两者的无用区域来编码子图像。然后，通过对子图像的所有像素进行编码，以标准方式对子图像进行编码。
为此，在步骤E420，在上述第一方法和第二方法之间确定要用于对子图像进行编码的编码方法。例如，实现两种方法之间的编码竞争，并且选择提供最佳速率/失真折衷的方法。以已知的方式，通过分别根据两种方法模拟编码、计算每种方法使用的速率以及在纹理和/或深度数据的原始值和重建值之间计算的相关联的失真来执行这种竞争。
在步骤E421，在数据流中编码指示子图像是根据第一方法被编码还是根据第二方法被编码的指示符。当指示符指示子图像是根据第一方法被编码时，方法前进到步骤E422。当指示符指示子图像是根据第二方法被编码时，方法前进到步骤E424。
在步骤E422，对子图像的二进制图进行编码。例如，使用熵编码。
在步骤E423，仅考虑位于子图像的有用区域中的像素，对子图像编码纹理数据和深度数据。使用二进制图来标识这些像素。纹理数据和深度数据以标准方式被编码，例如通过HEVC编码器或任何其他2D或3D编码器。
在步骤E424，指示符指示子图像是根据第二方法被编码的，确定分配深度值d*。
例如，分配深度值d*是从至少在子图像的有用区域上确定的最小深度值dmin减去预定值delta来确定的。最小深度值dmin与子图像的属于有用区域的像素的最小深度值对应，即，与子图像的属于有用区域的像素的深度对应，最远的像素：dmin＝min(di)，其中，di对应于有用区域的像素的深度值，并且min对应于返回最小值的函数。
将该最小值dmin减去值delta以考虑在对深度值进行编码时引入的量化误差。例如，分配值d*通过d*＝dmin-delta获得。
不同的delta值是可能的，例如，delta等于10。
根据本发明的特定实施例，从若干子图像的有用区域确定最小深度值。例如，当子图像被分组在大图像中时，扫描所有子图像的有用区域，以便确定大图像的所有子图像之间的最小深度值。本发明的这种特定实施例允许大图像的所有子图像的更一致的分配深度值。
在步骤E425，将分配深度值d*作为深度值分配给位于有用区域之外的像素。在表示子图像的深度数据的图8中示出了这样的步骤。有用区域(51)的像素包括当从中间视图提取有用区域时为这些像素估计的深度值。无用区(52)的像素包括分配深度值d*。
在步骤E426，还将纹理值分配给位于有用区之外的像素。
例如，通过镜像来填充无用区域。计算有用区域之外的像素的纹理值，以最佳地再现在有用区域中呈现的数据，如图7所示。在图7中，示出了子图像。有用区域(51)的数据与有用区域和无用区域之间的边界(53)对称地传播到无用区域(52)。
根据另一示例，位于有用区域之外(52)的像素的纹理值对应于有用区域(51)的像素的纹理值的平均值。在该示例中，无用区域的像素被填充有相同的值。
在步骤E427，考虑子图像的所有像素，对子图像的纹理数据和深度数据进行编码。换句话说，根据该第二编码方法，对有用区域的像素和无用区域的像素进行编码。纹理数据和深度数据被以标准方式编码，例如通过HEVC编码器或任何其他2D或3D编码器。
根据本发明的特定实施例，深度数据相对于分配深度值d*被差分编码。根据本发明的这个特定实施例，然后通过res(x，y)＝prof(x，y)-d*计算预测残差，其中prof(x，y)是子图像的像素(x，y)的深度值，并且res(x，y)是子图像的像素(x，y)的残差值。
因此，当对子图像的深度数据进行编码时，如上所述的残差被编码。
根据本发明的该特定实施例，为了使解码器从残差重建子图像的深度数据，解码器必须知道分配深度值d*。
因此，根据本发明的该特定实施例，在步骤E428，在数据流中对分配深度值d*进行编码。
根据本发明的该特定实施例的变型，深度数据的差分编码与深度数据的传统编码竞争。因此，根据该变型，在步骤E420，当测试根据第二方法的子图像编码时，还确定根据该第二种编码方法的深度数据是否由残差编码。模拟对深度数据的基于残差的编码和对深度数据的传统编码，以选择提供最佳速率/失真折衷的编码模式。
根据本发明的该实施例变型，然后需要在数据流中对指示选择深度数据的哪种编码模式的信息项进行编码。因此，在步骤E429，针对子图像在数据流中对深度数据编码指示符进行编码。这样的指示符指示深度数据是否由残差进行编码。
图9示出了根据本发明的特定实施例的用于对表示多视图视频的数据流进行解码的方法的步骤。例如，数据流是通过关于图4描述的编码方法生成的。
根据本发明，数据流至少包括与多视图视频的一个或多个基本视图的编码有关的编码的数据和表示包括纹理和深度数据的子图像或面片的编码的数据。例如，一旦解码，这些子图像就允许解码器合成场景的未被编码在数据流中的其他视图。下面描述与本发明的特定实施例有关的这种解码方案的步骤。
在步骤E90，从数据流中对基本视图和相关联的深度图进行解码。
根据本发明的特定实施例，从数据流解码的基本视图与在编码器处从一个或多个捕获的视图合成的视图对应。
然后对数据流中编码的子图像进行解码。子图像在这里被定义为表示在编码器处从中间视图提取的有用区域的子图像。该子图像可以与更大图像中的其他子图像分组。
在步骤E91，对为子图像指示子图像是根据上述的第一方法还是第二方法被编码的指示符进行解码。
当指示符指示子图像是根据第一方法被编码时，方法前进到步骤E92。当指示符指示子图像是根据第二方法被编码时，方法前进到步骤E94。
在步骤E92，针对子图像对二进制图进行解码。这种二进制图针对子图像的给定像素指示该像素是否属于有用区域。
在步骤E93，仅考虑位于子图像的有用区域中的像素，对子图像的纹理数据和深度数据进行解码和重建。使用二进制图来标识这些像素。
在重建结束时，子图像中的位于有用区域之外的像素包括为0的纹理值和深度值。
当指示符指示子图像是根据第二方法被编码时，在步骤E94，如下对子图像的纹理数据和深度数据进行解码。
在步骤E940，考虑子图像的所有像素，以标准方式对子图像的纹理数据和深度数据进行解码和重建。在重建结束时，子图像的所有像素包括纹理值和深度值。子图像中的位于有用区域之外的像素包括在编码期间确定的纹理值和深度值。
根据本发明的特定实施例，当指示符指示子图像是根据第二方法被编码时，解码器不区分子图像的有用区域和无用区域。
然而，子图像的无用区域的像素的解码的深度值允许合成算法在合成中间视图时不使用这些像素。实际上，根据本发明的特定实施例，这样的像素被分配了从子图像的区域的最小深度值减去允许将量化误差考虑在内的值而确定的深度值。以这种方式，这些像素被合成算法视为最远点。
根据本发明的另一特定实施例，在步骤E941，从数据流中对表示在编码时向位于子图像的有用区域之外的像素分配的分配深度值d*的信息项进行解码。
根据本发明的该特定实施例，因此可以为子图像构建二进制图，以便标识有用区域的像素和无用区域的像素，例如在这种图对于合成算法是必要的情况下。
作为该特定实施例的变型，子图像的深度数据相对于分配深度值d*被差分编码。
因此，根据该实施例变型，在步骤E943，通过将解码的分配深度值d*与子图像的在步骤E940中解码的深度残差值相加来重建子图像的深度数据。
根据另一变型，在步骤E942，从数据流中对用于子图像的深度数据编码指示符进行解码。这样的编码指示符指示深度数据是否被差分编码。
根据本发明的特定实施例，解码器以客户端-服务器模式操作，其中服务器提供观看者正在其中导航的多视图视频的数据。
根据本发明的该特定实施例，解码方法包括用于接收子图像的纹理数据和深度数据的预备步骤E901。例如，在解码器发出对与视体中的观看者的位置和观看方向对应的位置和观看方向的请求、或者对与观看者的位置和观看方向接近的位置和观看方向的请求之后，接收子图像的这种数据。
图10示出了根据本发明的另一特定实施例的解码方法的步骤。根据本发明的该特定实施例，将无限值分配给重建的子图像中不属于有用区域的像素的深度值，使得合成算法可以标识有用区域和无用区域。
为此目的，在步骤E100，确定重建的子图像的有用区域。当在步骤E91中解码的指示符指示子图像是根据第二方法被编码时，根据重建的深度数据和解码的分配深度值d*确定有用区域。当在步骤E91中解码的指示符指示子图像是根据第一方法被编码时，从在步骤E92中解码的二进制图确定有用区域。
在步骤E101，构建子图像的深度图，其中有用区域的像素取其解码的深度值，并且位于有用区域之外的像素被分配无限值。
在步骤E102中，将深度图发送到合成模块。
图11示出了根据本发明的另一特定实施例的解码方法的步骤。
当在步骤E91中解码的指示符指示子图像是根据第二方法被编码时，在步骤E110，根据重建的深度数据和解码的分配深度值d*确定有用区域的像素。
在步骤E111，针对子图像构建二进制图。这种二进制图针对子图像的给定像素指示该像素是否属于有用区域。这样的二进制图类似于如果子图像已经根据第一方法被编码则将已被解码的二进制图。
在步骤E112中，将二进制图发送到合成模块。
图12示出了根据本发明的任何一个特定实施例的适于实现编码方法的编码设备COD的简化结构。
根据本发明的特定实施例，编码方法的步骤由计算机程序指令实现。为此目的，编码设备COD具有计算机的标准架构，并且特别地包括存储器MEM、处理单元UT，该处理单元UT例如配备有处理器PROC，并且由存储在存储器MEM中的计算机程序PG驱动。计算机程序PG包括用于当程序由处理器PROC执行时实现如上所述的编码方法的步骤的指令。
在初始化时，计算机程序PG的代码指令例如在由处理器PROC执行之前被加载到RAM存储器(未示出)中。特别地，处理单元UT的处理器PROC根据计算机程序PG的指令实现上述编码方法的步骤。
图13示出了根据本发明的任何一个特定实施例的适于实现解码方法的解码设备DEC的简化结构。
根据本发明的特定实施例，解码设备DEC具有计算机的标准架构，并且特别地包括存储器MEM0、处理单元UT0，该处理单元UT0配备有例如处理器PROC0，并且由存储在存储器MEM0中的计算机程序PG0驱动。计算机程序PG0包括用于在程序由处理器PROC0执行时实现如上所述的解码方法的步骤的指令。
在初始化时，计算机程序PG0的代码指令例如在由处理器PROC0执行之前被加载到RAM存储器(未示出)中。特别地，处理单元UT0的处理器PROC0根据计算机程序PG0的指令实现上述解码方法的步骤。
图14示出了根据本发明的特定实施例的数据流STR示例。例如，通过关于图4描述的编码方法生成数据流STR。
参考图14，数据流STR表示多视图视频，并且特别地包括表示一个或多个基本视图的编码的数据Vb和表示至少一个子图像的编码的数据，所述至少一个子图像包括纹理数据(text0，text1)和与所述纹理数据相关联的深度数据(dpth0，dpth1)。
根据本发明的特定实施例，在数据流中编码的基本视图与在编码时从场景的至少一个源视图合成的视图对应。
图14中所示的数据流STR是说明性示例。它在这里被呈现为包括两个子图像(Im0，Im1)。包括在数据流中的子图像包括有用区域，该有用区域旨在用于生成由多视图视频捕获的场景的至少一个视图的至少一个图像。
根据本发明的各种特定实施例，数据流STR包括子图像的以下数据：
-指示子图像是根据第一方法被编码还是根据第二方法被编码的指示符(Id_metho，Id_meth1)，如上所述，
-当指示符指示子图像是根据第一方法被编码时(在这里描述的示例中为Id_meth1)，表示二进制图(validl)的编码的数据针对子图像的给定像素指示所述像素是否属于有用区域。
根据本发明的特定实施例，当指示符指示子图像是根据第二方法被编码时(在这里描述的示例中为Id_meth0)，数据流STR包括表示分配深度值d*的信息项。
根据本发明的另一特定实施例，当指示符指示子图像是根据第二方法被编码时，数据流STR包括针对子图像的编码指示符(ld_res)，其指示是否通过获得由像素的深度值和分配深度值d*之间的差所确定的残差来对深度数据进行编码。
上述示例仅仅是说明性的而非限制性的。上述编码的数据可以被包括在相同的数据流或若干数据流或相同的数据流的子流中。此外，上述数据中的一些和未描述的其他数据可以被包括在与一个或多个数据流相关联的元数据中。
例如，纹理数据和深度数据可以被编码在单独的流中。
根据另一示例，基本视图的编码的数据可以被包括在视频数据流中，并且与子图像有关的编码的数据可以被包括在与视频数据流相关联的元数据中。

Claims (19)

1.一种用于对表示多视图视频的至少一个数据流进行解码的方法，所述至少一个数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的至少一个区域和被称为无用区域的一个区域，所述有用区域与从所述多视图视频中的未在所述数据流中被编码的视图中提取的区域对应，所述有用区域旨在用于生成至少一个视图的至少一个图像，所述解码方法包括：
-从所述至少一个数据流对指示所述子图像是根据第一方法被编码还是根据第二方法被编码的指示符进行解码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行解码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，并且如果所述像素属于所述有用区域，对所述像素的纹理数据和与所述纹理数据相关联的深度数据进行解码，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，对所述子图像的纹理数据和深度数据进行解码，所述子图像中的位于所述有用区域之外的像素的深度数据包括分配深度值。
2.根据权利要求1所述的用于对表示多视图视频的至少一个数据流进行解码的方法，还包括，当所述指示符指示所述子图像是根据所述第二方法被编码时，对表示所述分配深度值的信息项进行解码，所述分配深度值与位于所述有用区域之外的像素的解码的深度值对应。
3.根据权利要求2所述的用于对表示多视图视频的至少一个数据流进行解码的方法，其中，在所述数据流中编码的所述子图像的深度数据包括：对于所述子图像的至少一个像素，由所述像素的深度值与所述分配深度值之间的差所确定的残差。
4.根据权利要求3所述的用于对表示多视图视频的至少一个数据流进行解码的方法，包括在所述数据流中对针对所述至少一个子图像的指示符进行解码，所述指示符指示所述深度数据是否通过由所述像素的深度值与所述分配深度值之间的差所确定的残差被编码。
5.根据权利要求2至4中任一项所述的用于对表示多视图视频的至少一个数据流进行解码的方法，还包括：
-当所述指示符指示所述子图像是根据所述第二方法被编码时，根据重建的深度数据和表示所解码的分配深度值的信息项确定所述有用区域，或者当所述指示符指示所述子图像是根据所述第一方法被编码时，根据解码的二进制图确定所述有用区域，
-构建子图像的深度图，其中无限值被分配给位于有用区域之外的像素，
-将所述深度图发送到合成模块。
6.根据权利要求2至4中任一项所述的用于对表示多视图视频的至少一个数据流进行解码的方法，还包括当所述指示符指示所述子图像是根据所述第二方法被编码时：
-根据重建的深度数据和表示所解码的分配深度值的信息项确定有用区域，
-重建二进制图，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-将所述二进制图发送到合成模块。
7.根据权利要求1至4中任一项所述的用于对表示多视图视频的至少一个数据流进行解码的方法，其中，所述至少一个数据流包括所述视频的至少一个视图的编码的数据，所述至少一个视图与在从至少一个源视图编码时确定的视图对应。
8.根据权利要求1至4中任一项所述的用于对表示多视图视频的至少一个数据流进行解码的方法，还包括：接收所述子图像的纹理数据和深度数据，所述子图像源自视体中观看者的位置和观看方向的合成中间视图。
9.一种用于对表示多视图视频的至少一个数据流进行解码的设备，所述至少一个数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域和被称为无用区域的区域，所述有用区域与从所述多视图视频中的未在所述数据流中被编码的视图中提取的区域对应，所述有用区域旨在用于生成至少一个视图的至少一个图像，
所述设备包括存储器和处理单元，所述处理单元配备有处理器，并由存储在存储器中的计算机程序驱动，以：
-从所述至少一个数据流对指示所述子图像是根据第一方法被编码还是根据第二方法被编码的指示符进行解码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行解码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，并且如果所述像素属于所述有用区域，对所述像素的纹理数据和与所述纹理数据相关联的深度数据进行解码，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，对所述子图像的纹理数据和深度数据进行解码，所述子图像中的位于所述有用区域之外的像素的深度数据包括分配深度值。
10.一种用于对表示多视图视频的数据流进行编码的方法，包括：对至少一个子图像进行编码，所述子图像包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域和被称为无用区域的区域，所述有用区域与从所述多视图视频中的未在所述数据流中被编码的视图中提取的区域对应，所述有用区域旨在用于生成至少一个视图的至少一个图像，对所述至少一个子图像进行编码包括：
-在第一方法和第二方法之间确定用于对所述子图像进行编码的编码方法，
-对指示所述子图像是根据所述第一方法被编码还是根据所述第二方法被编码的指示符进行编码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行编码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，并且如果所述像素属于所述有用区域，对所述像素的纹理数据和与所述纹理数据相关联的深度数据进行编码，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，确定分配深度值，并针对所述子图像的位于所述有用区域之外的像素将所述分配深度值分配给所述子图像的深度数据，以及对所述子图像的纹理数据和深度数据进行编码。
11.根据权利要求10所述的用于对表示多视图视频的数据流进行编码的方法，其中，所述分配深度值是从在所述子图像的至少所述有用区域上确定的最小深度值减去预定值来确定的。
12.根据权利要求10或11所述的用于对表示多视图视频的数据流进行编码的方法，还包括：当所述指示符指示所述子图像是根据所述第二方法被编码时，对表示所述分配深度值的信息项进行编码，所述分配深度值与位于所述有用区域之外的像素的编码的深度值对应。
13.根据权利要求12所述的用于对表示多视图视频的数据流进行编码的方法，其中，在所述数据流中编码的所述子图像的深度数据包括：对于所述子图像的至少一个像素，由所述像素的深度值与所述分配深度值之间的差所确定的残差。
14.根据权利要求13所述的用于对表示多视图视频的数据流进行编码的方法，包括：在所述数据流中对针对所述至少一个子图像的指示符进行编码，所述指示符指示所述深度数据是否通过由所述像素的深度值与所述分配深度值之间的差所确定的残差被编码。
15.根据权利要求11所述的用于对表示多视图视频的数据流进行编码的方法，其中，在所述数据流中对分别属于至少两个子图像的至少两个有用区域进行编码，所述至少两个有用区域旨在用于生成所述至少一个视图的所述至少一个图像，根据所述至少两个有用区域来确定所述最小深度值。
16.根据权利要求10所述的用于对表示多视图视频的数据流进行编码的方法，其中，至少一个数据流包括所述视频的至少一个视图的编码的数据，所述至少一个视图与在从至少一个源视图编码时确定的视图对应。
17.一种用于对表示多视图视频的数据流进行编码的设备，被配置为对至少一个子图像进行编码，所述子图像包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域和被称为无用区域的区域，所述有用区域与从所述多视图视频中的未在所述数据流中被编码的视图中提取的区域对应，所述有用区域旨在用于生成至少一个视图的至少一个图像，
所述设备包括存储器和处理单元，所述处理单元配备有处理器，并由存储在存储器中的计算机程序驱动，以：
-在第一方法和第二方法之间确定用于对所述子图像进行编码的编码方法，
-对指示所述子图像是根据所述第一方法被编码还是根据所述第二方法被编码的指示符进行编码，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，针对所述子图像对二进制图进行编码，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，并且如果所述像素属于所述有用区域，对所述像素的纹理数据和与所述纹理数据相关联的深度数据进行编码，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，确定分配深度值，并针对所述子图像的位于所述有用区域之外的像素将所述分配深度值分配给所述子图像的深度数据，以及对所述子图像的纹理数据和深度数据进行编码。
18.一种生成表示多视图视频的数据流的方法，所述方法包括根据权利要求10至16中任一项所述的用于对表示多视图视频的数据流进行编码的方法的步骤，
所述数据流至少包括表示至少一个子图像的编码的数据，所述编码的数据包括纹理数据和与所述纹理数据相关联的深度数据，所述子图像包括被称为有用区域的区域和被称为无用区域的区域，所述有用区域与从所述多视图视频中的未在所述数据流中被编码的视图中提取的区域对应，所述有用区域旨在用于生成至少一个视图的至少一个图像，所述数据流包括：
-指示所述子图像是根据第一方法被编码还是根据第二方法被编码的指示符，
-当所述指示符指示所述子图像是根据所述第一方法被编码时，编码的数据表示二进制图，所述二进制图针对所述子图像的至少一个像素指示所述像素是否属于所述有用区域，
-当所述指示符指示所述子图像是根据所述第二方法被编码时，所述子图像中的位于所述有用区域之外的像素的深度数据包括分配深度值。
19.一种计算机可读记录介质，所述计算机可读记录介质包括计算机程序，所述计算机程序包括当所述程序由处理器执行时用于实现根据权利要求1至8中任一项所述的用于对表示多视图视频的数据流进行解码的方法的指令和/或用于实现根据权利要求10至16中任一项所述的用于对表示多视图视频的数据流进行编码的方法的指令。
CN202080033348.4A 2019-03-15 2020-02-27 用于编码和解码多视图视频序列的方法和设备 Active CN113785585B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1902659A FR3093884A1 (fr) 2019-03-15 2019-03-15 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
FR1902659 2019-03-15
PCT/FR2020/050394 WO2020188172A1 (fr) 2019-03-15 2020-02-27 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Publications (2)

Publication Number Publication Date
CN113785585A CN113785585A (zh) 2021-12-10
CN113785585B true CN113785585B (zh) 2024-04-09

Family

ID=67262654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033348.4A Active CN113785585B (zh) 2019-03-15 2020-02-27 用于编码和解码多视图视频序列的方法和设备

Country Status (8)

Country Link
US (2) US11659203B2 (zh)
EP (1) EP3939304A1 (zh)
JP (1) JP2022525210A (zh)
KR (1) KR20210135322A (zh)
CN (1) CN113785585B (zh)
BR (1) BR112021017084A2 (zh)
FR (1) FR3093884A1 (zh)
WO (1) WO2020188172A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727105B (zh) * 2021-09-08 2022-04-26 北京医百科技有限公司 一种深度图压缩方法、装置、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
JP2013106337A (ja) * 2011-11-17 2013-05-30 Sharp Corp 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
KR101465663B1 (ko) * 2013-12-19 2014-11-28 성균관대학교산학협력단 압축 센싱을 사용하는 깊이 맵 부복호화 방법 및 장치
KR20150026924A (ko) * 2013-09-02 2015-03-11 (주)휴맥스 홀딩스 3차원 비디오에서의 깊이 쿼드트리 예측 방법 및 장치
WO2015042751A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
CN105009576A (zh) * 2013-03-13 2015-10-28 华为技术有限公司 深度查询表的编码方法
CN105049866A (zh) * 2015-07-10 2015-11-11 郑州轻工业学院 基于绘制失真模型的多视点加深度编码的码率分配方法
CN105165008A (zh) * 2013-05-10 2015-12-16 皇家飞利浦有限公司 对与多视图再现设备一起使用的视频数据信号进行编码的方法
CN105723709A (zh) * 2013-10-25 2016-06-29 奥兰治 用于编码和解码图像的方法、用于编码和解码图像的装置及对应计算机程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545009B1 (ko) * 2007-12-20 2015-08-18 코닌클리케 필립스 엔.브이. 스트레오스코픽 렌더링을 위한 이미지 인코딩 방법
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
US20120262545A1 (en) 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
EP2777256B1 (en) * 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
US9565450B2 (en) * 2012-03-07 2017-02-07 Lg Electronics Inc. Method and device for processing video signal
CN104754359B (zh) * 2015-01-26 2017-07-21 清华大学深圳研究生院 一种二维自由视点视频的深度图编码失真预测方法
EP3662669A1 (en) * 2017-12-08 2020-06-10 Huawei Technologies Co., Ltd. Frequency adjustment for texture synthesis in video coding
US11348284B2 (en) * 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
JP2013106337A (ja) * 2011-11-17 2013-05-30 Sharp Corp 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
CN105009576A (zh) * 2013-03-13 2015-10-28 华为技术有限公司 深度查询表的编码方法
CN105165008A (zh) * 2013-05-10 2015-12-16 皇家飞利浦有限公司 对与多视图再现设备一起使用的视频数据信号进行编码的方法
KR20150026924A (ko) * 2013-09-02 2015-03-11 (주)휴맥스 홀딩스 3차원 비디오에서의 깊이 쿼드트리 예측 방법 및 장치
WO2015042751A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
CN105723709A (zh) * 2013-10-25 2016-06-29 奥兰治 用于编码和解码图像的方法、用于编码和解码图像的装置及对应计算机程序
KR101465663B1 (ko) * 2013-12-19 2014-11-28 성균관대학교산학협력단 압축 센싱을 사용하는 깊이 맵 부복호화 방법 및 장치
CN105049866A (zh) * 2015-07-10 2015-11-11 郑州轻工业学院 基于绘制失真模型的多视点加深度编码的码率分配方法

Also Published As

Publication number Publication date
CN113785585A (zh) 2021-12-10
US11659203B2 (en) 2023-05-23
US20230308682A1 (en) 2023-09-28
KR20210135322A (ko) 2021-11-12
BR112021017084A2 (pt) 2021-11-16
FR3093884A1 (fr) 2020-09-18
JP2022525210A (ja) 2022-05-11
WO2020188172A1 (fr) 2020-09-24
EP3939304A1 (fr) 2022-01-19
US20220167014A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
EP2991347B1 (en) Hybrid video coding supporting intermediate view synthesis
US11856219B2 (en) Multi-view coding with effective handling of renderable portions
US20230068178A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR20100095420A (ko) 깊이-맵을 프로세싱하는 방법 및 디바이스
US20190208221A1 (en) Multi-view coding with exploitation of renderable portions
CN112075081A (zh) 多视图视频解码方法和设备以及图像处理方法和设备
US20150237323A1 (en) 3d video representation using information embedding
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
US20230308682A1 (en) Methods and devices for coding and decoding a multi-view video sequence
CN112970246B (zh) 视图合成
Muller et al. Compressing time-varying visual content
US20230164352A1 (en) Methods and devices for coding and decoding a multi-view video sequence
CN112806015B (zh) 全向视频的编码和解码
US20230065861A1 (en) Method and device for processing multi-view video data
EP4199516A1 (en) Reduction of redundant data in immersive video coding
KR20230078669A (ko) 다시점 비디오의 인코딩 및 디코딩 방법
CN117043820A (zh) 沉浸式视频上下文中的深度估计方法
CN118317113A (zh) 全向视频的编码和解码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant