CN108293134A

CN108293134A - 多视图编码和解码

Info

Publication number: CN108293134A
Application number: CN201680067867.6A
Authority: CN
Inventors: 乔尔·容格; 安托万·德瑞科特
Original assignee: Ao Lanzhi
Current assignee: Ao Lanzhi
Priority date: 2015-10-08
Filing date: 2016-09-29
Publication date: 2018-07-17
Anticipated expiration: 2036-09-29
Also published as: US10893295B2; CN108293134B; ES2926702T3; FR3042368A1; US20180302648A1; EP3360328A1; WO2017060587A1; EP3360328B1

Abstract

本发明涉及对属于之前已经被编码的多视图图像的当前视图的解码，在所述解码的过程中实现以下步骤：‑在属于所述多视图图像或另一个多视图图像的视图集合中，确定(D24a))对于所述当前视图的解码所必需的视图路径，所述路径包括至少一个尚未被解码的视图，‑解码(D25a))尚未被解码的所述至少一个视图，‑基于表示所述当前视图与所述多视图图像的或另一个多视图图像的另一个视图之间的至少一个差异的经编码数据集合以及所述至少一个已解码视图来解码(D26a))所述当前视图。

Description

多视图编码和解码

技术领域

本发明总体上涉及3D图像处理领域，并且更具体地，涉及对多视图图像以及多视图图像序列的编码和解码。

本发明可以具体但不排他地应用于在AVC和HEVC当前视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中所实现的视频编码，并且应用于相应的视频解码。

背景技术

多视图图像通过在当前时刻t复用视图集合N来常规地获得，每一个视图表示来自特定角观看位置的同一个3D场景。当N较小(通常小于10)时，一种说法为多视图图像。当N较大时，一种说法为超级多视图图像。一般而言，为了简化说明，多视图图像将被认为包括N个视图，其中N>1。

每一个在各种时刻被捕获的若干多视图图像形成多视图图像序列。

这种多视图图像序列借助于同时利用以下的自适应编码(比如例如MVC(代表“多视图视频编码”(Multiview Video Coding))或MV-HEVC(代表“多视图高效视频编码”(Multiview High Efficiency Video Coding))编码)而被编码：

-独立于其他视图存在于当前视图的内部的空间冗余，

-有待编码的当前视图与当前多视图图像的另一个视图之间的视图间冗余，

-有待编码的当前视图与属于位于与所述多视图图像的时刻不同的时刻的另一个多视图图像并且表示来自与当前视图相同的角观看位置的3D场景的视图之间的时间冗余，

-有待编码的当前视图与属于位于与所述多视图图像的时刻不同的时刻的另一个多视图图像并且表示来自与当前图像的角观看位置不同的角观看位置的3D场景的视图之间的空间-时间冗余。

此后，实现多视图图像的编码序列的相应解码，以便能够在终端(比如例如平板、便携式电话、智能电话、个人计算机、电视接收器等)的屏幕上播放此序列。因此，理论上用户可能在序列的同一个多视图图像中或者在属于在当前时刻t捕获的多视图图像的第一视图与属于在当前时刻t之前或之后的时刻捕获的多视图图像的第二视图之间从一个视图自由导航到另一个视图。第二视图可以表示来自与在第一视图中相同或者不同的角观看位置的3D场景。

尽管上文提到的编码方法的效率被证明，但是相应的解码方法是非常有限的。实际上，当用户请求显示序列中的在时刻t捕获的多视图图像的视图时，解码器被迫预先系统地解码在时刻t的多视图图像的视图集合还有序列中的在时刻t之前的其他多视图图像的视图集合。因此，解码器的计算的复杂性证明是非常高的。在用户已经请求显示视图的时刻与所请求的视图被真正显示的时刻之间的延时同样如此。考虑到这些约束，这种解码方法很明显不适用于在多视图图像序列的视图之间的自由导航，特别是在视图的数量N大于10的情况下。

为了克服这些缺点，特别在文档“应用预测技术来减少用于移动自由视点视频应用的上行传输和能量要求(Applying Prediction Techniques to reduce uplinktransmission and energy requirements for mobile free viewpoint videoapplications)”(De Raffaele、Debono，ICAM 2010)中提出了使得包含解码器的终端与服务器进行对话。终端将用户已经在当前时刻之前的时刻在序列内导航的视图传递至服务器。因此，通过相对于之前已经被传递至服务器的视图预测当前视图，服务器对在当前时刻所请求的视图进行编码。文档“具有低解码复杂性的交互多视图视频系统(Interactivemultiview video system with low decoding complexity)”(ICIP 2011，Maugey,T.、Frossard,P.)也利用了包含解码器的终端与服务器之间的这种对话。为此目的，终端以规律的时间间隔向服务器传递用户已经在当前时刻之前的时刻在序列内导航的视图。仅编码了在之后的时间间隔易于被用户选择的多视图图像的视图。

包含解码器的终端与服务器之间的对话的这类技术实现起来相对不便和昂贵。此外，这类技术需要不可忽视的网络带宽消耗，因此使得它们很难实现，特别是当用户在多视图图像序列中多次导航时。

发明主题和发明内容

本发明的目的之一是补救上述现有技术的缺点。

为此目的，本发明的主题涉及一种用于解码属于多视图图像的至少一个当前视图的方法，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的至少一个其他视图之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测。

根据本发明的解码方法值得注意的地方在于，其实现以下功能：

-在属于所述多视图图像或另一个多视图图像的视图集合中，确定对于所述至少一个当前视图的解码所必需的至少一个视图路径，所述至少一个路径包括至少一个尚未被解码的视图，

-解码位于所述至少一个已确定的路径上的尚未被解码的所述至少一个视图，

-基于所述经编码数据集合以及位于所述至少一个路径上的所述至少一个已解码视图来解码所述至少一个当前视图。

这种安排允许当解码当前视图时解码器仅解码当前多视图图像或另一个多视图图像的受限视图集合，也就是说，在多视图图像序列中，位于除了当前多视图图像的时刻之外的时刻的受限视图集合。

此外，根据本发明的解码使得可以在此受限视图集合中使用在解码器解码当前视图的时刻不一定已经被解码并且可用的视图。因此，在如果当前视图必须借助于尚未被重建的视图而被解码，则解码器将首先必须根据已确定的路径顺序来重建这些视图的意义上，可以以递归的方式实现当前视图的解码。

最后，这种解码相对于在现有技术中提出的解码尤其有效，因为这种解码允许：

-计算复杂性的降低，考虑到有待解码的受限的视图数量，

-请求视图变化的时刻与所请求的视图被解码并且然后被显示的时刻之间的延时的降低，

-在解码器中已解码视图的存储成本的降低。

下文提到的实施例的各种模式或特性可以被独立地或者彼此组合地添加到在上文定义的解码方法的特性中。

根据具体实施例，通过在数据信号中读取表示至少一个路径的信息来实现确定至少一个路径。

这种安排允许解码器在解码当前视图时从与当前视图相关联并且在数据信号中读取的信息中仅直接识别对于当前视图的解码所必需的一个或多个视图。这导致解码路径的确定比在现有技术中更简单和更快速，在现有技术中解码器被限制为在数据信号中读取与多视图图像的所有视图相关联的信息，以确定对于当前视图的解码所必需的一个或多个视图。这种解码的简单性与快速性使得可以进一步优化请求视图变化的时刻与所请求的视图被解码并且然后被显示的时刻之间的延时的降低。

根据另一具体实施例，当数据信号包括以下时：

-表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的第一视图之间的差异的第一经编码数据，

-表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的第二视图之间的差异的至少第二经编码数据，

所述解码方法实现选择所述第一经编码数据或所述至少第二经编码数据，

所述至少一个当前视图的解码基于在所述至少一个路径上的所述至少一个已解码视图以及基于所选择的所述第一经编码数据或所述至少第二经编码数据而实现。

为此目的，第一和第二预测残差各自包含经编码数据，使得可以获得对于两个残差中每一个唯一且相同的已解码当前视图。每个残差必须符合使得可以解码同一个视图的约束。这意味着，如果当前视图已经相对于第一视图和第二视图而被预测，从而分别获得第一和第二预测残差，则当前视图将能够被重建：

-如果在解码时选择第一残差，则通过向第一残差添加已经被解码或尚未被解码的第一视图，

-或者如果在解码时选择第二残差，则通过向第二残差添加已经被解码或尚未被解码的第二视图。然后，解码器可以有利地使用这些残差中的一个来解码当前图像，这种残差选择取决于用户从一个视图到另一个视图导航的路径。

根据另一具体实施例，根据用于最小化位于所述至少一个路径上的视图的数量的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。

这种安排使得可以在当前视图解码期间优化解码器复杂性的降低并且增加其解码速度。此外，这种安排允许降低在解码器中存储已解码视图的成本。

根据另一具体实施例，根据用于最小化不参考其他视图已经被解码的至少一个视图与所述至少一个当前视图之间的距离的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。

当当前视图必须相对于位于不同时间时刻的视图而被解码时，这种安排使得可以为了解码当前视图而搜索已经独立于其他视图被解码的至少一个视图，这样做是为了最大化当前视图的重建质量。

根据另一具体实施例，所述至少一个已确定的路径包含在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图所取决于的视图。

这种安排允许解码器确定对于当前视图的解码所必需的视图的路径，所述视图与以下方面尽可能相关：

-直到当前时刻，由用户执行的从一个视图到另一个视图的导航路径的几何形状，

-以及在当前时刻之后或之前的至少一个时刻，用户朝向这个或那个下一个视图的可能位移。

因此，通过考虑用户朝向一个视图或另一个视图的未来可能的位移，以确定的方式获得最优路径。

根据另一具体实施例，通过借助于概率计算估计在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图来实现所述至少一个路径的确定。

-以及用户朝向位于当前时刻之后或之前的至少一个时刻的多视图图像的下一个视图的可能位移。

因此，通过考虑用户朝向这个或那个视图的未来可能的位移，获得最优路径的机会增加。

根据另一具体实施例，如果对于所述至少一个当前视图的解码所必需的所述至少一个视图路径由于至少一个解码约束而不能使得可以解码所述至少一个当前视图，则所述至少一个当前视图由在当前时刻的所述多视图图像的能够被解码的另一个视图代替，所述另一个视图是空间上最接近所述至少一个当前视图的视图。

在对于当前视图的解码所必需的视图路径的确定不适合于某些解码约束的情况下，这种安排允许解码器选择除了有待解码的视图之外的当前视图。这些约束之一是例如硬件类型的约束。解码器可以具体地在要用于解码当前视图的已解码视图的数量上受限制。因此，在所确定的路径使用大于此数量的数量的已解码视图的情况下，解码器将不能够解码当前视图。

根据另一具体实施例，已解码并且可用的视图被存储在存储器中，所述存储器根据将所述视图与有待解码的所述至少一个当前视图分开的时间距离或者当在当前时刻的多视图图像之前的多视图图像的所有视图被解码时而被更新。

在具体地适用于多视图图像的视频编码和解码领域中，在解码器中，这种存储器被称为“已解码图像缓冲存储器”(或“已解码图片缓冲器”)并且必然包含有限数量的多视图图像。通过确定已解码并且可用的视图的路径顺序，本安排允许解码器删除已解码视图以及(如果相关的话)其所属的多视图图像(随着以及当已解码视图沿着路径被使用时)。因此，对解码器的缓冲存储器的管理由此得到显著改善。

本发明还涉及一种用于解码属于多视图图像的至少一个当前视图的设备，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的至少一个其他视图之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测。

这种解码设备值得注意的地方在于，其包括处理电路，所述处理电路被设计为实现以下功能：

这种解码设备具体能够实现上述解码方法。

本发明还涉及一种用于编码至少一个多视图图像的方法，在所述方法中实现所述多视图图像的至少一个当前视图的编码，所述至少一个当前视图表示场景的给定视角。

这种编码方法值得注意的地方在于，其实现：

-所述至少一个当前视图相对于所述多视图图像或另一个多视图图像的第一视图的第一预测，从而传递第一预测数据集合，

-所述至少一个当前视图相对于所述多视图图像或另一个多视图图像的第二视图的至少一个第二预测，从而传递至少一个第二预测数据集合，

-所述第一预测数据集合和所述至少第二预测数据集合的编码，所述第一经编码数据集合和所述至少第二经编码数据集合旨在在数据信号中单独地传输。

这种安排允许编码对于同一个当前视图计算几个不同的预测残差，以便将其传递到解码器。因此，解码器将有可能使用这些残差中的一个来解码当前图像，这种残差选择取决于用户从一个视图到另一个视图导航的路径。

本发明还涉及一种用于编码至少一个多视图图像的设备，所述设备包括处理电路，所述处理电路被设计为实现所述多视图图像的至少一个当前视图的编码，所述至少一个当前视图表示场景的给定视角。

这种编码设备值得注意的地方在于，所述处理电路被进一步设计为实现：

本发明进一步涉及一种计算机程序，所述计算机程序包括指令，当所述计算机程序在计算机上执行时，所述指令用于实现根据本发明的编码和解码方法之一。

此程序可以使用任何编程语言并且可以是源代码、目标代码或者是介于源代码与目标代码之间的代码的形式，比如是部分编译形式，或是任何其他期望的形式。

本发明还设想了一种可由计算机读取的记录介质，在所述记录介质上记录有计算机程序，此程序包括适用于实现比如上文所述的根据本发明的编码或解码方法之一的指令。

本发明还设想了一种可由计算机读取的记录介质，在该记录介质上记录有计算机程序，此程序包括适用于实现比如上文所述的根据本发明的编码或解码方法的指令。

所述记录介质可以是能够存储程序的任何实体或设备。例如，所述介质可以包括存储装置，比如ROM(例如CD ROM或微电子电路ROM)或者磁记录装置(例如USB密匙或硬盘)。

另外，所述记录介质可以是可经由电缆或光缆、通过无线电或通过其他手段输送的可传输介质(比如电信号或光信号)。根据本发明的程序可以具体地从互联网类型的网络进行下载。

替代性地，所述记录介质可以是所述程序所并入的集成电路，所述电路被适配为用于执行上述编码方法或解码方法或用于上述编码方法或解码方法的执行。

附图说明

其他特性和优点将在阅读参照附图所描述的若干优选实施例后变得明显，在附图中：

-图1A表示根据本发明的第一实施例的编码方法的步骤，

-图1B表示根据本发明的第二实施例的编码方法的步骤，

-图2A表示实现图1A的编码方法的编码设备，

-图2B表示实现图1B的编码方法的编码设备，

-图3A表示示例性多视图图像，

-图3B表示多视图图像的示例性序列，

-图4A表示在完成图1A的编码方法时获得的数据信号的一部分，

-图4B表示图4A的信号部分的变体，

-图4C表示在完成图1B的编码方法时获得的数据信号的一部分，

-图4D表示图4C的信号部分的变体，

-图5A表示根据图1A的编码方法与有待编码的至少一个当前视图相关联的示例性编码树，

-图5B表示根据图1B的编码方法与有待编码的至少一个当前视图相关联的示例性编码树，

-图6A表示根据本发明的第一实施例的解码方法的步骤，

-图6B表示根据本发明的第二实施例的解码方法的步骤，

-图7A表示实现图6A的解码方法的解码设备，

-图7B表示实现图6B的解码方法的解码设备，

-图8A表示与有待解码的至少一个当前视图相关联的示例性解码路径，所述至少一个当前视图已经根据图5A的编码树被编码，

-图8B表示与有待解码的至少一个当前视图相关联的示例性解码路径，所述至少一个当前视图已经根据图5B的替代编码树中的一个被编码，

-图8C表示图8B所表示的解码路径的变体，

-图8D表示与有待解码的至少一个当前视图相关联的示例性解码路径，所述路径包含最少数量的视图，所述当前视图已经根据图5B的替代编码树中的一个被编码，

-图8E表示与有待解码的至少一个当前视图相关联的示例性解码路径，其考虑在当前时刻之后或之前的至少一个时刻易于被解码的视图的解码。

具体实施方式

本发明主要提出一种用于解码当前多视图图像的至少一个当前视图的技术，所述当前多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述解码技术提出仅解码对于所述至少一个当前视图的解码实际上所必需的一个或多个视图。

根据本发明，从对于至少一个当前视图的解码所必需的视图中，其中的至少一个视图是尚未被解码并且因此在对所述至少一个当前视图进行解码的时刻不可用的视图。这种尚未被解码的视图可以属于当前多视图图像，并且因此表示来自与至少一个当前视图的角观看位置不同的角观看位置的场景。这种尚未被解码的视图也可以属于与当前多视图图像不同的多视图图像，也就是说，在多视图图像序列中，位于除了当前多视图图像的时刻之外的时刻的多视图图像。在这种情况下，对于当前图像的解码所必需的视图可以是表示来自与至少一个当前视图相同的角观看位置或者来自与至少一个当前视图的角观看位置不同的角观看位置的视图。

第一实施例的详细说明

根据第一实施例，根据本发明的解码技术依靠比如根据当前或即将出现的视频编码标准中的任何一个在编码器中实现的用于编码多视图图像的常规方法。

编码

以包括比如图1A中所表示的步骤C1a)至C3a)的算法的形式来表示根据第一实施例的编码方法。

根据本发明的第一实施例，在图2A中所表示的编码设备或编码器CO1中实现所述编码方法。

如图2A所示，这种编码器设备包括：

-用于接收有待编码的当前多视图图像的输入ENT_C1，

-用于实现根据第一实施例的编码方法的处理电路CT_C1，所述处理电路CT_C1包含：

●包括缓冲存储器MT_C1的存储器MEM_C1，

●由计算机程序PG_C1驱动的处理器PROC_C1，

-用于传递已编码流的输出端SOR_C1，所述已编码流包含在完成对当前多视图图像的编码时获得的数据。

在初始化时，计算机程序PG_C1的代码指令例如在被处理电路CT_C1执行之前被加载至RAM存储器MR_C1中。

图1A中所表示的编码方法适用于作为静止图像或者形成有待编码的多视图图像序列IMV₁、……、IMV_j、……、IMV_K(1≤j≤K)的一部分的任何当前多视图图像IMV_j。

如图3A中所表示，在当前时刻t_j的当前多视图图像IMV_j由N个各个视图V_1,j、V_2,j、……、V_u,j、……、V_N,j组成，每一个视图表示根据相应的角观看位置的同一个场景，使得N>1且1≤u≤N。

如图3B中所表示，多视图图像序列包括多个K个多视图图像IMV₁、IMV₂、……、IMV_j、……、IMV_K，使得1≤j≤K，所述多视图图像一个接一个地分别在时刻t1、t2、……、tj、……、tK。

在时刻t1，多视图图像IMV¹由N个各个视图V_1,1、V_2,1、……、V_u,1、……、V_N,1组成，每一个视图表示根据相应的角观看位置的同一个场景。

在时刻t2，多视图图像IMV₂由N个各个视图V_1,2、V_2,2、……、V_u,2、……、V_N,2组成，每一个视图表示根据相应的角观看位置的同一个场景。

……

在时刻tj，多视图图像IMV_j由N个各个视图V_1,j、V_2,j、……、V_u,j、……、V_N,j组成，每一个视图表示根据相应的角观看位置的同一个场景。

……

在时刻tK，多视图图像IMV_K由N个各个视图V_1,K、V_2,K、……、V_u,K、……、V_N,K组成，每一个视图表示根据相应的角观看位置的同一个场景。

在图1A中所表示的步骤C1a)中，对于当前多视图图像IMV_j，对所述至少一个视图V_u,j进行编码。

这种步骤C1a)由比如图2A中所表示的视图编码设备MCV_C1来实现，所述设备由处理器PROC_C1驱动。

用于编码视图的这种设备MCV_C1通常包括：

-预测设备PRED_C1，

-用于计算残差数据的设备CAL_C1，

-用于DCT(代表“离散余弦变换”)、DST(代表“离散正弦变换”)、DWT(代表“离散小波变换”)类型的变换的设备MT_C1，

-量化设备MQ_C1，

-例如CABAC(“上下文自适应二进制算术编码器”)型熵编码设备MCE_C1或本身已知的哈夫曼(Huffman)编码器。

以本身已知的方式，在步骤C1a)中，进行通过已知的视图内和/或视图间预测技术来预测所述至少一个视图V_u,j的子步骤C11a)。为此目的，根据从多个预定预测模式中选择的预测模式来预测所述至少一个视图V_u,j。例如，在MVC类型的编码的情况下，并且如之前已经解释的，可以如下来预测所述至少一个视图V_u,j：

-独立于多视图图像IMV_j的其他视图或K个多视图图像IMV₁、IMV₂、……、IMV_j、……、IMV_K的序列，

-相对于当前多视图图像IMV_j的另一个视图，

-相对于属于除了所述当前多视图图像之外的多视图图像并且表示来自与所述至少一个当前视图相同的角观看位置的场景的视图，

-相对于除了所述当前多视图图像IMV_j之外并且表示来自与至少一个当前视图的角观看位置不同的角观看位置的场景的多视图图像。

用于预测至少一个当前视图V_u,j的预测子视图是已经被编码并且然后解码的视图。这样的预测子视图被预先存储在比如图2A中所表示的编码器CO1的缓冲存储器MT_C1中。

对于待编码的至少一个当前视图V_u,j，在将所述预定预测模式置于竞争状态之后，例如通过将本领域技术人员熟知的失真比特率标准最小化而获得最优预测子视图Vp_u,j。最优预测子视图被认为是所考虑的至少一个当前视图V_u,j的近似。

这种子步骤C11a)由图2A中所表示的预测设备PRED_C1来实现。

编码步骤C1a)还包括子步骤C12a)，在所述子步骤中，常规地对至少一个当前视图V_u,j与完成子步骤C11a)时所选择的最优预测子视图Vp_u,j之间的差异进行计算。

然后，在完成子步骤C12a)时获得残差视图Vr_u,j。

这种子步骤C12a)由图2A中所表示的计算模块CAL_C1来实现。

编码步骤C1a)还包括子步骤C13a)，在所述子步骤中，常规地根据常规的直接变换操作(比如例如DCT、DST、或DWT类型的变换)来对残差视图Vr_u,j进行变换，以产生经变换视图，所述经变换视图由参考Vt_u,j表示。这种操作由图2A中所表示的设备MT_C1执行。

编码步骤C1a)还包括子步骤C14a)，在所述子步骤中，常规地根据常规的量化操作(比如例如标量或矢量量化)来对经变换视图Vt_u,j进行量化。然后，在完成此子步骤时获得量化系数集合Vq_u,j。这种子步骤C14a)借助于比如图2A中所表示的量化设备MQ_C1而被执行。

编码步骤C1a)还包括子步骤C15a)，在所述子步骤中，常规地根据预定顺序(比如具体“扫描光栅”顺序)来对系数集合Vq_u,j进行编码。然后，在完成子步骤C15a)时获得经编码数据集合Vcq_u,j。

在优选实施例中，所执行的编码是算术或哈夫曼类型的熵编码。然后，子步骤C15a)包括：

-读取预定符号集合中与视图V_u,j的量化数据相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

这种熵编码子步骤C15a)由图2A中所表示的熵编码模块MCE_C1来实现。

在完成编码视图V_u,j的步骤C1a)时，在图1A中所表示的步骤C2a)中，对数据信号F1进行制定，所述数据信号如图4A中所表示以本身已知的方式包括：

-包含在图1A的子步骤C11a)中所应用的预测类型(视图间或视图内)以及(如果相关的话)所选择的预测模式的字段CH₁，

-如果已经应用了视图间预测模式，则包含在完成子步骤C11a)时所选择的至少预测子视图Vp_u,j的索引和所使用的至少一个运动矢量MVp_u,j的字段CH₂，

-包含与视图V_u,j相关联的熵编码数据集合Vcq_u,j的字段CH₃。

此后，这种信号通过图2A的编码器CO1的输出SOR_C1传递，并且然后由通信网络(未表示)传递至远程终端。后者包括解码器，将在下面的描述中对其进行更详细地描述。

产生这种信号的步骤C2a)由比如图2A中所表示的数据信号生成模块MGF1来实现。

根据本发明特有的创新变体实施例，对于所考虑的图像序列的视图中的每个视图，或者对于所考虑的图像序列的视图子集的视图中的每个视图，所述视图本身已经根据视图内或视图间预测模式被编码，提出了在信号F'1的特定字段中信号通知：

-表示在图像序列中所考虑的视图已经被视图内编码的事实的信息项，

-或表示已被用于预测在图像序列中所考虑的视图的至少一个预测子视图的索引的信息项。

在图4B中所表示的示例中，为了简化的原因，仅表示信号F'1的一部分，在所述部分中仅信号通知所考虑的图像序列的视图子集，所述子集包含已经被编码的所述至少一个当前视图V_u,j以及在所述至少一个当前视图V_u,j之前已经被编码的数量W个视图VR₁、……、VR_W，所述第一视图VR₁已经以视图内模式被编码并且其他视图VR₂至VR_W每一个已经相对于至少一个相应的预测子视图VpR₂至VpR_W例如以视图间模式被编码。还假设所述至少一个当前视图V_u,j已经至少相对于视图VR_W被视图间编码。

根据所表示的变体实施例，信号F'1的所述部分有利地包括包含以下的字段CH₁₀：第一信息项，例如由符号φ表示并且表示所考虑的图像序列的视图子集的第一视图VR₁已经被视图内编码的事实；已经用于视图VR₂的预测的至少视图VpR₂的索引pR₂；已经用于视图VR_W的预测的至少视图VpR_W的索引pR_W；已经用于所述至少一个当前视图V_u,j的预测的至少预测子视图VR_W的索引R_W。

根据此变体，然后在图1A中所表示的步骤C2a)中，到数据信号F'1的一部分进行制定，所述部分具体与所述至少一个当前视图V_u,j的编码相关联。

这种制定包括以与图4A类似的方式向信号F'1添加包含以下的字段CH₃₀：与所述至少一个当前视图V_u,j相关联的预测类型(这里是视图间预测)；描述所述至少一个预测子视图VR_W与所述至少一个当前视图V_u,j之间的运动的所述至少一个运动矢量MVp_u,j；与所述至少一个当前视图V_u,j相关联的熵编码数据集合Vcq_u,j。字段CH₃₀被添加到已经存在于信号F'1中的以下字段：

-之前在所考虑的图像序列的视图子集的第一视图VR₁的编码期间添加并且包含与此视图相关联的预测类型(视图内)以及与此视图相关联的熵编码数据集合VcqR₁的字段CH₁₁，

-之前在所考虑的图像序列的视图子集的第二视图VR₂的编码期间添加并且包含与此视图相关联的预测类型(视图间)、描述至少一个预测子视图VpR₂与视图VR₂之间的运动的至少一个运动矢量MVR₂、与视图VR₂相关联的熵编码数据集合VcqR₂的字段CH₁₂，

-……，

-之前在所考虑的图像序列的视图子集的视图VR_W的编码期间添加并且包含与所考虑的图像序列的视图VR_W相关联的预测类型(视图间)、描述至少一个预测子视图VpR_W与视图VR_W之间的运动的至少一个运动矢量MVR_W、与视图VR_W相关联的熵编码数据集合VcqR_W的字段CH_W。

根据一个实施例，这种制定还包括在字段CH₁₀中向信号F'1添加已经用于所述至少一个当前视图V_u,j的预测的至少预测子视图VR_W的索引R_W，作为对已经存在于字段CH₁₀中的预测子视图索引pR₂、……、pR_W的补充。

根据另一个实施例，在索引R_W已经存在于字段CH₁₀中的情况下不需要添加索引R_W。根据此其他实施例，在这些视图的编码之前，字段CH₁₀已经被补充了所考虑的视图子集的视图的预测子视图的所有索引。

由于字段CH₁₀的存在，与所述至少一个当前视图V_u,j相关联的编码相依性在信号F'1中以分组方式被指示并且因此将使得可在所述至少一个当前视图V_u,j的解码期间快速且直接地访问。

以本身已知的方式，在图1A中所表示的步骤C3a)中，对至少一个当前视图V_u,j进行解码。

这种步骤C3a)由比如图2A中所表示的视图解码设备MDV_C1来实现。

用于解码视图的这种设备MDV_C1通常包括：

-例如CABAC(“上下文自适应二进制算术编码器”)型熵解码设备MDE_C1或本身已知的哈夫曼解码器，

-去量化模块MQ^-1_C1，

-用于DCT^-1(代表“离散余弦变换”)、DST^-1(代表“离散正弦变换”)、DWT^-1(代表“离散小波变换”)类型的逆变换的模块MT^-1_C1，

-逆预测模块PRED^-1_C1，

-视图重建计算模块CAL^-1_C1。

在步骤C3a)中，进行根据预定顺序对与至少一个当前视图V_u,j相关联的熵编码数据Vcq_u,j进行熵解码的子步骤C31a)。在优选实施例中，所执行的解码是算术或哈夫曼类型的熵解码。然后，子步骤C31a)包括：

-读取预定符号集合中与视图V_u,j的熵编码数据Vcq_u,j相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

在完成上述子步骤C31a)时，获得多个数字信息项，所述数字信息项与在上述步骤C15a)中已经被编码的量化数据相关联。

这种熵解码子步骤C31a)由图2A中所表示的熵解码设备MDE_C1来实现。

在上述子步骤C31a)中，在图1A的子步骤C11a)中已被用于预测至少一个当前视图V_u,j的预测子视图Vp_u,j的索引也被解码。

编码步骤C3a)还包括子步骤C32a)，在所述子步骤中，根据作为在子步骤C14a)中实现的量化的逆操作的常规去量化操作来对在子步骤C31a)之后获得的数字信息进行去量化。然后，在完成此子步骤时获得去量化系数集合VDq_u,j。这种子步骤C32a)由比如图2A中所表示的去量化设备MQ^-1_C1来实现。

编码步骤C3a)还包括子步骤C33a)，在所述子步骤中，对量化系数集合VDq_u,j进行DCT^-1、DST^-1、或DWT^-1类型的变换。此变换是在子步骤C13a)中执行的变换的逆操作。在完成此子步骤时，获得已解码残差视图，所述视图比如由参考VDr_u,j表示。这种操作由图2A中所表示的设备MT^-1_C1执行。

编码步骤C3a)还包括通过在图2A的缓冲存储器MT_C1中选择在上述子步骤C11a)之后获得的与在完成子步骤C31a)时解码的索引相关联的至少一个最优预测子视图Vp_u,j来预测有待解码的所述至少一个当前视图V_u,j的子步骤C34a)。

这种子步骤C34a)由图2A中所表示的预测设备PRED^-1_C1来实现。

编码步骤C3a)还包括计算子步骤C35a)，在所述子步骤中，通过将已经在上述子步骤C31a)中标识的至少预测子视图Vp_u,j添加至在完成子步骤C33a)时获得的至少一个已解码残差视图VDr_u,j来进行至少一个已解码视图VD_u,j的构建(另外称为逆预测)。

这种子步骤C35a)由如图2A中所表示的计算设备CAL^-1_C1来实现。

此后，针对所考虑的当前多视图图像IMV_j的有待编码视图V_u,1、V_u,2、……、V_u,N中的每个视图来实现上文刚刚已经描述的编码步骤C1a)至C3a)。

现在参考图5A，表示了至少一个当前视图V_u,j根据图1A的编码方法的示例性编码。在所表示的示例中，当前多视图图像IMV_j是多视图图像序列的第四图像IMV₄，每个多视图图像包括例如六个视图。在此示例中考虑的至少一个已编码当前视图例如是从当前多视图图像IMV₄的左边开始的第三视图V_3,4。视图V_3,4在图5A中以粗体表示。

在所表示的示例中，当前视图V_3,4基于多视图图像IMV₃的视图V_3,3以视图间模式被编码。视图V_3,3本身已经相对于多视图图像IMV₂的视图V_3,2被视图间编码。视图V_3,2本身已经相对于多视图图像IMV₁的视图V_3,1被视图间编码。视图V_3,1本身已经被视图内编码，此模式由图5A中的阴影表示。至于它们的视图间编码相依性在图5A中用箭头表示。换句话说，当前视图V_3,4根据包括视图V_3,1、视图V_3,2、和视图V_3,3的编码树被编码。图5A中以粗体表示了这种树。

解码

现在将描述本发明的第一实施例，其中使用解码方法来解码属于多视图图像的至少一个当前视图，所述多视图图像之前已经根据图1A的编码方法被编码并且其经编码数据被包含在数据信号F1或F'1中。能够根据当前或即将出现的视频解码标准中的任何一个由解码器来解码至少一个当前视图。

根据本发明的第一实施例的解码方法例如通过对这种解码器进行修改而以软件或硬件方式实现。

根据本发明的解码方法以包括比如图6A中所表示的步骤D1a)至D2a)的算法的形式来表示。

根据此第一实施例，根据本发明的解码方法在图7A中所表示的解码设备或解码器DO1中实现。

如图7A所示，这种解码器设备包括：

-用于接收表示之前已经被编码的当前多视图图像的数据信号F1或F'1的输入ENT_D1，

-用于实现根据本发明的解码方法的处理电路CT_D1，所述处理电路CT_D1包含：

●包括缓冲存储器MT_D1的存储器MEM_D1，

●由计算机程序PG_D1驱动的处理器PROC_D1，

-用于传递至少一个所重建的当前视图的输出SOR_D1，所述当前视图包含在完成根据第一实施例的解码时获得的数据。

在初始化时，计算机程序PG_D1的代码指令例如在被处理电路CT_D1执行之前被加载至RAM存储器MR_D1中。

图6A中所表示的解码方法适用于作为静止图像或者形成多视图图像序列IMV₁、……、IMV_j、……、IMV_K(1≤j≤K)的一部分的当前多视图图像IMV_j的任何当前视图V_u,j。

为此目的，标识表示有待解码的至少一个当前视图V_u,j的信息：

-在在解码器处接收并且比如在图1A的编码方法之后传递的数据信号F1的图4A中所表示的相应部分中，

-或者在在解码器处接收并且比如在图1A的编码方法之后传递的数据信号F'1的图4B中所表示的相应部分中。

在图6A中所表示的步骤D1a)中，以本身已知的方式在数据信号F1的相应部分中进行以下的标识：

-比如在图1A的编码子步骤C15a)之后经熵编码并且包含在图4A中所表示的数据信号F1的字段CH₃中的与至少一个当前视图V_u,j相关联的数据集合Vcq_u,j，

-用于标识在图1A中所表示的编码方法的预测子步骤C11a)之后获得并且包含在图4A中所表示的数据信号F1的字段CH₂中的至少一个预测子视图Vp_u,j的信息项，这种信息项例如包括至少一个预测子视图Vp_u,j的索引，

-与至少一个预测子视图Vp_u,j相关联的所使用的至少一个运动矢量MVp_u,j，比如也包含在字段CH₂中，

-视图间或视图内预测类型。

根据图6A中所表示的步骤D1a)的创新变体，在图4B的数据信号F'1的相应部分中进行以下标识：

-基于字段CH₃₀，标识比如在图1A的编码子步骤C15a)之后经熵编码的与至少一个当前视图Vu,j相关联的数据集合Vcq_u,j、与所述至少一个当前视图V_u,j相关联的视图间预测类型、描述至少一个视图VR_W与所述至少一个当前视图V_u,j之间的运动的至少一个运动矢量MVp_u,j，

-基于字段CH₁₀，标识已经用于所述至少一个当前视图V_u,j的预测的至少视图VR_W的索引R_W，并且可选地，如果在解码所述至少一个当前视图V_u,j时还不知道这种信息，则标识第一视图VR₁已经根据其被视图内预测的信息项、已经用于视图VR₂的预测的至少视图VpR₂的索引pR₂、……、已经用于视图VR_W的预测的至少视图VpR_W的索引pR_W。

标识步骤D1a)由比如图7A中所表示的信号分析设备MI_D1来实现。

根据本发明，在步骤D1a)之后，在图6A中所表示的步骤D2a)中对至少一个经熵编码的当前视图V_u,j进行解码。

这种步骤D2a)由比如图7A中所表示的视图解码设备MDV_D1来实现。

在解码步骤D2a)中，进行常规地根据预定顺序来对与有待解码的所述至少一个当前视图V_u,j相关联的熵编码数据Vcq_u,j进行熵解码的子步骤D21a)。在优选实施例中，所执行的解码是算术或哈夫曼类型的熵解码。然后，子步骤D21a)包括：

-读取预定符号集合中同与所述至少一个当前视图V_u,j相关的量化数据集合Vcq_u,j相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

在完成上述子步骤D21a)时，获得多个数字信息项，这些项与在图1A的熵编码步骤C15a)中已经被编码的量化数据相关联。

这种熵解码子步骤D21a)由图7A的视图解码设备MDV_D1的熵解码设备MDE_D1来实现。

在上述子步骤D21a)中，在图1A的子步骤C11a)期间已被用于预测至少一个当前视图V_u,j的至少一个预测子视图Vp_u,j的索引也被解码。至少一个预测子视图Vp_u,j是已经被解码或尚未被解码的视图。在至少一个预测子视图Vp_u,j已经被解码的情况下，其被预先存储在图7A的解码器DO1的缓冲存储器MT_D1中。否则，其基于已经在在下一步骤中确定的解码路径上被解码的一个或多个视图而被解码。

解码步骤D2a)还包括子步骤D22a)，在所述子步骤中，根据作为在图1A的量化子步骤C14a)期间实现的量化的逆操作的常规去量化操作来对在子步骤D21a)之后所获得的数字信息进行去量化。然后，在完成子步骤D22a)时获得去量化系数集合VDq_u,j。这种子步骤D22a)由图7A的视图解码设备MDV_D1的去量化设备MQ^-1_D1来实现。

解码步骤D2a)还包括子步骤D23a)，在所述子步骤中，对去量化系数集合VDq_u,j进行DCT^-1、DST^-1、或DWT^-1类型的变换。此变换是在图1A的子步骤C13a)中执行的变换的逆操作。在完成子步骤D23a)时，至少获得已解码的当前残差视图，所述视图由参考VDr_u,j表示。这种操作由用于DCT^-1(代表“离散余弦变换”)、DST^-1(代表“离散正弦变换”)、DWT^-1(代表“离散小波变换”)类型的逆变换的设备MT^-1_D1执行。变换设备MT^-1_D1属于图7A的视图解码设备MDV_D1。

根据本发明，在解码步骤D2a)中，进行在属于当前多视图图像IMV_j或者属于序列的另一个多视图图像的视图集合中确定对于所述至少一个当前视图V_u,j的解码所必需的至少一个视图路径的子步骤D24a)。所述至少一个路径包括至少一个尚未被解码的视图，所述视图由参考Vnd_i表示。这种操作由属于图7A的视图解码设备MDV_D1的计算设备CAL1_D1执行。

根据本发明，在图6A中所表示的子步骤D25a)中，对位于已确定的路径上的至少一个尚未被解码的视图Vnd_i进行解码。

如之前已经解释的，根据至少一个尚未被解码的视图Vnd_i的编码数据(如果至少一个视图Vnd_i属于当前多视图图像IMV_j，则其可以被写入数据信号F1中，或者如果至少一个视图Vnd_i属于序列的另一个多视图图像，则其可以被写入表示此另一个多视图图像的另一个数据信号中)，至少一个尚未被解码的视图Vnd_i将取决于情况：

-被视图内解码，

-参考所述多视图图像IMV_j的至少一个之前已解码的视图而被解码，

-参考序列的另一个多视图图像的至少一个之前已解码的视图而被解码，所述至少一个之前已解码的视图表示来自与至少一个尚未被解码的视图Vnd_i相同的角观看位置或来自不同的角观看位置的场景。

以本身已知的方式，进行以下操作：

-表示至少一个尚未被解码的视图Vnd_i的数据的熵解码，从而传递相关联数字信息，

-此相关联信息的去量化，从而传递去量化系数，

-去量化系数的逆变换，从而传递至少一个已解码残差视图VDrnd_i，

-以及在已经应用视图间预测模式的情况下，将至少一个已解码残差视图VDrnd_i添加至所述多视图图像IMV_j或序列的另一个多视图图像的至少一个之前已解码的视图。

在完成这些操作时，获得至少一个已解码视图VDnd_i。

根据本发明，在图6A中所表示的子步骤D26a)中，通过将已经在上述子步骤D25a)中获得的至少一个已解码视图VDnd_i添加至在完成子步骤D23a)时获得的至少一个已解码当前残差视图VDr_u,j来进行至少一个已解码当前视图VD_u,j的构建(另外称为逆预测)。

这种子步骤D26a)由属于图7A的视图解码设备MDV_D1的计算设备CAL2_D1来实现。

然后，至少一个已解码当前视图VD_u,j通过解码器DO1的输出SOR_D1传递，并且然后被存储在缓冲存储器MT_D1中以便用于解码下一个有待解码的视图。

现在参考图8A，表示了比如参考图5A被编码的至少一个当前视图V_u,j的示例性解码。

在所表示的示例中，所考虑的每个当前视图是用户在其在多视图图像IMV₁至IMV₄的序列中从一个视图到另一个视图导航期间选择连续请求的视图。例如，这包含视图V_5,1、V_6,2、V_5,3、V_4,3以及然后V_3,4。这种导航路径在图8A中以粗体表示。

a)现在让我们考虑有待解码的第一当前视图V_5,1。此视图被视图内解码(由图8A中的阴影表示)，也就是说不参考其他视图而被解码。因此，根据本发明的方法不适用于所考虑的当前视图V_5,1。一旦被解码，视图V_5,1被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

b)现在让我们考虑有待解码的第二当前视图V_6,2。根据本发明，确定当前视图V_6,2的解码路径，所述解码路径包含尚未被解码并且对于当前视图V_6,2的解码所必需的参考视图V_6,1和V_5,2。

视图V_6,1参考之前已解码的视图V_5,1而被解码。

视图V_5,2参考之前已解码的视图V_5,1而被解码。

然后，当前视图V_6,2参考已解码视图V_6,1和V_5,2而被解码。一旦被解码，视图V_6,1、V_5,2、和V_6,2被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

c)现在让我们考虑有待解码的第三当前视图V_5,3。此视图参考视图V_5,2而被解码。然而，视图V_5,2之前已经被解码。因此，根据本发明的解码方法不适用于所考虑的当前视图V_5,3。一旦被解码，视图V_5,3被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

d)现在让我们考虑有待解码的第四当前视图V_4,3。根据本发明，确定当前视图V_4,3的解码路径，所述解码路径包含尚未被解码并且对于当前视图V_4,3的解码所必需的参考视图V_4,2和V_3,3。所述解码路径还包含同样尚未被解码并且对于视图V_3,3和V_4,2的解码是必需的参考视图V_3,2、同样尚未被解码并且对于视图V_4,2的解码是必需的参考视图V_4,1、以及同样尚未被解码并且对于视图V_4,1和V_3,2的解码是必需的参考视图V_3,1。一旦已经确定解码路径：

-视图V_3,1被视图内解码(由图8A中的阴影表示)，也就是说在不参考其他视图的情况下被解码。一旦被解码，视图V_3,1被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图；

-视图V_4,1参考之前已解码的视图V_3,1而被解码，并且然后被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图；

-视图V_3,2参考之前已解码的视图V_3,1而被解码，并且然后被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图；

-视图V_4,2参考之前已解码的视图V_4,1和V_3,2而被解码，并且然后被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图；

-视图V_3,3参考之前已解码的视图V_3,2而被解码，并且然后被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

然后，当前视图V_4,3参考已解码视图V_4,2和V_3,3而被解码。一旦被解码，视图V_4,3被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

e)现在让我们考虑有待解码的第五当前视图V_3,4。此视图参考视图V_3,3而被解码，视图V_3,3本身参考视图V_3,2而被解码，视图V_3,2本身参考视图V_3,1而被解码。然而，视图V_3,1和V_3,2之前已经被解码。因此，根据本发明的解码方法不适用于所考虑的当前视图V_3,4。一旦被解码，视图V_3,4被存储在图7A的解码器的存储器MT_D1中，以用于解码接下来的视图。

因此，通过解码路径的上述确定，当视图V_3,4已经被解码时，与常规解码器必须解码的24个视图相比，仅解码了序列的12个视图。这些视图是V_3,1、V_4,1、V_5,1、V_6,1、V_3,2、V_4,2、V_5,2、V_6,2、V_3,3、V_4,3、V_5,3、V_3,4，为此在图8A中用叉号“X”表示这些视图。

第二实施例的详细说明

根据第二实施例，根据本发明的解码技术依靠比如根据当前或即将出现的视频编码标准中的任何一个通过对编码器进行修改而实现的用于编码多视图图像的创新方法。

编码

以包括比如图1B中所表示的步骤C1b)至C3b)的算法的形式来表示根据第二实施例的编码方法。

根据本发明的第二实施例，在图2B中所表示的编码设备或编码器CO2中实现所述编码方法。

如图2B所示，这种编码器设备包括：

-用于接收有待编码的当前多视图图像的输入ENT_C2，

-用于实现根据第二实施例的编码方法的处理电路CT_C2，所述处理电路CT_C2包含：

●包括缓冲存储器MT_C2的存储器MEM_C2，

●由计算机程序PG_C2驱动的处理器PROC_C2，

-用于传递已编码流的输出端SOR_C2，所述已编码流包含在完成对当前多视图图像的编码时获得的数据。

在初始化时，计算机程序PG_C2的代码指令例如在被处理电路CT_C2执行之前被加载至RAM存储器MR_C2中。

图1B中所表示的编码方法适用于作为静止图像(比如图3A中所表示的)或者形成有待编码的多视图图像序列IMV₁、……、IMV_j、……、IMV_K(1≤j≤K)(比如图3B中所表示的)的一部分的任何当前多视图图像IMV_j。

在图1B中所表示的步骤C1b)中，对于当前多视图图像IMV_j，对所述至少一个视图V_u,j进行编码。

这种步骤C1b)由比如图2B中所表示的视图编码设备MCV_C2来实现。

这种视图编码设备MCV_C2通常包括：

-预测设备PRED_C2，

-用于计算残差数据的设备CAL_C2，

-用于DCT、DST、DWT型变换的设备MT_C2，

-量化设备MQ_C2，

-例如CABAC型熵编码设备MCE_C2或本身已知的哈夫曼编码器。

在步骤C1b)中，根据本发明，进行根据已知的视图内和/或视图间预测技术相对于第一视图并且相对于至少一个第二视图来预测所述至少一个当前视图V_u,j的子步骤C11b)。为此目的，根据第一预测模式以及从多个预定预测模式中选择的至少一个第二预测模式来预测所述至少一个当前视图V_u,j。根据编码上下文，所述第一预测模式和所述至少第二预测模式可以相同或不同。例如，在MVC类型的编码的情况下，并且如之前已经解释的，可以预测所述至少一个当前视图V_u,j：

-相对于当前多视图图像IMV_j的另一个视图，

-相对于除了所述当前多视图图像IMV_j之外并且表示来自与所述至少一个当前视图的角观看位置不同的角观看位置的场景的多视图图像。

用于预测所述至少一个当前视图V_u,j的至少两个预测子视图是已经被编码并且然后被解码的视图。至少两个预测子视图被预先存储在比如图2B中所表示的编码器CO2的缓冲存储器MT_C2中。

对于待编码的至少一个当前视图V_u,j，在将所述预定预测模式置于竞争状态之后，例如通过将本领域技术人员熟知的失真比特率标准最小化而获得至少两个最优预测子视图Vp1_u,j和Vp2_u,j。至少两个最优预测子视图Vp1_u,j和Vp2_u,j中的每个预测子视图被认为是所考虑的所述至少一个当前视图V_u,j的同一个近似。

这种子步骤C11b)由图2B中所表示的预测设备PRED_C2来实现。

编码步骤C1b)还包括子步骤C12b)，在所述子步骤中，对所述至少一个当前视图V_u,j与(根据本发明)在完成子步骤C11b)时已经选择的至少两个最优预测子视图Vp1_u,j和Vp2_u,j中的每个预测子视图之间的差异进行计算。

然后，在完成子步骤C12b)时获得至少两个残差视图Vr1_u,j和Vr2_u,j。

这种子步骤C12b)由图2B中所表示的计算设备CAL_C2来实现。

编码步骤C1b)还包括子步骤C13b)，在所述子步骤中，根据常规的直接变换操作(比如例如DCT、DST、或DWT类型的变换)对至少两个残差视图Vr1_u,j和Vr2_u,j进行变换，以便根据本发明产生至少两个经变换视图，所述视图分别由参考Vt1_u,j和Vt2_u,j表示。这种操作由图2B中所表示的设备MT_C2执行。

编码步骤C1b)还包括子步骤C14b)，在所述子步骤中，根据常规的量化操作(比如例如标量或矢量量化)对至少两个经变换视图Vt1_u,j和Vt2_u,j进行量化。根据本发明，然后在完成此子步骤时获得至少两个量化系数集合Vq1_u,j和Vq2_u,j。这种子步骤C14b)借助于比如图2B中所表示的量化设备MQ_C2而被实现。

编码步骤C1b)还包括子步骤C15b)，在所述子步骤中，常规地根据预定顺序来对至少两个系数集合Vq1_u,j和Vq2_u,j进行编码。根据本发明，然后在完成子步骤C15b)时获得至少两个经编码数据集合Vcq1_u,j和Vcq2_u,j。

在优选实施例中，所执行的编码是算术或哈夫曼类型的熵编码。然后，子步骤C15b)包括：

-读取预定符号集合中与针对所述至少一个视图V_u,j考虑的至少两个量化系数集合Vq1_u,j和Vq2_u,j相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

这种熵编码子步骤C15b)由图2B中所表示的熵编码设备MCE_C2来实现。

在完成编码视图V_u,j的步骤C1b)时，在图1B中所表示的步骤C2b)中，对数据信号F2进行制定(如图4C中所表示)，根据本发明，所述数据信号包括：

-包含在图1B的子步骤C11b)中第一次应用的预测类型(视图间或视图内)以及(如果相关的话)所选择的预测模式的字段CH'₁₁，

-如果已经应用了视图间预测模式，则包含在完成子步骤C11b)时所选择的第一预测子视图Vp1_u,j)的索引的和所使用的运动矢量MVp1_u,j的字段CH'₂₁，

-包含与所述至少一个当前视图V_u,j相关联的第一熵编码数据集合Vcq1_u,j的字段CH'₃₁，

-包含在图1B的子步骤C11b)中至少一次第二次应用的预测类型(视图间或视图内)以及(如果相关的话)所选择的预测模式的字段CH'₁₂，

-如果已经应用了视图间预测模式，则包含在完成子步骤C11b)时所选择的至少第二预测子视图Vp2_u,j的索引和所使用的运动矢量MVp2_u,j的字段CH'₂₂，

-包含与所述至少一个当前视图V_u,j相关联的至少第二熵编码数据集合Vcq2_u,j的字段CH'₃₂。

此后，这种信号通过图2B的编码器CO2的输出SOR_C2传递，并且然后由通信网络(未示出)传递至远程终端。后者包括解码器，将在下面的描述中对其进行更详细地描述。

产生这种信号的步骤C2b)由比如图2B中所表示的数据信号生成设备MGF2来实现。

根据本发明特有的创新变体实施例，对于所考虑的图像序列的视图中的每个视图，或者对于所考虑的图像序列的视图子集的视图中的每个视图，所述视图本身已经根据视图内或视图间预测模式被编码，提出了在信号F'2的特定字段中信号通知：

在图4D中所表示的示例中，为了简化的原因，仅表示信号F'2的一部分，在所述部分中仅信号通知所考虑的图像序列的视图子集，所述子集包含已经被编码的所述至少一个当前视图V_u,j以及在所述至少一个当前视图V_u,j之前已经被编码的数量W个视图VR₁、……、VR_W，所述第一视图VR₁已经以视图内模式被编码并且其他视图VR₂至VR_W每一个已经相对于至少一个相应的预测子视图VpR₂至VpR_W例如以视图间模式被编码。还假设所述至少一个当前视图V_u,j已经相对于所考虑的图像序列的第一视图VR_W1以及所考虑的图像序列的至少一个第二视图VR_W2被视图间编码。

根据所表示的变体实施例，信号F'2的所述部分有利地包括包含以下的字段CH'₁₀₁：第一信息项，例如由符号φ表示并且表示所考虑的图像序列的视图子集的第一视图VR₁已经被视图内编码的事实；已经用于视图VR₂的预测的至少视图VpR₂的索引pR₂；已经用于视图VR_W1的预测的至少视图VpR_W1的索引pR_W1；已经用于视图VR_W2的预测的至少视图VpR_W2的索引pR_W2；可以用于所述至少一个当前视图V_u,j的预测的所述第一预测子视图VR_W1的索引R_W1；可以用于所述至少一个当前视图V_u,j的预测的所述至少第二预测子视图VR_W2的索引R_W2。索引R_W1和R_W2在字段CH'₁₀₁中被分组在一起并且由符号“/”分隔以表示它们中的仅一个根据对预测子视图VR_W1或VR_W2的选择而被选择，所述预测子视图被实现为预测所述至少一个当前视图V_u,j。

根据此变体，然后在图1B中所表示的步骤C2b)中对数据信号F'2的一部分进行制定，所述部分具体与所述至少一个当前视图V_u,j的编码相关联。

这种制定包括以与图4C类似的方式向信号F'2添加：

-字段CH'31，其包含与所述至少一个当前视图V_u,j相关联的视图间预测类型、描述第一预测子视图VR_W1与所述至少一个当前视图V_u,j之间的运动的运动矢量MVp1_u,j、与所述至少一个当前视图V_u,j相关联的熵编码数据集合Vcq1_u,j，

-字段CH'₃₂，其包含与所述至少一个当前视图V_u,j相关联的视图间预测类型、描述至少第二预测子视图VR_W2与所述至少一个当前视图V_u,j之间的运动的运动矢量MVp2_u,j、与所述至少一个当前视图V_u,j相关联的熵编码数据集合Vcq2_u,j。

字段CH'₃₁和CH'₃₂被添加到已经存在于信号F'2中的以下字段中：

-之前在所考虑的图像序列的视图子集的第一视图VR₁的编码期间添加并且包含与此视图相关联的预测类型以及与此视图相关联的熵编码数据集合VcqR₁的字段CH'₁₁₁，

-之前在所考虑的图像序列的视图子集的第二视图VR₂的编码期间添加并且包含与此视图相关联的预测类型(视图间)、描述至少一个预测子视图VpR₂与视图VR₂之间的运动的运动矢量MVR₂、与视图VR₂相关联的熵编码数据集合VcqR₂的字段CH'₁₁₂，

-……，

-之前在所考虑的图像序列的视图子集的视图VR_W1的编码期间添加并且包含与视图VR_W1相关联的预测类型(视图间)、描述至少一个预测子视图VpR_W1与视图VR_W1之间的运动的运动矢量MVR_W1、与视图VR_W1相关联的熵编码数据集合VcqR_W1的字段CH'_W1，

-之前在所考虑的图像序列的视图子集的视图VR_W2的编码期间添加并且包含与所考虑的图像序列的视图VR_W2相关联的预测类型(视图间)、描述至少一个预测子视图VpR_W2与视图VR_W2之间的运动的运动矢量MVR_W2、与视图VR_W2相关联的熵编码数据集合VcqR_W2的字段CH'_W2。

根据一个实施例，这种制定还包括在字段CH'₁₀₁中向信号F'2添加已经用于所述至少一个当前视图V_u,j的预测的第一预测子视图VR_W1的索引R_W1和已经用于所述至少一个当前视图V_u,j的预测的至少第二预测子视图VR_W2的索引R_W2，作为对已经存在于字段CH'₁₀₁中的预测子视图索引pR₂、……、pR_W1、pR_W2的补充。

根据另一个实施例，在这些索引已经存在于字段CH'₁₀₁中的情况下不需要添加索引R_W1和R_W2。根据此其他实施例，在这些视图的编码之前，字段CH'₁₀₁已经被补充了所考虑的视图子集的视图的预测子视图的所有索引。

由于字段CH'₁₀₁的存在，与所述至少一个当前视图V_u,j相关联的编码相依性在信号F'2中以分组方式被指示并且因此将使得可在所述至少一个当前视图V_u,j的解码期间快速且直接地访问。

以本身已知的方式，在图1B中所表示的步骤C3b)中，对所述至少一个当前视图Vu,j进行解码。

这种步骤C3b)由比如图2B中所表示的视图解码设备MDV_C2来实现。

这种视图解码设备MDV_C2通常包括：

-例如CABAC型熵解码设备MDE_C2或本身已知的哈夫曼解码器，

-去量化模块MQ^-1_C2，

-用于DCT^-1、DST^-1、DWT^-1类型的逆变换的模块MT^-1_C2，

-逆预测模块PRED^-1_C2，

-视图重建计算模块CAL^-1_C2。

在步骤C3b)中，根据本发明，进行对与所述至少一个当前视图V_u,j相关联的至少两个熵编码数据集合Vcq1_u,j和Vcq2_u,j进行熵解码的子步骤C31b)。在优选实施例中，所执行的解码是算术或哈夫曼类型的熵解码。然后，子步骤C31b)包括：

-读取预定符号集合中与所述至少一个当前视图V_u,j的熵编码数据集合Vcq1_u,j和Vcq2_u,j中的每个集合相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

在完成上述子步骤C31b)时，获得多个数字信息项，根据本发明，所述数字信息项与在上述步骤C15b)中已经被编码的至少两个量化数据集合Vcq1_u,j和Vcq2_u,j相关联。

这种熵解码子步骤C31b)由图2B中所表示的熵解码设备MDE_C2来实现。

在上述子步骤C31b)中，还解码在图1B的子步骤C11b)中已被用于预测所述至少一个当前视图V_u,j的第一预测子视图Vp1_u,j和至少第二预测子视图Vp2_u,j的索引。

编码步骤C3b)还包括子步骤C32b)，在所述子步骤中，根据作为在子步骤C14b)中实现的量化的逆操作的常规去量化操作来对在子步骤C31b)之后获得的数字信息进行去量化。然后，在完成此子步骤时获得至少两个去量化系数集合VDq1_u,j和VDq2_u,j。这种子步骤C32b)由比如图2B中所表示的去量化设备MQ^-1_C2来实现。

编码步骤C3b)还包括子步骤C33b)，在所述子步骤中，对至少两个去量化系数集合VDq1_u,j和VDq2_u,j中的每个集合进行DCT^-1、DST^-1、或DWT^-1类型的变换。此变换是在子步骤C13b)中执行的变换的逆操作。在完成此子步骤时，根据本发明，获得至少两个已解码残差视图，比如分别由参考VDr1_u,j和VDr2_u,j表示的视图。这种操作由图2B中所表示的设备MT^-1_C2执行。

编码步骤C3b)还包括通过在图2B的缓冲存储器MT_C2中选择已经在上述子步骤C11b)之后获得并且分别与在完成子步骤C31b)时的两个已解码索引相关联的至少两个最优预测子视图Vp1_u,j和Vp2_u,j中的一个或另一个来预测有待解码的所述至少一个当前视图V_u,j的子步骤C34b)。

这种子步骤C34b)由图2B中所表示的预测设备PRED^-1_C2来实现。

编码步骤C3b)还包括计算子步骤C35b)，在所述子步骤中，通过将已经在上述子步骤C31b)中标识的至少两个预测子视图Vp1_u,j和Vp2_u,j中的一个或另一个分别添加至在完成子步骤C33b)时获得的至少两个已解码残差视图VDr1_u,j和VDr2_u,j中的一个或另一个来进行所述至少一个已解码视图VD_u,j的构建(另外称为逆预测)。

这种子步骤C35b)由如图2B中所表示的计算设备CAL^-1_C2来实现。

此后，针对所考虑的当前多视图图像IMV_j的有待编码视图V_u,1、V_u,2、……、V_u,N中的每个视图来实现上文刚刚已经描述的编码步骤C1b)至C3b)。

现在参考图5B，表示了至少一个当前视图V_u,j根据图1B的编码方法的示例性编码。在所表示的示例中，当前多视图图像IMV_j是多视图图像序列的第四图像IMV₄，每个多视图图像包括例如六个视图。在此示例中考虑的至少一个已编码当前视图例如是当前多视图图像IMV₄的第三视图V_3,4。视图V_3,4在图5B中以粗体表示。

在所表示的示例中，当前视图V_3,4基于多视图图像IMV₃的视图V_2,3或视图V_3,3以视图间模式被编码。

a)当当前视图V_3,4基于视图V_2,3被编码时，视图V_2,3本身基于视图V_1,2、V_2,2、或V_3,2被编码。如果视图V_1,2用于编码视图V_2,3，则视图V_1,2本身基于视图内编码的视图V_1,1(此模式由图5B中的阴影表示)或者基于视图V_2,1被编码。如果视图V_1,2基于视图V_2,1被编码，则后者本身相对于视图V_1,1被编码。如果视图V_2,2用于编码视图V_2,3，则视图V_2,2本身基于视图V_1,1或视图V_2,1或视图V_3,1被编码。如果选择了视图V_2,1，则后者本身相对于视图V_1,1被编码。如果选择了视图V_3,1，则此视图本身基于视图V_2,1被编码，而后者本身相对于视图V_1,1被编码。如果视图V_3,2用于编码视图V_2,3，则视图V_3,2本身基于视图V_2,1或视图V_3,1被编码。如果选择了视图V_2,1，则后者本身相对于视图V_1,1被编码。如果选择了视图V_3,1，则此视图本身基于视图V_2,1被编码，而后者本身相对于视图V_1,1被编码。

b)当当前视图V_3,4基于视图V_3,3被编码时，视图V_3,3本身基于视图V_2,2或V_3,2被编码。如果视图V_2,2用于编码视图V_3,3，则视图V_2,2本身基于视图V_1,1或视图V_2,1或视图V_3,1被编码。如果选择了视图V_2,1，则后者本身相对于视图V_1,1被编码。如果选择了视图V_3,1，则此视图本身基于视图V_2,1被编码，而后者本身相对于视图V_1,1被编码。如果视图V_3,2用于编码视图V_3,3，则视图V_3,2本身基于视图V_2,1或视图V_3,1被编码。如果选择了视图V_2,1，则后者本身相对于视图V_1,1被编码。如果选择了视图V_3,1，则此视图本身基于视图V_2,1被编码，而后者本身相对于视图V_1,1被编码。

至于它们的视图间编码相依性在图5B中用箭头表示。

根据本发明的第二编码实施例，为了编码当前视图V_3,4，因此提出了替代的多个编码树，这些树的集合在图5B中以粗体无差别地表示。

解码

现在将描述本发明的第二实施例，其中使用解码方法来解码属于多视图图像的至少一个当前视图，所述多视图图像之前已经根据图1B的编码方法被编码并且其经编码数据被包含在数据信号F2或F'2中。能够根据当前或即将出现的视频解码标准中的任何一个由解码器来解码所述至少一个当前视图。

根据本发明的第二实施例的解码方法例如通过对这种解码器进行修改而以软件或硬件方式实现。

根据本发明的解码方法以包括比如图6B中所表示的步骤D1b)至D2b)的算法的形式来表示。

根据此第一实施例，根据本发明的解码方法在图7B中所表示的解码设备或解码器DO2中实现。

如图7B所示，这种解码器设备包括：

-用于接收表示之前已经被编码的当前多视图图像的数据信号F2或F'2的输入ENT_D2，

-用于实现根据本发明的解码方法的处理电路CT_D2，所述处理电路CT_D2包含：

●包括缓冲存储器MT_D2的存储器MEM_D2，

●由计算机程序PG_D2驱动的处理器PROC_D2，

-用于传递至少一个所重建的当前视图的输出SOR_D2，所述当前视图包含在完成根据第二实施例的解码时获得的数据。

在初始化时，计算机程序PG_D2的代码指令例如在被处理电路CT_D2执行之前被加载至RAM存储器MR_D2中。

图6B中所表示的解码方法适用于作为静止图像或者形成多视图图像序列IMV₁、……、IMV_j、……、IMV_K(1≤j≤K)的一部分的当前多视图图像IMV_j的任何当前视图V_u,j。

为此目的，标识表示有待解码的所述至少一个当前视图V_u,j的信息：

-在在解码器处接收并且比如在图1B的编码方法之后传递的数据信号F2的图4C中所表示的相应部分中，

-或者在在解码器处接收到并且比如在图1B的编码方法之后传递的数据信号F'2的图4D中所表示的相应部分中。

在图6B中所表示的步骤D1b)中，以本身已知的方式在数据信号F2的相应部分中进行以下的标识：

-比如在图1B的编码子步骤C15b)之后经熵编码并且分别包含在图4C中所表示的数据信号F2的字段CH'₃₁和CH'₃₂中的与所述至少一个当前视图V_u,j相关联的至少第一数据集合Vcq1_u,j和第二数据集合Vcq2_u,j，

-用于标识在图1B中所表示的编码方法的预测子步骤C11b)之后获得并且分别包含在图4C中所表示的数据信号F2的字段CH'₂₁和CH'₂₂中的至少两个预测子视图Vp1_u,j和Vp2_u,j的信息项，这种信息项例如包括至少两个预测子视图Vp1_u,j和Vp2_u,j中的每个预测子视图的索引，

根据图6B中所表示的步骤D1b)的创新变体，在图4D的数据信号F'2的相应部分中进行以下标识：

-分别基于字段CH'₃₁和CH'₃₂，标识比如在图1B的编码子步骤C15b)之后经熵编码的与所述至少一个当前视图V_u,j相关联的至少第一数据集合Vcq1_u,j和第二数据集合Vcq2_u,j，

-基于字段CH'₁₀₁，标识已经用于所述至少一个当前视图V_u,j的预测的第一视图VRW1的索引R_W1、已经用于所述至少一个当前视图V_u,j的预测的至少第二视图VR_W2的索引R_W2，并且可选地，如果在解码所述至少一个当前视图V_u,j时还不知道这种信息，则标识第一视图VR₁已经根据其被视图内预测的信息项、已经用于视图VR₂的预测的至少视图VpR₂的索引pR₂、…...、已经用于视图VR_W1的预测的至少视图VpR_W1的索引pR_W1、已经用于视图VR_W2的预测的至少视图VpR_W2的索引pR_W2。

标识步骤D1b)由比如图7B中所表示的信号分析设备MI_D2来实现。

根据本发明，在步骤D1b)之后，在图6B中所表示的步骤D2b)中对所述至少一个经熵编码的视图V_u,j进行解码。

这种步骤D2b)由比如图7B中所表示的视图解码设备MDV_D2来实现。

根据本发明，在解码步骤D2b)中，进行在属于当前多视图图像IMV_j或者属于序列的另一个多视图图像的一组视图中确定对于所述至少一个当前视图V_u,j的解码所必需的参考视图的至少一个路径PR'_u,j的子步骤D21b)，考虑到在编码上实现的替代编码树，所述至少一个路径包含第一预测子视图Vp1_u,j或至少第二预测子视图Vp2_u,j中的一个。根据第一替代方案，所述至少一个路径PR'_u,j仅包含一个或多个已被解码的参考视图。根据第二替代方案，所述至少一个路径PR'_u,j包括至少一个尚未被解码的视图，所述视图由参考V'nd_i表示。这种路径确定操作由属于图7B的视图解码设备MDV_D2的计算设备CAL1_D2执行。

如果已经实现了第二替代方案，则在图6B中所表示的子步骤D22b)中，对位于已确定的路径上的至少一个尚未被解码的视图V'nd_i进行解码。考虑到此第二替代方案没有系统地实现的事实，其在图6B中用虚线表示。

如之前已经解释的，根据至少一个尚未被解码的视图V'nd_i的编码数据(如果至少一个视图V'nd_i属于当前多视图图像IMV_j，则其可以被写入数据信号F2或F'2中，或者如果至少一个视图V'nd_i属于序列的另一个多视图图像，则其可以被写入表示此其他多视图图像的另一个数据信号中)，所述至少一个尚未被解码的视图V'nd_i将取决于情况：

-被视图内解码，

-参考序列的另一个多视图图像的至少一个之前已解码的视图而被解码，所述至少一个之前已解码的视图表示来自与所述至少一个尚未被解码的视图V'nd_i相同的角观看位置或来自不同的角观看位置的场景。

以本身已知的方式，进行以下操作：

-表示所述至少一个尚未被解码的视图V'nd_i的数据的熵解码，从而传递相关联数字信息，

-此相关联信息的去量化，从而传递去量化系数，

-去量化系数的逆变换，从而传递至少一个已解码残差视图VD'rnd_i，

-以及在已经应用视图间预测模式的情况下，将至少一个已解码残差视图VD'rnd_i添加至所述多视图图像IMV_j或序列的另一个多视图图像的至少一个之前已解码的视图。

在完成这些操作时，获得至少一个已解码视图VD'nd_i。

在解码步骤D2b)中，根据本发明，根据在之前的子步骤中确定的至少一个解码路径PR'_u,j的几何形状，进行选择与有待解码的所述至少一个视图V_u,j相关联的熵编码数据集合Vcq1_u,j或Vcq2_u,j中的一个的子步骤D23b)。

这种子步骤D23b)由图7B的视图解码设备MDV_D2的选择设备MS_D2来实现。

在解码步骤D2b)中，进行对与有待解码的所述至少视图V_u,j相关联的至少两个熵编码数据集合Vcq1_u,j或Vcq2_u,j中的一个进行熵解码的子步骤D24b)。在优选实施例中，所执行的解码是算术或哈夫曼类型的熵解码。然后，子步骤D24b)包括：

-读取预定符号集合中与已经被选择的熵编码数据集合Vcq1_u,j或Vcq2_u,j相关联的一个或多个符号，

-将数字信息(比如位)与所读取的(多个)符号进行关联。

在完成上述子步骤D24b)时，获得多个数字信息项，所述项与已经被选择的熵编码数据集合Vcq1_u,j或Vcq2_u,j相关联。

在步骤D24b)中，如果是在解码器处已经接收到图4C的信号F2，则还在数据信号F2的部分的字段CH'₂₁或CH'₂₂中读取以下各项：

-已经分别与预测子视图Vp1_u,j或Vp2_u,j相关联使用的运动矢量MVp1_u,j或MVp2_u,j，

-与第一或第二预测子视图相关联的视图间或视图内预测类型。

如果是在解码器处已经接收到图4D的信号F'2，则还读取以下：

-在选择了熵编码数据集合Vcq1_u,j的情况下，基于数据信号F'2的部分的字段CH'_W1：

●与所考虑的图像序列的视图VR_W1相关联的视图间预测类型，

●所使用的运动矢量MVR_W1，

-在选择了熵编码数据集合Vcq2_u,j的情况下，基于数据信号F'2的部分的字段CH'_W2：

●与所考虑的图像序列的视图VR_W2相关联的视图间预测类型，

●所使用的运动矢量MVR_W2。

这种熵解码子步骤D24b)由图7B的视图解码设备MDV_D2的熵解码设备MDE_D2来实现。

在上述子步骤D24b)中，在图1B的子步骤C11b)期间已被用于预测所述至少一个当前视图V_u,j并且与已经被选择的熵编码数据集合Vcq1_u,j或Vcq2_u,j相关联的预测子视图Vp1_u,j或Vp2_u,j的索引也被解码。预测子视图Vp1_u,j或Vp2_u,j是已经被解码或尚未被解码的视图。在预测子视图Vp1_u,j或Vp2_u,j已经被解码的情况下，其被预先存储在图7B的解码器DO2的缓冲存储器MT_D2中。否则，其基于已经在已确定的路径PR'_u,j上被解码的一个或多个视图而被解码。

解码步骤D2b)还包括子步骤D25b)，在所述子步骤中，根据作为在图1B的量化子步骤C14b)期间实现的量化的逆操作的常规去量化操作来对在子步骤D24b)之后获得的数字信息进行去量化。然后，在完成子步骤D25b)时获得去量化系数集合VDq1_u,j或VDq2_u,j。这种子步骤D25b)由图7B的视图解码设备MDV_D2的去量化设备MQ^-1_C2来实现。

解码步骤D2b)还包括子步骤D26b)，在所述子步骤中，对去量化系数集合VDq1_u,j或VDq2_u,j进行DCT^-1、DST^-1、或DWT^-1类型的变换。此变换是在图1B的子步骤C13b)中执行的变换的逆操作。在完成子步骤D26b)时，获得至少一个已解码的当前残差视图，所述视图由参考VDr1_u,j或VDr2_u,j表示。这种操作由用于DCT^-1、DST^-1、DWT^-1类型的逆变换的设备MT^-1_D2执行。变换设备MT^-1_D2属于图7B的视图解码设备MDV_D2。

根据本发明，在图6B中所表示的子步骤D27b)中，通过将已经在上述子步骤D22b)中获得的所述至少一个已解码视图VD'nd_i添加至在完成子步骤D26b)时获得的至少一个已解码当前残差视图VDr1_u,j或VDr2_u,j来进行所述至少一个已解码视图VD_u,j的构建(另外称为逆预测)。

这种子步骤D27b)由属于图7B的视图解码设备MDV_D2的计算设备CAL2_D2来实现。

然后，所述至少一个已解码视图VD_u,j通过解码器DO2的输出SOR_D2传递，并且然后被存储在缓冲存储器MT_D2中以便用于解码下一个有待解码的视图。

根据解码上下文，根据第二实施例的解码方法可以独立于根据图6A的第一实施例的解码方法来实现或者与其相结合来实现。

现在参考图8B，表示了比如参考图5B被编码的至少一个当前视图V_u,j的示例性解码。在所表示的示例中，每个多视图图像包括例如六个视图。此外，根据所考虑的当前视图：

-必须使用单个预测残差来重建当前视图V_u,j，

-可以替代地使用两个不同的预测残差来重建当前视图V_u,j，

-可以替代地使用三个不同的预测残差来重建当前视图V_u,j。

在所表示的示例中，所考虑的每个当前视图是用户在其在多视图图像IMV₁至IMV₄的序列中从一个视图到另一个视图导航期间选择连续请求的视图。例如，这些视图是视图V_5,1、V_6,2、V_5,3、V_4,3以及然后V_3,4。这种导航路径在图8B中以粗体表示。

让我们假设在此示例中考虑的有待解码的至少一个当前视图例如是用户希望观看的第一视图V_5,1。

在所表示的示例中，视图V_5,1只能基于尚未被解码的视图V_4,1而被解码。因此，视图V_4,1首先被视图内解码(由图8B中的阴影表示)，并且然后被存储在图7B的缓冲存储器MT_D2中，以用于解码接下来的视图。然后，视图V_5,1继而参考之前已解码的视图V_4,1而被解码，并且然后被存储在图7B的缓冲存储器MT_D2中，以用于解码接下来的视图。

因此，凭借本发明，与常规解码器必须解码多视图图像IMV₁的6个视图相比，仅需要解码序列的2个视图。

现在让我们假设在此示例中考虑的有待解码的至少一个当前视图例如是用户希望观看的第二视图V_6,2。

在所表示的示例中，视图V_6.2可以基于视图V_5,1或视图V_6,1而被解码。由于用户之前已经观看因此已经为此目的而被解码并且因此在图7B的缓冲存储器MT_D2中可用的视图V_5,1，因此优选地选择视图V_5,1来解码视图V_6,2。

因此，凭借本发明，与常规解码器必须解码12个视图(多视图图像IMV₁的6个视图和多视图图像IMV₂的6个视图)相比，仅需要解码序列的3个视图。

现在让我们假设在此示例中考虑的有待解码的至少一个当前视图例如是用户希望观看的第三视图V_5,3。

在所表示的示例中，视图V_5,3可以基于视图V_4,2、视图V_5,2、或视图V_6,2而被解码。由于用户之前已经观看因此已经为此目的而被解码并且因此在图7B的缓冲存储器MT_D2中可用的视图V_6,2，因此优选地选择视图V_6,2来解码视图V_5,3。

因此，凭借本发明，与常规解码器必须解码18个视图(多视图图像IMV₁的6个视图、多视图图像IMV₂的6个视图、和多视图图像IMV₃的6个视图)相比，仅需要解码序列的4个视图。

现在让我们假设在此示例中考虑的有待解码的至少一个当前视图例如是用户希望观看的第四视图V_4,3。

在所表示的示例中，视图V_4,3可以基于视图V_4,2或视图V_5,2而被解码。由于视图V_4,1之前已经被解码并且因此在图7B的缓冲存储器MT_D2中可用，因此选择相对于视图V_4,1来解码视图V_4,2，并且然后相对于视图V_4,2来解码视图V_4,3。

因此，凭借本发明，与常规解码器必须解码18个视图(多视图图像IMV₁的6个视图、多视图图像IMV₂的6个视图、和多视图图像IMV₃的6个视图)相比，仅需要解码序列的3个视图。

现在让我们假设在此示例中考虑的有待解码的至少一个当前视图例如是用户希望观看的第五视图V_3,4。

在所表示的示例中，视图V_3,4可以基于视图V_2,3或视图V_3,3而被解码，视图V_2,3和V_3,3尚未被解码。例如，选择解码视图V_2,3。在所表示的示例中，视图V_2,3可以基于视图V_1,2、V_2,2、或V_3,2而被解码，视图V_1,2、V_2,2、和V_3,2尚未被解码。例如，选择解码视图V_1,2。在所表示的示例中，视图V_1,2可以基于视图V_1,1或V_2,1而被解码，视图V_1,1、V_2,1尚未被解码。例如，选择解码视图V_1,1。在此示例中，从若干可能路径中确定的用于当前视图V_3,4的解码路径因此按照有待实现的解码的次序包括尚未被解码的视图V_1,1、V_1,2、和V_2,3。

一旦已经确定这种解码路径，视图V_1,1被视图内解码(由图8B中的阴影表示)。一旦被解码，视图V_1,1被存储在图7B的解码器的存储器MT_D2中，以用于解码接下来的视图。此后，视图V_1,2参考之前已解码的视图V_1,1而被解码，并且然后被存储在图7B的解码器的存储器MT_D2中，以用于解码接下来的视图。此后，视图V_2,3参考之前已解码的视图V_1,2而被解码，并且然后被存储在图7B的解码器的存储器MT_D2中，以用于解码接下来的视图。最后，视图V_3,4参考之前已解码的视图V_2,3而被解码，并且然后被存储在图7B的解码器的存储器MT_D2中，以用于解码接下来的视图。

因此，凭借本发明，与常规解码器必须解码24个视图(多视图图像IMV₁的6个视图、多视图图像IMV₂的6个视图、多视图图像IMV₃的6个视图、和多视图图像IMV₄的6个视图)相比，仅需要解码序列的4个视图。

在时刻t4，与常规解码器必须解码24个视图相比，用户从一个视图到另一个视图导航的路径因此仅需要解码9个视图。

结合图6B的解码方法的第二实施例，已经观察到，在数据信号F2或F'2中传递的预测残差的数量与用户将能够应用的视图变化速度之间存在关系，所述残差取决于所实现的编码方法。

例如，在图8B的解码路径(根据其可以替代地使用三个不同的预测残差来重建当前视图V_u,j)的情况下，在每个时刻，用户有可能从视图到视图横向导航。

图6B的编码方法的变体可以允许较少的灵活性，同时从实践的角度来看仍然是现实的。

图8C中表示了至少一个当前视图V_u,j根据此变体的示例性解码。在所表示的示例中，如果所述至少一个当前视图是视图V_2,4，则可以使用单个预测残差(由视图V_2,3和视图V_2,4之间的箭头表示)来重建此视图，而在图8B的前述示例中，例如能够替代地使用三个不同的预测残差来重建此视图(分别由视图V_1,3和视图V_2,4之间的箭头、视图V_2,3和视图V_2,4之间的箭头、以及视图V_3,3和视图V_2,4之间的箭头表示)。

现在将描述应用于图6B的解码方法的解码路径确定子步骤D21b)的几个不同实施例。

根据第一实施例，如果对于所述至少一个当前视图V_u,j的解码所必需的视图的若干解码路径是可能的，则选择包含最少的可能的额外的有待解码的视图的路径。

图8D中表示了已经参考图5B被编码的至少一个当前视图V_u,j的这种示例性解码路径。在所表示的示例中，每个多视图图像包括例如六个视图。

在所表示的示例中，所考虑的每个当前视图是用户在其在多视图图像IMV₁至IMV₄的序列中从一个视图到另一个视图导航期间选择连续请求的视图。例如，这些视图是视图V_5,1、V_6,2、V_5,3以及然后V_4,4。这种导航路径在图8D中以粗体表示。

让我们在此示例中假设视图V_5,1、V_6,2、V_5,3已经以与图8B中相同的方式被解码并且所考虑的有待解码的至少一个当前视图例如是用户希望观看的视图V_4,4。使用最少数量的额外的有待解码的视图的视图V_4,4的解码路径是包括直接基于用户在之前的时刻t3已经观看并且因此已经被解码并且因此在图7B的缓冲存储器MT_D2中可用的视图V_5,3来解码当前视图V_4,4的解码路径。

因此，在解码当前视图V_4,4的情况下，解码路径被高度优化，因为其不包含任何额外的有待解码的视图。

诸如这种的优化解码路径是通过考虑已经在用户已经执行的视图到视图导航路径上被解码的视图来确定的，考虑到可以从若干可能替代树中选择的所提出的解码树使得这成为可能。

根据第二实施例，如果对于至少一个当前视图V_u,j的解码所必需的视图的若干解码路径是可能的，则选择在不参考其他视图的情况下已经被解码的至少一个视图与至少一个当前视图Vu,j之间的距离被最小化的路径。

返回到图8D的示例，使用在不参考其他视图的情况下已经被解码的至少一个视图与当前视图V_4,4之间的最小距离的当前视图V_4,4的解码路径是包括以下的解码路径：

-基于已经在用户观看视图V_5,1期间被视图内解码的视图V_4,1来解码尚未被解码的视图V_4,2，

-基于视图V_4,2来解码尚未被解码的视图V_4,3，

-基于视图V_4,3来解码视图V_4,4。

因此，凭借当前视图V_4,4的解码路径的此第二确定模式，所述当前视图与被视图内解码的视图V_4,1仅相隔两个视图V_4,2和V_4,3，而在之前提到的第一确定模式中，视图V_4,4与被视图内解码的视图V_4,1相隔三个视图V_5,1、V_6,2、和V_5,3。

刚刚已经描述的第二确定模式因此使得可以减少在根据非视图内预测模式相对于一个视图解码另一个视图期间倾向于累积和传播的伪像。

根据未表示的第三实施例，如果在完成图6A的解码方法的子步骤D24a)时或在完成图6B的解码方法的子步骤D21b)时已经确定的对于所述至少一个当前视图的解码所必需的视图路径由于至少一个解码约束而不能使得可以解码所述至少一个当前视图V_u,j，则至少一个当前视图由在当前时刻tj的多视图图像的能够被解码的另一个视图代替，所述另一个视图是在空间上最接近至少一个当前视图的视图。

的确可能的是，在确定对于所述至少一个当前视图的解码所必需的视图路径期间，解码器可能不能够解码所述至少一个当前视图。例如，当解码器受到硬件约束时(比如具体是能够被解码的视图的最大数量NB_max)并且对于所述至少一个当前视图的解码所必需的视图路径需要解码比数量NB_max更多的视图时，会发生这种情况。然后，至少一个当前视图由与其在空间上最接近并且可根据解码器的约束来解码的视图代替。

根据第四实施例，在上述确定子步骤D24a)或D21b)期间确定的对于所述至少一个当前视图V_u,j的解码所必需的视图路径包含在当前时刻tj之后或之前的至少一个时刻易于被解码的至少一个视图所取决于的视图。

现在参考图8E，表示了比如以与图5B中所表示的方式类似的方式被编码的至少一个当前视图V_u,j的示例性解码(替代解码树)。在所表示的示例中，当前多视图图像IMV_j是多视图图像序列的第三图像IMV₃，每个多视图图像包括例如五个视图。在该示例中考虑的有待解码的至少一个当前视图例如是当前多视图图像IMV₃的第三视图V_2,3。

在图8E中，图像V_3,1被视图内解码，此解码模式由阴影表示。图8E中以粗体表示了从一个视图到另一个视图的示例性导航路径。其依次包含视图V_4,1、V_3,2、V_2,3。除了这三个视图和视图V_3,1之外，所有表示的其他视图尚未被解码。

为了解码当前视图V_2,3，对于后者的解码所必需的视图路径包括考虑尚未被解码的视图V_2,2或者同样尚未被解码的视图V_3,3。为了在这两个视图之间做出选择，分析了在观看期间解码它们中的每个的影响，并且因此解码了在当前时刻t3之后或之后的至少一个时刻易于被用户请求的视图。在所表示的示例中，假设这是紧接在下一时刻t3之后的时刻t4。作为变体，用户可能希望在当前时刻t3之前的时刻(例如，时刻t1)观看视图。

当基于最后解码的当前视图V_2,3请求在下一时刻t4的视图时，可以设想图8E中用虚线表示的三个不同的导航路径：

-如果视图V_1,4被请求，则解码此视图需要解码视图V_1,3或解码视图V_2,4，视图V_1,3和V_2,4两者基于之前本身已经在用户的导航路径上被解码并且在解码器的缓冲存储器中可用的视图V_2,3而被解码，

-如果视图V_2,4被请求，则视图V_2,4直接基于之前本身已经在用户的导航路径上被解码并且在解码器的缓冲存储器中可用的视图V_2,3而被解码，

-如果视图V_3,4被请求，则需要基于之前本身已经在用户的导航路径上被解码并且在解码器的缓冲存储器中可用的视图V_3,2来解码视图V_3,3。

上文的第一和第三路径涉及视图的额外解码，因此选择第二路径。

在此第四实施例的变体中，通过计算在当前时刻之后或之前的至少一个时刻的这个视图或那个视图被请求解码的概率来实现对于所述至少一个当前视图的解码所必需的视图路径的确定。这种计算可以根据与用户在多视图图像序列中导航的方式相关的统计来确定。用户选择视图的概率模型可以被预定义，或者在解码过程中被等概率地初始化并且被不断地更新。然后所选择的路径将是其后“最有可能”最优的路径，也就是说(例如)由于包含最少数量的额外的有待解码的视图来解码所述至少一个当前视图的事实。预测在当前时刻之后或之前的至少一个时刻的这个视图或那个视图被请求解码的另一种方式在于预期用户在两个连续观看的视图之间保持相同的位移方向的事实，这两个视图能够位于同一时刻或两个不同时刻。

根据解码上下文，可以如下来实现对于所述至少一个当前视图的解码所必需的视图路径的优化：

-根据刚刚已经描述的各种路径确定模式中的一个，

-或者根据这些各种模式的组合，

-或者根据预定义的优先级顺序依次地。

在设想各种路径确定模式的组合的情况下，将必须赋予所述模式中的每个模式优先级。例如，为了改善已解码视图的质量，将通过评估有待解码的至少一个当前视图与多视图图像序列的已经被视图内解码的视图之间的最小距离来优先进行路径的优化。在另一个示例中，为了降低解码器的复杂性，将优先将有待解码的视图的数量最小化。根据又一个示例，在类似于第四实施例的上述变体的实施例的情况下，其中预期用户的未来位移，通过承认当在下一时刻t4的视图基于最后解码的当前视图V_2,3被请求时可以设想几个不同的导航路径并且两个解码路径被确定为最优(具有相同数量的额外的有待解码的视图)，最终通过在时刻t4之后或之前的时刻确定最优解码路径来选择这两个最优路径中的一个。

在各种路径确定模式符合优先级顺序的情况下，当两个视图路径在第一优先级确定模式的实现之后都被认为是最优时，则选择第二优先级确定模式。

根据另一个实施例：

-在解码所述至少一个当前视图V_u,j的步骤D2a)之前，在图6A的解码方法中实现管理图7A的缓冲存储器MT_D1的步骤D10a)，

-和/或在解码所述至少一个当前视图V_u,j的步骤D2b)之前，在图6B的解码方法中实现管理图7B的缓冲存储器MT_D2的步骤D10b)。

步骤D10a)由图7A中所表示的管理设备MG_D1来实现。

步骤D10b)由图7B中所表示的管理设备MG_D2来实现。

这些步骤是可选的，其在图6A和图6B中用虚线表示。

根据本发明，在管理步骤D10a)或D10b)中，缓冲存储器被更新：

-根据将存储在缓冲存储器中的已被解码的视图与有待解码的所述至少一个当前视图分开的时间距离，

-和/或当当前多视图图像IMV_j之前的多视图图像的所有视图已经被解码时。

这种安排有利地使得可以节省缓冲存储器MT_D1或MT_D2的有限的资源。其还使得可以使缓冲存储器在编码器和解码器之间不同步，由于确定对于所述至少一个当前视图的解码以及已经在已确定的路径上绘制的尚未被解码的一个或多个视图的解码所必需的视图路径的步骤的实现，使得这种不同步成为可能。

根据第一示例，离至少一个当前视图最远存储的视图将首先离开缓冲存储器。根据第二示例，如果多视图图像的所有视图已经被解码，则其自动离开缓冲存储器。

不言而喻，上文已经描述的实施例纯粹通过完全非限制性的方式给出，并且在不脱离本发明的范围的情况下，本领域技术人员可以容易地做出多种修改。

Claims

1.一种用于解码属于多视图图像(IMV_j)的至少一个当前视图(V_u,j)的方法，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的至少一个其他视图(Vp_u,j；Vp1_u,j，Vp2_u,j)之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测，所述解码方法的特征在于，其实现以下步骤：

-在所述数据信号中或在表示另一个多视图图像的另一个数据信号中确定(D24a)；D21b))与至少一个视图相关联的经编码数据，所述至少一个视图对于所述至少一个当前视图的解码是必需的并且尚未被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图本身旨在被独立地或相对于已经被解码或尚未被解码的至少一个其他视图而被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图构成位于对于所述至少一个当前视图的解码所必需的至少一个视图路径(PR_u,j；PR'_u,j)上的视图，

-解码(D25a)；D22b))位于所述至少一个路径上的尚未被解码的所述至少一个视图，

-基于所述经编码数据集合以及位于所述至少一个路径上的所述至少一个已解码视图来解码(D26a)；D27b))所述至少一个当前视图。

2.如权利要求1所述的解码方法，包括：通过在所述数据信号中读取表示所述至少一个路径的信息来确定所述至少一个路径。

3.如权利要求1或权利要求2所述的解码方法，其中，当所述数据信号包括：

-表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的第一视图之间的差异的第一经编码数据(Vcq1_u,j)，

-表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的第二视图之间的差异的至少第二经编码数据(Vcq2_u,j)，

所述解码方法实现选择(D23b))所述第一经编码数据或所述至少第二经编码数据，所述至少一个当前视图的解码基于所述至少一个路径上的所述至少一个已解码视图以及基于所选择的所述第一经编码数据或所述至少第二经编码数据而实现。

4.如权利要求1至3中任一项所述的解码方法，其中，根据用于最小化位于所述至少一个路径上的视图的数量的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。

5.如权利要求1至3中任一项所述的解码方法，其中，根据用于最小化不参考其他视图已经被解码的至少一个视图与所述至少一个当前视图之间的距离的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。

6.如权利要求1至5中任一项所述的解码方法，其中，所述至少一个已确定的路径包含在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图所取决于的视图。

7.如权利要求1至5中任一项所述的解码方法，其中，通过借助于概率计算估计在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图来实现所述至少一个路径的确定。

8.如权利要求1至7中任一项所述的解码方法，其中，如果对于所述至少一个当前视图的解码所必需的所述至少一个视图路径由于至少一个解码约束而不能使得可以解码所述至少一个当前视图，则所述至少一个当前视图由在当前时刻的所述多视图图像的能够被解码的另一个视图代替，所述另一个视图是空间上最接近所述至少一个当前视图的视图。

9.如权利要求1至8中任一项所述的解码方法，其中，所述已解码并且可用的视图被存储在存储器中，所述存储器根据将所述视图与有待解码的所述至少一个当前视图分开的时间距离或者当在当前时刻的多视图图像之前的多视图图像的所有视图被解码时而被更新。

10.一种用于解码属于多视图图像(IMV_j)的至少一个当前视图(V_u,j)的设备，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的至少一个其他视图之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测，

所述解码设备的特征在于，其包括处理电路(CT_D1；CT_D2)，所述处理电路被设计为实现以下步骤：

-在所述数据信号中或在表示另一个多视图图像的另一个数据信号中确定与至少一个视图相关联的经编码数据，所述至少一个视图对于所述至少一个当前视图的解码是必需的并且尚未被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图本身旨在被独立地或相对于已经被解码或尚未被解码的至少一个其他视图而被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图构成位于对于所述至少一个当前视图的解码所必需的至少一个视图路径(PR_u,j；PR'_u,j)上的视图，

-解码位于所述至少一个路径上的尚未被解码的所述至少一个视图，

11.一种包括程序代码指令的计算机程序，当所述计算机程序在计算机上执行时，所述程序代码指令用于执行如权利要求1至9中任一项所述的解码方法的步骤。

12.一种可由计算机读取的记录介质，所述记录介质上记录有计算机程序，所述计算机程序包括当所述计算机程序在计算机上执行时用于执行如权利要求1至9中任一项所述的解码方法的步骤的程序代码指令。

13.一种用于编码至少一个多视图图像(IMV_j)的方法，其中实现所述多视图图像的至少一个当前视图(V_u,j)的编码，所述至少一个当前视图表示场景的给定视角，所述编码方法的特征在于，其实现：

-所述至少一个当前视图相对于所述多视图图像的或另一个多视图图像的第一视图(Vp1_u,j)的第一预测(C12b))，从而传递第一预测数据集合，

-所述至少一个当前视图相对于所述多视图图像的或另一个多视图图像的第二视图(Vp2_u,j)的至少一个第二预测(C12b))，从而传递至少一个第二预测数据集合，

14.一种用于编码至少一个多视图图像(IMV_j)的设备，所述设备包括处理电路(CT_C2)，所述处理电路被设计为实现所述多视图图像的至少一个当前视图的编码，所述至少一个当前视图表示场景的给定视角，

所述编码设备的特征在于，所述处理电路被进一步设计为实现：

-所述至少一个当前视图相对于所述多视图图像的或另一个多视图图像的第一视图的第一预测，从而传递第一预测数据集合，

-所述至少一个当前视图相对于所述多视图图像的或另一个多视图图像的第二视图的至少一个第二预测，从而传递至少一个第二预测数据集合，

15.一种包括指令的计算机程序，所述指令包括程序代码指令，当所述计算机程序在计算机上执行时，所述程序代码指令用于执行如权利要求13所述的编码方法的步骤。