CN101069430A - 分级多视角图像编码和解码装置及方法 - Google Patents

Abstract

提供了分级多视角图像编码和解码方法和装置。分级多视角图像编码和解码方法和装置使用运动补偿时域滤波(MCTF)或分层B－画面，对沿空域轴和时域轴方向的从多个摄像机输入的多视角图像进行滤波，并对滤波后的多视角进行分级编码。

Description

分级多视角图像编码和解码装置及方法

技术领域

本发明涉及图像编码和解码方法及装置。更具体地，本发明涉及使用运动补偿时域滤波(MCTF)或分层B-画面，沿空域轴和时域轴方向对来自多个摄像机的多视角图像输入进行滤波，并使用分级(scalable)视频编码(SVC)技术，对滤波后的多视角图像进行分级编码的分级多视角图像编码和解码方法及装置。

背景技术

期望数字广播服务从高分辨率电视(HDTV)和卫星/地波数字多媒体广播(DMB)服务发展至交互TV和广播服务、发展至三维(3D)TV和广播服务、然后发展至现实广播服务。现实广播服务以不同视点向观看者提供了与场景图像有关的信息。为了实现这种现实广播服务，必须生成全景图像。为了生成全景图像，使用位于不同视点的多个摄像机来获得图像。然后，将所获得的图像进行连接。可选地，可以使用全向摄像机系统来获得全景图像。必须使用多个摄像机来收集大量数据，并将它们进行传输，以向用户传递所获得的图像信息。因此，已经对收集与多视角图像有关的信息的不同方法进行了研究。例如，已经研究了多视角摄像机系统、立体摄像机系统和全向摄像机系统。多视角摄像机系统使用多(M)个摄像机，同时地拍摄或传输主题或场景，并向用户提供在不同位置处的M个摄像机提供的不同场景或三维(3D)场景。

多视角图像编码涉及同时地对从提供多视角图像的M个摄像机输入的图像进行编码。多视角图像编码还涉及压缩、存储和传输所编码的图像。当未经压缩地存储和传输多视角图像时，由于大量的多视角图像数据，所以需要大的传输带宽，以通过广播网络或有线/无线因特网，实时地向用户传输数据。例如，当以30帧/秒的速率，从16个摄像机输入24比特彩色图像(每个具有1310×1030像素的分辨率)时，必须处理14.4Gb/秒的数据。因此，运动图像专家组(MPEG)中的3D音频和视频子组组织了致力于设计多视角编码方法的小组。该小组尝试创造使用视频压缩的国际标准来对从多视角视频输入的大量图像数据进行编码的方法。

图1A至1C示出了传统多视角摄像机的排列。图2示出了分别和同时输入16个多视角摄像机的图像，这些摄像机在自由视点TV(FTV)系统中以4×4并列结构排列。图1A至1C分别示出了以并列结构、收敛结构和发散结构排列的多个摄像机10。

参照图2，分别输入16个摄像机的图像非常相似。换言之，在输入提供多视角图像的摄像机的图像之间，存在高相关性。因此，可以利用与输入摄像机的图像之间的高空域相关性有关的信息来实现在阿多视角视频编码中的高压缩效率。此外，需要空域-时域分级编码在不同的环境中呈现3D或2D图像，并且使用具有不同计算能力的终端。

因此，需要一种改进的装置和方法，用于对从多个摄像机输入的多视角图像沿空域轴和时域轴方向进行滤波，以支持多种空域-时域分级。

发明内容

                      技术方案

因此，本发明的示例性实施例的方面提供了分级多视角图像编码方法和装置，用于在空域和时域上在预定时间段内对从多个摄像机输入的多视角图像进行滤波，从而支持不同的空域-时域分级。

本发明的示例性实施例还提供了分级多视角图像解码方法和装置，用于对分级编码后的多视角图像的比特流进行解码，从而支持空域-时域分级。

                      有益效果

本发明在空域和时域上对多视角图像组进行滤波，并使用时域上相邻的图像之间的相关性，对滤波后的多视角图像组进行编码，从而提高了编码效率。此外，本发明提供了时域分级、视角(摄像机)空域分级、大小相关的空域分级和SNR分级。

附图说明

通过参照附图来详细描述本发明的示例性实施例，本发明的特定示例性实施例的以上和其它示例性目的将会变得更加显而易见，其中：

图1A至1C示出了传统多视角摄像机的排列；

图2示出了分别和同时输入在自由视点TV(FTV)系统中以4×4并列结构排列的16个多视角摄像机的图像；

图3是根据本发明示例性实施例的、示出了分级图像编码概念的概念性结构框图；

图4是根据本发明示例性实施例的分级图像编码装置的结构框图；

图5是示出了在用于根据本发明示例性实施例的运动补偿时域滤波(MCTF)的提升方案中执行的操作的概念图示；

图6是示出了使用根据本发明示例性实施例的Harr小波，在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示；

图7是示出了使用根据本发明示例性实施例的5/3样条小波，在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示；

图8是示出了根据本发明示例性实施例的基于块的MTCF预测操作的概念图示；

图9是示出了根据本发明示例性实施例的基于块的MTCF更新操作的概念图示；

图10是示出了根据本发明示例性实施例，在分级图像编码中实现时域分级过程的概念图示；

图11是示出了根据本发明示例性实施例，实现时域、空域和质量分级的分级结构的概念图示；

图12是示出了根据本发明示例性实施例的具有二进分层结构的分层B画面的概念图示；

图13是示出了根据本发明示例性实施例的没有二进分层结构的分层B画面的概念图示；

图14示出了根据本发明示例性实施例的包括分级多视角图像编码和解码装置的分级多视角图像编解码器的结构；

图15是根据本发明示例性实施例的分级多视角图像编码装置的结构框图；

图16是根据本发明示例性实施例的分级多视角图像编码方法的流程图；

图17示出了根据本发明示例性实施例的二维(2D)图像组；

图18示出了根据本发明示例性实施例，在空域上对多视角图像进行滤波的处理；

图19示出了根据本发明示例性实施例，用于对多视角图像进行分级编码的空域滤波和时域滤波之间的关系；

图20示出了根据本发明示例性实施例，在时域上对在空域滤波处理之后生成的空域低频图像进行滤波的过程；

图21示出了根据本发明示例性实施例，分级多视角图像编码过程；

图22至25示出了根据本发明示例性实施例，在分级多视角图像编码过程中生成的比特流；

图26是根据本发明示例性实施例的分级多视角图像解码装置的结构框图；

图27是示出了根据本发明示例性实施例的分级多视角图像解码方法的流程图；

图28示出了包括在图27的分级多视角图像解码方法中的逆滤波操作；

图29是根据本发明示例性实施例的向空域分级提供不同大小的图像的分级多视角图像编码装置的概念图示；以及

图30示出了根据本发明示例性实施例的完整数据流的配置，该完整数据流在分层结构中包括基于QCIF(四分之一公共中间格式)的2D QCIF核、CIF(公共中间格式)和4-CIF比特流。

在附图中，相同的附图参考数字将会理解为指代相同的元件、特征和结构。

具体实施方式

                    最佳实施模式

本发明示例性实施例的一方面提供了分级多视角图像编码方法和装置，用于在空域和时域上对在预定时间段内从多个摄像机输入的多视角图像进行滤波，从而支持不同的空域-时域分级。例如，本发明的示例性实施例提供了一种分级多视角图像编码的方法和装置，用于使用运动补偿时域滤波(MCTF)或分层B-画面，沿空域轴和时域轴方向对2D画面组(GOP)(这是沿时域轴和空域轴获得的多个图像的组合)进行滤波，并使用分级视频编码(SVC)技术，对滤波后的2DGOP进行分级编码。

本发明的示例性实施例还提供了分级多视角图像解码的方法和装置，用于对分级编码后的多视角图像的比特流进行解码，从而支持空域-时域分级。

根据本发明示例性实施例的一方面，提供了一种分级多视角图像编码方法。从M个摄像机输入M个图像，并在空域轴上进行滤波。通过使用空域运动补偿时域滤波(MCTF)或分层B-画面来对M图像进行滤波。生成了空域低频图像和(M-1)空域高频图像。使用时域MCTF或分层B-画面，对在N个时间段内生成的N个低频图像进行滤波。生成了时域低频图像和(N-1)个时域高频图像。根据分配给每组M×N二维(2D)图像的传输比特速率，对时域低频图像和(N-1)个时域高频图像进行分级编码。此外，参照分配给时域低频图像和(N-1)个时域高频图像的传输比特速率，对(M-1)个空域高频图像进行分级编码。

根据本发明示例性实施例的另一方面，提供了一种分级多视角图像编码装置。空域图像滤波单元对从M个摄像机输入的空域轴上的M个图像进行滤波。通过使用空域MCTF或分层B-画面，对M个图像进行滤波，并生成了空域低频图像和(M-1)个空域高频图像。通过使用时域MCTF或分层B-画面，时域图像滤波单元对N个时间段内生成的N个空域低频图像进行滤波，并生成了时域低频图像和(N-1)个时域高频图像。时域图像分级编码单元根据分配给每组M×N二维(2D)图像的传输比特速率，对该时域低频图像和(N-1)个时域高频图像进行分级编码。空域图像分级编码单元根据分配给时域低频图像和(N-1)个时域高频图像的传输比特速率，对(M-1)个空域高频图像进行分级编码。

根据本发明示例性实施例的另一方面，提供了一种分级多视角图像解码方法。与空域-时域低频和高频图像相对应地接收分级编码后的比特流，其中，在使用MCTF或分层B-画面，对在N个时间段内从M个摄像机输入2D图像组进行空域和时域上的滤波之后，生成该空域-时域低频和高频图像。对包括在比特流中的分级编码后的时域低频和高频图像进行解码。通过使用时域逆-MCTF或分层B-画面，对解码后的时域低频和高频图像进行逆滤波，并对空域低频图像进行了重构。对包括在比特流中的分级编码空域高频图像进行解码，通过使用时域逆-MCTF或分层M-画面，对所重构的空域低频图像和解码后的空域高频图像进行逆滤波，并对图像进行重构。

根据本发明示例性实施例的另一方面，提供了一种分级多视角图像解码装置。时域图像解码单元接收与空域-时域低频和高频图像相对应的分级编码后的比特流，其中，在使用MCTF或分层B-画面，对在N个时间段内从M个摄像机输入2D图像组进行空域和时域上的滤波之后，生成该空域-时域低频和高频图像。对包括在比特流中的分级编码后的时域低频和高频图像进行解码。时域逆滤波单元使用时域逆-MCTF或分层B-画面，对解码后的时域低频和高频图像进行逆滤波，并对空域低频图像进行了重构。空域图像解码单元对包括在比特流中的分级编码空域高频图像进行解码，空域逆滤波单元使用时域逆-MCTF或分层M-画面，对所重构的空域低频图像和解码后的空域高频图像进行逆滤波，并对图像进行重构。

本发明的其它目的、优点和显著特征将从以下的详细描述中对于本领域技术人员来说变得显而易见，以下的详细描述结合附图，公开了本发明的示例性实施例。

                  实现本发明的方式

提供在该描述中定义的问题(如，详细构造和元件)，以帮助全面理解本发明的实施例。因此，本领域普通技术人员将会理解，可以在不偏离本发明的范围和精神的情况下，做出对这里描述的实施例的不同改变和修改。此外，为了清楚和简明，省略了熟知的描述和构造。现在将对应用于本发明实施例的分级图像编码和分层B-画面进行描述，以促进对本发明的理解。

分级图像编码涉及将具有不同分辨率的图像信息、帧速率和视觉质量转换为一个比特流，并根据不同的环境和具有不同处理能力的终端来提供比特流。

图3是示出了分级图像编码的概念图示。图4是分级图像编码装置的概念性结构框图。图3和4示出了分级图像编码，其中，使用时域变换32在时域上对输入视频31进行分级，并使用2D空域变换33在空域上对输入视频31进行分级。此外，使用纹理编码34在质量上对输入视频31进行分级。运动编码35对实现空域分级时获得的运动信息进行分级编码。结果，生成了比特流36。

在分级图像编码中，使用运动补偿时域滤波(MCTF)和分层B-画面来提供时域分级并提高压缩效率。

MCTF涉及在图像序列中沿时域轴方向的与运动有关的信息，来执行小波变换。使用提升方案来执行小波变换。使用提升方案来有效地执行小波变换。提升方案在没有执行量化时保证了完全重构图像。提升方案包括多相分解操作、预测操作和更新操作。

图5是示出了在用于MCTF中的提升方案中执行的操作的概念图示。在本说明书中，在附图中以下标示出了在方括号内表示的等式部分。参照图5，将输入信号s[k]划分为偶数数字信号s[2k]和奇数数字信号s[2k+1]。从奇数数字信号s[2k+1]中减去偶数数字信号s[2k]的初始组合组成的预测操作符P(s[2k+1])，以获得高频信号h[k]。将由高频信号h[k]的初始组合组成的更新操作符U(s[2k])与偶数数字信号s[2k]相加，以获得低频信号l[k]。该过程由以下定义：

h[k]＝s[2k+1]-P(s[2k])，其中 $P\left(s\right[2k\left]\right)={\underset{i}{Q}}_{p_{i}s}\left[2(k+i)\right]$

h[k]＝s[2k]+U(h[k])，其中 $U\left(h\right[k\left]\right)={\underset{i}{Q}}_{u_{i}h}[k+i],---\left(1\right)$

在图5中，参考符号F_l和F_h分别表示低频信号和高频信号。在逆提升方案中，当对逆分级高频信号h[k]和逆分级低频信号l[k]执行更新操作和预测操作时，可以获得完全重构信号。使用Haar小波的提升方案由以下定义：

h[k]＝s[2k+1]-P_Haar(s[2k+1])

    ＝s[2k+1]-s[2k]

$l\left[k\right]=s\left[2k\right]+U_{\mathrm{Haar}}\left(s\right[2k\left]\right)$

$=s\left[2k\right]+\frac{1}{2}h\left[k\right],---\left(2\right)$

在这种情况下，在对奇数数字信号s[2k+1]执行的预测操作之后，即，在从奇数数字信号s[2k+1]中减去偶数数字信号s[2k]之后，获得高频信号h[k]。此外，在对偶数数字信号s[2k]执行更新操作之后，即，在将高频信号h[k]与偶数数字信号s[2k]相加之后，获得低频信号l[k]。等式3将逆提升方案定义如下：

$s\left[2k\right]=l\left[k\right]-U_{\mathrm{Haar}}\left(h\right[k\left]\right)$

$=l\left[k\right]-\frac{1}{2}h\left[k\right]$

$=s\left[2k\right]+\frac{1}{2}h\left[k\right]-\frac{1}{2}h\left[k\right]$

$=s\left[2k\right]$

s[2k+1]＝h[k]+s[2k]

       ＝s[2k+1]-s[2k]+s[2k]

       ＝s[2k+1]

，...(3)

在这种情况下，在对低频信号l[k]执行更新操作之后，即，在从低频信号l[k]中减去高频信号h[k]的一半之后，获得偶数数字信号s[2k]。此外，在针对高频信号h[k]执行预测操作之后，即，在将重新配置的偶数数字信号s[2k]与高频信号h[k]相加之后，获得奇数数字信号s[2k+1]。在提升方案中的这些过程执行之后，可以获得完全重构图像。

当假设图像信号s[x，k]可以具有空域坐标x＝(x，y)^T和时域坐标k来进行时域上的配置时，使用Harr小波的预测操作和更新操作由以下来定义：

P_Haar(s[x，2k+1])＝s[x，2k]

，…(4)

图6是示出了使用Harr小波，在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示。参照图6，L0表示原始图像序列、以及H1表示从第二L0图像中减去第一L0图像之后获得的剩余图像(预测操作)。L1表示通过加上图像而获得的图像(更新操作)，其中，所加的图像是在将第一L0图像加在与1/2相乘的H1剩余图像上之后获得的。将这些操作应用于L1图像以生成H2剩余图像和L2图像。还将这些操作应用于L2图像以生成H3剩余图像和L4图像。对所生成的图像(以L3、H3、H2、H2、H1、H1、H1和H1的顺序排列)进行编码，然后传输至解码端。

使用5/3样条小波的预测和更新操作由以下定义：

$P_{5/3}\left(s\right[x,2k+1\left]\right)=\frac{1}{2}\left(s\right[x,2k]+s[x,2k+2\left]\right)$

$U_{5/3}\left(s\right[x,2k\left]\right)=\frac{1}{4}\left(h\right[x,k]+h[x,k-1\left]\right)$

，…(5)

图7是示出了使用5/3样条小波，在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示。参照图7，L0表示原始图像序列，以及H1表示通过从偶数数字L0图像中减去图像所获得的剩余图像。在偶数数字L0图像两侧的奇数数字L0图像分别乘以1/2之后获得所减图像。L1表示通过将图像(该图像在将奇数数字L0图像两侧的H1剩余图像分别乘以1/4之后获得)加在奇数数字L0图像上所获得的图像。对所生成的图像(以L3、H3、H2、H2、H1、H1、H1和H1的顺序排列)进行编码，然后传输至解码端。

如果沿运动方向执行包括在提示方案中的预测和更新操作，则这些操作与MCTF相同。当使用AVC(高级视频编码)的多参考(multiple-reference)时，将使用Harr滤波器和5/3样条小波的预测和更新操作定义为：

P_Harr(s[x，2k+1])＝s[x+m_P0，2k-2r_P0]

$U_{\mathrm{Haar}}\left(s\right[x,2k\left]\right)=\frac{1}{2}h[x+m_{U0,}k+r_{U0}]$

$P_{5/3}\left(s\right[x,2k+1\left]\right)=\frac{1}{2}\left(s\right[x+m_{P0,}2k-2r_{P0}]+s[x+m_{P1},2k+2+{2r}_{P1}\left]\right)$

$U_{5/3}\left(s\right[x,2k\left]\right)=\frac{1}{4}\left(h\right[x+m_{U0,}k+r_{U0}]+h[x+m_{U1},k-1-r_{U1}\left]\right)$

，…(6)，其中，m表示运动向量，以及r(r≥0)表示参考图像的指数。

图8是示出了基于块的MTCF预测操作的概念图示。当对作为帧内(I)块的当前块的预测进行改进时，将当前块作为I块进行编码。当对与双向当前块相对应的高频块的预测进行改进时，如在5/3样条小波中，从当前块中减去分别乘以1/2的参考块。当沿一个方向对与当前块相对应的高频块的预测进行改进时，如在Harr小波中，从当前块中减去参考块。当参考块没有紧邻当前块放置、而是在时域上远离当前块放置，则使用多参考。

图9是示出了基于块的MCTF更新操作的概念图示。当对作为帧内(I)块的当前块的预测时，如在以上描述的基于块的预测操作中所述，将当前块作为I块进行编码。当对与双向当前块相对应的低频块的预测进行改进时，如在5/3样条小波中，将分别乘以1/4的参考块加在当前块上。当沿一个方向对与当前块相对应的低频块的预测进行改进时，如在Harr小波中，将分别乘以1/2的参考块加在当前块上。当参考块远离当前块放置时，使用多参考。

在分级图像编码中，可以使用两种方法来实现分级。一种方法使用比特平面编码技术，以及另一种方法使用通常用于传统分级标准中的分层技术。可以使用这两种方法来实现空域、时域和质量分级。

图10是示出了在分级图像编码中实现时域分级的过程的概念图示。为了实现时域分级，使用MCTF，将基于GOP的原始图像序列分为时域子带图像，并将每个子带指定为层，参照图10，将在执行了三次MTCF之后生成的低频图像L3指定为基础层。因此，可以支持1/12帧速率。在执行了三次MCTF之后生成的高频图像H3和基础层的低频图像L3用于支持1/4帧速率。类似地，将三个高频图像H2和三个低频图像L2用于支持1/2帧速率。最后，将六个高频图像H1和低于这六个高频图像H1的层的层中的图像用于支持完整的帧速率。

可以使用诸如MPEG-2或MPEG-4之类的分层方法来提供空域分级。使用比特平面编码方法来实现质量分级，比特平面编码方法使用了基于块的精细分级(FGS)。在一点切断FGS增强比特流，并将它附在基础层上，以提供增强层的图像。可以使用基于上下文的编码来实现质量分级。

图11是实现了时域、空域和质量分级的分级结构的概念图示。参照图11，空域基础层可以具有QCIF 15Hz的帧速率，并使用分层B-画面结构来实现时域分级。这允许空域基础层支持高达7.5Hz的帧速率。空域基础层的基本比特速率是41Kbps，并根据AVC语法来执行编码。可以使用FGS，在基础层上实现质量分级，从而支持高达80Kbps的比特速率。对QCIF 15Hz和80Kbps图像进行上采样，以用作上空域分级层中的参考点。上空域层可以具有CIF 30Hz的帧速率，通过MCTF编码来实现时域分级，并提供高达1.875Hz的帧速率。上空域层的基本比特速率是115Kbps，以及可以使用FGS，在上空域层上实现质量分级，从而支持高达256Kbps的比特速率。

现在将对用于对多视角图像进行滤波的分层B-画面和MCTF进行描述。

可以使用用于管理解码后的画面缓冲器的存储管理控制操作(MMCO)和参考画面列表重新排序(RPLP)的语法，以不同的方式来实现分层B-画面，其中，该解码后的画面缓冲器(DPB)可以存储用于H.264编码方法中的16个画面。

图12是示出了具有二进分层结构的分层B-画面的概念图示。优选地，GOP包括8个画面。参照图12，如在传统的图像编码标准中，将图像序列中的第一画面编码为I画面或IDR画面。将GOP中的最后画面成为关键画面(key picture)，并可以编码为I画面或P画面。在图12中，当对关键画面进行解码时，可以支持1/8帧速率。当对关键画面和B1画面进行解码时，可以支持1/4帧速率。当对关键画面、B1画面和B2画面进行解码时，可以支持1/2帧速率。当对关键画面、B1画面、B2画面和B3画面进行解码时，可以支持完整的帧速率。

图13是示出了没有二进分层结构的分层B画面的概念图示。由于帧速率随不同情况而改变，所以不可以总是二进地(dyadically)配置GOP。因此，B-画面还应当能够支持非二进GOP结构，以最终支持具有不同帧速率的所有情况。在图13中，当对关键画面进行解码时，可以支持1/12的帧速率。当对关键画面和B1画面进行解码时，可以支持1/6帧速率。当对关键画面、B1画面和B2画面进行解码时，可以支持1/3帧速率。当对关键画面、B1画面、B2画面和B3画面进行解码时，可以支持完整的帧速率。

在本发明的示例性实施例中，使用以上描述的MCTF或分层B-画面对图像进行滤波。现在将描述使用MCTF对图像进行滤波的方法。然而，本领域的普通技术人员将易于理解，可以以类似的方式，使用分层B-画面对多视角图像在空域和时域上进行滤波。

现在将描述根据本发明示例性实施例的分级多视角图像编码方法和装置。

该方法和装置将多视角图像转换为一个比特流，以提供不同的分辨率、帧速率和质量。该方法和装置还根据具有不同处理能力的不同终端，将多视角图像转换为一个比特流来提供比特流。

图14示出了包括分级多视角图像编码和解码装置的分级多视角图像编解码器的结构。参照图14，多视角分级图像编解码器包括多视角图像编码单元1420、部分比特流生成单元1430和多视角图像解码单元1440。多视角图像编码单元1420针对从多个摄像机1410接收的多视角图像来执行分级编码，并生成具有时域、空域和质量分级的完全比特流。部分比特流生成单元1430生成部分比特流，从而可以根据时域、空域和质量分辨率来对完全比特流进行部分解码。通过多视角图像解码单元1440对完全比特流或部分比特流进行重构，并在显示单元1450上显示。

图15是根据本发明示例性实施例的分级多视角图像编码装置1500的结构框图。图16是示出了根据本发明示例性实施例的分级多视角图像编码方法的流程图。参照图15，分级多视角图像编码装置1500包括空域图像滤波单元1510、时域图像滤波单元1520、空域图像分级编码单元1530、空域图像分级编码单元1540、比特速率控制单元1550、以及多路复用单元1560。

空域图像滤波单元1510使用MCTF或分层B-画面，对在N个时间段内从M个摄像机输入的空域轴上的2D图像组进行空域滤波(操作1610)。在空域轴上的2D图像组中，对所输入的图像同时进行空域滤波。在空域滤波之后，生成了空域低频图像和(M-1)个空域高频图像。空域图像滤波单元1510可以具有在其中使用从M个摄像机输入的M个图像的闭环结构，并在N个时间段内重复空域滤波。

时域图像滤波单元1520使用MCTF或分层B-图像结构，对在空域滤波之后生成的N个空域低频图像进行滤波(操作1620)。在对N个时间段内由空域图像滤波单元1510生成的空域低频图像进行时域滤波之后，生成了时域低频图像和(N-1)个时域高频图像。时域图像滤波单元1520可以具有开环结构，其中，使用MCTF或分层B-画面对在先前的2D图像组之后先前生成的时域低频图像进行滤波。

由比特速率控制单元1550来控制时域图像分级编码单元1530。时域图像分级编码单元1530根据分配给2D图像组的传输比特速率和所需的时域分辨率，针对由时域图像滤波单元1530生成的时域低频图像和(N-1)个时域高频图像执行编码(操作1630)。在分级编码中，以与广为人知的分级编码方法相同的方式来执行以上描述的2D空域变换、纹理编码和运动编码。

空域图像分级编码单元1540考虑了分配给时域低频图像和(N-1)个时域高频图像的比特速率、以及所需的空域分辨率，针对由空域图像滤波单元1510生成的(M-1)个空域高频图像来执行分级编码(操作1640)。

多路复用单元1560对由时域图像分级编码单元1530和空域图像分级编码单元1540进行编码的空域-时域低频和高频图像进行多路复用，并输出比特流(操作1650)。

现在将更加详细地描述分级多视角图像编码方法和装置。

图17示出了根据本发明示例性实施例的2D图像组(以下，称为2D GOP)。为了针对从多个摄像机输入的多视角图像来执行分级编码，本发明的示例性实施例使用了不同于在一个时间段内从一个摄像机输入的传统的GOP。2D GOP组包括以预定时间间隔从M个多视角摄像机输入的空域轴上的M个图像、以及在N个时间段内从M个多视角摄像机输入的时域轴上的N个图像。换言之，沿空域轴方向从M个摄像机输入M个图像，以及沿空域轴方向从M个摄像机输入N个图像，以形成M×N 2D图像组。在这种情况下，对于使用MCTF或分层B-画面的滤波操作，M＝2^m、以及N＝2ⁿ(其中，m和n是整数)。

作为示例，图17示出了在从包括8个摄像机的多视角摄像机1710输入沿时域轴方向的8个图像时形成的2D GOP 1720。在图17中，在以时域顺序的摄像机下面，示出了分别从8个摄像机输入的沿时域轴方向的顺序图像。F_xy表示在第y时间处从第x个摄像机输入的图像。例如，F₀₀，F₁₀，F₂₀，F₃₀，F₄₀，F₅₀，F₆₀和F₇₀表示从包括在多视角摄像机1710中的摄像机首先输入的图像。此外，F₀₀，F₀₁，F₀₂，F₀₃，F₀₄，F₀₅，F₀₆，F₀₇和F₀₈表示沿时域轴方向，从第一摄像机顺序输入的图像。

本发明的示例性实施例沿空域轴和时域轴方向，针对2D GOP1720来执行MCTF，用于部分空域解码和部分时域解码。传统技术使用MCTF或分层B画面，对时域轴上的多视角图像进行滤波。本发明的示例性实施例不同于传统技术之处在于，包括了空域滤波过程，其中，使用MCTF或分层B画面，对同时从M个摄像机输入的多视角图像进行滤波，以生成空域低频图像和(M-1)个空域高频图像；以及包括了时域滤波过程，其中，使用MCTF或分层B画面，对在空域滤波过程之后生成的M个空域低频图像进行时域滤波，以生成时域低频图像和(N-1)个时域高频图像。

图18示出了根据本发明示例性实施例的空域滤波多视角图像的过程。如上所述，由空域图像滤波单元1510执行的多视角图像的空域滤波涉及将图17中示出的2D GOP 1720中空域轴上同时输入的多视角图像分解为低频和高频图像。可以将以上描述的MCTF或分层B-画面用于空域滤波。空域滤波可以具有闭环结构，其中，使用了从M个摄像机输入的M个图像。在图18中，L0图像1810表示从包括8个摄像机的多视角摄像机1710分别和同时输入的原始图像。换言之，L0图像1810表示在图17中示出的2D GOP 1720中的第i时间处，从摄像机同时输入的F_0i，F_1i，F_2i，F_3i，F_4i，F_5i，F_6i和F_7i。例如，L0图像1810可以是F01，F11，F21，F₃₁，F₄₁，F₅₁，F₆₁和F₇₁。如以上所述，在MCTF中，可以在从偶数数字摄像机的输入L0图像(从偶数数字摄像机两侧的摄像机输入，并分别乘以1/2)中减去L0图像之后，来获得H1剩余图像(预测操作)。在将H1剩余图像(从奇数数字摄像机两侧的摄像机输入，并分别乘以1/4)加在从奇数数字摄像机输入的图像上之后，获得L1图像(更新操作)。将通过该过程，同时从8个摄像机输入的多视角图像分解为低频图像L3和7个高频图像H1，H2，H1，H3，H1，H2和H1。以预定顺序对空域滤波之后生成的低频图像L3和高频图像H1，H2，H1，H3，H1，H2和H1进行分级编码。

图19示出了根据本发明的示例性实施例，用于对多视角图像进行分级编码的空域滤波和时域滤波之间的关系。如上所述，时域图像滤波单元1510使用MCTF或分层B画面，沿空域轴方向，对空域轴上的图像(同时从多个摄像机输入)进行空域滤波。时域图像滤波单元还将在第i时间处输入的图像分解为空域低频图像和多个空域高频图像。对分别从摄像机输入的第一图像1930中的L0图像进行帧内编码。对空域轴上的其它图像H₀₁，H₀₂，H₀₃，H₀₄，H₀₅，H₀₆，和H₀₇进行空域滤波。对在第一图像1930之后在第i时间处输入的八个图像进行空域滤波，并分解为空域低频图像和七个空域高频图像。针对2D GOP中同时输入的图像重复地执行这种空域滤波过程。因此，将2D GOP中的图像分解为N(＝8)个低频图像{L₁，L₂，L₃，L₄，L₅，L₆，L₇，L₈}和(M-1)×N个高频图像{H₁₁，H₁₂，H₁₃，H₁₄，H₁₅，H₁₆，H₁₇}，{H₂₁，H₂₂，H₂₃，H₂₄，H₂₅，H₂₆，H₂₇}，{H₃₁，H₃₂，H₃₃，H₃₄，H₃₅，H₃₆，H₃₇}，{H₄₁，H₄₂，H₄₃，H₄₄，H₄₅，H₄₆，H₄₇}，{H₅₁，H₅₂，H₅₃，H₅₄，H₅₅，H₅₆，H₅₇}，{H₆₁，H₆₂，H₆₃，H₆₄，H₆₅，H₆₆，H₆₇}，{H₇₁，H₇₂，H₇₃，H₇₄，H₇₅，H₇₆，H₇₇}和{H₈₁，H₈₂，H₈₃，H₈₄，H₈₅，H₈₆，H₈₇}。将沿空域轴方向的八个图像(分别从八个摄像机输入)分解为空域低频图像和七个低频图像以生成{L_i，H_i1，H_i2，H_i3，H_i4，H_i5，H_i6，H_i7}。

空域图像滤波单元1520使用MCTF或分层B画面，对时域轴上的N(＝8)个空域低频图像1911进行时域滤波，并生成时域低频图像L_T和时域高频图像{H_T1，H_T2，H_T3，H_T4，H_T5，H_T6，和H_T7}组1920。在对2D GOP进行时域滤波时，稍后使用在时域轴上生成的低频图像L_T进行时域滤波。

图20示出了根据本发明的示例性实施例，对在空域滤波过程之后生成的空域低频图像进行时域滤波的过程。图20示出了对八个时间单元内分别从八个摄像机输入的2D图像组进行时域滤波的情况。参照图20，第一L0图像1912是之前的2D GOP中的低频图像，这是在时域滤波过程之后最新生成的图像，并在预测操作中被参考。

在多视角图像序列的起始处，从每个摄像机输入的第一组图像1911不包括在2D GOP中，而后续组图像包括在2D GOP中。在从摄像机输入的第一组图像1911中，对从第一摄像机输入的图像进行帧内编码，以及对其它图像进行空域滤波和编码。除了在时域滤波过程中使用在空域滤波过程之后生成的空域低频图像之外，对2D GOP进行时域滤波与MCTF相同。以预定顺序，对在时域滤波过程之后生成的时域低频图像和时域高频图像进行分级编码。

图21示出了根据本发明示例性实施例的分级多视角图像编码过程。现在将参照图21来描述对8×82D图像组进行空域和时域滤波，并对滤波后的图像进行编码的过程。

使用MCTF或分层B画面，对从M(例如，八)个摄像机S0至S7输入的第一组图像中的L⁰¹ ₀图像进行帧内编码，以及沿空域轴方向，对空域轴方向上的其它(M-1)个图像进行空域滤波、然后编码。因此，以H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄的顺序生成了比特流。

在对从8个摄像机输入的第一组图像进行编码之后，依次对每个2D GOP中的M×N个图像(在本实施例中，M＝8、以及N＝8)进行处理。

无论何时沿时域轴方向从M个摄像机输入N(＝8)个2D GOP中的每个时，沿空域轴方向执行空域滤波。结果，在每个第i时域轴上生成了包括L^iT ₀，H^iS ₁₁，H^iS ₂₁，H^iS ₁₂，H^iS ₃，H^iS ₁₃，H^iS ₂₂，H^iS ₁₄的空域低频图像和(M(＝8)-1)个空域高频图像。

对在空域滤波过程之后生成的N(＝8)个空域低频图像{L^1T ₀，L^2T ₀，...，L^8T ₀}进行时域滤波，以生成一个时域低频图像L^8T ₀和(N(＝8)-1)个时域高频图像{L^1T ₁₁，L^2T ₂₁，L^3T ₁₂，L^4T ₃，L^5T ₁₃，L^6T ₂₂，L^7T ₁₄，L^8T ₀}的图像组。

如上所述，当使用MCTF对M×N图像组进行空域和时域滤波时，将包括在该组中的M×N图像转换为一个低频图像和(M×N-1)个高频图像。然后，根据时域分辨率，对用作参考图像的时域轴上的图像进行分级编码，并对空域轴上相应的图像进行编码。时域图像分级编码单元1530在比特速率控制单元1550的控制下，以分配给M×N图像组的传输比特速率，针对时域低频和高频图像执行时域分级编码，以将该组传输至解码端。以与传统的H.264编码方法类似的方式来执行时域分级编码方法。将作为空域-时域滤波的结果生成的图像确定为帧内块或帧间块。使用纹理编码来对帧内块进行编码，以及使用运动向量和剩余信号来对帧间块进行编码。当对所有图像进行编码时，比特速率控制单元1550控制可以传输从多个摄像机输入的图像的比特速率。例如，当目标比特速率时512Kbps、以及从8个摄像机输入的图像具有总共100个帧时，当对完整的1000个帧进行编码时的平均传输比特速率必须是512kbps。因此，比特速率控制单元1550将一比特的特定大小分配给每个2D GOP、或每个编码图像，从而在对所有图像进行编码时生成平均比特速率，并满足了目标比特速率。可以使用不同的方法来实现比特速率控制单元1550。

空间图像分级编码单元1540考虑了分配给时域高频图像{H^1T ₁₁，H^2T ₂₁，H^3T ₁₂，H^4T ₃，H^5T ₁₃，H^6T ₂₂，H^7T ₁₄，L^8T ₀}的比特和所需的空域分辨率，针对每个第i时间轴上的空域高频图像{H^iS ₁₁，H^iS ₂₁，H^iS ₁₂，H^iS ₃，H^iS ₁₃，H^iS ₂₂，H^iS ₁₄}组来执行空域分级编码。

以{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}的顺序生成了在时域分级编码之后生成的时域低频和高频图像的比特流，并传输至解码端。传输顺序从在MCTF中最新生成的基础层开始。然后，在基础层之后是上面的增强层。

将空域轴上图像的比特流以相同的传输顺序传输至解码端，作为时域低频和高频图像的比特流。换言之，由于首先传输了时域轴上的L^8T的比特流，所以传输了在第8空域轴上的图像{H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄}的比特流。此外，由于传输了下一时域轴上的H^4T的比特流，所以传输了{H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄}的比特流。该过程需要在解码端处的部分时域解码和部分空域解码。将空域轴上的空域高频图像组的比特流以{(H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄)，(H^2S ₃，H^2S ₂₁，H^2S ₂₂，H^2S ₁₁，H^2S ₁₂，H^2S ₁₃，H^2S ₁₄)，(H^6S ₃，H^6S ₂₁，H^6S ₂₂，H^6S ₁₁，H^6S ₁₂，H^6S ₁₃，H^6S ₁₄)，(H^1S ₃，H^1S ₂₁，H^1S ₂₂，H^1S ₁₁，H^1S ₁₂，H^1S ₁₃，H^1S ₁₄)，(H^3S ₃，H^3S ₂₁，H^3S ₂₂，H^3S ₁₁，H^3S ₁₂，H^3S ₁₃，H^3S ₁₄)，(H^5S ₃，H^5S ₂₁，H^5S ₂₂，H^5S ₁₁，H^5S ₁₂，H^5S ₁₃，H^5S ₁₄)，(H^7S ₃，H^7S ₂₁，H^7S ₂₂，H^7S ₁₁，H^7S ₁₂，H^7S ₁₃，H^7S ₁₄)的顺序传输至解码端。对于每个2D GOP的完整图像序列重复上述过程。

可以根据空域和时域分辨率来配置在对多视角图像进行分级编码的过程中生成的比特流。现在将描述根据时域分辨率的比特流配置的示例。

参照图21，具有完全时域分辨率的比特流可以具有与2D GOP中的所有图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}，{(H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄)，(H^2S ₃，H^2S ₂₁，H^2S ₂₂，H^2S ₁₁，H^2S ₁₂，H^2S ₁₃，H^2S ₁₄)，(H^6S ₃，H^6S ₂₁，H^6S ₂₂，H^6S ₁₁，H^6S ₁₂，H^6S ₁₃，H^6S ₁₄)，(H^1S ₃，H^1S ₂₁，H^1S ₂₂，H^1S ₁₁，H^1S ₁₂，H^1S ₁₃，H^1S ₁₄)，(H^3S ₃，H^3S ₂₁，H^3S ₂₂，H^3S ₁₁，H^3S ₁₂，H^3S ₁₃，H^3S ₁₄)，(H^5S ₃，H^5S ₂₁，H^5S ₂₂，H^5S ₁₁，H^5S ₁₂，H^5S ₁₃，H^5S ₁₄)，(H^7S ₃，H^7S ₂₁，H^7S ₂₂，H^7S ₁₁，H^7S ₁₂，H^7S ₁₃，H^7S ₁₄)}有关的信息。

具有半时域分辨率的比特流包括与图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}，{(H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄)，(H^2S ₃，H^2S ₂₁，H^2S ₂₂，H^2S ₁₁，H^2S ₁₂，H^2S ₁₃，H^2S ₁₄)，(H^6S ₃，H^6S ₂₁，H^6S ₂₂，H^6S ₁₁，H^6S ₁₂，H^6S ₁₃，H^6S ₁₄)}有关的信息。对时域滤波过程之后生成的图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}中时域轴方向上的四个图像进行编码，以及沿空域轴方向的相应高频图像包括在具有半时域分辨率的比特流中。

具有1/4时域分辨率的比特流包括与图像{L^8T ₀，H^4T ₃}，{(H^8T ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄)}有关的信息。换言之，对在时域滤波过程之后生成的{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}中的时域轴方向上的两个图像进行编码，以及沿空域轴方向的相应高频图像包括在具有1/4时域分辨率的比特流中。

具有1/8时域分辨率的比特流包括与图像{L^8T ₀}，{(H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)}有关的信息。

现在将描述根据空间分辨率的比特流配置的示例。在本发明的示例性实施例中，空域分辨率表示从多个摄像机图像提供给用户的视角分辨率。例如，具有完全视角分辨率的比特流包含所有摄像机的编码图像，具有1/2视角分辨率的比特流包含所有摄像机图像中的所选1/2摄像机图像的编码图像，以及具有1/4视角分辨率的比特流包含所有摄像机图像中的所选1/4摄像机图像的编码图像。

参照图21，类似于具有完全时域分辨率的比特流，具有完全空域分辨率的比特流可以具有与2D GOP中的所有图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}，{(H^8S ₃，H^8S ₂₁，H^8S ₂₂，H^8S ₁₁，H^8S ₁₂，H^8S ₁₃，H^8S ₁₄)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂，H^4S ₁₁，H^4S ₁₂，H^4S ₁₃，H^4S ₁₄)，(H^2S ₃，H^2S ₂₁，H^2S ₂₂，H^2S ₁₁，H^2S ₁₂，H^2S ₁₃，H^2S ₁₄)，(H^6S ₃，H^6S ₂₁，H^6S ₂₂，H^6S ₁₁，H^6S ₁₂，H^6S ₁₃，H^6S ₁₄)，(H^1S ₃，H^1S ₂₁，H^1S ₂₂，H^1S ₁₁，H^1S ₁₂，H^1S ₁₃，H^1S ₁₄)，(H^3S ₃，H^3S ₂₁，H^3S ₂₂，H^3S ₁₁，H^3S ₁₂，H^3S ₁₃，H^3S ₁₄)，(H^5S ₃，H^5S ₂₁，H^5S ₂₂，H^5S ₁₁，H^5S ₁₂，H^5S ₁₃，H^5S ₁₄)，(H^7S ₃，H^7S ₂₁，H^7S ₂₂，H^7S ₁₁，H^7S ₁₂，H^7S ₁₃，H^7S ₁₄)}有关的信息。

具有半空域分辨率的比特流是具有与从8个摄像机中的四个中输入的图像有关的信息的比特流。这包括与图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}，{(H^8S ₃，H^8S ₂₁，H^8S ₂₂)，(H^4S ₃，H^4S ₂₁，H^4S ₂₂)，(H^2S ₃，H^2S ₂₁，H^2S ₂₂)，(H^6S ₃，H^6S ₂₁，H^6S ₂₂)，(H^1S ₃，H^1S ₂₁，H^1S ₂₂)，(H^3S ₃，H^3S ₂₁，H^3S ₂₂)，(H^5S ₃，H^5S ₂₁，H^5S ₂₂)，(H^7S ₃，H^7S ₂₁，H^7S ₂₂)}有关的信息。比特流包括与从奇数数字摄像机中输入的图像有关的信息，即，在图21中示出的8个摄像机S0至S7中的S0、S2、S4和S6。

具有1/4空域分辨率的比特流是具有与从8个摄像机中的2个中输入的与图像有关的信息的比特流。这包括与图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}，{(H^8S ₃)，(H^4S ₃)，(H^2S ₃)，(H^6S ₃)，(H^1S ₃)，(H^3S ₃)，(H^5S ₃)，(H^7S ₃)}有关的信息。

具有1/8空域分辨率的比特流是具有与从一个摄像机至输入的图像有关的信息的比特流。这包括与图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}有关的信息。

图22至25示出了在分层多视角图像编码过程中生成的比特流。

图22示出了包括与2D GOP中的所有图像有关的信息的完全比特流，该完全比特流在根据本发明示例性实施例的对多视角图像进行分级编码的过程中生成。参照图21和22，{L^0I ₀，H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄}2200和2210的比特流是从八个摄像机输入的沿空域轴方向的第一2D GOP。在空域轴方向上的第一2D GOP之后，插入在时域滤波过程之后生成的时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}的比特流2215。然后，依次插入与时域低频和高频图像相对应的空域高频图像的比特流2220、2225、2230、2240、2245、2250和2255。依次将与时域低频图像L^4S ₀，L^2S ₀，L^6S ₀，L^1S ₀，L^3S ₀，L^5S ₀，L^7S ₀相对应的编码后的空域高频图像插入比特流。

图23示出了根据本发明的示例性实施例，在对多视角图像进行分级编码的过程中，沿空域轴方向部分编码的比特流。在图23中，对从图21中示出的摄像机S0、S1、S2、S4和S6中输入的图像进行处理。参照图21和23，在将从摄像机S0、S1、S2、S4和S6中输入的图像编码为具有半空域分辨率的比特流时，插入所有时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}的完整比特流2315。然而，不用插入所有空域高频图像。作为替代，插入与从摄像机S0、S1、S2、S4和S6中输入的图像相对应的空域高频图像的比特流2320，2325，2330，235，2340，2345，2350和2355。可以根据空域图像分级编码单元1540所需的空域分辨率来生成这种部分比特流，或者可以从完全比特流中提取这种部分比特流，并通过解码端进行重新配置。

图24示出了根据本发明的示例性实施例，在对多视角图像进行分级编码的过程中，沿时域轴方向部分编码的比特流。在图24中，以从完全时域分辨率降低的半时域分辨率，对比特流进行部分编码。参照图21至24，插入在时域滤波过程之后生成的时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}中的时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}2415的比特流。此外，插入与时域低频和高频图像相对应的空域高频图像的比特流2420，2425，2430和2435。

图25示出了根据本发明的示例性实施例，在对多视角图像进行分级编码的过程中，沿时域轴和空域轴方向进行部分编码的比特流。图25示出了根据部分比特流编码的半时域分辨率来处理从摄像机S0，S1，S2，S4和S6输入的图像的情况。

如上所述，当根据本发明的示例性实施例，使用分级多视角编码方法时，可以沿时域轴和空域轴方向，对空域-时域分辨率进行分级。分辨率的范围与M×N 2D图像组(M＝2^m，以及N＝2ⁿ)的大小成反比。换言之，本发明的示例性实施例可以提供高达1/M的空域分辨率和高达1/N的时域分辨率。

现在将描述根据本发明示例性实施例的分级多视角图像解码方法和装置。

图26是根据本发明示例性实施例的分级多视角图像解码装置的结构框图。图27是示出了根据本发明示例性实施例的分级多视角图像解码方法的流程图。

参照图26，该装置包括时域图像解码单元2610、时域逆滤波单元2620、空域图像解码单元2630和空域逆滤波单元2640。

时域图像解码单元2610接收根据以上描述的分级多视角图像编码方法进行编码的比特流(操作2710)。然后，时域图像解码单元2710对所接收的比特流进行解码，并从该比特流中生成时域低频和高频图像(操作2720)。在该解码操作中，如在传统的图像解码操作中，生成了逆离散余弦变换、纹理信息和运动信息。

时域逆滤波单元2620使用MCTF或分层B-画面，针对解码后的时域低频和高频图像来进行逆滤波(即，执行合成操作)，并对空域轴上的相应空域低频图像进行重构(操作2730)。

空域图像解码单元2630根据所需的时域和空域分辨率，对包括在比特流中的空域高频图像进行解码(操作2740)。

空域逆滤波单元2640使用MCTF或分层B-画面，对由时域逆滤波单元2620重构的空域低频图像、以及由空域图像解码单元2630解码的空域高频图像进行逆滤波，并对空域轴上的图像进行重构(操作2750)。

图28示出了包括在图27的分级多视角图像解码方法中的逆滤波操作。如上所述，图26中示出的时域逆滤波单元2620和空域逆滤波单元2640对时域滤波后的图像和空域滤波后的图像进行逆滤波，同时图像包括在每个比特流中。在该逆滤波操作中，生成了基础层的低频图像L3。然后，使用第一增强层的高频图像H3、以及所生成的低频图像L3，来生成下一层中的低频图像L2。此外，使用第二增强层的高频图像H2、以及所示出的低频图像L2，来生成下一层中的低频图像L1，以及在对原始图像L0进行滤波之前，使用第三增强层的高频图像H1、以及所生成的低频图像L1，来对原始图像L0进行重构。在该逆滤波操作中，在将原始图像通过MCTF进行分解之前，时域逆滤波单元2620和空域逆滤波单元240对原始信号进行重构。由于逆滤波操作与传统的MCTF操作相同，所以将不再重复对它的详细描述。

现在将参照图22至25，对使用根据本发明示例性实施例的分级多视角图像编码方法生成的比特流进行解码的方法进行描述。

参照图21和22，{L^0I ₀，H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄}2200和2210的比特流是从八个摄像机输入的沿空域轴的第一图像组。沿空域轴方向对{L^0I ₀，H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄}2200和2210的比特流进行解码，以生成低频图像L⁰¹ ₀和高频图像(H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄)，在MCTF合成操作之后，将它们重构为与沿空域轴方向上的第一帧图像相对应的八个图像。在对空域轴上的第一图像组的比特流进行解码之后，对于每个2DGOP执行图像解码操作。首先，沿时域轴方向，对时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}的比特流2215进行解码，以生成低频图像L^8T ₀和高频图像H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄，在MCTF合成操作之后，将它们重构为与8×8图像组相对应的空域轴上的8个图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}。重构的高频图像H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄与空域轴上第n(H^iT)图像组中的低频图像相对应。换言之，重构的高频图像H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄与低频图像L^4S ₀，L^2S ₀，L^6S ₀，L^1S ₀，L^3S ₀，L^5S ₀，L^7S ₀相对应。此外，使用时域轴上的低频图像L^8T ₀和重构的高频图像H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄，对空域高频图像组进行解码。通过重复以下操作，对空域轴上的第i高频图像组的比特流进行解码。

Array[8]＝{8，4，2，6，1，3，5，7}

For(index＝0；I＜8；index++){

i＝＝Array[index]；

对{H^iS ₁₁，H^iS ₂₁，H^iS ₁₂，H^iS ₃，H^iS ₁₃，H^iS ₂₂，H^iS ₁₄}的比特流进行解码，以及针对解码后的比特流和相应的低频图像L^iS ₀执行MCTF合成操作。因此，对空域轴上的第i组图像进行重构。

针对每个2D GOP的完整图像序列来重复以上操作。

参照图21和23，当使用空域部分解码，对包括与2D GOP中的空域轴上的图像(从摄像机S0，S1，S2，S4和S6输入)有关的信息的比特流进行解码时，对{L^0I ₀，H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，H^0S ₁₂，H^0S ₁₃，H^0S ₁₄}的比特流2300和2310(这是沿空域轴方向的第一图像组，并从摄像机S0，S1，S2，S4和S6输入)进行解码，以生成低频图像L^0I ₀和高频图像H^0S ₃，H^0S ₂₁，H^0S ₂₂，H^0S ₁₁，在MCFTF合成操作之后，将它们重构为与沿空域轴方向的第一帧图像相对应的五个图像。

在对空域轴上的第一图像组的比特流进行解码之后，在时域轴上，对时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}的比特流2215进行解码，以生成沿时域轴方向的低频图像L^8T ₀和高频图像H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄，在MCTF合成操作之后，将它们重构为8×8图像组中的时域轴上的八个图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂，H^1T ₁₁，H^3T ₁₂，H^5T ₁₃，H^7T ₁₄}。当执行空域部分解码时，必须对沿时域轴方向的所有图像进行解码。因此，编码后的比特流包括沿时域轴方向滤波的所有时域低频和高频图像。在针对空域高频图像2320，2325，2330，2335，2340，2350和2355，依次执行解码和MCTF合成操作之后，对从摄像机S0，S1，S2，S4和S6输入的图像进行重构。

参照图21和24，当使用部分时域解码，对可以具有从完全时域分辨率降低的半时域分辨率、以及2D GOP中的时域轴上的图像的比特流进行解码时，对8×8 2D图像组中的时域轴上的8个图像中的时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}的比特流2415进行解码和MCTF逆滤波。因此，重构了时域轴方向的空域低频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}。通过解码和MCTF逆滤波操作，对与重构的空域低频图像相对应的空域高频图像的编码比特流2420，2425，2430和2435进行重构。

参照图21和25，对8×8 2D图像组中的时域轴上的8个图像中的时域低频和高频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}的比特流2515进行解码和MCTF逆滤波。当使用部分时域解码，将2D GOP中时域轴上的时域中分布的数据的分辨率从完全时域分辨率降低至半时域分辨率时，以及当使用空域部分解码，将从摄像机S0，S1，S2，S4和S6输入的空域轴上的空域中的图像的比特流进行处理时，对比特流进行滤波。

因此，重构了沿时域轴方向的空域低频图像{L^8T ₀，H^4T ₃，H^2T ₂₁，H^6T ₂₂}。对在从摄像机S0，S1，S2，S4和S6输入的图像进行空间滤波之后获得空域高频图像2520，2525，2530和2535，通过解码和MCTF合成操作，对所获得的空域高频图像2520，2525，2530和2535进行重构。

根据本发明示例性实施例的分级多视角图像编码和解码方法和装置可以使用将2D GOP指定为如在SVC编解码器结构中的基础层的分层结构、以及使用FCS方法，来实现分级。该方法和装置可以提供时域分级、视角(摄像机)空域分级、大小相关空域分级、以及SNR分级。

图29是根据本发明示例性实施例，向空域分级提供不同大小的图像的分级多视角图像编码装置的概念图示。

可以使用以上描述的部分时域解码和部分空域解码来实现从所选摄像机输入的用于选择图像的时域分级和空域分级。根据图像大小的时域分级使用用于传统分级图像编码方法中的分层方法，并且可以使用2D抽取滤波器、2D上采样滤波器和与2D GOP基础层相关的空域信息来提供。在这种情况下，可以根据要提供的图像大小，将空域分级缩放至QCIF、CIF和4CIF。

可以使用比特平面编码方法来实现SNR分级，该比特平面编码方法使用用于传统SVC中的基于块的FGS。在这种情况下，在特定点切断FGS增强比特流，并附在基础层上来提供增强层的图像。

图30示出了根据本发明示例性实施例的完整数据流的配置，该完整数据流在分层结构中包括基于QCIF(四分之一公共中间格式)的2D QCIF核、CIF(公共中间格式)和4-CIF比特流。可以将在本发明示例性实施例中提供的分级进行组合。参照图30，在从基于QCIF的多视角摄像机输入的第一帧图像的比特流之后，跟随与2D GOP中的核心比特流相对应的时域图像的比特流、以及在2D GOP中的空间QCIF的比特流。然后，跟随2D GOP中基于CIF的比特流和基于CIP的比特流。

如上所述，本发明的示例性实施例使用时域相邻图像之间的相关性，对多视角图像组进行空域和时域滤波，并对滤波后的多视角图像组进行编码，从而提高了编码效应。此外，本发明的示例性实施例可以提供时域分级、视角(摄像机)空域分级、大小相关空域分级和SNR分级。

本发明的示例性实施例还可以实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是任何数据存储设备，该设备可以存储可在之后由计算机系统读取的数据。计算机可读记录介质的示例包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(如，通过因特网的数据传输)。

计算机可读记录介质还可以在网络连接计算机系统上分布，从而以分布方式来存储和执行计算机可读代码。

尽管参照特定示例性实施例，具体地示出并描述了本发明，但是本领域的技术人员将会理解，可以在不偏离本发明的精神和范围的情况下，在其中做出形式和细节上的各种改变，其中，本发明的精神和范围由所附权利要求及其等同物来限定。

Claims (14)

1、一种分级多视角图像编码方法，包括：

使用空域运动补偿时域滤波(MCTF)和分层B-画面中的至少一个，对从M个摄像机输入的空域轴上的M个图像进行滤波，并生成空域低频图像和(M-1)个空域高频图像；

使用时域MCTF和分层B-画面中的至少一个，对N个时间段内生成的N个空域低频图像进行滤波，并生成时域低频图像和(N-1)个时域高频图像；

根据分配给每个M×N二维(2D)图像组的传输比特速率，对所述时域低频图像和(N-1)个时域高频图像进行分级编码；以及

根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，对所述(M-1)个空域高频图像进行分级编码。

2、如权利要求1所述的编码方法，其中，所述空域MCTF包括闭环结构，在所述闭环结构中，使用了从M个摄像机输入的M个图像。

3、如权利要求1所述的编码方法，其中，所述时域MCTF包括开环结构，在所述开环结构中，使用了在针对之前处理的M×N 2D图像组执行时域MCTF之后生成的时域低频图像。

4、如权利要求1所述的编码方法，其中，对所述时域低频图像和(N-1)个时域高频图像的分级编码包括：

根据所分配的传输比特速率和时域分辨率，从(N-1)个时域高频图像中选择要编码的时域高频图像；以及

对所生成的时域低频图像和所选择的时域高频图像进行分级编码。

5、如权利要求1所述的编码方法，其中，对所述(M-1)个空域高频图像的分级编码包括：

根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，从由M个摄像机同时输入的(M-1)空域高频图像中选择要编码的空域高频图像；以及

对所选择的空域高频图像进行分级编码。

6、一种分级多视角图像编码装置，包括：

空域图像滤波单元，用于使用空域MCTF和分层B-画面中的至少一个，对从M个摄像机输入的空域轴上的M个图像进行滤波，并用于生成空域低频图像和(M-1)个空域高频图像；

时域图像滤波单元，用于使用时域MCTF和分层B-画面中的至少一个，对N个时间段内生成的N个空域低频图像进行滤波，并用于生成时域低频图像和(N-1)个时域高频图像；

时域图像分级编码单元，用于根据分配给每个M×N二维(2D)图像组的传输比特速率，对所述时域低频图像和(N-1)个时域高频图像进行分级编码；以及

空域图像分级编码单元，用于根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，对所述(M-1)个空域高频图像进行分级编码。

7、如权利要求6所述的编码装置，其中，所述空域图像滤波单元包括闭环结构，在所述闭环结构中，使用了从M个摄像机输入的M个图像。

8、如权利要求6所述的编码装置，其中，所述空域图像滤波单元包括开环结构，在所述开环结构中，使用了在针对之前处理的M×N 2D图像组执行时域MCTF之后生成的时域低频图像。

9、如权利要求6所述的编码装置，其中，所述时域图像分级编码单元根据所分配的传输比特速率和时域分辨率，从(N-1)个时域高频图像中选择要编码的时域高频图像，并对所生成的时域低频图像和所选择的时域高频图像进行分级编码。

10、如权利要求6所述的编码装置，其中，所述空域图像分级编码单元根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，从由M个摄像机同时输入的(M-1)个空域高频图像中选择要编码的空域高频图像，并对所选择的空域高频图像进行分级编码。

11、一种分级多视角图像解码方法，包括：

接收与空域-时域低频和高频图像相对应的分级编码比特流，在使用MCTF和分层B-画面中的至少一个对在N个时间段内从M个摄像机输入的2D图像组进行空域和时域滤波之后，生成所述空域-时域低频和高频图像；

对包含于所述比特流中的分级编码的时域低频和高频图像进行解码；

使用时域逆MCTF和分层B-画面中的至少一个，对解码后的低频和高频图像进行逆滤波，并对所述空域低频图像进行重构；

对包含于所述比特流中的分级编码后的空域高频图像进行解码；以及

使用时域逆MCTF和分层M-画面中的至少一个，对所重构的空域低频图像和解码后的高频图像进行逆滤波，并对图像进行重构。

12、如权利要求11所述的解码方法，其中，通过以下生成所述分级编码比特流：

使用空域MCTF和分层B-画面中的至少一个，对从M个摄像机输入的空域轴上的M个图像进行滤波，并生成空域低频图像和(M-1)个空域高频图像；

使用时域MCTF和分层B-画面中的至少一个，对N个时间段内生成的N个空域低频图像进行滤波，并生成时域低频图像和(N-1)个时域高频图像；

根据分配给每个M×N 2D图像组的传输比特速率，对所述时域低频图像和(N-1)个时域高频图像进行分级编码；以及

根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，对所述(M-1)个空域高频图像进行分级编码。

13、一种分级多视角图像解码装置，包括：

时域图像解码单元，用于接收与空域-时域低频和高频图像相对应的分级编码比特流，并对包含于所述比特流中的分级编码的时域低频和高频图像进行解码，在使用MCTF和分层B-画面中的至少一个对在N个时间段内从M个摄像机输入的2D图像组进行空域和时域滤波之后，生成所述空域-时域低频和高频图像；

时域逆滤波单元，用于使用时域逆MCTF和分层B-画面中的至少一个，对解码后的时域低频和高频图像进行逆滤波，并用于对所述空域低频图像进行重构；

空域图像解码单元，用于对包含于所述比特流中的分级编码后的空域高频图像进行解码；以及

空域逆滤波单元，用于使用时域逆MCTF和分层M-画面中的至少一个，对所重构的空域低频图像和解码后的高频图像进行逆滤波，并用于对图像进行重构。

14、如权利要求13所述的解码装置，其中，通过以下生成所述分级编码比特流：

使用空域MCTF和分层B-画面中的至少一个，对从M个摄像机输入的空域轴上的M个图像进行滤波，并生成空域低频图像和(M-1)个空域高频图像；

使用时域MCTF和分层B-画面中的至少一个，对N个时间段内生成的N个空域低频图像进行滤波，并生成时域低频图像和(N-1)个时域高频图像；

根据分配给每个M×N 2D图像组的传输比特速率，对所述时域低频图像和(N-1)个时域高频图像进行分级编码；以及

根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率，对所述(M-1)个空域高频图像进行分级编码。

Images