CN100562130C - 用于分解多视图视频的方法和系统 - Google Patents

Abstract

公开了用于分解多视图视频的方法和系统。一种方法将通过多个摄像机获取多个视图分解。每个视图视频包括帧的序列，每个摄像机提供所述场景的不同视图。从时间预测模式、空间预测模式和视图插值预测模式中，选出预测模式。然后，根据所选预测模式，将多视图视频分解成低频带帧、高频带帧和边带信息。

Description

用于分解多视图视频的方法和系统

技术领域

本发明通常涉及视频编码，更具体而言，涉及对多视图视频编码。

背景技术

多视图视频编码对于诸如3D电视(3DTV)、自由视点电视(FTV，free viewpoint television)和多摄像机监视之类的应用是必要的。多视图视频编码又被称为动态光场压缩。

图1显示出用于多视图视频编码的现有技术“联播(simulcast)”系统100。摄像机1-4获取场景的“视图”101-104，其中，通常将来自每个摄像机的输入视图进行时间同步。视图被独立编码111-114成相应编码视图121-124。该系统使用传统2D视频编码技术。然而，该系统未将不同摄像机视图相关。独立编码降低了压缩效率，从而要增大网络带宽和存储量。对于有众多摄像机的情形，视图间相关将大大提高多视图编码器的效率。

图2显示出使用视图间相关的现有技术视差补偿预测系统200。将视图201-204编码211-214成编码视图231-234。使用诸如MPEG-2或H.264之类的标准视频编码器对视图201和204独立进行编码。这些独立编码视图作为“参考”视图。基于从解码器221-222获得的重构参考视图251-252，使用时间预测和视图间预测对其余视图202-203进行编码。一般而言，基于每个块自适应地确定预测，参见S.C.Chan等人的“The data compression of simplified dynamic light fields”(Proc.IEEE Int.Acoustics，Speech，and Signal Processing Conf.，2003年4月)

图3显示出现有技术的“提升(lifting-based)”小波分解，参见W.Sweldens的“The data compression of simplified dynamic lightfields”(J.Appl.Comp.Harm.Anal.，Vol.3，no.2，pp.186-200，1996年)。小波分解是用于静态光场压缩的有效技术。将输入采样301分离310成奇数采样302和偶数采样303。由偶数采样预测320奇数采样。预测误差形成高频带(high band)采样304。高频带采样用于对偶数采样进行更新330，以形成低频带(low band)采样305。该分解是可逆的，以便能够将线性或非线性操作合并到预测和更新步骤中。

提升方案使得能够进行运动补偿时间变换，即，运动补偿时间滤波(MCTF)，其对于视频而言，基本沿时间运动轨迹进行滤波。Ohm等人在“Interframe wavelet coding-motion picture representationfor universal scalability”(Signal Processing：Image Communication，Vol.19，No.9，pp.877-908，2004年10月)中描述了用于视频编码的MCTF评论文章。在不影响理想重构的条件下，提升方案可基于诸如Harr或5/3Daubechies之类的任何小波内核，以及诸如基于块的转换或仿射全局运动之类的任何运动模型。

对于编码，MCTF将视频分解成高频带帧和低频带帧，然后，使它们经过空间变换，以降低任何剩余空间相关性。将变换的低和高频带帧以及相关联的运动信息进行熵编码，以形成编码位流。以时间相邻视频作为输入，通过如图3所示提升方案，可实现MCTF。此外，可递归应用MCTF以输出低频带帧。

基于MCTF的视频具有与诸如H.264/AVC之类的视频压缩标准可比的压缩效率。此外，视频具有固有时间伸缩性。然而，不能将该方法直接应用于采用多视图之间相关的多视图视频编码，这是由于还没有足够有效的用于对视图进行预测以及考虑到时间相关性的方法。

提升方案还被用于对静态光场，即，单个多视图图像，进行编码。编码器并非执行运动补偿时间滤波，而是在空间域在静态视图上执行视差补偿视图间滤波(DCVF)，参见Chang等人的“Inter-view waveletcompression of light fields with disparity compensated lifting”(SPIEConf on Visual Communication and Image Processing，2003年)。

对于编码而言，DCVF将静态光场分解成高和低频带图像，然后，使它们经过空间变换，以降低任何剩余空间相关性。对变换的图像以及相关联的视差信息进行熵编码，以形成编码位流。通常以来自空间相邻摄像机视图的图像作为输入，使用如图3所示提升小波变换方案来实现MCTF。此外，可递归应用DCVF以输出低频带图像。基于DCVF的静态光场压缩提供了比对多个图像独立进行编码更佳的压缩效率。然而，该方法不能直接应用于采用时间相关和视图间相关的多视图视频编码，这是由于还没有足够有效的用于对视图进行预测并且考虑到时间相关性的方法。

因此，需要一种采用小波变换来利用多视图视频中的时间和视图间相关的压缩方法。

发明内容

一种方法和系统将由多个摄像机获得关于场景的多视图视频进行分解。

每个多视图视频包括序列帧，每个摄像机提供该场景的不同视图。

从时间预测模式、空间预测模式和视图插值预测模式中选择预测模式。

然后，根据所选预测模式，将多视图视频分解成低频带帧、高频带帧和边带信息(side information)。

另外，还可将多视图视频进行插值，以提供场景的新视图。

附图说明

下面，结合附图，通过关于本发明的优选实施例的详细描述，将更加明白本发明，其中：

图1表示用于对多视图视频进行编码的现有技术联播系统的框图；

图2表示用于对多视图视频进行编码的现有技术视差补偿预测系统的框图；

图3表示现有技术小波分解的流程图；

图4表示根据本发明的MCTF/DCVF分解的框图；

图5表示在根据本发明的MCTF/DCVF分解之后的低频带图像和高频带图像的框图；

图6表示根据本发明由相邻低频带图像预测高频带图像的框图；

图7表示使用根据本发明的块自适应MCTF/DCVF的多视图编码系统的框图；以及

图8表示根据本发明的视图插值的示意图。

具体实施方式

优选实施例的详细描述

本发明提供了用于对多视图视频的帧进行编码的联合时间/视图间分解方法。该方法利用在每个视图内的帧之间的时间相关，以及在多个摄像机视图中的帧之间的空间相关。通过使用运动补偿时间滤波(MCTF)来应用时间相关，而通过使用视差补偿视图内滤波(DCVF)来应用空间相关。

根据本发明的MCTF/DCVF分解是块自适应的。通过使用数种预测模式，包括时间预测的各种形式、空间预测的各种形式，以及视图插值预测，来执行分解。为了逐个块地确定最佳预测模式，本发明提供了一种用于选择多视图模式的方法。该方法可用于任何数量的视图和任何摄像机布置。

MCTF/DCVF分解

图4显示出根据本发明的MCTF/DCVF分解400。通过场景5的摄像机1-4获得输入视频帧401-404。一般而言，摄像机被同步。每个输入视频都提供场景的不同“视图”。输入帧401-404被发送到MCTF/DCVF分解400。分解产生编码的低频带帧411、编码的高频带帧412和相关边带信息413。高频带帧基本上使用低频带帧作为参考帧来对预测误差进行编码。分解是根据所选的预测模式410。预测模式包括空间、时间和视图插值模式。可基于每个块自适应地选择预测模式。

图5表示，对于在时间502上的视图(空间)501的帧，低频带帧(L)411和高频带帧(H)412的优选交替“棋盘图案(checkerboardpattern)”。基本上，对于单个时刻，图案在空间维度对低频带帧和高频带帧进行交替，并且对于单个视图，在时间上对低频带帧和高频带帧进行交替。

该棋盘图案具有数种优点。图案在空间(视图)维度和时间维度将低频带帧均匀扩展，这在解码器仅重构低频带帧时实现了空间和时间上的可伸缩性。此外，图案还在空间和时间维度中将高频带帧与相邻低频带帧对齐。期望使得相对进行误差预测的参考帧之间的相关性最大，如图6所示。

根据提升小波变换，通过由其他采样集对一个采样集进行预测，来生成高频带帧。通过使用若干多视图模式，包括各种形式的时间预测、各种形式的空间预测和后面描述的根据本发明的视图插值预测，可进行预测。

用来对高频带帧进行预测的手段和进行预测所需的必要信息称为边带信息413。如果执行时间预测，则将时间模式作为边带信息的一部分与相应的运动信息一道发送。如果执行空间预测，则将空间模式作为边带信息的一部分与相应的视差信息一道发送。如果执行视图插值预测，则将视图插值模式作为边带信息的一部分与相应的视差、运动和深度信息一道发送。

如图5和6所示，对每个高频带帧412的预测都使用在空间和时间维度中“最接近”的低频带帧。

低频带帧可采用不同的方式生成。在第一种方法中，指定的低频带帧(例如根据如图5所示的棋盘图案)等于输入视图的相应帧。在第二种方法中，指定的低频带帧为更新步骤的结果，更新步骤将经过更新运算器(operator)的高频带帧与相应输入帧相加。

在第一实施例中，逐个块地对输入视图的帧自适应地应用MCTF和DCVF，以生成低频带帧以及高频带的分解集和相关边带信息。以此方式，每个块自适应地选择上述可用多视图模式中最佳的多视图预测模式。下面，将描述用于选择多视图模式的最优方法。

在第二实施例中，首先，独立地对每个摄像机视图的帧应用MCTF。然后，通过DCVF进一步将结果帧分解。除最终分解帧之外，还生成相应边带信息。如果逐个块地执行，则分别考虑对于MCTF和DCVF的预测模式选择。有利的是，该模式选择本身支持时间可伸缩性。以此方式，容易在压缩位流中访问更低时间速率的视频。

在第三实施例中，首先对输入视频的帧应用DCVF。然后，通过MCVF将结果帧在时间上进行分解。除最终分解帧之外，还生成边带信息。如果逐个块地执行，则分别考虑对于MCTF和DCVF的预测模式选择。有利的是，该模式选择本身支持视图可伸缩性。以此方式，容易在压缩位流中访问数量缩减的视图。

可对来自前一分解级段的低频带帧的结果集递归应用上述分解。有利的是，本发明的MCTF/DCVF分解400有效地去除了时间和视图间(空间)相关，并能够实现非常高的压缩效率。本发明的多视图视频编码器的压缩效率超过了对每个视图彼此独立进行编码的传统联播编码。

MCTF/DCVF分解的编码

如图7所示，信号编码器710执行变换、量化和熵编码，以去除在分解的低频带和高频带帧411-412中的剩余相关。这样的操作是本领域人员所熟知的，参见Netravali和Haskell的“Digital Pictures：Representation，Compression and Standards”(第二版，Plenum Press出版，1995年)。

边带信息编码器720用于对作为分解结果而产生的边带信息进行编码。除多视图模式本身外，边带信息还包括对应于时间预测的运动信息、对应于空间预测的视差信息和对应于视图插值的视图插值与深度信息。

对边带信息编码可通过已知和现成的技术实现，例如，在MPEG-4 Visual标准，ISO/IEC 14496-2，“Information technology-Coding of audio-visual objects-Part 2：Visual”(第二版，2001年)，或更新的H.264/AVC标准，以及ITU-T Recommendation H.264，“Advanced video coding for generic audiovisual services”(2004)中使用的技术。

例如，通常使用由相邻矢量确定预测矢量的预测方法对运动矢量进行编码。然后，使预测矢量和当前矢量之间的差经过熵编码处理，这通常利用对预测误差的统计。可使用相似过程对视差矢量进行编码。

此外，可使用预测编码方法压缩对于每个块的深度信息，在该方法中，获得来自相邻块的预测，或简单地使用固定长度代码直接表示深度值。如果提取和压缩对于深度的像素级精确度，则应对该信息信道应用更复杂的纹理编码技术，该技术中应用变换、量化和熵编码技术。

可将来自信号编码器710和边带信息编码器720的编码信号进行复用730，以生成编码输出位流731。

MCTF/DCVF分解的解码

可将位流解码740，以恢复多视图视频741。一般而言，解码器执行编码器的逆操作，以重构多视图视频。如果将所有低频带和高频带图像解码，则重构出以该编码质量在视图维度和空间维度中帧的完全集，且其可用于绘制。

根据在编码器中应用多少递归分解级以及应用哪种类型的分解，可从与数量缩减的视图和缩减的时间速率相对应的低频带图像和高频带图像集，解码出数量缩减的视图和/或缩减的时间速率。

视图插值

如图8所示，视图插值是从现有视图的帧803产生插值视图的帧801的过程。换而言之，视图插值提供了一种用于通过在获得输入视频时不存在的新虚拟摄像机800来合成与场景5的所选新视图802相对应的帧801的手段。

给定两个或更多个参考视图的帧的像素值和在场景中点的深度值，可从参考视图的帧中相应像素值插值出目标视图802的帧801中的像素。

在本发明中，视图插值基于低频带图像，该图像可为输入图像或经过更新步骤的输入图像。

视图插值通常用于通过多视图绘制图像的计算机图形学中，参见Buehler等人的“Unstructured Lumigraph Rendering”(Proc.ACMSIGGRAPH，2001)。该方法需要针对摄像机的非本征和本征参数。

用于压缩多视图视频的视图插值技术是新颖的。在本发明中，生成要用于预测的视图插值帧。视图插值帧生成于指定的高频带帧的位置，且用作为用来预测当前插值帧的参考帧。

该方法的一个困难之处在于场景的深度值是未知的。因此，本发明使用已知的图形学技术，例如，基于多视图中的特征相关，来估计深度值。或者，对于每个目标视图，生成多个视图插值帧，每个帧都对应于一个候选深度值。对于当前帧中的每个块，确定在视图插值帧集合中的最佳匹配块。用于找出该最佳匹配的视图插值帧指示当前帧中块的深度值。对于帧中的所有块，重复该过程。

通过信号编码器710将当前块与视图插值块之间的差进行编码和压缩。通过边带信息编码器720对该视图模式的边带信息进行编码。边带信息包括指示视图插值模式、块的深度值，和对当前帧中的块与要补偿的视图插值帧中的最佳匹配块之间的任何不符进行补偿的可选偏移(displacement)矢量的信号。

多视图模式选择

在块自适应MCTF/DCVF分解中，可通过逐个块自适应地使成本函数最小，来选择对于每个块的预测模式m：

m^＊＝arg_m min J(m)，

其中，J(m)＝D(m)+λR(m)，D表示失真，λ表示加权参数，R表示速率，m表示候选预测模式的集合，m^＊表示基于最小成本准则选出的最优预测模式。

候选模式m包括时间预测、空间预测、视频插值预测和内预测(intra prediction)的多种模式。成本函数J(m)取决于使用具体模式m对块进行编码而产生的速率和失真。

失真测量出重构块和源块之间的差。通过使用给定预测模式m对块进行编码和解码而获得重构块。一般失真测量是平方差之和。

速率是对包括预测误差和所有边带信息的块进行编码所需的位数。

参数对块编码的速率-失真折衷进行控制，它可由量化步长得出。

尽管以示例性优选实施例描述了本发明，然而应该理解，在本发明的精神和范围内，可进行多种其他变型和修改。因此，所附权利要求的目的是覆盖不偏离本发明精神和范围条件下的所有这些变型和修改。

Claims (21)

1.一种用于对多视图视频帧进行编码的多视图视频分解方法，包括：

通过多个摄像机获取场景的多个视频，每个视频包括多个帧，每个摄像机提供所述场景的不同视图；

选择预测模式，所述预测模式是从时间预测模式、空间预测模式和视图插值预测模式中选出的；以及

根据所选预测模式，将视频的多个帧分解成多个低频带帧、多个高频带帧和边带信息，

其中利用在每个视图内视频帧之间的时间相关以及在多个视图中的视频帧之间的空间相关进行分解处理。

2.根据权利要求1的方法，其中，基于作为参考帧的低频带帧和所选预测模式，高频带帧用于编码预测误差。

3.根据权利要求1的方法，其中，低频带帧和高频带帧形成棋盘图案，对于单个的时刻，棋盘图案在空间维度中使低频带帧和高频带帧交替，并且对于具体的不同视图，棋盘图案在时间维度中使低频带帧和高频带帧交替。

4.根据权利要求2的方法，其中，对低频带帧执行提升小波变换，以确定出用于对预测误差进行编码的高频带帧。

5.根据权利要求1的方法，其中，对应于时间预测模式的边带信息是运动信息，对应于空间预测模式的边带信息是视差信息，对应视图插值预测模式的边带信息是运动、视差和深度信息。

6.根据权利要求3的方法，还包括：

基于四个低频带帧进行预测，生成每个高频带帧，其中所述四个低频带帧在空间维度和时间维度中最接近于生成的高频带帧。

7.根据权利要求5的方法，其中，通过对低频带帧的运动估计搜索，获得运动信息，以及通过对低频带帧的视差估计搜索获得视差信息。

8.根据权利要求5的方法，其中，使用运动信息对多个帧应用运动补偿时间滤波，使用视差信息对多个帧应用视差补偿视图间滤波。

9.根据权利要求8的方法，其中，每个帧包括多个像素块，根据所选预测模式，对每个帧的每个块自适应地执行运动补偿时间滤波和视差补偿视图间滤波。

10.根据权利要求9的方法，还包括：

使成本函数 $m^{*}=\underset{m}{\arg \min }J\left(m\right)$ 最小以便自适应地选择预测模式，其中，J(m)＝D(m)+λR(m)，D表示失真，λ表示加权参数，R表示速率，m表示候选预测模式的集合，m^＊表示基于成本函数选出的最优预测模式。

11.根据权利要求8的方法，其中，首先对每个视频独立应用运动补偿时间滤波，以获得运动滤波帧，然后，对滤波帧应用视差补偿视图间滤波，以便为分解视频提供时间可伸缩性。

12.根据权利要求8的方法，其中，首先针对单个时刻对所有帧应用视差补偿视图间滤波，以获得滤波帧，然后对滤波帧应用运动补偿时间滤波，以为分解视频提供视图可伸缩性。

13.根据权利要求1的方法，其中，使用由前一分解级段产生的低频带帧的结果集来执行分解。

14.根据权利要求1的方法，其中，将低频带帧和高频带帧进行变换、量化和熵编码，以生成编码帧，所述方法还包括：

将边带信息编码，以生成编码边带信息；以及

将编码帧和编码边带信息复用，以生成位流。

15.根据权利要求1的方法，还包括：

选择新视图和时刻；

对与新视图邻近、并在所述时刻的低频带帧进行插值，以形成插值帧；以及

生成高频带帧，作为当前帧和插值帧之间的预测误差。

16.根据权利要求15的方法，其中，插值基于深度值。

17.根据权利要求16的方法，其中，对于当前帧的每个块，自适应地选择深度值。

18.根据权利要求14的方法，还包括：

将位流解码，以重构该多个视频。

19.根据权利要求18的方法，其中，对于该多个视频，缩减若干视图。

20.根据权利要求18的方法，其中，重构的视频具有缩减的时间速率。

21.一种用于对多视图视频帧进行编码的多视图视频分解系统，包括：

多个摄像机，用于获取场景的多个视频，每个视频包括多个帧，每个摄像机提供所述场景的不同视图；

用于选择预测模式的装置，其中，所述预测模式是从时间预测模式、空间预测模式和视图插值预测模式中选出的；以及

分解装置，用于根据所选预测模式，将视频的多个帧分解成多个低频带帧、多个高频带帧和边带信息，其中，对于时间预测，边带信息对应于运动信息，对于空间预测，边带信息对应于视差信息，对于视图插值预测，边带信息对应于运动、视差和深度信息，

其中利用在每个视图内视频帧之间的时间相关以及在多个视图中的视频帧之间的空间相关进行分解处理。

Images