CN100499811C

CN100499811C - 压缩包括交替镜头的视频序列的数字数据的方法

Info

Publication number: CN100499811C
Application number: CNB03818155XA
Authority: CN
Inventors: 爱德华·弗朗索瓦; 多米尼克·托罗; 让·基普雷奥斯
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2002-07-30
Filing date: 2003-07-23
Publication date: 2009-06-10
Anticipated expiration: 2023-07-23
Also published as: EP1535472A1; JP4729304B2; JP2005535194A; FR2843252A1; AU2003262536A1; MXPA05001204A; KR20050030641A; US20060093030A1; CN1672420A; WO2004014081A1

Abstract

一种用于压缩视频序列的数字数据的方法，包括以下步骤：将序列划分(1)为交替的视频镜头，根据摄像机角度将这些镜头分类(2)，以便获得类别，针对一个类别构造子画面(3)或视频对象平面，作为与涉及该类别的背景相对应的合成图像，将至少两个子画面分组(5)为相同的子画面或视频对象平面，以便形成被称作大子画面的图像，对于与所述大子画面对应的镜头，从涉及这些镜头的序列中提取(4)图像前景对象，分别编码大子画面和所提取的前景对象。应用于视频数据的传输和存储。

Description

压缩包括交替镜头的视频序列的数字数据的方法

技术领域

本发明涉及一种用于利用“子画面(sprite)”对由交替镜头(alternating shot)构成的视频序列的数字数据进行压缩的方法，还涉及一种用于实现该方法的设备。本发明属于视频压缩的通用环境，并且具体地，属于MPEG-4视频标准领域。

背景技术

例如，在PMEG-4标准中定义了术语“子画面(sprite)”作为通常比正在显示的视频尺寸更大并且持续一定时间的视频对象平面(VOP)。其用于表示一个或多个例如背景之类的静止区域，并通过划分为宏块来进行编码。通过传输表示全景背景的子画面以及对描述了摄影机运动的位移参数和例如表示了子画面的渐缩变换的参数进行编码，可以从该单一的子画面来重构序列的连续图像。

具体地，本发明涉及包括从相似的摄影机角度交替产生的连续镜头的视频序列。例如，这可以是采访序列，其中交替地看到采访者与被采访者，分别相对不同但绝大部分部分是静止的背景。这种交替并不局限于两个不同的摄像机角度。该序列可以由从Q个不同摄像机角度产生的N个镜头构成。

传统类型的编码技术不考虑这种类型的序列，因此，其编码成本或压缩因子与其它序列的相等。实际上，传统技术是，在每一个镜头的开始，按照帧内模式来编码图像，紧接跟随该图像的是预测模式的图像。如果从第一摄像机角度拍摄的镜头出现了第一次，其后是从另一个摄像机角度拍摄的镜头，然后是从第一摄像机镜头拍摄的镜头，则即使由被排成影片的场景的背景所形成的较大部分与第一镜头的图像相似，也全部按照帧内模式对该镜头的第一图像进行编码。这导致了较高的编码成本。

在此之前已经示出的背景的重新编码这一问题的公知解决方案是，在每一次检测到镜头的变化时，存储镜头的最后一个图像。在新镜头的开始处，从所存储的图像中选择与第一图像最类似并因此与相同的摄像机角度相对应的一个图像作为参考，利用时间预测对第一图像进行编码。可以认为该解决方案直接得到了被称作“多帧参考”的工具的启示，例如，在发展中的MPEG-4 part 10中可以获得。然而，这种解决方案存在存储器饥饿问题，难以实现并且成本较高。

发明内容

本发明针对上述缺点。本发明的主题是一种用于压缩视频序列的数字数据的方法，其特征在于包括以下步骤：

- 将序列划分为交替的视频镜头，

- 根据摄像机角度将这些镜头分类，以便获得类别，

- 针对一个类别构造子画面或视频对象平面，作为与涉及该类别的背景相对应的合成图像，

- 将至少两个子画面分组为相同的子画面或视频对象平面，以便形成被称作大子画面的图像，

- 对于与所述大子画面对应的镜头，从涉及这些镜头的序列中提取图像前景对象(foreground object)，

-分别编码大子画面和所提取的前景对象。

根据具体实施例，相叠地(one under the other)设置子画面，以便构造大子画面。

根据具体实施例，作为大子画面的编码成本的函数，来计算子画面的位置。

例如，由MPEG-4编码来实现编码，然后，根据在MPEG-4标准中定义的子画面来编码大子画面。

根据具体实施例，对于涉及所提取的前景对象的数据和涉及大子画面的数据，执行多路复用操作(8)，以便传送数据流。

本发明的另一个主题是压缩的数据流，用于根据前述的方法对图像序列的编码，其特征在于包括：用于与可应用到大子画面的变形参数相关联的大子画面的编码数据，以及用于所提取的前景对象的编码数据。

本发明的另一个主题是一种用于根据前述方法来编码数据的编码器，其特征在于包括：处理电路，用于将序列分类为镜头，构造用于每一个类别的子画面，并且通过拼接(concatenation)这些子画面来合成大子画面；用于从涉及大画面的序列中提取图像前景对象的电路；以及用于编码大子画面和所提取的前景对象的编码电路。

本发明的另一个主题是一种用于根据前述方法来解码包括交替镜头的视频序列的视频数据的解码器，其特征在于包括：解码电路，用于涉及大子画面的数据和涉及前景对象的数据；以及用于从已解码数据中构造图像的电路。

使用了子画面，以便描述由相同的摄像机角度产生的视频镜头集合的背景。只对该子画面编码一次。然后，对于这些视频镜头中的每一个图像，该方法是编码要应用到子画面的变形参数，以便重构图像中背景的可见部分。对于背景对象，作为非矩形视频对象或VOP(视频对象平面)对其进行编码。当解码时，利用背景来合成这些VOP，以便获得最终的图像。由于序列包括从多个摄像机角度产生的镜头，所以需要多个子画面。本发明的一个具体实施例是将这些多个子画面拼接为单一的大子画面，然后把完整视频序列的多个背景相加。

由于本发明，避免了在每次重新出现该背景时对背景进行的重新编码。相对于MPEG-2或H.263类型的编码方案，减小了这种类型的视频序列的压缩成本。

附图说明

参考附图，在利用非限制性的示例所表示的以下说明中，显然其它特征和优点会变得清楚，其中示出了：

- 图1，根据本发明的编码方法的流程图；

- 图2，大子画面中的子画面的集成；

- 图3，位于大子画面的顶部和底部边缘的子画面块；以及

- 图4，在利用DC/AC预测进行编码的环境中的当前块。

具体实施方式

图1示出了根据本发明的编码方法的简化流程图。可以将该方法划分为两个主要阶段：分析阶段和编码阶段。

分析阶段包括用于将视频序列划分为镜头的第一步骤1。第二步骤2根据产生镜头的摄像机角度来对镜头进行分类。将一个类别定义为从相同摄像机角度产生的镜头的子集。对于每一个子集，第三步骤执行在镜头的子集中“加入(summarizing)”了可见背景的子画面的构造。对于子集中的镜头的每一个图像，还计算了变形参数，所述参数使得能够从子画面中重构背景的可见部分。图像分割步骤4对于多个镜头的每一个图像执行分割，分割的目的是能够将背景与前景加以区分。该步骤允许从每一个图像中提取前景对象。与步骤4并行执行并因此紧接在步骤3之后的步骤5是利用考虑到大子画面中每一个子画面的位置的变形参数的更新，将多个子画面拼接为单个大子画面。

编码阶段紧接在分析阶段之后。步骤6和7分别紧接在步骤4和5之后，并且分别产生用于编码背景的视频比特流和用于编码大子画面的视频比特流。然后，在步骤8多路复用这些比特流，以便传送该视频编码流。

用于划分为镜头的步骤1通过比较连续的图像，例如通过使用用于检测镜头变化的算法来将序列划分为视频镜头。分类步骤2根据其内容，比较所获得的多个镜头，并对相似的镜头进行分组，换句话说，将从相同或几乎相同的摄像机角度产生的镜头划分为相同类别。

步骤4实现了前景对象的提取。对于视频序列的每一个图像，计算用于区分背景和前景的连续二进制掩模(mask)。因此，在该步骤4之后，对于每一个镜头，指示了与前景和背景相分离部分的一连串二进制或其它的掩模是可用的。在非二进制处理的情况下，实际上掩模与灰度形状卡(grey-shape card)相对应。

能够按照如上所述的使该大子画面的编码成本最小的方式来实现在步骤5中执行的子画面到大子画面的拼接。其中，编码信息是纹理信息和变形信息。例如，变形信息是可以作为时间的函数应用到大子画面的连续变形参数，当产生大子画面时，对其进行更新。实际上，当被应用到大子画面时，是这些变换参数允许构造并更新多个镜头所需的背景。在步骤7发送该编码信息，以便产生大子画面比特流。

这里，产生了两个比特流，一个编码大子画面，另一个编码被分组为单个对象的前景中的所有对象。然后，在步骤8多路复用这些比特流。在MPEG-4标准中，产生每个对象的典型流(elementarystream)。因此，对于已编码数据的传输，可以容易地设想发送多个典型流，或省略涉及大子画面的流的多路复用。

注意，实际上对象提取步骤4与之前的子画面构造步骤非常相关，因此，可以与之前的步骤同时甚至在其之前执行步骤4。同样，能够在这些步骤4和6之后或之前执行与步骤4和6中的操作同时说明的步骤5和7中操作。此外，在MPEG-7类型的内容描述对于要编码的视频文件可用的情况下，可以避免例如提取对象的某些分析步骤。

如前所述，能够利用考虑到使大子画面的编码成本最小来应用拼接。其范围是三重的：纹理、形状(如果存在)和连续的变形参数。然而，主要的判据是纹理的编码成本。

以下在使用MPEG-4标准并按照简单方式，换句话说，通过水平地对其进行堆叠来执行子画面的组装的实施例中表示用于使该成本最小的方法，所述堆叠方法依赖于MPEG-4空间预测工具DC/AC。在MPEG-4标准的框架内，水平或垂直地执行空间预测。按照对称方式，将其应用到每一个块(DC预测模式)的第一DCT系数，或可选地，还可以应用到每一个块(AC预测模式)的第一行或第一列的其它DCT系数。其思想是确定用于拼接的最优位置，换句话说，通过组装在其公共边缘上具有连续纹理的相邻子画面来搜索最小纹理编码成本。

由最宽的子画面来初始化大子画面。然后，计算从剩余子画面中合成了最宽子画面的新的大子画面，换句话说，第二最宽子画面。图2示出了大子画面9和要合成的第二大子画面10，以便获得新的大子画面，换句话说，相对于子画面9的位置。

图3示出了矩形子画面10，更具体地，沿着子画面的顶部边缘的一连串宏块11和沿着底部边缘的一连串宏块12。当将子画面设置在大子画面之下时，所考虑的子画面的宏块是与顶部边缘相邻的非空宏块，而当将子画面设置在大子画面之上时，所考虑的子画面的宏块是与底部边缘相邻的非空宏块。在子画面不是矩形的情况下，只考虑包围该子画面的矩形的顶部和底部处的非空宏块。忽略空宏块。

对所考虑的宏块(和宏块的亮度块)进行离散余弦变换(DCT)，换句话说，非空宏块或沿着不同子画面的顶部和底部边缘的块。然后，通过两个子画面的相接处的纹理连续性最小的判据，计算最优的顶部和底部位置。

对于由坐标(X，Y)定义的、要合成到之前计算的大子画面9中的子画面10的给定坐标(X，Y)，计算全局判据的数值C(X，Y)。例如，位置(X，Y)是要被合成的上部分子画面的左下角的坐标或要被合成的下部分子画面的左上角的坐标，根据大子画面的预定点来定义起始点。将坐标(X，Y)限制在不允许子画面超出大子画面以外。

对于该给定位置(X，Y)和对于所有要测试的位置。有N个相邻块位于大子画面之上或之下。在相邻块的这两行中，换句话说，分别属于大子画面和属于要被合成的子画面，要考虑N个底部块的行。对于这N个块的每一个块B_K，首先确定DC/AC预测的可能方向。

图4示出了当前块和其周围块：左边的块A、A之上的块B和当前块之上的块C。当利用传统DC/AC空间预测工具时，确定块A和B之间的DC系数的梯度|DC_A-DC_B|和块C和B之间的DC系数的梯度|DC_C-DC_B|。如果没有相邻块A、B或C，则默认DC系数等于1024。

- 如果|DC_A-DC_B|<|DC_C-DC_B|，很可能沿垂直方向进行DC/AC预测。因此，对于当前块，从上部块C的第一行来确定与垂直预测相对应的其第一行的残数(residue)。

- 如果DC_A-DC_B|≥|DC_C-DC_B|，很可能沿水平方向进行DC/AC预测。因此，对于当前块，从左手边块A的第一列来确定与水平预测相对应的其第一列的残数(residue)。

然后，根据可能的预测方向，计算残数AC系数的能量，换句话说，即利用第一行或第一列的预测：

E_{AC_pred} = Σ_{i = 1}^{7} {(Δ {AC}_{i})}^{2}

ΔAC_i对应于残数，换句话说，即当前块的第一行或第一列的7个AC系数和当前块的上部块或左边块的第一行或列的7个AC系数之间分别的差值。

换句话说，在预测之前还计算初始AC系数的能量：

E_{AC_init} = Σ_{i = 1}^{7} {AC}_{i}^{2}

AC_i对应于当前块的第一行或第一列的7个系数AC。

对于当前块，希望确定使能量尽可能低的位置。对于根据块的位置变化的部分，能量取决于ΔDC，还可能取决于其中预测的ΔAC。其等于：

- 当存在DC/AC预测时，换句话说，如果E_{AC_pred}<E_{AC_init}，：

E (B_{k}) = Δ {DC}^{2} + Σ_{i = 1}^{7} {(Δ {AC}_{i})}^{2}

- 当不存在DC/AC预测时，换句话说，如果E_{AC_pred}≥E_{AC_init}，：E(B_k)＝ΔDC²

对于该行的N个块中的每一个来执行计算，然后，对于给定位置，判据C等于：

C (X, Y) = Σ_{k = 1}^{N} E (B_{k})

最优位置(X_opt，Y_opt)是在所有测试的位置中C(X，Y)最小的。

一旦确定了要被合成的子画面和其在大子画面中的位置，就更新要被合成的子画面的变形参数。出于此目的，把从该点将新的子画面合成到大子画面中的点的坐标(X_opt，Y_opt)添加到其变形参数的平移分量中。在渐缩模型(tapered model)的情况下，存在6个变形参数(a，b，c，d，e，f)，其中的2个，a和b表示平移分量或变形的恒定。因此，必须将a转换为a+X_opt，并且将b转换为b+Y_opt。

将新的变形参数插入到大子画面的变形参数列表中，其中临时将对应的镜头插入到视频序列的位置处。

拼接的结果如下：

- 代替了多个子画面的一个大子画面

- 代替了与视频序列的多个镜头相对应的多个列表的变形参数的单个列表。

对于视频序列的每个图像，连续的变形参数使从大子画面中重构的背景部分可见。

通过执行视频序列预分析步骤以及之后的依赖于该分析的编码步骤来实现编码。

在MPEG-4标准的特定情况下，编码是利用子画面编码工具(参考文献1SO/IEC JTC 1/SC29/WG 11 N 2502的7.8部分，189页到195页)来产生比特流。第二比特流是基于用于非矩形对象的编码工具，具体是用于二进制形式的编码工具(参考文献ISO/IEC JTC 1/SC29/VVG 11 N 2502的7.5部分，147页到158页)，此外，如果掩模不是二进制，则利用灰度形状编码工具(参考文献ISO/IEC JTC 1/SC29/WG 11 N 2502的7.5.4部分，160页到162页)。

本发明的另一个主题是来自根据前述方法的图像序列编码的压缩数据流。该数据流包括用于与可应用到大子画面的变形参数相关联的大子画面的编码数据，以及用于所提取的前景对象的编码数据。

本发明的另一个主题是一种进行这种方法的编码器和解码器。例如，涉及一种编码器，包括：处理电路，用于将序列分类为镜头，构造用于每一个类别的子画面，并且通过这些子画面的拼接来合成大子画面。还涉及一种解码器，包括电路，用于根据大子画面和前景对象的解码来构造视频序列的交替镜头的图像。

本发明的应用涉及利用视频编码标准的数字图像的传输和存储，尤其是利用子画面的MPEG4标准。

Claims

1.一种用于视频序列的数字数据的压缩的方法，所述视频序列包括交替的视频镜头，所述方法包括以下步骤：

-将序列划分(1)为视频镜头，

-通过比较镜头的内容将这些镜头分类(2)，以便获得类别，所述类别对应于具有相似背景的镜头，

-针对类别构造子画面(3)或视频对象平面，作为与分配给类别的镜头的背景相对应的合成图像，

-将至少两个子画面拼接(5)为一个子画面或视频对象平面，以便形成被称作大子画面的图像，

-对于与所述大子画面对应的镜头，从这些镜头的图像中提取(4)前景对象，

-分别地进行大子画面和所提取的前景对象的编码。

2.根据权利要求1所述的方法，其特征在于相叠地设置子画面，以便构造大子画面。

3.根据权利要求2所述的方法，其特征在于根据大子画面的编码成本来计算用于拼接的子画面的位置。

4.根据权利要求1所述的方法，其特征在于所述大子画面是根据MPEG-4标准定义和编码的子画面。

5.根据权利要求1所述的方法，其特征在于对于所提取的前景对象的数据和大子画面的数据，执行多路复用操作(8)，以便传递数据流。

6.一种用于编码视频序列的视频数据的编码器，所述视频序列包括交替的视频镜头，其特征在于所述编码器包括：处理电路，用于将序列段分割为镜头并根据其内容对镜头进行分类，构造用于每一个类别的子画面，并且通过这些子画面的拼接来合成大子画面；用于从与大子画面相对应的图像中提取前景对象的电路；以及用于编码大子画面和所提取的前景对象的编码电路。

7.一种用于解码视频序列的视频数据的解码器，所述视频序列包括根据权利要求1的方法来编码的交替的视频镜头，其特征在于所述解码器包括：解码电路，用于解码与大子画面相对应的数据以提供背景数据，并且用于解码与前景对象相对应的数据；以及用于从已解码背景数据和已解码前景对象数据中构造图像的电路。