CN101184237B - 将数据从mpeg2标准代码转换到mpeg4标准的方法 - Google Patents

Abstract

本发明所述方法的特征在于，如果与第一宏块有关的数据指示其是以帧预测和场DCT模式而编码的，所述方法包括如下步骤：确定图像中与第一宏块(3、4)一起形成超宏块的第二宏块(3、4)，每一个宏块具有相关联的MPEG2帧内运动矢量，即V₀和V₁；在场模式下(5、6)对宏块(3、4)进行结构化，并根据MPEG2运动矢量V₀和V₁来计算这个超宏块的分区(18、19、20、21、22、23)；根据MPEG2运动矢量V₀和V₁来计算每一个分区的运动矢量。

Description

将数据从MPEG2标准代码转换到MPEG4标准的方法

技术领域

本发明涉及一种用于对图像序列进行从MPEG2标准到MPEG4标准的代码转换的方法和设备。

所涉及的领域是用于存储或发送音频和视频数据的视频压缩。尤其关注的是，在从MPEG2到MPEG4的代码转换操作的上下文中，应用于隔行扫描图像的块压缩方案。

背景技术

隔行扫描视频是最常用于电视的格式。帧由两个场组成，即偶场和奇场，也被称作顶场和底场，其分别表示图像的奇数行和偶数行。由于顶场和底场是在两个不同时刻获取的，所以两次获取之间的运动会引起序列中的特定图像出现隔行扫描假象。

为了更好地支持这种格式，MPEG4或H.264标准可以用于根据三个不同的模式对图像进行编码：“帧”、“场”、“MBAFF”(“宏块自适应场帧”的缩写)。在帧模式下，对隔行扫描图像进行编码，在场模式下，分别对两个场进行编码。除了帧模式以外，还可以使用MBAFF模式，使得可以对图像中的场进行局部分离而增强了帧模式，这个模式也被称作帧+MBAFF，能够在场模式下对帧的宏块组进行编码。

在下文中，把由单一场中的线组成的块称作场块，把由偶场线和奇场线交替组成的块称作帧块。通过场残余块(各个帧)的离散余弦变换所计算出的系数块被称作场DCT块(各个帧的DCT块)，其通过场DCT编码(各个帧的DCT编码)而获得。

图1示出了根据MPEG2标准编码的帧的宏块。在这个标准中，关于这些宏块的预测使用帧宏块来做出运动估计，但可以对构成这个宏块的场或帧块执行这些相同宏块的DCT编码。

因此，如文献ISO/IEC 13818-2：1996，MPEG2标准的部分6.1.3(标题为Macrobloc)所述，在可以使用DCT编码来形成具有两个场和具有一个场的图像的帧中，宏块的内部组织根据图像类型而有所不同：

-如果是两个场的图像的DCT编码，则每一个8×8的DCT块必须由从这两个场交替获得的线而组成，如图1中的1所示。

-如果是一个场的图像的DCT编码，则每一个块必须由仅从两个场之一获得的线而组成，如图1中的2所示。

如果是一个场的图像，则每一个图像仅包含从两个场之一获得的线。在这种情况下，宏块中的每一个块由从图像的连续线中提取出的线组成。

在图中，阴影线对应于第一场或顶场，而非阴影线对应于第二场或底场。

图2示出了根据MPEG4标准编码的图像的宏块。这个标准包括被称作MBAFF的额外的编码模式，在MBAFF模式中，以垂直宏块对的方式对帧进行扫描。对于每一对宏块，计算场或帧编码决策。这两个垂直宏块MB组成了超宏块SMB。帧模式下的超宏块编码在附图标记3和4的两个宏块中产生用于预测和DCT编码的布置，每一个宏块均包括来自第一场和第二场的交替线。场模式下的超宏块编码在两个宏块(附图标记5和6)中产生布置，每一个宏块均包括分别属于第一和第二场的连续线。

对组成这些宏块或这个超宏块的4×4像素的宏块执行DCT变换。

MPEG2标准允许在具有相同奇偶性或相反奇偶性的场之间、或帧之间进行预测，对于帧之间的预测，在对宏块进行重新排列后，对8×8帧残余块或8×8场残余块进行DCT编码。对于宏块残余块的DCT编码，MPEG4标准规定与用于该宏块的预测相同的模式、场或帧。

对将要代码转换为MPEG4流的MPEG2流进行部分解码。例如，对与宏块有关的报头进行解码，提取出编码模式、运动矢量、所使用的DCT类型、场或帧等。MPEG4模式下的代码转换使用该信息，通常保留该编码模式以用于兼容模式。不对DCT系数进行解码。这种代码转换尤其能够节省成本较大的运动估计操作的成本。

当根据场DCT编码模式对MPEG2流的帧的大小为16×16的宏块进行编码时，该16×16的宏块被布置为两个16×8的场块，而这两个16×8的场块被布置为两个8×8的场块以进行DCT变换，这时会出现问题。在这种情况下，根据现有技术中的一种解决方案，通过假定该DCT块是与帧宏块的运动预测或估计相对应的帧块而执行MPEG4代码转换。实际中，如上所述，对于DCT编码，MPEG4标准仅使用其结构(场或帧)与被执行运动估计或预测的块的结构(场或帧)相对应的块。该解决方案把MPEG2流的编码后的帧的场DCT块比作帧DCT块，因此在MPEG4代码转换时会产生解码错误。实际中，这等同于把MPEG2 DCT系数比作帧块系数，然而对场块执行计算，因而对这些块的解码会产生假象。

另一个解决方案包括，通过逆离散余弦变换，对场DCT块进行解码，以获得场残余的块，在宏块中重新排列这些场块以获得帧块，并对这些帧像素块进行DCT变换以获得帧块DCT系数。这个过程需要高处理成本，编码成本可能也会较高，尤其对于相对运动中的对象边界区域而言，其原因在于较高的垂直频率，例如如图5中所示。

因此，无论是从处理时间的角度还是图像质量的角度来看，这些解决方案都不是最优的。

发明内容

本发明的一个目的是克服上述缺点。本发明的主题是一种用于将数据从MPEG2标准代码转换(transcode)到包括MBAFF(宏块自适应场帧)模式的MPEG4型标准的方法，其特征在于，如果与第一宏块有关的数据指示其是以帧预测和场DCT模式而编码的，则所述方法包括如下步骤：

-确定图像中与第一宏块一起形成超宏块的第二宏块，每一个宏块具有相关联的MPEG2帧内运动矢量，即V₀和V₁，

-在场模式下对宏块进行结构化(structuring)，并根据MPEG2运动矢量V₀和V₁来计算这个超宏块的分区(partition)，

-根据MPEG2运动矢量V₀和V₁来计算每一个分区的运动矢量。

根据一个特定实施例，所述超宏块的大小为16×32，如果MPEG2运动矢量V₀和V₁相等，则把所述超宏块分为两个16×16的场宏块，否则，把所述超宏块分为四个8×16的场子宏块。

根据一个特定实施例，通过使用场参考基础而不是帧参考基础，计算与所述超宏块的分区相关联的运动矢量。

根据一个特定实施例，所述计算超宏块的分区的运动矢量的步骤包括根据如下算式来计算运动矢量的垂直分量：

-如果矢量V₀或V₁的垂直分量dy的绝对值模2后等于0，则所述分区的垂直分量Dy的绝对值等于|dy|/2，而Dy的符号与dy相同，

-如果矢量V₀或V₁的垂直分量dy的绝对值模2后等于1，则所述分区的垂直分量Dy的绝对值等于(|dy|-1)/2，而Dy的符号与dy相同。

根据一个特定实施例，对与所述宏块有关的报头进行修改，插入用于定义与所述分区、场预测和场DCT编码相对应的新计算的编码模式的信息，并修改所述运动矢量场，以插入用于定义所计算的运动矢量值的信息。

本发明还涉及一种根据上述方法的代码转换设备，其特征在于所述设备包括：

-用于接收MPEG2数据流的电路，

-用于从所述数据流中提取并存储宏块的编码模式以及运动矢量的电路，

-与所述提取电路相连的处理电路，用于对以帧预测模式+场DCT模式编码的宏块进行检测，将这些宏块与顶部或底部宏块相关联以形成超宏块，并且用于根据提取出的数据来计算所述超宏块的分区以及所述分区的运动矢量，从而提供与所述分区以及所述超宏块中每一个分区的运动矢量有关的数据，

-用于在MPEG2数据流中插入或代入源自所述处理电路的数据，以提供MPEG4数据流的电路。

对待编码的宏块(通过MBAFF模式而获得)进行去交织使得能够在初始MPEG2帧预测和场DCT上下文中对具有预测和DCT场约束的超宏块结构进行最佳调整，包括运动矢量的调整。MPEG2数据流可为帧模式下预测的宏块提供场DCT系数块。通过利用场模式下对帧的超宏块的宏块进行MPEG4编码的可能性，可以使用如下事实，即帧宏块中的块已经在MPEG2编码的场DCT模式下被确定。MBAFF模式能够把帧的超宏块重新配置为两个宏块或场宏块分区。把帧宏块结构转换为场结构，然后在场结构模式下，与MPEG2标准一样，对残余预测误差隐式地计算MPEG4标准的DCT，但这是在4×4 DCT或8×8 DCT模式下进行的，这取决于所使用简档(profile)的性质，即针对主简档为4×4 DCT，而针对高简档为4×4DCT或8×8 DCT。适当保留的场模式是如下的模式：其在DCT转换中能够获得更少的高频系数或至少更低的幅度系数，这是因为对残余块进行了去交织。

MPEG2编码中的帧预测预示着该预测给出了最佳相关。现在，根据本发明的方法的代码转换提出，当对场块执行DCT编码时指示场预测。实际中，平均来说，DCT编码的节省远大于预测变化所导致的损失，所述预测变化即场之间的预测或相关比帧之间的预测或相关要差。换句话说，预测中的损失远小于DCT中的所得。此外，帧预测模式的选择不一定指示更好的相关，场预测模式下的矢量编码比帧预测模式下的矢量编码成本更高。

因此，所述方法包括：针对与当前宏块有关的代码转换，选择与当前宏块一起形成超宏块的第二宏块，然后根据MPEG2运动矢量来确定帧的超宏块的每一个场宏块的预测矢量。对用于帧预测的MPEG2运动矢量进行修正，以在MPEG4编码中用于计算参考场中所预测的场块，使用不同的参考基础对运动矢量进行编码，所考虑的是场线而不再是帧、线的编号。

附图说明

根据下文作为非排他性示例的描述并参考附图，本发明的其他特征和优点将会变得明显，其中：

-图1示出了帧预测模式下的帧的宏块，

-图2示出了由帧宏块组成和由场宏块组成的帧的超宏块，

-图3示出了帧的运动矢量，

-图4示出了场的两个运动矢量，

-图5示出了帧模式下的两个宏块，

-图6示出了由场模式下的块组成的两个宏块，

-图7示出了由场模式下的宏块组成的超宏块，

-图8示出了由场模式下的两个宏块组成的超宏块，

-图9示出了帧参考基础和场参考基础。

具体实施方式

图3示出了MPEG2标准下的图像模式预测的原理，其针对帧中大小为16×16的宏块，包括对偶数行7和奇数行8的隔行扫描。预测宏块由偶数行9和奇数行10的隔行扫描组成，因而来自隔行扫描的参考图像。预测宏块符合图1中附图标记1所示的宏块的布置，而场残余块(如果针对DCT计算而决定了场选择，则对这些场残余块执行离散余弦变换)符合图1中附图标记2所示的宏块的布置，其由4个块组成。附图标记11示出了与宏块相关联的运动矢量。

图4示出了MPEG4标准下的场预测的原理，其针对场模式下编码的帧的超宏块。从图像中提取出的超宏块对应于图2中附图标记3和4所示的宏块。这个超宏块被布置在由附图标记12和13所示的两个场宏块中，与图2中的超宏块的分区5和6相对应。针对与第一场相对应的顶部分区12，在预测图像的两个场(宏块14和15)中的每一个中计算预测宏块，以选择最佳相关。与所选宏块(16或17)相对应的第一运动矢量与超宏块相关联，第二运动矢量与超宏块的底部分区13有关。

当在帧模式下向运动的对象、尤其是该对象的边界应用预测时，针对帧预测模式的宏块的场DCT编码模式出现。该现象由图5示出，图5示出了帧中包含该边界的两个宏块，明显地为断续的，产生垂直高频，但是是有规律的，这就是为什么在帧模式下进行预测的原因。从一条线到另一条线的偏移与快速移动的对象的边界的场之间的时间距离相对应。这些阴影在MPEG2下的8×8像素的残余块的DCT域中产生很高频率。如果是这样，那么编码决策算法通常对宏块进行去交织，以便对场块执行DCT计算，即所谓的场DCT。图6示出了帧的两个宏块的结构，每一个宏块被布置为两个场块，其自身被分区为两个8×8的块，对每一个宏块的4个8×8残余场块执行DCT计算。

当在MPEG2标准下已经针对帧模式下的宏块执行了预测，且已经在场模式下执行了DCT编码时，本发明的方法计算从MPEG2编码的运动估计中获得的运动矢量的相关性，将其调整为场模式预测，并针对超宏块定义适当的分区，把这个信息插入数据流，以替换源自MPEG2编码的数据或作为其补充。

下文描述把源自帧的MPEG2编码的矢量转换为与场模式下编码的宏块相关联的矢量，以及子分区的确定。

至少以图像级别来存储MPEG2流数据，以把图像宏块以宏块对的形式进行关联。假设MB₀和MB₁是从MPEG2“获得”的两个宏块，MPEG4超宏块SMB的顶部(MB_top)和底部(MB_bot)宏块的对应部分分别具有如下矢量：

V₀(dx₀，dy₀)，

V₁(dx₁，dy₁)

dx和dy是矢量的水平和垂直分量。

当从帧预测变为场预测时，即，从帧参考基础变为场参考基础时，把运动矢量的垂直分量dy修改为Dy，保留水平分量。

情况1：V₀＝V₁

如果对于与帧宏块有关的MPEG2运动矢量来说V₀＝V₁，则可以利用这些矢量，对超宏块的两个16×16场子分区(图7中的附图标记18和19所示)中的每一个执行MPEG4预测。

把组成超宏块的这两个宏块或子分区的矢量命名为：

对于顶部子分区18，为V_top(dx₀，Dy₀)，

对于底部子分区19，为V_bot(dx₁，Dy₁)。

针对大小为16×16的子分区执行预测。

情况2：V₀≠V₁

如果对于与帧宏块有关的MPEG2运动矢量来说V₀不等于V₁，则对于包括来自每一个帧宏块的线的场宏块来说，明智的做法是不使用同一个矢量，即同一个MPEG4预测。因此，将对超宏块的每一个8×16子分区(8条16像素的线)执行预测，如图8中的附图标记20至23所示。这些子分区的矢量被称作：

-对于场模式下的超宏块的16×16顶部块的顶部子分区(附图标记20)，为V_0top(dx₀，Dy₀)，

-对于场模式下的超宏块中的16×16顶部块的底部子分区21，为V_1top(dx₁，Dy₁)，

-对于场模式下的超宏块中的16×16底部块的顶部子分区(附图标记22)，为V_0bot(dx₀，Dy₀)，

-对于场模式下的超宏块中的16×16底部块的底部子分区23，为V_1bot(dx₁，Dy₁)。

确定垂直移动矢量Dy

源自MPEG2编码的矢量一方面精确至半个像素，另一方面以帧参考基础而表示。图9的左部示出了该参考场，连续线与偶场相对应，而点线与奇场相对应。如图9的右手部分所示，为了使用场参考基础，把这些矢量场对场地转换为预测矢量，明智的做法是，考虑当前场的矢量所指向的场的奇偶性。

取决于子分区从属于偶场还是奇场，以帧参考基础表示的垂直移动矢量dy的值将指示参考场的选择。

所提议的过程如下：

如果矢量dy的绝对值模2(由|dy|％2表示)后等于1：

-场模式下的子分区的矢量Dy指向具有相反奇偶性的场。图4中附图标记17所示的移动与该矢量相对应。

-矢量的绝对值|Dy|＝(|dy|-1)/2

-Dy的符号与dy相同

否则(|dy|％2≠1)：

-场模式下的子分区的矢量Dy指向具有相同奇偶性的场。图4中附图标记16所示的移动与该矢量相对应。

-矢量的绝对值|Dy|＝|dy|/2

-Dy的符号与dy相同

值Dy(Dy₀或Dy₁)考虑了场参考基础，即场线的编号，dy与帧参考基础有关。

备选地，对于超宏块的8×16子分区的矢量，值dy(dy₀或dy₁，取决于所涉及的分区)是2的倍数，该值与具有相同奇偶性的参考场的选择相对应，不为2的倍数的移动与具有相反奇偶性的场的选择相对应。当在帧预测模式(MPEG2)下移动与场的变化相对应时，选择相反奇偶性的场。在具有相同奇偶性的场之间的非整数移动的情况下，一旦对矢量进行转换，则半像素或四分之一像素的内插是优选的，而整数移动不涉及该问题。类似地，在具有相反奇偶性的场之间的非整数移动的情况下，一旦对矢量进行转换，则使用半像素或四分之一像素的内插。

本发明还涉及一种执行上述方法的代码转换设备。该设备包括用于接收MPEG2型数据流的电路。特别地，通过与前述接收电路相连的提取和存储电路，从这个流中提取出已编码图像的编码模式及其宏块的运动矢量。例如，以完整图像的级别对提取出的信息进行存储。处理电路对提取出的与宏块有关的数据进行检索，检测以帧预测+场DCT模式编码的宏块，并将这些宏块与图像中的顶部或底部宏块相关联，或把这些宏块与图像中的顶部或底部宏块组对，以形成MPEG4型的超宏块。然后，该电路执行成对的宏块或超宏块的运动矢量的分区和修正。因此，其计算超宏块的分区以及分配给该分区的运动矢量。然后通过数据插入或替换电路，对这个数据进行结构化以插入或代入来自MPEG2流的数据，从而提供MPEG4数据流。

本发明应用于MPEG2和MPEG4标准，尤其是使用MBAFF编码模式的MPEG4部分10或H.264标准。特别地，本发明涉及例如广播的数据传输和数据存储。

Claims (5)

1.一种用于将数据从MPEG2标准代码转换到包括宏块自适应场帧MBAFF模式的MPEG4型标准的方法，其特征在于，如果与第一宏块有关的数据指示其是以帧预测(1)和场DCT(2)模式而编码的，则所述方法包括如下步骤：

确定图像中与第一宏块(3)一起形成超宏块(3、4)的第二宏块(4)，每一个宏块具有相关联的MPEG2帧内运动矢量，即V₀和V₁，

在场模式(5、6)下对所述超宏块(3、4)进行结构化，并根据MPEG2运动矢量V₀和V₁来计算这个超宏块的分区(18、19、20、21、22、23)，

通过使用场参考基础而不是帧参考基础，根据MPEG2运动矢量V₀和V₁来计算每一个分区的运动矢量。

2.根据权利要求1所述的方法，其特征在于，所述超宏块(3、4)的大小为16×32，如果MPEG2运动矢量V₀和V₁相等，则把所述超宏块(3、4)分为两个16×16的场宏块(18、19)，否则，把所述超宏块(3、4)分为四个8×16的场子宏块(20、21、22、23)。

3.根据权利要求1所述的方法，其特征在于，所述计算每一个分区的运动矢量的步骤包括根据如下算式来计算运动矢量的垂直分量：

如果矢量V₀或V₁的垂直分量dy的绝对值模2后等于0，则所述分区的垂直分量Dy的绝对值等于|dy|/2，且Dy的符号与dy相同，

如果矢量V₀或V₁的垂直分量dy的绝对值模2后等于1，则所述分区的垂直分量Dy的绝对值等于(|dy|-1)/2，且Dy的符号与dy相同。

4.根据权利要求1所述的方法，其特征在于，通过插入用于定义与所述分区、场预测和场DCT编码相对应的新计算的编码模式的信息，对与所述宏块有关的报头进行修改，并通过插入用于定义所计算的运动矢量值的信息，修改所述数据。

5.一种用于实现权利要求1所述的方法的代码转换设备，其特征在于所述代码转换设备包括：

用于接收MPEG2数据流的电路，

用于从所述数据流中提取并存储宏块的编码模式以及运动矢量的电路，

与所述提取电路相连的处理电路，用于对以帧预测模式和场DCT模式编码的宏块进行检测，将这些宏块与顶部或底部宏块相关联以形成超宏块，并且用于通过使用场参考基础而不是帧参考基础，根据提取出的数据来计算所述超宏块的分区以及所述分区的运动矢量，从而提供与所述分区以及所述超宏块的每一个分区的运动矢量有关的数据，

用于在MPEG2数据流中插入或代入源自所述处理电路的数据以提供MPEG4数据流的电路。

Images