CN1578470A - 用于编码视频数据的设备和方法 - Google Patents

Abstract

本发明涉及一种用于编码视频帧序列的设备，包括：－测量装置(1)，用于测量要编码的视频帧的空间活动性，－测量装置(1)，用于测量要编码的视频帧的时间活动性，－编码装置(2)，用于作为帧结构或场结构来编码帧。根据本发明，用于作为帧结构或场结构来编码帧的装置(2)能够作为所述帧的空间和时间活动性的测量的函数，动态地选择帧或场结构。

Description

用于编码视频数据的设备和方法

技术领域

本发明涉及一种用于编码视频数据的设备和方法。

更具体地，本发明应用于交错帧的编码，即，由在不同瞬间所采样的两个场所构成的帧。

背景技术

在有限带宽网络中以及对于存储构成了限制的应用，视频帧的编码对于数字视频数据的传输是必要的。

当视频序列显示出高度的空间冗余、谱冗余、时间冗余和心理视觉冗余时，在没有明显质量退化前提下的数字视频数据的压缩是可能的。

近年来，有关多媒体的兴趣导致了新压缩标准的出现并且开发了诸如MPEG-2之类的标准以及更近地，在参考：ITU-T Rec.H.264ISO/IEC 14496-10 AVC下定义的H.264。

这些标准针对具有不同需要的大量应用，所述需要有关比特率、帧质量、复杂度、误差恢复力和时间比例以及提高压缩比率。

反映了在MPEG-2中所定义的，H.264压缩标准引入了帧编码结构的概念，其中交错了帧线或将帧划分为两个场的场线。

场或帧包括水平行，每行包含十六线象素。在每行存在宏块，每个宏块的大小是16×16。将宏块组织为四个亮度块和依赖于采样类型的2或8个色度块。

在宏块中构成帧模式数据的压缩方案中，两个场在一个公共块中保持交错。在场类型编码模式中，在宏块中将两个场分开：一个宏块对应于偶数场，而另一个对应于奇数场。

H.264标准还包括在MPEG-2标准中定义的已知帧类型，即：

-I(帧内)帧，其编码不依赖于任何其它帧，

-P(预测)帧，其编码依赖于之前所接收的帧，

-B(双向预测)帧，其编码依赖于之前和/或随后接收的帧。将两个I帧之间的帧组称为GOP(表示“图像组”)，其数量可变，并且其按照帧类型的内部结构也是自由的。

H.264标准的参考模型进行了所谓的在后(a-posteriori)编码，即，在帧或场结构中帧的后编码之后。采用了提供最佳比特率/失真折衷的编码。

由于在时间或计算装置方面过于昂贵，因此对于实时应用，这种编码模式难以想象的：必需帧结构场预测、帧结构帧预测和场结构场预测的计算，即，是递进源(帧结构帧预测)的计算量的三倍，所述递进源已经是当前技术状态中标准电视格式的关键技术。

此外，标准的参考模型执行固定的GOP结构，尽管按照在后模式进行，这也不能保证编码的选择可以根据比特率/失真折衷来获得最佳编码。

发明内容

本发明提出了一种编码设备，其中在编码前执行按照场或帧模式的编码选择。

出于此目的，本发明提出了一种用于编码视频帧序列的设备，包括：

-测量装置，用于测量要编码的视频帧的空间活动性，

-测量装置，用于测量要编码的视频帧的时间活动性，

-编码装置，用于作为帧结构或场结构来编码帧。

根据本发明，用于作为帧结构或场结构来编码帧的装置能够作为所述帧的空间和时间活动性的测量函数，动态地选择帧或场结构。

本发明能够相对于参考模型的方法，将计算量减少30％到60％。这种计算的优化没有造成对编码质量的损害：更具体地，本发明针对高编码质量的应用。

根据优选实施例，编码装置能够编码图像组格式的视频序列，所述设备包括选择装置，用于依据作为空间和时间活动性的测量函数来选择图像组(GOP)的结构。

按照这种方式，能够使用包括与显示了较强时间活动性的序列更多的连续B帧序列来编码显示了较弱时间活动性的序列。

帧/场编码结构的选择与GOP结构选择的结合可以超过标准参考模型的性能。

在优选实施例中，设备包括决策装置，用于确定视频序列是交错类型还是递进(progressive)类型。

按照这种方式，可以将递进类型的帧序列作为帧结构进行编码。具体地，递进序列显示了较强的空间相关性，因此能够将其作为帧结构进行编码。

根据优选实施例，图像组包括按照帧内模式、预测模式和双向预测模式编码的帧，双向预测类型的帧能够充当参考帧，用于图像组的一定帧的编码。

优选地，图像组可以包括由按照双向预测模式编码的任何数目的连续帧所构成的序列。

这在序列显示出较弱时间活动性的情况下尤其有利，按照双向预测模式的编码非常廉价。

根据优选实施例，当输入序列是交错类型时，将I类型的帧作为场结构编码，帧的第二场成为相对于帧的第一场的P(预测)类型场。

这可以减小编码成本，因此提高了编码比特率。

本发明还涉及编码视频数据的方法，包括步骤：

-测量要编码的视频帧的空间活动性，

-测量要编码的视频帧的时间活动性，

-作为帧结构或场结构来编码帧。

根据本发明，作为帧结构或场结构来编码作为所述帧的空间和时间活动性的测量函数，动态地选择帧或场结构。

本发明还涉及计算机程序产品，其特征在于包括程序编码指令，当在计算机上执行时，所述指令能够实现根据本发明的方法。

附图说明

参考附图，利用完全非限制性、有利的典型实施例和实施方式，能够更好地理解并演示本发明，其中：

-图1示出了根据本发明优选实施例的编码设备，

-图2示出了根据本发明优选实施例的功能性框图，

-图3示出了计算场内和场间相关性的优选模式，

-图4示出了在序列具有较弱运动的情况下，根据本发明优选实施例的图像组(GOP)。

具体实施方式

图1示出了根据优选实施例的编码设备。该编码设备包括预分析模块1，用于接收源自要编码视频流的帧序列，作为输入。还将视频流发送到用于重新组织帧的模块3的输入端。

帧重新组织模块3的输出端与编码回路4的输入端相连，编码回路4的输出端与熵编码模块5相连，熵编码模块5传送已编码的视频数据作为输出。

预分析模块1的输出端与编码控制模块2的输入相连，编码控制模块2将控制数据提供给熵编码模块5，将要编码帧的类型提供给帧重新组织模块3，并将编码结构的类型，即帧或场类型编码，提供给编码回路4。

熵编码模块5提供已编码的视频流作为输出。

编码回路4是按照H.264标准所定义的编码回路的编码回路。根据其它实施例，该编码回路可以遵循其它编码标准，例如MPEG-2或其它任意类型的编码。参考下面的附图，详细说明不同模块的功能。

图2示出了分解为图1所示预分析模块1和编码控制模块2的功能模块。

所示的功能模块可以不与物理上可区分的实体相对应。例如，可以将这些模块或某些模块集成为单一的元件或构成同样的软件段的功能性。相反，一定模块可以由独立的物理实体组成。

模块6和7是预分析模块，而模块8、9和10是进行编码控制的模块。

模块6执行场相关计算。

图3解释了模块6使用的相关方案。

模块6执行如下所示的空间活动性的评价。

模块6通过测量帧的每场的场内相关来执行当前帧的场内相关。

如图3所示，CIntra[0]表示偶数场的场内相关，CIntra[1]表示奇数场的场内相关。

$\mathrm{CIntra}\left[0\right]=\underset{j=0}{\overset{j=\mathrm{nblines}/2-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|{\mathrm{Fn}}_{-1}(j*2,i)-F{n}_{-1}(j*2+1,i)|$

$\mathrm{CIntra}\left[1\right]=\underset{j=0}{\overset{j=\mathrm{nblines}/2-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|\mathrm{Fn}(j*2,i)-Fn(j*2+1,i)|$

j表示每场的行数，分别考虑。

F表示象素(i，j)的亮度值。

模块6执行如下所示的时间活动性的评价。

T表示两个场之间的周期。对于50Hz的信号，场周期是1/50s，而在60Hz的情况下，场周期是1/60s。

模块6执行当前帧的第一场和之前帧的最后一场之间的场间相关的测量，将其表示为C_T[0]。

$C\_T\left[0\right]=\underset{j=0}{\overset{j=\mathrm{nblines}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|{\mathrm{Fn}}_{-1}(j,i)-F{n}_{-2}(j,i)|$

模块6执行当前帧的第一场和之前帧的第一场之间的场间相关的测量，将其表示为C_2T[0]。

$C\_2T\left[0\right]=\underset{j=0}{\overset{j=\mathrm{nblines}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|{\mathrm{Fn}}_{-1}(j,i)-F{n}_{-3}(j,i)|$

模块6执行当前帧的第二场和当前帧的第一场之间的场间相关的测量，将其表示为C_T[1]。

$C\_T\left[1\right]=\underset{j=0}{\overset{j=\mathrm{nblines}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|\mathrm{Fn}(j,i)-F{n}_{-1}(j,i)|$

模块6执行当前帧的第二场和之前帧的第二场之间的场间相关的测量，将其表示为C_2T[1]。

$C\_2T\left[1\right]=\underset{j=0}{\overset{j=\mathrm{nblines}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{nbpels}-1}{\mathrm{\Σ}}}|\mathrm{Fn}(j,i)-F{n}_{-2}(j,i)|$

模块6将场间和场内相关性的测量结果提供给模块7。

模块7包括递进/交错决策模块11和用于计算加权的时间活动性的模块12。

模块11确定在编码设备的输入端所接收的当前序列是来自递进源(例如影片)还是交错视频源。

出于此目的，其执行以下比较：

如果(0.9*(C_Intra[0]+C_Intra[1])＞C_T[1])，则认为序列是递进的，否则认为序列是交错的。

模块12执行通过空间活动性加权的时间活动性的计算。

帧类型的编码适于具有较弱运动的帧序列，即，其时间活动性较弱的帧序列。

相反，场类型的编码适于具有较强运动的帧序列，即，其时间活动性较强的帧序列。

利用空间活动性加权时间活动性。具体地，当序列具有很多纹理，因此显示出较强的空间活动性时，在所有线保持的帧编码类型给出了比只在两个线之一保持的场模式编码更好的结果。

根据以下公式计算加权的时间活动性：

$\mathrm{Act}=\frac{1+\min \{C\_T[0],C\_T[1\left]\right\}}{2+0.5*\max \{\mathrm{size}\_\mathrm{frame},(C\_\mathrm{intra}[0]+C\_\mathrm{intra}[1\left]\right)\}}$

作为示例，给出值2和0.5，在其它实施例中可以修改。

之后，根据场模式或帧模式，按照作为Act的值和由模块11执行的递进或交错编码类型的检测的函数来执行编码。由接收所检测到的序列类型和所加权时间活动性作为输入的模块8执行编码的选择。

如果模块11检测到对于当前场(帧)对和之前场对是一交错序列，则使用场类型编码来编码当前帧，否则，使用帧类型编码来编码当前帧。

如果可以是场编码模式，则：

如果Act＞3，按照场模式编码帧。

否则，按照帧模式编码帧。

在另一个实施例中，等于3的阈值可以不同。阈值的修改可以支持一个或其它编码模式。

之后，模块8执行图像组(GOP)结构的选择。

如果模块8采用了场模式编码决策，则GOP包括每个P帧之间的单个B帧。

因此，只有一种可能的GOP结构是I_0，0I_0，1B_1，0B_1，1P_2，0P_2，1B_3，0B_3，1P_4，0P_4，1B_5，0B_5，1P_6，0P_6，1。

其中X_i，j中的i，j分别是帧编号和场编号。GOP的长度不固定。

如果模块8采用了按照帧模式来编码帧的决策，则GOP中连续B帧的数目可以大于1。

在这种情况下，模块8首先通过计算最优的I/P周期T_I/Popt来计算连续B帧的最优数目，即，I帧和随后P帧之间的周期。

T_I/Popt＝7-2*Act+0.5

作为示例给出值7、2和0.5，可以在其它实施例中进行修改。

之后，模块8计算B帧的实际数目：

有时，连续B帧的实际数目依赖于应用的限制而与最优的B帧数目不同。实际上，由编码/解码链中对较短处理时间的需要来影响最大I/P周期。

因此，由时间间隔[2，max I/Pperiod]来界定最大I/P周期。

值2对应于I类型帧和P类型帧之间的B类型帧。

模块8将类型建议和帧结构发送到最终决策模块9。模块9还经过模块10接收有关最后几个已编码帧的决策历史。如果当前GOP的编码结构和类型与模块8建议的不同，则模块9不考虑最后的建议，除非可以修改当前GOP的结构和编码类型。在这种情况下，同一GOP可以包含作为场结构或作为帧结构的已编码帧。

根据优选实施例，可以截短GOP，从而可以从场类型编码切换到帧类型编码，反之亦然。在这种情况下，每个GOP拥有帧或场类型的编码结构和恒定的相关GOP结构。当存在结构的变化时，则通过按照帧内模式编码第一帧来改变GOP。这产生了高性能的编码质量和很好的稳定性，并且便于实现闭环编码的比特率调整。

之后，模块9将编码必需的信息发送到图3所示的帧重新组织模块3和图4所示的编码回路4，以及将控制数据发送到图5所示的熵编码模块5。例如，控制数据包括指示了熵编码模式的高层参数(在H.26L编码下是“cabac”或“cavlc”)、用于预测的参考帧数目、帧的大小(宽度，高度)、概要和层级。

更准确地，编码控制模块2将之后帧应当编码的类型(帧内、双向预测或预测)发送到帧重新组织模块3，并且将帧结构(场或帧)发送到编码回路4。

根据本发明的优选实施例，在认为序列是交错类型之前，始终按照场模式编码I类型帧(针对第一场，使用作为P类型编码帧的第二场)，而不考虑当前GOP的结构和编码模式。

根据本发明的优选实施例，当所插入B帧的数目超过2(具有较弱运动的序列)时，将B帧用作其它B帧的参考帧。图4示出了根据此优选实施例的一组图片示例。

I帧和P帧之间的周期是4，即，在I帧和P帧之间有3个B帧。

位于其它两个B帧之间的中间帧B2是用于周围两个B帧编码的参考帧。在帧B1之前，根据当前GOP的之前帧I0和当GOP的之后帧P4来编码该帧B2。

根据之后帧B2、之前帧I0和之后帧P4来编码帧B1。

根据帧I0、帧B2和帧P4来编码帧B3。

Claims (8)

1.一种用于编码视频帧序列的设备，包括：

-测量装置(1)，用于测量要编码的视频帧的空间活动性，

-测量装置(1)，用于测量要编码的视频帧的时间活动性，

-编码装置(2)，用于按照帧结构或场结构来编码帧，

其特征在于用于按照帧结构或场结构来编码帧的装置(2)能够依据作为所述帧的空间和时间活动性的测量的函数，动态地选择帧或场结构。

2.根据权利要求1所述的编码设备，其特征在于所述编码装置能够编码图像组(GOP)格式的视频序列，所述设备包括选择装置，用于按照作为空间和时间活动性的测量的函数来选择图像组(GOP)的结构。

3.根据前述权利要求之一所述的编码设备，其特征在于设备包括决策装置(11)，用于确定视频序列是交错类型还是递进类型。

4.根据前述权利要求之一所述的编码设备，其特征在于图像组包括按照帧内模式(I)、预测模式(P)和双向预测模式(B)编码的帧，双向预测类型(B)的帧能够充当参考帧，用于图像组(GOP)的一定帧的编码。

5.根据权利要求3所述的编码设备，其特征在于图像组(GOP)包括由按照双向预测模式(B)编码的任何数目的连续帧所构成的序列。

6.根据权利要求3所述的编码设备，其特征在于当输入序列是交错类型时，将帧内类型(I)的帧作为场结构编码，帧的第二场成为相对于帧的第一场的预测类型(P)场。

7.一种编码视频数据的方法，包括步骤：

-测量要编码的视频帧的空间活动性，

-测量要编码的视频帧的时间活动性，

-按照帧结构或场结构来编码帧，

其特征在于依据作为帧的空间和时间活动性的测量的函数，动态地选择按照帧结构或场结构编码所述帧。

8.一种计算机程序产品，其特征在于包括程序编码指令，当在计算机上执行时，所述指令能够实现根据权利要求7所述的方法。

Images