CN1894725A

CN1894725A - 视频编码方法及设备

Info

Publication number: CN1894725A
Application number: CNA2004800326123A
Authority: CN
Inventors: S·O·米滕斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-11-07
Filing date: 2004-11-01
Publication date: 2007-01-10
Also published as: WO2005045764A1; JP2007515097A; US20070025440A1; EP1683110A1; KR20060118459A

Abstract

本发明涉及一种视频编码方法以及相关的视频编码设备，其用于编码包含有自身被细分为块的帧的连续组的输入图像序列。该方法和设备执行以下步骤：根据为每一帧计算的所谓的内容改变强度(CCS)对所述序列进行预处理；利用为每一块估计的运动矢量来生成预测帧；对当前帧与最后的预测帧之间的差异信号应用转换子步骤，该转换子步骤产生多个系数，在该转换子步骤之后是对所述系数的量化子步骤；以及编码所述经量化的系数。根据本发明，在所述量化子步骤中使用所述CCS，以用于修改在该子步骤中使用的量化因数，所述CCS和量化因数同时增大或减小。

Description

视频编码方法及设备

发明领域

本发明涉及一种视频编码方法，该方法用于编码包含有自身被细分为块的帧的连续组的输入图像序列，所述方法包括以下步骤：

-通过应用某些预定的规则，根据为每一帧计算的所谓的内容改变强度(CCS)对所述序列进行预处理；

-估计当前帧的每一块的运动矢量；

-利用与当前帧的各块分别相关联的所述运动矢量来生成预测帧；

-对当前帧与最后的预测帧之间的差异信号应用转换子步骤，该转换子步骤产生多个系数，在该转换子步骤之后是对所述系数的量化子步骤；

-编码所述经量化的系数。

所述发明适用于例如视频编码设备，所述设备需要参考帧以用于减小例如时间冗余度(比如运动估计和补偿设备)。这样的操作是当前视频编码标准的一部分，同时预计也是将来的编码标准的类似部分。视频编码技术例如用于数字视频摄影机、移动电话或数字视频记录设备。此外，通过应用本发明的技术可以增强针对编码或转码视频的应用。

发明背景

在视频压缩中，通过减小在连续画面之间的时间冗余度，可以获得用于传输编码视频序列的低比特率。所述减小是基于运动估计(ME)以及运动补偿(MC)技术。然而，执行对视频序列的当前帧的ME和MC需要参考帧(也称为锚帧)。以MPEG-2为例，定义了不同的帧类型(即I帧、P帧和B帧)，对于这些帧执行不同的ME和MC:I帧(或内部帧)本身被独立编码，而无需参考任何过去帧或未来帧(即没有任何ME和MC)；每一个P帧(或前向预测画面)被相对于过去帧编码(即进行根据先前参考帧的运动补偿)；B帧(或双向预测帧)被相对于两个参考帧编码(一个过去帧和一个未来帧)。I帧和P帧充当参考帧。

为了获得良好的帧预测，这些参考帧需要具有高质量，即必须花费许多比特对其进行编码，而非参考帧的质量可以较低(因为这个原因，非参考帧的较高数量(在MPEG-2情况中的为B帧)通常会导致较低的比特率)。为了指示哪一个输入帧被处理为I帧、P帧或B帧，基于画面组的结构(GOP)被定义在MPEG-2中。更精确地说，一个GOP使用两个参数N和M，其中N是两个I帧之间的时间距离，M是参考帧之间的时间距离。例如，通常使用N＝12且M＝4的(N，M)-GOP，其定义“IBBBPBBBPBBB”的结构。

接连的帧通常比其间具有更大时间距离的帧具有更高的时间相关度。因此，参考帧和当前预测帧之间的较短的时间距离在一方面会带来更高的预测质量，但是另一方面则意味着所能使用的非参考帧更少。较高的预测质量和较高的非参考帧数量通常导致较低的比特率，但是它们彼此矛盾，因为只有较短的时间距离才能导致较高的帧预测质量。

然而，所述质量也依赖于参考帧实际上作为参考的有用性。例如，显而易见的是，如果参考帧恰好位于场景改变之前而对帧的预测恰好位于场景改变之后，那么就不可能相对于所述参考帧进行帧预测，尽管它们的帧距离可能仅仅为1。另一方面，在具有稳定的或几乎稳定的内容的场景(比如视频会议或新闻)中，即使是大于100的帧距离也能导致高质量预测。

从上面提到的例子来看，固定的GOP结构(比如通常使用的(12，4)-GOP)对于编码视频序列可能效率不高，因为在稳定的内容的情况下参考帧被太频繁地引入，或者因为参考帧在不恰当的位置处被引入(如果参考帧恰好位于场景改变之前的话)。场景改变检测是一种已知的技术，当由于场景改变而不可能在某一位置处实现良好的帧预测时(即在该处没有I帧)，可以利用场景改变检测技术在该位置处引入I帧。然而，虽然没有场景改变，但是如果在某些具有高度运动的帧之后的帧内容几乎完全不同，则帧序列无法从这种技术获益(例如其中在单个场景中持续追踪网球运动员的序列)。提交日为2003年10月14日的提交号为03300155.3(PHFR030124)的先前欧洲专利申请已经描述了一种用于寻找更好的参考帧的新方法。这个方法将在下面提到。

发明概述

因此，本发明的目的是提出一种基于所述先前方法的视频编码方法，其用于寻找可以充当参考帧的更好的帧，但是可以更显著地减少编码成本。

为此目的，本发明涉及一种例如在说明书的介绍段落中定义的视频编码方法，其中所述CCS被用在所述量化子步骤中，以用于修改在所述量化子步骤中使用的量化因数，其中所述CCS和所述量化因数同时增大或者减小。

本发明还涉及一种用于实现所述方法的设备。

附图的简要描述

现在将参照附图并通过举例的方式来描述本发明，其中：

-图1示出了用于依照在上面引用的先前欧洲专利申请中给出的描述来定义将被编码的视频序列的参考帧的位置的规则；

-图2示出了一种实施在所述先前欧洲专利申请中描述的编码方法的编码器，其中以MPEG-2情况为例；

-图3示出了一种实施根据本发明的编码方法的编码器。

发明的详细说明

以上引用的文献描述了一种用于在输入序列中寻找可以作为参考帧的帧的方法，以便减少编码成本。该方法的原理是基于一些简单的规则来测量内容改变的强度，正如下面列出并在图1中说明的那样，其中水平轴与所涉及的帧号相对应，垂直轴与内容改变的强度等级相对应：内容改变的所测量的强度被量化为等级(例如5级，然而所述数字并不是限定性的)，并且I帧被插入在具有0级内容改变强度(CCS)的帧序列的开头，而P帧被插入在CCS等级增长发生之前或者被插入在CCS等级降低发生之后。这种测量可以例如是简单的块分类，其检测水平和垂直边缘，或者这种测量可以是基于亮度、运动矢量等等的其他测量类型。

在图2中描述了所述先前方法在MPEG编码中的实现方式。所述编码器包括编码分支101和预测分支102。由分支101接收的待编码信号被转换成系数，并且在DCT和量化模块11中被量化，经量化的系数接着连同运动矢量MV一起在编码模块13中被编码。预测分支102接收可以在DCT和量化模块11的输出端处获得的信号以作为输入信号，其串联地包括逆量化和逆DCT模块21、加法器23、帧存储器24、运动补偿(MC)电路25以及减法器26。MC电路25还接收由运动估计(ME)电路27(可以利用多种类型的运动估计器)根据输入再排序帧(在下面对其进行定义)和帧存储器24的输出产生的运动矢量MV，并且这些运动矢量也被发送到编码模块13，该编码模块13的输出(“MPEG输出”)以多路复用比特流的形式被存储或发送。

所述编码器的视频输入(连续帧Xn)在预处理分支103中被预处理。首先，提供GOP结构定义电路31以用于从所述连续帧定义GOP结构。然后，提供帧存储器32a、32b、......以用于对可以在电路31的输出端处获得的I、P、B帧的序列进行再排序(参考帧必须在依赖于所述参考帧的非参考帧之前被编码和发送)。这些经过再排序的帧被发送到减法器26的正输入端上(如上所述，减法器26的负输入端接收可以在MC电路25的输出端处获得的输出预测帧，这些输出预测帧还被发送回到加法器23的第二输入端)。减法器26的输出端提供帧差异，所述帧差异是由编码分支101处理的待编码信号。为了定义所述GOP结构，提供了CCS计算电路33。

已经可以看出，CCS越高(可能由运动导致)，观看者所能看清的所呈现的视频就越少。因此，根据本发明，提出作为CCS的函数来增大或者减小模块11中所使用的量化因数(所述CCS和量化因数同时增大或者减小)，所述CCS可以通过向编码分支的DCT和量化模块11发送CCS计算电路的输出信息来获得。正如在图3的常规部分中所描述的那样(将在下面的段落中关于本发明的描述介绍所述图3)，已知编码模块13实际上包括与缓冲存储器串联地排列的可变长度编码(VLC)电路，所述存储器的输出被发送回速率控制电路133，以用于修改量化因数。

根据本发明，如在图3中所示(其中与图2中类似的电路由相同的附图标记来表示)，在CCS计算电路33和速率控制电路133之间以及在所述电路33和编码分支的DCT和量化模块11之间提供附加的连接200，所述附加连接200用于允许实现对量化因数的所提出的修改。该连接200扩展了编码系统的两个编码模式，即所谓的开环编码模式(没有比特率控制)和闭环编码模式(具有比特率控制)。

例如在开环编码模式中，量化器设置一般是固定的。对于简单场景(需要编码的残留较少)所得到的编码流的比特率自然低于复杂场景(需要编码的残留较高)。如上面描述的编码情况(其中序列包括高度运动)产生以高比特率编码的复杂场景。通过更高的量化可以减小高度运动场景的比特率，从而去除这些场景的空间细节，其中观看者由于运动而无法看清这些场景的空间细节。可以通过定义量化因数q_css来控制量化，该量化因数是CCS和原始的固定量化器因数(称为q_fixed)的函数：

q_ccs＝q_fixed+f(CCS)

其中f()是一个函数，其结果为正整数0......(q_max-q_fixed)，以便将q_ccs从q_fixed增加到所允许的最大值q_max。f()的例子有f1(CCS)＝round(CCS*(q_max-q_fixed)/(CCS_max))或者f2(CCS)＝round((q_max-q_fixed+1)^(CCS/CCS_max)-1)，其中CCS＝0到CCS_max。

在闭环编码中，量化因数q_adapt被适配成获得所希望得到的预定义比特率。闭环编码所需要的比特率控制器基本上按照比特预算工作，并且根据可用预算来选择q_adapt。这意味着可以使用对于开环编码所描述的量化因数q_css，并且仅需要将q_fixed替换为q_adapt。于是，与未经修改的速率控制器相比，比特预算将随着更高的CCS而增加，并且这些附加的比特都被自动花费在具有较低CCS的帧上，因为q_adapt值将会由于增加的比特预算而减小。

Claims

1、一种视频编码方法，用于编码包含有自身被细分为块的帧的连续组的输入图像序列，所述方法包括以下步骤：

-通过应用一些预定的规则，根据为每一帧计算的所谓的内容改变强度(CCS)对所述序列进行预处理；

-估计各帧的每一块的运动矢量；

-编码所述经量化的系数；

其中，在所述量化子步骤中使用所述CCS，以用于修改在所述量化子步骤中使用的量化因数，所述CCS和量化因数同时增大或减小。

2、一种视频编码设备，用于编码包含有自身被细分为块的帧的连续组的输入图像序列，所述设备包括以下装置：

-预处理装置，其通过应用一些预定的规则、根据为每一帧计算的所谓的内容改变强度(CCS)对所述序列进行预处理；

-估计装置，用于为各帧的每一块估计运动矢量；

-生成装置，用于基于与当前帧的各块分别相关联的所述运动矢量来生成预测帧；

-转换和量化装置，用于对当前帧与最后的预测帧之间的差异信号进行转换，该转换产生多个系数，以及在该转换之后对所述系数进行量化；

-编码装置，用于编码所述经量化的系数；其中，所述预处理装置的输出在所述转换和量化装置的输入端上被接收，以用于根据在所述量化子步骤中使用的所述CCS来修改所述量化因数，所述CCS和量化因数同时增大或减小。