CN1276664C - 视频编码方法 - Google Patents

Abstract

本发明涉及适用于划分成连续帧组(GOF)的视频序列的编码方法，所述帧组本身又划分成连续的帧对(COF)，所述方法包括：应用于每个帧对(COF)的运动估计步骤；应用于每个GOF的运动补偿三维(3D)子带分解步骤，此步骤利用基于所述运动矢量场的运动补偿时域分析和空间小波变换来定义至空时子带的分解；用于量化和编码所述空时子带的编码步骤及控制步骤。根据本发明，对任何关注的GOF的连续帧对的运动估计步骤的方向是根据如下方案选择的：该方案最好是一种针对连续帧对的交替方案，或者是一种任意修改的方案，在这种任意修改的方案中，运动估计和补偿运算集中在根据能量准则选择的有限数量的所述连续帧对上。

Description

视频编码方法

技术领域

本发明大体上涉及数据压缩领域，更具体地说，涉及一种序列的编码方法。

背景技术

尽管网络带宽和数字设备的存储容量增加迅速，由于多媒体内容大小指数级的增长，视频压缩仍然起着必不可少的作用。而且，许多应用不仅需要高压缩率，而且需要增强的灵活性。例如，非常需要SNR(信噪比)可伸缩性，以便在异种网络中传输视频；而且，需要空间/时间可伸缩性，以便制作相同的可由不同类型的数字终端根据其计算、显示和存储能力予以解码的压缩视频位流。

诸如MPEG-4的当前标准已通过额外的高代价层在预测性的基于DCT(离散余弦变换)的框架下实现了有限的可伸缩性。基于空时树分层编码所采用的3D(三维)小波分解的更有效的解决方案最近已作为静止图像编码技术到视频编码技术的扩展提出。对视为3D容积的帧序列的3D或(2D+t)、小波分解提供了自然的空间分辨率和帧速率可伸缩性，而对分层树中的生成系数(由于3D方向树(orientation tree)明确显示系数之间的父代-后代依赖关系，所以小波变换生成的系数构成了分层金字塔，其中定义了空时关系)的深入扫描和逐行位平面(bitplane)编码技术导致期望的质量伸缩性。因此在编码效率方面以合理的代价获得了较高的灵活性。

一些现有实施方案基于该方法。在这种实施方案中，一般将输入视频序列分成帧组(GOF)，并且本身又划分成连续帧对(作为所谓运动补偿时间滤波或MCTF模块的许多输入)的每个GOF首先进行运动补偿(MC)，然后进行时间滤波(TF)，如图1所示。对所得的第一时间分解级低频(L)时间子带进一步加以滤波(TF)，在只剩下两个时间低频子带(根时间子带)(每个表示GOF的第一半和第二半的时间逼近)时处理停止。在图1所示的实例中，所示组中的帧用F1至F8表示，并且点线箭头对应于高通时间滤波，而且其他箭头对应于低通时间滤波。图中显示了三级分解(L和H＝第一级；LL和LH＝第二级；LLL和LLH＝第三级)。在所示8帧组的每个时间分解级上，生成一组运动矢量场(MV4在第一级上，MV3在第二级上，MV2在第三级上)。

当把哈尔(Haar)多分辨率分析用于时间分解时，由于一个运动矢量场是在每个时间分解层次上于所考虑的帧组中的每两帧之间生成的，所以运动矢量场的数量等于时间子带中的帧数量的一半，即在运动矢量场的第一层次上为四，在第二层次上为二，以及在第三层次上为一。运动估计(ME)和运动补偿(MC)只对输入序列的每两个帧执行，并且源于此MCTF运算的整个时间树所需的ME/MC运算总次数基本上与预测方案中的相同。利用这些非常简单的滤波器，低频时间子带表示对输入帧对的时间平均，而高频时间子带包含MCTF步骤之后的残余误差。

在这种3D视频编码方案中，通常以前向方式执行ME/MC运算，即，对帧对(i，i+1)执行运动补偿，i在朝i+1的运动方向上移位。如图1的示例所示，如果考虑八帧的输入GOF和三个连续时间滤波步骤，时间滤波运算以参考帧和当前帧为输入(例如F1和F2)，并得到低(L)频子带和高(H)频子带。如上所述，利用哈尔滤波器，低频子带提供对输入帧对的时间平均，而高频子带提供运动补偿级的残余误差。所述运算在两个后续帧之间重复，并对每个连续帧对依此类推，由此得到四个时间低频子带。时间滤波运算以类似的方式在下一时间层次上在每个连续低频子带对之间重复，依此类推。因此在最低的时间分辨率层次上，存在两个分别表示所述GOF和另一GOF的各一半的低频子带。但是，时间滤波运算实际执行的方式导致帧平均对参考帧有一定偏差，即，低频子带包含比当前帧更多的有关参考帧的信息。既然ME/MC运算是向前进行的，相同的移位影响每个时间分解层次并在每半GOF内观察到。

此特性可以通过如下时间滤波等式(1)和(2)来解释，等式(1)和(2)给出了低频和高频子带的MCTF等式，其中，同时从参考和低频子带的坐标中减去运动矢量(A＝参考帧；B＝当前帧)：

$L(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)=\frac{1}{\sqrt{2}}[B(i,j)+A(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)]---\left(1\right)$

$H(i,j)=\frac{1}{\sqrt{2}}[B(i,j)-A(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)]---\left(2\right)$

假设预测误差为零，令 $L=A\·\sqrt{2}.$ 因此，低频子带非常类似于参考帧。此外将显示，由于重建不完美，这些MCTF等式重建的参考帧总是比其重建的当前帧好。

图2说明与块匹配ME相结合的MCTF处理。块边界(BBY)由水平线绘出。参考帧A中的匹配块可与相邻块重叠。在此情况下，只有该参考帧的子集用于当前帧B中的MC运算，即一些像素被滤去不止一次，而其他像素根本不被滤去：这些像素分别称为双关联像素和无关联像素。如果只将运动补偿滤波输出编码和传输，则可以省去一些无关联像素(一般约3-5％的像素)，它们可能严重地影响总的编码增益和主观视频质量。为了减少无关联像素的问题，在S.J.Choi和J.W.Woods所著的有关图像处理的题为“运动补偿3D子带视频编码”(“Motion-compensation 3D subband coding of video”，S.J.Choi and J.W.Woods，IEEE Transactions on Image Processing，vol.8，n02，February 1999，pp.155-167)IEEE论文中提出了一种方法，这种方法的基础在于：将低频子带定位到参考帧的位置，而将高频子带放到当前帧中的对应位置上(参见等式(1)和(2))。这样，高频子带就具有尽可能小的能量且与无关联像素的移位帧差(DFD)值兼容(参见对应于无关联像素的MCTF的等式(3)和(4))：

$L(i,j)=\frac{2}{\sqrt{2}}\left[A(i,j)\right]---\left(3\right)$

$H(i,j)=\frac{1}{\sqrt{2}}[B(i,j)-A(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)]---\left(4\right)$

但此处理并未完全解决无关联像素的问题，因为可以证明，在只将视频比特流部分解码时，它们仍然可能在空时树重建中引起一些扰动。

然后考虑一对低频子带和高频子带，假定无高频子带传输小波系数(H＝0)。A(参考帧)和B(当前帧)的重建等式如下：

$A^{\′}(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)=\frac{1}{\sqrt{2}}[L(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)-H]---\left(5\right)$

$B^{\′}(i,j)=\frac{1}{\sqrt{2}}[L(i-{\mathrm{mv}}_{x}j-{\mathrm{mv}}_y)+H],---\left(6\right)$

变为：

$A^{\′}(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)=\frac{1}{\sqrt{2}}\left[L(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)\right]=\frac{1}{2}[B(i,j)+A(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)]---\left(7\right)$

$B^{\′}(i,j)=\frac{1}{\sqrt{2}}\left[L(i-{\mathrm{mv}}_{x}j-{\mathrm{mv}}_y)\right]=\frac{1}{2}[B(i,j)+A(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)]---\left(8\right)$

它们分别对应于不具有解码高频子带中的系数的重建的参考帧和当前帧。然后，对应的重建由如下等式(9)和(10)给出：

$|A^{\′}-A|(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)=\left|\frac{1}{2}\right[B(i,j)-A(i-{\mathrm{mv}}_{x}j-{\mathrm{mv}}_y)|=|\frac{\mathrm{\ϵ}}{2}|---\left(9\right)$

$|B^{\′}-B|(i,j)=\left|\frac{1}{2}\right[A(i-{\mathrm{mv}}_{x}j-{\mathrm{mv}}_y)-B(i,j)\left]\right|=\left|\frac{\mathrm{\ϵ}}{2}\right|---\left(10\right)$

其中，ε是预测误差。这证明误差均等地分布在A帧和B帧之间。

但是，对于无关联像素，结论并不相同。如下重建等式(11)和(12)：

$A^{\′}(i,j)=\frac{1}{\sqrt{2}}L(i,j)---\left(11\right)$

$B^{\′}(i,j)=-\frac{1}{\sqrt{2}}[L(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)+H]---\left(12\right)$

在H＝0时变为：

A′(i，j)＝A(i，j)    (13)

$B^{\′}(i,j)=\frac{1}{\sqrt{2}}\left[L(i-{\mathrm{mv}}_x,j-{\mathrm{mv}}_y)\right]---\left(14\right)$

由这两个等式，在有重建误差的条件下，对于不具有解码高频子带中的系数的参考帧和当前帧的无关联像素，得到如下等式(15)和(16)：

在此情况下，误差完全放在当前帧上。由于级联的前向ME/MC，所述误差在时间树内深度传播，导致每一半GOF内的质量下降并导

|A′-A|(i，j)＝0    (15)

$|B^{\′}-B|(i,j)=-\frac{\mathrm{\ϵ}}{2}---\left(16\right)$

致一些恼人的可见效果。

此种漂移在(2D+t)视频编码方案中成了一个实在的问题，因为均衡的时间分解是对小波系数进行高效编码的先决条件(根子带的系数在最高层次有后代，数据压缩假设为相同线的系数具有类似的特征)。

而且，在3D子带编码方法中，所述参考帧和当前帧((ref，cur)对)之间的时间距离随时间层次增加而增加。如果两个连续帧之间的时间距离视为等于1，则如果该两个连续帧之间有一帧该距离就等于2，如此类推。正如上述，既然低频时间子带非常接近输入参考帧，可以认为低频时间子带与其参考帧位于相同时刻，因此，时间距离概念可以简单地扩展到低频时间子带上。根据这一论述，可以估计每个时间分辨率层次上各帧(或子带)之间的时间距离。如图3所示，对于前向分案，在时间分辨率层次n≥1上，帧之间的距离等于2ⁿ。有许多因数影响运动补偿质量，但其中最重要的一个因数正是帧之间的距离。如果所述距离很小，则可预计各帧类似并且ME/MC更有效，而当要进行运动补偿的帧距离其参考帧非常远时，残留图像(高频子带)的误差能量仍然很高。因而在此情况中，对所述残留图像系数的解码代价很大。如果在获得完美的重建之前停止编码运算(在针对任意一种比特率的可伸缩方案中这时常会发生)，则高频子带非常可能包含某些假像，使重建的视频劣化。

发明内容

因此，本发明的目的在于提出一种至少使导致这些假像的移位减少的视频编码方法。

为此，本发明涉及一种适用于划分成连续的帧组(GOF)的视频序列的编码方法，所述帧组本身又划分成连续的帧对(COF)，所述帧对包括参考帧和当前帧，所述方法包括如下步骤：

(A)应用于每个帧组的每个帧对的运动估计步骤，用于定义所述帧对的参考帧和当前帧之间的运动矢量场；

(B)应用于每个帧组的运动补偿三维子带分解步骤，此步骤利用基于所述运动矢量场的运动补偿时域分析和空间小波变换来定义分成空时子带的分解；

(C)编码步骤，用于量化和编码所述空时子带；

(D)控制步骤，用于根据在所述编码步骤的输出上观测到的缓冲区状态确定比特率分配，以供在所述运动矢量场和所述空时子带之间共享；

所述方法的特征还在于：所述运动估计步骤的方向是根据所述关注的帧组中所考虑的帧对来修改的。

所述方法的特征还在于：运动估计步骤的方向可以根据所关注的GOF中考虑的帧对加以修改。

在所述编码方法的有利的实施方案中，运动估计步骤的方向对任何所关注的GOF的连续帧对交替为后向和前向。

此方法为时间分解更深层次上的ME/MC提供更靠近的参考帧和当前帧对，并导致在每个时间分辨率层次上对GOF作更均衡的时间逼近。因此得以在时间子带之间更好地重新分配比特预算，从而提高针对整个GOF的全局效率。尤其是在低比特率上提高了重建视频序列的总质量。

在所述编码方法的另一实施方案中，对任何关注的GOF的连续帧对的运动估计步骤的方向集中在所述的连续帧对上，所述连续帧对在第一帧组的结尾处都颇为相似，所述帧对是根据能量准则选择的，而能量准则则是基于所述分解中所获得的高频时间滤波的子带中所包含的能量值。

通过决定支持GOF内的一些帧而损害其余帧，此方法允许在特定的时间范围内提高编码效率。

附图说明

现将参照附图对本发明作更详细的描述，附图中：

图1显示了使用运动补偿的时间子带分解；

图2说明无关联和双关联像素的问题；

图3说明在GOF内执行运动补偿的常规方法；

图4说明本发明第一实施方案中执行运动补偿的改进方法；

图5说明图3和图4的解决方案之间的比较；

图6说明本发明第二实施方案中执行运动补偿的另一种改进方法。

具体实施方式

虽然在上述3D视频编码方案(参照图3)中，以前向方式执行ME/MC运算，但现在根据本发明建议，根据所考虑的帧对修改运动估计的方向。例如，在第一种有利实施方案中，建议使GOF内的连续帧对的运动估计方向交替，如图4所示，以后向开始。此技术解决方案允许在更深的时间层次(n＞1)上使用更靠近的帧对：在时间层次n＝1上，一对帧的两个帧之间的距离随后减为1而非标准情况中的2；在时间层次n＝2上，此距离减为3而非4，依此对如下时间层次类推。更一般的方式为，为使运动估计方向交替导致如下等式：

其中，n是时间分解层次，d_帧内表示GOF内的帧内时间距离或(ref，cur)对距离，而d_帧间表示帧单位数量中两个连续帧对之间的帧间时间距离。

利用这种解决方案，最低频率时间子带移向GOF中间，促成更均衡的时间分解。由无关联像素引起的质量劣化仍然存在，但对连续时间层次不再具有累积性。在3D子带视频压缩方案中使用这种改进的ME/MC可使编码效率在低比特率条件下显著提高，如图5所示，其中显示了在本发明情况(情况PA)下，在(众所周知的Foreman序列上测得的)GOF内PSNR(峰值信号/噪声比)相对于帧索引FI的典型(平均)演变曲线与纯前向MC情况(情况PB)的比较。平均质量增益大约为1dB(分贝)，与纯前向曲线相比，质量更好地在整个GOF内均分。可以注意到，质量最高的帧是其对应的低频子带在下一时间层次上作为参考帧重用的那些帧。这并不令人惊讶，因为当解码过程在比特流终止之前停止时，对参考子带/帧的重建总是优于对高频子带的重建。此交替MB/MC方案确保在每个时间层次上使用可用的质量最佳的参考帧。

但是，在考虑这样的帧序列抽取部分时，即其中第一部分(例如第一GOF)包含大量运动(例如由于摄像机摇摄)，而所述抽取部分(例如显示为一幢房屋)的第二部分(例如第二GOF)几乎没有什么运动，则可以得到如下评述。在低比特率条件下，因运动程度高而无法将抽取部分的第一部分(第一GOF)正确编码：视觉上，重建的视频包含由块匹配ME和粗劣的错误编码引起的许多非常恼人的块假像(只可以非常高的比特率来消除这些假像)。因此可以建议根据运动内容改变运动估计方向。但是，如果所考虑的序列是用标准的前向方案或使用交替方案来编码的，则第一GOF(此第一GOF包含大量运动，但所述运动在GOF结尾停止，因此所述结尾是静止的)的结尾与第二GOF(完全静止)中的类似帧相比具有较差的质量。第一GOF的结尾的这些“静止”帧的问题在于，它们聚集在具有一些包含大量运动的在前帧的相同GOF中。

因此可以根据能量准则建议将ME和MC运算集中在这样的连续帧上，即在第一GOF的所述结尾处其相似度相当高(因为它们是静止的)的连续帧上，并“牺牲”无论如何都无法以好的质量编码(因为最大比特率不够用)的中间帧。此解决方案的实现如图6所示。的确可以观察到，在将此策略与前述策略比较(或比较这些不同的情形中重建帧的质量)时，的确提高了第一GOF的最后静止帧的质量，而损害相同的第一GOF中在前的帧。既然此基于内容的ME/MC方向策略证明在编码效率和可视质量方面带来改善，因此所关心的是能够决定哪一种ME/MC方案最适合当前的GOF。为就此进行评估，例如可以选择能量准则，即一种基于包含在从分解过程获得的高频时间滤波子带中的能量数量的准则。

Claims (3)

1.一种适用于划分成连续的帧组的视频序列的编码方法，所述帧组本身又划分成连续的帧对，所述帧对包括参考帧和当前帧，所述方法包括如下步骤：

(A)应用于每个帧组的每个帧对的运动估计步骤，用于定义所述帧对的参考帧和当前帧之间的运动矢量场；

(B)应用于每个帧组的运动补偿三维子带分解步骤，此步骤利用基于所述运动矢量场的运动补偿时域分析和空间小波变换来定义分成空时子带的分解；

(C)编码步骤，用于量化和编码所述空时子带；

(D)控制步骤，用于根据在所述编码步骤的输出上观测到的缓冲区状态确定比特率分配，以供在所述运动矢量场和所述空时子带之间共享；

所述方法的特征还在于：所述运动估计步骤的方向是根据所述关注的帧组中所考虑的帧对来修改的。

2.如权利要求1所述的编码方法，其特征在于，所述运动估计步骤的方向对任何关注的帧组的连续帧对而言交替为后向和前向。

3.如权利要求1所述的编码方法，其特征在于，对任何关注的帧组的连续帧对的所述运动估计步骤的方向集中在所述的连续帧对上，所述连续帧对在第一帧组的结尾处都颇为相似，所述帧对是根据能量准则选择的，而能量准则则是基于所述分解中所获得的高频时间滤波的子带中所包含的能量值。

Images