CN1836449A - 用于对宏块编码时防止噪声的方法 - Google Patents

Abstract

本发明应用于视频编码并且公开了一种用于，特别是在一个帧的平坦区域中，去除变换编码噪声的方法，所述变换编码噪声表现为一个视频图像中运动对象的残余部分。这是通过如下方式提供的：当满足某种准则时，迫使一个宏块进行帧内编码而不是帧间编码。其目的是展现所述宏块是否包含令人讨厌的量化产生的噪声并且检测是否需要均衡。

Description

用于对宏块编码时防止噪声的方法

发明领域

本发明涉及视频压缩系统。

发明背景

运动图像的实时传输被用于多种应用，像例如视频会议，网络会议，电视广播以及视频电话。

然而，表示运动图像需要大量信息，因为典型地，数字视频是通过将一个图像中的每个像素表示为8个比特(1个字节)来描述的。这种未压缩的视频数据导致很大的比特量，并且由于有限的带宽而不能实时地在常规的通信网络和传输线路上传输。

因此，使能实时视频传输需要很大程度的数据压缩。然而，数据压缩会损坏图像质量。因此，已经作出了大量努力来开发允许高质量的视频在带宽受限的数据连接中实时传输的压缩技术。

在视频压缩系统中，主要目标是用尽可能少的容量来表示视频信息。容量是以比特定义的，要么定义为一个恒定值要么定义为比特/时间单位。在两种情况下，主要目标都是减少比特数。

在MPEG*和H.26*标准中描述了最常用的视频编码方法。在传输之前视频数据经历4个主要过程，即预测、变换、量化以及熵编码。

预测过程极大地减小了要被传输的视频序列中每个图像所需的比特量。它利用该序列的各部分与该序列的其它部分之间的相似性。因为编码器与解码器都知道预测者部分，所以只有差别必须被传输。典型地，所述差别需要更少的容量用于它的表示。预测主要基于来自先前重建图像的图像内容，其中所述内容的位置是由运动矢量定义的。典型地，所述预测过程在正方形块尺寸上执行(例如16×16像素)。然而在有些情况下，使用基于相同图像中邻接像素的像素预测，而不是基于先前图像的像素。这被称为帧内预测，与帧间预测相对。

表示为数据块(例如4×4像素)的残余仍然包含内部相关性。利用这一点的一种公知方法执行一种二维块变换。ITU推荐标准H.264使用一种4×4的整型变换。这样将4×4的像素变换成4×4的变换系数并且它们通常可以用比像素表示少的比特来表示。具有内部相关性的4×4像素数组之变换将可能生成具有比原始4×4像素块少得多的非零值的4×4变换系数块。

变换系数的直接表示对于许多应用仍然很昂贵。为了进一步减少数据表示，执行了一种量化过程。因此，变换系数经历量化。变换系数之可能值的范围被划分成值间隔，每个间隔由一个最高和最低判决值限制，并且被赋予一个固定的量化值。接着变换系数被量化成与那些各个系数落在其中的间隔相关的量化值。小于最低判决值的系数被量化为零。应当提到：与未压缩的序列相比，这个量化过程导致重建的视频序列多少有些不同。

正如已经指出的，待编码视频内容的一个特征是：对于描述序列之比特的需求变化极大。对于几种应用，本领域技术人员已经知道，在帧与帧之间，一个图像之相当大的部分中的内容不会变化。H.264扩展了这个定义，使得也可以对所述图像具有恒定运动的部分进行编码而不使用额外的信息。帧与帧之间具有很小变化或没有变化的区域需要最小的比特数来表示。包括在这些区域中的块被定义为“被跳过”，反映出没有变化或仅仅相对于对应的先前块发生了可预测的运动，因此除了这些块将被解码为“被跳过”的指示外，不需要数据来表示这些块。这个指示可以对几个宏块是共同的。

视频编码的现状(H.263/H.264)在减小比特率、仍然保持合理的整体主观图像质量方面非常有效。从主观角度看，所引入的误差大多可以接受，即使重建图像的客观误差类似于如果我们使用像素表示并且将每像素的比特数从8减小到4所获得的误差。

在现有技术中有大量的例子公开了用于像素预测或量化过程的技术，以便减少主观噪声。根据US 6,037,985，有一种用于视频压缩的已知方法；该方法处理压缩引起的瑕疵。该文关注单个窗口中，通常称为帧内的主观质量。在该文中用于提高单个窗口中主观质量的工具是：

●基于光滑表面附近的尖锐边缘来估计“抗噪度”，本领域的技术人员很早就已经知道这种技术。

●使用先前的估计结果以便影响Q-因子，Q-因子的调整是唯一参考的建设性特征。

●分几遍(步骤)来遍历所述图像，从而为每个单个宏块(MB)调整Q-因子来为所述图像产生一个“目标”比特计数，并且进而考虑估计的“抗噪度”以便提高所述图像的主观质量。

然而，US 6,037,985没有对由于从一个图像运动到下一个图像而引起的令人讨厌的主观噪声提出任何解决方案。根据US 2002/0168011，公开了另外一种常见的从按照一种基于预测块的编码技术、用宏块编码的视频数据流中检测噪声的方法。然而，该方法没有解决从一个图像运动到下一个图像所引起的问题。

下面，将给出关于引起严重的明显令人讨厌的效果之机制的解释，这些效果是上面引用的出版物中没有解决的。

然而，众所周知，某些视频素材类型趋向于引起明显令人讨厌的伪影。这个问题特别涉及图像中相对“平坦”区域，即具有相对均匀的像素值的区域之间的边缘或转变。该问题通常涉及变换系数量化引入的误差，但它在显露出光滑背景的运动对象的情况中更加明显。该问题在图1的左侧示出。随着黑色部分的运动，它在被假定为具有均匀亮度的背景区域中留下一些黑色“垃圾”。

这些现象自从当前的预测/变换编码使用以来就已经众所周知了。有时候，该现象被称为“脏窗口效果”。类似的现象也被称为“蚊影效果(mosquito effect)”。

另一种类似的效果涉及与先前描述的编码结合使用的块分割。块编码是一种用于压缩的强大的整体工具，并且利用邻接像素之间的相关性。然而，该方法不适用于处理奇异(singular)像素值。这一点在下述情况中有所反映：一个块主要包括“平坦”内容，只是靠近该块的边缘或角落的一个或几个像素变化很大。典型地，如果该块正好触及一个不同的对象时这就会发生。在这种情况下，奇异像素可以保持不变，从而在解码帧中靠近该块边界产生令人讨厌的黑点或白点，例如，当不同对象开始从该块离开时。该问题在图1的右侧示出。这里，最初处在一个静止位置、在边缘上覆盖一个块的角落之一的一个黑色区域即将运动离开该块。运动引起的变化如此之小以致该块仍然被指示为“被跳过”，并且因此，该块将保持不变。然而，邻接块中的变化好象是更大，并且因此被正确地更新(注意上述“蚊影效果”可以出现在块内的任何地方，而与当前讨论的效果无关)。结果是在一个明亮区域的中间有一个清晰可见的残余黑色角落。这个问题被称为“角落问题(cofner problem)”。

发明概要

本发明的一个目的是提供一种避免上述问题的方法。

定义在附加的独立权利要求中的特征表征本方法。

特别地，该方法用于对宏块编码时防止噪声，所述宏块由多个子块构成，所述子块表示视频图像的一个方形部分，所述编码包括预测所述宏块的像素值，变换像素值和/或其预测值，并且/或量化产生的变换系数，以及对整个宏块执行一个条件均匀性测试：

如果测试指示，有可能由于视频图像中的运动在所述宏块的对应解码版本中出现严重的量化生成的主观噪声，那么在所述宏块中选择像素值的帧内预测，或者

如果测试指示，不可能由于视频图像中的运动在所述宏块的对应解码版本中出现严重的量化生成的主观噪声，那么在所述宏块中选择像素值的帧间预测。

附图简述

为了使得本发明能够更加容易理解，下面的讨论将参考附图，其中

图1示出了由于视频图像中运动对象引起的量化生成噪声的两种情况，

图2是一个流程图，描述了本发明的一个优选实施例的步骤。

发明详述

下面将通过描述一个优选实施例并且通过参考附图来讨论本发明。然而，在附加的独立权利要求中定义的本发明之范围内，本领域技术人员将会实现其它应用和修改。

本发明公开了一种用于去除变换编码噪声的方法，特别是在一个帧的平坦区域中，所述变换编码噪声呈现为一个视频图像中运动对象的残余部分。这是通过如下方式提供的：当满足某种准则时，迫使一个宏块进行帧内编码而不是帧间编码。其目的是展现所述宏块是否包含令人讨厌的量化产生的噪声并且检测是否需要均衡。

所述准则可以定义如下：宏块不包括运动或仅仅包括小的运动，在先前帧的相同宏块中有运动，待编码数据大部分是平坦的(整个块相对均匀)而该块的预测包括较少的均匀内容并且一个角落块包含奇异分散像素(singular divergent pixel)。

如果满足这些条件的一些或所有所构成的一个组合，则使用帧内编码的一种特殊模式。典型地，这种模式将产生一个光滑的数据块并且因而去除令人讨厌的噪声。

按照本发明的一个优选实施例，检测一个宏块是否不包括运动或仅仅包括小运动是通过检查该块是否可被定义为“被跳过”而提供的。这无需对像素值进行完全变换就可以实现。在这点上，实现了一种称为“提前跳过”的方法。该方法使用一种简化的二进制变换而不是H.264中定义的全整数变换来检测跳转模式。所述变换基于哈达马变换，并且其基本向量如下：

K              K1         K2          K3

1  1  1  1     1 1 1 1    1 1-1-1     1 1-1-1

1  1  1  1     1 1 1 1    1 1-1-1     1 1-1-1

1  1  1  1    -1-1-1-1    1 1-1-1    -1-1 1 1

1  1  1  1    -1-1-1-1    1 1-1-1    -1-1 1 1

所述基本向量被乘以宏块中每个4×4块的残余。所述残余定义为待编码的宏块与先前解码帧中相同位置块之间的逐像素差别。

将残余块与相应系数位置所关联的基本向量相乘得到4×4块的二进制变换系数。替代地，通过首先变换每个分量(分别是待编码宏块和同位置块)，接着获得变换分量之间的差别，也可以得到残余二进制变换系数。然而，借助上述基本向量，计算被简化为加法和减法。

使用上面的基本向量来获得四个左上方系数提供了一种与相应的H.264中规定的4×4整型变换之系数相当接近的结果。事实上，左上方系数与实际变换相同。因此，用于4×4整型变换之DC系数的最低判决水平可被直接用作简化变换之分别四个系数的门限。当一个宏块中任何4×4块中没有任何系数高于一个门限时，那么该宏块被定义为“被跳过”。

简化的二进制变换也被用于调查其它准则。二进制变换系数被用来计算某些表示每个块之特征的参数。上面显示的基本向量K0被用于计算与其相乘的块之DC值。K1-K3提供某些相应的AC值。当将被简化的变换之基本向量与一个待编码像素之4×4块相乘时，假定O1，O2，O3和O4是产生的系数。此外，假定P1，P2，P3和P4是相应预测之变换的系数。按照本发明，对于宏块中每m(＝0，15)个4×4块，计算下面的第一参数：

$\mathrm{AC}0m=\underset{k=\mathrm{1,3}}{\mathrm{\Σ}}\left|\mathrm{Ok}\right|$

这个参数反映了该块从完全“平坦”偏离多少。还计算了反映一个块之原始值和预测值之间残余大小的第二参数。第二参数定义如下：

$\mathrm{AC}1m=\underset{k=\mathrm{1,3}}{\mathrm{\Σ}}|\mathrm{Ok}-\mathrm{Pk}|$

接着计算了所述宏块中所有4×4块中第一和第二参数之和：

$\mathrm{AC}0=\underset{m=\mathrm{0,15}}{\mathrm{\Σ}}\mathrm{AC}0m$

$\mathrm{AC}1=\underset{m=\mathrm{0,15}}{\mathrm{\Σ}}\mathrm{AC}1m$

此后，确定了所述宏块中那些在其中可能发生相当大的量化生成噪声的4×4块之数量(后文称为N0)。在这点上，假定如果AC1m充分地大于AC0m，那么一个4×4块可能会包括相当大的量化生成噪声。经验显示，8倍的AC1m大于9倍AC0m(8×AC1m＞9×AC0m)是一种用于该确定的适当方法。

另外，还统计了在未编码宏块中被定义为“平坦”的4×4块之数量(后文称为N1)。如果AC0m小于一个预定义门限，则一个块被称为是“平坦的”。经验显示25是用于该门限的一个适当值。

按照本发明，为了检测是否存在角落问题，所述宏块之角落块被特别注意。在这点上，发现了具有最大AC1m的角落块。如果这个AC1m值充分地大于该块之相应的AC0m值，就假定存在角落问题。经验显示2倍AC1m大于3倍AC0m(2×AC1m＞3×AC0m)是一种用于该确定的适当方法。

执行完上述准备，做出是否对该宏块进行帧内编码的最后判决。所述判决分两部分并且基于计算的参数和初步测试。所述判决过程的第一部分主要打算捕获如下情形：当一个运动对象刚刚离开由宏块表示的区域时，或刚刚停止运动时。量化生成噪声被假定可能发生，并且如果下述条件都是真，所述宏块将被帧内编码：

●所述宏块被定义为“被跳过”。

●视频序列中先前图像的对应宏块未被定义为被跳过。

●除了存在角落问题外，还有与所述宏块关联的AC1充分地大于相应的AC0或N0大于第一预定义门限或N1大于第二预定义门限。

特别地，经验显示用于第一和第二预定义门限的适当值分别为7和5。此外，建议将AC1充分地大于AC0定义为8×AC1＞9×AC0。

所述判决过程的第二部分主要打算捕获如下情形：当位于所述宏块表示的区域内的一个对象刚刚开始运动时。量化生成噪声被假定可能发生，并且如果下面条件为真，所述宏块将被帧内编码：

●所述宏块被定义为“被跳过”。

●视频序列中先前图像的对应宏块也被定义为被跳过。

●存在角落问题。

●角落问题所在的4×4块之对角邻居宏块未被定义为被跳过。

●N1大于第二门限。

图2的流程图中描述了用于一个宏块的判决过程的一个例子。该过程以确定该宏块是否是被跳过开始。这是通过步骤1-3实现的。这里，“simple-cof”是被用于确定每个4×4块之跳转模式的二进制变换系数，以及“门限”是整数变换域中的量化门限，它们与该门限进行比较。仅当所述宏块被定义为被跳过，所述过程才会前进到步骤4。步骤4通过检测是否存在角落问题来准备编码类型判决(帧内编码还是帧间编码)。此后，在步骤5，确定先前宏块是否被定义为被跳过。

如果是(步骤5选择“否”)，上面所述判决过程的第二部分将会发生。这意味着进一步的测试(步骤6)，有关与最大AC1m关联的4×4角落块之对角邻居是否是非跳过。如果不是(步骤6选择“是”)，计算“平坦”的原始4×4块的数量(N1)(步骤10)，接着是第二判决过程的最后测试：确定是否存在一个角落问题并且是否N1＞5(步骤11)。只有在两个准则都满足的情况下，所述宏块才被帧内编码。

返回到步骤5，如果先前宏块被确定为是非跳过(步骤5选择“是”)，上面描述的判决过程的第一部分将会发生。步骤7确定了所述宏块的AC1是否充分地大于AC0。如果是(步骤7选择“是”)，判决对该宏块执行帧内编码而无须对剩余参数进一步测试。然而，如果不是，就要计算AC1m充分大于AC0m的4×4块的数量(N0)(步骤8)，并且如果这个数量大于7(步骤9选择“是”)，判决执行帧内编码。如果不是(步骤9选择“否”)，在所述宏块上使用帧内或帧间编码的判决留到步骤10和11，如上所述。

按照本发明之方法的主要优点在于：它对于其中假定将会发生令人讨厌的量化生成噪声的块提供了快速更新。这是很强大的并且导致强烈的可视化改进。在解码过程不需要额外的复杂性并且仅仅引入了编码复杂性的有限增加。

Claims (12)

1.一种用于对宏块编码时防止噪声的方法，所述宏块包括多个表示视频图像之方形部分的子块，所述编码包括预测所述宏块的像素值、变换所述宏块的像素值和/或预测值，和/或量化所产生的变换系数，

其特征在于：

对整个宏块执行一条件均匀性测试以及

如果该测试指示在所述宏块之相应的解码版本中可能出现由于视频图像中运动引起的基本上主观的量化生成的噪声，那么选择所述宏块中之像素值的帧内预测，或者

如果该测试指示在所述宏块之相应的解码版本中不可能出现由于视频图像中运动引起的基本上主观的量化生成的噪声，那么选择所述宏块中之像素值的帧间预测。

2.按照权利要求1的方法，

其特征在于：执行对整个宏块的条件均匀性测试并且所述测试指示当下面的准则满足时是否假定可能出现基本上主观的量化生成的噪声：

所述宏块将被定义为“被跳过”，一个先前的对应宏块未被定义为“被跳过”，并且像素值基本是均匀的而预测值基本是不均匀的。

3.按照权利要求1的方法，

其特征在于：执行对整个宏块的条件均匀性测试并且所述测试指示当下面的准则满足时是否假定可能出现基本上主观的量化生成的噪声：

所述宏块将被定义为“被跳过”，一个先前的对应宏块未被定义为“被跳过”，并且包括在所述宏块的一个角落子块中的一个或少数奇异像素关于所述宏块中的大多数像素是分散的，而包括基本均匀像素值的子块之数量大于第一预定义门限。

4.按照权利要求1的方法，

其特征在于：执行对整个宏块的条件均匀性测试并且所述测试指示当下面的准则满足时是否假定可能出现基本上主观的量化生成的噪声：

所述宏块将被定义为“被跳过”，一个先前的对应宏块被定义为“被跳过”，包括在所述宏块的一个角落子块中的一个或少数奇异像素关于所述宏块中大多数像素是分散的，而包括基本均匀像素值的子块之数量大于第一预定义门限，并且所述角落子块之对角邻居宏块未被定义为“被跳过”，或将不会被定义为“被跳过”。

5.按照权利要求1的方法，

其特征在于：变换之步骤还包括：

利用一二进制变换函数对所述宏块之像素值进行变换，生成关联的像素变换系数，

利用所述的二进制变换函数对所述宏块之预测值进行变换，生成关联的预测变换系数，和/或

利用所述的二进制变换函数对所述宏块之像素和预测值之残余进行变换或计算像素和预测变换系数之残余来生成关联的残余变换系数。

6.按照权利要求5的方法，

其特征在于：如果与所述宏块中最低坐标对应的一个或多个残余变换系数小于与一个判决值对应的第二预定义门限，则假定一个宏块将被定义为“被跳过”，低于该判决值，则变换系数被量化为零。

7.按照权利要求5或6之一的方法，其特征在于，

除去最最低坐标的系数，通过对该宏块中各个子块中内部最低坐标的一个或多个像素变换系数进行求和，为每个子块计算第一参数(AC0m)，

除去最最低坐标的系数，通过对该宏块中各个子块中内部最低坐标的一个或多个残余变换系数进行求和，为每个子块计算第二参数(AC1m)。

8.按照权利要求7的方法，

其特征在于：

通过对包括在所述宏块中的所有子块关联的第一参数(AC0m)求和来计算第三参数(AC0)，

通过对包括在所述宏块中的所有子块关联的第二参数(AC1m)求和来计算第四参数(AC1)。

9.按照权利要求7或8之一的方法，

其特征在于：

确定所述宏块中子块的第一数量(N0)，其中所述第二参数(AC1m)充分大于所述第一参数(AC0m)，

确定所述宏块中子块的第二数量(N1)，其中所述第一参数(AC0m)小于第三预定义门限。

10.按照权利要求8或9之一的方法，

其特征在于：

如果所述第四参数(AC1)充分大于所述第三参数(AC0)和/或所述子块的第一数量(N0)大于第四预定义门限，则假定所述像素值基本均匀而所述预测值基本不均匀。

11.按照权利要求7-10之一的方法，

其特征在于：

确定所述宏块中角落子块中具有最大第二参数(AC1m)的一个角落子块，

如果与其关联的所述第二参数(AC1m)充分大于对应的第一参数(AC0m)，则假定包括在那个角落子块中的一个或少数奇异像素关于所述宏块中绝大多数像素是分散的。

12.按照权利要求7-10之一的方法，

其特征在于：帧内预测像素值意味着基于相同视频图像中与所述宏块邻接之像素的预测。

Images