CN101385346A - 处理视频数据亮度变化的局部加权预测 - Google Patents

Abstract

提出一种处理视频中的局部亮度变化的压缩方法。该压缩算法从源画面中先前编码的和重构的相邻像素以及其在参考画面中相应的运动预测(或配置的)像素中估计权重。由于该信息可用于编码器和解码器两者中以推导这些权重，因此不需要传输额外的比特。

Description

处理视频数据亮度变化的局部加权预测

技术领域

本发明涉及视频编码，更具体地，涉及一种使用局部加权预测(LWP)来处理视频中局部亮度变化的方法。

背景技术

通过形成待编码画面的参考画面预测，并使用运动补偿(即帧间预测)仅对当前画面和该预测之间的不同进行编码，使视频编解码从其压缩效率中获益良多。预测与当前画面的相关度越大，压缩该画面时需要的比特就越少。

在早期的视频编解码中，使用先前解码的画面来形成参考画面，不幸地，当涉及到严重的时间亮度变化时，例如由于照明改变、淡入/出效应、摄相机闪光等，传统的运动补偿会失败。

JVT/H.264/MPEG4 AVC视频压缩标准是包括加权预测(WP)工具的第一个国际标准。这个WP工具对于全局亮度变化有很好的效果，但是由于可以使用的不同加权参数数量的限制，在出现重大局部亮度变化时，仅获得很小的效果。

在H.264中已经使用加权预测(WP)来提高编码效率，超越了现有视频编码标准。WP通过乘法加权因子a和加法加权偏移b来估计亮度变化，如示例性等式(1)：

I(x，y，t)＝a·I(x+mvx，y+mvy，t-1)+b          (1)

其中，I(x，y，t)是在时间t的像素(x，y)的亮度强度，a和b是在测试区域中的常数，(mvx，mvy)是运动矢量。

在H.264标准的主要和延伸的简档中，支持加权预测。使用weighted_pred_flag字段在针对P和SP片段(slice)的画面参数集中指出加权预测的使用，并使用weighted_bipred_idc字段在针对B片段设置的画面参数集中指出加权预测的使用。有两种WP模式，在P、SP和B片段中支持的显式模式(explicit mode)，及仅在B片段中支持的隐式模式(implicit mode)。

在WP中，所使用的加权因子基于当前宏块或宏块分割的参考画面索引(或在双预测情况下的多个索引)。参考画面索引可以在比特流中编码，也可以被推导(例如针对跳跃或直接模式宏块)。单独的加权因子和单独的偏移与针对当前画面的所有片段的每一个参考画面索引相关联。对于显式模式，在片段头中对这些参数进行编码。对于隐式模式，推导这些参数。限制加权因子和偏移参数值以允许帧间预测过程中的16比特算术运算。

图1示出了H.264标准中的一些宏块分割和子宏块分割的示例。H.264使用树状结构分级宏块分割，其中，还可以将16×16像素宏块分成大小为16×8、8×16或8×8的宏块分割。还可以将8×8的宏块分割分成大小为8×4、4×8和4×4的子宏块分割。对于每一个宏块分割，可以独立地选择和编码参考画面索引、预测类型和运动矢量。对于每一个子宏块分割，可以独立地编码运动矢量，但是针对所有子宏块分割，使用子宏块的参考画面索引和预测类型。

通过P或SP片段中等于1的weighted_pred_flag，或B片段中等于1的weighted_bipred_idc，来指明显式模式。如在之前已经提到的，这种模式中，在片段头中对WP参数进行编码。可以对每一个颜色分量的乘法加权因子和加法偏移进行编码，用来通过num_ref_idx_10_active_minus1指示列表0中的每一个允许的参考画面，同时通过num_ref_idx_11_active_minus1指示列表1(针对B片段)中的每一个允许的参考画面。同一画面中的所有片段必须使用相同的WP参数，但针对误差弹性(resiliency)在每一个片段中重新传输WP参数。

对于在整个画面上均匀施加的全局亮度变化，单独的加权因子和偏移足以对从同一参考画面预测的画面中的所有宏块进行有效地编码。

然而，对于非均匀施加的亮度变化，例如照明改变或摄相机闪光，通过使用参考画面重排序，多于一个的参考画面索引可以与特定参考画面存储器相关联。这允许同一画面中不同宏块使用不同加权因子，甚至当从同一参考画面存储器中预测时也一样。然而，可在H.264中使用的参考画面的数量受到当前的技术水平和框架的限制，或受到运动估计的复杂性的约束。在局部亮度变化期间，这在相当程度上限制了WP的效率。

因此，很明显，需要一种处理局部亮度变化的压缩方法，该方法没有上述提到的与H.264中WP工具相关联的缺点。

发明内容

因此，本发明的一个方面是提供一种克服现有技术缺陷并可以更加有效的处理局部亮度变化的编码方法。

本发明的另一方面是提供可以在H.264标准中实现的局部加权预测。

根据本发明的一个实施例，处理视频中的局部亮度变化的方法包括，产生和使用逐块的加法加权偏移来对具有局部亮度变化的视频进行帧间编码，并对逐块的加法加权偏移进行编码。所述产生步骤可以包括使用当前画面和参考画面之间的下采样差分图像，而且所述编码步骤可以显式地执行。所述编码步骤也可使用可用的帧内编码方法来执行。

另一实施例中，该方法还包括在编码器中构造差分图像，并在所述编码器中的构造期间考虑运动估计和运动补偿。差分图像可以是DC差分图像，仅对差分图像的已使用部分执行传输。可以使用容易编码的值对差分图像的未使用部分进行编码。

本发明的另一实施例中，通过把解码的参考画面与上采样DC差分图像相加而产生新的参考画面，并对新的参考画面进行滤波。该滤波从新的参考画面中去除块效应，例如可以是H.264中的去块滤波。新的参考画面的产生能够进行编码，可以将该编码集成到H.264中，同时在编码期间，在信号头中使用附加比特。

根据本发明的一个实施例，所述产生和编码步骤应用到视频中的Y(或亮度)分量。另一实施例中，将所述产生和编码步骤应用到所有颜色分量(例如U和V(色度)分量)。在这个步骤中，所述应用可以是隐式定义/发信号通知的。

根据本发明的另一实施例，处理局部亮度变化的视频编码方法包括：通过从参考画面中减去当前画面而产生DC差分图像；通过增加所产生的DC差分图像而重构参考画面；关于视频对重构的参考画面进行运动补偿；以及对来自运动补偿的残差进行编码。

在H.264编码器中处理局部亮度变化的方法可以包括：确定所述视频上是否存在H.264帧间编码，以及何时H.264编码不存在；计算针对视频中的当前画面的差分图像；对所述差分图像进行编码；对所述差分图像进行解码和上采样；形成新的参考画面；对所述新的参考画面进行运动补偿；计算运动补偿的残差图像信息的DC系数；以及对运动补偿的残差图像信息的DC系数进行编码。然后，可以对解码的和上采样的差分图像进行滤波，以去除块效应。

根据另一实施例，处理局部亮度变化的方法包括：在H.264解码器中对非H.264帧间编码的视频进行解码。所述解码还包括如下步骤：对编码的差分图像进行解码；对解码的差分图像进行上采样；根据上采样的图像和参考画面存储而形成新的参考画面；对所述残差图像信息进行解码；以及利用解码的残差图像信息对所述新的参考画面进行运动补偿，以产生当前图像。

根据下面参考附图的详细描述，本发明的其它方面和特征将变得很清晰。然而，应该理解，附图仅用于例证的目的，不是对本发明的限定，本发明的限定应参考所附权利要求。还应该理解，所画的附图不需要按比例，除非特殊指示，它们仅仅是试图在概念上例证这里描述的结构和过程。

附图说明

在附图中，相同的附图标记表示相似的组件：

图1是示出根据H.264标准的宏块分割的框图；

图2是根据本发明实施例的局部加权预测方法中的运动补偿的图形表示；

图3a是根据本发明实施例在编码器中实现的处理局部亮度的编码方法的流程图；

图3b是在编码器中将本发明的编码方法和H.264标准相结合的流程图；

图4a是根据本发明实施例在解码器中实现的处理局部亮度的编码方法的流程图；以及

图4b是在解码器中将本发明的编码方法和H.264标准相结合的流程图。

具体实施方式

根据本发明的一个实施例，提出了一种新的处理局部亮度变化的压缩方法。这个实施例中，通过把当前画面和参考画面相减生成DC差分图像，并通过添加所生成的DC图像而重构参考画面。

从上述的等式1中，还注意到，为了能够有效的处理局部亮度变化，可能有必要对一大组加权参数a和b进行编码。不幸地，这样会产生两个问题：1)需要许多比特来对这些参数进行编码；以及2)考虑到需要使用所有可能的a和b集合来产生所需的参考并执行运动估计/补偿(ME)，主要在编码器中的计算复杂性会相当高。

根据本发明的一个实施例，假设在一个区域中强度的空间变化是小的，通过仅使用加权偏移项b，即设置a＝1，可以大致表示小区域内的亮度变化。根据一个已知的方法，在运动补偿的残差的DC系数中吸收这个偏移，因为假定其空间不相关。这种情况下，这个要求不总是真实的，因而限制了编码效率。为了处理运动估计/补偿中的偏移，使用mrSAD度量而不是通常的SAD度量。绝对差的和(SAD)定义如下：

$\mathrm{SAD}=\underset{[x,y]\∈B_k}{\mathrm{\Σ}}|c[x,y]-r[x,y]|---\left(3\right)$

其中，mrSAD是：

$\mathrm{mrSAD}=\underset{[x,y]\∈B_k}{\mathrm{\Σ}}|c[x,y]-\mathrm{mean}\left(c\left(B_k\right)\right)-(r[x,y]-\mathrm{mean}\left(r\left(B_k\right)\right))|---\left(4\right)$

其中c指当前画面，r用于参考画面以及B_k用于块k。

根据本发明的实施例(如图2的示例性图中所示)，提供一种用来对加权偏移项进行编码的方法。如果假设当前画面c和参考画面r之间的运动是小的，则可以定义b(x，y)＝c(x，y)-r(x，y)。如果假设小块内的亮度变化同样是小的，则得到b(B_k)＝D(c(B_k)-r(B_k))，其中D表示用于从当前和参考画面中提取特定块B_k的偏移的运算符。D可以是任何已知的子采样方法，例如，诸如全部或十分之一的块的均值。使用这个方法，新的子采样画面sD(如果均值用于D，则sD等同于c和r之间的DC差分图像)。通常的，可按照sD＝G(c-H(r))来生成sD图像，其中H()是例如运动补偿过程，而G()是可以为SD提供更好表示(即在编码效率方面)的另一个运算符(即NxM均值)。

通过r′＝F(r+U(sD))，形成新的参考画面r′，其中U表示将sD图像上采样为全尺寸(full size)的运算符，F是用来移除由sD引起的块状假像(artifact)的滤波器，例如，其与类似于H.264中使用的去块滤波器或任何其它适合的去块滤波器。之后，运动补偿在r′上执行。要注意，可能不需要sD中所有的像素，因为这些像素可能不会被使用。例如，对于帧内编码块，非参考像素可被强制为零或任何容易压缩的值，诸如相邻像素的值，而不管其实际值。可替代地，可提交指示sD的使用区域的图。任何情况中，该过程仅在运动估计/判断之后进行，而且sD可能需要以不改变参考区域的值的方式而重新编码。

尽管相当地复杂，但是考虑到当前图像及其参考之间的一些运动信息之后，同样可能生成sD图像。这允许对于每一个位置的所需偏移进行更好的估计，并提高sD图像的编码效率，也提高最终重构图像的编码效率。

本技术领域的技术人员公认，本发明的方法可与任何基于块的运动补偿编解码相结合。作为示例，在本公开中使用H.264。

本发明方法的实现中，必须要做一些考虑：

1)块大小-如果块大小B_k太小，需要更多的比特来对sD进行编码。如果该大小太大，不可能精确捕获局部亮度变化。建议使用8×8的块大小，如已经示出的测试，这提供了良好的折衷；

2)运算符的选择-为了简单化，本公开对于D使用均值(所以本质上，sD是DC差分图像)，并对U使用一阶上采样(简单地重复)。备选的方法是对I进行上采样，同时特殊考虑块边界，其中改为使用来自临近块的平均值。最后对于F，可以使用H.264中使用的用于对宏块进行去块的去块滤波器；

3)sD的编码方法-在对帧内画面进行编码中，H.264非常有效，sD图像可以被编码为H.264帧内画面；

4)语法改变-本发明的方法可与当前H.264编解码和语法结合。例如，一个参数(即画面参数集中)将表明该方法是否用于当前画面/片段中。此外，对于每一个参考，传输单独的参数(即片段参数集中)，该参数指示是否使用差分DC图像来形成新的参考画面。最后，在编码期间，测试所有可能的变化，并使用现有的穷举式拉格朗日(Langragian)率失真优化(RDO)方法，选择与原始方法(非差分DC)相比较来说对于每一个参考画面最适合的方法；

5)颜色分量一般化-同一方法可仅用于Y(或亮度)分量，或有选择地用于所有分量(即，U和V(色度)分量)。通过使用画面或片段参数，隐式或显式地进行选择。

本技术领域的技术人员将意识到，在不背离本发明精神的前提下，可以使用不同的变量名称和块大小。

图3a示出了在编码器端的本发明方法的实施例的框图。输入图像或当前画面c是输入，并针对所有块(B_k)计算304差分DC图像sD(B_k)＝mean(c(B_k)-r(B_k))。使用片段内方法，如H.264中的方法，对差分DC图像sD(B_k)进行编码306。随后，将DC图像sD(B_k)解码308成(sD′)，之后经过上采样310变成uD′。通过把来自参考画面存储器303的参考画面r与上采样的图像uD′相加，并对其进行滤波312以消除块假像(即，r′＝uD′+r)，以形成314新的参考画面r′。在新的参考画面r′上执行运动补偿316，并对运动补偿的残差的DC系数进行编码318。

如果基于运动估计/补偿的结果期望进一步压缩sD，在这个步骤中，sD需要被重新压缩成画面sD″，同时：1)考虑该运动估计/补偿的结果；以及2)确保运动补偿给出同样的结果(例如，如果对于特定参考，不涉及下或右区域中的任何像素，则这些区域的值可以设置成零而不会影响解码过程)。

如后面参照图3b和4b所述，在H.264中可以实现本发明的局部加权预测(LWP)方法。

参考图4a，在解码器处，如果接收到针对先前解码的参考r的差分DC图像，则对DC图像sD′进行解码402并进行上采样404成为uD′。通过把上采样的图像uD′与参考r相加，并进行滤波408以消除块假像(即，r′＝uD′+r)，形成新的参考画面410。对残差进行解码412，并在r′中执行运动补偿414，以生成当前画面c′(416)。

图3b和4b分别示出了，本发明的LWP方法与H.264标准的结合在编码器和解码器中的实现。根据一个实施例，为了与H.264结合，本发明需要简单的语法修改。更具体地，在H.264的画面参数集中增加单个比特，以指示这个方法是否用于当前画面/片段。备选的方式是，在片段头中增加允许更多灵活性的额外信号(即，对于不同的区域启用或禁用LWP)。

如图3b示出，过程350包括初始化352，首先确定画面是否为帧间编码(354)。如果不是帧间编码，则执行(356)帧内编码，并输出数据(364)。如果是帧间编码，接下来确定是否应该使用H.264帧间编码(358)。首先，使用H.264帧间编码方法对当前画面进行编码并计算失真。然后，使用本发明(300)的LWP方法(360)对当前画面进行编码并计算失真。使用具有较少失真的方法来选择最佳方法，并发信号通知(362)。输出数据(364)。

图4b示出根据本发明实施例结合有LWP和H.264的解码器过程450。初始化之后(452)，读取解析头454，并确定当前画面是否为帧间编码的(456)。如果不是，如同编码器中那样，则执行帧内编码(458)，并输出数据(464)。如果当前画面是帧间编码的，则接下来确定其是否为H.264帧间编码的(460)。如果是，则使用H.264对当前画面进行解码(462)，并输出(464)。如果不是H.264帧间编码的，则使用本发明的LWP方法400对当前画面进行解码。

尽管已经示出、描述和指出应用到优选实施例的发明的基本新颖特征，本技术领域的技术人员将理解，在不背离发明精神的前提下，可以在所述方法、所示设备及其操作的形式和细节上进行删减、代替和改变。例如，可以明确设想，在本发明的范围内，那些组件和以完全相同方式执行完全相同的功能来获得相同结果的方法步骤的组合。此外，应该认识到，以大致相同的方式执行大致相同功能以实现相同结果的元件和/或方法步骤的所有组合均落入本发明的范围。此外，应当理解，与任何公开形式或本发明实施例相关联地示出和/或描述的结构和/或元件和/或方法步骤可以按照任意其他公开的、描述的或建议的形式或实施例而合并，作为设计选择的主题。因此，本发明仅由所附权利要求的范围来限定。

Claims (21)

1、一种解决局部亮度变化的视频编码方法，包括如下步骤：

产生逐块的加法加权偏移，以对具有局部亮度变化的视频进行帧间编码；

对所述逐块的加法加权偏移进行编码。

2、根据权利要求1所述的方法，其中，所述产生步骤还包括如下步骤：使用当前画面和参考画面之间的下采样差分图像来产生该偏移。

3、根据权利要求1所述的方法，其中，显式地执行所述编码步骤。

4、根据权利要求2所述的方法，其中，所述差分图像包括DC差分图像。

5、根据权利要求2所述的方法，还包括：

在编码器中构造所述差分图像；以及

在所述编码器中进行构造期间，考虑运动估计和运动补偿。

6、根据权利要求2所述的方法，还包括：仅传输所述差分图像中的已使用部分。

7、根据权利要求2所述的方法，还包括：使用容易编码的值，对所述差分图像的未使用部分进行编码。

8、根据权利要求1所述的方法，还包括：

通过把解码的参考画面与上采样的DC差分图像相加，产生新的参考画面；以及

对所述新的参考画面进行滤波。

9、根据权利要求8所述的方法，其中，所述滤波包括H.264中的去块滤波。

10、根据权利要求8所述的方法，其中，所述滤波包括从所述新的参考画面中去除块效应。

11、根据权利要求1所述的方法，还包括：

将所述产生和编码步骤集成到视频编解码中；

在所述编码步骤期间，在信号头中使用附加比特。

12、根据权利要求1所述的方法，还包括：将所述产生和编码步骤应用到视频中的Y分量。

13、根据权利要求1所述的方法，还包括：将所述产生和编码步骤应用到视频中的所有颜色分量。

14、根据权利要求13所述的方法，其中，所述应用被隐式地定义。

15、根据权利要求1所述的方法，其中，所述编码步骤还包括：使用帧内编码方法对所述逐块的加法加权偏移显式地进行编码。

16、一种解决局部亮度变化的视频编码方法，所述方法包括如下步骤：

通过从参考画面中减去当前画面，产生DC差分图像；

通过把所产生的DC差分图像相加，重构参考画面；

关于所述视频对重构的参考画面进行运动补偿；以及

对来自所述运动补偿的残差进行编码。

17、一种解决H.264编码器中的局部亮度变化的方法，包括如下步骤：

确定所述视频上是否存在H.264帧间编码，以及何时H.264编码不存在；

计算针对视频中的当前画面的差分图像；

对所述差分图像进行编码；

对所述差分图像进行解码和上采样；

形成新的参考画面；

对所述新的参考画面进行运动补偿；以及

计算运动补偿的残差图像信息的DC系数；以及

对运动补偿的残差图像信息的DC系数进行编码。

18、根据权利要求17所述的方法，还包括步骤：对解码的并上采样的差分图像进行滤波，以去除块效应。

19、根据权利要求17所述的方法，还包括：

在H.264解码器中对非H.264帧间编码的视频进行解码，所述解码还包括如下步骤：

对编码的差分图像进行解码；

对解码的差分图像进行上采样；

根据上采样的图像和参考画面存储而形成新的参考画面；

对所述残差图像信息进行解码；以及

利用解码的残差图像信息对所述新的参考画面进行运动补偿，以产生当前图像。

20.一种解决局部亮度变化的视频编码的编码设备，所述方法包括如下步骤：

通过从参考画面中减去当前画面而产生DC差分图像的装置；

通过把所产生的DC差分图像相加而重构参考画面的装置；

关于所述视频对重构的参考画面进行运动补偿的装置；以及

对来自所述运动补偿装置的残差进行编码的装置。

21.一种解决局部亮度变化的视频编码的设备，所述方法包括如下步骤：

通过从参考画面中减去当前画面而产生DC差分图像的装置；

通过把所产生的DC差分图像相加而重构参考画面的装置；

关于所述视频对重构的参考画面进行运动补偿的装置；以及

对来自所述运动补偿装置的残差进行编码的装置。

Images