CN1218560C - 增强编码视频清晰度的方法和系统 - Google Patents

Abstract

一种提供增强编码视频的清晰度的系统(即方法、装置和计算机可执行过程步骤)，其中有用量度计算在不增加编码人工产物的情况下象素能够被增强多少。有用量度和增强算法是分开的，从而使该量度能够与各种不同的增强算法一起利用。

Description

增强编码视频清晰度的方法和系统

本发明利用题为“根据编码信息为视频增强提供有用量度的装置和方法”的UME的共同未决申请。该申请与本发明同时提交，发明人为Lilla Boroczky和Johan Janssen。本发明于2001年1月10日提交，被授予临时专利申请序列号60/260845的利益。

技术领域

本发明针对用于在不增加编码人工产物的情况下增强编码/译码数字视频的清晰度的系统和方法，它在多媒体装置中使用的空间域清晰度增强算法中特殊的效用。

背景技术

诸如机顶盒、高端电视、数字电视、个人电视、存储产品、PDA、无线互联网装置等高质量多媒体装置的发展，正导致各种各样的体系结构以及这些装置更加开放的新特性。另外，这些新产品以及它们以任何格式显示视频数据的能力的发展，导致了对视频处理和视频增强算法的新要求和机会。这些装置中的大部分以MPEG-2格式接收和/或存储视频，并且在将来，它们可以用MPEG-4格式进行接收/存储。这些MPEG源的画面质量可以在非常好和特别坏之间变化。

下一代存储装置，比如基于蓝色激光的数字视频记录器(DVR)将在某种程度上具有HD(高清晰度)(ATSC)能力，并且是一种适用画面增强新方法的装置类型的例示。HD节目一般以20Mb/s的速度广播并根据MPEG-2视频标准进行编码。考虑到DVR大约25GB的存储容量，这表示每张盘具有约两小时的HD视频记录时间。为了增加记录时间，可以定义几种慢放模式，比如慢放(LP)和扩展慢放(ELP)模式。

对于LP模式，假定平均存储比特率大约是10Mb/s，它提供了两倍的HD记录时间。因此，译码成为视频处理链的主要部分，它将20Mb/s的广播比特率降低为10Mb/s的存储比特率。在MPEG-2译码期间，视频的画面质量(如清晰度)很有可能被降低。但是，尤其对于LP模式，画面质量不应该被牺牲得太多。因此，对于LP模式，后处理在改善看到的画面质量中扮演了一个重要的角色。

到目前为止，为诸如NTSC、PAL和SECAM等模拟视频传输标准发展和优化了大部分具有当今技术水平的清晰度增强算法。传统上，图像增强算法用于减少画面中某些不需要的方面(例如噪声抑制)或改善图像的某些期望特性(如清晰度增强)。对于这些新兴的存储装置，由于这些源的不同特性，可能对MPEG编码的或者译码的视频执行次最佳地传统清晰度增强算法。在存储系统的闭合视频处理链中，用于确定编码源质量的信息可以从MPEG流得到。所述信息还可能被用于提高图像增强算法的性能。

因为图像质量将保留高端视频产品的识别因数，因此特别适用于这些源的执行图像增强的新方法将是有益的。在C-J Tsai、P.Karunaratne、N.P.Galastsanos和A.K.Katsaggelos的“压缩视频增强算法”(Proc.of IEEE，ICIP’99，Kobe，Japan，Oct.25-28，1999)中，作者提议了用于增强以低比特率编码的视频序列的迭代算法。对于MPEG源，画面质量的降低大部分由量化函数引起。因此，作者采用的迭代梯度投影算法利用编码信息，比如其价值函数中的量化级大小、宏块类型和前向运动矢量。算法显示了低比特率视频的有价值的结果，但是其主要缺点在于它的高计算复杂性。

在B.Martins和S.Forchammer的“MPEG-2编码视频的改进解码”(Proc.of IBC’2000，Amsterdam，The Netherlands，Sept.7-12，2000，pp.109-115)中，作者描述了用于改进MPEG-2编码视频的解码的新概念。具体地说，提议了集成在解码过程中用于去交织和格式变换的统一方法。该技术导致了比通过普通解码而获得的高得多的画面质量。但是，到目前为止，其计算复杂性防碍了其在用户应用中的实现。

两个文件描述了利用MPEG编码信息和价值函数的视频增强算法。但是，除了不切实际之外，这两种方案还组合了增强和价值函数。价值函数确定可以应用多少增强以及增强应用在画面中的哪些位置。这种由价值和增强函数的组合所导致的问题在于只有一种算法可以与价值函数一起使用。

发明内容

本发明通过提供一种系统(即方法、装置和计算机可执行的过程步骤)来解决上述需要，其中有用量度计算在不增加编码人工产物的情况下象素可以被增强多少。

本发明的一个目的是提供一种系统，其中有用量度与增强算法分开，使得各种不同的增强算法可以与量度一起使用。

本发明的另一目的是提供一种有用量度，它可以被调整到系统的极限度，从而确保性能与复杂性之间的优化折衷。

本发明还有一个目的是提供一种图像增强系统，所述系统将最佳地工作于编码和译码视频源。

按照本发明的一个方面，提供了一种提高数字编码视频清晰度的方法，包括：为编码视频的每个象素形成有用量度，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码视频清晰度增强的限度；以及将所述有用量度应用于至少一种清晰度增强算法，所述有用量度与所述清晰度增强算法是分开的，以使所述有用量度能够与各种算法一起利用。

按照本发明的另一个方面，提供了一种用于增强图像质量的装置，包括：峰化滤波器，该峰化滤波器对解码的亮度信号进行滤波，产生高通信号；多个基于象素的控制块，对所述解码的亮度信号并行操作，每个控制块根据所述亮度信号的特征来计算最大允许增益系数，其中至少一个控制块是实现确定允许峰化量的有用量度的编码增益块；动态增益控制，用于根据计算的最大增益系数选择最小增益；乘法器，用于将所述高通信号乘以所述最小增益以产生乘法信号；以及加法器，用于组合所述解码的亮度信号和所述乘法信号以产生增强信号。

按照本发明的又一个方面，提供了一种提高数字编码视频清晰度的装置，包括：有用量度发生器，该发生器为编码视频的每个象素确定在不增加编码人工产物的情况下能够应用于解码数字视频清晰度增强的限度；控制器，该控制器将所述有用量度应用于至少一种清晰度增强算法，所述有用量度和所述清晰度增强算法是分开的，以使所述有用量度能够与各种算法一起利用。

按照本发明的再一个方面，提供了一种执行前述方法的系统，包括：选择器，从编码视频比特流选择并析取统计信息，以确定所述视频的编码复杂性；有用量度发生器，根据所述编码复杂性形成用于解码后的编码数字视频的有用量度，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码视频清晰度增强的限度；以及清晰度增强器，将清晰度增强算法应用于所述解码视频，从而在由所述有用量度规定的所述限度内提高清晰度。

按照本发明的再一个方面，提供了一种用于提高图像质量的方法，包括以下步骤：对编码的亮度信号进行峰化滤波，提高所述亮度信号的幅度并产生高通信号；根据所述亮度信号的特征至少计算所述亮度信号的一个最大增益系数，其中至少一个增益系数计算实现有用量度，以确定在不会强化编码人工产物的情况下的允许峰化量；从所述最大增益系数中选择最小增益；将所述高通信号乘以所述最小增益，产生乘法信号；以及将解码的亮度信号与所述乘法信号相加，产生增强的信号。

已提供了简短的概述，使得可以快速地理解本发明的特性。对本发明更完整的理解可以通过参考以下本发明的优选实施例以及附图的详细描述获得。

附图说明

为了更好地理解本发明，可以参考以下附图：

图1是本发明的方框图；

图2是只利用编码增益的本发明的流程图。

具体实施方式

图1示意了可以在例如视频接收器56中实现本发明的系统。图1说明了如何将有用量度(UME)应用于例如自适应峰化的清晰度增强算法。(除自适应峰化外，也可以使用其他清晰度增强算法。)针对提高亮度信号2的瞬变幅度的自适应峰化算法并非一直为先验编码/译码视频源提供优化视频质量。这主要是因为以下事实：没有考虑MPEG源的特性。在本发明中，产生确实考虑MPEG源的特性的UME。将例示的自适应峰化算法扩展到利用这个UME，从而较大地提高算法性能。

在先有技术中，自适应峰化算法和自适应峰化的原理是众所周知的。图1中示意了一个例示。算法包括四个控制块6、8、10、12。这些基于象素的控制块6、8、10、12并行操作，并且每块分别计算最大允许增益系数g1、g2、g3、g4，从而获得目标图像质量。这些控制块6、8、10、12考虑了视频信号的特定局部特征，比如对比度、动态范围和噪声电平，但没有编码属性。编码增益块14利用有用量度(UME)18来确定允许的峰化量g_编码36。动态增益控制16选择增益g1 28、g2 30、g3 32、g4 34中的最小增益，将之与g_编码相加产生最终增益g38。乘法器22将最终增益38乘以高通信号20，后者已由2D峰化滤波器4进行了滤波。加法器24将所述乘积与象素2的原始亮度值相加。以这种方法产生增强的亮度信号26。

UME 18以一个一个象素为基础计算在不增加编码人工产物的情况下象素或区域可以被增强多少。从比特流中出现的MPEG编码信息中得到UME 18。

选择与UME 18一起使用的MPEG信息不止是烦琐。该信息必须提供视频的时间空间特性或画面质量指示。

可以在解码期间直接获得的MPEG信息的最小粒度是基于块或基于宏块的。然而对于空间(象素)域视频增强来说，必须计算画面的每个象素的UME 18，从而确保最高的画面质量。

容易从MPEG信息中析取的一个参数是量化参数，因为它出现在每个编码宏块(MB)中。量化参数越高，量化越粗，进而量化误差越大。高量化误差导致编码人工产物的出现，因此MB中具有高量化参数的象素增强必须被更多地抑制。

容易从MPEG流中提取的另一参数是编码MB或块时使用的比特数。上述编码信息的值取决于包括场景内容、比特率、画面类型和运动估计/补偿的其他因素。

量化参数和使用的比特数被广泛地用于MPEG编码的速率控制计算中，并且共同用于计算编码复杂性。编码复杂性被定义为量化参数和编码MB或块所用的比特数的乘积。因此，通过以下公式对编码复杂性进行描述：

compl_MB/块(K，l)＝mquant(K，l)*比特数_MB/块(K，l)

其中mquant为量化参数而比特数_MB/块为用于编码MB或块(k，1)的DCT系数的比特数。下面设想：就帧的平均复杂性而论，MB或块的复杂性越高，在该MB或块中越有可能具有编码人工产物。因此，应该抑制具有相对高的编码复杂性的块的象素增强。

因此，象素(i，j)的UME 18可以用以下公式定义：

UME(i，j)＝1-compl_象素(i，j)/2* compl

其中compl_象素(i，j)为象素(i，j)的编码复杂性，而 compl为画面的平均编码复杂性。在本发明中，用双线性内插(图2 58)从MB或块的复杂性映射(图2 48)估计compl_pixel(i，j)。

在本发明的一个方面中，UME(i，j)的范围可以从0到1。其中，0表示没有为某一特定象素考虑任何清晰度增强，而1表示可以随意地增强该象素，并没有增强任何编码人工产物的危险。

可以通过增加直接与量化参数相关的项来扩展UME公式，从而结合更强的比特率依赖性。这对于已经以低比特率编码的视频尤其有利。对于跳过或未编码的MB/块，从周围值估计UME，如图250。

因为用算得的UME18来说明编码特性，因此该UME 18仅防止了诸如阻塞(blocking)和振铃(ringing)的编码人工产物的增强。这样，由清晰度增强算法的其他部分来解决防止或降低可能由于应用太多增强而导致的非编码源的人工产物的问题。

上述UME 18可以与任何峰化算法组合，或者它可以适合于任何空间域清晰度增强算法。也可能利用编码信息(图246)并将自适应峰化算法与场景内容相关信息(图244)结合在一起。

在图2所示的本实施例中，去掉了图1所示的四个控制块6、8、10、12。诸如边缘信息44的场景内容信息经边缘检测42结合到编码增益计算中。与场景内容相关的信息44补偿了UME计算的不确定性(图1 18)，所述不确定性由应用于所述计算中的假设或内插导致(图258 36)。

在本实施例中，根据以下公式，象素(i，j)的编码增益36通过对嵌入在编码增益计算36中的UME和与边缘映射44相关的项求和来确定。

g_编码(i，j)＝UME(i，j)+g_边缘(i，j)

其中，UME在上文中定义，g_边缘基于与边缘相关的象素信息。

应该注意，MB/块的复杂性映射56具有遗留的块结构。为了减少复杂性映射56的这种不期望特性，由滤波器进行空间低通滤波52。可用于低通滤波的例示滤波器的核心为：

$\mathrm{LPcompl}\_\mathrm{map}=\left[\begin{array}{c}111\\ 111\\ 111\end{array}\right]$

另一问题是任何给定象素的编码增益中帧到帧的突变可以导致时间上不一致的清晰度增强，这时不合需要的。这种改变也会强化诸如蚊式噪声的瞬时可见和讨厌的人工产物。

为了纠正这种效应，利用前一帧的增益对编码增益应用时间滤波54。为了减少高计算复杂性以及存储要求，并不对增益映射滤波，而是利用IIR滤波器54对MB或基于块的复杂性映射48进行时间滤波。以下公式表示所述过程：

compl_MB/块(r，s，t)＝k*copml_MB/块(r，s，t)+scal*(1-k)*compl_MB/块(r，s，t-1)

其中r、s为MB或块的空间坐标，t表示当前画面，k为IIR滤波器系数，以及scal为考虑到不同画面类型中的不同复杂性的缩放比例项。然后，编码增益36被应用于利用帧t60的自适应峰化算法，以产生增强帧t60。

本发明还可以应用于HD和SD(标准清晰度)序列，例如视频存储应用中出现的具有HD容量并且提供慢放模式的序列。将大部分的这种视频序列从广播MPEG-2比特流译码为更低存储比特率。对于这种应用的慢放模式，在译码期间也可以发生格式改变。根据本发明，众所周知，对SD视频序列进行编码、解码，然后用清晰度增强算法进行处理，与那些没有使用编码信息的算法相比，为先验编码或译码视频序列提供了更好的视频质量。

已经用特定说明性实施例对本发明进行了描述。应该理解，本发明并不限于上述实施例及其修改，并且本领域的普通技术人员可以进行各种改变和修改，并不背离所附权利要求书的精神和范围。

Claims (23)

1.一种提高数字编码视频清晰度的方法，包括：

为编码视频的每个象素形成有用量度(18)，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码视频清晰度增强的限度；以及

将所述有用量度(18)应用于至少一种清晰度增强算法(4)，所述有用量度(18)与所述清晰度增强算法(4)是分开的，以使所述有用量度(18)能够与各种算法一起利用。

2.如权利要求1所述的方法，其特征在于还包括以下步骤：

从编码视频比特流中选择并析取统计信息(46)，以确定所述视频的编码复杂性(48)；

根据所述编码复杂性(48)，形成用于编码视频的所述有用量度(18)，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码后的编码视频清晰度增强的限度；以及

将所述清晰度增强算法(4)应用于解码视频，从而在所述有用量度(18)规定的限度内提高清晰度。

3.如权利要求1或2所述的方法，其特征在于，所述清晰度增强算法是峰化算法(4)。

4.如权利要求1或2所述的方法，其特征在于，所述清晰度增强算法是空间域算法(4)。

5.如权利要求2所述的方法，其特征在于，所述有用量度(18)利用公式UME(i，j)＝I-compl_象素(i，j)/2* compl来计算，其中UME(i，j)是象素(i，j)的有用矩阵，compl_象素(i，j)是编码复杂性，而 compl是画面的平均编码复杂性。

6.如权利要求2所述的方法，其特征在于，所述编码复杂性(48)被定义为量化参数和编码宏块所用的比特数的乘积。

7.如权利要求2所述的方法，其特征在于，所述编码复杂性(48)被定义为量化参数和编码块所用的比特数的乘积。

8.如权利要求2所述的方法，其特征在于，所述有用量度(18)占用一个范围，所述范围的第一终点表示没有为特定象素认可的任何清晰度增强，同时所述范围的第二终点表示所述象素能够被随意增强。

9.如权利要求2所述的方法，其特征在于，所述方法还应用于跳过的宏块，根据周围宏块的编码复杂性(48)或者前一帧的编码复杂性(48)估计所述有用量度(18)。

10.如权利要求2所述的方法，其特征在于，所述方法还应用于未编码块，根据周围块的编码复杂性(48)或者前一帧的编码复杂性(48)估计所述有用量度(18)。

11.如权利要求2所述的方法，其特征在于，除所述有用量度(18)外，与场景内容相关的如边缘信息(44)的信息(42)也被结合到编码增益的计算中。

12.如权利要求5和11所述的方法，其特征在于，象素的编码增益(14)由以下公式确定：

g_编码(i，j)＝UME(i，j)+g_边缘(i，j)

其中i和j为象素坐标，g_编码(36)为所述象素编码增益，UME(18)为所述有用量度，以及g_边缘为基于从所述图像得到的与边缘相关的信息(44)。

13.如权利要求12所述的方法，其特征在于，空间低通滤波(52)被应用于从所述编码数字视频算得的复杂性映射(48)。

14.如权利要求12所述的方法，其特征在于，时间滤波(54)被应用于利用前一帧的编码(36)增益的编码增益(36)。

15.如权利要求12所述的方法，其特征在于，可以扩展所述编码增益(14)的公式，以包括对于编码视频的每个编码宏块(MB)所存在的与所述量化参数直接相关的附加项。

16.如权利要求6所述的方法，其特征在于，利用IIR滤波器(54)对基于块的复杂性映射(48)进行时间滤波。

17.如权利要求6所述的方法，其特征在于，利用IIR滤波器(54)对基于宏块的复杂性映射(48)进行时间滤波。

18.如权利要求16或17所述的方法，其特征在于，所述时间滤波(54)是根据以下公式进行的：

comp_lMB/块(r，s，t)＝k*compl_MB/块(r，s，t)+scal*(1-k)*compl_MB/块(r，s，t-1)，

其中r、s为宏块或块的空间坐标，t(60)表示当前画面，k为IIR滤波器系数，以及scal为考虑了由所述图像的画面类型确定的画面复杂性(48)的缩放比例。

19.一种用于增强图像质量的装置，包括：

峰化滤波器(4)，该峰化滤波器对解码的亮度信号(2)进行滤波，产生高通信号(20)；

多个基于象素的控制块(68、10、12、14)，对所述解码的亮度信号(2)并行操作，每个控制块根据所述亮度信号的特征来计算最大允许增益系数，其中至少一个控制块是实现确定允许峰化量的有用量度(18)的编码增益块(14)；

动态增益控制(32)，用于根据计算的最大增益系数选择最小增益；

乘法器(22)，用于将所述高通信号(20)乘以所述最小增益(38)以产生乘法信号；以及

加法器(24)，用于组合所述解码的亮度信号(2)和所述乘法信号以产生增强信号(26)。

20.如权利要求19所述的装置，其特征在于，所述控制块包括：

对比度控制块(6)；

动态范围控制块(8)；

消波防止控制块(10)；

自适应核心控制块(12)；以及

编码增益块(14)，所述的所有块并联连接。

21.一种提高数字编码视频清晰度的装置，包括：

有用量度(18)发生器，该发生器为编码视频的每个象素确定在不增加编码人工产物的情况下能够应用于解码数字视频清晰度增强的限度；

控制器，该控制器将所述有用量度应用于至少一种清晰度增强算法(4)，所述有用量度(18)和所述清晰度增强算法(4)是分开的，以使所述有用量度(18)能够与各种算法一起利用。

22.一种执行权利要求2所述方法的系统，包括：

选择器，从编码视频比特流选择并析取统计信息，以确定所述视频的编码复杂性(48)；

有用量度发生器，根据所述编码复杂性(48)形成用于解码后的编码数字视频的有用量度(18)，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码视频清晰度增强的限度；以及

清晰度增强器(4)，将清晰度增强算法应用于所述解码视频，从而在由所述有用量度规定的所述限度内提高清晰度。

23.一种用于提高图像质量的方法，包括以下步骤：

对编码的亮度信号(2)进行峰化滤波(4)，提高所述亮度信号(2)的幅度并产生高通信号(20)；

根据所述亮度信号的特征至少计算所述亮度信号的一个最大增益系数(928、930、932、934、936)，其中至少一个增益系数计算(14)实现有用量度(18)，以确定在不会强化编码人工产物的情况下的允许峰化量；

从所述最大增益系数(928、930、932、934、936)中选择最小增益(938)；

将所述高通信号(20)乘以所述最小增益(938)，产生乘法信号(22)；以及

将解码的亮度信号与所述乘法信号相加(24)，产生增强的信号(26)。

Images