CN1248487C - 根据编码信息提供效用度量进行视频增强的装置和方法 - Google Patents

Abstract

本发明揭示了一种用编码信息提高数字视频信号的质量的装置和方法，可以提高先前编码或经代码转换的数字视频图像的清晰度而不会增大编码不自然现象。本发明可以与在多媒体设备内的空间域清晰度增强算法配合使用。这种装置(135)包括一个标出可以用于表示一个图像序列的经编码的数字视频信号而不会增大编码不自然现象的图像清晰度增强量的极限的效用度量产生器(215)。效用度量产生器将效用度量用于一个清晰度增强算法。效用度量和清晰度增强算法是独立的，因此效用度量可以用于各种视频信号增强算法。

Description

根据编码信息提供效用度量 进行视频增强的装置和方法

技术领域

本发明旨在提供一种用编码信息提高数字视频信号的质量的装置和方法。本发明的装置和方法提高了经编码或代码转换的数字视频的清晰度而不会增大编码不自然现象。本发明可以与在多媒体设备内的空间域清晰度增强算法结合使用。

背景技术

本专利申请引用了2001年1月10日递交的临时专利申请No.60/260,843，并要求享受该临时专利申请的优先权和权益。

本专利申请与Boroczky等人2001年10月12日递交的也是转让给本发明的受让方的共同未决美国专利申请No.09/976340“编码视频清晰度增强的方法和设备”(“Method and Apparatus for SharpnessEnhancement for Coded Video”)有关。该相关专利申请所公开的内容在此通过提及结合到本发明中，就同对其进行全部引述一样。

诸如机顶盒、高档电视机、数字电视机、个人电视机、存储产品、个人数字助理(PDAs)、无线互联网设备之类的高质量多媒体设备的开发导致产生各种体系结构，为这些设备更为开放了新的特色功能。这些新产品和它们显示任何格式的视频数据的能力的开发已经导致对于视频处理和视频增强算法的新的要求和机遇。这些设备中大多数接收和/或存储MPEG-2格式的视频信号。将来，这些设备中有许多将也可以接收和/或存储MPEG-4格式的视频信号。这些MPEG源的图像质量可以是很不同的，从很好的到非常差的。

下一代存储设备，诸如基于蓝激光的数字视频刻录机之类，在某种程度上将具有高清晰度(HD)性能。数字视频刻录机(DVR)是一种可以有益地应用视频图像增强的新方法的设备的一个很好的例子。一个HD程序通常以每秒2千万个比特(20Mb/s)播放和按照MPEG-2视频标准编码。一个数字视频刻录机的存储容量在20GB至25GB范围内。这表示每个视盘的HD视频记录时间为两小时左右。

为了增加每个视盘的记录时间，可以定义一种长放(long play)模式。例如，在一种长放(LP)模式中，每秒2千万个比特(20Mb/s)的播放比特率可以以每秒1千万个比特(10Mb/s)存储比特率记录。这将提供每个视盘有4小时左右的记录时间。在一种扩展的长放(LP)模式中，每秒2千万个比特(20Mb/s)的播放比特率可以以每秒5百万个比特(5Mb/s)存储比特率记录。这将提供每个视盘有8小时左右的记录时间。

将一个高比特率的比特流变换为一个较低比特率的比特流的过程称为“比特率代码转换”(“bit rate transcoding”)。一种将一个高比特率的比特流代码转换成一个较低比特率的比特流的方法包括用一个MPEG-2解码器对高速率比特流解码后再以较低比特率对所得到的比特流编码。另一种对一个高比特率的比特流进行代码转换的方法是直接将这个比特流代码转换成一个较低比特率而不用完全解码后再对视频信号重新编码。这种方法称为直接比特率代码转换(DBT)。

MPEG-2代码转换的过程会由于信息损失而降低视频信号序列的图像质量(例如清晰度)。然而，最好是这样的图像质量牺牲不太大。这对长放(LP)模式来说特别重要。因此，对经代码转换的视频信号的后处理在改善能感觉的图像质量中起着重要的作用。

目前的清晰度增强算法大多数是对于象NTSC、PAL和SECAM那样的模拟视频信号传输标准开发和最佳化的。传统上，图像增强算法或者降低一个图像内的一些有害情况(例如，降低噪声)或者改善一个图像的一些有用特性(例如，增强清晰度)。对于新近出现的数字存储器设备、数字电视机、机顶盒和其他类似设备，可以对经MPEG编码或代码转换的视频信号执行这些传统的清晰度增强算法，但不是最佳的，因为这些信源的特性是不同的。在一个存储系统的自治视频处理链内，可以从MPEG流中得出可以确定编码源的质量的信息。这信息可以用来提高视频信号增强算法的性能。

由于图像质量还剩下一个对于高档视频产品的区别因子，因此新的执行图像增强的方法，特别是可自适应地配合这些数字信源使用的方法，将是有益的。在C.J.Tsai、P.Karunaratne、N.P.Galatsanos和A.K.Katsaggelos的论文“一种压缩视频增强算法”(“A CompressedVideo Enhancement Algorithm”，Proc.of IEEE，ICIP′99，Kobe，Japan，Oct.25-28，1999)中，作者提出了一种增强以低比特率编码的视频序列的迭代算法。对于MPEG源来说，图像质量的降低主要是由量化操作引起的。因此，作者所用的迭代梯度投影算法在它的代价函数中用了诸如量化步长、宏块类型和前向运动向量之类的编码信息。这种算法表明对于低比特率的视频信号是很有前途的。然而，它的主要缺点是计算量很大。

在B.Martins和S.Forchammer的论文“MPEG-2编码的视频信号的改进解码”(“Improved Decoding of MPEG-2 Coded Video”，Proc.of IBC 2000，pp.109-115，Amsterdam，The Netherlands，September 7-12，2000)中，作者揭示了一种改进对MPEG-2编码的视频信号的解码的新构思。具体地说，提出了一种将解隔行扫描和格式转换统一起来的方法，用于解码过程。这种技术导致图像质量大大高于用普通解码所得到的。然而，迄今为止，它的计算量使它不能在消费应用中实现。

这两篇论文揭示了利用MPEG编码信息的视频信号增强算法。然而，这两篇论文除了不切实际之外还将增强与代价函数结合在一起。代价函数确定在一个图像中哪些位置可以进行增强和增强到什么程度。这种代价和增强操作结合在一起的问题是只有一种算法可以与代价函数一起使用。

因此，所希望的是有一种增强视频信号装置和方法，可以有效地增强经编码和代码转换的视频信号源。

发明内容

本发明总的来说是提供一种用编码信息提高数字视频信号的质量的装置和方法。本发明包括一个计算每个像素各可以增强到什么程度而不会增大编码不自然现象的效用度量(usefulness metric)。

这种装置包括一个能确定可以用于表示一个图像序列的经编码的数字视频信号而不会增大编码不自然现象的图像清晰度增强量的极限的效用度量产生器。效用度量产生器将效用度量用于一个清晰度增强算法。效用度量和清晰度增强算法是独立的，因此效用度量可以用于各种视频信号增强算法。

本发明的主要目的是提供一种用效用度量调整对数字视频信号进行的视频信号增强算法的装置和方法。

本发明的另一个目的是提供一种与增强算法独立的效用度量，使得各种不同的视频信号增强算法都可以结合这种效用度量使用。

本发明的又一个目的是提供一种装置和方法，其中可以调整效用度量适应装置的限制，以保证在装置的性能与复杂性之间得到最佳折衷。

本发明的又一个目的是提供一种与经编码和代码转换的视频信号源最佳执行数字视频信号增强的装置和方法。

以上相当概括地勾画了本发明的特征和技术效益，使熟悉该技术领域的人员可以更好地理解以下对本发明的详细说明。本发明的其他特征和优点将在下面予以说明，它们形成了本发明的各从属权利要求项。熟悉该技术领域的人员可以理解，他们可以很容易以所揭示的构思和具体实施例为基础进行修改或者设计出其他的结构，实现本发明的同样目的。熟悉该技术领域的人员也可以认识到，这样的等效结构并不背离本发明的精神和范围。

在进行本发明的详细说明前，明确一下本专利文件所用的一些词或短语的定义是有益的：所谓“包括”及其派生词意味着不是限制性的含有；所谓“或”是包括在内的，意味着和/或；词组“与…关联”和“与之关联”及其派生词可以意味着包括、包括在…内、与…互联、含有、包含在…内、与…连接、可与…通信、配合、交叉、并置、贴近于、归属于、具有、具有…属性之类；所谓“控制器”、“处理器”或“装置”意味着任何设备、系统或它的控制至少一种操作使一个设备可以用硬件、固件或软件或者它们的某种组合实现的部分。应指出的是，与任何具体的控制器关联的功能可以是集中的，也可以是分布的，无论是本地还是远地。特别是，一个控制器可以包括一个或多个数据处理器和关联的输入输出设备和存储器，执行一个或多个应用程序和/或一个操作系统程序。本专利文件中提供了对一些词的定义。熟悉该技术领域的人员可以理解，在许多(即使不是大部分)情况下这样的定义适合于先前使用以及将来使用这样定义的词。

附图说明

为了更完全地理解本发明及其优点，下面将结合附图进行说明，在这些附图中同样的标号所标的是同样的对象，其中：

图1为包括本发明的装置和方法的典型数字电视机的方框图；

图2为例示包括本发明的效用度量产生器和编码增益控制块的自适应峰化单元的一个优选实施例的方框图；

图3为例示表示本发明的效用度量与量化参数的函数关系的示意图；

图4为例示包括本发明的效用度量产生器和编码增益控制块的自适应峰化单元的另一个优选实施例的方框图；以及

图5为例示本发明的操作方法的优选实施例的流程图。

具体实施方式

为了说明本发明的装置和方法的原理，下面所说明的图1至5和在本专利文件中提出的各实施例都是例示性的，不应该理解为对本发明的范围有所限制。本发明的装置和方法将描述为一种在一个数字电视机内增强视频信号的装置和方法。重要的是，应认识到本发明的装置和方法并不局限于数字电视机。熟悉该技术领域的人员很容易地理解，本发明的原理也可以成功地用于任何类型的数字视频系统，包括(但不限于)电视接收机、机顶盒、存储设备、计算机视频显示系统和任何类型的应用或处理数字视频信号的电子设备。所谓“数字视频系统”是指这些类型的设备。在下面的说明中，用数字电视机作为数字视频系统的例子进行说明。

图1为一个应用本发明的装置和方法的数字电视机100的方框图。数字电视机100包括电视接收机110和显示单元115。显示单元115可以是一个阴极射线管或平板显示器或者任何类型的显示视频图像的设备。电视接收机110包括接收电视信号的天线105。天线105接至高频头120。高频头120接至中频(IF)处理器125。IF处理器125接至MPEG解码器130。

如下面要充分说明的那样，本发明计算出提高视频信号质量的增强效用度量(UME)。MPEG解码器130的输出端接至后处理电路135。后处理电路135包括自适应峰化单元140，它包括本发明的效用度量(UME)。自适应峰化单元140可以配置在后处理电路135内的一个适当位置。后处理电路135的输出送至显示单元115。

自适应峰化单元140对它从MPEG解码器130接收到的视频信号进行处理。自适应峰化单元140用效用度量(UME)产生一个供自适应峰化处理用的编码增益。这个自适应峰化处理是例示性的，用来说明可以怎样使用本发明的效用度量(UME)。当然，本发明的装置和方法并不局限于自适应峰化处理。效用度量(UME)可以与多种类型的视频信号增强算法配合使用。

自适应峰化单元140以考虑视频信号内的编码信息的方式处理视频信号。自适应峰化单元140的输出是自适应峰化单元140从MPEG解码器130接收到的视频信号得到增强的亮度信号。由自适应峰化单元140确定的亮度信号提供了比现有技术的自适应峰化单元所提供的更为精确和视觉上更为明晰的视频图像。自适应峰化单元140将增强了的亮度信号传送给后处理电路135内的其他电路。后处理电路135能应用增强了的亮度信号来提高视频信号的质量。

后处理电路135能进行几种不同类型的视频信号处理。一些视频信号处理应用例如包括：(a)噪声电平自适应降噪算法，(b)噪声电平自适应清晰度增强，(c)噪声电平自适应亮度-色度分离，(d)噪声电平自适应运动检测，(e)噪声电平自适应运动估计和补偿，(f)噪声电平自适应上变频，(g)噪声电平自适应特征增强，以及(h)噪声电平自适应基于对象的算法。

图2为例示按照本发明的一个优选实施例设计的具有自适应峰化单元140的装置和方法。图2例示了本发明的效用度量(UME)可以怎样用于清晰度增强的自适应峰化算法。自适应峰化算法旨在增大输入亮度信号210的暂态的幅度。自适应峰化算法不总是为“事前”经编码/代码转换的视频信号源提供最佳的视频信号质量。这主要是因为没有考虑到MPEG源的特性。

在本发明中，用一个效用度量产生器215产生效用度量(UME)。效用度量(UME)标为标号220。UME 220考虑了MPEG源的特性。原来的算法用UME 220进行扩展后，显著地提高了算法的性能。

自适应峰化算法的原理在现有技术中是众所周知的。自适应峰化算法的一个例子是用了四个控制块。如图2所示，这四个控制块分别为反差控制块225、动态范围控制块230、限幅防止控制块235和自适应核化控制块240。反差控制块225产生增益信号“g1”。动态范围控制块230产生增益信号“g2”。限幅防止控制块235产生增益信号“g3”。自适应核化控制块240产生增益信号“g4”。

这四个基于像素的控制块考虑了视频信号的诸如对比度、动态范围和噪声电平之类的具体局部特性。然而，这四个控制块没有考虑涉及编码性能的信息。

本发明的装置提供了一个编码增益控制块245。编码增益控制块245用效用度量(UME)220来确定允许的峰化量。编码增益控制块245产生增益信号“g_coding”。动态增益控制块250选择这五个增益信号(g1，g2，g3，g4，g_coding)中最小的，产生一个最终增益信号“g”。乘法电路255将最终增益信号“g”与经2D峰化滤波器260滤波的高通信号相乘。加法器265将来自乘法电路255的乘积加到一个由亮度输入信号210表示的像素的原来的亮度值上。这样，就产生了得到增强的亮度输出信号270。

UME 220计算(按逐个像素或区域)一个像素或区域可以增强到什么程度而不增大编码不自然现象。UME 220根据比特流内存在的MPEG编码信息得出。比特流内存在的编码信息可以在解码过程期间提取。选择需用于UME 220的MPEG信息远非是微不足道的。UME 220必须提供视频信号的时空特性或图像质量的指示。

在解码期间可以(1)根据宏块(MB)量或(2)根据基于块的量直接得到的MPEG信息的最细颗粒度。然而，对于空间(像素)域视频信号增强来说，必须为一个图像上的每个像素计算UME，以便保证有最高的图像质量。

从MPEG信息中可以方便地提取的一个参数是量化参数，因为它存在于经编码的每个宏块(MB)内。量化参数越大，量化越粗，因此量化误差就越大。量化误差大导致编码不自然现象，因此在一个具有大量化参数的宏块(MB)内必须更多的抑制像素的增强。

另一个有用的信息项是对一个宏块(MB)或一个块编码所用的比特数。所用的比特数可以与在一个具体帧内一个宏块(MB)或块所用的平均比特量相比较。然而，这个量也高度取决于场景内容、比特率、帧类型(诸如I(帧内)、P(预测)、B(双向预测)帧之类)、运动估计和运动补偿。

也可以考虑在一个块内存在的DCT系数的分布。还可以用运动矢量来得到有关需增强的视频信号的时间特性的信息。众所周知，为MPEG编码估计和使用的运动矢量不一定表示视频信号内的真实运动。然而，即使运动矢量不可靠，运动矢量也可以有助于识别静态区域和用这些静态区域改进帧间增强的时间上的一致性。

(对一个宏块(MB)或一个块的)量化参数和所用比特数这两个是在MPEG编码的速率控制计算中广泛使用的。量化参数和所用比特数通常用来计算编码复杂度。

UME例1

“编码复杂度”定义为量化参数与对一个宏块(MB)或一个块编码的所用比特数的乘积。编码复杂度compl_MB/block因此表示为以下关系式：

compl_MB/block(k，h)＝mquant(k，h)*bits_MB/block(k，h)(1)其中，“mquant”为量化参数，而“bits_MB/block”为用来对宏块(k，h)或块(k，h)编码所用的DCT系数的比特数。基本的假设是一个宏块(MB)或一个块的复杂度相对一个帧的平均复杂度越高，在这个宏块(MB)或在这个块内具有编码不自然现象的概率越大。因此，对于具有比较高的编码复杂度的块的像素应该抑制增强。

因此，像素(i，j)的UME定义为

UME(I，j)＝1-compl_pixel(i，j)/2*compl_AVE(2)其中，compl_pixei(i，j)为像素(i，j)的编码复杂度，而compl_AVE为一个帧的编码复杂度。的值可以估计为：

${\mathrm{compl}}_{\mathrm{AVE}}=(1/\mathrm{NB})\underset{\mathrm{NB}}{\mathrm{\Σ}}\mathrm{coding}\_\mathrm{co}{\mathrm{mpl}}_{\mathrm{block}}...\left(3\right)$

其中，NB为一个帧内的块数，而coding_compl_block为一个块的编码复杂度。

在本发明中，compl_pixel(i，j)是通过双线性内插从宏块(MB)或块的复杂度映射估计出来的。诸如高阶内插之类的其他内插法也是可行的。

宏块(MB)/块的复杂度映射具有遗传的块结构。为了降低复杂度映射的这个特性(对于UME来说是不合需要的)，对这映射进行了空间低通滤波。低通滤波所用的滤波核为：

${\mathrm{LP}}_{\mathrm{compl}\_\mathrm{map}}=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]...\left(4\right)$

其他类型的低通滤波也是可行的。

在本发明的一个优选实施例中，UME(i，j)的值的范围可以从值“0”至值“1”。UME(i，j)的值为“0”意味着对于一个特定的像素不允许清晰度增强，而值为“1”意味着这像素可以自由地增强而不会有增大任何编码不自然现象的危险。

为了体现较强的比特率从属性，关系式(2)可以通过加上一个直接与量化参数有关的项予以扩展。这对于以低比特率编码的视频信号特别有益。

UME例2

在这个例子中，假设在UME计算中将只利用量化参数。由于较大的量化参数值通常编码不自然现象较大，UME应该与量化参数mquant呈逆向关系。UME对MB(k，h)的一个可能的函数由以下关系式给出：

其中，变量a、b、c和函数f可以由试验确定。图3例示了关系式(5)的UME_MB(k，h)函数。用关系式(5)计算每个宏块(MB)的UME_MB(k，h)，因为在编码过程中一个宏块(MB)分配有一个量化参数。因此，可以通过对宏块(MB)级UME映射的内插得到一个帧的每个像素的UME_MB(k，h)。

MPEG-2视频压缩标准允许对P(预测)和B(双向预测)帧内的一些宏块(MB)和块编码，而没有数据。这种宏块称为“跳过”宏块。跳过宏块(MB)可以在解码过程中用参考帧和最近的编码和非跳过的宏块(MB)得到的编码信息重建。此外，对于经完全运动补偿的宏块，在比特流内没有DCT数据或者在一个宏块(MB)内有一些块不编码。

对于跳过或者不编码的宏块(MB)和块，编码比特流不含有计算UME必需的编码信息。为了弥补这个缺点，UME可以例如用以下两种方法之一予以估计。

第一种方法是用邻近的非跳过或编码的宏块(MB)来估计跳过或非编码的宏块(MB)或块的UME。在一个优选实施例中，用了一个3×3的估计窗口。这个估计窗口的中心是跳过或不编码的宏块(MB)。如果在估计窗口内所有的宏块(MB)都是跳过或不编码宏块，于是将这个跳过或不编码的宏块(MB)的复杂度取为这个帧的平均复杂度的二分之一。这种方法很为适用，如果一个帧有较少的跳过宏块(MB)的话。如果这个帧具有低的比特率编码或具有一些静态的场景，这种估计方法就太粗了。

第二种方法是为跳过或不编码的宏块(MB)指定与为上一个使用运动补偿的帧的相应宏块(MB)指定的相同的UME。

因为UME是考虑了编码特性计算出来的，因此UME只阻止增大诸如呈块和振铃之类的编码不自然现象。因此，防止或减小可能由于施加过分的增强而引起的不编码原像的不自然现象由清晰度增强算法的其他部分处理。

UME可以与任何峰化算法相结合。或者，也可以将UME用于任何空间域清晰度增强算法。也可以只用编码信息与自适应峰化算法配合。还可以用体现与场景内容有关的信息的编码信息与自适应峰化算法配合。

图4例示了这样一个实施例。在图4中已经省去了图1中的四个控制块225、230、235和240。只剩下编码增益块245。诸如边缘信息之类的场景内容信息并入编码增益计算。与场景内容有关的信息用来对由于在计算UME 220中所作的假设和所用的内插而引起的计算UME 220的不确定性进行补偿。

在图4所示的实施例中，像素(i，j)的编码增益按照以下关系式确定为两项之和：

g_coding(i.j)＝UME(i，j)+g_edge(i，j)               (6)

UME(i，j)项定义如上，可以按关系式(2)或关系式(5)计算。g_edge(i，j)项基于与边缘有关的像素信息，自适应地根据边缘检测的输出计算。一种典型的计算g_edge(i，j)的方法涉及假设：(1)p(i，j)为一个在空间位置(i，j)处的边缘像素，以及(2)p(i，j)处在边缘中心或者p(i，j)是最接近边缘中心的像素。于是，g_edge(i，j)项可以计算为：

其中，值c由试验确定。

注意，如果在编码增益计算中利用与边缘有关的项，边缘检测应排除呈块不自然现象的块边界以及在以低比特率编码的图像序列中可能出现的振铃的虚假边缘。

任何给定像素的编码增益的帧到帧的突然改变可以导致时间上不一致的清晰度增强，这是不合乎需要的。这种改变还可以加剧诸如蚊式噪声之类的时间上可察觉的令人讨厌的不自然现象。

为了弥补这种影响，用上一帧的增益对编码增益进行时间滤波。时间滤波可以是一个简单的时间无限脉冲响应(IIR)滤波或运动校正滤波。一种不用运动补偿的可行的IIR滤波由以下关系式给出：

gain_coding(i，j，)＝k*(i，j，t)+(1-k)*gain_coding(i，j，t-1)  (8)其中，t表示当前帧，而k表示IIR的滤波系数。

UME可以根据关系式(2)的编码复杂度计算。为了减少计算量和降低存储要求，不是对增益映射滤波，而是用一个无限脉冲响应(IIR)滤波器在时间上对基于宏块(MB)或块的复杂度映射滤波。这个处理表示为以下关系式：

compl_MB/block(r，s，t)＝k*compl_MB/block(r，s，t)+

                          scal*(1-k)*compl_MB/block(r，s，t-1)  (9)

其中，(r，s)为一个宏块(MB)或块的空间坐标，t表示当前帧，k为无限脉冲响应(IIR)滤波系数，而“scal”为考虑不同帧类型中的复杂度的比例项。比例项“scal”计算为帧“t”与“t-1”的平均MB或块复杂度之比，为

$\mathrm{scal}=\frac{[{\mathrm{compl}}_{\mathrm{MB}/\mathrm{block}}(r,s,t){]}_{\mathrm{AVERAGE}}}{{\left[{\mathrm{compl}}_{\mathrm{MB}/\mathrm{block}}(r,s,t-1)\right]}_{\mathrm{AVERAGE}}}...\left(10\right)$

空间滤波器的输出由加法器265加到原来的亮度信号的输入信号210上，从而产生增强了的亮度输出信号270。

本发明还可以应用于诸如在具有高清晰度(HD)能力和允许长放(LP)模式的视频存储应用中会出现的高清晰度(HD)和标准清晰度(SD)序列。这种视频序列大部分被从播放的MPEG-2比特流代码转换到一个较低的存储比特率。对于这种应用的长放(LP)模式，在代码转换期间还可以进行格式改变。标准清晰度(SD)或高清晰度(HD)的视频序列经编码、解码后再按照本发明用清晰度增强算法进行处理，从而对于一个经编码或者代码转换的视频序列来说与不利用编码信息的那些算法相比可以提供更为优良的视频质量。

图5为例示本发明的方法的优选实施例的流程图。这种计算对一个帧(帧“t”)进行处理的编码增益的方法总标为标号500。首先，获取编码信息(步骤505)。然后，得出帧“t”的复杂度映射(步骤510)。再确定跳过或不编码的宏块(MB)(如果有的话)的复杂度估计(步骤515)。

步骤520是用一个滤波器核为关系式(4)的低通滤波器对复杂度映射进行滤波的步骤。步骤525是用关系式(9)、关系式(10)和上一帧(帧“t-1”)的复杂度映射对复杂度映射进行时间滤波的步骤。步骤550是获取上一帧(帧“t-1”)的复杂度映射的步骤。帧“t-1”的复杂度映射信息由步骤525使用。步骤530是对经步骤525时间滤波的信号进行双线性内插的步骤。然后，计算出每个像素的编码增益(步骤535)。

从帧“t”获取信息(步骤560)，用来检测在帧“t”的图像内的边缘(步骤555)步骤555的边缘检测结果用于步骤535计算每个像素的编码增益。

在步骤535计算出每个像素的编码增益后，将效用度量(UME)用于自适应峰化处理(步骤540)。步骤540的UME自适应峰化处理还利用在步骤560从帧“t”得到的信息。将步骤540的UME自适应峰化处理的结果作为一个得到增强的帧“t”显示(步骤545)。

上述方法可以总结如下。这种方法假设对于时间“t”可得到宏块(MB)或块级的复杂度映射。然后执行对跳过或不编码的宏块(MB)或块的复杂度的估计。为了减少复杂度映射的呈块结构，用关系式(4)的滤波核进行低通滤波。然后，用关系式(9)、关系式(10)和上一帧的复杂度映射对复杂度映射进行时间滤波。通过双线性内插从宏块(MB)或块的复杂度映射估计出每个像素的复杂度的值。利用每个像素的复杂度值和边缘检测处理的结果，为每个像素计算出一个编码增益。将用UME的自适应峰化用于一个帧的每个像素，从而产生得到增强的帧“t”。

如果将这种算法用于隔行扫描视频序列，可以将其中一些计算修改成适应隔行扫描视频的特性。由于对于隔行扫描视频序列来说MPEG流可以具有以场或帧结构成的图像，因此要改变复杂度计算。在以场结构的图像中，块可以含有只是来自一个场的数据，每个块都是场DCT编码的。因此，对于以场结构的图像可以照样应用对于逐行扫描视频的复杂度计算。

然而，在以帧结构的图像来说，这些块可以是帧或场DCT编码的。在帧DCT的情况下，一个块包括来自两个场的数据。因此，只能估计对于一个8×8的块的“场复杂度”。可以用一个宏块(MB)中的两个块计算一个块的“场复杂度”。从这些考虑中可以看到，在隔行扫描视频中块的复杂度计算比宏块(MB)的复杂度计算更为直接。

虽然就一些以数字电视机为例的实施例对本发明作了详细说明，但本发明并不不局限于所说明的这些实施例和它们的变型。可以理解，熟悉该技术领域的人员可以在不背离本发明的构思和范围的情况下在本发明中以最广的形式进行各种改变、替换、修改、和调整。

Claims (10)

1.一种在一个数字视频系统中增强一个先前编码的数字视频信号的图像质量的装置(140)，所述装置(140)包括：

一个配置在所述数字视频系统(100)内的效用度量产生器(215)，其能够使用编码信息来产生效用度量(220)，该效用度量被用来确定一个能用于所述先前编码的数字视频信号(210)而不增大编码不自然现象的视频信号增强量。

2.如在权利要求1中所提出的装置(140)，其中：所述数字视频系统(100)包括至少一个能将一个清晰度增强算法用于所述先前编码的数字视频信号(210)的清晰度增强单元；所述装置(140)还包括一个能用所述效用度量(220)确定所述至少一个清晰度增强单元对所述先前编码数字视频信号(210)所用的清晰度增强的允许量的编码增益控制块(245)。

3.如在权利要求2中所提出的装置(140)，其中：所述至少一个清晰度增强单元是一个自适应峰化单元(260)。

4.如在权利要求3中所提出的装置(140)，其中：所述效用度量(220)逐像素地计算出一个像素可以增强到什么程度而不增大编码不自然现象。

5.如在权利要求4中所提出的装置(140)，其中：一个像素的编码增益由以下关系式确定：

g_coding(i.j)＝UME(i，j)+g_edge(i，j)

其中i和j为像素的坐标，g_coding为像素的编码增益，UME为效用度量(220)，而g_edge基于从一个图像得出的与边缘有关的信息。

6.如在权利要求5中所提出的装置(140)，其中：对于g_edge(i，j)的值设置为：(1)对于一个在空间位置(i，j)处的边缘像素p(i，j)等于按试验确定的值c，(2)对于一个在空间位置(i-1，j)处的像素p(i-1，j)和对于一个在空间位置(i+1，j)处的像素p(i+1，j)等于c的二分之一，(3)对于一个在空间位置(i-2，j)处的像素p(i-2，j)和对于一个在空间位置(i+2，j)处的像素p(i+2，j)等于c的四分之一，以及(4)对于所有的其他像素等于零。

7.如在权利要求1中所提出的装置(140)，其中：所述效用度量产生器(215)只用编码信息产生所述效用度量(220)。

8.如在权利要求1中所提出的装置(140)，其中：所述效用度量产生器(215)用编码信息和与场景内容有关的信息产生所述效用度量(220)。

9.一种数字视频系统(100)，所述数字视频系统(100)包括一个在所述数字视频系统(100)内提高先前编码的数字视频信号的图像质量的装置(140)，所述装置(140)包括一个配置在所述数字视频系统(100)内的效用度量产生器(215)，其能使用编码信息来产生效用度量(220)，该效用度量(220)被用来确定一个可以用于所述先前编码的数字视频信号(210)而不增大编码不自然现象的视频图像增强量。

10.一种在一个数字视频系统(100)内提高先前编码的数字视频信号(210)的图像质量的方法，所述方法包括下列步骤：

使用编码信息、在所述数字视频系统(100)的一个效用度量产生器内产生效用度量(220)；以及

用所述效用度量(220)确定可以用于所述先前编码的数字视频信号(210)而不增大不自然现象的视频图像增强量。

Images