CN100370484C - 增强编码的数字视频的清晰度的系统和方法 - Google Patents

Abstract

用于计算视频数据帧中每个像素的UME的方法和系统。提供了用于增强编码后的数字视频信号清晰度的系统，该视频信号代表基于块的数据帧，该系统包括：用于按照帧类型计算每个像素的UME的系统，其中计算系统包括：规定帧中本地空间特性的机构；对该帧的基于块的运动估值进行分析的机制；和检测帧中情景改变的机构；该系统还包括清晰度增强器，该增强器根据所述UME提高数字视频信号的译码后的版本的清晰度。

Description

增强编码的数字视频的清晰度的系统和方法

本发明涉及用于通过使用编码信息、本地空间特性、和活动信息来增强数字视频信号的质量的系统和方法。本发明的系统和方法增强了经编码的或转码的数字视频的清晰度而不增加编码的人工产物。

高质量多媒体设备，诸如机顶盒、高端TV、数字TV、个人TV、存储器产品、PDA、无线互联网设备等等的开发导致各种各样的结构并导致这些设备的新的特性的更多的公开。而且，这些新产品的开发和它们显示任何格式的视频数据的能力导致对于视频处理和视频增强算法的新的要求和机会。

MPEG(活动图像专家组)视频压缩被使用于许多当前的和正在出现的产品。MPEG是数字电视机顶盒、DSS、HDTV解码器、DVD播放器、电视会议、互联网视频、和其他应用的心脏。这些应用从视频压缩获益，因为通过它只需要较小的贮存空间来使视频信息存档、或只需较少带宽来把视频信息从一点传送到另一点、或同时得到二者的组合。大多数这样的设备接收和/或存储具有MPEG-2格式的视频。将来，它们可接收和/或存储具有MPEG-4格式的视频。这些MPEG源的图像质量可以很大地改变。

对于人的视觉系统的研究表明，眼睛对于亮度的改变是更敏感的，而对于色度的改变是不太敏感的。MPEG工作在一个彩色空间，它有效地利用眼睛对于亮度和色度信息的不同的敏感性。因此，MPEG使用YCbCr彩色空间来表示数据值而不用RGB；其中Y是亮度分量，实验确定为Y＝0.299R+0.587G+0.114B，Cb是蓝色色差分量，其中Cb＝B-Y，以及C r是蓝色色差分量，其中Cr＝R-Y。

MPEG视频被安排成层的分级结构，以有助于出错处理、随机搜索和编辑、以及例如与音频比特流的同步。第一层，或顶部层，被称为视频序列层，以及是任何自包含的比特流，例如，编码的电影、广告或动画。

第二层，在第一层的下面，是画面组(GOP)，它由一个或多个组的内部(I)帧和/或非内部帧(P或B)画面。I帧是严格地内部压缩的，提供对于视频的随机接入点。P帧是运动补偿的前向预测编码帧，它们是帧间压缩的，以及典型地比起I帧提供更多的压缩。B帧是运动补偿的双向预测编码的帧，它们是帧间压缩的，以及典型地提供最多的压缩。

第三层，在第二层下面，是画面层本身。在第三层的下面的第四层被称为分片层。每个分片是按光栅排序的宏块的邻接的序列，在典型的视频应用中最经常是按行地排序的。分片结构往往允许在有错误的情况下译码。每个分片包含宏块，它们是16×16阵列的亮度像素，或画面数据单元，具有两个或多个8×8阵列(取决于格式)的相关的色度像素。宏块还可被划分成不同的8×8块，用于进一步处理，诸如变换编码。当涉及到YCbCr彩色空间时，宏块可以以几个不同的方式表示。通常使用的三种格式被称为4:4:4，4:2:2和4:2:0视频。4:2:2包含的色度信息是4:4:4所包含的一半，4:4:4是一个全部带宽的YCbCr视频，以及4:2:0包含了色度信息的四分之一。因为该有效的亮度和色度表示法的方式，4:2:0表示法允许立即从12块/宏块到6块/宏块减少数据。

I帧比起P和B帧只提供适度的压缩，相比之下P和B帧中MPEG得出它的最大的压缩效率。效率是通过利用时间冗余度的所谓的基于运动补偿的预测的技术达到的。由于各帧是紧密地相关的，可以假设当前的画面能用以前时间的画面的变换来建模。这样就有可能根据以前的帧的数据精确地预测一个帧的数据。在P帧中，每个16×16大小的宏块是从以前编码的I或P帧的宏块预测的。由于帧是运动物体在时间上的快照(snapshots)，两个帧中的宏块不一定相应于同一个空间位置。编码器以半个像素增量搜索以前的帧(对于P帧)，或之前和之后的帧(对于B帧)，找出最接近匹配于被包含在当前的宏块中的信息的其他的宏块的位置。最佳匹配的宏块离同样地点的宏块在水平和垂直方向上的位移被称为运动矢量。当前的块与与匹配的块之间的差值以及运动矢量被编码。运动矢量也可被使用于在弄乱的数据的情形下的运动预测，以及精巧的译码器算法可以使用这些矢量用于错误抵销。对于B帧，通过使用在每个帧的任一侧存在的参考帧来执行基于运动补偿的预测和内插。

下一代的贮存设备，诸如基于蓝色激光的数字视频记录器(DVR)在一定的程度上具有HD(高清晰度)(ATSC)能力，以及是有利于新的图像增强的方法的设备类型的例子。HD节目典型地以10Mb/s速率广播，以及按照MPEG-2视频标准进行编码。考虑约25GB贮存容量的DVR，这代表每个光盘约两小时的HD视频的记录时间。为了增加记录时间，可以规定几个长播放模式，诸如长播放(LP)和加长的长播放(ELP)模式。

对于LP模式，假设平均贮存比特速率约为10Mb/s，这允许使HD的记录时间加倍。结果，转码是视频处理链的整体部分，它把20Mb/s的广播比特速率减小到10Mb/s的贮存比特速率。在MPEG-2转码期间，视频的图像质量(例如，清晰度)最可能被降低。然而，特别是对于LP模式，图像质量不应当牺牲太多。所以，对于LP模式，后处理在提高感知的图像质量方面起到重要的作用。

至今，大多数现有技术的清晰度增强算法是对于模拟视频传输标准，像NTSC(国家电视系统委员会)、PAL(逐行倒相制)和SECAM(顺序与存储)进行开发和最佳化的。传统上，增强算法或者减小图像的某些不想要的方面(例如噪声)，或者改进图像的某些想要的特性(例如清晰度增强)。对于这些正在出现的贮存设备，传统的清晰度增强算法，由于视频源的不同的特性，可能对于MPEG编码的或转码的视频在次于最佳的方式下执行。在贮存系统的闭路视频处理链中，能够从MPEG流得出允许确定编码源的质量的信息。这个信息可以潜在地被使用来提高视频增强算法的性能。

因为图像质量对于高端视频产品仍然是一个显著的因素，特别适用于这些源的、用于执行视频增强的新的方法将是有利的。在C-J Tsai，P.Karunaratne，N.P.Galaysanos和A.K.Katsaggelos，”ACompressed Video Enhancement Algorithm(压缩视频增强算法)”，Proc.Of IEEE，ICIP’99，Kobe，Jaan，Oct.25-28，1999中，作者提出一种用于增强以低的比特速率编码的视频序列的迭代算法。对于MPEG源，图像质量的恶化主要起源于量化功能。因此，由作者采样的迭代梯度投影算法在它的费用函数中使用了编码信息，诸如量化步长、宏块类型、和前向运动矢量。该算法表明，对于低的比特速率其结果是有希望的，然而，该方法显然具有高的计算复杂性。

在B.Martins和S.Forchammer，”Improved Decoding of MPEG-2Coded Video(MPEG-2编码的视频的改进的译码)”，Proc.OfIBC’2000，AmSterdam，The Netherland s，Sept.7-12，2000，pp.109-115中，作者描述了一个用于改进MPEG-2编码的视频的译码的新的概念。具体地，提出了被合并在译码过程中的、用于去交织和格式变换的统一的方法。该技术得到比起通过普通译码所获得的高得多的图像质量。然而，它的计算复杂性至今仍阻止它在消费者应用中的实施。

这两篇文章描述了使用MPEG编码信息的视频增强算法和费用函数。然而，这两种情形除了不实际以外，还组合了增强和费用函数。费用函数确定有多少和在画面的哪些位置可以施加增强。由费用函数和增强函数的这种组合造成的问题是，只有一个算法可与费用函数一起使用。

而且，以前的提高清晰度增强算法的尝试只利用来自MPEG比特流的编码信息。以前的清晰度增强算法不能区分不同的画面类型，诸如I、P和B帧。因此，不能得到最佳清晰度增强结果，因为不能区分带有经编码的人工产物的画面部分和不带有人工产物的部分。结果可能是次最佳的清晰度增强。

本发明通过提供计算对于帧中的每个像素的增强的有用性度量(UME)和使用该UME来增强清晰度的系统和方法，从而解决上述的问题以及其他问题。第一方面，本发明提供一种系统，用于增强代表基于块的数据的帧的经编码的数字视频信号的清晰度，所述系统包括：(1)用于按照帧类型而计算该帧中每个像素的UME的系统，其中计算系统包括：规定帧中的本地空间特性的机构；对于帧的基于块的运动估值进行分析的机构；以及检测帧中的情景改变的机构；以及(2)清晰度增强器，它根据所述UME改进数字视频信号的经译码的版本的清晰度。

第二方面，本发明提供一种方法，用于增强代表基于块的数据帧的经编码的数字视频信号的清晰度，该方法包括：提供规定帧的本地空间特性的机制；提供对于帧的基于块的运动估值进行分析的机制；提供检测帧中的情景改变的机制；根据本地空间特性、基于块的运动估值和检测到的情景改变，计算帧中的每个像素的UME；以及通过应用对于每个像素计算出的UME改进帧的清晰度。

第三方面，本发明提供被存储在可记录的媒体上用于计算在视频数据的帧中的每个像素的UME的程序产品，该程序产品包括：用于规定帧中的本地空间特性的装置；用于对于帧的基于块的运动估值进行分析的装置；和用于检测帧中的情景改变的装置。

图1是包括本发明的系统和方法的、示例性数字电视机的方框图；

图2是显示本发明的运行的方法的流程图；

图3是显示包括本发明的有用性度量生成器和UME控制块的自适应峰化单元的方框图；

图4是显示按照本发明使用的清晰度增强算法的替换实施例的方框图；

图5是显示包括本发明的有用性度量生成器的自适应峰化单元的替换实施例的方框图；

图6-7是显示计算I帧的UME的方法的流程图；

图8是显示计算P帧的UME的方法的流程图。

现在详细地参照本发明的优选实施例，它们的例子在附图中显示。结合系统的详细说明描述本发明的方法和相应的步骤。

I.总述：

下面讨论的图1到8，以及这里描述本发明的系统和方法的原理的各种实施例，仅仅是作为说明，而不应当看作为限制本发明的范围。本发明的系统和方法将作为用于增强编码数字视频信号的图像质量的系统和方法被描述。重要的是要认识到本发明的系统和方法并不限于数字电视机。本领域技术人员将容易看到，本发明的原理可以成功地应用于任何类型的数字视频系统，包括但不限于电视接收机、机顶盒、贮存设备、计算机视频显示系统、和利用或处理数字视频信号的任何类型的电子设备。术语“数字视频系统”用来指现在和将来可提供的、这些和其他类似类型的设备。在接着的示例性实施例中，采用数字电视机作为数字视频系统的一个代表性说明。

本发明例如可应用于高分辨率(HD)和标准分辨率(SD)序列，诸如在具有高的分辨率能力和允许长播放(LP)模式的视频贮存应用中所出现的序列。大多数这样的视频序列都从广播的MPEG-2比特流转码成较低的贮存比特速率。对于本应用的长播放(LP)模式，在转码期间也可以进行格式改变。按照本发明进行了编码、译码、然后通过清晰度增强算法处理的标准分辨率(SD)或高分辨率(HD)视频序列，与不使用编码信息的算法相比较，能为事先编码的或转码的视频序列提供更优秀的视频质量。

图1是利用本发明的设备和方法的数字电视机100的方框图。数字电视机100包括电视接收机110和显示单元115。显示单元115可以是阴极射线管或平板显示器，或用于显示视频图像的任何类型的设备。电视接收机110包括用于接收电视信号的天线105。天线105耦合到调谐器120。调谐器120耦合到中频(“IF”)处理器125。IF处理器125，如这里体现的，被耦合到译码器130。虽然本发明显示的是MPEG译码器，但本发明不限于MPEG类型编码/译码应用。按照本发明的其他实施例，可以利用任何基于块的压缩方案，诸如，例如JPEG(静止图像压缩标准)、MPEG-1，2，4(数字视频标准)、H.261、H.263(电视会议标准)和其他。在这些标准中，二维(2D)DCT(离散余弦变换)被应用到经压缩的图像中8×8块的像素。由DCT产生的64(8×8＝64)个系数然后被量化以提供实际的压缩。在典型的图像中，来自8x8块的像素的DCT的大多数DCT系数是小的，以及在量化后变为零。真实世界图像的DCT的这个性质对于压缩方案是重要的。

按照本发明，提供了一种方法和相应的系统，用于增强代表数字视频系统中的至少一个帧的经编码的数字视频信号的图像质量。该方法通常包括，正如下面详细描述的，创建对于增强的有用性度量(UME)的各步骤以用于增强经编码的数字视频信号。具体地，UME包括通常处在0与1之间的增益值，它可以为帧中的每个像素进行计算和应用。UME的计算基于各种不同的准则，包括：(1)帧中的本地空间特性；(2)基于块的运动估算；(3)情景改变检测；(4)编码信息；和(5)帧的类型。一旦被计算，就把UME应用于至少一个清晰度增强算法以生成增强的数字视频信号。

图2是显示本发明的实施例的系统图。下面将更详细地描述图2上体现的系统的实施方案。提供了用于处理一个帧(帧t)的UME生成器151。UME生成器151利用编码信息150以及其他分析机制154、156和158来计算在帧t中每个8×8块的每个像素的UME160。一旦被计算，就把UME加到至少一个清晰度增强算法162以生成增强的帧t’164。

再次参照图1，MPEG译码器130的输出被耦合到后处理电路135，用于应用清晰度增强算法。例如，但不是限制，后处理电路135可包括自适应峰化单元140，它包括本发明的UME系统。自适应峰化单元140可以位于后处理电路135内的适当的位置。后处理电路135的输出被输入到显示单元115。

正如这里体现的，为了说明起见，自适应峰化单元140处理从MPEG译码器接收的视频信号。在本例中自适应峰化单元140在自适应峰化过程中使用UME。可以看到，本发明的系统和方法并不限于自适应峰化过程。UME可用于不止一个其它类型的视频增强算法。

自适应峰化单元140以这种方式处理视频信号，以便考虑视频信号中的编码信息以及由分析机制提供的其他信息，即，本地空间特性154、基于块的运动估值156和在UME生成器151内的情景改变检测(图2)。自适应峰化单元140的输出是自适应峰化单元140从MPEG译码器130接收的视频信号的增强的亮度信号。由自适应峰化单元140确定的亮度信号提供比起由现有技术自适应峰化单元提供的更加精确的和视觉上明晰的视频图像，这将在下面进一步描述。自适应峰化单元140把增强的亮度信号传递到后处理电路135内的其他电路。后处理电路135能够增强视频信号的质量。

后处理电路135能够实施几种不同的类型的视频信号处理。例如，某些视频信号处理应用包括：(a)噪声电平自适应噪声减小算法，(b)噪声电平自适应清晰度增强，(c)噪声电平自适应亮度-色度分离，(d)噪声电平自适应运动检测，(e)噪声电平自适应运动估值和补偿，(f)噪声电平自适应上变换，(g)噪声电平自适应特性增强，和(h)噪声电平自适应基于目标的算法。

图3是显示按照本发明的一个实施例的自适应峰化单元140的系统和方法的方框图。图3显示本发明的UME如何加到用于清晰度增强的自适应峰化算法。自适应峰化算法的目标是增加输入亮度信号210的瞬态值的幅度。自适应峰化算法传统上不总是为“事先”编码/转码的视频源提供最佳视频质量。这主要是由于没有考虑MPEG源的特征这一事实。

自适应峰化算法所使用的原理在技术上是熟知的。自适应峰化算法的一个例子利用四个基于像素的控制块。如图3所示，该四个控制块是对比度控制块225、动态范围控制块230、防止限幅控制块235、和自适应核化块240。对比度控制块225生成增益信号“g₁”。动态范围控制块230生成增益信号“g₂”。防止限幅控制块235生成增益信号“g₃”。自适应核化决240生成增益信号“g₄”。这四个基于像素的控制块考虑到视频信号的特定的本地特性，诸如对比度、动态范围、和噪声电平。然而，这四个基于像素的控制块没有考虑有关视频信号的编码性质、运动补偿、和情景改变的信息。

本发明的系统提供UME计算系统245，它尤其使用编码信息215来确定更可取的峰化量，正如下面讨论的。UME计算系统245生成UME信息“g_coding”。

动态增益控制块250选择五个增益信号(g₁，g₂，g₃，g₄，g_coding)中的最小值来生成最后的增益信号“g”。乘法器电路255把最后的增益信号“g”乘以被2D峰化滤波器260滤波的高通信号。加法器265把来自乘法器电路255的乘积加到由亮度输入信号210代表的像素的原先的亮度值。由此生成了增强的亮度输出信号270。这些功能的每个功能可以由技术上熟知的适当的部件来执行。

作为例子但不是限制，图4显示按照本发明的、用于增强编码数字视频清晰度的典型的系统。系统包括高通滤波器260，用于对输入视频信号210滤波，乘法器255，用于把经高通滤波的信号乘以通过本发明的任何方法所确定的UME 220。该乘法生成增益控制信号。系统还包括加法器265，用于把输入视频信号210与增益控制的信号相加并生成增强的亮度输出信号270，它比起输入信号210来具有提高了的图像质量。在本发明的示例性实施例中，要被使用的高通滤波器可以是：

$k*\left[\begin{array}{ccc}0& -1& 0\\ -1& 4& -1\\ 0& -1& 0\end{array}\right],$

其中k是范围为0与1的缩放因子，即，(0，1]，因此不包括0，但包括1。因子k典型地取决于用户的主观感觉。要更清晰的图像时，要增加k。

如图4所示的清晰度增强系统的结果为如下：

out_pixel＝input_pixel+UME*convolution_result，其中out_pixel是要用于像素的最后的亮度值，input_pixel是输入像素的亮度值，以及convolution_result是高通滤波器输出。这样，清晰度增强算法的结果的信号表示是对帧的每个像素以已知的方式生成的。

因为UME是计及编码特性而被计算的，UME防止编码的人工产物的增强，诸如分块和振铃。因此，由于施加太多增强造成的、非编码起源的人工产物的阻止或减小，可以由清晰度增强算法的其他部分解决。

图5显示替换实施例。在图5上，图3的四个控制块225，230，235和240被消除。只剩下UME计算系统245。在比特流中存在的编码信息(按逐块的或按区域的基础上提供的)可以在译码过程期间被检索。UME258是从存在于比特流中的MPEG编码信息215、以及本地空间特性、运动估值和情景改变检测计算247得出的。它确定多少像素或区域可被增强而不增加编码人工产物。按照本发明，在译码期间直接得到的MPEG信息的最细的粒度是：(1)基于宏块(MB)的量，或(2)基于逐块的量。然而，对于空间(像素)域视频增强，UME优选地对于画面的每个像素进行计算，以便确保最高的图像质量。UME值是利用以下的准则计算的。

II.UME分析机制：

如上所述，各种准则或分析机制被利用来计算UME。正如参照图6-8详细地描述的，不同的分析机制，或分析机制的组合可用来计算UME。某些分析机制可以通过单次计算而计算像素块的UME，而其他机制分开地计算块中的每个像素的UME。在示例性实施例中，UME的值的范围可以从“零”的数值(“0”)到“一”的数值(“1”)。“零”的数值是指对于特定的像素不允许清晰度增强算法，而“一”的数值是指像素可以自由地增强而没有增强任何编码的人工产物的风险。下面描述各种分析机制。

A.编码信息

从MPEG信息容易提取的一个参数是量化参数(q_scale)，因为它存在于每个编码宏块(MB)中。量化参数越高，量化越粗，所以，量化误差越大。高的量化误差导致编码的人工产物。因此，在具有高量化参数的宏块中像素的增强可能更多地被抑制。

另一个有用的信息项是花费于编码宏块(MB)或块的比特数(num_bits)。一般说来，在对块编码中花费较少的比特，则块的质量也较低。然而，这个量(num_bits)也高度依赖于情景内容、比特速率、帧的类型，诸如I(内部)、P(预测)、和B(双向预测)帧的类型、运动估值、和运动补偿。

也有可能考虑块中现有的DCT系数的分布。另外，运动矢量可被使用来得到有关要被增强的视频的时间特性的信息。众所周知，对于MPEG编码被估值的和使用的运动矢量不一定代表视频中的真实的运动。然而，运动矢量有助于识别静止区域和使用静止区域来逐帧地改进增强的时间一致性，即使当运动矢量是不可靠时。

量化参数(q_scale)和被花费来编码宏块(MB)或块的比特数目(num_bits)被广泛地使用于MPEG编码的速率控制计算。

因为较大的量化参数值通常导致增加编码的人工产物，UME典型地应当与量化参数(q_scale)成反比。

按照本发明的实施例，UME生成器215可以按以下公式计算对于每个8×8块的UME：

$\mathrm{UME}\_\mathrm{block}=1-M*{(1+\frac{q\_\mathrm{scale}}{N})}^2*\frac{\frac{q\_\mathrm{scale}}{\mathrm{num}\_\mathrm{bits}}}{\max \left(\frac{q\_\mathrm{scale}}{\mathrm{num}\_\mathrm{bits}}\right)},---\left(1\right)$

其中UME_block是像素数据块的有用性度量，q_scale是宏块的量化尺度，num_bits是对亮度块编码的比特数(即，对亮度块的DCT块的AC系数进行编码的比特数)，max是代表整个帧的最大值的函数，以及M和N是实验确定的缩放因子。N因子是在q_scale数值的范围中。M因子取决于用户的主观感觉。例如，对于更强的清晰度增强，M因子降低，但如果用户喜爱较柔和的图像，则M因子可以增加。可能的M数值是1，2，4，8等等。

B.本地空间特性

如图5所示，UME220的计算还可取决于计算247。这些计算的一个计算牵涉到本地空间特性的分析。本地空间特性可被定义为在覆盖n×n个像素的n×n窗口上每个像素的亮度值的方差。方差被定义为如下：

$\mathrm{var}(i,j)=\underset{k=-q}{\overset{q}{\mathrm{\Σ}}}\underset{m=-q}{\overset{q}{\mathrm{\Σ}}}|\mathrm{pix}(i+k,j+m)-\mathrm{mean}|---\left(2\right)$

其中q＝(n-1)/2，pix(i+k，j+m)是在位置(i+k，j+m)处的像素值，以及mean是在所述nxn窗口上的平均像素值。项i和j是像素的原先的坐标，以及k和m是位移值。替换地，本地空间特性可被定义为区域(纹理或平滑区域)映射。

C.基于块的运动估值

UME220的计算还可以基于使用以下分析从每个块得到的运动估值信息。

块

是从 $\stackrel{\→}{X}=\left(\begin{array}{c}{X}_h\\ X_v\end{array}\right)$ 开始的8×8块：

$B\left(\stackrel{\→}{X}\right)=\left\{\stackrel{\→}{x}\right|(X_h\≤x\≤X_h+7)^(X_v\≤y\≤X_v+7)\}---\left(3\right)$

相加的绝对差值，SAD，被定义为：

$\mathrm{SAD}(\stackrel{\→}{V},\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|f(\stackrel{\→}{x},n)-f(\stackrel{\→}{x}-\stackrel{\→}{V},n-1)|---\left(4\right)$

其中

是矢量度

以及n是帧号码。

定义了两种块类型：“静止块”，具有较小的运动特性，以及“运动块”，具有较大的运动特性。在一个示例性实施例中，如果满足以下条件，则该块

被称为静止块：

$\mathrm{SAD}({\stackrel{\&RightArrow;}{V}}_0,\stackrel{\&RightArrow;}{X},n)=\underset{\stackrel{\&RightArrow;}{x}\&Element;B\left(\stackrel{\&RightArrow;}{X}\right)}{\mathrm{\&Sigma;}}|f(\stackrel{\&RightArrow;}{x},n)-f(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{V}}_0,n-1)|<---\left(5\right)$

其中， ${\stackrel{\&RightArrow;}{V}}_0=\left(\begin{array}{c}0\\ 0\end{array}\right)$ 以及STILL_THRED是预定的阈值，例如80。如果条件(5)不满足，则该块被称为运动块。

的运动矢量

是在搜索窗口内具有最小SAD的矢量：

$\mathrm{SW}=\left\{\stackrel{\&RightArrow;}{V}\right|(-\frac{(H-1)}{2}\&le;h\&le;\frac{(H-1)}{2})^(-\frac{(V-1)}{2}\&le;v\&le;\frac{(V-1)}{2})\}$

$\&ForAll;\stackrel{\&RightArrow;}{V}\&Element;\mathrm{SW},\mathrm{SAD}({\stackrel{\&RightArrow;}{V}}^{\&prime;},\stackrel{\&RightArrow;}{X},n)\&le;\mathrm{SAD}(\stackrel{\&RightArrow;}{V},\stackrel{\&RightArrow;}{X},n)$ (6)

D.情景改变检测

情景改变检测的目标是检测视频序列中相邻的帧的内容改变。精确的情景改变检测可以改进视频处理算法的性能。例如，它能建议视频增强算法对于不同的情景内容调节它们的参数。情景改变检测在视频压缩算法中也找到它的使用。

情景改变检测可被引入为UME计算的另一个步骤。由于在不同的情景之间的强迫时间一致性会导致图像质量恶化，特别是如果出现动态情景改变的话。

可以利用任何已知的情景改变检测法则。一个示例性方法可包括计算视频的相邻的帧之间的差值以产生多个差值。然后取差值的直方图。如果直方图中大多数差值超过预定的值，则检测到情景改变。

III.UME计算

在以下的示例性实施例中，UME根据该帧是I帧，P帧还是B帧，而不同地计算。具体地，图6描述I帧的计算。图8描述P和B帧的计算，而图7包含在这两种情形下都使用的子程序“Bo×I”。

首先参照图6-7，图上给出描述用于I帧的UME计算的流程图。在第一步骤S1，按照图7所示的Box I的流程图，计算初始UME值。即，在步骤S13，测试条件C2。

条件C2被定义为(var＜VAR_THRED)或(num_bits＝0)，其中var是按照以上的公式(2)计算的，以及VAR_THRED的示例值是70。如果条件C2不满足，则在步骤S15，按照以上对UME_block的公式(1)计算UME。相反，如果条件满足，则在步骤S14，把UME设置为零。后一种情形暗示，要么var值非常小，再不该块只具有DC系数。后一种情形因此揭示，以当前的像素为中心的邻居多半是平滑区域，其中可能存在块的人工产物，所以，应当避免清晰度增强。

接着，在步骤S2确定是否出现情景改变。如果出现情景改变，则算法在步骤S4结束，以及在步骤S1计算的值是最后的UME值。对于I帧，如果在当前I帧前面的、以前的GOP(画面组)中任何一个P或B帧发生情景改变，或如果在当前的I帧上检测到情景改变，则情景改变可以标记为真实的。

另外，如果当前的I帧是GOP中第一或第二I帧，则步骤S1仅仅被使用来计算UME，即，假定有情景改变。因此，由于第一GOP通常编码具有许多不确定性这一事实，为以前的帧所计算的UME值将不一定可信，因为对编码器而言缺省的编码参数对于特定的图像序列的适配需要几个帧。

如果未检测到情景改变，则接着在步骤S3按照公式(5)确定当前的块的是否为静止块。如果它是静止块，则在步骤S6把UME从以前的帧复位到在相同的位置处的像素的相同的数值。如果当前的块不是静止块(即，它是运动块)，则在步骤S5按照公式(6)形成运动矢量V’＝(v’，h’)。接着，在步骤S7，确定v’和h’是否等于零。如果其中一个或二者都不等于零，则在步骤S7测试条件C1，其中C1是以下条件：var≥VAR_THRED。如果C1不成立，则在步骤S9，把UME设置为零。如果C1成立，则在步骤S10，按照以下公式计算UME：

UME＝[0.9*UME]+[0.1*UME_prev(v’，h’)]，

其中UME_prev(v’，h’)是由以前的帧的运动矢量(v’，h’)指向的像素的UME。

如果替换地在步骤S7确定v’和h’都等于零，则在步骤S9A测试条件C1。如果条件C1不成立，则在步骤S12，把UME设置为零。如果条件C1成立，则按照以下公式计算UME：

UME＝[0.1*UME]+[0.9*UME_prev]，

其中UME_prev是在以前帧的相同位置处的像素的UME值。

现在参照图8，图上给出用于计算P帧或B帧中的像素的UME的流程图。首先，在步骤S20，确定是否出现情景改变。如果确实出现情景改变，则在步骤S21测试条件C3，其中C3是以下条件：内部块和num_bits≠0。如果条件C3成立，则在步骤S22，按照图7描述的流程图(即，Box I)计算UME。如果条件C3不成立，或在步骤S20没有检测到情景改变，则在步骤S23确定当前的块是否为静止块。

如果当前的块不是静止块，则在步骤S25计算运动矢量(v’，h’)。在步骤S26，测试运动矢量分量v’和h’。如果其中一个分量或两个分量都不等于零，则在步骤S27测试条件C1。如果C1不成立，则在步骤S29，把UME设置为零。如果C1成立，则在步骤S30，把UME设置为UME_prev(v’，h’)，其中UME_prev(v’，h’)是由以前的帧的运动矢量(v’，h’)指向的像素的UME。

在步骤S26，如果两个分量v’和h’等于零，则在步骤S28测试条件C1。如果条件C1不成立，则在步骤S32，把UME设置为零。如果条件C1成立，则在步骤S31把UME设置为UME_prev，其中UME_prev是在以前的帧中相同位置处的像素的UME值。

最后，如果确定(回到步骤S23)当前的块是静止块，则在步骤S24，把UME从以前的帧复位到在相同位置处的像素的相同数值。下一步骤S28按上述的相同方式重复。

如以上描述的和附图显示的，本发明的方法和系统通过利用清晰度增强算法，提供了增强数字编码视频信号质量的改进的方法。本领域技术人员将会看到，可以在不背离本发明的精神或范围的条件下在本发明的方法和系统中作出各种修正和变化。因此，本发明打算包括在所附权利要求和它的等价物的范围内的修正方案和变化。

Claims (14)

1.用于增强代表基于块的数据的帧[163]的经编码的数字视频信号的清晰度的系统[151]，所述系统包括：

-用于按照帧类型而计算每个像素的增强有用性度量(UME)[160，220，258]的装置[245]，其中计算装置[245]包括：

-规定帧[163]中的本地空间特性[154]的机构；

-对于帧[163]的基于块的运动估值[156]进行分析的机构；

-检测帧[163]中的情景改变[158]的机构；以及

-清晰度增强器[162]，它根据所述增强有用性度量[160，220，258]改进数字视频信号的经译码的版本的清晰度。

2.权利要求1的系统，其中计算装置[245]还包括按照以下公式分析基于宏块和块的编码信息的机构：

$\mathrm{UME}\_\mathrm{block}=1-M*{(1+\frac{q\_\mathrm{scale}}{N})}^2*\frac{\frac{q\_\mathrm{scale}}{\mathrm{num}\_\mathrm{bits}}}{\max \left(\frac{q\_\mathrm{scale}}{\mathrm{num}\_\mathrm{bits}}\right)}$

其中UME_block是像素数据块的有用性度量，q_scale是宏块的量化尺度，num_bits是对亮度块编码的比特数，max是代表帧[163]的最大值的函数，以及M和N是缩放因子。

3.权利要求2的系统，其中本地空间特性[154]被定义为在一个覆盖nxn个像素的nxn窗口上像素亮度值的方差，所述方差按以下公式定义：

$\mathrm{var}(i,j)=\underset{k=-q}{\overset{q}{\mathrm{\&Sigma;}}}\underset{m=-q}{\overset{q}{\mathrm{\&Sigma;}}}|\mathrm{pix}(i+k,j+m)-\mathrm{mean}|$

其中q＝(n-1)/2，pix(i+k，j+m)是在位置(i+k，j+m)处的像素值，以及mean是在所述nxn窗口上的平均像素值。

4.权利要求3的系统，其中如果下列条件

(var(i，j)≥VAR_THRED)和(num_bits≠0)成立；以及在当前的内部压缩帧之前或在其上已检测到情景改变，内部压缩帧中的像素的增强有用性度量[160，220，258]通过使用UME_block进行计算，其中VAR_THRED是预定的阈值。

5.权利要求3的系统，其中所述对于帧[163]的基于块的运动估值[156]进行分析的机构确定该块是否为静止块。

6.权利要求3的系统，其中如果当前的块不是静止块，则所述对于帧[163]的基于块的运动估值[156]进行分析的机构计算运动矢量(v’，h’)，其中运动矢量(v’，h’)是在搜索窗口中具有最小的相加后的绝对差值(SAD)的块B

中的运动矢量，以及其中在帧n中的矢量

的相加后的绝对差值被定义为：

$\mathrm{SAD}(\stackrel{\&RightArrow;}{V},\stackrel{\&RightArrow;}{X},n)=\underset{\stackrel{\&RightArrow;}{x}\&Element;B\left(\stackrel{\&RightArrow;}{X}\right)}{\mathrm{\&Sigma;}}|f(\stackrel{\&RightArrow;}{x},n)-f(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{V},n-1)|$

其中

是在位置

处的像素值。

7.权利要求6的系统，其中如果该块不是静止块，则该计算装置[245]确定v’和h’两者是否都等于零。

8.权利要求7的系统，其中如果该块不是静止块，则在var＜VAR_THRED的情况下，该计算装置[245]把增强有用性度量[160，220，258]设置为零，其中VAR_THRED是预定的阈值。

9.权利要求8的系统，其中如果该块不是静止块以及v’和h’都等于零，则如果var≥VAR_THRED，该计算装置[245]把增强有用性度量[160，220，258]设置为

增强有用性度量＝[0.1*UME]+[0.9*UME_prev]，其中UME_prev是在以前帧的相同位置处的像素的增强有用性度量值。

10.权利要求8的系统，其中如果该块不是静止块以及如果v’和h’中至少一个不等于零，则如果var≥VAR_THRED，该计算装置[245]把增强有用性度量[160，220，258]设置为

增强有用性度量＝[0.9*UME]+[0.1*UME_prev(v’，h’)]，其中UME_prev(v’，h’)是在以前的帧中矢量(v’，h’)指向的像素的增强有用性度量值。

11.权利要求1的系统，其中所述清晰度增强器[162]应用峰化算法，以便根据所述增强有用性度量[160，220，258]改进数字视频信号的经译码的版本的清晰度。

12.权利要求1的系统，其中所述清晰度增强器[162]应用空间域算法，以便根据所述增强有用性度量[160，220，258]改进数字视频信号的经译码的版本的清晰度。

13.权利要求1的系统，其中所述清晰度增强器[162]应用以下公式，以便根据所述增强有用性度量[160，220，258]改进数字视频信号的经译码的版本的清晰度，该公式是：

out_pixel＝input_pixel+UME*convolution_result，其中out_pixel是要被使用于像素的最后的亮度值，input_pixel是输入像素的亮度值，以及convolution_result是高通滤波器输出。

14.用于增强代表基于块的数据的帧[163]的经编码的数字视频信号的清晰度的方法，该方法包括：

-规定帧[163]中的本地空间特性[154]；

-对于帧[163]的基于块的运动估值[156]进行分析；

-检测帧[163]中的情景改变[158]；

-根据本地空间特性[154]、基于块的运动估值和检测到的情景改变，计算帧[163]中的每个像素的增强有用性度量(UME)[160，220，258]；以及

-通过应用对于每个像素计算出的增强有用性度量(UME)[160，220，258]改进帧[163]的清晰度。

Images