CN1723711A

CN1723711A - 用于数字视频处理的一元化量度(umdvp)

Info

Publication number: CN1723711A
Application number: CNA2003801055355A
Authority: CN
Inventors: Y·杨; L·博罗茨基
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-10
Filing date: 2003-12-04
Publication date: 2006-01-18
Also published as: EP1574070A1; KR20050084266A; WO2004054270A1; AU2003283723A1; US20060093232A1; JP2006509437A

Abstract

本发明开发了一种用于数字视频处理的一元化量度(UMDVP)以控制视频处理算法。UMDVP量度是根据在一帧中每一像素的经MPEG编码的视频编码信息而规定的。UMDVP量度的定义包括局部空间特征。该UMDVP量度可以用来控制增强算法以决定对一个像素能增强多少而不会加强编码伪像。它还可以用于指示伪像削减算法需要在何处进行该削减操作和削减多少。

Description

用于数字视频处理的一元化量度(UMDVP)

技术领域

本发明的系统和方法针对用于控制数字视频后处理的一元化量度(unified metric)，其中该量度反映MPEG编码的视频的局部图像质量。更具体说，本发明的系统和方法提供一种量度，它可用于指导后处理系统对像素增强多少和对伪像(artifact)削减多少，从而实现最终的后处理结果的最优质量。

背景技术

压缩的数字视频源通过数字地面广播、数字电缆/卫星、PVR(个人视频记录器)、DVD等已经进入现代家庭。正在出现的数字视频产品正给消费者带来革命性的体验。同时，它们也正产生对于视频处理功能的新的挑战。例如，经常选择低比特率来获得带宽效率。比特率越低，则由压缩编码和解码处理引入的损伤变得越使人不愉快。

对于标准清晰度视频的数字地面电视广播，约为6M比特/秒的比特率被认为是在图像质量和传输带宽效率之间的一个良好的折衷，参见P.N.Tudor，“MPEG-2 Video Compressions(MPEG-2视频压缩)”，IEEE Electronics & Communication Engineering Journal，December 1995，pp.257-264。然而，广播有时选择比6M比特/秒低许多的比特率以便使每一多路复用器有更多的节目。同时，许多处理功能不能把数字压缩考虑在内。其结果，它们对压缩的数字视频只能实现次优化处理。

MPEG-2一直被广泛采纳为数字视频压缩标准，并且是新的数字电视服务的基础。用于指导单个MPEG-2后处理技术的量度已被开发。例如，在Y.Yang和L.Boroczky“A New Enhancement Method forDigital Video Application(数字视频应用的新的提高方法)”，IEEETransaction on Consumer Electronics，Vol.48，No.3，August 2002，pp.435-443，其全部内容结合在此作为参考，仿佛在此叙述一样，本发明人定义一个有用性量度(UME：Usefulness Metric for Enhancement)，用于改善解码后的压缩数字视频的后处理所用的锐度(sharpness)增强算法的性能。然而，一个完全的数字视频后处理系统必须不只包括锐度增强，还要包括分辨率增强和伪像的削减。UME和其他量度只着眼于锐度增强，从而限制了它们的可用性。

图像质量是数字视频产品(例如，DTV，DVD，DVD记录等)的最重要的方面之一。这些产品以MPEG-2格式接收和/或存储视频资源。MPEG-2压缩标准使用基于块的DCT变换并且是一种有损压缩，它导致降低图像质量的编码伪像。这些编码伪像的最普通的和最可见的是分块现象(blockiness)和振铃(ringing)。在这些产品中执行的视频后处理功能中，锐度增强和MPEG-2伪像削减是改善质量的两个关键性功能。对于这两个功能极端重要的是不要取消彼此的作用。例如，MPEG-2分块伪像的削减趋向于使画面模糊，而锐度增强则使图像边缘更鲜明。如果忽略了这两个功能之间的相互作用，则最终的结果可能是因增强了锐度而恢复了分块效果，即使先前的分块伪像削减操作减少了分块效果。

由于相邻块的独立编码，分块现象使自身表现为在块边界的不连续性。振铃在整体上是平滑的纹理区域中沿高锐度边缘处最为明显，表现为从边缘向外延伸的波纹。振铃由突然截断高频DCT分量引起，它在边缘的表现中起重要的作用。

现有的量度没有设计用来指导在后处理期间联合应用增强和伪像削减算法。

因此，需要一种量度，它可以用于指导有效地组合各种质量改善功能的后处理，使得总体质量提高而负面的相互作用则降低。本发明的系统和方法提供一种量度，用于指导集成和优化多种后处理功能，诸如锐度增强、分辨率增强和伪像削减。这一量度是用于数字视频处理的一元化量度(UMDVP)，它可以用于联合控制多种后处理技术。

发明内容

将UMDVP设计作为基于MPEG-2编码信息的量度。UMDVP可在没有增加编码伪像的情况下量化像素增强了多少。另外，UMDVP提供关于是否应该执行伪像削减功能的信息和需要执行多少削减。作为一个例子而不作为限制，UMDVP使用两个编码参数作为基础：量化参数(q_scale)和对亮度块编码时所花费的比特数(num_bits)。更具体说，将num_bits定义为对DCT块的AC系数编码时所花费的比特数。该q_scale(量化标尺)是对每一16×16宏块的量化，且可以容易地从每一比特流中抽取。此外，当把一个比特流解码时，可以用不大的计算成本为每一8×8块计算num_bits。这样可以忽略收集编码信息的总开销成本。

附图说明

图1a表示来自一个以4M比特/秒编码的“日历”视频序列的快照(snapshot)。

图1b表示放大图1a的一个区域，它显示出振铃伪像。

图2a表示来自一个以1.5M比特/秒编码的“乒乓球”序列的快照。

图2b表示放大图2a的一个区域，它显示出分块伪像。

图3a表示按照本发明的一个实施例的水平边。

图3b表示按照本发明的一个实施例的垂直边。

图3c和3d表示按照本发明的一个实施例的45度和135度的对角线边。

图4表示按照本发明的一个实施例的示例性边缘检测算法的流程图。

图5是按照本发明的一个实施例的用于计算UMDVP量度的示例性装置的系统示意图。

图6表示按照本发明的一个实施例、对I帧的示例性计算UMDVP量度的流程图。

图7表示按照本发明的一个实施例、对在UMDVP量度的计算中使用的示例性插值方案。

图8表示按照本发明的一个实施例、对P或B帧计算UMDVP量度的算法的示例流程图。

图9表示本发明的垂直插值缩放方案。

图10表示本发明的水平插值缩放方案。

图11表示按照本发明的一个实施例、用于一个示例性的锐度增强装置的系统示意图。

图12表示常规峰化(peaking)算法的基本结构。

图13表示对峰化算法应用UMDVP量度以控制对原始信号加上多少增强。

图14表示一个具体的峰化算法。

图15表示使用UMDVP量度以防止增强图14所示装置中的编码伪像。

具体实施方式

在压缩的数字视频源的画面质量和编码信息之间的关系是熟知的，亦即一个压缩的数字视频的画面质量直接受它是如何被编码所影响。本发明的UMDVP量度基于MPEG-2编码信息，并对一个像素可增强多少而不会增加编码伪像进行定量。另外，还可以指出应该在何处进行伪像削减功能和这一削减应该执行多少。

1.用于数字视频处理的一元化量度(UMDVP)

UMDVP使用诸如量化参数(q_scale)和对亮度块编码时花费的比特数(num_bits)这样的编码信息。q_scale是为每一16×16的宏块的量化标尺。两者都很容易从每一比特流中抽取。

1.1量化标尺(q_scale)

MPEG模式(MPEG-1、MPEG-2和MPEG-4)使用DCT系数的量化作为压缩步骤之一。但是，量化注定会引入误差。每一8×8块的表示可以认为是每一基图像的仔细地平衡的集合。因此，高的量化误差可以在由高频DCT基图像产生的贡献中产生错误。因为高频基图像在边缘的表示中起重要作用，因此块的重构将引入高频不规则，诸如振铃伪像。图1a表示来自一个以4M比特/秒编码的“日历”视频序列的快照。图1a的圆圈部分10表示为图1中放大的11，其中围绕数字的边缘可以看见振铃伪像12。

q_scale的值越大，量化误差越大。因此，把UMDVP设计成随q_scale的增加而减小。

1.2对块进行编码的比特数(num_bits)

MPEG-2使用基于块的编码技术，其块大小为8乘8。一般，对块进行编码所用的比特越少，则块损失的信息越多和重构的块的质量越低。然而，这一数量也高度依赖于场景内容、比特率、帧类型(诸如I、P和B帧)、运动估计和运动补偿。

对于一个非平滑区域，如果对一个内部块num_bits成为0，则它意味着只有DC系数保留，而所有的AC系数丢失。在解码后，分块效应可能围绕这一区域出现。图2a是来自一个以1.5M比特/秒编码的“乒乓球”序列的快照。分块效应在图2a的圆圈区域20非常明显，该区域在图2b中表示为放大的21。

num_bits越小，编码伪像越可能存在。因此，把UMDVP设计成随num_bits减小而减小。

1.3局部空间特征

基于MPEG的系统中的画面质量依赖于可用的比特率和所表示的节目的内容两者。两个编码参数：q_scale和num_bits只揭示关于比特率的信息。本发明定义另一个量以反应画面内容。在本发明中，把局部空间特征量定义为在UMDVP的定义中使用的依赖于边缘的局部偏差。

1.3.1边缘检测

在计算像素(i，j)处的局部偏差前，必须决定像素(i，j)是否属于一个边缘。如果是，则边缘方向被决定。本发明只考虑三类边缘，如图3a所示水平边缘、图3b所示垂直边缘和图3c和3d所示对角线边缘(45或135度)。图4表示一个示例性边缘检测算法的流程图。在步骤41和步骤43，根据h-out和v_out计算两个变量(h_abs和v_abs)，h-out和v_out分别在步骤40和42计算。然后在步骤44相对于相应的阈值HTHRED和VTHRED测量这两个变量。如果h abs和v abs分别大于HTHRED和VTHRED，则在步骤47确定像素(i，j)属于对角线边缘。否则，如果h_abs大于HTHRED，但是v_abs小于或等于VTHRED，则在步骤46确定像素(i，j)属于垂直边缘。如果v_abs大于VTHRED但是h_abs小于或等于HTHRED，则在步骤49确定像素(i，j)属于水平边缘。最后，如果h_abs和v_abs分别小于或等于HTHRED和VTHRED，则在步骤50确定像素(j，j)不属于边缘。作为例子但不作为限制，在一个优选的实施例中，把两个阈值H_THRED和V_THRED都设定为10。此外，为使边缘检测更加可靠(robust)，增加一个额外的步骤以消除孤立的边缘点：

1.如果判定像素(i，j)是一个水平边缘像素和如果像素(i-1，j)和像素(i+1，j)中哪一个都不属于水平边缘，则像素(i，j)无资格作为边缘像素；

2.如果判定像素(i，j)是一个垂直边缘像素和如果像素(i，j-1)和像素(i，j+1)中哪一个都不属于垂直边缘，则像素(i，j)无资格作为边缘像素；

3.如果判定像素(i，j)是一个对角线像素和如果像素(i-1，j-1)、像素(i-1，j+1)、像素(i+1，j-1)和像素(i+1，j+1)中哪一个都不属于水平边缘，则像素(i，j)无资格作为边缘像素。

1.3.2依赖于边缘的局部偏差

(1)

其中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

(2)

(3)

其中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

(4)

(5)其中

其中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5} - - - (6)

当像素(i，j)不属于任何上述边缘时，则偏差定义为

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) mean | - - - (7)

其中

mean = \frac{Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q)}{9}

(8)

依赖于边缘的局部偏差反应图像的局部场景内容。这一空间特征在本发明中用于调整和精调UMDVP量度。

1.4 UMDVP的定义

作为例子但不作为限制，可以根据对两个编码参数(num_bits和q_scale)的观察来把UMDVP定义为下面的函数：

UMDVP = \frac{\frac{num_bits}{q_scale} - Q_OFFSET}{Q_OFFSET} - - - (9)

式中，Q_OFFSET是一个由实验决定的值。作为例子但不作为限制，可以通过分析比特流同时考虑质量目标来决定Q_OFFSET。在本发明的优选实施例中对Q_OFFSET使用数值3。UMDVP值限制在范围[-1，1]。如果num_bits等于0，则设定UMDVP为0。考虑到局部空间特征时，UMDVP值进一步调整如下：

UMDVP＝UMDVP+1如果((UMDVP＜0)&(var＞VAR_THRED))

(10)

式中，VAR_THRED是一个由经验预先决定的阈值。作为例子但不作为限制，VAR_THRED可以通过分析比特流同时考虑质量目标来决定。

UMDVP的值可通过依赖于边缘的局部偏差进一步细调：

UMDVP (i, j) = UMDVP (i, j) * {(\frac{var (i, j)}{VAR_THRED})}^{3} - - - (11)

这里，UMDVP值再次限制在范围-1和1(含)之间。UMDVP值为1意味着绝对允许对一个特定像素增强其锐度，而如果该值为-1，则该像素不能被增强，而需要伪像削减操作。

2.用于MPEG-2视频的UMDVP计算

取决于帧是I帧、P帧或B帧，要对UMDVP进行不同的计算。使用运动估计以保证UMDVP的时间的一致性，这对实现增强和伪像削减的时间一致性是必需的。还要使用急剧场景变化来进一步改善该算法的性能。用于MPEG-2视频的UMDVP计算的系统示意图示于图5。

2.1运动估计(55)

作为例子但不作为限制，本发明的一个实施例使用3维回归运动估计模型，它在Gerard de Haan等人的“True-Motion Estimation with3-d Recursive Search Block Matching(利用3-d回归搜寻块匹配的真实运动估计)”，IEEE Transaction on Circuits and Systems for VideoTechnology，Vol.3，No.5，October 1993，pp368-379中描述，其全部内容结合在此作为参考，仿佛在此叙述一样。与基于块的全搜索技术相比，这一3维模型显著减少计算复杂作用，同时改善运动矢量的一致性。

2.2场景改变检测(53)

场景改变检测是在UMDVP量度的计算中的重要步骤，因为在不同场景之间的强制的时间一致性可以导致图像质量恶化，特别是如果发生急剧场景改变的话。

场景改变检测的目的是检测在视频序列中连续帧的内容变化。准确的场景改变检测可以改善视频处理算法的性能。例如，视频增强算法利用它为不同场景内容调整参数。在视频压缩算法中场景改变检测也十分有用。

可以把场景改变检测作为另外的步骤结合到UMDVP计算中，因为在不同场景之间的强制的时间一致性可以导致图像质量恶化，特别是如果发生急剧场景改变的话。

可以使用任何已知的场景改变检测方法。作为例子但不作为限制，在一个优选的实施例中，检查在连续帧之间的差异的直方图以决定大部分差异值是否超过一个预定值。

2.3对I、P和B帧的UMDVP计算(54)和(56)

图6表示对I帧计算UMDVP量度的一个优选实施例的流程图。在第一步骤61，使用公式(9)计算一个初始UMDVP值。然后在步骤62应用急剧场景变化检测。如果发生场景变化，则计算在步骤64结束。否则使用运动估计来为当前8×8块寻找运动矢量(v’，h’)(63)。在图6中，UMDVP_prev(v’，h’)是在先前帧中在由(v’，h’)指示的位置的UMDVP量度的值。如果由(v’，h’)指示的位置不与一个像素共位，则需要进行插值来获得UMDVP量度的值。

插值方案示于图7。假定需要从由“X”指示的位置处的UMDVP量度的值向由“*”指示的位置插入UMDVP值。设定在左上角的UMDVP量度的值是UMDVP1 70，在右上角的是UMDVP271，在左下角的是UMDVP3 72，在右下角的是UMDVP4 73。UMDVP＝(1-β)×((1-α)×UMDVP1+α×UMDVP3)+β×((1-α)×UMDVP2+α×UMDVP4)

(12)

在步骤65，根据在步骤61计算的UMDVP量度的值或UMDVP量度的内插的值和在先前帧内在由(v’，h’)指示的位置的UMDVP量度的值，调整UMDVP量度的值，并在一个优选实施例中设定R₁为0.7以对UMDVP量度的计算的值施加更大的权重：

UMDVP＝R₁×UMDVP+(1-R₁)×UMDVP_prev(v′，h′)

(13)

图8表示对P或B帧计算UMDVP量度的值的流程图。首先在步骤81决定是否有场景变化。如果有，则在步骤82测试条件C3，((Intra-block)和(num_bits≠0))。如果该条件满足，则在步骤83用公式(9)计算UMDVP量度的值。如果该条件不满足，或者在步骤81未检测到场景变化，则在步骤84应用运动估计来为当前块寻找运动矢量(v’，h’)。在步骤85设定UMDVP量度的值为一个在先前帧内由(v’，h’)指示的值。如果由(v’，h’)指示的位置并不准确在一个像素位置的话，则再次需要公式(12)的插值方案。

图5中的最后的块“UMDVP精调”58使用公式(10)和公式(11)由依赖于边缘的局部偏差调整和精调UMDVP值。

UMDVP存储器57用于存储中间结果。

2.4 UMDVP缩放

如果视频处理算法不是在原始分辨率而是在某一较高的分辨率上进行，则为UMDVP映射需要缩放功能以与该新分辨率匹配。为UMDVP匹配可能需要垂直和水平缩放功能。

2.4.1垂直缩放

在图9a中，实线黑圆圈90表示要插值的UMDVP值的位置。如果在步骤94 a＞A₁(在一个优选实施例中A₁设定为0.5)，它意味着插入位置离(i，j+1)比离(i，j)近，于是UMDVP_new 90对于UMDVP(i，j+1)92比对于UMDVP(i，j)91更相关。因此在步骤95设定UMDVP_new为(1-2b)*UMDVP(i，j+1)。b的值越小，则新插入的UMDVP_new 90越接近UMDVP(i，j+1)92。否则，如果在步骤94 a≤A₁，它意味着插入位置离(i，j)较近，于是UMDVP_new 90对于UMDVP(i，j)比对于UMDVP(i，j+1)更相关。因此在步骤97设定UMDVP_new为(1-2a)*UMDVP(i，j)。然而，如果在步骤93决定，UMDVP(i，j)91和UMDVP(i，j+1)92两者都大于UT(在一个优选实施例中UT设定为0.3)，意味着临近区域是具有大UMDVP值的同类区域，于是在步骤96需要双线性插值来产生UMDVP_new使UMDVP_new＝a*UMDVP(i，j)+b*UMDVP(i，j+1)。

2.4.2水平缩放

在图10a中，实线黑圆圈101表示要插值UMDVP值的位置。如果在步骤104a＞A₁(在一个优选实施例中A₁设定为0.5)，它意味着插入位置离(i+1，j)比离(i，j)近，于是UMDVP_new 101对于UMDVP(i+1，j)102比对于UMDVP(i，j)100更相关。因此在步骤105设定UMDVP_new 101为(1-2b)*UMDVP(i+1，j)。b的值越小，则新插入的UMDVP_new 101越接近UMDVP(i+1，j)102。否则，如果在步骤104 a≤A₁，它意味着插入位置离(i，j)较近，于是UMDVP_new101对于UMDVP(i，j)100比对于UMDVP(i+1，j)102更相关。因此在步骤107设定UMDVP_new 101为(1-2a)*UMDVP(i，j)。然而，如果UMDVP(i，j)100和UMDVP(i+1，j)102两者都大于UT(在一个优选实施例中UT设定为0.3)，意味着临近区域是具有大UMDVP值的同类区域，于是在步骤106使用双线性插值来产生UMDVP_new＝a*UMDVP(i，j)+b*UMDVP(i，j+1)。

3.对MPEG-2编码的视频使用UMDVP的锐度增强

作为例子但不作为限制，锐度增强算法意图增加对一个图像的锐度的主观感觉。然而，MPEG-2编码过程可能引入编码伪像。如果算法不考虑编码信息，则它可能增强编码伪像。

相反，通过使用UMDVP量度，有可能指示增强算法对图像进行多少增强而不会增强伪像。

3.1系统示意图

图11表示一个使用UMDVP量度、用于MPEG-2视频的锐度增强装置的系统示意图。MPEG-2解码器111在把视频比特流解码的同时向UMDVP计算模块114发出编码信息112，诸如q_scale和num_bits。UMDVP计算模块114的细节在图5中表示。UMDVP量度的值被用来指示锐度增强模块116对该图像增强多少。

3.2锐度增强

锐度增强技术包括峰化和瞬变改善。峰化是线性运算，它例如在一个优选实施例中使用公知的“马赫带”效应来改善锐度印象。瞬变改善，例如亮度瞬变改善(LT1)是公知的非线性方法，它修改边缘的梯度来增强锐度。

3.2.1 UMDVP量度和峰化算法的集成

峰化使用线性滤波方法，通常一个或者几个FIR滤波器，来增加高频带和/或中频带的幅值。图12表示峰化算法的基本结构。控制参数121到12n可以通过某些控制功能(未图示)来产生。它们控制每一频带的峰化的数量。

对峰化算法应用UMDVP量度130的直接的方法是使用UMDVP量度去控制对原来的信号加上多少增强。图13表示该结构。在一个优选的实施例中，使用公式(14)在 UMDVP量度的值应用到一个增强算法之前调整该量度值。

UMDVP = \{\begin{matrix} UMDVP & UMDVP \leq 0.3 \\ UMDVP + 0.5 & 0.3 < UMDVP < 0.5 \\ 1.0 & UMDVP &GreaterEqual; 0.5 \end{matrix} - - - (14)

当UMDVP量度的值大于0.3时，它增加0.5。这里的假设是，如果UMDVP量度的值大于某一阈值(在这一场合是0.3)，则图像质量足够好，以至不要过分抑制锐度增强。

使用UMDVP量度进行锐度增强的一个具体例子

作为例子但不作为限制，在G.de Haan的Video Processing forMultimedia Systems(多媒体系统的视频处理)，Universlty Press，Eindhoven，The Netherlands，2000，中说明的方法允许在信号谱的两部分进行峰化，通常在采样频率的一半和四分之一处进行。图14表示这一方法，并在下面说明。

设

f = (\overset{&RightArrow;}{x}, n)

是图像n中像素位置

\overset{&RightArrow;}{x} = (x, y)

处的亮度信号。使用z变换，我们可以描述峰化的亮度信号

为：F_p(Z)＝F(Z)+k₁(-1z^-1+2z⁰-1z¹)F(Z)+k₂(-1z^-2+2z⁰-1z²)F(Z)(15)

式中k₁ 141和k₂142分别是决定在中间和最高可能频率处的峰化数量的控制参数。

为防止噪声恶化，一个普通的补救方法是仅加强超过预定振幅阈值的那些信号分量。这一技术称为“核化(coring)”140，可以看作是对公式(15)中的k₁和k₂的修改。

上述峰化算法增强清晰度的主观感觉，但是同时它也可能增强编码伪像。为防止这一问题，可以使用UMDVP量度150来控制峰化算法，如图15所示。

增强和伪像削减功能两者都是需要的以便对压缩的数字视频获得总的最优效果。对数字视频的增强和伪像削减之间的平衡类似于对模拟视频的增强和噪声削减之间的平衡。总体系统的优化不是那么简单的。然而，UMDVP可以同时用于增强算法和伪像削减功能两者。

上述和在图中所示的本发明的方法和系统提供UMDVP量度来联合控制数字编码视频信号的增强和伪像削减。对于熟悉本技术领域的人来说很明显的是，可以对本发明的方法和系统进行各种修改和改变而不离开本发明的精神和范围。因此，这里的意图是，本发明包括在所附权利要求及其等价物之内的修改和改变。

Claims

1.一种用于指导后处理以改善经解码的数字视频信号的系统和方法，所述经解码的数字视频信号作为基于块的数据的至少一帧的序列而被编码，所述系统包括：

量度计算单元，用于按照帧类型为在该帧内的每一像素计算数字视频处理的一元化量度(UMDVP)以产生一个UMDVP量度映射，其中所述计算单元包括：

规定该帧中局部空间特征的模块，

作为该像素块一个运动矢量和作为该帧的至少一个运动矢量来估计基于块的运动的装置，

检测在该帧中的场景变化的模块，

用于当该UMDVP量度映射与经解码的视频的分辨率不匹配

时缩放该UMDVP量度映射，以便使其与经解码的视频的分辨率匹配的装置，和

用于当由运动矢量指示的位置不与一个像素共位时对UMDVP的值进行内插的装置；和

具有至少一个质量改善算法的后处理单元，

其中，所述计算单元为该帧产生一个经缩放的和经插值的UMDVP量度映射，所述后处理单元指导所述至少一个质量改善算法以便根据该UMDVP量度映射来改善数字视频信号的解码版本的质量，所述至少一个质量改善算法根据该UMDVP量度映射来改善数字视频的版本的质量，和所述至少一个质量改善算法是从增强算法和伪像削减算法构成的一个组中选择的。

2.根据权利要求1的系统，其中，计算单元进一步包括一个模块，它根据下式分析宏块和基于块的编码信息：

其中，UMDVP(i，j)∈[-1，1]是对像素数据块的一个像素(i，j)的量度，q_scale是该宏块的一个量化标尺，num_bits是为一个亮度块编码的比特数，Q_OFFSET是一个由经验预先确定的值。

3.根据权利要求2的系统，其中：

如果计算单元确定该帧是I帧且检测场景变化的模块确定未发生场景变化的话，则对计算的UMDVP的值进行精调如下：

计算单元使用用于估计基于块的运动的装置以获得当前块的一个运动矢量(v’，h’)，

如果由运动矢量(v’，h’)指示的位置不与一个像素共位，则计算单元使用插值装置执行插值以获得在由该运动矢量指示位置处的UMDVP量度的值，并使用公式

UMDVP＝R₁×UMDVP+(1-R₁)×UMDVP_prev(v′，h′)

调整该UMDVP量度的值，其中，UMDVP_prev(v’，h’)是在前一帧中由(v’，h’)指示的位置处的UMDVP量度的值，而R₁是一个预定的加权因子。

4.根据权利要求3的系统，其中，对一个局部空间特征进一步调整和精调UMDVP的值如下：

UMDVP(i，j)＝UMDVP(i，j)+1 对于

UMDVP(i，j)＜0，(var(i，j)＞VAR_THRED)

和

UMDVP (ij) = UMDVP (ij) * {(\frac{var (ij)}{VAR_THRED})}^{3}

其中，var(i，j)是对该局部空间特征所规定的偏差，VAR_THRED是一个由经验预先决定的阈值。

5.根据权利要求4的系统，其中，局部空间特征是一个边缘，依赖于边缘的局部偏差被定义为：

当像素(i，j)属于一个水平边缘时，则依赖于边缘的局部偏差定义为：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

当像素(i，j)属于一个垂直边缘时，则依赖于边缘的局部偏差定义为：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

当像素(i，j)属于一个对角线边缘时，则依赖于边缘的局部偏差定义为：

+|pixel(i+1，j-1)-mean|+|pixel(i+1，j+1)-mean|

式中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5}

当像素(i，j)不属于任何前述边缘时，则偏差定义为：

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) - mean |

式中

mean = \frac{(Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q))}{9} .

6.根据权利要求3的系统，其中，对一个局部空间特征进一步调整和精调(58)该UMDVP的值如下：

UMDVP(i，j)＝UMDVP(i，j)+1 对于

UMDVP(i，j)＜0，(var(i，j)＞VAR_THRED)

和

UMDVP (i, j) = UMDVP (i, j) * {(\frac{var (i, j)}{VAR_THRED})}^{3}

其中，var(i，j)是为该局部空间特征定义的偏差，VAR_THRED是一个由经验预先决定的阈值。

7.根据权利要求6的系统，其中，局部空间特征是一个边缘，而依赖于边缘的局部偏差定义为：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

+|pixel(i+1，j-1)-mean|+|pixel(i+1，j+1)-mean|

式中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5}

当像素(i，j)不属于任何前述边缘时，则偏差定义为：

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) - mean |

式中

mean = \frac{(Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q))}{9} .

8.根据权利要求2的系统，其中：

如果计算单元决定所述帧是P和B帧类型之一，则：

如果检测场景变化的模块确定未发生场景变化或条件((Intra-block)and(num_bits≠0))不满足，则对UMDVP的计算值进行精调如下：

a.该计算模块使用运动估计装置为当前块计算一个运动矢量(v’，h’)，

b.如果由(v’，h’)指示的位置不与一个像素共位，则计算单元使用插值装置执行插值以获得在由该运动矢量指示的位置处的UMDVP量度的值，和

c.该UMDVP量度的值设置如下

UMDVP＝UMDVP_prev(v’h’)

其中，UMDVP-prev(v’，h’)是在前一帧中在由(v’，h’)指示的位置处的UMDVP量度的值。

9.根据权利要求8的系统，其中，对一个局部空间特征进一步调整和精调UMDVP的值如下：

UMDVP(i，j)＝UMDVP(i，j)+1 对于

UMDVP(i，j)＜0，(var(i，j)＞VAR_THRED)

和

UMDVP (i, j) = UMDVP (i, j) * {(\frac{var (i, j)}{VAR_THRED})}^{3}

10.根据权利要求9的系统，其中，局部空间特征是一个边缘，依赖于边缘的局部偏差定义为：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

+|pixel(i+1，j-1)-mean|+|pixel(i+1，j+1)-mean|

式中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5}

当像素(i，j)不属于任何前述边缘时，则偏差定义为：

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) - mean |

式中

mean = \frac{(Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q))}{9} .

11.根据权利要求1的系统，其中，增强算法是包括峰化和瞬变改善之一的锐度增强算法。

12.根据权利要求11的系统，其中：

锐度增强算法是峰化算法；和

在对峰化算法的输出施加UMDVP量度之前对它进行如下调整：

UMDVP = \{\begin{matrix} UMDVP \\ UMDVP + 0.5 \\ 1.0 \end{matrix}

当

\begin{matrix} UMDVP \leq 0.3 \\ 0.3 < UMDVP < 0.5 \\ UMDVP &GreaterEqual; 0.5 . \end{matrix}

13.根据权利要求12的系统，其中，通过核化技术控制峰化算法的输出和对核化技术的输出施加UMDVP量度。

14.一种后处理方法，用于改善经解码的数字视频信号的图像质量，所述系统包括：

提供在帧中定义局部空间特征的模块，

提供为该帧估计基于块的运动矢量的装置，

提供检测在该帧中的场景变化的模块，

提供用于当由运动矢量指示的位置与一个像素不共位时对UMDVP量度进行内插的装置；

根据帧类型、局部空间特征、基于块的运动估计和检测到的场景变化，为该帧中的每一像素计算用于数字视频处理(UMDVP)的一元化量度UMDVP；

为每一像素所计算出的UMDVP量度产生一个UMDVP量度映射；

如果该UMDVP量度映射与解码的信号的分辨率不匹配，则缩放该量度映射以便使UMDVP量度映射与经解码的信号的分辨率匹配；和

通过应用UMDVP量度映射来后处理该帧以指导从一组增强算法和伪像削减算法中选择的至少一个质量改善算法进行选择和占用。

15.根据权利要求14的方法，其中，计算步骤进一步包括分析宏块和基于块的编码信息和根据下式计算UMDVP量度的步骤：

其中，UMDVP(i，j)∈[-1，1]是像素数据块的一个像素(i，j)的量度，q_scale是为该宏块的一个量化标尺，num_bits是对一个亮度块编码的比特数，Q_OFFSET是一个由经验预先确定的值。

16.根据权利要求15的方法，进一步包括步骤：

确定所述帧是I帧类型；

如果未检测到场景变化且已确定该帧是I帧类型，则通过估计装置来为当前块估计一个运动矢量(v’，h’)；

如果由运动矢量(v’，h’)指示的位置与一个像素不共位，则通过插值装置来执行插值以获得在由该运动矢量(v’，h’)指示的位置处的UMDVP量度的值，并

使用公式

UMDVP＝R₁×UMDVP+(1-R₁)×UMDVP_prev(v′，h′)

来调整该UMDVP量度的值，

其中，UMDVP_prev(v’，h’)是在前一帧中由(v’，h’)指示的位置处的UMDVP量度的值，R₁是一个预定的加权因子。

17.根据权利要求16的方法，进一步包括步骤：

对一个局部空间特征进一步调整UMDVP的值如下：

UMDVP(i，j)＝UMDVP(i，j)+1 对于

UMDVP(i，j)＜0，(var(i，j)＞VAR_THRED)

和

UMDVP (i, j) = UMDVP (i, j) * {(\frac{var (i, j)}{VAR_THRED})}^{3}

18.根据权利要求17的方法，进一步包括步骤：

如果局部空间特征是一个边缘，则依赖于边缘的局部偏差的计算被定义如下：

当像素(i，j)属于一个水平边缘时，则依赖于边缘的局部偏差被定义为：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

+|pixel(i+1，j-1)-mean|+|pixel(i+1，j+1)-mean|

式中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5}

当像素(i，j)不属于任何前述边缘时，则偏差定义为：

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) - mean |

式中

mean = \frac{(Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q))}{9} .

19.根据权利要求15的方法，进一步包括步骤：

确定所述帧是P或B帧类型之一：

如果未检测到场景变化或条件((Intra-block)and(num_bits≠0))不满足，则通过估计装置为当前块估计一个运动矢量(v’，h’)；

如果由运动矢量(v’，h’)指示的位置与一个像素不共位，则通过插值装置获得在由该运动矢量(v’，h’)指示的位置处的UMDVP量度的值；和

使用公式

UMDVP＝UMDVP_prev(v’，h’)

调整UMDVP量度的值，其中，UMDVP_prev(v’，h’)是在前一帧中在由(v’，h’)指示的位置处的UMDVP量度的值。

20.根据权利要求19的方法，进一步包括步骤：

对一个局部空间特征调整UMDVP的值如下：

UMDVP(i，j)＝UMDVP(i，j)+1 对于

UMDVP(i，j)＜0，(var(i，j)＞VAR_THRED)

和

UMDVP (i, j) = UMDVP (i, j) * {(\frac{var (i, j)}{VAR_THRED})}^{3}

21.根据权利要求20的方法，进一步包括步骤：

如果局部空间特征是一个边缘，则计算依赖于边缘的局部偏差如下：

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i, j + q))}{3}

式中

mean = \frac{(Σ_{q = - 1}^{1} pixel (i + q, j))}{3}

+|pixel(i+1，j-1)-mean|+|pixel(i+1，j+1)-mean|

式中

mean = \frac{(pixel (i - 1, j - 1) + pixel (i - 1, j + 1) + pixel (i, j) + pixel (i + 1, j - 1) + pixel (i + 1, j + 1))}{5}

当像素(i，j)不属于任何前述边缘时，则偏差定义为：

var (i, j) = Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} | pixel (i + p, j + q) - mean |

式中

mean = \frac{(Σ_{p = - 1}^{1} Σ_{q = - 1}^{1} pixel (i + p, j + q))}{9} .

22.根据权利要求14的方法，其中，增强算法是包括峰化和瞬变改善之一的锐度增强算法。

23.根据权利要求22的方法，其中：

锐度增强算法是峰化算法；和

在把峰化算法的输出应用UMDVP量度之前进一步包括对它进行如下调整的步骤：

UMDVP = \{\begin{matrix} UMDVP \\ UMDVP + 0.5 \\ 1.0 \end{matrix}

当

\begin{matrix} UMDVP \leq 0.3 \\ 0.3 < UMDVP < 0.5 \\ UMDVP &GreaterEqual; 0.5 . \end{matrix}

24.根据权利要求23的方法，进一步包括步骤：

通过核化技术控制峰化算法的输出；和

对核化技术的输出施加UMDVP量度。