CN102918862B - 产生质量测量值的方法和设备 - Google Patents

Abstract

一种产生表示多个帧的视频信号的质量的测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数并且利用差分编码使得编码信号包含信号的预测残留的表示；以及解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，该方法包括：a）产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值；b）产生掩蔽测量值，该掩蔽测量值根据第一预定关系依赖于由解码形式的视频信号表示的帧的至少一部分的空间复杂度；以及c）产生组合测量值，该组合测量值根据预定关系依赖于第一测量值和掩蔽测量值两者，其中所述方法还包括：产生根据第一预定关系依赖于信号的预测残留的第一测量值；以及标识画面的第一测量值超过阈值的一个或者更多个部位；其中，掩蔽测量值根据预定关系依赖于所标识的部位的空间复杂度；并且所述方法还包括：产生根据第二预定关系依赖于信号的预测残留的背景测量值；以及标识画面的背景测量值低于阈值的一个或者更多个其它部位，其中，掩蔽测量值根据预定关系依赖于所标识的其它部位的空间复杂度。

Description

产生质量测量值的方法和设备

本发明涉及视频质量测量，具体地，在已经使用压缩算法将视频信号编码的情形下的视频质量测量。

当要把视频信号从一个位置传送到另一个位置时，已知使用编码算法将信号编码或者压缩，从而可以使用比不编码需要的带宽更低的带宽来传送编码信号。在接收时，编码信号被解码，以取得原始信号。在很多编码技术中，进行了二维余弦变换，得到一系列变换系数，这些变换系数的大小被量化。从而能够有效地分配带宽，允许改变量化的粒度也就是说步长大小。

对视频序列的编码和解码的处理可能引入信号失真或者降低信号的质量。测量失真程度的一种方式涉及记录观众对失真视频序列中的可感知失真程度的评价并且对结果取平均以获得平均评价分数(MeanOpinionScore,MOS)。然而，这可能是耗时的处理。结果，可以期望预测观众将在视频序列中感知的质量损失。尽管通过参照原始序列可以获得作为编码/解码和传输处理的结果的视频质量的劣化，但是这种方式经常是不方便的。

在预测式编码中，可以传送实际信号和预测信号之间的差，已知为“预测残留”。更通常的，传送其量化版本。

根据国际专利申请WO2007/066066，提供了产生表示多个帧的视频信号的质量的测量值的方法，该视频信号具有：原始形式；编码形式，其中已经使用了利用可变量化器步长大小从而编码信号具有与其关联的量化步长大小参数的压缩算法将视频信号编码；以及解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，该方法包括以下步骤：a)产生作为所述量化器步长大小参数的函数的第一质量测量值；b)产生作为由解码形式的视频信号表示的帧的至少一部分的空间复杂度的函数的第二质量测量值；以及c)组合第一测量值和第二测量值。

根据国际专利申请WO2010004238，提供了产生表示多个帧的视频信号的质量的测量值的方法，该视频信号具有：原始形式；编码形式，其中已经使用了利用可变量化器步长大小从而编码信号具有与其关联的量化器步长大小参数并且利用差分编码从而编码信号包含信号的预测残留的表示的压缩算法将视频信号编码；以及解码形式，其中编码视频信号已经至少部分地重转换为原始形式，该方法包括：a)产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值；b)产生掩蔽测量值(maskingmeasure)，该掩蔽测量值根据预定关系依赖于由解码形式的视频信号表示的帧的至少一部分的空间复杂度；以及c)产生组合测量值，该组合测量值根据预定关系依赖于第一测量值和掩蔽测量值两者；其中，该方法还包括：产生根据预定关系依赖于信号的预测残留的第二测量值；标识画面中的第二测量值超过阈值的一个或者更多个部位；并且其中，该掩蔽测量值根据预定关系依赖于所标识的部位的空间复杂度。

上述技术使用基于量化器步长大小和平均对比度的测量值来预测画面质量测量值。

还已知在分析中利用源视频序列和劣化的视频序列两者的完全基准视频质量测量工具能够提供针对广播视频的视频质量的高度准确的预测。

像本发明的实施方式这样的不能访问预配对的“基准”序列的无基准技术的设计更具有挑战性。已知的无基准分析技术要求访问编码比特流，无论是在解码器内还是在网络中的其它位置。这种“比特流”分析具有能够容易访问在帧缓冲分析中不可用的、诸如量化器步长大小、运动向量和块统计数据这样的编码参数的优点。比特流分析可以包括没有逆变换或者运动预测宏块重构的计算量少的解码参数分析以及对视频序列的完全解码。当被布置在完全视频解码器中时，比特流分析可以与帧缓冲技术结合使用。

诸如由A.G.Davis,D.Bayart,D.S.Hands进行的题目为“HybridNo-referenceVideoQualityPrediction”BMSB2009,13-15May2009并且在WO2007/066066中公布的这样的较早前工作提出了一种在H.264/AVC解码器内操作的无基准视频质量预测技术，其在预测主观视频质量上性能好于完全基准PSNR测量。该技术将来自编码参数的平均量化器步长大小AvQP的测量值和从解码图像序列提取的像素差噪声掩蔽测量值CS组合。当在多个H.264编码的序列上测量时，得到的基于解码器的“混合无基准模型”被示出在测量到的主观分数和估计的主观分数之间实现了高的相关性。

在WO2010/004238中，作为对画面平均测量值CS的改进，引入了噪声掩蔽的空间敏感测量值CWS。CWS测量值是在包括画面的最高活动性和最高对比度区域的部位K4上计算的。高活动性被分配给每一个画面中的具有最高比例的非零量化变换系数的区域，并且这些区域被假定难以以高的细节程度来预测。构成部位K4的画面中的高活动性和高对比度区域吸引视觉注意力并且在质量的感知上是重要的。因此使用这些区域来计算噪声掩蔽测量值CWS。

本发明寻求改进在这些已知技术提供的视频解码器内对编码广播视频序列的质量的估计。

发明内容

本发明的方面和实施方式如以下并且在所附的权利要求中阐述，并且可以按照本领域技术人员显见的任意方式彼此组合。在此对一个或者更多个实施方式的引用不必然引用相同实施方式。

本发明的第一方面寻求提供一种产生针对解码形式的视频信号的质量测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码从而编码信号包含信号的预测残留的表示；以及所述解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，该方法包括：产生根据预定关系依赖于所述量化器步长大小参数的质量测量值；产生多个质量掩蔽测量值，每一个掩蔽测量值依赖于通过对视频信号解码而形成的画面中存在的一个或者更多个类型的部位的空间复杂度，其中，一种类型的部位包括所述视频序列中的画面中的预测残留测量值满足第一条件的活动部位，并且至少一种其它类型的部位包括所述视频序列中的画面中的所述预测残留测量值满足另一个条件的部位；以及组合所述质量测量值和所述多个质量掩蔽测量值以产生针对解码形式的所述视频信号的组合质量测量值。

所述第一条件可以包括所述预测残留测量值超过针对画面的活动部位的预测残留阈值。量化器步长大小参数在此是用于对画面编码的量化器步长大小。

至少一个所述其它类型的部位可以包括同一画面的高对比度部位。其它条件可以包括：预测残留测量值不超过针对高对比度部位的所述预测残留阈值；以及空间复杂度测量值超过针对高对比度部位的空间复杂度阈值。

所述方法可以还包括确定针对每一个类型的部位的亮度测量值。

针对每一个类型的部位的所述多个质量掩蔽测量值的每一个可以通过依赖于各个类型的部位的亮度测量值或者不同部位之间的亮度差的加权而组合。

至少一个所述其它类型的部位包括所述画面的背景部位，并且其中，所述其它条件包括：

所述预测残留测量值不超过针对背景部位的所述预测残留阈值；以及

所述空间复杂度测量值不超过针对背景区域的所述空间复杂度阈值。

针对高对比度部位和/或背景部位的预测残留阈值可以是：

大于针对活动部位的值的值；

等于针对活动部位的值的值；

小于针对活动部位的值的值。

这使得部位能够被区分(从而宏块属于仅一个部位)或者交叠(宏块可以属于一个以上部位)。

针对背景部位的空间复杂度阈值可以是：大于针对高对比度部位的值的值；等于针对高对比度部位的值的值；小于针对高对比度部位的值的值。

当组合所述质量测量值和针对每一个类型的部位的所述多个质量掩蔽测量值中的每一个时，依赖于部位类型，加权函数可以被应用于每一个质量掩蔽测量值。

针对所述至少一个类型的部位的加权函数可以依赖于亮度测量值或者依赖于掩蔽测量值被加权组合的不同类型的部位之间的亮度差。

本发明的另一个方面寻求提供一种产生表示多个帧的视频信号的质量测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码使得编码信号包含信号的预测残留的表示；以及解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，该方法包括：产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值；产生掩蔽测量值，该掩蔽测量值根据第一预定关系依赖于由解码形式的视频信号表示的帧的至少一部分的空间复杂度；以及产生组合测量值，该组合测量值根据预定关系依赖于第一质量测量值和掩蔽测量值两者，其中，所述方法的特征在于所述掩蔽测量值根据预定关系依赖于一个或者更多个活动部位的所述空间复杂度并且根据预定关系依赖于一个或者更多个背景部位的所述空间复杂度，其中，通过以下来标识所述一个或者更多个活动部位：产生根据第一预定关系依赖于信号的预测残留的第一测量值；以及将第一测量值满足条件的一个或者更多个部位标识为一个或者更多个活动部位；并且其中，通过以下来标识所述一个或者更多个背景部位：产生根据第二预定关系依赖于信号的预测残留的第二测量值；以及，将所述画面中的第二测量值满足条件的一个或者更多个背景部位标识为一个或者更多个背景部位。本发明的另一个方面寻求提供一种用于产生针对解码形式的视频信号的多个帧的质量测量值的设备，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号的原始形式编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码从而编码信号包含信号的预测残留的表示；以及所述解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，所述设备包括：用于产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值的装置；用于确定预测残留超过阈值条件的所述视频序列的画面中的一个或者更多个活动部位的装置；用于确定所述画面的任何剩余部分内的其它类型的部位的装置；用于产生依赖于每一个所述活动部位和每一个所确定的类型的部位的空间复杂度的掩蔽测量值的装置；以及用于通过根据预定关系组合所述质量测量值和所述掩蔽测量值来产生组合质量测量值的装置。

所述用于确定掩蔽测量值的装置可以确定依赖于针对形成各个部位的区域的像素的像素差对比度测量值的、针对每一个所述部位的空间复杂度掩蔽测量值。

所述用于确定掩蔽测量值的装置可以包括用于使用针对每一个类型的确定的部位的加权函数确定和组合针对每一个确定的部位的空间复杂度掩蔽测量值的装置。

所述设备可以还包括：用于确定针对每一个所述画面的亮度测量值的装置。

针对所述画面的各个部位的加权函数可以依赖于所述各个部位内的亮度。

应用于掩蔽测量值的加权函数可以是非线性函数。加权函数可以以非线性方式依赖于各个部位的面积和/或依赖于所述部位的亮度属性。加权可以应用阈值从而有限面积的部位可以具有零加权。

本发明的另一个方面寻求提供一种产生表示多个帧的视频信号的质量测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码从而编码信号包含信号的预测残留的表示；以及解码形式，其中已经至少部分将编码视频信号地重转换为原始形式，该方法包括：

a)产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值；

b)产生掩蔽测量值，该掩蔽测量值根据第一预定关系依赖于由解码形式的视频信号表示的帧的至少一部分的空间复杂度；以及

c)产生组合测量值，该组合测量值根据预定关系依赖于第一质量测量值和掩蔽测量值两者，

其中，所述方法还包括：

产生根据第一预定关系依赖于信号的预测残留的第一测量值；以及

标识第一测量值满足条件的一个或者更多个活动部位；

并且所述方法还包括：

产生根据第二预定关系依赖于信号的预测残留的第二测量值；以及

标识画面中的第二测量值满足条件的一个或者更多个背景部位；

其中，掩蔽测量值根据预定关系依赖于所标识的活动部位的空间复杂度，并且其中，掩蔽测量值还根据预定关系依赖于所标识的背景部位的空间复杂度。

所述测量值可以包括时域确定分量，并且其中，从到所述画面部位的时域变化确定所述画面中的第一测量值满足条件的所述部位。

通过所述第二测量值满足所述条件而标识的画面中的所述一个或者更多个背景部位中的至少一个可以包括比第一测量值满足所述各个条件的画面的所述一个或者更多个部位中的至少一个的面积更大的面积。

所述预测残留的表示可以是像素域预测残留的二维变换的系数，并且可以从所述系数计算出第一测量值和第二测量值中的一个或者两者。所述变换可以是离散余弦变换。

所述测量值可以是非零变换系数的数量的计数。

所述测量值可以依赖于所述变换系数的幅度。

所述测量值可以是解码的系数的能量的和的函数。

第一测量值要满足的条件可以包括第一测量值超过阈值，并且其中，所述掩蔽测量值包括以下部位的空间复杂度的函数：(a)所述画面中的所述第一测量值超过阈值的标识部位以及(b)所述画面中的第一测量值不超过所述阈值但是所述空间复杂度超过第二阈值的部位或者多个部位。

所述第二阈值可以动态地变化，是针对所述被标识部位计算的空间复杂度的函数。

所述第二阈值可以等于针对被标识的部位计算的空间复杂度的平均值。

可以仅仅从被导出了掩蔽测量值的画面的部分导出所述第一质量测量值。

可以通过确定帧中多个位置处的局部对比度测量值来测量所述空间复杂度。

每一个帧可以包括多个像素，并且其中，对于给定帧的至少一些像素，对像素的附近的相邻部位进行所述比较函数以获得相对于所述像素的比较值。

在多个帧上对质量测量值和/或第一测量值和/或第二测量值取平均。

本发明的另一个方面寻求提供一种包括用于视频序列的解码器并且还包括用于进行根据方法方面所述的方法的一个或者更多个步骤的装置的设备。

因此，本发明的一个实施方式寻求提供一种产生针对视频序列的PMOS的方法，其中，非线性加权掩蔽函数被应用于视频序列的每一个画面中的高预测残留活动部位，并且其中，其它加权函数被应用于也被示出提供掩蔽效果的画面的一个或者更多个其它部位。例如，在一个实施方式中，确定将每一个画面的(具有低预测残留活动性和低程度的空间复杂度)背景部位的贡献考虑在内的掩蔽测量值。在另一个实施方式中，根据亮度强度的测量值对高对比度的(具有高程度的空间复杂度)部位的贡献进行加权。当计算针对视频序列的PMOS分数时，本发明的一些实施方式通过将视频序列中的每一个画面部位中的亮度强度的测量值考虑在内，对本发明的背景部位和高对比度部位加权。

下面将参照附图仅仅通过示例描述本发明的实施方式，其中：

图1示意地示出指示时域活动性、细节和非细节背景的部位的三个帧的系列；

图2示出可以被估计视频序列的质量的基本编码/解码系统；

图3示出如何针对画面中的像素计算水平对比度测量值；

图3示出如何针对画面中的像素计算竖直对比度测量值；

图5以处理块的形式示出现有技术已知的用于估计视频序列的质量的设备；

图6a、图6b、图6c示出帧的序列，其中在该序列的每一个帧上，示出了指示高活动性的区域、非高活动性但是高细节的区域以及低活动性和低活动性背景的区域的宏块。

图7a示出针对九个训练视频序列，MMOS如何相对于平均量化器步长大小(AvQP)改变；

图7b示出针对九个测试视频序列，MMOS如何相对于平均量化器步长大小(AvQP)改变；

图7c示出针对图7a所示的九个视频序列，序列平均像素差对比度测量值CS如何相对于AvQP改变；

图7d示出针对图7a所示的九个视频序列，基于高DCT活动性的部位和低DCT活动性但是高对比度的部位的序列平均像素差加权对比度测量值CSW如何相对于AvQP改变；

图8示出当确定画面部位的对比度测量值时选择背景区域以将K5(n)包括在内的设备的框图；

图9以框功能形式示意地示出根据本发明的实施方式如何能够产生CWN(n)；

图10以框功能形式示意地示出亮度自适应偏移量如何能够用于产生CWN(n)；

图11a和图11b示出本发明的实施方式，其中使用计算出的PMOS来控制由根据本发明的解码器提供的后滤波；

图12a和图12b示出根据本发明的实施方式，针对多个饱和值(t1)和偏移量(t2)值，fw7如何相对于CW7％改变；以及

图13a、图13b、图13c和图13d示意地示出针对训练序列和测试序列两者针对PMOS和PMOS的结果的相关性。

下面将参照附图描述本发明的最佳实施方式。在以下本发明的优选实施方式的描述中，本领域技术人员将理解对以下描述的本发明的特征修改和功能等同，并且在本发明的特定特征这些特征被包括在内并且作为本发明的一部分对于本领域技术人员是明显的情况下，为了简洁和清楚可以从描述中省略这些特定特征。

以下的详细描述尝试示出通过将活动和高对比度部位K4的面积、位置和对比度考虑在内并且也将视频序列的“背景”部位K5的面积和对比度考虑在内，进一步改进了部位测量值CWS的使用。使用朝向针对具有低比例的活动区域的序列的“背景”测量值增大加权的非线性加权函数CWSN将“活动”测量值和“背景”测量值组合。

首先考虑使用平均量化器步长大小AvQP来估计主观质量。其次，回顾噪声掩蔽测量值CS和CWS。接着，描述针对“活动”部位和“背景”部位的非线性加权函数CWSN。最终，针对围绕着用于H.264编码广播格式序列的参数AvQP、CS、CWS和CWSN设计的模型，提出质量预测结果。

附图中的图1示出视频序列中的三个连续帧1a、1b和1c的最简化集合。每一个画面示出低活动性和低背景细节的背景部位2(在图1a、图1b和图1c中以白色/空白示出)、高活动性的部位4(在图1a、图1b和图1c中以笑脸的运动逐帧示出)以及活动性不太高但是高细节的区域6(在图1a、图1b和图1c中作为“砖块”阴影区域示出)。

附图中的图2示意地示出通常的视频编码/解码系统，该视频编码/解码系统包括被设置用于通过去除冗余数据将来自数据源10的视频序列转换为占据较少比特的压缩形式的视频压缩器或者编码器12。编码器12使用适当的视频压缩技术将数字视频序列压紧到更少数量的比特以能够有效地存储和传输。从编码器输出的电子信号可以被存储在固定存储介质中，或者假定它是为了传输而适当编码的，在通信网络上作为文件或者比特流传送。解码器14将压缩视频序列解压缩为适于在适当装置(未示出)上播放的格式。

如图2示意地示出，编码器12具有包括对接收数据的预测、变换和编码的功能块，并且解码器具有包括对接收数据解码、进行逆变换并且最终重构视频帧序列的功能块。当被观看时，重构的视频帧序列将被大多数观众认为具有特定画面/声音等质量。

视频帧之间的变化来自于对象运动、相机运动、被揭露的对象和照明变化。运动导致帧之间的像素运动以及被发送到熵编码器的时域模型参数的集合(例如，用于表示时域模型如何补偿帧之间的运动的运动向量)。已知多种技术用于估计运动并且补偿运动，包括基于块的技术，其为基于帧内的像素的“块”。小的块大小涉及更大的复杂度(以确定哪些像素将形成“块”)，但是通常造成具有较小能量的残留(即，由于针对该块的运动预测是更准确的)，但是帧又要求运动向量的更大的集合。H.264视频编码标准例如使用自适应运动补偿大小，其将块大小基本上适应画面特征，从而通常大块用于帧的平坦、同质部位而小的块被设置在高细节和复杂运动的区域中。

如图2所示，视频解码器包括缓冲器20、通过首先将经编码的空间模型参数和时域模型参数(经编码的残留系数和运动向量参数)解码而从压缩比特流重构视频帧的熵解码器22。空间模型接着被解码以使得能够重构残留帧的版本。解码器接着使用时域模型参数和一个或者更多个先前解码的帧来创建对当前帧的预测，接着通过将残留帧添加到预测来重构实际当前帧。

在广播系统中，视频序列通常被编码以便被多个解码器播放，这些解码器可以具有不同的解码特性或者被设置为依赖于它们提供输出的显示器特性不同地解码。视频序列被按照支持以多个感知视频质量级别进行显示的格式编码，并且每一个装置必须根据其显示器特性确定如何最佳地将接收的视频序列解码。

由于高视频压缩技术全都是有损的，解压缩的画面质量将不同于压缩之前的质量，并且解压缩画面的感知质量会不同，因为人眼对可见电磁波谱的不同波长的光做出不同的响应。例如，对于很多人而言，眼睛的适光响应(其区分不同频率的光的能力，即，我们的色视觉)与暗视响应(眼睛的区分光的强度的能力，即，作为波长的函数特定频率(颜色)多亮或者多暗)通常不同地变化。一般地，确定用于对视频序列解码的最适当的技术在一定程度上依赖于该视频包含的图像序列的类型。例如，人眼响应对图像的不同部分之间的对比度和图像的背景部分和前景部分中的运动程度敏感。

一种使解码器能够确定接收视频序列的质量的方法是在视频序列中设置基准帧。基准帧被设置以使得能够测量视频质量，并且在分析中利用源视频序列和退化视频序列两者的完全基准视频质量测量工具已经示出能够高度准确地预测广播视频的视频质量(例如参见可从wvw.vqeq.org下载的FinalreportfromtheVideoQualityExpertsGroupontheValidationofObjectiveModelsofVideoQualityAssessment,Phase2以及ITU-T,J.144,“Objectiveperceptualvideoqualitymeasurementtechniquesfordigitalcabletelevisioninthepresenceofafullreference”)。

本领域已知一种在H.264/AVC解码器中操作并且将来自编码参数的平均量化器步长大小(“AvQP”)的测量值和从解码图像序列提取的用于测量像素对比度的像素差噪声掩蔽测量值“CS”组合的无基准视频质量预测技术。CS，像素差噪声掩蔽测量值提供画面平均的画面质量预测，并且可以通过使用在包括画面的最高活动性区域和最高对比度区域两者的部位上计算的噪声掩蔽的空间敏感测量值“CWS”来改进该预测。CWS测量值是基于确定画面的哪些区域具有最高比例的非零量化变换系数(“高活动性”)。尽管通过组合高活动性区域和画面中的高对比度的区域可能难以以高的细节程度预测高活动性区域，但是视觉上吸引人并且在视频质量的感知上重要的画面的部位可以被确定。

以下描述的本发明的实施方式涉及无基准的、基于解码器的视频质量估测工具。用于该工具的算法可以在视频解码器中操作，使用针对每一个解码宏块的量化器步长大小参数(通常是包括在进入的编码视频流中的变量)和来自每一个解码画面的像素强度值，以对解码视频的主观质量进行估计。

此处所用的术语“画面”是指被解码以便在视频序列中以给定时间间隔播放的单个静止图像。在以下的实施方式中，每一个静止图像通常被认为是由要以给定时间间隔播放的解码“帧”形成，除非明确相反陈述。然而，本领域技术人员将理解的是帧可以以非交织形式来提供，或者由可以从其重构画面的两个(或者可能更多个)交织的场形成。因而，在最广泛的意义上，每一个静止图像可以包括由在不同时间播放的场的交织和/或交叠的宏块形成的帧。本领域技术人员将理解尽管此处描述的实施方式主要解决非交织视频，但是通过适当地注意形成相关的交织格式的每一个画面部位的宏块的不同构造，这些实施方式可以容易地适应于解决交织视频的视频质量。

针对形成画面的每一个帧，在解码像素上进行滑动窗口平均像素强度差(像素对比度测量值)计算，并且将得到的针对每一个画面图像的平均像素对比度测量值(CWS)用作对视频的噪声掩蔽属性的测量值。接着作为CWS参数和平均步长大小的函数进行质量估计。这个函数是通过基于训练数据对特征性的解码序列和先前获得的针对序列的主观分数的多个回归分析预先确定的。下面将示出使用一方面步长大小和另一个方面滑动窗口平均像素强度差测量值的组合来估计复杂度，以提供对主观质量的优异的估计。

在原理上，所使用的测量处理通常可应用于已经使用利用变换编码并且具有可变的量化器步长大小的压缩技术编码的视频信号。然而要描述的版本是设计用于根据H.262和H.264标准编码的信号。(尽管还应用于基于OCT标准的其它编解码器，诸如H.261、H.263、MPEG-2(基于帧的)等)。

根据本发明的测量方法是非侵入或者“无基准”型——也就是说，不需要对原始信号的副本的访问权。该方法设计为在适当的解码器内使用，因为其要求对来自编码比特流的参数和解码视频画面两者的访问权，尽管如果设置了与解码器的一个或者更多个适当接口以允许访问参数和从比特流解码的画面，则可以另选地使用附属装置实现该测量方法。失真掩蔽是影响对编码视频序列内的失真的感知的重要参数。因为人体感知机制不能够区分相同频域、时域或者空间域位置内的信号和噪声分量，所以发生这种掩蔽。由于有效地分配比特对于编码是重要的，所以像素差噪声掩蔽测量值CS非常有用。

图3和图4例示用于确定对比度测量值CS的已知技术，针对位于分别在水平方向上X个像素和在竖直方向上Y个像素的大小的画面内的位置(x,y)处的像素p(x,y)进行计算，如在WO2007/066066中描述的。如图3所示，对由阴影部位示出的像素p(x,y)计算对比度测量值。相等大小的相邻区域被选择(其中一个包括阴影像素)。由阴影像素所处的行的(优选地连续)像素的集合形成每一个区域。每一个区域中的像素强度被取平均，并且接着根据以下算式(2)计算平均值中的绝对差，对比度测量是这个差的值。

按照类似方式计算竖直对比度测量值，如图4所示。在此，像素的上部集合和像素的下部集合被选择。每一个所选择的像素位于相同列中，上部集合和下部集合之间的边界旁边的阴影像素。上部集合和下部集合中的像素的强度被取平均，并且每一个集合的平均强度中的差接着被评估，此差的绝对值是以下算式(3)阐述的竖直对比度测量值，也就是说，竖直方向上的对比度的测量值。在本示例中，阴影像素被包括在下部集合中。然而，与对比度测量值相关联的像素的位置是任意的，只要其在被比较的像素集合之间共享的边界附近即可。

为了获得水平对比度测量值，长度H1和H2的行部分被比较，而为了获得竖直对比度测量值，长度V1和V2的列部分被比较(长度H1、H2以及V1、V2可以是但是不必须是相同的，如图3和图4所示，H1＝H2＝H并且V1＝V2＝V)。对比度测量值与其位置一方面邻近行部分之间的公共边界并且另一方面邻近列部分之间的公共边界的像素相关联。计算出的水平对比度测量值和竖直对比度测量值接着被比较，并且两个值中的较大的一个(如在算式(4)中阐述的称为水平—竖直测量值)与阴影像素相关联，并且被存储在存储器中。

针对画面中的每一个像素(分别在距画面的竖直边缘和水平边缘的竖直距离V1、V2和水平距离H1、H2内)重复该过程，因而对像素提供窗口大小为H1、H2、V1或V2的滑动窗口分析。针对画面(帧)中的每一个像素的水平—竖直测量值接着被取平均并且与每一个画面相关联的整个测量值接着在多个画面上被取平均以获得序列平均测量值。在之上整个测量值被平均的画面的数量将依赖于视频序列的本质特征和场景变化之间的时间，并且可以长达数秒。按此方式仅仅需要分析画面的一部分，如将在以下更详细描述的。

通过测量画面中的不同位置处的对比度并且取平均，获得画面的复杂度的简化测量值。因为画面中的复杂度可以掩蔽失真，并且因而造成观察者相信针对给定失真，画面有更好的质量，所以画面中的复杂度可以一部分被用于预测观众将与视频信号关联的主观质量程度。

关于阴影像素的各个区域的宽度或者高度涉及观察者将注意到复杂度的细节的程度。因而，如果图像要被从远处观看，则区域将被选择为比想象到观众将更接近画面的情形更大。由于一般地，离开画面的使观众舒适的距离依赖于画面的大小，所以大小还依赖于像素大小和像素尺寸(更大的显示器通常具有更大的像素而不是更多的像素，尽管对于给定的像素密度，显示器大小也是因素)。通常，期望H1、H2以及V1、V2将均在各个画面尺寸的0.5％到2％之间。例如，水平值可以是4*100/720＝0.56％，其中水平方向将有720个像素，并且平均每一个集合包含4个像素，并且在竖直方向上，4*100/576＝0.69％，其中在竖直方向上将有576个像素。

因此，如图3和图4所示，根据下式计算水平像素差对比度测量值C_h

$C_h(n,x,y)=\mathrm{abs}(\left((1/H1)\underset{j=0}{\overset{H1-1}{\mathrm{\Σ}}}d(n,x-j,y)\right)-\left((1/H2)\underset{j=0}{\overset{H2-1}{\mathrm{\Σ}}}d(n,x+1+j,y)\right))$

x＝H1-1..X-H2-1(1)

y＝0..Y-1

其中d(n,x,y)是来自X个水平(x＝0..X-1)像素和Y个竖直(y＝0..Y-1)像素解码序列d的N个帧中第n个帧的像素强度值(0..255)，并且根据下式计算竖直像素对比度测量值

$C_v(n,x,y)=\mathrm{abs}(\left((1/V1)\underset{j=0}{\overset{V1-1}{\mathrm{\Σ}}}d(n,x,y-j)\right)-\left((1/V2)\underset{j=0}{\overset{V2-1}{\mathrm{\Σ}}}d(n,x,y+1+j)\right))$

x＝0..X-1(2)

y＝V1-1..Y-V2-1

其中H1和H2是用于水平像素分析的窗口长度，并且V1和V2是用于竖直像素分析的窗口。

C_h和C_v接着被组合以给出水平—竖直测量C_hv，

C_hv(n，x，y)＝max(C_h(n，x，y)，C_v(n，x，y))

x＝H1-1..X-H2-1(3)

y＝V1-1..Y-V2-1

图5在功能上示出WO2007/066066如何使用这些对比度测量值来提供感知平均评价分数质量测量值(PMOS)。图5对应于WO2007/066066的图1，其内容因此通过引用并入，并且提供解码器部件的功能框图，其提供从针对高活动性区域计算的对比度测量值导出的PMOS。

在图5所示的设备中，进入的信号在输入端30被接收并且被传递到视频解码器32，视频解码器32解码并且输出以下针对每一个画面的参数：

解码的画面(D)。

以像素为单位的水平解码画面大小(X)

以像素为单位的竖直解码画面大小(Y)

以宏块为单位的水平解码画面(M_x)

以宏块为单位的竖直解码画面大小(M_y)

量化器步长大小参数的集合(Q)

DCT系数(R)

在图5的设备中示出两个处理路径，其用于计算画面平均量化器步长大小信号AvQstep(n)(处理块34)和画面平均对比度测量值CW(n)(处理块36)。处理块38对信号AvQstep(n)和CW(n)取时间平均以分别给出信号AvQstep和CWS。最后，在处理块40中这些信号被组合以给出针对解码视频序列D的主观质量的估计的PMOS。

处理块34到40可以由单个硬件元件实现，但是更方便的实现方式是使用适当编程的处理器进行全部这些阶段。在图5中还示出处理块42、44和46，它们集体地使得能够从由视频解码器32输出的经滤波的逆变换系数(DCT系数)选择高活动性的区域。

与图5相比，本发明的一个或者更多个实施方式通过将视频序列的亮度强度的测量值考虑在内来确定PMOS。

使用考虑亮度强度的技术获得的结果指示该技术提供提高的自主PMOS分数，即，依赖于亮度强度测量值而产生的PMOS使得能够更好地预测观看相同视频序列的人类观众可感知的视频质量。

尽管诸如MPEG4这样的一些视频编码标准对有限的亮度范围编码，但是已知其它视频编码标准，其中使用了高动态范围视频编码技术，可以将亮度的完整范围考虑在内(尽管为了实际目的限于人眼能够感知的范围)。

图6a到图6c示出形成视频序列的静止图像的系列中的宏块显示不同特征，当确定图像质量时这些特征被考虑在内。在图6a到图6c中，示出了静止图像或者画面的序列，其中在被裁剪的关注焦点部位内(包括形成以下更详细描述的部位K6的宏块)，各个画面部位被标识。这些静止图像将形成在视频序列中显示的画面。根据本发明的实施方式的产生PMOS的估计的方法首先通过分析每一画面接着在形成视频的画面的序列上分析，来计算每一个不同类型的画面部位如何影响视频序列的整体PMOS。该方法确定画面中存在的宏块的编码方式并且估计编码处理中丢失的信息的量将如何影响所显示的解码画面的质量。该质量测量依赖于用于对原始画面编码的量化器步长大小，并且提供将在画面中当被观看时可被注意地存在的噪声量的估计。该方法还通过标识一个或者更多个不同类型的画面部位，每一个部位具有能够影响感知画面质量的显示特征的不同集合，来估计显示的每一个画面的内容以及在视频序列中逐个画面的内容的任何变化如何影响由于编码量化损耗产生的噪声引起的任何质量下降的可注意性。在画面中标识的提供整体可感知画面质量(和感知的视频质量)的每一个不同类型的部位的掩蔽的测量值被计算。本发明的一个实施方式从每一个画面中的背景细节和空间复杂度的级别以及视频序列中的活动性的级别来标识区域的类型，因此它们的相对效果可以被分析。

示出高活动性的宏块(标记为1)、无高活动性但是高细节的宏块(标记为2)和低细节和低活动性背景(标记为3)的视频序列的示例在图6a到图6c中示出。

在每一个画面中形成高活动性部位的标记为1的宏块(还标记为宏块K1_∧K6)包括部位K1(作为具有依赖于大于或者等于阈值的编码预测残留的预测残留测量值的宏块)和部位K6(被裁剪的关注焦点区域)两者中的宏块。在每一个画面中，用2标记的宏块(还标记为宏块K3_∧K6)包括所谓的高对比度宏块，针对该高对比度宏块依赖于形成每一个宏块的块或者像素的空间复杂度的空间复杂度掩蔽测量值高于阈值，并且还在被裁剪的画面部位K6中。以下更详细描述宏块K3_∧K6。用3标记的每一个宏块包括背景部位K5中的宏块(以下更详细描述)，针对该宏块依赖于宏块的编码预测残留的预测残留测量值满足或者低于(适当地)当确定部位被认为具有高级别的预测残留活动性时的阈值。

用于训练和测试该技术的视频数据库由十八个不同的8秒序列组成，全部序列都是625行广播格式。序列中的六个是来自VQEG阶段1数据库[9]并且剩余是源自其它。由于质量参数将基于每一个序列的持续时间上的平均，重要的是选择与运动和细节的属性一致的内容。以下的表1示出序列的细节：

训练序列	特征	测试序列	特征
				主持人	局部细节和运动	田径	快速要射和局部运动
舞蹈	快速变焦、高运动、低细节	足球1	快速变焦和摇摄、局部细节和运动
				足球2	快速搖摄、局部细节和运动	新闻	慢速变焦、局部细节和运动
船只	慢速搖摄、水、细节	天气	慢速运动、高纹理
				肥皂剧	慢速搖摄、高对比度、运动	油炸食品	快速搖摄、胶片
巴塞罗那	饱和颜色、慢速变焦	摇滚	运动、对比度变化
				独木舟	水运动、搖摄、细节	体育	薄细节、运动
竖琴	慢速变焦、薄细节	日历	高细节、慢速搖摄
				风景	慢速运动、细节	橄榄球	运动、快速搖摄

表1训练序列和测试序列

表2基于1为坏并且5为优异的尺度的针对训练序列的主观MMOS分数

全部训练序列和测试序列都使用H.264编码器编码，针对每一个序列设定相同编码器选项。使用I、P、B、P、B、P的帧模式，并且速率控制被禁止并且量化参数QP被固定。量化器步长大小参数接着在每一个源文件的测试之间递增。用于描述帧模式中的帧的术语是本领域已知的，I帧是仅空间编码，P帧是基于先前的I帧和P帧的正向预测，并且B帧是基于从先前I或帧中P帧的正向预测和从后续的I帧或者P帧的反向预测来编码的。

针对训练集合和测试集合两者使用12个主体进行正式单刺激主观测试。使用5级别绝对分类等级(ACR)从1(坏)到5(优异)的尺度获得主观分数。将平均意见分数取平均以获得平均MOS提供如以上所示的表2所示(训练集合)和以下所示的表3(测试集合)的MMOS结果。

表3基于1为坏并且5为优异的尺度的针对测试序列的主观分数

从参考文件[1]、[2]和[3]已知，针对H.264编码视频序列，可以从平均量化器步长大小AvQP的测量值和像素差噪声掩蔽测量值CS的组合进行如被人类观众感知的解码视频序列的主观质量的准确预测。参照参考文件[4]，通过使用“活动”部位对比度测量值CWS提高预测准确性。

此处描述的本发明的实施方式通过使用“活动”部位的非线性加权与“背景”部位的非线性加权的组合进一步精细化已知技术。在这一章节中，将回顾测量值AvQP、CS和CWS，并且描述新组合的部位非线性加权函数CWSN的实现方式和功能，其中包括“活动”部位和“背景”部位的非线性加权。

参照附图中的图7，对于视频解码器32进行的处理的处理块保留了图5使用的标号方案，并且示出了涉及选择背景区域的附加处理块48，并且图5的处理块36被图7的处理块50替代，其附加地接收由处理块36输出的数据。

对于经H.264编码的视频，用于对变换系数编码的线性量化器的量化器参数QP(定义间隔QSTEP)被包括在编码比特流中并且当编码比特流被解码器32解码时被提取以便分析。参数QP用作预定义的间隔的表的索引，其中QP中每递增6，QSTEP的大小加倍(参见参考文件[5]和[10])。

对于来自集体地形成视频序列中的完整“画面”或者等同的“静止图像”的N个帧的集合的帧n，可以通过根据算式(4)针对帧n中的每一个宏块k分析量化器值QP(n,k)来计算针对每一个帧n的平均步长大小测量值AvQP(n)。

$\mathrm{AvQP}\left(n\right)=\frac{1}{\mathrm{Ktot}}\underset{k\∈K}{\mathrm{\Σ}}\mathrm{QP}(n,k),n\∈N---\left(4\right)$

K(n)定义要进行分析的帧n中的宏块的集合并且Ktot等于此集合中的宏块的数量。因此，针对每一个帧“n”，平均量化器步长大小测量值AvQP(n)是针对每一个宏块k的量化器值QP(n,k)的和除以宏块K(n)的总数。

通过在形成序列的总共N个帧上相加，获得AvQP的序列平均值。因此，针对Ntot个帧的视频序列的平均量化器参数的序列平均测量值是：

$\mathrm{AvQP}=\frac{1}{\mathrm{Ntot}}\underset{n\∈N}{\mathrm{\Σ}}\mathrm{AvQP}\left(n\right)---\left(5\right)$

其中Ntot是帧的集合N内的帧的总数。

为了获得平均量化器参数步长大小的序列平均测量值影响视频序列的感知质量的方式的广泛的主观理解，针对图7a所示的九个训练视频序列和图7b所示的九个测试视频序列的系列，相对于平均MOS分数绘出AvQP。在图7a和图7b中，针对在训练集合上的每一个测试，对于P宏块和I宏块，QP被固定在14到42的一个值，对于B宏块，比其大了2。图7a和图7b简单地例示AvQP是主观分数MMOS的良好的基础预测器并且通过以上在表1、表2和表3所示的序列的内容类型，存在相当量的一致分离。

已知失真掩蔽是影响对编码视频序列内的失真的感知的重要参数。因为人体感知机制不能够区分相同频域、时域或者空间域位置内的信号和噪声分量，所以发生这种掩蔽。这种考虑在视频编码器的设计中很重要，其中比特的有效分配是至关重要的。参考文件[11]、[12]和[13]描述了在变换域和像素域中在这个领域中的研究。在仅仅确定针对每一个画面图像CS的序列平均像素差对比度测量值的情况下，则仅仅考虑像素域。参考文件[1]描述了使用针对帧n根据以上的算式(1)和(2)计算的像素差对比度测量值C_h和C_v来确定CS，其中H1＝H2＝H并且V1＝V2＝V，其中H是用于水平像素分析的窗口长度并且V是用于竖直像素分析的窗口长度，并且X和Y分别是水平和竖直画面分析尺寸。C_h和C_v的组合给出水平-竖直测量值C_hv，其用于根据以下计算针对帧的整体像素差测量值CF。

$\mathrm{CF}\left(n\right)=(1/(X+1/2H)(Y+1-2V))\underset{y=V-1}{\overset{Y-V-1}{\mathrm{\Σ}}}\underset{x=H-1}{\overset{X-H-1}{\mathrm{\Σ}}}{C}_{\mathrm{hv}}(n,x,y),n\∈N---\left(6\right)$

其提供针对Ntot个帧的序列的序列平均像素对比度测量值CS：

$\mathrm{CS}=(1/\mathrm{Ntot})\underset{n\∈N}{\mathrm{\Σ}}\mathrm{CF}\left(n\right)---\left(7\right)$

图7c示出相对于AQP绘出的使用H＝4和V＝2计算的针对九个解码训练序列中的每一个计算的序列平均像素差对比度测量值CS。这指示了序列平均像素差对比度测量值CS涉及序列的噪声掩蔽属性，其中高CS暗示高标记因此对于给定的量化器步长大小更高的MMOS。通过将其包括在以下描述的多回归分析中测试在无基准质量估计中使用CS作为空间复杂度测量值。

序列平均对比度测量值CS利用水平像素差测量值和竖直像素差测量值的整个图像平均值CF。这种测量值在包含大面积的良好编码的平坦区域的图像上会有困难，因为这种区域将潜在地几乎没有视觉冲击但是显著影响CF的大小并且接着影响CS。

通常的混合视频编码算法，诸如H.262、H.263和H.264，包括用于预测像素块、变换得到的差块、量化经变换的系数以及对经量化的符号熵编码的功能。比特率<10Mbit/s的广播格式视频序列的编码将通常造成大部分变换系数被量化为零。高比例的非零量化系数将趋向于指示难以预测并且具有高细节程度的部位。这些部位潜在地对于部位分析有用，因为它们趋向于吸引视觉关注并且承受更高的量化效果。

将部位分析基于在这些编码器中发现的规则宏块结构是方便的。

对于帧号码n，根据第一预定关系基于信号的预测残留产生预测残留测量值。这种掩蔽测量值的示例是基于依赖于离散余弦变换(DCT)活动性的预测残留的测量值。在一个实施方式中，预测残留测量值包括根据以下针对帧n中的宏块k计算的Act1(n,k)：

$\mathrm{Act}1(n,k)=\underset{m\&Element;M(n,k)}{\mathrm{\&Sigma;}}\mathrm{Tsum}\left(m\right),n\&Element;\mathrm{Nnk}\&Element;K\left(n\right)---\left(8\right)$

在此，Tsum(m)表示宏块m中的非零量化变换系数的和，M(n,k)定义要进行相加的集中于宏块k上的宏块的集合，即，DCT活动性为非零的宏块的部位，并且K(n)定义帧n中要考虑的宏块的集合，其中要被考虑的视频序列中存在N个帧(即，n＝1,2,...,N)。

对于帧n，可以通过根据算式(9)对活动性阵列Act1应用阈值来定义最大活动性的部位K1(n)：

K1(n)＝{k1：Aact1(n，k1)＞Thresh1(n)^k1∈K(n)n∈N(9)

因此，通过显示帧n提供的画面中的最大活动性的部位(K1(n))包括显示帧宏块k1的集合(k1∈K(n))，针对帧宏块k1的预测残留测量值大于针对该帧的预测残留阈值Threshl1(n)。因而在一个实施方式中，最大活动性的部位K1被定义为包括DCT活动性Act1(n,k1)大于针对该帧n的DCT活动性阈值的宏块。

在一个实施方式中，Thresh1根据算式(10)被定义为画面内的最大活动性的函数：

$\mathrm{Thresh}1\left(n\right)=\frac{\mathrm{Thresh}1\mathrm{PerCent}}{100.0}*\underset{k\&Element;K\left(n\right)}{\max }\left(\mathrm{Act}1(n,k)\right),n\&Element;N---\left(10\right)$

在此，Thresh1PerCent表示帧内的宏块区域K(n)为了被认为是在“最大”活动性的部位K1(n)内而需要包括的、帧n的分析部位K(n)内的任意宏块k的最大DCT活动性的百分比值。

通过根据算式(11)计算平均像素差对比度函数C1(n)来估计最大活动性的部位K1的掩蔽属性。

$C1\left(n\right)=\frac{1}{K1\mathrm{tot}\left(n\right)}\underset{k1\&Element;K1\left(n\right)}{\mathrm{\&Sigma;}}C0\left(k1\right),n\&Element;N---\left(11\right)$

在算式(11)中，K1tot(n)等于帧的集合K1(n)中DCT余弦活动性Act1(n,k1)高于Thresh1(n)的帧的数量，并且C0(k1)是被M(n,k1)即形成DCT余弦活动性Act1(n,k1)高于Thresh1(n)的部位的宏块的集合覆盖的像素区域对比度的测量值。

如果CF_K(k1)被定义为来自算式6和算式7的像素对比度测量值CF应用于被DCT余弦活动性存在的部位M(n,k1)覆盖的像素区域，则：

C0(k1)＝CF_K(k1)，fork1∈K1(n)(12)

包括位于初始分析部位K(n)内的宏块但是不被包括在由DCT活动性Act1的测量值高于阈值级别Thresh1(n)的宏块形成的“最大活动性”的部位K1(n)的部位中的画面的区域被定义为K2(n)。从算式(13)确定作为宏块部位K2(n)的成员的宏块k2：

$K2\left(n\right)=\{k2:k2\&Element;K\left(n\right)^k2\&NotElement;K1\left(n\right)\}---\left(13\right)$

区域K2包括所谓的背景区域。而部位K2被假定具有比部位K1更小的可见失真，其对比度属性对整体失真的感知能够具有重要影响。区域K2可以具有已经被良好预测的高对比度区域因此不被包括在部位K1中。然而，这种区域可能吸引视觉关注并且提供K1中的失真的一般掩蔽。

具有足够高的对比度以提供可以与K1中的高活动性部位提供的掩蔽效果比较的掩蔽效果的K2内的画面的区域被包括在裁剪画面K6的分析中。通过根据算式(14)使用阈值C0Thresh(n)来定义集合K3(n)：

K3(n)＝{k3：C0(k3)＞C0Thresh(n)^k3∈K2(n)}n∈N(14)

其中，C0Thresh(n)＝C1(n)。与在最大活动性的部位K1上的对比度测量值的平均值相等的阈值C0Thresh被发现适用于被测试的序列。

算式(14)定义了高复杂度部位K3，其中包括宏块，该宏块具有使得针对画面中的任意噪声即像素之间存在的明显的对比度提供掩蔽效果的空间复杂度，并且可以具有低级别的非零DCT活动性(即，帧n中的宏块k将具有低于阈值Thresh1(n)的Act1(n,k))。高活动性部位K1和具有零或者低活动性但是显著的对比度的高对比度/空间复杂度部位K3可以根据算式(16)被组合以形成部位K4。

K4＝{k4：k4∈(K1∪K3)}(16)

针对可以具有零或者低DCT活动性的组合的高DCT活动性地部位K1和部位K4，根据算式(17)定义针对每一个帧的加权对比度测量值CW。

$\mathrm{CW}\left(n\right)=\frac{1}{K4\mathrm{tot}\left(n\right)}\underset{k\&Element;K4\left(n\right)}{\mathrm{\&Sigma;}}C0\left(k\right),n\&Element;N---\left(17\right)$

在此，K4tot(n)等于针对帧n的集合K4的成员的数量，＝K1tot(n)+K3tot(n)，其中K1tot(n)是帧n中的DCT活动性高于阈值的宏块的数量，并且K3tot(n)是DCT活动性是零或者非零并且像素差对比度测量值高于阈值的宏块的数量。

使用针对形成视频序列的每一个帧的加权对比度测量值CW使得能够从算式(18)确定序列平均部位加权对比度测量值CWS。

$\mathrm{CWS}=\frac{1}{\mathrm{Ntot}}\underset{n\&Element;N}{\mathrm{\&Sigma;}}\mathrm{CW}\left(n\right)---\left(18\right)$

针对每一个经解码的训练序列，计算出序列平均部位加权对比度测量值CWS，并且在图7d示出相对于平均量化器步长大小描绘的结果。在图7d得到的序列平均部位测量值CWS示出与图7c得到的相应的序列平均CS结果的差异令人鼓舞。具有类似的低运动和平坦背景的属性的“竖琴”和“风景”的两个序列通过CWS移动到顶级而不是通过CS移动到中上级别。这示出了针对这些视频序列，与图7a中的MMOS级别的优异的对准。类似地，序列“巴塞罗那”从CS顶级到CWS中级，其针对图7a所示的这些视频序列与其MMOS中级更紧密地对准。

以上部位测量值CWS设计用于将分析聚焦于图像中的具有更高程度的运动和细节的部分上。然而，当画面的“活动”区域小时，将对诸如通过图8中的处理块48确定的图像的其余“背景”部分的考虑包括在内是有益的，图8示意地示出用于根据本发明的实施方式产生视频序列的质量的测量值的系统。

在图8示意地示出的本发明的实施方式中，处理块48确定不作为DCT活动部位K4(n)的给定关注焦点部位K6(n)内的宏块的“背景”部位K5(n)。从K5(n)，图8中的处理块50可以确定针对区域K5(n)中的宏块的对比度测量值CW5(n)。

在确定视频序列的质量测量值的任意给定方法中，关注焦点部位K6(n)被预定为包括整个分析部位K(n)的子集合：

$K6\left(n\right)=\{k6:k6\&SubsetEqual;K\left(n\right)\}---\left(19\right)$

在以下本发明的示例性实施方式中，K5(n)被选择为由帧n形成的图像的25％剪裁(左、右、上、下)，但是如对本领域技术人员而言明显地，在本发明的其它实施方式中可以使用其它值。

提供画面n的“背景”部位K5的空间复杂度的测量值的对比度测量值CW5(n)是根据算式(20)：

$\mathrm{CW}5\left(n\right)=\frac{1}{K5\mathrm{tot}\left(n\right)}\underset{k\&Element;K5\left(n\right)}{\mathrm{\&Sigma;}}C0\left(k\right),n\&Element;N---\left(20\right)$

因而根据本发明的所谓的“背景”部位K5(n)包括位于关注焦点部位K6(n)内的画面中的全部宏块但是不包括由以上的算式(16)定义的“活动”部位K4(n)的成员并且K5tot(n)给出K5(n)的元素的数量，

$K5\left(n\right)=\{k5:k5\&Element;K6\left(n\right)^k5\&NotElement;K4\left(n\right)\}---\left(21\right)$

根据本发明的所谓的“活动”部位K7(n)包括位于关注焦点部位K6(n)内的画面中的全部宏块并且还包括“活动”部位K4(n)的成员，并且由算式(23)定义。

K7(n)＝{k7：k7∈K6(n)^k7∈K4(n)}(22)

针对帧n的关注焦点部位K6(n)的活动部分K7(n)的加权对比度测量值CW7(n)由以下定义：

$\mathrm{CW}7\left(n\right)=\frac{1}{K7\mathrm{tot}\left(n\right)}\underset{k\&Element;K7\left(n\right)}{\mathrm{\&Sigma;}}C0\left(k\right),n\&Element;N---\left(21\right)$

其中K7tot(n)是宏块的总数。

由算式(24)给出关注焦点部位的活动部分的测量值作为整个帧的百分比：

$\mathrm{CW}7\mathrm{percent}\left(n\right)=\frac{100*K7\mathrm{tot}\left(n\right)}{K6\mathrm{tot}\left(n\right)},n\&Element;N---\left(24\right)$

图9示出根据本发明的实施方式的功能性的解码器部件，其被设置以实现图8的处理块50。在图9中，处理块50产生组合掩蔽测量值，包括通过利用加权函数fw5和fw7，根据以下算式(25)计算的针对每一个帧n的“活动”部位K7(n)和“背景”部位K5(n)的对比度测量值加权组合CWN(n)。

CWN(n)＝fw5(n)*CW5(n)+fw7(n)*CW7(n)n∈N(25)

实验示出以下算式(26)所示的针对活动部位的非线性加权函数fw7(n)和算式(27)中的针对背景部位的fw5(n)在产生结果方面进行的特别好，其仿真了图7a所示的MMOS分数：

$\mathrm{fw}7\left(n\right)=0.5*(1+\sin (\mathrm{\&pi;}*\min (\max ((\frac{\mathrm{CW}7\mathrm{percent}\left(n\right)-50}{100}*t1+t2),-0.5),0.5)))---\left(26\right)$

fw5(n)＝1-fw7(n)(27)

在此因数t1和t2是在图9和图10分别示出的饱和因数和偏移因数。算式(26)中的饱和因数t1定义在每一个附图中示出的CWpercent(CW％)加权因数的变化率。

在算式(26)中，t2定义部位K6中的活动强度阈值。在该阈值以下背景属性将被考虑。

在本发明的一个实施方式中，通过活动部位K7的面积作为K6(每一个画面的裁剪关注部位)的面积的百分比CW7percent(在附图中以CW％示出)来测量活动强度阈值t2。可以根据算式(29)将活动区域和背景区域的其它属性考虑在内来调整阈值t2。

t2(n)＝ft(K5(n)，K7(n))(29)

并且在图9中，背景部位加权系数fw5(n)被产生并且应用于对比度加权CW5(n)以产生针对所选择的背景部位的加权对比度测量值fw5(n)*CWN(n)，活动部位加权系数fw7(n)被产生并且应用于对比度加权CW7(n)以针对每一个帧产生针对所选择的活动部位的加权对比度测量值fw7(n)*CWN(n)。针对活动部位和背景部位的这两个加权对比度测量值接着被组合以产生针对视频序列中的每一个帧n的整体加权对比度测量值CWN(n)。

图11a例示这些因数对函数fw7的效果。对于t1＝1.0并且t2＝0.0，fw7(0..100)具有关于CW7percent＝50％对称的提高的正弦响应，在100％具有值1.0，在0％具有值0。将因数t1从1.0增大具有将fw7的±1饱和点从0％向上移动和从100％向下移动的效果。将因数t2从0.0增大具有将整个fw7曲线向左移位的效果，因此降低针对fw7饱和的CW7percent值。fw5加权(算式27)被计算以得到组合的fw5和fw7加权为1。值t1＝1.8和t2＝30被发现适用于应用，具有多个期望属性。60％的上饱和点给出朝向“活动”部位K7的对比度的强的加权。相应地，朝向“背景”部位K5的完全加权仅仅在7％的下饱和点下方发生。提高的正弦函数给出这些点之间的平滑转换。

现在返回图10，其中示出了本发明的实施方式，其中实现处理块50的解码器的功能部件产生组合对比度测量值CWN(n)。在本实施方式中，然而，使用以上描述的用于从对应的像素值确定每一个块的空间复杂度的方法的等同方法从解码画面的对应的像素值确定每一个宏块k的亮度。在图10中，使用算式(30)，平均亮度差的测量值被包括在CWN(n)的计算中。平均亮度差的测量值具有强调具有比背景区域更高亮度的活动区域的效果。因此，如图10所示，从算式(30)确定针对每一个帧的亮度差ldif(n)，并且针对K6(n)被计入的、为了形成背景部位的宏块而被考虑在内的定义DCT活动性的强度的阈值的t2偏移值现在依赖于ldif(n)，如以下给出：

$\mathrm{ldif}\left(n\right)=(1/k7\mathrm{tot}\left(n\right))*\underset{k\&Element;K7\left(n\right)}{\mathrm{\&Sigma;}}\mathrm{lum}\left(k\right))-((1/k5\mathrm{tot}\left(n\right))*\underset{k\&Element;K5\left(n\right)}{\mathrm{\&Sigma;}}\mathrm{lum}\left(k\right))---\left(30\right)$

在此，lum(k)等于每一个宏块k上的平均亮度。亮度差ldif可以被使用以根据算式(31)以适用阈值t2(n)：

t2(n)＝t2min+t2range*((max(l1，min(l2，ldif(n)))-l1)/(l2-l1))(31)

值l1＝20和l2＝80被发现对于16..255的亮度范围是实际的。值t2min＝20和t2range＝30则给出t2(n)的从20到50的范围。

图11b例示适用根据(31)的t2对加权函数fw7的影响。

如图11b所示，基于处理块50的输出根据算式(32)通过随着时间平均可以计算序列平均加权对比度测量值CWSN：

$\mathrm{CWSN}=\frac{1}{\mathrm{Ntot}}\underset{n\&Element;N}{\mathrm{\&Sigma;}}\mathrm{CWN}\left(n\right)---\left(32\right)$

其中n是如根据AvQStep(n)确定的在给定时间帧中显示的块的次数。

使用以上技术，其中图8所示的设备如图9和图10所示产生CWN(n)的值，针对图11a和图11b所示的视频序列获得预测的MMOS结果。

首先，使用在很多商业统计软件包中可用的标准线性和多项式/对数回归分析用AvQP(自变量)对针对训练集合的MMOS(因变量)建模。得到的模型接着在测试序列上使用。接着使用CS、CWS和CWSN作为附加自变量进行重复。表5给出得到的针对每一个模型的加权参数，并且示出CWSN当前用作对已有的CWS参数的精细化因数。

	AvQP	AvQP,CS	AvQP,CWS	AvQP,CWS,CWSN
					Const	-12.518	-12.5938	-11.968	-12.1489
AvQP	-0.4201	-0.407498	-0.378	-0.3829
					Log(AvQP)	19.686	19.132	17.56	17.805
CS	0	0.04817	0	0
					CWS	0	0	0.0338	0.024
CWSN	0	0	0	1.2094

表5模型加权参数

算式(33)示出来自表5的线性加权函数可以被用于计算针对基于CWSN的模型的PMOS：

PMOS＝-12.1489-0.3829*AvQP+17.805*log(AvQP)+

0.024*CWS+1.2094*CWSN(33)

表6示出针对每一个模型，估计平均意见分数和测量平均意见分数(PMOS和MMOS)之间的平方相关和平均平方误差MS残留。

表6MMOS和PMOS之间的相关和MSE

结果表明，针对训练数据集合和测试数据集合两者，AvQP、CWS、CWSN模型给出最高性能(相关和MSE)。在图12a、图12b、图12c和图12d以散布图的形式示出针对AvQP、AvQP/CS、AvQP/CWS、和AvQP/CWSN模型的单独训练结果和测试结果。

本发明使得能够使用基于量化器步长大小AvQP、平均对比度CS和部位加权对比度CWS和“活动”与“背景”对比度测量值的非线性加权的组合的测量值确定视频质量测量值。本发明的一个或者更多个实施方式通过确定最高运动和细节的“活动”部位的面积、位置和对比度以及相应的“背景”部位的面积和对比度，使得能够相比于已知技术提高质量估计的准确性。使用向针对具有低比例的活动面积的序列的“背景”测量值增大加权的带有自适应阈值化的非线性加权函数CWSN将“活动”测量值和“背景”测量值组合。

CWSN具有当图像的显著部分被认为是活动时忽略任何“背景”贡献并且针对具有低活动的图像向背景区域添加特定加权的效果。

如上所述，通过在CWSN所依赖的CWN(n)的计算中使用平均亮度差的测量值，CWSN产生在此改进的结果。平均亮度差的测量值具有强调具有比背景区域更高亮度的活动区域的效果。

按此方式，使用根据本发明的产生质量测量值的方法可以自动计算出感知平均评价分数质量测量值。质量测量通过被用作反馈环还可以用于控制解码器应用后滤波的方式，如附图中的图13a和图13b所示。图13a和图13b示出图2所示的类型的编码/解码系统并且保留附图中的图2的编号方案用于类似元件。

在图13a中，从解码器的经后滤波的输出用于产生使用根据本发明的实施方式的确定质量测量值的方法计算的PMOS。得到的PMOS值可以接着适用于被反馈回到后滤波器系统和新后滤波的信号输出。

在图13b中，在后滤波之前使用根据本发明的实施方式的确定质量测量值的方法计算针对视频序列的一个或者更多个区间的PMOS，并且PMOS值接着用于调整解码器进行的后滤波。

以上详细描述并且用附图示出了本发明的示例性实施方式，然而，本发明不旨在限制于这种示例性实施方式，并且包括各种明显的修改和等同排列，其将落入所附的权利要求的范围内。在此和在权利要求中明确地引用的特征可以用提供功能等同物的替代特征代替，其中这种功能等同物将被本领域技术人员知道。

在以上描述中，对“一个实施方式”、“实施方式”、“示例实施方式”、“各个实施方式”等的引用指示这样描述的本发明的实施方式包括特定特征、结构或者特性。然而，每一个实施方式不必须包括该特征、结构或者特性。在此“在一个实施方式中”或者“在示例性实施方式中”的短语被应用的情况下，可以指代或者可以不指代同一实施方式，如本领域技术人员将明显的。

引用诸如例如“处理”、“计算”、“计算出”、“确定”等的措辞是指由计算机或者计算系统或者类似的电子计算装置采取的动作和/或处理，这些动作和/或处理将被表示为计算系统中的寄存器和/或存储器中的物理量(诸如电子)的数据操纵和/或变换为被类似地表示为计算系统的存储器、寄存器或者其它这种信息存储、传送或者显示装置中的物理量的其它数据。

措辞“计算平台”包括一个或者更多个数据处理器，其中数据“处理器”是指处理来自寄存器和/或存储器的电子数据以将电子数据变换为能够被存储在寄存器和/或存储器中的其它电子数据的任何装置或者装置的以部分。

本发明的一个或者更多个实施方式包括用于进行此处的操作的设备。设备可以是为了期望目的而特别构建的，或者可以包括被此处在装置中的程序选择性地激活或者重构的通用目的装置。

在适当的情况下，此处在本发明的实施方式中描述的特征可以在硬件、固件和软件中的一个或者组合实现。在特征被实现为此处在机器可读介质中的指令的情况下，这种指令可以被计算平台读取和执行以进行此处描述的一个或者更多个或者全部操作和/或方法步骤。

措辞“机器可读介质”包括用于此处中传送机器(例如计算机)可读形式的信息的任何机构。机器可读介质的示例包括但是不限于：只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存存储器装置、以及传播的电光声或者其它适当数字和/或模拟信号(例如，载波、红外信号、数字信号等)。

对措辞“计算机程序”和/或“计算机控制逻辑”的引用包括对机器代码和/或可执行代码和/或源代码的适当引用，其当被编译时造成在计算平台上执行计算机程序。

计算机程序可以以电子可下载格式提供，或者以存储在计算平台的主存储器和/或次存储器和/或能够被附接到计算平台和从计算平台去除的数据存储装置中的格式提供。在计算机程序被存储在一个或者更多个数据存储装置中的情况下，其包括计算机程序产品。这种计算机程序当被执行时，被排列以使计算机平台或者系统能够进行如此处讨论的特征。具体地，计算机程序当被执行时被设置以使处理器能够实现根据本发明的实施方式中的一个或者更多个步骤。因此，这种计算机程序可以表示计算机系统的数据控制器。

可以提供包括存储了控制逻辑(计算机软件)的计算机可读介质的计算机程序产品以分配本发明，或者当产品被健在并且在一个或者更多个计算机平台上运行时，使根据本发明的实施方式的方法被进行。控制逻辑当被一个或者更多个处理器执行时造成一个或者更多个处理器进行此处讨论的根据本发明的实施方式的一个或者更多个功能。计算机程序产品软件可以使用任何适当装置包括适当的数据存储读取装置和/或经过网络通信接口卡被加载到计算机系统中。实现被数据处理器执行的控制逻辑的软件造成处理器进行此处描述的本发明的实施方式的功能。计算机程序产品软件可以作为在操作系统中运行的单独软件应用程序运行。另选地，它可以被集成到计算平台的操作系统中。

主要在硬件中实现的特征可以包括但是不限于硬件部件，诸如专用集成电路(ASIC)、现场可编程门(FPGA)或者一个或者更多个状态机等。用于进行此处描述的功能的硬件状态机的任何适当实现方式可以被使用，如本领域技术人员明显的。

此处讨论的实施方式和示例是非限制性的。以上详细描述的本发明的实施方式仅仅形成示例性实施方式，本领域的技术人员可以明显的是，在例如在其最广泛的方面中不脱离本发明的实质和范围的情况下可以做出变化和修改。如在权利要求中限定的本发明的实施方式旨在覆盖落入本发明的真实实质内的全部这些变化和修改。

下面重复摘要的文字以形成说明书的一部分。

一种产生表示多个帧的视频信号的质量的测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法将视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码使得编码信号包含信号的预测残留表示；以及解码形式，其中已经至少部分地将编码视频信号重转换为原始形式，该方法包括：a)产生根据预定关系依赖于所述量化器步长大小参数的第一质量测量值；b)产生掩蔽测量值，该掩蔽测量值根据第一预定关系依赖于由解码形式的视频信号表示的帧的至少一部分的空间复杂度；以及c)产生组合测量值，该组合测量值根据预定关系依赖于第一测量值和掩蔽测量值两者，其中所述方法还包括：产生根据第一预定关系依赖于信号的预测残留的第一测量值；以及标识画面的第一测量值超过阈值的一个或者更多个部位；其中，掩蔽测量值根据预定关系依赖于所标识的部位的空间复杂度；并且所述方法还包括：产生根据第二预定关系依赖于信号的预测残留的背景测量值；以及标识画面的背景测量值低于阈值的一个或者更多个其它部位，其中，掩蔽测量值根据预定关系依赖于所标识的其它部位的空间复杂度。

6、参考文件

[1]A.G.Davis，D.Bayart，D.S.Hands，“HybridNo-referenceVideoQualityPrediction，”BMSB2009，13-15May2009.

[2]，[3]WO2007/066066

[4]WO2010/004238

[5]ISO/IEC14496-10andITU-TRec.H.264，AdvancedVideoCoding，2003.

[6]FinalreportfromtheVideoQualityExpertsGroupontheValidationofObjectiveModelsofVideoQualityAssessment，Phase2，www.vqeg.org.

[7]ITU-T，J.144，“Objectiveperceptualvideoqualitymeasurementtechniquesfordigitalcabletelevisioninthepresenceofafullreference”.

[8]ITU-T，J.143，“UserRequirementsforObjectivePerceptualVideoQualityMeasurementsinDigitalCableTelevision”.

[9]VQEG1sequencedatabase，address：ftp：//ftp.crc.ca/crc/vqeg/TestSequences/ALL_625/

[10]lainE.G.Richardson，H.264andMPEG-4VideoCompression，Wiley2003.

[11]W.Osberger，S.HammondandN.Bergmann，“AnMPEGEncoderIncorporatingPerceptuallyBasedQuantisation，”IEEETENCON-SpeechandImageTechnologiesforComputingandTelecommunications，pp.731-733，1997.

[12]AtulPuriandR.Aravind，“Motion-CompensatedVideoCodingwithAdaptivePerceptualQuantization，”IEEETransactionsOnCircuitsandSystemsforVideoTechnology，Vol.1，No.4，pp351-361，Dec.1991.

[13]BoTao，BradleyW.DickinsonandHeidiA.Peterson，”AdaptiveModel-DrivenBitAllocationforMPEGVideoCoding，”IEEETransactionsonCircuitsandSystemsforVideoTechnology，Vol.10，No.1，pp147-157，Feb.2000.

Claims (17)

1.一种产生针对解码形式的视频信号的质量测量值的方法，所述视频信号具有：原始形式；编码形式，其中已经使用了压缩算法对所述视频信号编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码使得编码信号包含信号的预测残留的表示；以及所述解码形式，其中已经至少部分地将编码视频信号重转换为所述原始形式，所述方法包括：

产生根据预定关系依赖于所述量化器步长大小参数的质量测量值；

产生多个掩蔽测量值，以及对每一个掩蔽测量值应用加权，其中，每一个掩蔽测量值依赖于通过对视频信号解码而形成的画面中存在的一个或者更多个类型的部位的空间复杂度，并且其中，

一种类型的部位包括所述视频序列中的画面中的预测残留测量值满足作为第一条件的预测残留阈值的活动部位，以及

至少一种其它类型的部位包括所述视频序列中的画面中的所述预测残留测量值满足另一个条件的背景部位，其中所述另一个条件包括：

所述预测残留测量值不超过所述预测残留阈值；以及

空间复杂度测量值不超过空间复杂度阈值，以及

组合所述质量测量值和所述多个加权掩蔽测量值以产生针对所述解码形式的所述视频信号的组合质量测量值。

2.根据权利要求1所述的方法，其中，至少一个所述其它类型的部位包括同一画面的高对比度部位，并且所述其它条件包括：

所述预测残留测量值不超过针对所述高对比度部位的预测残留阈值；以及

空间复杂度测量值超过针对所述高对比度部位的空间复杂度阈值。

3.根据权利要求1所述的方法，其中，当组合所述质量测量值和针对每一个类型的部位的所述多个加权掩蔽测量值中的每一个时，依赖于部位的类型对所述测量值和每一个掩蔽测量值应用加权函数。

4.根据权利要求3所述的方法，该方法还包括确定一种类型的部位的面积的步骤，针对所述帧的每一个部位的加权函数依赖于每一个部位的面积或者部位之间的面积差。

5.根据权利要求3所述的方法，所述方法还包括：所述加权函数依赖于多种类型的部位之间的亮度差。

6.根据权利要求1-5中任意一项所述的方法，其中，所述预测残留的表示是像素域预测残留的二维变换的系数，并且从所述系数计算出所述第一测量值和所述第二测量值中的一个或全部两个。

7.根据权利要求6所述的方法，其中，所述变换是离散余弦变换。

8.根据权利要求6所述的方法，其中，所述测量值是非零变换系数的数量的计数。

9.根据权利要求6所述的方法，其中，所述测量值依赖于所述变换系数的幅度。

10.根据权利要求9所述的方法，其中，所述测量值是解码的系数的能量和的函数。

11.根据权利要求1-5中任意一项所述的方法，其中，通过确定帧中多个位置处的局部对比度测量值来测量所述空间复杂度。

12.根据权利要求11所述的方法，其中，每一个帧包括多个像素，并且其中，对于给定帧的至少一些像素，对像素的附近的相邻部位执行所述比较函数以获得相对于所述像素的比较值。

13.根据权利要求1-5中任意一项所述的方法，其中，在多个帧上对质量测量值和/或掩蔽测量值取平均。

14.一种用于产生针对解码形式的视频信号的多个帧的质量测量值的设备，所述视频信号具有：原始形式；编码形式，其中已经使用压缩算法对所述原始形式的视频信号进行了编码，该压缩算法利用可变量化器步长大小使得编码信号具有与其关联的量化器步长大小参数，并且利用差分编码使得编码信号包含信号的预测残留的表示；以及解码形式，其中已经至少部分地将编码视频信号重转换为所述原始形式，所述设备包括：

用于产生根据预定关系依赖于所述量化器步长大小参数的质量测量值的装置；

用于确定预测残留测量值超过作为第一条件的预测残留阈值的所述视频序列的画面中的一个或者更多个活动部位的装置；

用于确定所述画面的任何剩余部分内的其它类型的部位的装置；

用于产生依赖于每一个所述活动部位和每一个所确定的类型的部位的空间复杂度的掩蔽测量值的装置(50)；以及

用于通过根据预定关系组合所述质量测量值和所述掩蔽测量值来产生组合质量测量值的装置(40)，其中

至少一种所述其它类型的部位包括所述画面中的所述预测残留测量值满足另一个条件的背景部位，其中所述另一个条件包括：

所述预测残留测量值不超过预测残留阈值；以及

空间复杂度测量值不超过空间复杂度阈值。

15.根据权利要求14所述的设备，其中，所述用于确定掩蔽测量值的装置确定依赖于针对形成各个部位的区域的像素的像素差对比度测量值的、针对每一个所述部位的空间复杂度掩蔽测量值。

16.根据权利要求14或15所述的设备，其中，所述用于确定掩蔽测量值的装置包括用于针对每一个不同类型的确定的部位使用不同的加权函数确定和组合针对每一个确定的部位的空间复杂度掩蔽测量值的装置。

17.根据权利要求16所述的设备，其中，针对所述帧的每一个部位的所述加权函数依赖于每一个部位内的亮度或者部位之间的亮度差。