CN101682767B - 用于测量视频编解码器块中细节损失的系统和方法 - Google Patents

Abstract

提供了用于测量视频块内DC块效应的图像质量测量系统和方法。块边界位于测试视频帧内。通过使用参考视频帧、统计估计的参考或白视频电平的默认值除以二，而测量每个块内的相对AC差。可生成一个客观DC块效应图、一个主观DC块效应图或两者。

Description

用于测量视频编解码器块中细节损失的系统和方法

相关申请交叉引用

本申请受益于2007年4月9日提出的题为“用于测量视频编解码器块中细节损失的系统和方法”(Systems and Methods forMeasuring Loss of Detail in a Video Codec Block)的美国临时申请60/910817，该申请的内容因此通过引用结合于本文中。

背景技术

本发明的实施例涉及视频测试和测量设备，并且更具体地说，涉及用于视频的图像质量测量。

诸如MPEG-2和H.264等视频压缩方法处理视频，一次处理一小部分的图像。这些小的图像部分经常是称为块的相同大小的矩形。这些块在块网格中组合在一起。在有损的基于块的压缩方法中，块化损害(blocking impairments)在各个处理的块内显露。这些块化损害对应于压缩方法中由损失造成的错误。最高的损失导致块内细节的全部损失(视频信号的AC部分)。这只为块内的每个图像元素留下一个常数或DC值。最低的损失对应于100％的AC部分，这对应于对于每个视频通道(如RGB、YUV)视频细节保持不变。

虽然H.264和其它视频编解码器(codec)具有可选的去块化滤波器，设计为平滑处理在块边界处可由于不同块DC值产生的突变边缘，但由于块内的AC损失造成的模糊(blurring)仍是一个问题。

视频行业需要一种可重复、可证实的方法，以实现由于此损失造成的视频质量的客观测量和主观评级预测。现有方法未定义测量单位(unit)，并且一般尝试同时测量客观和主观损害，因而未测量任一者。可追溯定义的测量单位的缺乏使得现有方法无法提供测量和测量结果准确性的验证。

现有技术尝试估计在块边界的不连续性，并估计这些不连续性的可见性，而无可追溯和可证实的单位。

在图像中块化伪影的盲测量(Blind measurement ofblocking artifacts in images，Zhou Wang等人所著，Proc.IEEE Int.Conf.Image.Proc，VoI 3，pp 981-984，Sept.2000)中描述了接近具有可追溯和可证实单位的块效应测量(blockiness measurement)的示例。如现有技术中的许多其它方法一样，此方法使用计算相对昂贵且复杂的谱分析来揭示沿垂直和水平维度块边缘能量的周期性。块效应被测量为在原信号上叠加的估计理想块效应信号的功率。虽然功率可标准化以给出完全定义的单位(相反于如所述的依赖LSB的那样)，并且合成的理想的块效应信号能生成和叠加在测试视频信号上以验证检测的准确性，但理想的块效应信号的定义本身是个问题，这是因为实际的块效应损害一般不对应于理想情况，并且视频信号经常具有功率谱方法设计为检测为块效应的相同谱特征。因此，即使此方法扩展为完全参考，检测到的伪影也是以主要依赖块边界不连续性的略微任意的方式定义的理想伪影，而块边界不连续性一般经去块化滤波器减轻，如在H.264标准中包括且有时包含在其它编码器和解码器设计中的那些滤波器。

此外，对于可见性预测和对应的主观质量评级，此方法概括说明了现有技术。完成的掩码估计是人类视觉响应的极为粗略的估计，同样无可追溯和可证实的单位或准确性。实际上，不直接估计可见性，而是估计相对可见性。

存在的其它现有技术方法在时间或频率域中查找块边缘，估计边缘幅度和采用这些幅度的规范(带有或不带有掩码估计)的主题上有所不同。

具有完全参考和无参考的测量DC块效应的自动化方法将是有用的。这些方法能包括或者不包括诸如确切的块边界位置的压缩信息。如果这些方法具有可追溯和可证实的单位和准确性，结果完全是客观的或完全可预测DC块化损害的主观评估(subjectionsassessment)，则这些方法将合乎需要。也期望方法具有计算效率，使得它将对给定级别的准确性有较低的处理开销。

发明内容

相应地，提供了利用使用参考视频序列(如果存在的话)，但在不存在参考的情况下仍能创建有用测量的系统和方法的实施例。

本系统和方法的实施例包括有边界和可验证的单位(“％DC块效应(％DC Blockiness)”)，允许稳固的测量准确性验证，完全参考和使用带有对应生成的损害测试视频剪辑的无参考方法的0％DC块效应的确切测量，如不同于现有技术方法的基于估计的方法。该方法也具有低计算费用，使得它相对于现有技术在速度对成本上具有竞争力。

本发明的各种实施例提供了可追溯和可证实的单位和准确性。结果可以是块化损害可见性的完全客观或主观预测。本发明的实施例也能实现具有相对计算效率的结果，意味着给定准确性的相对低的处理。使用相同单位比较来自无干扰测量的测量结果和来自完全参考测量的测量结果的能力也可能实现。

去块化滤波器可实现块化边缘位置测量，但在许多应用中，此信息已经可用。在此情况下，此方法不受使现有技术方法相当无用的去块化滤波器的影响。

本方法的实施例也不取决于已指出是问题的任何“理想的”伪影，而是使用参考做为理想的信号并测量与理想的偏差。

附图简述

图1是用于测量DC块效应的系统的框图。

图2是显示块损害的视频帧。

图3是如图2中的视频帧但无损害。

图4是DC块效应图。

图5示出每帧的DC块效应概括测量及用于最后帧的条形图(bar graph)。

图6是定位块边界的实施例的框图。

图7示出块效应边界滤波器的应用。

图8是块识别的实施例的框图。

具体实施方式

本发明在图1中以框图形式示出。此设备在测试下处理输入视频，如图2的块损害图像。为了说明的目的，已使用略微极端级别的块效应示出图2的块损害图像。可用时，例如图3所示的对应参考也被输入。输出包括图4所示DC块效应图中示出的按块测量(perblock measurement)和如图5绘出的按帧(per frame)或整个视频序列的概括测量。

根据本发明的测试和测量系统的实施例执行如图1所示的以下过程。使用虚线将参考视频帧示为已连接，这是可选的。

执行按块的客观块效应测量，并产生例如图4所示的DC块效应图。可平均这些块测量以得出按帧或按视频序列的客观测量。另外，可产生主观块效应预测。由DC块效应图表示的块测量可按图像块应用为主观图像响应图的加权，并随后如题为“用于揭示可感觉损害的图像质量诊断”(Picture Quality Diagnostics for Revealing Cause ofPerceptible Impairments)的美国专利7102667所述，被集中用于主观质量评级，该专利通过引用结合于本文中。

在步骤10，定位块边界。各种现有方法可用于定位块边界。这些方法一般分成直接从可作为元数据提供的压缩的视频参数描述确定块边界的方法或通过测量或估计块边界间接确定块边界的方法。例如，可通过沿水平和垂直维度中的每个查找带有规则周期性的不连续性，而确定块网格参数。

在步骤12，测量每个块内的相对AC差。对于要测量的视频的每个通道，将在块内每个像素处的％DC块效应计算为：原始的DC块效应＝100％*(|RefAc-TestAc|)/Greater(1LSB，|RefAc|)等式1其中TestAc＝(meanBlockTest-Test)RefAc＝(meanBlockRef-Ref)Greater(1LSB，RefAc)等于RefAc或在RefAc＜1LSB时等于1LSB以避免除数为0。例如，如果在测量的通道是YCbCr视频的Y(亮度)通道，则Test＝给定测试视频帧的给定块内测试视频像素的Y值。Ref＝给定参考视频帧的给定块内参考视频像素的Y值。meanBlockTest＝给定测试视频帧的给定块内测试视频的Y平均值。meanBlockRef＝给定参考视频帧的给定块内参考视频的Y平均值。

对于无参考(单端)测量，在可用时从相同格式、类型等的其它示例视频以统计的方式估计RefAc。如果无统计信息可用，则使用(whiteVideoLevel/2)的默认值。例如，对于额定范围在16到235的8比特视频，RefAc＝109.5。这对应于在相邻像素之间所有可能差的统计平均值，其中，差的概率分布函数是固定的。这假设不存在Nyquist采样约束。

此像素方式的值被修剪以产生在每个像素处测量的DC块效应。PixelDcBlockiness＝clip(原始DC块效应，0％，100％)其中，在x＜a时clip(x，a，b)等于a，在x＞b时等于b，在其它情况下等于x。分别对于带有行和列的网格坐标{r，c}的块网格中的每个块，为给定块内的每个像素计算此值。因此，在行＝r和列＝c，每块的块效应值表示为DcBlockinessAtBlock[r][c]＝Mean(PixelDcBlockiness)在步骤14，为产生客观DC块效应图和测量概要，每关注区域(ROI)的DC块效应值{图像(视频场或帧)并类似地对于整个视频序列}表示为所有块效应值的平均值：DcBlockiness＝mean(DcBlockinessAtBlock[r][c])为帮助说明DC块效应测量的含意，根据RefAc和DC块效应求解TestAc可得出TestAc＝RefAc*(1-DCBlockiness/100％)等式2注意，可通过使用等式2合成地创建损害。在一些实施例中，这将产生在LSB量化误差内的DC块效应损害。因此，DcBlockiness＝0％的测量对应于TestAc＝RefAc，这对应于无模糊或边缘块伪影，也称为无损害。DcBlockiness＝100％的测量对应于TestAc＝0，这对应于100％模糊块。

通过将DcBlockinessAtBlock[r][c]复制到如图4所示的DC块效应图像图的对应块中，可创建对应的客观图。然而，注意如果RefAc＝0(像素等于块平均值)，例如“平整”区域，则用于验证的合成生成的损害也将具有对应的像素TestAc＝0，因此，对于这些像素，原始DC块效应＝0。因此，在处理为具有P％DC块效应的视频的一般情况下，实际％DC块效应将小于＜P％。这在图2、3、4和5的示例中示出。使用具有DCBlockiness＝60％的等式2，图3的图像受伪影损害，产生图2的图像。注意，图4中对应的DC块效应图具有比其它更暗的一些块。更暗的块对应于原参考块内的“平整”区域(RefAc＜1LSB)。这也在帧和序列的平均值中反映出来，在图5显示大约55％块效应的曲线图中反映出来。

除提供客观DC块效应测量结果外，如在步骤16所示，在一些实施例中，也提供主观DC块效应测量。例如，可提供由于DC块效应原因的视频质量的主观评级预测。

来自步骤3的DcBlockinessAtBlock[r][c]值按图像块被应用为主观图像响应图的加权，并随后被集中(pool)用于主观质量评级。主观图像响应图对应于完全参考情况的差或无参考情况的感知对比度。

由等式1(具有使用等式2生成的验证的测试信号)定义的％DC块效应的可追溯和可验证单位得以提供。验证的方法类似于使用伪影阻塞视频给出的示例，但验证视频无“块平均”像素，因而防止了TestAc＝0的情况。

在本方法的实施例中，根据以下方法实现了上面表示为步骤10的块边界的定位：

通常，有三种类型的视频质量测量方法。它们是需要原始来源图像的清楚副本的测量(完全参考测量)、需要有关来源视频的部分信息的测量(参考简化测量)以及不需要原始视频的测量(无参考测量)。无参考和参考简化视频质量估计依赖于检测与由有损压缩和传输错误劣化的视频独特关联的视觉模式的能力。本文所述的方法是用于伪影检测目的。它们识别和定位数字图像降级、块化结构或块效应的最常见类型之一。

方法的实施例不但识别块化降级，而且以稳固的方式执行检测。另外，一些实施例能够定位块化结构，这对于可在不存在块化降级的位置上应用的随后模糊识别特别重要。总之，方法的实施例提供检测稳固性，具体地说，阻止(resistance to)包含合成、图像结构或文本的场景；或者能够确定块状结构的大小；或在一些实施例中两者均提供。

本方法的实施例利用以下技术：可分离二维块效应检测滤波器、块效应大小的确定或其组合。

块效应识别的一般框架和测量框架在图6中示出。块边界滤波器和块识别是本文所述方法被开发所针对的组件。块化结构检测在视频序列图像帧的选定集上执行。选择图像帧的具体方式未在本发明公开内容中定义，并且与此处公开的方法无关。该技术对数字视频的格式和维度未施加任何限制。该技术只需要数字视频序列的亮度数据。

块边界滤波器提取块边界。由于由块降级通过框状块边界识别，因此，此步骤在图像中使块边界突出。理想的块边界滤波器将是能识别每个块化伪景的边缘，同时完全忽略图像内容中物体的边缘的滤波器。本方法的实施例利用二维块边界滤波器。

二维可分离滤波器设计为提取图像中的块化结构。二维滤波器由如下矩阵表示给出。 $B=K\left[\begin{array}{cccc}1& -3& 3& -1\\ -3& 9& -9& 3\\ 3& -9& 9& -3\\ -1& 3& -3& 1\end{array}\right]$ 其中，K是任何非零常数。这是可表示如下的可分离滤波器：B＝K[1-3 3-1]^T[1-3 3-1]，其中，T指示转置操作。

换而言之，上述二维滤波器等效于应用一维滤波器[1-3 3-1]两次，在垂直方向上一次，在水平方向上一次。在保持B的比特数量是一个问题的实现中，应适当选择K以便B中存储的值在可管理的数值范围内。

此滤波器优化为检测在块边角的阶跃函数。以前已知的块效应检测方法使用常规边缘提取以检测块边界，这对于表征块边界的阶跃边缘的类型不是优化的，因此，易于受来自视频内容的边缘干扰影响。通过应用专用于阶跃边缘的二维滤波器，检测器能将图像内容中来自合成和图形结构边缘对块检测的干扰降到最低。此措施已证实可大大改进检测稳固性。此二维块效应边界滤波器的效果在图7中示出。

实施例也提供使用一维滤波器K[1-3 3-1]检测块效应边界以实现块效应严重性的识别和测量。

要应用该滤波器，使用以下卷积， $I_B=|I(x,y)\⊗B(x,y)|$ 其中，I是图像阵列，并且I_B是包含要用于下一步骤中块识别的提取块特性的块边界图，并且运算符

表示二维卷积，并且如||符号所示，该记号已删除。

块识别是后一步骤，在该步骤中，块化降级的存在要基于如上所述的块效应边界滤波器检测到的块效应边界判断。

块化伪影的存在通过使用块效应图像的两个数据段之间的互相关来确定。在下面在其它操作之间描述了数据段的选择。下述步骤用于确定块化伪影的存在和块的维度。它假设水平和垂直维度相等。然而，如果此假设不成立，则下述程序可为每个维度单独进行以便计算维度。不过，块化存在的确定是基于水平维度的计算。

在下面的步骤中，通过沿矩形段的每个列平均块效应边界边缘强度的值，先将一些二维块效应边缘段转换为一维数据系列。此数据简化措施已在文献中报告，因此在此不再详细描述。然而，此数据简化措施在整个图像和在图像的一段中均使用。如果相等维度假设不成立，则Y维度的计算要求沿每行取平均值。此方案在下面参照图8描述。

如在步骤110中所提供的一样，选择图像段。图像分割成2行3列的矩形段，或者以每个维度大于100个像素的此类方式分割。在每个段执行数据简化操作，这例如为高度至少200个像素，宽度至少300个像素的图像产生6个一维数据系列，ei，i＝1，...，6。为步骤2中的操作选择具有最大方差var(e_i)的两个段。对于CIF视频帧，即每帧352×288，它表示3×2个段。对于QCIF视频帧，即每帧176×144，它表示只有两个段。

e1	e2	e3
			e4	e5	e6

如在步骤120所示，计算互相关。对于两个选定系列e_i和e_j，其中一个被截短为40个像素的长度。它不影响让e_j成为截短系列的一般性。更短的系列允许互相关有效范围的足够长度。互相关在e_i与e_j之间计算：r_xy(e_i，e_j)。

在步骤130，确定块化伪影的维度。一般情况下，块化的尺度是8×8或16×16。为包括可能做为后处理的一部分由解码器缩放视频的情况，水平和垂直维度应假设为未知，但在某个数值范围内。此处且也在下面的论述中使用的示例是介于6到20之间的块效应大小。确定块化大小的关键是找出在步骤2中计算的互相关的主导频率。此处所述方法是此块化大小估计目的的更简单过程，而不是使用典型谱分析方法之一。估计的重要性将在步骤4中验证。i).对于[6，20]中的每个值hii).计算样本平均值m_h，k $m_{h,k}=\underset{i=0,...n}{\mathrm{\Σ}}\left(x_{k=i*h}\right),$ $n=\left[\frac{L-k}{h}\right]$

其中，[]表示截短为整数，因而n是整数，L是互相关系列的长度，以及k(k＝0，...，h-l)是偏移。

iii).跨所有k查找在每个给定h处样本平均值的最大值。m_h＝MAX(m_h，k)

iv).跨所有h查找平均值的最大值和次最大值m^* ₁和m^* ₂，并记录产生最大值的h^*。m^* ₁＝MAX(m_h)

在步骤140，确定块化伪影的存在。从步骤3检查估计的条件是m^* ₁＞2/3m^* ₂。

以步骤200做出判定。如果基于步骤140的估计而确定不存在块化伪影，或者如果在X和Y中的块维度假设为相等，则继续进一步分析和测量。然而，如果X和Y假设为不相等，则沿Y方向确定块化大小。

步骤210对应于步骤110，例如，在此处给出的示例中，沿每行执行数据简化。

步骤220对应于步骤120，并且步骤230对应于步骤130。

随后的分析和测量从图1的步骤20继续，之后是创建客观DC块效应图和概要、主观块效应图和概要，或者创建客观和主观两个结果。

Claims (10)

1.一种测量视频块内的DC块效应的方法，包括：

定位测试视频帧的块边界；

测量每个块内的相对AC差；

基于所述相对AC差，创建客观DC块效应图；以及

基于按图像块应用的所述客观值，创建主观块效应图，

其中创建主观DC块效应图的步骤包括按图像块将DC块效应值应用为主观图像响应图的加权。

2.如权利要求1所述的方法，其中定位块边界包括：

将块边界滤波器应用到所述测试视频帧；以及

采用块识别以确定块化降级的存在。

3.如权利要求2所述的方法，其中块识别包括：

在所述块边界滤波器的应用之后沿维度选择图像段；

计算所述图像段的互相关；

确定块化的x和y维度；以及

确定块化伪像的存在。

4.如权利要求3所述的方法，还包括重复选择所述图像段、计算所述互相关和在所述块维度不相等时沿第二维度确定块化的维度的步骤。

5.如权利要求1所述的方法，其中测量每个块内相对AC差的步骤包括比较来自测试视频帧的给定块的像素和来自参考视频帧的给定块的对应像素。

6.如权利要求1所述的方法，其中测量每个块内相对AC差的步骤包括比较来自测试视频帧的给定块的像素和统计生成的参考。

7.如权利要求1所述的方法，其中测量每个块内相对AC差的步骤包括比较来自测试视频帧的给定块的像素和白视频电平的默认值除以二。

8.如权利要求1所述的方法，其中创建客观DC块效应图的步骤包括为测量的视频的每个通道计算每个块内每个像素处的百分比DC块效应以确定原始DC块效应；修剪所述原始DC块效应；以及计算块网格中每个块的所述修剪的DC块效应的平均值。

9.如权利要求1所述的方法，其中所述主观图像响应图对应于测试视频帧与参考视频帧之间的差。

10.如权利要求1所述的方法，其中所述主观图像响应图对应于无参考视频帧可用情况下的感知对比度。

Images