CN1761975A - 视频质量评估中的边缘分析 - Google Patents

Abstract

本发明通过提供用于视频质量评估的方法和系统，将在本领域中本来已知的边缘检测器技术应用于自动视频质量评估领域，该方法和系统采用任意已知的边缘检测算法作为边缘检测阶段的基础，用于进行测试视频场/帧的边缘分析，以生成边缘参数值，然后可以将该边缘参数值用于提高总的视频质量值。边缘检测器阶段的使用有助于获得与图像属性相关的对于质量评估有价值的信息，其中这些图像属性对于人工观察器是可以明显感知的，因此使得通过自动评估提供的结果与通过进行主观评估的人工观察器进行的评估更相似。

Description

视频质量评估中的边缘分析

技术领域

本发明涉及用于进行自动视频质量评估的方法和系统，尤其涉及采用边缘分析技术的这种方法和系统。

背景技术

采用人工观察器的视频质量评估技术在本领域中是早已公知的，并且在CCIR Rec.500(ITU-R BT.500“Methodology for the SubjectiveAssessment of the Quality of Television Picture”)中描述了该技术。自动视频质量评估技术也是本领域中公知的。用于自动视频质量评估的现有技术系统的示例为来自美国俄勒冈州比弗顿的Tektronix公司的PQA300。该PQA 300将由处于测试状态下的系统生成的测试视频序列与对应的基准序列进行比较，并生成图像质量等级，该图像质量等级是表示测试视频序列的质量的量化值。为了生成图像质量等级，PQA 300相对于基准序列对测试序列进行空间分析、时间分析和全色分析。

在图像中进行边缘检测也是本领域公知的，并且在本领域中已知多种可应用于图像的边缘检测算法。已知的边缘检测算法的示例为Laplacian边缘检测器、Canny边缘检测器以及Rothwell边缘检测器。Canny边缘检测器的C编程语言的源代码可以通过优先权日之前的ftp从ftp：∥figment.csee.usf.edu/pub/Edge Comparison/source code/ cannv.src免费下载获得，而用于Rothwell边缘检测器的C源代码可以从 ftp：∥figment.csee.usf.edu/pub/Edge Comparison/source code/ rothwell.src获得。

发明内容

本发明通过提供用于视频质量评估的方法和系统，将在图像处理领域中本来已知的边缘检测器技术应用于自动视频质量评估领域，该方法和系统采用任意已知的边缘检测算法作为边缘检测阶段(stage)的基础，用于进行测试视频场/帧的边缘分析，以生成边缘参数值，然后可以将该边缘参数值用于提高总的视频质量值。边缘检测器阶段的使用有助于获得与图像属性(这些图像属性对于人工观察器是可以明显感知的)相关的对于质量评估有价值的信息，因此使得通过自动评估提供的结果与通过进行主观评估的人工观察器进行的评估更相似。

鉴于上述内容，根据第一方面，提供了一种视频质量评估方法，包括以下步骤：

生成用于基准视频场/帧和测试视频/帧的相应边缘映像(map)；

生成与包含在相应边缘映像中的边缘相关的数据；以及

使用所生成的数据生成视频质量测量值。

因此，本发明的第一方面采用了视频质量评估方法中的边缘检测技术，从而相对于通过对同一测试序列进行人工主观测试所获得的结果，改善了通过该方法获得的结果。

在优选实施例中，所述生成数据的步骤还包括生成与包含在各个边缘映像的对应子场/帧单元中的边缘相关的数据。这解决了与边缘提取算法相关的问题，因为这些算法对图像中可出现的噪声和退化敏感并且可能在结果中产生错误匹配。具体地，测试序列中的平滑效果终止于与基准信号中的所提取边缘进行比较时产生偏移的所提取边缘。因此，即使这种平滑效果很有可能不被进行主观视频质量评估的人工观察器注意到，边缘映像的直接像素比较也可能导致错误的视频质量评估值。

此外，在该优选实施例中，所述生成数据的步骤还包括：

对测试和基准场/帧的子单元中的边缘像素进行计数；

确定测试和基准场/帧中的对应子场/帧单元的相应计数之间的相应差值；以及

根据所述差值生成边缘参数值。

因此，进行测试和基准信号的子场/帧单元的比较，并获得边缘参数值，该边缘参数值表示各个子场/帧单元之间的差异。随后可以将该边缘参数值直接用作表示用于生成最终视频质量评估值的边缘数据的单个值。

优选地，在该优选实施例中，所述使用步骤还包括将所述边缘参数值与通过其它分析技术获得的其它参数值进行集成，以给出视频质量值。其它分析技术可以优选地包括空间分析、时间分析和/或纹理分析(texture analysis)中的任何一个或多个。

优选地，所述集成步骤包括根据预定的加权值对所述参数值进行加权，并将进行了加权的值相加，其中所得到的总和为视频质量值。

根据第二方面，本发明还提供了一种视频质量评估系统，其包括：

边缘映像生成装置，用于生成基准视频场/帧和测试视频/帧的相应边缘映像；

边缘映像分析装置，用于生成与包含在各个边缘映像中的边缘相关的数据；以及

视频质量值确定装置，用于使用所生成的数据来生成视频质量测量值。

在第二方面中，可以获得与前面对于第一方面所述相同的优点。另外，还可以提供相同的进一步特征和优点。

根据第三方面，本发明还提供了一种计算机程序或一组程序，其被设置为使得在由计算机系统执行所述程序时，它/它们使得该系统执行第一方面的方法。该一个或多个计算机程序可以通过经调制的载波信号来实现，该载波信号包含有与所述计算机程序或该组程序中的至少一个相对应的数据，例如通过网络(例如互联网)传送的信号。

另外，根据另一方面，本发明还提供了一种计算机可读存储介质，用于存储根据本第三方面的计算机程序或一组计算机程序中的至少一个程序。该计算机可读存储介质可以是磁、光、磁光、固态或者能够由计算机读取的其它存储介质中的任何一种。

附图说明

根据下面参照附图，以示例的方式对本发明实施例的描述，本发明的进一步特征和优点将变得明了，其中相同的附图标记表示相同的部分，并且在附图中：

图1是表示本发明实施例的组成部分及其间的信号流的系统框图；

图2是更详细地表示在本发明实施例中使用的各种检测器模块的系统框图；

图3是本发明实施例的空间分析器的框图；

图4表示由本发明实施例中的空间分析器生成的金字塔阵列(pyramid array)；

图5是表示在本发明实施例中生成金字塔数组的流程图；

图6是表示在本发明实施例中计算金字塔SNR值的流程图；

图7是表示本发明实施例的边缘分析器的框图；

图8是表示本发明实施例的边缘分析器的操作的流程图；

图9是表示本发明实施例的纹理分析器的操作的流程图；

图10是表示本发明实施例的集成器阶段(integrator stage)的操作的流程图；以及

图11是本发明第二实施例的框图。

具体实施方式

下面将描述本发明的实施例。

图1表示本发明实施例的大致结构的总体系统框图。在图1中，将包括基准序列场/帧的基准序列输入给检测器模块2。同样，还将视频场/帧测试序列8(在这里可互换地称为测试序列或者退化序列)输入到检测器模块2中。通过将基准序列输入到待测试的系统(例如，视频记录装置、广播系统或视频编码解码器)，并随后将处于测试状态下的系统的输出作为测试序列来获得该测试序列。检测器模块2用于检测所输入的基准和测试视频场/帧的各种视频特性，并生成视频特性值，然后将这些视频特性值输出给集成模块4。集成模块4将这些视频特性值集成在一起，以给出预测的视频质量值10，将预测的视频质量值10从集成模块4输出。

图2更详细地表示了本发明实施例的结构。这里可以看到，将基准和测试视频序列分别输入给四个分析器，即空间频率分析器22、亮度和色度功率信噪比分析器24、边缘分析器26和纹理分析器28。各个分析器用于生成各种视频特性值，作为它们分别进行的相应形式的分析的结果，并且将这些视频特性值输入给集成模块4。该集成模块随后将各个视频特性值组合在一起以生成视频质量值PDMOS 10，该视频质量值是与通过本发明实施例评估的测试视频质量相关的量化值。

现在返回以简要地介绍四个分析器模块22至28中的每一个，空间频率分析器22用于对所输入的测试视频场/帧和基准视频场/帧进行分析，并通过对所输入的基准视频场/帧和测试视频场/帧进行金字塔分析来生成金字塔SNR值PySNR(a，b)。另外，亮度和色度PSNR分析器24对所输入的基准场/帧和所输入的测试场/帧进行比较，以生成随后要输出的亮度和色度PSNR值。类似地，边缘检测器分析器26对所输入的基准场/帧和所输入的测试场/帧进行分析，并输出单个边缘检测器值EDif。最后，纹理分析器28对测试场/帧和基准场/帧进行分析，以计算表示当前测试场/帧中的纹理的参数TextureDeg、以及表示当前基准场/帧中的纹理的参数TextureRef。在任何情况下，稍后将更详细地描述这些空间频率分析器22、亮度和色度功率信噪比分析器24、边缘分析器26和纹理分析器28中的每一个的操作。

再次参照图1，可以看到，将来自各个分析器22至28的输出分别输入给集成模块4，该集成模块用于将这些值集成在一起，以生成预测的视频质量值10。稍后还将更详细描述集成器4的操作。

再次参照图2，下面将参照图3至图10来描述其中所示的各个模块和分析器的操作。

首先参照空间频率分析器22，图3中示出了空间频率分析器22的内部结构。这里可以看出，空间频率分析器22内部包括第一金字塔变换生成器222，该生成器用于接收测试视频场/帧作为输入。另外，设置有第二金字塔变换生成器224，该生成器用于接收基准视频场/帧作为输入。这两个金字塔变换生成器222和224分别相同地进行操作，以生成用于各个输入场/帧的金字塔阵列，然后将该金字塔阵列输入给金字塔SNR计算器226，以生成在各个对应的测试视频场/帧和基准视频场/帧之间的金字塔SNR量度。下面将参照图4至图6来描述空间频率分析器22生成金字塔SNR量度的操作。

首先参照图5，图5是表示由金字塔变换生成器222或224在生成相应的金字塔阵列时执行的步骤的流程图。因此，首先在步骤8.2，金字塔转换生成器从相应的序列(即，测试序列或基准序列)接收输入场/帧。然后，在步骤8.4，将计数器stage初始化为0，并开始处理循环，以生成金字塔阵列。随后生成金字塔阵列的总过程为三阶段两步骤过程，其中对于各个阶段0至2，在进行水平分析之后进行垂直分析。下面将根据步骤8.6至8.20来描述在水平和垂直分析的一个具体阶段中涉及的步骤。

当在步骤8.4开始处理循环时，对于金字塔处理的特定阶段，在步骤8.6执行的第一步骤为将正在处理的当前场/帧如下复制到temp阵列中：

PTemp(x，y)＝P(x，y)  x＝0...X-1，y＝0...Y-1                           (8-1)

然后，在步骤8.8，如下作为阶段参数的当前值的函数计算水平分析极限：

Tx＝X/2^(stage+1)                                                        (8-2)

Ty＝Y/2^stage                                                           (8-3)

接下来，在所计算的极限内进行水平分析，从而根据下式使用临时阵列的水平元素对的平均值和差值来更新金字塔阵列：

P(x，y)＝0.5*(PTemp(2x，y)+PTemp(2x+1，y))  x＝0...Tx-1，y＝0...Ty-1   (8-4)

P(x+Tx，y)＝PTemp(2x，y)-PTemp(2x+1，y)  x＝0...Tx-1，y＝0...Ty-1      (8-5)

并且在步骤8.12，使用水平分析的结果来重写所输入的场/帧值。

然后在步骤8.14开始对当前处理阶段进行垂直分析，其中将所输入的场/帧再次复制到temp阵列中。然而，在此应该注意，在步骤8.12，使用水平分析的结果来重写所输入的场/帧内的值，因此可以看出，对当前阶段的垂直分析的输入是从紧接着当前阶段的前一水平分析的输出。

接下来，在步骤8.16，如下作为stage值的函数计算垂直分析极限：

Tx＝X/2^stage                                                          (8-6)

Ty＝Y/2^(stage+1)                                                       (8-7)

此后，在步骤8.18，根据以下方程在所计算的极限内进行垂直分析，以根据以下方程使用临时阵列的垂直元素对的平均值和差值来更新金字塔阵列：

P(x，y)＝0.5*(PTemp(x，2y)+PTemp(x，2y+1))  x＝0...Tx-1，y＝0...Ty-1  (8-8)

P(x，y+Ty)＝PTemp(x，2y)-PTemp(x，2y+1)  x＝0...Tx-1，y＝0...Ty-1     (8-9)

在步骤8.20，使用在步骤8.18进行的垂直分析的结果来重写所输入的场/帧，以使所输入的场/帧阵列内的值与空间分析的第一阶段的结果相对应。在步骤8.22，进行评估以确定是否已经执行了用于生成金字塔阵列的空间分析的各个阶段，并且如果没有执行，则处理返回到步骤8.4，在步骤8.4将stage值加一，并再次重复步骤8.6至8.20。应该注意，对于各个阶段的水平分析和垂直分析的各个步骤，使用所计算的垂直和水平极限来重写所输入的场/帧内的值，从而在处理通过各个阶段逐步地进行时，将保存在输入场/帧内的值转换为金字塔结构，其中在每一级有四个象限。因此，在已经完成stage0至2中的每一个，从而在步骤8.22的评估导致处理循环结束时，构造了可以在步骤8.24输出的金字塔阵列。

在图7中示出了在各个处理阶段结束时所构造的金字塔阵列的格式。更具体地，图7(a)表示在阶段0处理结束之后输入场/帧阵列的内容，此时可以看出，其后为垂直分析步骤的水平分析步骤使阵列分为四个象限Q(stage，0至3)，其中Q(0，0)包含有与所输入的场/帧的四像素块的平均值相对应的值，Q(0，1)包含有与所输入的场/帧的四像素块的水平差值相对应的值，Q(0，2)包含有与四像素块的垂直差值相对应的值，而Q(0，3)包含有与四像素块的对角差值相对应的值。

随后将如图7(a)中所示的从阶段0分析输出的象限Q(0，0)用作对FOR循环的第二次迭代的输入，以进行阶段1处理，其结果如图7(b)所示。这里可以看出，已经使用与4×4像素块的分析相关的结果重写了象限Q(0，0)，但是其中每一个象限Q(1，0至3)包含有与前面对于阶段0输出所述的平均值、水平差值、垂直差值和对角差值相关的值。

将如图7(b)所示的阶段1分析的输出用作对图8的FOR循环的第三次迭代中的阶段2分析的输入，以给出图7(c)中所示的结果，其中可以看出，已使用象限Q(2，0至3)重写了象限Q(1，0)，其中象限Q(2，0至3)中的每一个分别与块的平均值、块的水平差值等相关，如前所述。在三个阶段的分析之后，如图7(c)中所示的所得到的金字塔阵列总共具有十个结果块，其中三个块Q(0，1至3)来自阶段0(2×2像素)分析，三个象限Q(1，1至3)来自阶段1(4×4像素)分析，以及四个象限Q(2，0至3)来自阶段2(8×8像素)分析。应该注意，图8的用于生成图7中所示的金字塔阵列的过程由各个金字塔变换生成器222和224来执行，以生成相应的金字塔阵列pref和pdeg，然后将这两个阵列输入SNR计算器226。在图6中示出了金字塔SNR计算器226的操作。

参照图6，首先在步骤9.2，金字塔SNR计算器226分别从金字塔变换生成器224和222接收基准和退化金字塔阵列。接下来在步骤9.4，开始处理循环，该处理循环处理计数器值stage从0至2的每一个值。接下来，在步骤9.6开始嵌套的第二处理循环，该第二处理循环处理值1至3之间的计数器值quadrant。在这些嵌套的处理循环中，在步骤9.8，根据下式计算基准和金字塔阵列之间的均方差量度值E(stage，quadrant)。

$E(s,q)=(1/{\mathrm{XY}}^2)\underset{x=x1(s,q)}{\overset{x2(s,q)}{\mathrm{\Σ}}}\underset{y=y1(s,q)}{\overset{y2(s,q)}{\mathrm{\Σ}}}{(\mathrm{Pr\; ef}(x,y)-\mathrm{P\; deg}(x,y))}^{2}s=0.2q=1.3---(9-1)$

其中，x1、x2、y1和y2限定了金字塔阵列内的象限的水平和垂直极限，并根据下式来计算：

x1(s，1)＝X/2^(s+1)  x2(s，1)＝2*x1(s，1)  y1(s，1)＝0  y2(s，1)＝Y/2^(s+1)           (9-2)

x1(s，2)＝0  x2(s，2)＝X/2^(s+1)  y1(s，2)＝Y/2^(s+1)  y2(s，2)＝2*y1(s，2)           (9-3)

x1(s，3)＝X/2^(s+1)  x2(s，3)＝2*x1(s，3)  y1(s，3)＝Y/2^(s+1)  y2(s，3)＝2*y1(s，3)  (9-4)

然后在步骤9.10存储每一个所计算的误差量度E(stage，quadrant)，此后在步骤9.12和9.14，更新quadrant和stage计数器的值以适于该处理循环。步骤9.4至9.14和步骤9.6至9.12的处理循环的操作用于计算计数器stage和计数器quadrant的各个值的误差量度值。

在计算均方差量度值之后，在步骤9.16，开始进一步的处理循环，以处理计数器stage从0至2的所有可能值，此后在步骤9.18，开始嵌套的处理循环，以处理quadrant计数器的值1至3。在这些嵌套的处理循环中，在步骤9.20，根据下式计算PSNR量度PySNR(stage，quadrant)：

if(E＞0.0)PySNR(s，q)＝10.0*log₁₀(255²/E(s，q))

else SNR＝10.0*log₁₀(255²*XY²)                                   (9-5)

然后在步骤9.22对其进行存储。在步骤9.24和后续步骤9.26，将计数器stage和quadrant的值加一，以适于这些处理循环，以使该嵌套的处理循环用于计算并存储各个stage值和各个quadrant值的PSNR量度。假定参数stage可以取值0至2，并且参数quadrant可以取值1至3，则可以看出，通过金字塔SNR计算器226总共生成9个PSNR量度，所有这些量度都可以输出给集成阶段4。

下面将参照图7和图8来描述边缘分析器26的操作。

图7表示边缘分析器26的内部结构。更具体地，边缘分析器26包括：第一边缘检测器262，用于接收并测试视频场/帧，并检测其中的边缘；以及第二边缘检测器264，用于接收从匹配模块30输出的基准视频场/帧，并检测其中的边缘。边缘检测器262和264都优选地根据已知的边缘检测算法进行操作，并以本领域中已知的方式生成边缘映像。例如，已知的边缘检测算法的示例有Laplacian边缘检测器、Canny边缘检测器以及Rothwell边缘检测器。Canny边缘检测器的C编程语言的源代码可以通过优先权日之前的ftp从 ftp：∥figment.csee.usf.edu/pub/Edge Comparison/source code/canny.src免费下载获得，而用于Rothwell边缘检测器的C源代码可以从 ftp：∥figment.csee.usf.edu/pub/Edge Comparison/source code/rothwell.src获得。

将由各个边缘检测器262和264生成的各个边缘映像输入给块匹配装置266，该块匹配装置用于以将要进行说明的方式对各个边缘映像进行比较，并生成表示该比较的输出参数EDif。在图8中更详细地示出了边缘分析器26的操作。

参照图8，首先在步骤11.2，各个边缘检测器262和264计算相应的基准和退化边缘映像。如上所述，边缘检测器262和264所采用的边缘检测算法优选地为现有技术中已知的算法，例如Canny边缘检测器。边缘检测器262和264将基准和退化边缘映像输出给块匹配装置266，其中在步骤11.4，将基准和退化边缘映像中的每一个分为n×m块。接下来，块匹配装置266用于对构成基准和退化边缘映像中的每个块内的部分边缘的各个像素进行计数。因此，在步骤11.6之后，块匹配装置266获得了基准和退化边缘映像中的每一个的各个块的边缘像素的计数。

在计数步骤之后，在步骤11.8，块匹配装置266计算在基准和退化边缘映像中对应块之间的相应像素计数值的差异。因此在步骤11.8之后，可以获得与在基准或退化边缘映像中之一内的块一样多的差值。

在步骤11.8之后，在步骤11.10，块匹配装置266将各个差值赋给幂(power)Q，并且在步骤11.12，对所获得的值求和。因此，在步骤11.10之后，仍然存在与基准或退化边缘映像之一中的块一样多的值，但是在步骤11.12之后，获得了与在步骤11.10计算的值的总和相对应的单个结果。在步骤11.14，将所获得的总和值赋给幂1/Q，并且在步骤11.16，从块匹配装置266输出该计算的结果作为EDif参数。如从图2可以看出，将EDif参数从边缘分析器26输出给集成阶段4。稍后将描述在集成阶段中使用EDif参数。

在某些情况下考虑在边缘求差步骤11.6至11.16中从场/帧边缘的分析偏移量是有用的，在这种情况下，该处理如下。

在处理相应的边缘映像之后，块匹配装置随后计算各个分析块中的边缘标记像素的数量的量度，其中nX和nY限定了将沿水平和垂直方向进行分析的非重叠块的数量，而X1和Y1限定了从场边缘的分析偏移量。

$\mathrm{Bref}(x,y)=\underset{i=i1}{\overset{i2}{\mathrm{\Σ}}}\underset{j=j1}{\overset{j2}{\mathrm{\Σ}}}\mathrm{EMap\; Re\; f}(\mathrm{Nx}+X1+i,\mathrm{My}+Y1+j)$

x＝0...nX-1，y＝0...nY-1                                    (11-1)

$\mathrm{BDeg}(x,y)=\underset{i=i1}{\overset{i2}{\mathrm{\Σ}}}\underset{j=j1}{\overset{j2}{\mathrm{\Σ}}}\mathrm{EMapDeg}(\mathrm{Nx}+X1+i,\mathrm{My}+Y1+j)$

x＝0...nX-1，y＝0...nY-1                                    (11-2)

根据下式来确定求和极限：

i1＝-(N div 2)  i2＝(N-1)div 2                                (11-3)

j1＝-(M div 2)  j2＝(M-1)div 2                                (11-4)

其中，操作符“div”表示整除。

然后，根据下式计算整个场中的差值的量度：

$\mathrm{EDif}=(1/N*M*\mathrm{nX}*\mathrm{nY})*{\left(\underset{x=0}{\overset{\mathrm{nX}-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{\mathrm{nY}-1}{\mathrm{\Σ}}}{(\mathrm{B\; Re\; f}(x,y)-\mathrm{BDeg}(x,y))}^Q\right)}^{1/Q}---(11-5)$

对于用于625广播视频的720×288像素场：

N＝4，X1＝6，nX＝178，M＝4，Y1＝10，ny＝69                    (11-6)

而对于用于525广播视频的720×243像素场：

N＝4，X1＝6，nX＝178，M＝4，Y1＝10，ny＝58                    (11-7)

应该注意，由方程11-1至11-7表示的上述处理基本上与已参照图11所述的相同，其区别在于考虑了从场/帧边缘的分析偏移量。将通过方程11-5获得的参数EDif以与上述相同的方式输出给集成阶段4。

下面将参照图9来描述纹理分析器28的操作。

数字视频压缩倾向于通过在编码处理中使用的DCT系数的量化，来减少图像内的纹理或细节。因此，纹理分析可以获得与这种压缩相关的重要信息，并在本实施例中用于提供视频特性值TextureDeg和TextureRef。更具体地，通过记录强度信号沿水平图像线的转向点的数量，来测量纹理参数值TextureDeg和TextureRef。如图9所示执行该处理。

参照图9，首先在步骤12.2，纹理分析器28接收到待处理的当前测试场/帧。从图2可以看出，纹理分析器28接收测试视频场/帧，以及原始的基准场/帧。然而，在其它实施例中，纹理分析器28可以仅接收基准场/帧或测试场/帧中的一个，在这种情况下仅适当地计算一个TextureDeg或TextureRef参数。

在步骤12.2之后，在步骤12.4，将转向点计数器sum初始化为零。接着，在步骤12.6，在有限循环0至Y-1内对所输入的视频场/帧循环中的每条线开始处理循环，其中Y是视频场/帧内的线的数量。在该处理循环中，在步骤12.18，将值last_pos和last_neg均初始化为0。接下来，在步骤12.10，开始嵌套的第二处理循环，以处理每条线y中的各个像素x，其中x取值为0至X-2，其中X是在所输入的视频场/帧的线中的像素数量。

在该嵌套的处理循环中，在步骤12.12，计算位置x处的像素值与位置x+1处的像素值之间的差值。然后，在步骤12.14，进行评估以确定所计算的差值是否大于0，并还确定值last_neg是否大于值last_pos。如果满足该逻辑条件，则计数器值sum加一。在步骤12.14之后，在步骤12.16，进行二次评估，以确定在步骤12.12计算的差值是否小于0，并且还确定值last_neg是否小于值last_pos。如果满足该逻辑条件，则计数器值sum加一。应该注意，步骤12.14和步骤12.16的评估是相互排斥的，所以对于任何单个的特定像素不可能使计数器值sum增加两次。在步骤12.16之后，在步骤12.18，进行进一步的评估以确定所计算的差值是否大于零，在这种情况下，将值last_pos设定为当前像素数量x。另选地，在步骤12.20，进行二次评估，以确定所计算的差值是否小于零，在这种情况下，将值last_neg设定为当前像素数量x。

在步骤12.20之后，在步骤12.22，进行评估以确定是否已经处理了当前线中的所有像素x，如果没有，则处理返回到步骤12.10，在步骤12.10中对下一像素进行处理。然而，如果已经处理了所有像素，则处理进行到步骤12.24，在步骤12.24中进行评估，以确定是否已经处理了当前输入帧中的所有线y，如果没有，则处理返回到步骤12.6，开始处理下一条线。这些嵌套的处理循环的结果为：对每条线上的各个像素进行了处理，并且每当步骤12.14和步骤12.16的评估返回“真”时，计数器sum加一。因此，在处理循环完成之后，计数器sum将包含表示在所输入的场/帧中的纹理转向点的特定值。

使用保存在计数器sum中的该值，在步骤12.26，作为保存在计数器sum中的该值的函数，如下计算纹理参数：

Texture＝sum*100/XY                                          (12-1)

在步骤12.28，可以将由此计算得到的纹理参数从纹理分析器28输出给集成阶段4。

下面将描述亮度和色度功率信噪比分析器24的操作。

如图2所示，亮度和色度功率信噪比分析器24接收进行了匹配的基准视频场/帧和退化视频场/帧作为输入。然后可以根据以下方程在强度和颜色信噪比量度中使用这些输入，其中RefY和DegY是基准和退化强度场，而RefU、DegU、RefV和DegV是根据YUV标准颜色格式的色度场：

$\mathrm{YPSNR}=10.0*{\log }_{10}({255}^2*\mathrm{XY}/\left(\underset{x=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}{(\mathrm{Re\; fY}(x,y)-\mathrm{DegY}(x,y))}^2\right))---(2-1)$

$\mathrm{UPSNR}=10.0*{\log }_{10}({255}^2*\mathrm{XY}/\left(\underset{x=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}{(\mathrm{Re\; fU}(x,y)-\mathrm{DegU}(x,y))}^2\right))---(2-2)$

$\mathrm{VPSNR}=10.0*{\log }_{10}({255}^2*\mathrm{XY}/\left(\underset{x=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}{(\mathrm{Re\; fV}(x,y)-\mathrm{DegV}(x,y))}^2\right))---(2-3)$

当然，在本发明的其它实施例中并不使用YUV颜色模型，例如RGB和YCbCr，当然对于本领域技术人员显然可以计算相似的对应量度。

返回图1，将来自检测器模块2中的匹配模块和分析器的各种输出输入给集成阶段4，其中将各种值集成在一起以给出视频质量值10。下面将参照图10来描述集成阶段4的操作。

通常，集成阶段的操作是通过对由分析器22至28生成的视频特性参数值选择性地适当加权，来对测试视频序列的感知视频质量进行估计。所使用的特定参数值集合和对应加权因子的值取决于所测试视频的具体类型，并且通过在先校准来预先确定。对具有已知主观分值并优选地具有与待测试的退化序列相类似的特性的大视频序列集合进行校准。

集成过程的总体形式为首先通过场/帧检测参数对场/帧进行时间加权，然后组合该时间加权值和平均值，以给出预测的质量分值(其为总体视频质量值)。在图10中示出了实现该操作的处理。

首先，集成阶段4在步骤13.2接收从各种检测器和分析器输出的参数值并对其进行存储。如上所述，空间频率分析器22输出PySNR值，而亮度和色度功率信噪比分析器24输出所使用的颜色模型中的各个亮度和色度特性的PSNR值。另外，边缘分析器26如上所述输出EDif参数，而纹理分析器28至少给出值TextureDeg，但是如果合适，还可以输出值TextureRef和TextureMref。对于特定的测试视频场/帧，不管由各个较早阶段输出什么参数和值，集成阶段都接收输出信息并对其进行存储。

接下来，在步骤13.4，集成阶段选择视频类型，并根据该视频类型来选择集成参数集合。例如，下面给出了720×288像素每场的625广播视频的集成参数集合，该625广播视频已经以1Mbit每秒和5Mbit每秒之间的比特率进行了MPEG编码，并且可以通过在先校准来确定：

N＝400，K＝6，偏移＝176.486                                (4-1)

K	参数名称	W	Mnk
				0	TextDeg	-0.68	1.0
1	PySNR(3，3)	-0.57	1.0
				2	EDif	58913.294	1.0
3	YPSNR	-0.928	1.0

表1  625广播视频的集成参数

而525线视频的加权值为：

K	参数名称	W
			0	TextDeg	+0.043
1	PySNR(3，3)	-2.118
			2	EDif	+60865.164
偏移	+260.773
			N	480

表2 525广播视频的集成参数

如上所述，通过校准预先确定各种加权因子的准确值。另外，在集成阶段4中以查找表等的方式存储各个集成参数集合。

在选择视频类型并根据所存储的查找表设定了集成参数后，在步骤13.6，开始处理循环，以处理值0至K-1内的各个集成参数类型k，其中各个参数(k)是从各种分析器或匹配模块接收的参数中的特定的一个。在该处理循环中，在步骤13.8，首先根据下式来计算这些参数值的时间加权平均值AvD(k)：

$\mathrm{AvD}\left(k\right)=(1/N)*{\left(\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}D{(k,n)}^{\mathrm{mnk}}\right)}^{1/\mathrm{mnk}}---(13-1)$

其中，n是场的数量，D(k，n)是第k检测参数的第n场，而mnk是“minkowski”加权系数。接下来，在步骤13.10，将时间加权平均值AvD(k)乘以适当的加权系数w(k)并存储所得到的乘积。从用于存储在集成阶段4中的视频类型的适当查找表，读取适当的加权系数w(k)。

在步骤13.12，进行评估，进行评估确定是否已经处理了所有的集成参数(k)，如果没有，则再次执行步骤13.6的处理循环，直到处理了所有的参数为止。当处理了所有的参数时，对于各个类型的参数k可以获得进行了适当加权的时间加权平均值，然后在步骤13.14如下与偏移值一起进行求和：

以给出最终的视频质量值PDMOS，然后在步骤13.16输出该视频质量值PDMOS。

所输出的视频质量值PDMOS可用于多种用途。具体地，其可以用于评估现有视频服务的质量以确保合适的质量，或者另选地用于测试不同视频编码解码器的性能。另外，视频质量值可以用于评估新视频服务的性能，例如互联网上的宽带型视频服务。

除非上下文明确需要，否则在本说明书和权利要求书中词语“包括”应当理解为包含(与排他或穷尽相反)；也就是说，其含义为“包含但并不限于”。

此外，为了避免歧义，已参考了现有技术文献或公开，其全部或部分内容对于读者(本领域技术人员)理解本发明的任一实施例的操作或实施是必需的，在此通过引用并入所述内容。

Claims (13)

1、一种视频质量评估方法，包括以下步骤：

生成基准视频场/帧和测试视频/帧的相应边缘映像；

生成与包含在所述相应边缘映像中的边缘相关的数据；以及

使用所生成的数据生成视频质量测量值。

2、根据权利要求1所述的方法，其中，所述生成数据的步骤还包括：生成与包含在所述相应边缘映像的对应子场/帧单元中的边缘相关的数据。

3、根据权利要求2所述的方法，其中，所述生成数据的步骤还包括：

对所述测试和基准场/帧的子单元中的边缘像素进行计数；

确定所述测试和基准场/帧中的对应子场/帧单元的相应计数之间的相应差值；以及

根据所述差值生成边缘参数值。

4、根据权利要求3所述的方法，其中，所述使用步骤还包括：将所述边缘参数值与通过其它分析技术获得的其它参数值进行集成，以给出视频质量值。

5、根据权利要求4所述的方法，其中，所述集成步骤包括：根据预定的加权值对所述参数值进行加权，并对进行了加权的值求和，其中所获得的和为所述视频质量值。

6、一种计算机程序或一组程序，其被设置为使得当由计算机系统执行该计算机程序或该组程序时，它/它们使得该系统执行权利要求1至5中的任何一项所述的处理。

7、一种经调制的载波信号，该载波信号包含有与权利要求6的计算机程序或该组程序中的至少一个相对应的数据。

8、一种计算机可读存储介质，用于存储根据权利要求6的计算机程序或一组计算机程序中的至少一个程序。

9、一种视频质量评估系统，其包括：

边缘映像生成装置，用于生成基准视频场/帧和测试视频/帧的相应边缘映像；

边缘映像分析装置，用于生成与包含在所述相应边缘映像中的边缘相关的数据；以及

视频质量值确定装置，用于使用所生成的数据来生成视频质量测量值。

10、根据权利要求9所述的系统，其中，所述边缘映像分析装置还用于生成与包含在所述相应边缘映像的对应子场/帧单元中的边缘相关的数据。

11、根据权利要求10所述的系统，其中，所述边缘映像分析装置还包括：

计数装置，用于对所述测试和基准场/帧的子单元中的边缘像素进行计数；

求差装置，用于确定所述测试和基准场/帧中的对应子场/帧单元的相应计数之间的相应差值；以及

参数计算装置，用于根据所述差值计算边缘参数值。

12、根据权利要求11所述的系统，还包括一个或多个其它分析装置，分别用于分析所述基准和测试视频场/帧，以及生成与相应分析的结果相关的相应分析参数值；其中，所述视频质量值确定装置还包括集成装置，用于将所述边缘参数值与通过所述其它分析装置获得的其它参数值进行集成，以给出所述视频质量值。

13、根据权利要求12所述的系统，其中，所述集成装置包括：加权装置，用于根据预定的加权值对所述参数值进行加权；以及求和器，用于对进行了加权的值进行求和，其中所获得的和为所述视频质量值。

Images