CN101682796B - 用于视频质量评估的方法和系统 - Google Patents

Abstract

提供了一种用于对包括多个视频帧的视频信号进行评估的系统和方法。在所述多个视频帧中，对从一个帧变到下一个帧的像素数量进行分析，如果呈现在当前帧中的设定比例的像素与呈现在前一帧中的相匹配，则将每一帧标识为重复。记录所得的该视频信号中的重复帧的模式。接着，扫描所得模式，以确定指定重复帧是否为时间重复模式的一部分，并且标识那些没有被确定为时间重复模式的一部分的重复帧。作为上述的结果，视频质量评估能够分离地处理这两种类型的时间赝象，从而在几乎看不见的规则帧丢失与视觉扰乱的不规则帧丢失之间加以区分。

Description

用于视频质量评估的方法和系统

技术领域

本发明涉及用于评估视频信号质量的方法和系统，具体来说，涉及用于评估重复帧对视频信号质量的影响的方法和系统。 

背景技术

视频质量测试已经进行了许多年。在针对视频的数字压缩技术出现之前，一直都在借助一套相对稳定的标准化方法来使用正式主观测试(formal subjective testing)。简单地说，选择多个非专业观察者，对他们的视觉能力进行测试，在受控环境下给出一系列测试场景大约10到30分钟，并且要求他们按多种方式中的一种方式对这些场景的质量进行评分。通常来说，针对完整的基准测试，首先示出基准序列，跟着示出要测试的序列，并且要求观看者相对于基准序列对所测试的序列进行评价。主观测量的进一步细节可以在相关标准ITU-R BT.500“Methodology for theSubjective Assessment of the Quality of Television Picture”中找到。这个标准首先在1974年发布并且正式地命名为CCIR Rec.500，并且这个文献的版本7涵盖了过去提出的针对主观测试的方法。 

利用人类观看者进行的主观测试有许多优点，因为可以得到针对常规和压缩电视制式两者的有效结果，并且它可以在静态和运动图片应用的宽泛范围上运行良好。然而，存在的明显缺点在于，精确设置的测试可能影响所获取的结果，需要小心翼翼地设置和控制，并且为了获取统计上显著的结果，必须选择和筛选大量的人类观看者。这些缺点使主观测试复杂且耗时，结果，虽然主观测试可以应用于发展目的，但它们不会将其本身引导至操作检测、生产线测试等。 

因此，为了规避如上所述人类主观测试的缺点，本领域还已知的是，提供一种利用自动化并且通常基于计算机的视频比较技术的自动视频质 量评估。执行自动图片质量分析的现有技术系统是来自泰克有限公司(14200 SW Karl Braun，P.O.Box 500，Beaverton，Oregon 97077 USA)的PQA 300系统。PQA 300通过测量五秒钟视频测试序列中的两秒钟部分来工作。该视频测试序列可以从CD ROM中下载或者从视频上记录，并且在测试时向系统放出。接着，存储所测试的系统的输出，并且通过在两秒钟序列上利用DSP加速硬件对其进行分析。该测量得到了被称作“图片质量等级”的单个图片质量数值。PQA 300采用被称为JND Metrix的人类视觉系统模型，并且执行三种不同类型的视频信息分析，分别为空间分析、时间分析，以及全色分析，以便生成图片质量等级。另外，PQA 300提供了采用动画地图形式显示的PSNR值，该动画地图的强度涉及基准图像与测试图像之间的PSNR差。因此，总起来说，PQA 300能够分析测试和基准视频序列，以便生成视频质量值以及PSNR测量值。 

然而，伴随着测试与基准序列的直接比较以生成上述质量度量可能会产生问题。例如，视频信号中的显著可感知质量劣化源是由时间赝象(temporal artefact)衍生出的，即，代替已经丢失的原始帧而重复帧的地方。帧重复的一个来源是发送错误，其可能使视频信号定格达可变时段。缓冲器上溢和下溢可以导致类似影响。然而，随着针对低带宽系统设计的发送技术(例如移动电话上的视频流)的出现，出现了一组新的时间赝象。这些新的时间赝象是因为使用时间二次采样以缩减要发送的整体信息而产生的。可以将对于视频流的这种影响描述为周期性帧丢失，或者描述为在对基准信号与劣化信号进行比较时变明显的规则帧重复。尽管用户通常觉察不到，但这些规则重复的帧对于质量评估系统是个问题，因为它们生成了一系列错误突发(error burst)。另外，这些重复帧的模式(pattern)可能较复杂。最后，如前所述，时间二次采样的影响与真实发送错误相交叠。 

发明内容

本发明致力于通过提供一种进行自动视频质量评估的方法和系统来解决上述问题，该方法和系统能够识别时间赝象并且在时间二次采样的 规则帧重复特征与故障的不规则帧重复特征之间加以区别。 

更具体地说，本发明提供了一种对包括多个视频帧的视频信号进行评估的方法，该方法包括以下步骤： 

1)在所述多个视频帧中，分析从一个帧变到下一个帧的像素数量； 

2)如果呈现在当前帧中的设定比例的像素与呈现在前一帧中的相匹配，则将该帧标识为重复； 

3)记录所述视频信号中重复帧的模式； 

4)扫描所述模式，以确定指定重复帧是否为时间(temporally)重复模式的一部分； 

5)通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来生成质量指示符； 

6)通过在所述模式中建立在所述模式中被称作第一帧的多个帧的第一窗口以及具有相同尺寸的第二窗口，来扫描所述模式； 

7)按相对于所述第一窗口有所偏移的方式来布置所述第二窗口； 

8)对所述第一窗口和所述第二窗口中的重复帧的模式进行比较，并且记录这些模式之间失配的数量； 

9)在偏移范围上针对每一个偏移值重复所述比较并且记录结果； 

10)针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏移值范围上重复所述比较，并记录结果； 

11)确定在偏移值范围上提供了失配值最小变化的目标窗口尺寸。 

所述方法优选地还包括通过以下操作来生成质量指示符的步骤：对第一部分中重复帧的模式与具有相同尺寸的多个第二部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每一个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的尺寸由所述目标窗口的尺寸来决定。 

优选的是，所述方法包括以下步骤：将所述质量指示符与一个或更多个已知质量指示符进行组合，以生成感知平均意见得分。 

在本发明的实施方式中，所述分析是针对每一帧的一部分执行的，而该部分不包括帧的边缘。在本发明的一方面中，每一帧都包括多个像 素。在一优选实施方式中，如果相邻帧中的第一帧中的一个像素处于第二帧中的对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标识为匹配。 

在本发明的实施方式中，判定机制对每一个像素应用阈值，如果一帧中的所有像素都处于前一帧中的对应像素的预定阈值内，则将该帧标识为重复。 

另外，根据又一方面，本发明还提供了一种计算机程序或程序组，该计算机程序或该程序组被配置成，当由计算机系统执行时它/它们使得所述计算机系统执行任一权利要求所述的方法。 

本发明还提供了一种对包括多个视频帧的视频信号进行评估的系统，其中，所述系统包括：用于通过分析从一个帧变到下一个帧的像素数量来检测重复帧并且记录重复帧的模式的装置；用于扫描所述模式以确定指定重复帧是否为时间重复模式的一部分并且通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来生成质量指示符的装置； 

其中，用于扫描所述模式的装置包括：用于在所述模式中建立在所述模式中被称作第一帧的多个帧的第一窗口以及具有相同尺寸的第二窗口的装置；其中，按相对于所述第一窗口的偏移量来布置所述第二窗口；其中，用于扫描所述模式的装置还包括：用于对所述第一窗口和所述第二窗口中的重复帧的模式进行比较并且记录这些模式之间失配数量的装置；用于在偏移范围上针对每一个偏移值重复所述比较并且记录结果的装置；用于针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏移值范围上重复所述比较并记录结果的装置；以及用于确定在所述偏移值范围上提供了失配值最小变化的目标窗口尺寸的装置。 

在一优选实施方式中，所述系统包括用于通过以下操作来生成质量指示符的装置：对第一部分中的重复帧的模式与具有相同尺寸的多个第二部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每一个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的尺寸由所述目标窗口的尺寸来决定。 

在一优选实施方式中，所述系统还包括用于将所述质量指示符与一个或更多个已知质量指示符进行组合以生成感知平均意见得分的装置。 

附图说明

而且，根据下面对本发明的、仅通过实施例的方式呈现的实施方式的描述，并且通过参照附图，本发明的特征和优点将变清楚，其中，相同标号指相同部分，并且其中： 

图1是本发明的系统的总体框图； 

图2是更详细示出图1的系统的框图； 

图3是例示了要输入到本发明实施方式中的、下采样后的视频信号的图； 

图4a、4b以及4c是例示了根据本发明实施方式的对一系列标记进行分析的图； 

图5是示出了本发明的分析器的各个部分的系统框图； 

图6是例示了本发明实施方式的整合器所执行的步骤的流程图； 

图7是例示了本发明的第二、基于软件的实施方式的图。 

具体实施方式

图1例示了本发明实施方式的一般排布结构的总体系统框图。在图1内，包括基准序列场/帧的基准序列8被输入至检测器模块2。类似的是，还将视频场/帧的测试序列或劣化序列6输入到检测器模块2中。测试序列是通过将基准序列输入要测试的系统(举例来说，如录像装置、广播系统，或视频编解码器)中然后取所测试的系统的输出作为测试序列来获取的。检测器模块2用于检测输入基准和测试视频场/帧的各个视频特征，并且生成随后被输出至整合(integration)模块4的视频特征值。整合模块4将视频特征值整合在一起，以给出从其输出的预测视频质量值10。 

如图2所示，将劣化视频序列6输入至多个分析器22-28的劣化序列输入部。所用分析器的选择可以取决于应用。已知分析器包括：空间频率分析器；亮度和色度峰值信噪比(PSNR)分析器；边缘检测器分析器； 以及纹理分析器。下面，将对这些已知分析器的用途和操作进行简要概述，而完整的描述可以在专利公报EP 1636755中获得。本发明有利地提供了一种采用后面要详细描述的“时间规律性分析器”形式的附加形式的分析。可以省略某些分析器的应用的例子是在移动电话处对信号进行实时评估。由于目前移动手机的局限性，诸如纹理分析的一些处理器密集型(processor-intensive)操作可能被省略。 

在上面提到的已知分析器模块的类型当中，空间频率分析器用于对输入的测试视频场/帧和基准视频场/帧进行分析，并根据对输入的基准场/帧和测试场进行金字塔状分析来生成金字塔状SNR值PySNR(a，b)。另外，亮度和色度PSNR分析器对输入的基准场和输入的测试场进行比较以生成随后被输出的亮度和色度PSNR值。类似的是，边缘检测器分析器对输入的基准场和输入的测试场进行分析并输出单个边缘检测器值EDif。最后，纹理分析器对测试场进行分析以计算表示该帧内的纹理的参数TextureDeg。这些已知分析器(即，空间频率分析器、亮度和色度峰值信噪比分析器、边缘检测器分析器以及纹理分析器)中的每一个的操作都在专利公报EP 1636755中作了更详细的描述。 

图3示出了来自已经进行了时间下采样(带宽缩减)的视频信号的一序列帧。水平轴表示时间，而垂直轴表示存在或不存在帧，其中，存在帧由时间轴上恰当点处的垂直箭头来表示，而缺失帧由恰当时间点处无垂直箭头来表示。下采样通过按规则间隔从视频序列中去除多个帧来起作用；由此减少了视频信号每秒钟运送的帧数。在图3的示例中，这种下采样的效果是去除了时间t1、t3、t5、t7、t9等处的帧。应注意到，在时间t8处缺失了另一帧。在时间t8处缺失的帧并没有构成由下采样引起的丢失帧的规则序列的一部分，而是随机错误的结果。本发明的目的是将这种类型的随机缺失帧识别为与因下采样而造成的规则丢失帧相独立的事件。采用本发明的质量评估中的下一步骤是将这两个时间赝象作为独特的并且具有不同主观意义来加以处理。 

本算法中的第一步骤是创建存储在缓冲器中的时间线，其表示针对视频序列的每一个时隙，该帧是否为前一帧的重复。针对当前帧是具有 新视觉内容还是与前一帧类似的内容来判断重复。这是通过分析从一个帧变到下一个帧的像素数量来完成的。根据一优选实施方式，这种分析是针对整个帧的一部分(被称作活动帧)来执行的，以便忽略该帧的边界处的所有额外信息。已知的是，出于操作的原因，在不涉及视频内容的帧边界处包括有额外信息(如时间码信息)。将分析限制于活动帧避免了因这种无关信息而造成的虚假结果。如果当前活动帧(t1)中的所有像素都与前一帧中存在的那些像素相同，则将当前帧标记为重复。 

在视频处理链包含类似分量的情况下，可以通过针对每一个像素创建阈值来改进判断机制。如果每一个像素值都处于前一帧的对应像素值的阈值内，则将该帧标记为重复。因此，生成了排列在表示存在重复帧的阵列中的一系列标记，且每帧一个。 

下一个步骤是确定指定重复帧是一周期(例如，由下采样引起)的一部分还是由另一效果生成的。为了实现这个步骤，首先，对系列标记进行分析，寻找丢失帧的时间重复模式。一旦确定了时间重复模式；就将没有形成该模式一部分的剩余重复帧标识为因故障而引起。根据本发明的一实施方式，重复下面的算法以处理这些标记： 

下面参照图4a，来描述根据本发明的对一系列标记进行的分析。图4a示出了分别按1和0表示重复帧和新帧的标记序列70。在该图中，重复帧的规则模式(可能由于对视频信号进行下采样而造成)用加粗的1来表示。为了分析该系列标记(在该图中用1和0来表示，70)，在位置t处设置了基准分析窗口74，初始尺寸X等于Xmax个标记(每一个标记表示一个帧)。在该系列标记中的初始位置t-a处设置了第二偏移分析窗口76，其中a是时间偏移量。偏移分析窗口76被设置成，初始尺寸X等于Xmax个标记的基准窗口74的尺寸。 

记录落入该系列标记中的位置t处的基准窗口74内的“重复标记”(即，表明该序列中重复帧的标记)的模式并且将其与落入位置t-a处的偏移窗口76内的重复标记的模式进行比较。参照图4a所示标记序列给出一个例子可能会有所帮助。如果这样来解释1和0，即1表示重复帧而0表示新帧，则基准窗口74中的重复标记的数量为四，而偏移值等于a′ 处的偏移窗口76中的标记的数量也为四。如果此时查看这些标记的模式，就会发现： 

位置t处的基准窗口74         0 1 1 0 1 0 0 1 0 

位置t-a′处的偏移窗口76     0 1 0 1 1 0 1 0 0 

基准与偏移匹配？            Y Y N N N Y Y Y Y 

由此我们发现，对于窗口尺寸X和偏移a′来说，偏移窗口76中的五个标记与基准窗口44中的对应标记相匹配。 

接着，连续地递增偏移值并重复比较基准窗口与偏移窗口中的标记模式，直到偏移量达到预定最大值amax为止。图4b示出了偏移值a被递增至值a″并且偏移窗口76包含三个重复帧标记的中间阶段。如果此时查看针对偏移a″的标记的模式，就会发现： 

位置t处的基准窗口74         0 1 1 0 1 0 0 1 0 

位置t-a″处的偏移窗口76     0 1 0 1 0 0 0 1 0 

基准与偏移匹配？            Y Y N N N Y Y Y Y 

由此我们发现，对于窗口尺寸X和偏移a″来说，偏移窗口76中的六个标记与基准窗口44中的对应标记相匹配。 

针对每一个偏移值a，将比较结果存储在累积器中。一旦偏移窗口到达范围端点，即，偏移a达到最大值amax，就从偏移值a′开始重复操作，但基准窗口和偏移窗口的尺寸X递减至Xmax-1。针对每一个窗口尺寸值X，将比较结果存储在累积器阵列中。时间偏移a的最大值是根据要分析的数据来选择的，可以取一个范围内的值，以包括针对高质量视频的大约一秒钟的值，和针对低帧速率和更大复杂性(例如，针对用于移动电话的视频信号)的大约10秒钟的值。 

重复这个循环，直到窗口尺寸X达到最小值Xmin为止。在这一点上，累积器包含二维数据阵列，如下所述：针对每一个窗口尺寸值X，表示基准窗口和偏移窗口中的重复帧的模式在偏移值的范围上(即，在采样帧上)匹配得如何。下面，继续分析来处理这个数据，以确定对于X而言最佳值是什么，其中所固有的是，周期性帧丢失模式的最可能长度是什么。 

针对每一个窗口尺寸值X，检查累积器阵列的规律性。针对指定值X，每当基准帧中的和偏移帧中的重复帧的模式之间存在差别时就使计数器递增。接着，基于最小的失配数量来选择窗口尺寸的最佳值X′。在存在针对X的、以此为基础可平等评分的两个或更多个值的情况下，选择最大值。选定值X′给出了丢失帧的重复模式的预测尺寸。 

一旦确定了这个针对丢失帧的重复模式的尺寸的值，就将其用于计算上述序列标记中的自相关，表示哪些帧是重复的而哪些是新的。这种相关的结果提供了可用于下一个阶段的出错指示符。 

更详细地说，接着，如下所述来利用通过上述操作而确定的窗口尺寸值X′，以便在规则与不规则帧重复之间加以区别。在进一步的阶段中利用选定窗口尺寸X′对标记序列70进行分析。如图4c所示，根据这个阶段的分析，将标记序列70中的长度为X′的第一部分77中所包含的重复帧的模式与相同长度的相邻部分78中的模式相比较。在图4c的示例序列中给出了以下模式，从部分77开始，并且按时间向后移动(该图中朝左移动)： 

基准部分77     101001 

第一部分78     000101 

第二部分78     010101 

第三部分78     010001 

第四部分78     101001 

第五部分78     001101 

如果我们将上述比较应用于上述示例中的多个部分，就会发现第一部分78包含与基准部分77的3处失配；第二部分78包含与基准部分77的4处失配；第三部分78包含与基准部分77的3处失配；第四部分78与包含基准部分77的0处失配；而第五部分78包含与基准部分77的2处失配。应注意到，每一部分中加粗的1都是对准的，因此对应的规则重复帧从计算中消失。 

接着，对基准部分77与其它部分78之间的失配帧的数量进行求和。这个求和的结果提供了用于下一个阶段的出错值。再一次返回至图4c的 示例，我们发现总出错值为12，这是基准部分77与其它部分78之间失配的总和。这个和的大小是具有表示较好质量的较低值的信号质量指示符。 

可以采用从上述分析导出的数据，通过允许考虑重复帧的影响而忽视根据选定窗口尺寸预测的规则重复帧来改进整合功能4的性能。于是，后续分析步骤就能够集中在非周期性或不规则帧重复上，作为劣化的感知视频质量的指示。 

将根据本发明而提取的值发送至模型的第二阶段，其中，其整合功能将在估计平均意见得分(MOS)时使用这个信息。这些值包括选定窗口尺寸X′、出错值、出错指示符以及针对选定窗口尺寸值X′的包含在累积器阵列中的匹配值。匹配值的变化表示，针对第二阶段，帧的模式中存在异常变化。 

根据本发明的优选实施方式，根据时期(age)对每一个比较的关联性进行加权，使得基准部分77与多个部分78中较早的一个部分之间的比较的权重低于基准部分77与多个部分78中的较晚的一个部分之间的比较的权重。 

图5中更详细地示出了图2的时间规律性分析器26。如其所示，时间规律性分析器26由用于分析标记序列的多个功能模块组成，包括差异分析器60、分析器/加法器62以及最小值选择器64。如已经参照图2所述，时间规律性分析器26接收两个输入：基准视频序列8和劣化视频序列6。在差异分析器60中，生成表示输入视频信号6、8中的重复帧的位置的标记序列。在分析器/加法器62中，利用尺寸为一个范围的窗口来分析该标记序列，并且针对每一个窗口尺寸来确定整个序列上的失配累积总和。在最小值选择器64中，对根据分析器/加法器62中的求和的结果进行比较，并且选择对应于最小值的窗口尺寸。将该结果转发至整合器4，如箭头64所示。 

本发明的目的是将这种缺失帧识别为与因下采样而造成的规则丢失新帧不同的事件。作为对视频信号的上述分析的结果，质量评估的下一个阶段能够分离地处理这两种类型的时间赝象，从而在几乎看不见的规 则帧丢失与可见扰动的不规则帧丢失之间加以区别。 

下面，参照图2来描述本发明对于整合功能的应用。返回参照图2，应当看出，将来自检测器模块内的分析器22到28的各个输出馈给至整合级4，其中，将各个值整合在一起，以获取视频质量值10。下面，参照图6对整合级4的操作进行描述。 

一般来说，整合级操作以通过对选择的、由分析器22到28(包括本发明的时间规律性分析器)所生成的视频特征参数值进行恰当加权来生成对测试视频序列的感知视频质量的估计。所使用的特定参数值的集合和对应加权因子的值取决于被测试视频的特定类型，并且通过之前的校准来预先确定。针对较大集合的具有已知主观得分的视频序列来执行该校准，并且优选地该校准具有与要测试的劣化序列类似的特性。 

整合过程的一般形式首先通过场检测参数来对该场进行时间加权，接着对时间加权与平均值进行组合，以获取预测质量得分，作为总体视频质量值。图6中阐述了实现这个过程的处理。 

首先，在步骤13.2，整合级4接收从各个检测器和分析器输出的参数值并存储它们。各个分析器输出不同的参数。无论每一个较早的级针对特定测试视频场输出了什么参数和值，整合级都接收该输出信息并存储它。 

接下来，在步骤13.4，整合级选择视频类型，结果根据该视频类型选择了一组整合参数。 

如上所述，通过校准预先确定了各个加权因子的精确值。而且，每一组整合参数都存储在整合级4内的查找表等中。 

选定了视频类型并且从存储的查找表设置了整合参数之后，在步骤13.6进行一处理循环，以处理值0到K-1内的每一个整合参数类型k，其中，每一个参数(k)都是从各个分析器接收到的参数中的一个特定参数。在该处理循环内，在步骤13.8，首先根据下面的公式计算参数值的时间加权平均值AvD(k)： 

$\mathrm{AvD}\left(k\right)=(1/N)*{\left(\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}D{(k,n)}^{\mathrm{mnk}}\right)}^{1/\mathrm{mnk}}---(13-1)$

其中，N是域的数量，D(k，n)是第k个检测参数的第n个域，而mnk 是加权因子。接下来，在步骤13.10，将时间加权平均值AvD(k)乘以合适的加权因子w(k)，并存储乘积。该合适的加权因子w(k)是从存储在整合级4中的针对视频类型的合适查找表中读取的。 

在步骤13.12，执行评估，以确定是否处理了所有整合参数(k)，如果没有，则再次执行步骤13.6的处理循环，直到处理了所有参数为止。一旦处理了所有参数，则可获得针对每一种类型参数k的恰当加权的时间加权平均值，接着，在步骤13.14，将它们与偏移值进行求和，如下所述 

$\mathrm{PDMOS}=\mathrm{Offset}+\underset{k=0}{\overset{K-1}{\mathrm{\Σ}}}\mathrm{AvD}\left(k\right)*W\left(k\right)---(13-2)$

其中，K等于整合中使用的参数的数量。该式给出了接着在步骤13.16输出的最终视频质量值PDMOS。 

输出视频质量值PDMOS等同于根据利用人类观察者的主观测试所生成的等级，因为其是考虑了测试视频信号中人类观察者基本上五官知觉不可检测的畸变和出错(包括根据本发明的导致重复帧的时间赝象)而生成的。鉴于这种特性，视频质量值PDMOS可以应用于许多用途。具体来说，可以将其用于估计现有视频服务的质量，以确保该质量足够，或者另选的是，可以将其用于测试不同视频编解码器的性能。另外，可以将该视频质量值用于估计新视频服务的性能，如因特网上的宽带形式的视频服务。就此而言，可以将视频质量值PDMOS用于与根据现有技术生成的自动质量评估值类似的任何用途，所不同的是，因为该值考虑了时间赝象，所以与目前为止现有技术的自动视频质量评估技术的情况相比、更可能表示主观测试期间由人类观看者生成的视频质量值。 

图7例示了本发明的作为以软件形式实现的实施方式的第二实施方式。这里，本发明所提供的各个处理是由计算机40来执行的，该计算机被设置成接收基准视频序列和测试视频序列二者。计算机40设置有其中存储了各种计算机程序的程序存储装置，如硬盘驱动器、可写CD或DVD、存储器等，该计算机程序包含有在被计算机40执行时使该计算机执行本发明的指令。更具体地说，设置有控制和界面程序48，其在运行时允许计算机的用户控制该计算机开始处理根据本发明的测试和基准视频序列，并且允许该计算机在屏幕上向用户输出测试结果。这种控制和 界面程序优选地以图形化为基础，本领域技术人员可以想到这种程序的配置。 

另外设置的还有根据本发明的整合器程序44、纹理分析程序150、空间频率分析程序156、信噪比计算程序158、边缘分析程序54以及时间规律性分析程序152。下面，在示例性操作的环境下，对这些程序中的每一个程序的操作进行简要讨论。 

设想通用计算机40的用户希望测试视频序列。用户首先开始控制和界面程序48，其向用户提供控制以允许该用户指定要处理的测试和基准视频序列。一旦用户经由控制和界面程序48指示计算机40开始处理，该控制和界面程序48就通过执行其它程序中的几个程序并且在合适时处理数据而使计算机40开始处理。因此，当接收到来自用户的开始处理的指令时，控制和界面程序48首先启动空间频率分析程序156的处理。空间频率分析程序156开始工作以，按照和先前描述的空间频率分析器完全相同的方式对基准帧和测试帧进行空间频率分析，从而生成接着被存储在存储装置42的工作数据部46中的视频特征值。 

接下来，控制和界面程序48启动信噪比计算程序158，后者接着访问工作数据部46内的测试视频场/帧和基准视频帧，并且按先前描述的方式计算亮度和色度信噪比。即，信噪比计算程序158按照和先前所述的亮度和色度峰值信噪比分析器相同的方式进行工作。将信噪比计算程序158计算所得的亮度和色度信噪比存储在存储装置的工作数据区46中。 

接着，控制和界面程序48启动纹理分析程序150。纹理分析程序150接着从工作数据区46访问测试视频帧，并且按照和之前针对纹理分析器描述过的方式相同的方式来计算视频纹理质量参数。 

在运行了纹理分析程序150之后，控制和界面程序48接着启动边缘分析程序160。边缘分析程序访问存储装置42的工作数据区46内的基准帧，以及测试视频帧。接着，边缘分析程序54基本上按照之前针对边缘分析器所描述地那样进行工作。将边缘分析程序的输出参数存储在工作区46中。 

在运行了边缘分析程序160之后，控制和界面程序48接着启动时间 规律性程序152。时间规律性程序访问存储装置42的工作数据区46内的基准帧，以及测试视频帧。接着，时间规律性程序按照与上面参照图4a和4b描述的方式类似的方式在规则时间模式(具有各种复杂度)与反常时间赝象之间加以区别。 

在第二实施方式的运行中的这个阶段，执行了每一个分析程序，因此工作区46包含了可以用作整合器的输入的所有视频特征参数值。因此，下一个动作是控制和界面程序48启动整合器程序44，后者在合适时访问工作区46以从其读取特征参数值，并且将这些参数整合在一起，以便生成最终视频质量值PDMOS。整合器程序44的运行与如先前描述的整合器级4的运行基本上相同。因此，整合器程序44基本上根据如先前描述的图6的流程图来运行。 

本发明的第二实施方式因此提供了一个软件实施方式，其按照基本上与先前针对第一实施方式所描述的方式相同的方式来生成视频质量值。然而，应注意到，所述的第一实施方式也可以采用软件来实现，或者另选地，可以利用硬件部件或软件与硬件两者的混合来实现。在这个方面，第一实施方式应当被视为比第二实施方式更一般的实施方式。 

本领域技术人员应当清楚，本发明的上述实施方式是经过简化的。而且，本领域技术人员应该认识到，每一个实施方式中描述的特征的等同物都是存在的，并且可以将一个实施方式的特征并入到其它实施方式中。在存在实施方式的功能部件的已知等同物的情况下，它们被视为隐含地公开于此，除非明确地放弃保护。因此，当铭记本领域技术人员的公知常识而在本说明书的环境下解释时，本发明的主旨和范围不限于在本说明书中陈述的具体部件，而相反，要由权利要求书的范围来确定。 

除非上下文另外明确地需要，贯穿说明书和权利要求书，单词“包括”等要按与排它相对的包含或详尽的意义来解释；就是说，按“包括但不限于”的意义来解释。 

而且，为避免疑惑，在对在先文献(其内容无论整体还是部分对于作为本领域技术人员的预期读者理解本发明的任一实施方式的操作和实现而言都是必需的)进行引用的情况下，所述内容应被视为通过对它的 所述引用而并入于此。 

所附摘要的内容如下所述并入于此。提供了一种用于对包括多个视频帧的视频信号进行评估的系统和方法。在所述多个视频帧中，对从一个帧变到下一个帧的像素数量进行分析，如果呈现在当前帧中的设定比例的像素与呈现在前一帧中的相匹配，则将每一帧标识为重复。记录所得的该视频信号中的重复帧的模式。接着，扫描所得模式，以确定指定重复帧是否为时间重复模式的一部分，并且标识那些没有被确定为时间重复模式的一部分的重复帧。作为上述的结果，视频质量评估能够分离地处理这两种类型的时间赝象，从而在几乎看不见的规则帧丢失与视觉扰乱的不规则帧丢失之间加以区分。 

Claims (14)

1.一种对包括多个视频帧的视频信号进行评估的方法，该方法包括以下步骤：

(a)在所述多个视频帧中，分析从一帧到下一帧发生改变的像素数量；

(b)如果呈现在某一帧中的设定比例的像素与呈现在前一帧中的相匹配，则将当前帧标识为重复；

(c)记录所述视频信号中重复帧的模式；

(d)扫描所述模式，以确定指定重复帧是否为时间重复模式的一部分；以及

通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来生成质量指示符；

(e)通过在所述模式中建立在所述模式中被称作第一帧的多个帧的第一窗口以及具有相同尺寸的第二窗口，来扫描所述模式；

(f)按相对于所述第一窗口有所偏移的方式来布置所述第二窗口；

(g)对所述第一窗口和所述第二窗口中的重复帧的模式进行比较，并且记录这些模式之间失配的数量；

(h)在偏移范围上针对每一个偏移值重复所述比较并且记录结果；

(i)针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏移值范围上重复所述比较，并记录结果；

(j)确定在偏移值范围上提供了失配值最小变化的目标窗口尺寸。

2.根据权利要求1所述的方法，其中，所述质量指示符是通过以下操作来生成的：对第一部分中重复帧的模式与具有相同尺寸的多个第二部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每一个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的尺寸由所述目标窗口的尺寸来决定。

3.根据权利要求1所述的方法，该方法包括以下步骤：将所述质量指示符与一个或更多个已知质量指示符进行组合，以生成感知平均意见得分。

4.根据以上权利要求中任意一项所述的方法，其中，所述分析是针对每一帧的一部分执行的。

5.根据权利要求4所述的方法，其中，所述一部分不包括所述帧的边缘。

6.根据权利要求1所述的方法，其中，每一帧都包括多个像素，其中，如果相邻帧中的第一帧中的一个像素处于第二帧中的对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标识为匹配。

7.根据权利要求1所述的方法，其中，判定机制对每一个像素应用阈值，如果一帧中的所有像素都处于前一帧中的对应像素的预定阈值内，则将该帧标识为重复。

8.一种对包括多个视频帧的视频信号进行评估的系统，其中，所述系统包括：

用于通过分析从一帧到下一帧发生改变的像素数量来检测重复帧并且记录重复帧的模式的装置；

用于扫描所述模式以确定指定重复帧是否为时间重复模式的一部分并且通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来生成质量指示符的装置；

其中，用于扫描所述模式的装置包括：

用于在所述模式中建立在所述模式中被称作第一帧的多个帧的第一窗口以及具有相同尺寸的第二窗口，来扫描所述模式的装置；

其中，按相对于所述第一窗口有所偏移的形式来布置所述第二窗口；

其中，用于扫描所述模式的装置还包括：

用于对所述第一窗口和所述第二窗口中的重复帧的模式进行比较并且记录这些模式之间失配数量的装置；

用于在偏移范围上针对每一个偏移值重复所述比较并且记录结果的装置；

用于针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏移值范围上重复所述比较并记录结果的装置；以及

用于确定在所述偏移值范围上提供了失配值最小变化的目标窗口尺寸的装置。

9.根据权利要求8所述的系统，该系统包括用于通过以下操作来生成所述质量指示符的装置：对第一部分中的重复帧的模式与具有相同尺寸的多个第二部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每一个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的尺寸由所述目标窗口的尺寸来决定。

10.根据权利要求8所述的系统，该系统包括用于将所述质量指示符与一个或更多个已知质量指示符进行组合以生成感知平均意见得分的装置。

11.根据权利要求8到10中任一项所述的系统，其中，所述分析是针对每一帧的一部分执行的。

12.根据权利要求11所述的系统，其中，所述一部分不包括所述帧的边缘。

13.根据权利要求8所述的系统，其中，每一帧都包括多个像素，其中，如果相邻帧中的第一帧中的一个像素处于第二帧中的对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标识为匹配。

14.根据权利要求8所述的系统，其中，判定机制对每一个像素应用阈值，如果一帧中的所有像素都处于前一帧中的对应像素的预定阈值内，则将该帧标识为重复。

Images