CN102317974A - 图像序列的质量评估 - Google Patents

Abstract

描述了图像的质量估计或一致性计算。在一个或更多个域中的图像之中执行视差估计，计算基于该视差估计的指标以评估质量或一致性。

Description

图像序列的质量评估

相关申请的交叉引用

本申请要求2009年2月12日提交的美国专利临时申请No.61/152,145的优先权，其整体经引用并入本文。

技术领域

本公开涉及图像质量评估。更具体而言，本发明的实施例涉及图像序列的质量评估。

背景技术

质量评估对于改进许多多媒体应用中的用户体验是有用的。生成可以准确估计图像序列的感知质量的客观质量指标(metrics)可以促进质量评估。

质量评估可以用于一些多媒体应用。这种应用包括视频压缩、预处理、后处理、以及水印制作等。在视频压缩中，编码技术可以使用视频质量指标通过速率失真优化改进编码参数，预处理技术有赖于视频质量指标来优化在给定目标应用或环境下的预处理滤波器参数。在视频后处理中，内容适用于以各种空间和时间分辨率在各种显示器类型上显示，可以对于每种显示器类型评估所得的视频质量。在水印制作中，可以在嵌入水印时使用视频质量指标来最小化由于水印所致的可感知失真或者可以在检测和/或译解嵌入的水印信号时考虑视频质量指标。

质量测量的一个途径是执行主观测试。然而，建立这种测试会招致一些困难和花费。开发能够对使用主观测试获得的途经提供质量评级的客观的图像质量指标。(见整体经引用并入本文的参考文献[1]、[2])。然而，尽管当前存在这种困难或花费(见整体经引用并入本文的参考文献[3])，大多数视频压缩团体继续使用MSE(均方差)和PSNR(峰值信噪比)作为失真指标。近来，对新应用(如3D/立体视频递送)的相当的兴趣已重建了对创建更好地对人类视觉系统建模的更好、更准确的指标的兴趣。

通过压缩、预/后处理等引入到视频的失真在性质上既可以是空间的也可以是时间的。在多视图视频中，也会引入交叉视图/立体失真。空间失真包括诸如量化、组块(blocking)、模糊、以及振铃失真(ringingartifacts)等的压缩失真(compression artifacts)。图像质量评估团体已深入研究了空间失真指标但是对时间和多视图失真的作用却知之甚少。这种失真导致在所得视频中的时间或/和视图的不一致。

在客观知觉质量指标中考量时间失真的早期尝试考虑一个时间对比灵敏度函数来确定序列在时间域中的可感知差异(见整体经引用并入本文的参考文献[4]、[5]、[6])。然而这些方法并未考量序列中的运动，并且像这样，未完全测量序列的感知的时间一致性。类似地，对于立体图像，未考虑视图之中的立体视图视差。

其它客观质量指标，诸如整体经引用并入本文的参考文献[7]、[8]中示出的那些客观质量指标，通过测量序列中连续图像之间的像素差或相关性来测量序列的时间一致性。然而，他们未在测量以前执行运动估计，因此仍然无法充分估计序列的真实的时间一致性。

在整体经引用并入本文的参考文献[11]中，通过引入基于序列的每个图像中的运动量的全局加权方案把公知的结构相似性图像质量指标(见整体经引用并入本文的参考[9])扩展到视频领域。然而，该方法忽略了时间一致性与质量之间的关系。整体经引用而并入本文的参考文献[10]中提出了更完善的运动补偿结构相似性指标。然而，提出的技术有赖于光学流(optical flow)的运算，这实施起来可能复杂并且无法用于包含显著运动的图像区域中。

附图说明

并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或更多个实施例，并且附图连同详细描述和实例一起，旨在解释公开内容的原理和实施。

图1示出了根据本公开的质量评估系统和方法的实施例。

图2更详细地示出了图1的视差估计块的实施例。

图3示出了将图2的方案适用到多视图环境。

图4示出了按照本公开的指标的第一实施例。

图5示出了按照本公开的指标的第二实施例。

图6示出了图5实施例的组合的时间/多视图实例。

图7示出了按照本公开的指标的第三实施例。

具体实施方式

概述

本发明的实施例涉及图像序列的质量评估。提供了用于图像序列评估的质量评估方法，包括：在一个或更多个域中执行图像之中的视差估计以生成视差向量；以及基于视差向量计算指标以评估质量。

在实施例中，提供了用于计算测试图像序列的一致性的系统，包括：视差估计器，用以通过生成视差向量来估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；指标计算器，用以计算根据视差估计器生成的视差向量的测试图像序列的一致性估计。

本申请的说明书、附图、权利要求书和摘要中描述了本公开实例实施例的进一步实例特征。

根据本公开的一些实施例，公开了用于计算图像序列的时间和/或多视图一致性的新型系统和方法。不同于已有方案，视差估计方法被用来估计(见整体经引用并入本文的参考[12]、[13]、[14]))跟踪图像内像素区域的移动以及计算视差(例如，运动和照明度改变)补偿之后序列的一致性，例如像增强式预测区域搜索(EPZS)的基于块的运动估计算法。立体视图视差可以考虑类似方法以便分析。

按照本公开实施例中的一些实施例，使用时间(例如，运动)或/和视图视差以及视差补偿像素信息(也例如包括解块)测量序列图像之间时间和多视图特征的一致性以及相对于参考序列的测试序列中特征的一致性。本公开中讨论的技术和实施例也应用于比特流模式中的图像。

可以把具有或不具有照明度补偿支持的任何已有视差估计技术，例如任何基于块的运动估计算法，用于此目的，指标的准确性将取决于使用的视差估计方法的准确性。也可以使用重叠块运动估计以避免块边缘上的杂散(spurious)结果。

另外，描述了可以把时间和/或多视图质量的不同方面考虑在内的指标的实例实施例。第一实施例是可以测量在视差估计处理期间计算的用于参考和测试序列的视差向量的一致性的完全参考指标。其它两个实施例是可以测量测试序列的连续视差补偿图像上的像素值的一致性的非参考指标。

因此，本公开描述了一组帮助测量视频序列中时间和/或多视图失真程度的时间和立体/多视图一致性指标。根据一些实施例，根据本公开的指标在输入序列中执行视差(例如，运动)估计，以及测量序列的视差补偿图像中的时间一致性。类似地，对于多视图指标，可以评估“交叉视图”补偿的图像中的一致性。在一些实施例中，可以使用全局和局部加权参数确保通过指标将只测量可感知的失真。在一些实施例中，也包括知觉加权方案以把诸如序列中场景转变(如裁剪、淡入淡出、交叉淡入淡出)的全局事件以及局部属性(如纹理、对象和图像边缘)等等考虑在内。

可以把时间/多视图特征与已有的或新的空间失真指标进一步组合以便更好地表征视频序列的总体失真。

这些域中会出现的可能失真类型是：

1)闪烁—在视频压缩中，例如，通过以不同质量编码不同的图片(例如，由于速率控制而改变量化参数)会引起闪烁。闪烁在所有帧内(intra)编码、或者对只有I和P编码的图片编码期间特别突出，特别是在周期性的帧内刷新图像存在的情况下。闪烁也可能例如作为拍摄处理、帧速率转换等的结果而出现；

2)运动不一致性—运动不一致性会由于编码处理期间运动向量的不正确的运动估计和量化而出现。在立体视频中，会由于视频内容的性质而进一步加重运动不一致性。运动不一致性也会例如由于摄像装置的不稳定而出现；

3)蚊式噪声—蚊式噪声由图像中尖锐边缘附近随时间变化的混叠失真引起。立体视频中这一点也会被加重，特别是在编码处理期间复用立体视图以及在显示以前解复用立体视图的情况下；

4)时空和时空立体视图混叠；以及

5)立体视图不一致性—与运动不一致性相类似，立体视图不一致性会由于从一个视图至另一个视图的预测不一致性/变化而出现。立体视图不一致性也会由于摄像装置传感器中的差异或者摄像装置错位而出现。

根据一些实施例，把两个图像序列(参考序列和测试序列)作为输入。如本文中所使用的，术语“2D”和“3D”分别是指惯用语“二维”和“三维”。序列会经历确保把测试序列与参考序列恰当对准(时间上、2D空间上，以及对于立体图像的3D空间上)的初始登记步骤。此步骤也可以包括诸如把输入调整到适用于特定显示条件的诸如分辨率/宽高比转换、伽玛校正等的其它操作。如下面参照图1也提到的，可以通过把测试图像序列登记到参考图像序列或者，可替选地，通过把参考图像序列登记到测试图像序列而执行登记。此外，也可以执行两种类型的登记以及把它们的结果组合。

随后可以对序列低通滤波以减少噪声，以及随后对于每个序列的每个图像执行视差估计(例如，运动估计和/或照明度参数估计)以从以往和未来邻近图像中找到预测图像。可以对立体图像对的视图执行类似分析。随后可以将视差向量和/或预测图像用作输入来计算时间或/和立体视图的不一致性指标。最终，可以使用不同的加权参数把不同的一致性指标组合在一起以生成考量时间和/或立体视图不一致性的组合的视差指标。随后可以把此组合的指标与诸如其它时间、立体视图、频率、或者空间指标的其它指标进一步组合而最终提供组合的时空立体视图的失真指标。

可以参照图1的实例图表示更好地理解上述实施例。

如图1的方框图100中所示，提供适合于计算完全参考质量指标118的两个图像序列(参考图像序列

102以及测试图像序列104)或者适合于计算非参考质量指标120的一个图像序列

104作为输入，其中，n表示序列中的图像索引。通过实例，序列102和104在期望评估立体视频的质量时可以包括立体视频对。

根据本公开，如图1的指标118的完全参考质量指标提供测试序列104相对于参考序列102的失真估计，而如图1的指标120的非参考指标提供测试序列104的失真的“盲”估计。

接着参考图1，把测试序列104登记到106参考序列102，把序列102、104这二者在空间上滤波108、110。例如，空间滤波108、110可以包括用于减小图像中的噪声并有助于改进视差估计准确性的低通滤波器。随后在块112、114中执行参考序列和测试序列的视差估计。如后面参照图2所更详细解释地，视差估计112、114可以包括例如运动估计和/或照明度变化估计，或者包括更通常地在一个或更多个域D1…Dm中的图像之中的视差估计。

可以通过把测试图像序列登记到参考图像序列或者，可替选地，通过把参考图像序列登记到测试图像序列而执行登记106。此外，也可以执行两种类型的登记以及把它们的结果组合。

然后计算基于112、114中执行的操作的视差估计指标116。如以上所提到的，指标116可以包括例如完全参考指标118或者一个或更多个非参考指标120。

如果需要，则可以把指标118和120组合122。此外，也可以计算124(例如，通过本领域中已知的方法)一个或更多个空间指标(或者更通常地，也包括一个或更多个附加域中的指标，如果期望也包含频域)，然后把一个或更多个空间指标与组合的指标122组合。例如，图1中示出的系统的输出处的输出指标D_SDE可以包括时间、空间和/或多视图质量指标中的一个或更多个。

如以上所提到的，可以在例如数个处理或系统，例如视频压缩处理或系统128、视频预处理处理或系统130、视频后处理处理或系统132或者视频水印制作处理或系统134中使用图1中示出的方法和系统。

图2提供了图1的视差估计块112和114的实施例，其中，如果期望也可以把附加补偿处理考虑在内。如以上已经提到的，可以参考一个或更多个域，例如时间(运动)或亮度(照明度改变))来估计视差。

在涉及运动估计(ME)处理的视差估计的情形中，可以考虑测试序列或参考序列的每个输入图像时间上相邻的邻近图像(以往的和未来的)，相应地估计提供最佳匹配给输入图像的运动向量。通常，基于固定或自适应块(例如，像素的8x8块)找到该匹配但是也可以把基于其它尺寸和形状的方法用于此目的。运动估计的方法本身对本领域技术人员是已知的，因此此处将不详细描述。可以通过本公开的教导使用任何种类的运动估计，也包括例如重叠和非重叠块运动估计、仿射(affine)运动估计、抛物线和参数的等等。

在照明度变化特性的情形中，可行的视差估计方法是增强式预测区域搜索(EPZS)和它的多维扩展(例如，N-D EPZS)。也可以考虑诸如基于光学流的方法的其它方法。

运动补偿处理(MC)使用对于每个邻近图像的估计的视差信息，例如运动向量，形成重构图像，其中，重构图像是在给定相应邻近者的情况下对于输入图像的预测。运动补偿处理本身对本领域技术人员是已知的，因此此处将不详细描述。可以在多个视图上对于视差估计考虑类似特性。

如图2中所示，其中，描绘了视差估计和补偿装置200，可以通过实例在上述视差估计处理中使用经滤波的输入图像f_n的N个以往和N个未来的空间上经滤波的邻近者。本领域技术人员将会理解，也可以存在替选实施例，其中，可以只使用以往邻近者、只使用未来邻近者、或者使用与未来邻近者的数量不同的大量以往邻近者。

图2的符号

表明每个邻近者f_n+i对应的重构图像，以使得在

的每个位置s处的像素值对应于在f_n+i的像素位置s-dv_n+i(s)处的值，其中，s是包含像素的水平和垂直坐标的向量，dv_n+i(s)是通过视差估计处理所估计的视差向量。更具体而言，如图2中所示，对于每个邻近者n±i，在块202(±i)中计算视差估计以及在块204(±i)中计算基于在块202(±i)的输出处的视差向量206(±i)的视差补偿。

每个视差估计块202(±i)接收输入图像f_n以及以往或未来的邻近者图像f_n+i作为输入。可以把邻近者图像存储在第一缓存器208中。类似地，每个视差补偿块204(±i)接收视差向量206(±i)以及以往或未来的邻近者图像f_n+i作为输入。可以把邻近者图像存储在第一缓存器208中或者第二缓存器210中，如图2中所示。此外，第二缓存器210也可以存储视差补偿块204(±i)的组合输出(见组合器212)，以使得未来视差补偿也取决于先前视差补偿的结果。

图3示出了将图2的实施例调整到适用于多视图的情形，其中，示例了多个估计(或者估计和补偿)块300。具体而言，通过假定一个视图在位置m处以及其它视图在位置m±j处可以把图2的相同术语应用于图3中示出的多视图情形，其中，j表示距第一个视图的空间或视角(viewangle)距离。例如，图3的块306表示在时间n+1处对视图m+1的输入序列处理。

视差估计处理提供用来创建重构图像的相应视差向量和重构图像的集合作为输出。质量指标使用视差估计处理的输出确定输入序列的时间或视图特征一致性。将在以下段落中讨论一致性指标的三个不同实施例。在整个公开中，将把它们称为如下：

1)视差向量一致性指标

2)视差估计特征差异指标

3)视差估计特征变化指标

视差向量一致性指标是利用参考和测试序列二者的完全参考指标，而其它指标是非参考指标。与图1中附图标记122和126所示出的内容相类似，可以把来自该指标的结果组合到最终指标中，并且/或与不同类型的一个或更多个其它指标组合。例如，假定指标是时间指标，则可以把其与数个其它空间质量指标组合以确定序列的最终客观质量。类似地，假定指标是多视图指标，则可以把该指标与可以使用同样原理生成的时间指标、以及其它空间指标组合，以得出联合的时空立体视图质量指标。更通常地，可以把第一域中的指标与其它域中的一个或更多个附加指标组合。

视差向量一致性指标

如以上所提到的，视差向量一致性指标是完全参考指标。它有赖于如下这种假定：如果在参考序列和测试序列(见如图1的序列102和104)上均准确执行视差估计，则对于参考和测试序列中每个像素、块、或者区域计算的视差向量(见例如图2的向量206)应当相似，除非在测试序列中包含时间或视图失真。

然而视差向量相似性的预期也会取决于许多其它因素，如，提取视差向量的图像与它的邻近者之间的时间距离(或者在多视图图像的情形中的空间距离或视角)、场景转变的出现以及在包括照明度变化的底层视频内容中的其它不连续性、对象和图像边缘引起的闭塞等。

根据本公开的实施例，在视差向量一致性计算中把这些因素考虑在内。因此，按照这种实施例，可以获得在给定参考序列在时间或视图n时的相应图像的情况下对于测试序列的在时间或者视图n的每个图像的视差向量一致性指标为，

$D_{\mathrm{DV}}\left(f_n^t\right|f_n^r)=\underset{i\≠0}{\overset{N}{\underset{i=-N}{\mathrm{\Σ}}}}{w}_{n+i}\·(\underset{s}{\mathrm{\Σ}}{c}_{n+i}\left(s\right)\·h({\mathrm{dv}}_{n+i}^t\left(s\right),{\mathrm{dv}}_{n+i}^r\left(s\right)))---\left(1\right)$

在公式(1)中，测试图像视差向量与参考图像视差向量之间的一致性函数

返回在范围[0，1]中的值以使得较高值表示较低的特征一致性。在它最简单的形式中，一致性函数会是这样的指示函数：该函数在认定两个视差向量相似的情况下返回0，在两个视差向量不同的情况下返回1。可以使用两个视差向量之间的相位与幅值的差的阈值执行两个视差向量是否相似的测试，使得如果超出任何一个，则认定视差向量不同。另一可能性是使一致性函数h(·)取决于差向量的幅值。例如，h(·)可以是

其中，MAX_DV是最大的可能的视差向量幅值。

公式(1)还取决于参数w_n+i和c_n+i(s)。参数w_n+i是“全局”加权参数，意思是每个图像在某时间位置或视图处存在一个这种参数。w_n+i的值表示在时间位置或视图n+i处的图像将会在参考和时间序列这二者中包含相似的视差向量的概率。公式(1)假定

通常，全局参数w_n+i取决于时间距离i、以及取决于是否检测到底层内容包含例如场景改变的事件，这将会影响视差估计的准确性。对于多视图视差分析，全局参数w_n+i也会取决于视角或视图之间的距离(在其已知的情况下)。通常，在时间指标中，把w_n+i设置为随着i在绝对值上增大而减小。如果在当前图像与邻近图像之间检测到场景改变，则把全局参数w_n+i设置为0，并相应地调整赋予其余图像的权重。

参数c_n+i(s)是取决于参考图像的空间邻近性的“局部”加权参数，这意味着对于图像的每个像素s或者更通常地对于图像的区域或区域集合存在一个这种参数。局部参数c_n+i(s)的值处于范围[0，1]中，它表示参考和测试序列中的视差向量在给定参考序列中的邻近的视差向量一致性的情况下将会一致的概率。

用于计算局部参数c_n+i(s)值的一种可行性是定义如下这种函数：该函数取决于在测试序列中s的邻近处与参考序列中s处的视差向量相似的视差向量的数量。可以通过与一致性函数h(·)的计算中一样的方式计算视差向量的相似性(例如，使用用于视差向量相位和幅值的差的阈值)。例如可以把s的邻近处限制为相关联像素块的4连接邻近处。也可以通过适当加权而考虑更远的邻近处以把距s的距离考虑在内。对象和图像边界附近估计的视差向量通常倾向于与它们的空间邻近者较少相关，并且在测试与参考序列之间也较少相关。因此，使用这种视差向量会不利地影响失真指标的准确性。局部加权参数试图通过降低分配给潜在地杂散的视差向量的差的权重解决此问题。

在多视图情形中，可以在时间域、多视图域、或者在组合的时间和多视图域中计算以上指标D_DV。

图4示出了在组合的时间和多视图域中计算指标D_DV的方法或系统400的实施例。在时间域中，可以对于每个视图单独计算该指标以获得一组指标

其中，n表示时间，m表示针对其计算时间指标的视图。具体而言，对于每个视图分别是表示测试序列和参考序列输入的块402和406。对每个测试序列406和每个参考序列408计算视差估算。对于在时间n的每个视图，使用测试序列和参考序列的视差估计块的输出(见例如先前讨论的图2的视差向量206)，来计算在时间域中的公式(1)的D_DV函数，例如通过图4的块410、412和414所示。具体而言，块410示出了对于视图i＝1在每个时间n的D_DV计算，块412示出了对于视图i＝-1在每个时间n的D_DV计算，块414示出了对于视图i＝0在每个时间n的D_DV计算。

在多视图域中，可以在每个时间n计算指标D_DV，以获得测量视图之间的视差向量一致性的指标为此，在测试序列的各种视图之中(见图4的块418)以及在参考序列的各种视图之中(见图4的块420)执行视差估计。随后使用多视图域中参考序列和测试序列的视差估计块418和420的输出(例如见应用于多视图域时先前讨论的图2的视差向量206)计算多视图域中公式(1)的D_DV函数

如通过图4中的块422所示。

为了把时间域结果410、412、414以及多视图域结果422组合，首先可以使用例如在每个m处的值的平均值在块416处把所有视图上的时间指标组合以获得值

在其它实施例中，并非使用平均值，也可以根据应用以及人类视觉系统如何对视图上的时间质量的差异反应而使用方差、最小值或最大值。然后可以使用多视图和组合的时间指标的组合作为时间多视图视差向量一致性指标，例如，

$D_{\mathrm{DV}}^{\mathrm{ST}}\left(n\right)=F_{\mathrm{DV}}^{\mathrm{ST}}({\tilde{D}}_{\mathrm{DV}}^T\left(n\right),D_{\mathrm{DV}}^S\left(n\right)),---\left(2\right)$

函数

可以如图4中附图标记424所表明的例如是加权组合，其中，可以基于主观数据通过经验确定权重w₁、以及w₂。

也可以对于图像内的具体区域或者区域集合(也可以包括以不同分辨率进行子采样的区域和/或作为图像划分处理例如图像分割(segmentation)分析的结果而选择的区域)而非整个图像定义以上指标。也可以随时间汇集(pool)(序列的多个图像)或者在图像内的区域集合上汇集该指标以确定图像序列内诸如平均、最小、最大一致性的统计值。具体区域或区域集合可以是用户可选择的或者可以使用如下这种关注区域的自动检测方案而选择和/或检测：例如k均值分割方法、分界区(watershed)、基于Hausdorff距离的算法、或者针对诸如面部检测的应用的算法(例如，Gabor特征提取、Viola-Jones面部检测器等)。此外，虽然图4中示出的实施例参考了组合时间/多视图实施例，但本领域技术人员将会理解，更通常地，可以使用第一域和第二域中的视差估值来计算例如通过公式(1)的算式表达的指标并且随后例如通过公式(2)的算式而组合。

视差估计特征差异指标

如上所述，根据本公开的指标的第二实施例包括作为非参考指标的视差估计特征差异指标。可以参考图5的表示500，其中，详细讨论了这种指标的实例的计算。

可替选地(或另外)，与先前实施例有关地，此指标也会使用先前讨论的图2的视差补偿块204的结果。具体而言，该指标试图通过把图像f_n与下述图像的预测相比较来测量给定序列的图像之间的时间或多视图一致性，该图像是根据对于时间失真的序列中的先前图像和未来图像的视差估计获得的图像或者对于多视图失真的场景中的多个图像。以上已经参照图2和图3讨论了这种视差估计。视差向量一致性指标中提到的因素还会影响特征差异指标的计算。因此，可以获得测试序列的每个图像n的视差估计特征差异指标为，

$D_{\mathrm{FD}}\left(f_n^t\right)=\underset{i\≠0}{\overset{N}{\underset{i=-N}{\mathrm{\Σ}}}}{w}_{n+i}\·\left\{\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{V}{\mathrm{\Σ}}}\right[c_{n+i}(x,y)\·d({\hat{f}}_{n+i}^t(x,y),f_n^t(x,y))\left]\right\},---\left(3\right)$

其中，H和V分别是计算指标的关注图像区域中水平和垂直像素的数量。

图5示出了可以如何获得公式(3)的D_FD函数的实例。附图标记502表示输入图像f_n。附图标记504(-N)、…504(-1)、504(+1)、…504(+N)等表示在先前讨论的图2中估计处理结束时获得的各种重构图像

块506(-N)、…506(-1)、506(+1)、…506(+N)等表示公式(3)的方括号内部的表达式的计算，其中，把局部加权参数c_n+i(s)考虑在内。一旦完成该计算，通过把全局加权参数w_n+i也考虑在内的总和生成输出508。

关注区域可以是整个图像或者子图像。子图像可以是任意形状和/或尺寸，或者可以是预定义的形状或尺寸，例如，尺寸32x32的块。子图像也可以是非重叠的或重叠的以及可以跨越多个图像。指标的进一步扩展可以是在多个图像区域上计算D_FD指标并在空间上汇集这些值。在空间上汇集可以包括使用所有区域之中的最大失真或者超过百分比x％的值的平均值(例如，超过百分比90％的失真值的平均值)，这把主观质量在所有关注区域上由于高失真或平均失真的区域而严重偏离的趋势考虑在内。如在先前指标中一样，也可以在时间上汇集值以获得时间上的组合指标。也可以根据前景/背景、对象分析、纹理等把失真加权。

如以上已经提到的以及与先前实施例类似地，w_n+i表示全局加权参数，c_n+i表示局部加权参数。函数

表示图像n中的像素(x，y)与根据图像n+i的相应的预测像素之间的像素差的大小。例如，这可以是像素值的绝对差，在此情形中，D_FD将表示加权的绝对差的总和(SAD)、或者像素值差的平方，在此情形中，D_FD将会表示加权的平方差的总和(SSE)。也可以使用其它距离指标。

由于像素值中的杂散差会沿着图像和对象边界出现，仍可以使用邻近像素块之间的视差向量一致性引导局部加权参数c_n+i(x，y)。如之前一样，全局加权参数应当把帧之间的时间或多视图距离、以及诸如序列中场景改变的全局事件的可能性考虑在内。

在立体和多视图情形中，时间和空间视图一致性在确定输出视频的感知质量中可能均重要。因此，可以扩展以上指标以包括时间和多视图域这二者，图6的方法或系统600的实施例中所示，其与图4的实施例在概念上类似。与这种实施例不同，也将会执行视差校正(DC)，如块604和614上用语DE/DC所表明的。

在多视图情形中，可以在时间上对于每个视图计算D_FD(见块606、608和610)，然后再组合作为所有视图上值的平均值、方差、最大值、或最小值(见块612)。这将给出在时间n的特定帧处的组合的时间失真指标

随后，可以把此指标与能够通过在空间多视图域中应用公式(3)获得的多视图一致性指标616

进一步组合。因此，可以如在公式(2)中一样获得在时间n的最终的多视图时间一致性指标618为，

$D_{\mathrm{FD}}^{\mathrm{ST}}\left(n\right)=F_{\mathrm{FD}}^{\mathrm{ST}}({\tilde{D}}_{\mathrm{FD}}^T\left(n\right),D_{\mathrm{FD}}^S\left(n\right)).---\left(4\right)$

视差估计特征变化指标

虽然以上参照图5和图6讨论的视差估计特征差异指标计算它的邻近者与图像中像素值之间的平均差异大小，但它未测量像素值在时间上的变化。因此，本公开还提出了视差估计特征变化指标以通过包括视差补偿的像素把时间和多视图变化考虑在内。此指标也是非参考指标。把它计算成，

$D_{\mathrm{FV}}\left(f_n^t\right)=\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{V}{\mathrm{\Σ}}}\frac{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}[w_{n+i}\·c_{n+i}(x,y)\·V({\hat{f}}_{n+i}^t(x,y),{\stackrel{\‾}{f}}_n^t(x,y))]}{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}{w}_{n+i}\·c(x,y)},---\left(5\right)$

其中，V(·)表示诸如例如形式

或

的函数的距离指标，是计算成如下内容的加权平均，

${\stackrel{\‾}{f}}_n^t(x,y)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}[w_{n+i}\·c_{n+i}(x,y)\·{\hat{f}}_{n+i}^t(x,y)]}{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}{w}_{n+i}\·c(x,y)}.---\left(6\right)$

注意，当i＝0时，由于这表示实际第n个图像区域而并非预测值，

再次地，w_n+i是全局权重，c_n+i(x，y)是通过像素的邻近者确定的局部空间权重。如在先前指标中一样，H和V表示关注图像区域中水平和垂直像素的数量。另外，再次地，可以在多个图像区域中计算该指标以及使用例如超过阈值的值的平均值、最大值、或者平均值来组合以形成最终的基于图像的指标。虽然在此情形中，在像素级别计算变化，但另一可行性是在计算指标之前通过连续下采样图像以多个分辨率计算指标。在其最简单的形式中，可以通过对具有变化的块尺寸的像素块上的像素值求平均以及计算在块级别的变化来实施多分辨率技术。也可以使用重叠块平滑掉块边界处的杂散值。可以通过子采样像素的邻近者而减少公式(5)和(6)的计算中的复杂度。在组合空间、时间和多视图指标的情形中，以空间、时间和多视图的维度定义邻近者。

图7示出了如何能够获得公式(5)的D_FV函数的实例。附图标记702表示输入图像f_n(x，y)的像素值。附图标记704(-N)、…704(-1)、704(+1)、…704(+N)等表示在先前讨论的图2估计处理结束时获得的各种重构图像

的像素值。块706(-N)、…706(-1)、706(+1)、…706(+N)等表示公式(5)的方括号内部的表达式的计算，其中，把局部加权参数c_n+i(s)考虑在内。一旦完成该计算，通过把全局加权参数w_n+i也考虑在内的总和生成输出708。

如在公式(4)中一样，也可以使用如下内容把特征变化指标扩展到组合的时间和多视图域，

$D_{\mathrm{FV}}^{\mathrm{ST}}\left(n\right)=F_{\mathrm{FV}}^{\mathrm{ST}}({\tilde{D}}_{\mathrm{FV}}^T\left(n\right),D_{\mathrm{FV}}^S\left(n\right)),---\left(7\right)$

其中，

和

分别表示在时间n的组合的时间变化指标和在时间n的多视图特征变化指标。注意在立体情形中，当只存在两个视图时，可以仅使用第一项作为立体时间特征变化指标。在一个实施例中，

可以是对于每个视图获得的时间变化测量值的平均值。在另一实施例中，可以使用组合的时间变化指标测量对于每个视图计算的时间变化指标之中的差。在该情形中，

${\tilde{D}}_{\mathrm{FV}}^T\left(n\right)=\frac{\underset{m}{\mathrm{\Σ}}{w}_m^{S}V(D_{\mathrm{FV}}^T(n,m),{\stackrel{\‾}{D}}_{\mathrm{FV}}^T\left(n\right))}{\underset{m}{\mathrm{\Σ}}{w}_m^S},---\left(8\right)$

其中，V(·)如在(5)中一样表示距离指标，

${\stackrel{\stackrel{\‾}{~}}{D}}_{\mathrm{FV}}^T\left(n\right)=\frac{\underset{m}{\mathrm{\Σ}}{w}_m^S{D}_{\mathrm{FV}}^T(n,m)}{\underset{m}{\mathrm{\Σ}}{w}_m^S},---\left(9\right)$

表示应用于每个视图m的加权参数。

组合特征失真指标

可以把以上讨论的三个实施例的单独的时间和多视图失真指标组合以形成各种组合的失真指标以使得根据它们的感知显著性把各失真的作用加权，也如参照图1讨论的组合符号122所表明的那样。例如，可以把将以上特征中所有特征考虑在内的组合的时间失真指标计算成每个单独的指标的加权组合。可以通过类似方式计算组合的多视图视频失真指标。在每个时间n，可以把组合的视差估计失真计算成，

D_DE(n)＝F_DE(D_DV(n)，D_FD(n)，D_FV(n))，(10)

其中，F_DE可以例如是诸如以下内容的线性组合函数，

D_DE(n)＝k_DVD_DV(n)+k_FDD_FD(n)+k_FVD_FV(n)，(11)

其中，k_DV、k_FD以及k_FV是应用于每个指标的感知权重。可以使用适当设计的主观测试通过经验获得权重。D_FD(n)和D_FV(n)的值也可以已经是组合的时间和多视图指标。因此，D_DE的值可以表示失真估计的多视图一致性指标、时间一致性指标或者时间和多视图一致性指标中的任何一个。另外，可以如先前章节中所提到地在被子采样或降低的分辨率图像上或者在具体关注区域上获得指标值。也可以考虑时间或视图子采样。

组合时空多视图失真指标

可以通过使用空间和时间特征的加权组合进一步把组合的时间/多视图失真指标用作时空质量指标的输入。因此，可以把最终的时空多视图失真计算成：

D_SDE(n)＝F_SDE(D_S(n)，D_DE(n))，(12)

其中，如在(10)中一样，F_SDE可以是线性组合，

D_SDE(n)＝k_SD_S(n)+k_DED_DE(n)，(13)

其中，k_S以及k_DE分别表示分配给空间和视差估计指标的权重。在(13)中，空间失真指标D_S可以是诸如PSNR、MSE、SSIM(见参考文献[9])等已有空间质量指标中的任何一个或组合或者空间特征指标的组合。

如前所述，也可以在多个图像区域而非一次在整个图像上或者以各种分辨率在经子采样的图像上等等计算以上指标。也可以随后在多个图像区域或分辨率上以及随后在整个序列的时间上汇集组合的指标以获得序列的组合的质量指标。汇集可以简单地是对于每个区域在失真值上求平均的汇集。另一种可能是计算所有区域上的最大失真，以及使用最大和均值失真的组合。对于时间汇集，另一种可能是计算移动窗口上的最大平均失真。

此外，也可以把根据本公开的方法和系统的实施例应用于静止图像，例如多视图/立体静止表示。

提供以上叙述的实例以向本领域技术人员给出如何做出和使用本方法和系统的实施例的完整公开和描述用于本公开内容的质量评估，其并非意在限制发明人认为是他们公开内容的范围。上述用于实施公开内容的模式的修改可以由视频领域的技术人员使用，并且旨在包含在以下权利要求的范围内。说明书中提到的所有专利和出版物可以表明公开内容所属领域的技术人员的水平。本公开中引述的所有参考文献经引用并入的程度如同每个参考文献已单独整体经引用并入的程度一样。

背景技术、发明内容、具体实施方式和参考列表中引述的每个文献(包括专利、专利申请、杂志文章、摘要、实验手册、书籍、或者其它公开内容)的整体公开内容经引用并入本文。

应该理解，公开不限于当然会变化的特定方法或系统。也应该理解，本文中使用的术语只是用于描述特定实施例的目的，以及并非意在限制。如本说明书和所附权利要求中所使用的，单数形式“一”、“一个”、以及“该”在未明确说明例外内容的情况下包括复数指代。在无例外定义的情况下，本文中使用的所有技术和科学术语的含义与公开内容所属领域普通技术人员通常理解的一样。

本发明的实施例因而会涉及以下列举的的实例实施例中的一个或更多个。

1.一种用于评估图像序列质量的方法，包括：

在一个或更多个域中执行图像之间的视差估计以生成视差向量；以及

基于视差向量计算指标以评估图像序列的质量。

2.如所列举的实例实施例1的质量评估方法，其中：

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，以及

指标基于测试序列视差估计和参考序列视差估计。

3.如所列举的实例实施例1的质量评估方法，其中：

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计，以及

指标至少部分地基于测试序列视差估计。

4.如所列举的实例实施例2的质量评估方法，进一步包括：

在执行测试图像序列和参考图像序列的视差估计之前执行测试图像序列和参考图像序列的空间滤波。

5.如所列举的实例实施例2的质量评估方法，进一步包括：

在执行测试图像序列和参考图像序列的视差估计之前执行测试图像序列与参考图像序列之间的登记。

6.如所列举的实例实施例5的质量评估方法，其中，通过把测试图像序列登记到参考图像序列而执行登记。

7.如所列举的实例实施例5的质量评估方法，其中，通过把参考图像序列登记到测试图像序列执行登记。

8.如所列举的实例实施例5的质量评估方法，其中，通过把测试图像序列登记到参考图像序列、把参考图像序列登记到测试图像序列、以及把登记结果组合而执行登记。

9.如所列举的实例实施例3的质量评估方法，进一步包括：

在执行测试图像序列的视差估计之前执行测试图像序列的空间滤波。

10.如所列举的实例实施例1的质量评估方法，其中：

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，以及

基于视差估计的指标包括基于测试序列视差估计和参考序列视差估计二者的第一指标与基于测试序列视差估计的第二指标之间的组合。

11.如先前所列举的实例实施例中任一项的质量评估方法，其中，把基于视差估计的指标与一个或更多个另外的指标组合。

12.如先前所列举的实例实施例中任一项的质量评估方法，其中，一个或更多个域包括时间域、空间域、多视图域、或者亮度域中的一个或更多个。

13.如先前所列举的实例实施例中任一项的质量评估方法，进一步包括在一个或更多个域中执行图像之中的视差补偿，其中，视差补偿至少部分地基于视差估计并且提供图像预测，以及其中，指标至少部分地基于视差估计和视差补偿中的至少一个。

14.如先前所列举的实例实施例中任一项的质量评估方法，其中，图像之中的视差估计包括对于每个图像在一个或更多个域中考虑所述每个图像的图像邻近者。

15.如所列举的实例实施例14的质量评估方法，其中，通过子采样执行对图像邻近者的考虑。

16.如所列举的实例实施例14的质量评估方法，其中，一个或更多个域包括时间域、空间域、多视图域和频域中的一个或更多个，以及其中，图像邻近者是图像的时间、空间、多视图和/或频率邻近者。

17.如所列举的实例实施例16的质量评估方法，其中，图像邻近者包括先前图像邻近者、后续图像邻近者或者先前和后续图像邻近者两者中的一个或更多个。

18.如所列举的实例实施例13的质量评估方法，其中，指标的计算基于通过视差估计获得的图像视差信息或者通过视差补偿获得的重构图像信息中的至少一个。

19.如所列举的实例实施例18的质量评估方法，其中，图像视差信息是以图像视差向量的形式，重构图像信息是以重构图像函数的形式。

20.如所列举的实例实施例13的质量评估方法，其中，图像之中的视差补偿包括对于每个图像在一个或更多个域中考虑所述每个图像的图像邻近者。

21.如所列举的实例实施例20的质量评估方法，其中，通过子采样执行对图像邻近者的考虑。

22.如所列举的实例实施例21的质量评估方法，其中，图像之中的视差补偿包括对于每个图像进一步考虑先前视差补偿的结果。

23.如所列举的实例实施例22的质量评估方法，其中，在邻近者图像之中把先前视差补偿的结果组合。

24.如所列举的实例实施例23的质量评估方法，其中，一个或更多个域包括时间域和多视图域，从而邻近者图像包括所述每个图像的时间邻近者和多视图邻近者。

25.如先前所列举的实例实施例中任一项的质量评估方法，其中，基于i)视差估计、ii)对于每个图像可逐像素或逐区域配置的一组局部参数、以及iii)可逐图像配置的一组全局参数来计算指标。

26.如所列举的实例实施例25的质量评估方法，其中，指标是基于测试图像序列和参考图像序列的参考指标，并且其中，基于视差估计的指标计算把测试图像视差信息与参考图像视差信息之间的比较考虑在内。

27.如所列举的实例实施例26的质量评估方法，其中，通过测试图像视差向量提供测试图像视差信息，通过参考图像视差向量提供参考图像视差信息，从而该比较是测试图像视差向量与参考图像视差向量之间的向量比较。

28.如所列举的实例实施例26或27的质量评估方法，其中，每个图像的全局参数值表示所述每个图像的测试图像视差向量与所述每个图像的参考图像视差向量相似的概率。

29.如所列举的实例实施例28的质量评估方法，其中，图像之中的视差估计包括对于每个图像在一个或更多个域中考虑所述每个图像的图像邻近者，以及其中，邻近者图像的全局参数值取决于邻近者图像与所述每个图像之间的距离。

30.如所列举的实例实施例26至29中任一项的质量评估方法，其中，每个图像像素的局部参数值表示所述每个图像像素的测试图像视差向量与所述每个图像的参考图像视差向量相似的概率。

31.如所列举的实例实施例30的质量评估方法，其中，通过以下这种函数计算每个图像像素的局部参数值：该函数取决于在参考序列中所述每个图像像素邻近处与参考序列中的所述每个图像像素处的视差向量相似的视差向量的数量。

32.如所列举的实例实施例25至31中任一项的质量评估方法，其中，在包括两个或更多个域的组合的多域环境中计算指标。

33.如所列举的实例实施例32的质量评估方法，其中，对于每个域单独计算指标并随后组合指标。

34.如所列举的实例实施例32或33的质量评估方法，其中，通过加权组合把指标组合。

35.如所列举的实例实施例33或34的质量评估方法，其中，在对于每个域单独计算指标之后并且在组合指标之前，提供所述域中一个或更多个域内部的中间组合。

36.如所列举的实例实施例32至35中任一项的质量评估方法，其中，两个或更多个域包括时间域、多视图域、频域和亮度域。

37.如先前所列举的实例实施例中任一项的质量评估方法，其中，在整个图像上或者在整个图像的子集上计算指标。

38.如所列举的实例实施例37的质量评估方法，其中，整个图像的子集包括图像内的一个或更多个区域。

39.如所列举的实例实施例38的质量评估方法，其中，指标是图像内一个或更多个区域上汇集的指标。

40.如所列举的实例实施例38的质量评估方法，其中，图像内的一个或更多个区域是用户可选择的区域。

41.如所列举的实例实施例38的质量评估方法，其中，选择图像内的一个或更多个区域作为图像分割分析的结果。

42.如所列举的实例实施例38的质量评估方法，其中，使用关注区域的自动检测方案选择图像内的一个或更多个区域。

43.如所列举的实例实施例42的质量评估方法，其中，关注区域的自动检测方案包括对象分割方法和针对应用的算法中的一个或更多个。

44.如所列举的实例实施例43的质量评估方法，其中，对象分割方法包括k均值分割方法、分界区算法、基于Hausdorff距离的算法中的一个或更多个。

45.如所列举的实例实施例43或44的质量评估方法，其中，针对应用的算法包括面部检测算法。

46.如所列举的实例实施例38的质量评估方法，其中，一个或更多个区域是使用滤波器和/或采样方法以不同分辨率子采样的图像的区域。

47.如先前所列举的实例实施例中任一项的质量评估方法，其中，指标是一个或更多个域中在多个图像上汇集的指标。

48.如所列举的实例实施例47的质量评估方法，其中，指标用于多个图像内的统计分析。

49.如所列举的实例实施例13的质量评估方法，其中，基于i)图像预测值、ii)对于每个图像可逐像素或逐区域配置的一组局部参数、以及iii)可逐图像配置的一组全局参数来计算指标。

50.如所列举的实例实施例49的质量评估方法，其中，指标是基于测试图像序列的非参考指标，基于图像预测的指标计算把测试序列中选定的图像中的像素与该选定的图像的邻近者图像的相应像素之间的比较考虑在内。

51.如所列举的实例实施例49或50的质量评估方法，其中，在包括两个或更多个域的组合的多域环境中计算指标。

52.如所列举的实例实施例51的质量评估方法，其中，两个或更多个域包括时间域和多视图域。

53.如所列举的实例实施例51或52的质量评估方法，其中，对于每个域单独计算指标以及随后组合指标。

54.如所列举的实例实施例53的质量评估方法，其中，通过加权组合把指标组合。

55.如所列举的实例实施例49至54中任一项的质量评估方法，其中，基于iv)相应像素值在时间上的变化进一步计算指标。

56.如所列举的实例实施例55的质量评估方法，其中iv)包括视差补偿像素。

57.如所列举的实例实施例56的质量评估方法，其中基于iv)的计算进一步包括解块。

58.如所列举的实例实施例57的质量评估方法，其中，指标是基于测试图像序列的非参考指标，基于图像预测的指标计算把测试序列中选定的图像中的像素与该选定的图像的邻近者图像的相应像素之间的比较考虑在内。

59.如所列举的实例实施例57或58的质量评估方法，其中，在包括两个或更多个域的组合的多域环境中计算指标。

60.如所列举的实例实施例59的质量评估方法，其中，两个或更多个域包括时间域和多视图域。

61.如所列举的实例实施例59或60的质量评估方法，其中，对于每个域单独计算指标以及随后组合指标。

62.如所列举的实例实施例61的质量评估方法，其中，通过加权组合把指标组合。

63.如先前所列举的实例实施例中任一项的质量评估方法，该方法与包括视频压缩处理、视频预处理处理、视频后处理处理、或者视频水印制作处理的一个或更多个处理相关联。

64.如先前所列举的实例实施例中任一项的质量评估方法，其中，图像是比特流模式的。

65.如先前所列举的实例实施例中任一项的质量评估方法，其中，图像包括静止图像。

66.一种用于计算测试图像序列的一致性的系统，包括：

视差估计器，用以通过视差向量的生成来估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；以及

指标计算器，用以计算作为视差估计器生成的视差向量的函数的测试图像序列的一致性。

67.如所列举的实例实施例66的系统，进一步包括：位于视差估计器的上游的测试图像序列的空间滤波器。

68.如所列举的实例实施例67的系统，进一步包括：位于视差估计器的上游的参考图像序列的空间滤波器。

69.如所列举的实例实施例66至68中任一项的系统，其中，视差估计器包括测试图像序列视差估计器和参考图像序列视差估计器。

70.如所列举的实例实施例69的系统，其中，指标计算器基于只基于测试图像序列的非参考指标与基于测试图像序列和参考图像序列二者的参考指标之间的组合来计算测试图像序列的一致性。

71.如所列举的实例实施例66至70中任一项的系统，其中，在一个或更多个域中计算测试图像序列的一致性。

72.如所列举的实例实施例71的系统，其中，一个或更多个域包括时间域、空间域、频域、或者亮度域中的一个或更多个。

73.如所列举的实例实施例72的系统，其中，空间域包括多视图域。

74.如所列举的实例实施例66至73中任一项的系统，进一步包括：

位于视差估计器下游的视差补偿器，用以提供适合于由指标计算器使用以计算测试图像序列一致性的预测图像。

75.如所列举的实例实施例66至74中任一项的系统，其中，对于测试图像序列的每个图像，视差估计器考虑所述每个图像的邻近图像。

76.如所列举的实例实施例75的系统，进一步包括：组合器，把参考测试图像序列的第一图像的预测图像相组合以及也基于组合的第一图像的预测图像而计算参考测试图像序列的连续图像的预测图像。

77.如所列举的实例实施例66至76中任一项的系统，其中，指标计算器参照参考图像序列计算测试图像序列的一致性。

78.如所列举的实例实施例66至77中任一项的系统，其中，指标计算器基于测试图像序列中选定的图像中的像素与选定的图像的邻近者图像的相应像素之间的比较计算测试图像序列的一致性。

79.如所列举的实例实施例78的系统，其中，指标计算器进一步基于相应像素值在时间上的变化计算测试图像序列的一致性。

80.如所列举的实例实施例79的系统，其中，相应像素值在时间上的变化包括视差补偿的像素。

81.如所列举的实例实施例66至80中任一项的系统，该系统与包括视频压缩系统、视频预处理系统、视频后处理系统、以及视频水印制作系统中的一个或更多个的系统相关联。

82.如所列举的实例实施例66至81中任一项的系统，其中，图像是比特流模式的。

83.如所列举的实例实施例66至82中任一项的系统，其中，图像包括静止图像。

84.一种用于评估图像序列的质量的方法，包括以下步骤：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于视差向量计算指标以评估图像序列的质量。

85.如所列举的实例实施例84所述的质量评估方法，其中：

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，以及其中，指标基于测试序列视差估计和参考序列视差估计；或者

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计，以及其中，指标至少部分地基于测试序列视差估计；或者

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，基于视差估计的指标包括以下内容的组合：

第一指标，其至少部分地基于测试序列视差估计和参考序列视差估计；以及

第二指标，其基于测试序列视差估计；或者

视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，以及其中，至少部分地基于视差估计的指标包括基于测试序列视差估计和参考序列视差估计二者的第一指标与基于测试序列视差估计的第二指标之间的组合。

86.如所列举的实例实施例85所述的质量评估方法，进一步包括以下步骤中的一个或更多个步骤：

在执行测试图像序列和参考图像序列的视差估计以前执行测试图像序列和参考图像序列的空间滤波；或者

在执行测试图像序列和参考图像序列的视差估计以前把测试图像序列和参考图像序列登记在一起。

87.如所列举的实例实施例84所述的质量评估方法，其中，把基于视差估计的指标与一个或更多个另外的指标组合。

88.如所列举的实例实施例84所述的质量评估方法，其中，一个或更多个域包括时间域、空间域、多视图域、或者亮度域中的一个或更多个。

89.如所列举的实例实施例84所述的质量评估方法，其中，指标是一个或更多个域中在多个图像上汇集的指标，进一步包括在一个或更多个域中执行图像之中的视差补偿，其中，视差补偿至少部分地基于视差估计并且提供图像预测，并且其中，指标至少部分地基于视差估计和视差补偿中的至少一个。

90.如所列举的实例实施例84所述的质量评估方法，其中，图像之中的视差估计包括对于每个图像在一个或更多个域中考虑图像中每个图像的一个或更多个图像邻近者。

91.如所列举的实例实施例84所述的质量评估方法，其中，基于以下项计算指标：

视差估计；

对于每个图像可逐像素或逐区域配置的一组局部参数；以及

可逐图像配置的一组全局参数。

92.如所列举的实例实施例84所述的质量评估方法，其中，在以下项中的至少一个上计算指标：

整个图像；或者

整个图像的子集。

93.如所列举的实例实施例84所述的质量评估方法，其中，指标是一个或更多个域中在多个图像上汇集的指标。

94.一种用于评估图像序列的质量的系统，包括：

用于在一个或更多个域中估计图像之中的视差以生成视差向量的部件；以及

用于基于视差向量计算指标以评估图像序列的质量的部件。

95.一种用于计算机系统评估图像序列的质量的用途，该处理包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于视差向量计算指标以评估图像序列的质量。

96.一种用于评估图像序列的质量的设备，包括：

至少一个处理器；以及

用于存储编码的指令的计算机可读存储介质，所述指令在通过至少一个处理器执行时引起、控制、编程或者配置至少一个处理器以在图像序列上计算、进行、控制或者执行指令评估处理，处理包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于视差向量计算指标以评估图像序列的质量。

97.一种用于存储编码的指令的计算机可读存储介质，所述指令在通过一个或更多个处理器运行时引起、控制、编程或配置一个或更多个处理器以计算、执行、控制、编程、配置或运行以下项中的一个或更多个：

图像序列上的指令评估处理，处理包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于视差向量计算指标以评估图像序列的质量；

用于计算机的用途，包括在图像序列上执行质量评估处理；

系统，包括用于在图像序列上执行质量评估处理的部件；或者

设备，用于评估图像序列的质量。

98.一种用于计算测试图像序列的一致性的系统，包括：

视差估计器，用以通过视差向量的生成估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；以及

指标计算器，用以根据视差估计器生成的视差向量计算测试图像序列的一致性。

已描述了公开内容的大量实施例。然而，将会理解，可以在不脱离本公开的精神和范围的情况下做出各种修改。相应地，其它实施例在所附权利要求的范围内。

参考文献列表

[1]VQEG，“Final Report from the Video Quality Experts Group on theValidation of Obj ective Models of Video Quality Assessment.Phase I”(2000年3月)

[2]VQEG，“Final Report from the Video Quality Experts Group on theValidation of Objective Models of Video Quality Assessment.Phase II”(2003年8月)

[3]B.Girod，“What′s Wrong with Mean-Squared Error，”Digital Imagesand Human Vision，A.B.Watson，编辑，207-220页，MIT Press(1993)

[4]A.B.Watson、J.Hu、以及J.F.McGowan III，“Digital Video QualityMetric Based on Human Vision，”Journal of Electron ic Imaging，第10卷，no.1，20-29页(2001)

[5]CJ.van den Branden Lambrecht、以及O.V.Verscheure，“PerceptualQuality Measure Using a Spatio-Temporal Model of the Human VisualSystem，”Proc.of SPIE，第2668卷，450-461页(1996)

[6]J.Lubin、M.H.Brill、A.De Vries、以及O.Finard，“Method andApparatus for Assessing the Visibility of Differences Between Two ImageSequences，”美国专利5,974,159(1999)

[7]ANSI Tl.801.03-2003，“American National Standard forTelecommunications-Digital Transport of One-Way Video Signals-Parameters for Objective Performance Assessment”(2003)

[8]A.P.Hekstra等人，“PVQM：A Perceptual Video Quality Measure，”Signal Processing：Image：Communication，第17卷，no.10，781-798页(2002)

[9]Z.Wang、A.C.Bovik、以及H.R.Sheikh，“Image Quality Assessment：From Error Visibility to Structural Similarity，”IEEE Trans.on ImageProcessing，第13卷，no.4，600-612页(2004)

[10]K.Seshadrinathan、以及A.C.Bovik，“A Structural Similarity Metricfor Video Based on Motion Models，”IEEE Int.Conf on Acoustics Speechand signal Processing(ICASSP)，第1卷，I-869-I-872页(2007)

[11]Z.Wang、L.Lu、以及A.C.Bovik，“Video Quality Assessment Basedon Structural Distortion Measurement，”Signal Processing：ImageCommunication，第19卷，no.2，121-132页(2004)

[12]A.M.Tourapis、O.C.Au、以及M.L.Liou，“Highly Efficient PredictiveZonal Algorithms for Fast Block-Matching Motion Estimation，”IEEETrans，on Circuits and Systems，第12卷，no.10，934-947页(2002)

[13]A.M.Tourapis、H.-Y.Cheong、以及P.Topiwala，“Fast ME in the JMReference Software，”ISO/IEC JTC1/SC29/WG11和ITU-T SG16 Q.6，文件JVT-P026(2005)

[14]H.-Y.C.Tourapis和A.M.Tourapis，“Fast Motion Estimation withinthe H.264codec，”Int.Conf.on Multimedia and Expo，第3卷，517-520页(2003)。

Claims (15)

1.一种用于评估图像序列的质量的方法，包括以下步骤：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于所述视差向量计算指标以评估所述图像序列的质量。

2.如权利要求1所述的质量评估方法，其中：

所述视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计和在属于参考图像序列的图像之中执行的参考序列视差估计，并且其中，所述指标基于所述测试序列视差估计和所述参考序列视差估计；或者

所述视差估计包括在属于测试图像序列的图像之间执行的测试序列视差估计，并且其中，所述指标至少部分地基于所述测试序列视差估计；或者

所述视差估计包括在属于测试图像序列的图像之间执行的测试序列视差估计和在属于参考图像序列的图像之间执行的参考序列视差估计，并且基于所述视差估计的指标包括以下内容的组合：

至少部分地基于所述测试序列视差估计和所述参考序列视差估计的第一指标；以及

基于所述测试序列视差估计的第二指标；或者

所述视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，并且其中，至少部分地基于所述视差估计的指标包括基于所述测试序列视差估计和所述参考序列视差估计二者的第一指标与基于所述测试序列视差估计的第二指标之间的组合。

3.如权利要求2所述的质量评估方法，进一步包括以下步骤中的一个或更多个步骤：

在执行所述测试图像序列和所述参考图像序列的视差估计以前执行所述测试图像序列和所述参考图像序列的空间滤波；或者

在执行所述测试图像序列和所述参考图像序列的视差估计以前把所述测试图像序列和所述参考图像序列登记在一起。

4.如权利要求1所述的质量评估方法，其中，把基于所述视差估计的指标与一个或更多个另外的指标组合。

5.如权利要求1所述的质量评估方法，其中，所述一个或更多个域包括时间域、空间域、多视图域、或者亮度域中的一个或更多个。

6.如权利要求1所述的质量评估方法，其中，所述指标是在所述一个或更多个域中在多个图像上汇集的指标，进一步包括在所述一个或更多个域中执行所述图像之中的视差补偿，其中，所述视差补偿至少部分地基于所述视差估计并且提供图像预测，以及其中，所述指标至少部分地基于所述视差估计和所述视差补偿中的至少一个。

7.如权利要求1所述的质量评估方法，其中，所述图像之中的视差估计包括对于每个图像在所述一个或更多个域中考虑所述图像中每个图像的一个或更多个图像邻近者。

8.如权利要求1所述的质量评估方法，其中，基于以下项计算所述指标：

所述视差估计；

对于每个图像可逐像素或逐区域配置的一组局部参数；以及

可逐图像配置的一组全局参数。

9.如权利要求1所述的质量评估方法，其中，在以下项中的至少一个上计算所述指标：

整个图像；或者

整个图像的子集。

10.如权利要求1所述的质量评估方法，其中，所述指标是所述一个或更多个域中在多个图像上汇集的指标。

11.一种用于评估图像序列质量的系统，包括：

用于在一个或更多个域中估计图像之中的视差以生成视差向量的部件；以及

用于基于所述视差向量计算所述指标以评估所述图像序列的质量的部件。

12.一种用于让计算机系统评估图像序列的质量的用途，该过程包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于所述视差向量计算指标以评估所述图像序列的质量。

13.一种用于评估图像序列的质量的设备，包括：

至少一个处理器；以及

用于存储编码的指令的计算机可读存储介质，所述指令在通过所述至少一个处理器运行时引起、控制、编程或者配置所述至少一个处理器以在图像序列上计算、执行、控制或者运行质量评估处理，所述处理包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于所述视差向量计算指标以评估所述图像序列的质量。

14.一种用于存储编码的指令的计算机可读存储介质，所述指令在通过一个或更多个处理器运行时引起、控制、编程或者配置所述一个或更多个处理器以计算、执行、控制、编程、配置或运行以下项中的一个或更多个：

图像序列上的质量评估处理，该处理包括：

在一个或更多个域中估计图像之中的视差以生成视差向量；以及

基于所述视差向量计算指标以评估所述图像序列的质量；

用于计算机的用途，其包括在所述图像序列上执行质量评估处理；

系统，包括用于在所述图像序列上执行质量评估处理的部件；或者

设备，用于评估所述图像序列的质量。

15.一种用于计算测试图像序列的一致性的系统，包括：

视差估计器，用以通过视差向量的生成估计所述测试图像序列的图像之中的视差或者所述测试图像序列的图像与参考图像序列的图像之间的视差；以及

指标计算器，用以计算根据所述视差估计器生成的视差向量的所述测试图像序列的一致性。

Images