CN102845071A - 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 - Google Patents

Abstract

评价视觉质量特性包括选取和处理至少第一图像或视频信号和第二图像或视频信号以及处理所选取的图像或视频信号。至少部分地基于对所选取的图像或视频信号的处理，测量所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异。视觉质量特性与所测量的在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异的量值有关。至少第一图像或视频信号和第二图像或视频信号包括高动态范围或视觉动态范围和/或宽色域。至少部分地基于所测量的差异来评估视觉质量特性。

Description

高动态范围、视觉动态范围和宽色域的图像与视频的质量评估

相关申请的交叉引用

本申请要求于2010年4月19日提交的美国专利临时申请No.61/325,614的优先权，其全部内容通过引用合并于此。

技术领域

本发明一般地涉及图像和视频质量评估。更具体地，本发明的实施方式涉及高动态范围、视觉动态范围和宽色域的图像与视频的质量评估。

背景技术

高动态范围、视觉动态范围和宽色域

如这里所使用的，术语动态范围可以涉及图像的亮度（例如，强度）的范围。真实场景中的动态范围是很大的。现今用于图像和视频信号的采集、重现和显现所使用的不同图像和视频应用可以具有不同的动态范围。例如，摄影底片可以具有相对大的动态范围，而摄影印刷品、一些目前存在的（例如，传统的）电视机（TV）以及电脑显示器可以具有较小的动态范围。

如这里所使用的，术语“低动态范围”（LDR）可以涉及与许多当前的TV或监控显示器相关联的动态范围。与LDR图像对比，高动态范围（HDR）图像基本上包含HDR图像所基于的原始场景的所有动态范围。LDR图像以现今广泛使用的8位显示器所呈现的图像为代表。HDR图像可以使用10位至14位显示器来呈现。

对于诸如用于分发和显示的压缩之类的许多应用，对HDR进行编码可能是不必要的并且可能事实上有些计算昂贵和/或带宽消耗。然而，对于这些现代应用中的一些应用，LDR图像可能不能简单地满足所有目的。可替代地，这样的应用可能更有利地使用、创造、存储、传输或呈现可以以视觉动态范围（VDR）为特征的图像。VDR图像基本上包括普通人类视觉系统（HVS）可以同时感知（例如，在任意给定时间的视觉感知）的所有亮度和颜色。

背景技术图1描绘了人类可见亮度（例如，HDR，以中心的“适应范围”箭头示出）的整个范围与同时可见的亮度的范围（例如，VDR，以上面的“同时视觉”范围箭头示出）以及常见的8位伽马映射显示器的范围（例如，LDR，以下面的“设备”范围箭头示出）之间的比较。图1因此描绘了在HDR、VDR以及LDR之间就可能与本发明的实施方式有关的背景信息进行的比较。

如这里所使用的，术语色域可以涉及颜色的特定子集。色域通常表示为在CIE 1931色度图内的区域，CIE 1931色度图对于在与颜色、图像、视频、显示、电影和摄影（例如，“颜色、图像和视频”）有关的领域中的普通技术人员而言是熟悉的。这些领域中的普通技术人员意识到CIE 1931色度图表示的差不多“马蹄”形区域是可能色度的整个范围。

然而对于任何显示设备，对能够再现或显示的颜色的设置存在物理限制。例如，现存的显示设备（例如，阴极射线管（CRT）、液晶显示器（LCD）或等离子体显示器）通常仅覆盖整个颜色空间的相对小的区域。参照CIE1931色度图，在颜色、图像和视频领域中的普通技术人员意识到在多数传统设备中可用的色域可以表示为三角形状，在整个范围内，其显著（例如，基本上）大于表示可以存在的可能色度的整个范围的CIE 1931色度图的马蹄形区域。

在具体颜色模型内不能显示、呈现或再现的特定颜色在这里可以被称为超出色域。通常需要另外的处理来应用、再现和显示这些颜色。在这里这样的另外处理可以被称为色域映射。如这里使用的，术语宽色域（WCG）可以涉及比被划界为在CIE 1931色度图的马蹄形内的更小三角形的设备包括更多颜色的色域，并且基本上在界限处所有的颜色均是能被HVS感知的。背景技术图2描绘了该色度图的示例性灰度表示，其对于在涉及至少图像、颜色、视频、电影、摄像等的领域中的普通技术人员应该是熟悉的。

在本章节中描述的方法是能够执行的方法，但未必是之前设想到或执行过的方法。因此，除非另有说明，否则不应该假定在本章节中描述的任何方法仅仅由于它们包含在本章节中而被视为现有技术。类似地，除非另有说明，否则不应该将关于一种或更多种方法确定的问题假定为以本章节为基础的任何现有技术已经意识到的。

附图说明

通过示例但不受限于示例、以附图中的图形来说明本发明，在附图中用相似的附图标记来表示类似的要素，在附图中：

图1描绘了HDR、VDR与LDR之间就可能与本发明的实施方式有关的背景信息进行的比较；

图2描绘了色度图的就可能与本发明的实施方式有关的背景信息的示例性灰度表示；

图3描绘了使用其可以实行本发明的实施方式的VDP的示例；

图4描绘了使用其可以实行本发明的实施方式的VDP度量至HDR空间的示例性扩展；

图5描绘了根据本发明的实施方式的一对HDR、VDR和WCG图像和/或视频信号之间的视觉差异的示例性评估；

图6描绘了使用其可以执行本发明的实施方式的、被转换成示例性HDR/VDR颜色空间的经伽马编码的RGB信号；

图7描绘了根据本发明的实施方式的示例性非线性换算HDR/VDR亮度值的表示；

图8描绘了根据本发明的实施方式的信号强度的示例性比较；

图9A、图9B、图10A、图10B、图11A和图11B描绘了根据本发明的实施方式作出的测试序列图像的示例性比较；

图9C、图9D、图10C、图10D、图11C和图11D描绘了根据本发明的实施方式作出的示例性质量评估差异图；以及

图12描绘了本发明的实施方式可以在其中使用的示例性视频编码系统。

具体实施方式

在这里描述高动态范围、视觉动态范围和宽色域的图像与视频的质量评估。在以下描述中，出于解释的目的，阐明许多具体细节以提供对本发明的彻底理解。然而，将明显的是不使用这些具体细节也可以实行本发明。在其它情形中，不以详尽的细节来描述已知的结构和设备，以避免不必要地包藏、模糊或混淆本发明。

综述

这里描述的示例性实施方式涉及高动态范围、视觉动态范围和宽色域的图像与视频的质量评估。评估视觉质量特性包括选取（access）和处理至少第一图像或视频信号和第二图像或视频信号。至少部分地基于对所选取的图像或视频信号的处理，测量在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异。视觉质量特性与所测量的在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异的量值有关。至少第一图像或视频信号和第二图像或视频信号包括动态范围和/或色域。至少部分地基于所测量的差异来评估视觉质量特性。动态范围包括视觉动态范围（VDR）和/或高动态范围（HDR），色域包括扩展色域或宽色域（WCG）中的至少一种色域。

应该理解的是，在这里描述的技术虽然是与至少第一图像或视频信号和第二图像或视频信号有关地进行描述的，但该技术可以应用于超过两种图像或视频信号。尽管这里的描述涉及图像或者涉及视频信号或者涉及图像和视频信号两者，然而还应该理解的是，任一术语的提及都意味着描述两个术语（除非在特定情况下其特定的描述或部分清楚地表明是相反情形）。

实施方式报告所测量的在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异，例如输出基于所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间的差异的视觉质量评估。所述报告的所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间的差异可以包括:与所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间的差异有关的数值数据；和/或表示所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间的差异的图。差异图以图形格式来表示所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间的差异。图形格式的图以与至少第一和第二图像相对应或者相配准中的一种或更多种方式来表示所测量的在所处理的至少第一图像与第二图像之间的差异。实施方式标记所测量的在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异。因此，差异图以与第一图像或视频信号和第二图像或视频信号在空间上一致的方式表示所标记的测量差异。

在实施方式中，第一图像或视频信号和第二图像或视频信号中的至少一个包括对其评估视觉质量特性的目标图像。因此，图像或视频信号中的至少第二个包括参考图像。以与参考图像的比较来针对目标图像评估视觉质量特性。

在实施方式中，处理所选取的图像或视频信号包括根据多个有关参数化函数来计算至少第一图像或视频信号和第二图像或视频信号的一个或更多个分量。在实施方式中，根据多个有关参数化函数计算第一图像或视频信号和第二图像或视频信号的分量包括计算摄影映射（photographicmapping）。第一图像或视频信号和第二图像或视频信号的分量涉及第一图像或视频信号和第二图像或视频信号的亮度特性（例如，强度、亮度、光度）或者颜色特性（例如，色度、浓度（chroma））。

实施方式的动态范围和/或色域分别包括第一动态范围或第一色域。处理所选取的图像或视频信号包括转换与至少第一图像或视频信号和第二图像或视频信号有关的颜色空间。可以将颜色空间从第一动态范围转换为至少第二动态范围。另外地或可替代地，可以将颜色空间从第一色域转换为至少第二色域。

转换颜色空间可以包括将与第一动态范围和/或第一色域相关联的多个第一非线性值变换为具有基本线性特性的多个第二值。根据对应于感知非均匀性的非线性换算因子来换算第二值，其中感知非均匀性可以与从非线性值到基本线性的值的变换相关联。第一非线性值可以与经伽马编码的RGB信号相关联。因此，变换成基本线性的值可以包括将与RGB信号相关联的伽马编码撤销或取消。非线性换算可以应用于第一图像或视频信号和第二图像或视频信号的亮度有关分量和/或颜色特性。当换算亮度有关分量和/或颜色特性时，可以根据换算的亮度有关分量和/或换算的颜色特性来测量第一和第二图像之间的差异。基本线性化的RGB信号可以包括XYZ颜色空间。实施方式可以将XYZ颜色空间变换为换算的RGB颜色空间并且以伽马值来编码换算的RGB颜色空间。根据经伽马编码的换算的RGB颜色空间可以测量第一图像或视频信号和第二图像或视频信号之间的差异。

在实施方式中，测量所处理的第一图像或视频信号和第二图像或视频信号之间的差异包括测量它们之间的结构相似性指标（index）（SSIM）值。测量结构相似性指标值可以包括比较与图像强度（例如，亮度）、对比度和结构有关的值。强度、对比度和结构与第一图像或视频信号和第二图像或视频信号相关联。

第一和第二视频信号可以包括多个帧、片和/或域。实施方式针对帧、片和域中的每一种测量差异以作为各自差异，进一步处理所测量的各自差异，并且生成用于包括多个帧、片或域的视频序列的总差异值。

实施方式可以使用各种系统、视频质量评估装置、集成电路（IC）（包括微处理器、数字信号处理器（DSP）、可配置或可编程逻辑器件例如门阵列（例如，FPGA）和微控制器）以及专用IC（ASIC）来实行、执行或实现这些技术。

示例的图像和视频质量评估

评估与图像或视频信号的视觉质量有关的属性在包括但不限于图像和视频信号的采集、压缩、传送和显示的图像和视频应用中可以是重要的。质量评估可以用于基准测试（beachmark）、监控、调整和/或优化图像和视频信号的‘质量属性’（例如，涉及视觉或图形的优点、价值、准确度、精度或值的一个或更多个方面的主观或客观感知或者测量的特性）。

大体上，图像和视频质量评估方法落入质量的主观或客观评估中的至少一种中。为了实现主观质量评估，通常大量的人类观察者在受控的环境中视觉地评估目标图像和所显示的视频信号。当评估目标图像或所显示的视频信号时，如通过每个主观观察者所感知的那样，人类观察者关于他们的与所观察的图像和视频信号的感知质量有关的决定、意见和倾向投票。随后通常进一步处理观察者的决定以形成平均意见评分（MOS）。

通过主观质量评估建立的评估意见通常被视为重要的“真相（groundtruth）”指示符。然而，主观质量评估通常需要大量投入时间和费用来完成。此外，对于一些应用而言主观质量评估有时可能是基本上不实际的。主观质量评估有时可能基本上不实际的应用可以包括但不限于可以至少部分地从实时评估反馈受益的图像和视频处理（例如，算法）优化。

在实时评估反馈可以有益的情况下，客观质量评估可能是比主观评估更适当的方法。客观质量评估估计目标图像或视频信号并且形成（例如，测量、生成、输出或者公布）与图像或信号的视觉质量有关的视觉质量有关分析或报告。客观质量评估通常力争实现与可信赖的或可靠的相应主观质量评估尽可能接近或匹配的评估值或评分。

客观质量评估可以被归类为三种类别中的至少一种类别：（1）完全参考的客观质量评估；（2）降低参考的客观质量评估；或者（3）无参考的客观质量评估。完全参考（FR）的评估使用完整的参考图像，其被假定为可用于与目标图像比较。降低参考（RR）的质量评估以使参考图像部分可用（例如，以提取的特征（例如，“媒体指纹”）、其它哈希有关签名或者元数据的形式）而作出。无参考（NR）的质量评估在没有已知或可用的参考图像的情况下作出。NR和RR客观质量评估通常难以有效、快速且经济地实现。本发明的实施方式涉及完全参考（FR）的图像质量评估。

可以根据一种或更多种可选的技术作出FR客观质量评估（OQA）。峰值信噪比（PSNR）可以用于实现FR OQA。PSNR可以根据均方差（MSE)得到。给定长度为N的两个向量x={x_i|i=1,…，N}和y={y_i|i=1,…,N}，可以分别根据以下方程1A和1B来计算x与y之间的MSE和PSNR。

$\mathrm{MSE}(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-y_i)}^2---\left(1A\right)$

$\mathrm{PSNR}(x,y)=10{\log }_{10}\left(\frac{L^2}{\mathrm{MSE}(x,y)}\right)---\left(1B\right)$

在方程1B中，L表示图像的最大可能像素值（例如，对于在[0,255]之间的8位LDR图像和视频信号而言，L=255）。

MSE和/或PSNR是相对简单的计算。MES和PSNR计算的简单性被广泛地用在包括图像和视频应用的信号处理中。此外，MES和PSNR计算可以从能够提供闭合式优化解的二次表示受益。然而，MES或PSNR可能不总是与MOS紧密关联。本发明的实施方式提供可以与MOS更可靠地关联或者另外提高MES和PSNR方法的可靠性的质量评估。

本发明的实施方式仿效人类视觉系统（HVS）以提供如下模型，该模型能够被用于提高基于MES/PSNR（在下文中有时简单地称为“PSNR”）有关方法的图像和视频质量评估。基于HVS的客观质量评估度量包括视觉差异预测器（VDP）和恰可察觉差异（JND）度量。实施方式使用精确地描述人类视觉系统通常感知视觉质量的机制、形式或者处理的HVS模型，以确定与MOS统计或类似度量统计地类似或可比的视觉质量，这被认为是相当可靠的。

图3描绘了使用其可以实行本发明的实施方式的VDP的示例。与一些其它基于HVS的质量评估方法一样，首先换算（scale）图像信号。换算图像信号考虑HVS对亮度的非线性响应，这可以被称为量值压缩。应用至少部分地基于对比敏感度函数（CSF）的滤波。CSF滤波考虑HVS对不同的空间和时间频率的相对（例如，或者变化）灵敏度。随后皮层变换和视觉掩蔽将图像分为空间、时间和方向通道并且计算每个通道中的感知误差。最后，将所计算的所有通道中的误差组合为单个值。

然而不幸地，基于HVS的客观质量评估方法依赖高度复杂且非线性的HVS。此外，对人类视觉和视觉感知如何实际工作的深刻、实际理解最多处于科学发展的非常早期的阶段。一些人类视觉的传统模型基于特定假设：HVS的特征为使用高度简化的刺激（例如，点、条或斜坡）的线性或拟线性的模型。与更简单的度量例如PSNR相比，此时与这些基本线性或拟线性的质量评估度量相关联的性能度量大部分是非决定性的。然而，已经表明这些线性或拟线性的质量评估度量中没有一个是统计上更可靠的，尽管这样的度量通常需要显著更高的计算费用和复杂性。因此对于图像和视频应用，PSNR仍然是占主导地位的定量性能度量。

示例性HDR、VDR和WCG图像与视频质量评估

PSNR方法用在LDR图像和视频应用中。事实上在LDR空间中存在PSNR方法的很少的有效备选方案。不幸地，当应用于HDR和/或VDR图像时，MSE/PSNR方法的性能受损害（例如，退化）。对于使用HDR/VDR图像和视频信号的一些应用，PSNR方法的性能可能仅仅无法可接受地执行，例如，处于一些最小程度或度量的满意度。对于该PSNR方法性能问题的至少一个重要的原因涉及人类视觉系统相对而言不能从图像场景的非常明亮的区域向非常暗的区域进行线性和/或均匀地换算。

在总体包括的动态范围相对小的情况下，如在LDR图像和视频信号（其通常包括动态范围的2个至3个数量级）的情况一样，即使不完美，这样的非线性或非均匀性也是可容忍的。然而，LDR/VDR图像和视频信号可以包含动态范围的5个至6个或更多个数量级。对于如此宽的动态范围，这样的非线性和/或非均匀性的影响基本上更显著。

临时搁置（例如，忽视）感知影响（例如，针对或对于普通人类观察者）并且此外仅仅集中在数值差异上，PSNR方法在高亮度区域趋向于过估计差异，而在低亮度区域趋向于欠估计差异。例如，在背景处于10cd/m²亮度时的5cd/m²（坎德拉每平方米，有时称为“近红外透射光谱（nits）”）差异比在10,000cd/m²的背景中的相同差异更明显。然而，在任一背景亮度下，5cd/m²的差异对PSNR的贡献是相同的。

图4描绘了使用其可以运行本发明的实施方式的VDP度量向HDR空间的示意性扩展。所谓的‘HDRVDP’包括完全参考的HDR质量评估度量。本质上，HDR VDP包括或表示VDP度量向HDR空间的扩展。

与VDP相比，‘HDR VDP’在三个阶段上扩展。在三个阶段中的第一阶段，执行与HVS有关的建模。为了考虑HDR/VDR信号的显著（例如，标记的或引人注意的）对比度变化的影响，可以首先使用光学传递函数（OTF）对图像进行滤波。OTF模拟普通人眼的眼角膜、晶状体和视网膜中的光散射。与通常对感光器建模的VDP相比，HDR VDP将亮度值变换到非线性空间。在三个阶段中的第二阶段，以JND单位换算HDRVDP将亮度值变换到的线性空间。在三个阶段中的第三阶段，CSF对与HDR VDP方法有关的任何灵敏度损耗进行建模。

在三个阶段上扩展HDR VDP（例如，与VDP相比），以及VDP自身的HVS建模特性的添加，增加了显著的复杂性以及计算上的以及其它的成本。因此HDR VDP的传统方法对于相对大规模的实现而言是不实际的或者基本上不可行的。然而，这样大规模的实现在包括优化图像和视频处理（例如，图像/视频算法优化）的应用中可以是有用的。

示例性实施方式

本发明的示例性实施方式评估第一图像和/或视频信号与第二图像和/或视频信号之间的视觉差异，其中第一图像和/或视频信号和第二图像和/或视频信号中的每一个均具有高动态范围（HDR）或视觉动态范围（VDR）和/或宽色域（WCG）。对图像和/或视频信号进行处理和评估。以标记第一图像和视频信号与第二图像和视频信号之间的差异程度的差异图或者数值结果的形式来提供评估的输出。在示例性实施方式中，处理HDR、VDR和WCG图像和视频信号以考虑感知非均匀性。在示例性实施方式中，测量所处理的信号之间的视觉差异。在示例性实施方式中，生成评估结果作为输出。评估结果输出可以是其中标记第一图像或视频信号和第二图像或视频信号之间的差异程度的差异图或者数值结果的形式。在示例性实施方式中，使用参数化函数族来处理HDR、VDR和WCG图像和视频信号。在示例性实施方式中，将这些质量评估处理应用于颜色通道。在示例性实施方式中，将这些质量评估技术应用于优化图像和视频处理（例如，算法优化）。

图5描述了根据本发明的实施方式的在一对HDR、VDR和WCG图像和视频信号之间的视觉差异的示例性评估。第一信号表示例如已知的、标准的或者参考水平的视觉质量的参考信号。第二信号表示目标信号，其视觉质量相对于参考信号的视觉质量进行评估。注意，在上两句话的上下文中，术语“第一”和“第二”涉及可辨认地区别、标注或命名参考信号和目标信号，并且明确地没有在顺序或时间含义（例如，其另外地意味着在时间或顺序上参考信号先于目标信号）上使用。

如在图5中使用的，描绘为使用虚线界定的框包括实施方式中的系统的可选组件。首先将信号转换成HDR/VDR可兼容的颜色空间。然后将非线性换算应用于颜色转换信号，以在进行测量之前考虑感知非均匀性。评估结果可以由数值表示或者使用差异图可视化。

首先将参考信号转换成HDR/VDR可兼容的颜色空间。对于在与色彩学、色度学、图像、视频、摄影等有关的领域中的普通技术人员已知的CIE 1931XYZ颜色空间包括或者表示示例性HDR/VDR颜色空间。图6描绘了使用其可以实现本发明的实施方式的、转换成示例性HDR/VDR颜色空间的经伽马编码的RGB信号。

在实施方式中，将经伽马编码的RGB信号变换成HDR/VDR颜色空间开始于取消伽马编码。可以撤销伽马编码以获得基本线性的RGB值。这种线性的RGB值可以转换成一阶或更高阶矩阵（这对于在与色彩学、色度学、图像、视频、摄影等有关的领域中的那些普通技术人员可以是已知的）以生成CIE XYZ三刺激值。从（R,G，B）三刺激值至（X,Y，Z）三刺激值的示例性转换矩阵由国际电信联盟（ITU）建议ITU-R BT.709、根据以下方程2A来定义。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.412424& 0.357579& 0.180464\\ 0.212656& 0.715158& 0.072186\\ 0.019332& 0.119193& 0.950444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(2A\right)$

随后实施方式将非线性换算应用于亮度有关值Y。非线性换算帮助考虑可能在颜色空间转换时发生的感知非均匀性。换算可以不受限于亮度分量Y。实施方式在颜色通道中应用换算，这能够实现色域映射。例如，对Y的非线性换算可以使用根据以下方程2B计算的函数

的参数化族来表示。

$Y_d=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{f}_n\left(Y\right)$

$\stackrel{\→}{F}=\{f_0,f_1,...,f_{n-1}\}---\left(2B\right)$

在方程2B中，表达式f_i（·）表示HDR/VDR亮度值Y的函数。

随后实施方式将非线性换算应用于亮度有关值Y。图7描绘了根据本发明的实施方式的示例性非线性换算的HDR/VDR亮度值的表示。非线性换算帮助考虑可能在颜色空间转换时发生的感知非均匀性。

当前对人类视觉系统的建模是复杂的并且在某些方面是至少部分不准确的。然而，实施方式使用至少部分地基于摄影映射（例如使用以下方程3A计算的那样）的模型。根据实施方式的摄影映射，尽管简单、有效地换算动态范围，然而保留了在非常明亮和非常暗的区域中的高对比度细节。在以下方程3中，

其中

表示与场景相关联的对数平均亮度，a表示用于场景的键的参数。在可以实现的实施方式中，默认的键值a包括对应于传统中间灰度值的接近或近似18%的值。方程3A因此计算换算值为：

$L_d=\frac{L\·(1+\frac{\text{L}}{L_{\mathrm{white}}^2})}{1+L}---\left(3A\right)$

其中表达式L_white表示将被映射成“纯白”的最小的亮度值。随后实施方式根据以下方程3B将非线性换算的信号变换成更线性的XYZ三刺激值。

Y_d=L_d

$X_d=\max (0,\frac{L_d}{Y}X)$

$Z_d=\max (0,\frac{L_d}{Y}Z)---\left(3B\right)$

实施方式使用根据方程3A计算的XYZ三刺激值，或者可替换地（或另外地）使用其它颜色。例如，实施方式如利用以下方程3C计算的那样进一步将XYZ三刺激值变换成RGB颜色空间并且对结果进行伽马编码。

$\left[\begin{array}{c}{R}_d\\ G_d\\ B_d\end{array}\right]=\left[\begin{array}{ccc}3.240708& -1.537259& -0.498570\\ -0.969257& 1.875995& 0.041555\\ 0.055636& -0.203996& 1.057069\end{array}\right]\left[\begin{array}{c}{X}_d\\ Y_d\\ Z_d\end{array}\right]$

$R_d^{`}=255*R_d^{1/\mathrm{\γ}}$

$G_d^{`}=255*G_d^{1/\mathrm{\γ}}$

$B_d^{`}=255*B_d^{1/\mathrm{\γ}}---\left(3C\right)$

在方程3C中，指数表达式γ表示所选择的伽马值。因此可以在经伽马编码的RGB空间上执行评估。可以将类似的（例如，基本相同的）处理应用于目标信号。

随后以测量单位来对比两个处理信号以确定视觉差异。测量可以基于现存的或者新的质量测量方法。例如，可以使用基于结构相似性指标（SSIM）的测量来执行实施方式。与PSNR方法（其仅测量两个信号之间的均方差）相比，SSIM包括三个分离的分量：（1）强度比较；（2）对比度比较；以及（3）结构比较。这三个分离的分量很好地考虑HDR/VDR信号中的视觉差异。此外计算SSIM尽管可能比PSNR方法稍微更复杂，但实现超过基于HVS度量（例如，VDP或JND）的效率。

图8描绘了根据本发明的实施方式的信号强度的示例性比较。使用表达式r来表示从参考信号转换和换算的信号。使用表达式t来表示从目标信号转换和换算的信号。比较这两个信号的强度并且计算比较l(r，t）的测量值。从信号中去除平均强度并且比较结果信号的标准偏差，由此计算涉及信号对比度差异c(r，t）的估计。实施方式对信号进行归一化，使得所比较的信号均具有单位标准偏差。实施方式比较归一化的信号以表示涉及结构差异s(r，t）的值。实施方式将三个指示符组合，这有效地计算两个输入信号的总质量测量。

实施方式根据如下表达式来计算组合的质量评估Q(r，t)：

Q(r，t)＝[l(r，t)]^α·[c(r，t)]^β·[s(r，t)]^γ

其中α>0、β>0以及γ>0包括用于调整这三个分量的重要性的参数，以及

$l(r,t)=\frac{2{\mathrm{\μ}}_r{\mathrm{\μ}}_t+C_1}{{\mathrm{\μ}}_r^2+{\mathrm{\μ}}_t^2+C_2},$ $c(r,t)=\frac{2{\mathrm{\σ}}_r{\mathrm{\σ}}_t+C_2}{{\mathrm{\σ}}_r^2+{\mathrm{\σ}}_t^2+C_2},$ $s(r,t)=\frac{{\mathrm{\σ}}_{\mathrm{rt}}+C_3}{{\mathrm{\σ}}_r{\mathrm{\σ}}_t+C_3}$

其中u_r和u_t表示r和t的局部采样平均值，

${\mathrm{\μ}}_r=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i,$ ${\mathrm{\μ}}_t=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{t}_i$

其中N表示采样的大小，σ_r和σ_t表示r和t的局部样本标准偏差，以及

${\mathrm{\σ}}_r={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(r_i-{\mathrm{\μ}}_r)}^2\right)}^{1/2},$ ${\mathrm{\σ}}_t={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(t_i-{\mathrm{\μ}}_t)}^2\right)}^{1/2}$

其中σ_n表示r和t的样本交叉相关，

${\mathrm{\σ}}_{\mathrm{rt}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(r_i-{\mathrm{\μ}}_r)(t_i-{\mathrm{\μ}}_t)$

其中C₁、C₂和C₃包括相对小的正常数，这避免接近零样本均值处的数值不稳定性。

实施方式设置默认值为α=β=γ=1，使得

$.Q(r,t)=l(r,t)\·c(r,t)\·s(r,t)=\left(\frac{2{\mathrm{\μ}}_r{\mathrm{\μ}}_t+C_1}{{\mathrm{\μ}}_r^2+{\mathrm{\μ}}_t^2+C_1}\right)\·\left(\frac{2{\mathrm{\σ}}_r{\mathrm{\σ}}_t+C_2}{{\mathrm{\σ}}_r^2+{\mathrm{\σ}}_t^2+C_2}\right)\·\left(\frac{{\mathrm{\σ}}_{\mathrm{rt}}+C_3}{{\mathrm{\σ}}_r{\mathrm{\σ}}_t+C_3}\right)\·$

因此实施方式可以基于像素级、块级和/或图像级来评估视觉质量。在实施方式中，块可以是交迭的或不交迭的。对于每个像素、块或图像，实施方式为Q(r，t）指定在[0,1]之间的数值，其中越高的数表示参考信号与目标信号之间匹配地越好。当基于像素级或块级进行评估时，实施方式指定与整幅图像或整个帧的质量特性有关的总数值AQ，该总数值AQ可以将图像或帧的每个单独块的质量评估组合，例如方程4中那样。

$\mathrm{AQ}=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}Q(r_j,t_j)---\left(4\right)$

在方程4中，表达式M表示图像/帧的块（r_j，t_j）的数量。

将在本实施方式中使用的方法应用于亮度有关通道上。然而，实施方式也可以将类似的方法应用于与其它图像特性（例如，色度、浓度或其它颜色有关属性）有关的通道上。为了评估在多个通道上的图像质量，实施方式获得与每个通道相关联的单独值。可以进一步处理所获得的值以获得用于整幅图像或整个帧的单个总值。例如，实施方式可以使用在针对每个单独通道获得的值上运行的简单平均计算来处理所获得的值。

实施方式评估视频信号之间的视觉差异。最初将视频信号分为一系列帧、片或域。将上述的方法（例如，参照方程4）应用于每个帧、片或域，并且针对它们中的每一个获得数值。实施方式进一步处理用于所有帧、片和域的值以获得用于整个视频序列的单个总值。例如，实施方式可以使用在针对每个单独帧、片或域获得的值上运行的简单平均计算来处理所获得的值。

实施方式通过将在[0，1]之间的范围内的评估结果值量化为L位一致表示来对评估结果进行可视化，其中L位表示中的2^L-1对应于评估结果中的1，并且其中L位表示中的0对应于评估结果中的0。量化结果可以以与原始像素或块相同的空间位置来排列，并且作为L位图像而输出。

各种测试图像和测试序列对于在涉及视频、成像、摄影、电影等的领域中的普通技术人员而言是熟悉的，并且被以多种作用（例如，努力、测试、实验、验证、描绘和描述）使用以显现一致的空间视觉信息，例如用于不同技术或方法之间的比较。有时用于一致地呈现空间视觉信息的两个熟悉的测试序列包括通常称为（例如，在有关领域中熟知的）“日落（Sunset）”和“沙漠海（Desert to Sea）”的序列。图9A、图9B、图10A、图10B、图11A和图11B描绘了测试序列图像的示例性比较。图9A和图9B描绘了从日落测试序列取得的示例测试序列部分的示例性接近（例如，时间或顺序上连续）的图像（例如，帧）901和902。

视觉质量评估结果可以作为差异图（例如，与在图像序列的两幅或更多幅图像之间的可视差异相关联的值的图）输出、存储和/或显示。例如，可以计算差异图，其示出在一系列图像中的两幅顺序接近的图像（例如，在视频信号中的两个时间上接近的帧）之间的差异。图9C、图9D、图10C、图10D、图11C和图11D描绘了差异图的示例性比较。图9C和图9D分别描述了与在日落测试序列中的第一帧901和第二帧902相关联的不同的示例性视觉质量评估差异图。在图9C中，差异图905描绘了示例性的基于HDRVDR的第一帧901与第二帧902之间的视觉质量评估差异图。为了比较，在图9D中，差异图906描绘了根据实施方式生成的示例性视觉质量评估差异图。

在图9A和图9B中描述的示例性日落测试序列以及（以下关于图10A和图10B描述的）沙漠海测试序列两者均具有出现在同一图像中的在相对非常亮的区域中呈现的可视细节以及在相对非常暗的区域中呈现的细节。如上所述，实施方式通过将在[0,1]之间的范围内的评估结果值量化为L位一致表示来对评估结果进行可视化。L位表示中的值2^L-1对应于评估结果中的1，以及L位表示中的0对应于评估结果中的0。量化的结果可以以与原始像素或块相同的空间位置来排列，并且作为L位图像而输出。

在图9D中，差异图906依照根据实施方式计算的可视化技术来标记，其中值L=8。在用于示例性比较的图9C中，差异图905根据HDR VDP技术标记。对于（例如，图像901和902的）每个像素，HDR VDP计算值p，其对应于那些像素处的参考信号与目标信号之间不同的概率。在[0.5,1]之间的值1-0.5*p被一致地量化为[128,255]，其中值255对应于p=0，而值128对应于p=1。

在图9C中示出的HDR VDP测试结果以及在图9D中示出的根据实施方式的测试结果没有数值上对齐，这是因为分别与各自相关联的值不具有相同的意义或定义。尽管因此这些视觉评估测试的数值结果不可以直接相比较，但是在差异图905和差异图906两者中，与越亮出现的区域相比，在差异图中越暗出现的区域表明参考信号与目标信号之间的更显著或更明显的视觉差异。相反地，越亮出现的区域表明参考信号与目标信号之间的不太显著（或不太明显）的视觉差异。

示例图像901和902分别包括在日落测试序列中的第一原始帧和第二原始帧。图像901和图像902各自覆盖动态范围的大约五个或六个数量级，例如与它们的亮度有关值有关。它们的动态范围的范畴在从亮区域（其描绘太阳，基本上处于中心位置）到朦胧区域（其描述出现为人群的区域）之间变动。图像901和图像902在它们各自动态范围的高端与低端两者处具有对比度细节。（应该注意到无论如何，由于在本申请中与图9A和图9B的存储、呈现和印刷相关联的动态范围和颜色有关限制，所以仅HDR图像901和HDR图像902中的每个图像中存在的部分动态范围可以使用灰度来呈现，其中图像901和图像902两者示出可用动态范围换算的相同部分。）

在图9C和图9D中分别描述的视觉质量评估测试图905和906两者/每个将（在图像901和图像902两者中描述的海洋特征上看到的）高反射区域加亮为具有相对低的视觉质量。该加亮可能最明显与图像901和图像902中的每幅图像的示出直接反射的区域相关联。在图像901和图像902的具有不太显著差异的区域（和/或不具有差异的区域）中，根据实施方式计算的评估结果与使用传统HDR VDP技术所计算的评估结果很好地相关。由于这样的高相关性，本发明的实施方式实现的准确性与使用传统HDR VDP所实现的视觉评估结果相关联的准确性可比拟，其中传统HDRVDP被很好地接受并且被在与图像、视频、电影、摄影、颜色、色度等有关的领域中的普通技术人员使用。

然而，显著的或值得注意的延迟时间（latency）可以与传统HDR VDP计算相关联。VDP测量对人类视觉系统（例如，不完全地）建模。此外，VDP扩展至HDR涉及考虑一些人类视觉感知行为的甚至更复杂的建模。这些添加的模型为HDR VDP质量评估增加显著的复杂性。实施方式可以独立于这样的感知建模来执行视觉质量评估，并且可以因此使用比HDRVDP方法更少的延迟时间来运行。

实施方式独立于（例如，不使用）HVS的复杂的（和/或不完善的）基于感知的建模来计算视觉质量评估。实施方式使用可以类似于摄影技术的相对简单的模型。实施方式将HDR VDP信号映射成可以比基于感知的方法更简单地测量视觉质量评估的表象空间或维数集。在类似的测试环境中，实施方式使用相对于基于感知模型（例如，HDR VDP）显著减少的延迟时间来评估视觉质量结果。

与使用传统HDRVDP或其它基于感知的方法可以实现的相比，实施方式使用显著更少的延迟时间来评估视觉质量结果。例如，可以实现如下实施方式：在比HDR VDP快一个数量级和两个数量级（例如，近似50倍）之间地评估视觉质量。此外，实施方式可以以模块化结构为特征，其与基于感知的评估系统的一些实现相比是简单且有效的。因此实施方式的软件和硬件实现对于进一步（例如，新开发）的优化是开放的。

在图10中，描绘‘沙漠海’测试序列中一对接近的、或者时间上和/或顺序上连续的原始帧1001和1002的评估结果。帧1001和帧1002每个/两者包括在更亮的区域（在所描绘的太阳特征的附近）中的细节以及在更朦胧的区域（描述花）中的细节。沙漠海测试剪辑是使用专业质量摄像机采集并且以专业水平的后期生成装置处理的。如这里使用的术语“专业”可以涉及可被在与图像、视频、颜色、色度、摄影、电影等有关领域中的普通技术人员使用或与之相关联的质量、复杂性、能力、专业知识和/或技能的水平。

根据实施方式评估图像内容（例如，沙漠海测试序列的帧1001和1002（和/或日落测试序列的帧901和902））的视觉质量允许对摄像机和其它用于在其中采集图像的设备的质量进行基准测试和监控的可优化和/或低的延迟时间。帧1001和1002各自覆盖大约5个至6个数量级。（应该注意的是无论如何，由于在本申请中与图10A和图10B的存储、呈现和印刷相关联的动态范围和颜色有关限制，所以在HDR图像1001和HDR图像1002的每个图像中存在的仅部分动态范围可以使用灰度来随之呈现，其中图像1001和图像1002两者示出可用动态范围换算的相同部分。）

图10D中示出根据实施方式标记的图像1001与图像1002之间的差异。为了示例性比较，差异图1005中示出通过传统HDR VDP方法标记的图像1001与图像1002之间的差异。在每个帧1001和1002中的具有高度显著差异和低（或零）差异的辨别区域中差异图1001和1002密切对应。因此，实施方式可以以与良好建立的和广泛使用的基于感知的方法（例如，HDR VDP）至少大约一样准确地评估视觉质量。

此外，在多数情况下以及在类似的测试环境下，实施方式使用比传统的基于感知的方法显著更少的延迟时间来计算视觉质量评估。例如，尽管在类似的测试条件下计算，然而与通常使用HDR VDP技术生成的差异图1005相比，实施方式生成的差异图1006具有大约小整整两个数量级的延迟时间。在关于差异图1006示出的实现中，实施方式比关于差异图1005示出用于比较的所使用的HDR VDP方法大约快100倍地工作。

图11A和图11B描绘了均来自日落测试序列的示例性图像。图11A描述了来自日落测试序列的原始图像1101。图11B描述了来自日落测试序列的原始图像实例1102。为了生成图像实例1102，首先以压缩的VDR格式对原始图像1101进行编码，随后从原始图像1101的压缩编码实例解码为解压缩的VDR图像1102。图11C和图11D描绘了原始图像1101与压缩和解压缩的编码图像实例1102之间的示例性差异图。图11C描绘了使用HDR VDP生成的差异图1105。图11D描述了根据实施方式生成的差异图1106。

在图11C和图11D中分别描绘了视觉质量评估测试图1105和1106，两者/每个将（在图像1101和图像1102两者中所描述的海洋特征上看到的）高反射区域加亮为具有相对低的视觉质量。该加亮可能最明显与图像1101和图像1102中的每幅图像的示出直接反射的区域相关联。在图像1101和图像1102的具有不太显著差异的区域（和/或不具有差异的区域）中，根据实施方式计算的评估结果与使用传统HDR VDP技术所计算的评估结果也很好地相关。由于这样的高相关性，本发明的实施方式实现了与使用传统HDR VDP所实现的视觉评估结果相关联的准确性可比拟的准确性。

在每个帧1101和1102中的具有高度显著差异和低（或零）差异的辨别区域中差异图1105和1106密切对应。因此再次地，实施方式可以以与良好建立的且广泛使用的基于感知的方法至少大约一样准确地评估视觉质量。实施方式计算的差异图1106是使用HDR VDP计算的差异图1105的约50倍快。与基于感知的方法相比，在根据实施方式评估视觉质量中显著的延迟时间减少促进了处理（例如图像和视频算法）的优化，其中在对每个图像或视频帧进行编码或处理中可以使用数以百计或数以千计的测量。因此，实施方式在实现视频编码器中可以是有用的。

图12描绘了其中可以使用本发明的实施方式的示例性视频编码系统1200。视频编码器1200包括速率/失真优化模块1205。可以使用速率/失真优化器1205来实现实施方式。实施方式计算编码信号（例如，目标信号）与原始信号（参考信号）之间的在像素级、块级或帧级中的一个或更多个上的视觉差异D。实施方式还计算用于对目标区域进行编码的比特速率R。实施方式根据以下方程5来计算总速率失真成本函数C。

C＝R+λ·D

                                    (5)

在方程5中，λ项表示系数，例如拉格朗日成本优化算子，其例如均衡比特速率与目标失真参数之间的折中。实施方式针对每个可能的编码模式估计速率失真成本函数计算。在实施方式中，速率/失真优化器1205选择被估计为具有最小速率失真成本函数的编码模式。

等同方案、扩展方案、备选方案以及其他

如此描述了高动态范围、视觉动态范围和宽色域的图像与视频的质量评估的示例性实施方式。在之前的说明中，参照可以随实现的不同而变化的各种具体细节描述了本发明的实施方式。因此，本发明是什么以及什么是申请人预期的本发明的唯一和排它性指示符是根据本申请产生的权利要求集合（按照这样的权利要求产生的具体形式），包括任何随后的修正。在这里清楚阐明地用于包含在这样的权利要求中的术语的任何定义将规定这样的术语在权利要求中使用的含义。因此，在权利要求中没有清楚陈述的限制、要素、性质、特征、优点或者属性不应该以任何方式限制这样的权利要求的范围。相应地，说明书和附图应该被认为是说明性含义而不是限制性含义。

Claims (30)

1.一种用于评估视觉质量特性的方法，包括以下步骤：

选取至少第一图像或视频信号和第二图像或视频信号；

处理所选取的至少所述第一图像或视频信号和所述第二图像或视频信号；以及

至少部分地基于所述处理步骤来测量所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异，其中所述视觉质量特性与所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的量值有关；以及

其中，所述至少第一图像或视频信号和第二图像或视频信号包括动态范围或色域中的一个或更多个；以及

其中，至少部分地基于所述测量步骤来评估所述视觉质量特性。

2.根据权利要求1所述的方法，其中，所述动态范围包括视觉动态范围（VDR）或高动态范围（HDR）中的至少一种。

3.根据权利要求1所述的方法，其中，所述色域包括扩展色域或宽色域（WCG）中的至少一种。

4.根据权利要求1所述的方法，其中，独立于至少部分地基于与所述视觉质量特性有关的主观估计或线性感知模型中的至少一种的评估过程来执行或实行对所述视频质量特性的评估。

5.根据权利要求4所述的方法，其中，所述线性感知模型表示人类视觉系统（HVS）的一种或更多种特性或性质。

6.根据权利要求4所述的方法，其中，所述线性感知模型或所述主观质量估计中的一个或更多个包括视觉差异预测（VDP）或恰可察觉差异（JND）测量中的一个或更多个。

7.根据权利要求1所述的方法，还包括：报告所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的步骤。

8.根据权利要求7所述的方法，其中，所述报告步骤包括输出基于所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的视觉质量评估的步骤。

9.根据权利要求7所述的方法，其中，所述报告的所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异包括以下中的一个或更多个：

与所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异有关的数值数据；或者

表示所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的图。

10.根据权利要求9所述的方法，其中，所述差异图以图形格式表示所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异。

11.根据权利要求9所述的方法，其中，所述图形格式的图以与至少所述第一图像和所述第二图像相对应或者相配准中的一种或更多种方式来表示所测量的在所处理的至少所述第一图像与所述第二图像之间的差异。

12.根据权利要求9所述的方法，还包括以下步骤：

标记所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异；

其中，所述差异图包括对与至少所述第一图像或视频信号和所述第二图像或视频信号在空间上一致的所标记的测量差异的表示。

13.根据权利要求1所述的方法，

其中，至少所述第一图像或视频信号和所述第二图像或视频信号中的至少一个包括目标图像，所述视觉质量特性针对所述目标图像而进行评估；以及

其中，至少所述第一图像或视频信号和所述第二图像或视频信号中的至少一个包括参考图像，通过与所述参考图像比较来针对所述目标图像评估所述视觉质量特性。

14.根据权利要求1所述的方法，其中，所述处理步骤包括根据多个有关参数化函数来计算至少所述第一图像或视频信号和所述第二图像或视频信号的一个或更多个分量。

15.根据权利要求14所述的方法，其中，所述计算步骤包括计算摄影映射。

16.根据权利要求14所述的方法，其中，至少所述第一图像或视频信号和所述第二图像或视频信号的所述一个或更多个分量与至少所述第一图像或视频信号和所述第二图像或视频信号的亮度或颜色特性有关。

17.根据权利要求16所述的方法，其中，所述动态范围或所述色域中的一个或更多个分别包括第一动态范围或第一色域，并且其中，所述处理步骤包括根据以下中的一个或更多个来转换与至少所述第一图像或视频信号和所述第二图像或视频信号相关联的颜色空间的步骤：

第一动态范围至比所述第一动态范围更宽的至少第二动态范围；或

第一色域至比所述第一色域更宽的至少第二色域。

18.根据权利要求16所述的方法，其中所述颜色空间转换步骤包括以下步骤：

将与一个或更多个所述第一动态范围或所述第一色域相关联的第一多个非线性值变换成第二多个基本线性值；以及

使用非线性换算因子来换算所述第二多个基本线性值，所述非线性换算因子对应于与所述变换步骤相关联的感知非均匀性。

19.根据权利要求18所述的方法，其中，所述第一多个非线性值包括与伽马编码的RGB信号相关联的值，并且其中，所述变换步骤包括将与所述RGB信号相关联的所述伽马编码撤销或取消的步骤，其中所述RGB信号被基本线性化。

20.根据权利要求18所述的方法，其中，将所述换算步骤应用于至少所述第一图像或视频信号和所述第二图像或视频信号的所述亮度有关分量或所述颜色特性中的一个或更多个。

21.根据权利要求20所述的方法，还包括如下步骤：当换算至少所述第一图像或视频信号和所述第二图像或视频信号的所述亮度有关分量或所述颜色特性中的一个或更多个时，根据所换算的至少所述第一图像或视频信号和所述第二图像或视频信号的所述亮度有关分量或所述颜色特性来测量所述差异。

22.根据权利要求19所述的方法，其中，所述基本线性化的RGB信号包括XYZ颜色空间。

23.根据权利要求19所述的方法，还包括以下步骤：

将所述XYZ颜色空间变换成换算的RGB颜色空间；

使用伽马值来编码所述换算的RGB颜色空间；以及

根据所述伽马编码的换算的RGB颜色空间来测量所述差异。

24.根据权利要求1所述的方法，其中，测量在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的所述差异的步骤包括测量结构相似性指标值的步骤。

25.根据权利要求24所述的方法，其中，测量所述结构相似性指标值的步骤包括以下步骤：

比较与强度有关的值，所述强度与至少所述第一图像或视频信号和所述第二图像或视频信号相关联；

比较与对比度有关的值，所述对比度与至少所述第一图像或视频信号和所述第二图像或视频信号相关联；以及

比较与结构有关的值，所述结构与至少所述第一图像或视频信号和所述第二图像或视频信号相关联。

26.根据权利要求1所述的方法，其中，所述处理步骤或所述差异测量步骤中的一个或更多个包括对图像通道或视频通道的性质中的一种或更多种进行计算、执行或实行的操作，所述性质包括强度或者颜色中的一个或更多个。

27.根据权利要求1所述的方法，其中，所述第一视频信号和所述第二视频信号包括帧、片或域中的一种或更多种中的多个，并且其中，所述方法还包括以下步骤：

针对所述帧、片或域中的每一种测量所述差异作为各自差异；

进一步处理所测量的各自差异；以及

生成用于包括所述多个帧、片或域的视频序列的总差异值。

28.一种用于评估视觉质量特性的系统，包括：

用于选取至少第一图像或视频信号和第二图像或视频信号的装置；

用于处理所选取的至少所述第一图像或视频信号和所述第二图像或视频信号的装置；以及

用于至少部分地基于所述处理步骤来测量在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的装置，其中所述视觉质量特性与所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的量值有关；和

其中，至少所述第一图像或视频信号和所述第二图像或视频信号包括动态范围或色域中的一个或更多个；和

其中，评估装置至少部分地基于所述测量步骤来评估所述视觉质量特性。

29.一种包括指令的计算机可读存储介质，所述指令当用一个或更多个处理器执行时促使、控制或编程所述处理器以评估视觉质量特性，包括：

选取至少第一图像或视频信号和第二图像或视频信号；

处理所选取的至少所述第一图像或视频信号和所述第二图像或视频信号；以及

至少部分地基于所述处理步骤来测量在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异，其中所述视觉质量特性与所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的量值有关；和

其中，至少所述第一图像或视频信号和所述第二图像或视频信号包括动态范围或色域中的一个或更多个；和

其中，至少部分地基于所述测量步骤来评估所述视觉质量特性。

30.一种计算机系统在评估视觉质量特性中的用途，包括：

选取至少第一图像或视频信号和第二图像或视频信号；

处理所选取的至少所述第一图像或视频信号和所述第二图像或视频信号；以及

至少部分地基于所述处理步骤来测量在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异，其中所述视觉质量特性与所测量的在所处理的至少所述第一图像或视频信号和所述第二图像或视频信号之间的差异的量值有关；和

其中，至少所述第一图像或视频信号和所述第二图像或视频信号包括动态范围或色域中的一个或更多个；以及

其中，至少部分地基于所述测量步骤来评估所述视觉质量特性。

Images