CN1259216A - 评诂两个信号序列之间差异的可视性的方法与装置 - Google Patents

Abstract

公开了用于评估诸如图象序列等两个输入信号序列之间的差异的可视性的方法与装置(110)。该装置包括感觉量发生器(112),该发生器具有输入信号处理部分(210)、亮度处理部分(220)、色度处理部分(230)、及感觉量发生部分(240、250、260)。

Description

评估两个信号序列之间差异的可视性的方法与装置

本申请要求1997年4月4日提交的60/043,050及1998年2月2日提交的60/073,435号美国临时申请的权益，通过引用将它们结合在此。

本发明涉及评估与改进信号处理系统的性能的装置及相应的方法。更具体地本发明涉及评估两个信号序列之间的差异的可视性的方法及装置。

发明背景

诸如成象系统等信号处理系统的设计人员通常用诸如对比度、分辨率与/或压缩/解压(codec)处理中的位率效率等物理参数来评估他们的设计的性能。虽然这些参数能容易地测定，但它们不是评估性能的精确尺度。原因在于成象系统的最终用户通常更关心诸如赝象或畸变的可见性等主观视觉性能及在一些情况中，可揭示诸如图象中肿瘤的存在等信息的这些图象特征的增强，如MRI(磁共振成象)图象或CAT(计算机辅助X线断层)扫描图象。

例如，能用两种不同的codec算法处理输入图象以产生两种不同的codec图象。如果codec图象保真度的测定是单纯地基于诸如在两个codec图象上执行的均方误差(MSE)计算等参数而不考虑人的视觉心理物理性质，具有较低MSE值的codec图象可能实际上包含比具有较高的MSE值的codec图象更引人注意的畸变。

因此，在本技术中存在着对诸如成象系统等信号处理系统的主观性能上的物理参数的效果进行评估的方法与装置的需求。尤其是，存在着对评估两个时变视觉图象序列之间的差异的可视性的方法与装置的需求。

发明概述

本发明为评估诸如图象序列等两个输入信号序列之间的差异的可视性的方法与装置。该装置包括具有输入信号处理部分、亮度处理部分、色度处理部分及感觉量发生部分的感觉量发生器。

输入信号处理部分将输入信号变换成诸如亮度分量与色度分量等心理物理定义量。亮度处理部分将亮度分量处理成亮度感觉量，而色度处理部分则将色度分量处理成色度感觉量。最后，感觉量发生部分将亮度感觉量与色度感觉量相关成统一的感觉图象量，例如，最小可辨差异(JND)图。

附图的简要描述

通过考虑下面结合附图的详细描述，便能容易地理解本发明的内容，附图中：

图1展示本发明的信号处理系统的方框图；

图2展示感觉量发生器的方框图；

图3展示输入信号处理部分的方框图；

图4展示亮度处理部分的方框图；

图5展示色度处理部分的方框图；

图6展示亮度处理部分的详细方框图；

图7展示亮度量发生部分的方框图；

图8展示色度处理部分的详细方框图；及

图9展示色度量发生部分的方框图；

图10为展示亮度空间灵敏度数据的曲线；

图11为展示亮度时间灵敏度数据的曲线；

图12为展示亮度对比鉴别数据的曲线；

图13为展示圆盘检测数据的曲线；

图14为展示方格盘检测数据的曲线；

图15为展示轮廓清晰鉴别数据的曲线；

图16为展示色度空间灵敏度数据的曲线；

图17为展示色度对比鉴别数据的曲线；

图18为展示额定预测数据的曲线；

图19展示亮度处理部分的另一实施例的方框图；

图20展示图19的亮度处理部分的另一实施例的详细方框图；

图21展示亮度量发生部分的另一实施例的详细方框图；

图22展示处理半高度图象的亮度处理部分的方框图；

图23展示处理半高度图象的亮度量发生部分的方框图；

图24展示色度处理部分的另一实施例的详细方框图；

图25展示色度量发生部分的另一实施例的详细方框图；

图26展示处理半高度图象的色度处理部分的方框图；

图27展示处理半高度图象的色度量发生部分的方框图。

图1描绘利用本发明的信号处理系统100。信号处理系统包含信号接收部份130、信号处理部分110、输入/输出装置120及受测试的系统140。

信号接收部分130用于接收输入数据信号，例如来自成象设备的图象序列或诸如来自麦克风或录制的媒体的音频信号等其它时变信号。从而，虽然下面针对图象描述本发明，应理解本发明也能应用于上面讨论的其它输入信号。

信号接收部分130包含数据接收部分132及数据存储部分134。数据接收部分130可包含诸如调制解调器及模数转换器等若干装置。调制解调器是众所周知的装置，它包括用于在电话线或其它通信信道上发送与接收二进制数据的调制器与解调器，而模数转换器将模拟信号转换成数字形式。因此，信号接收部分130可“在线”或“实时”接收输入信号，如果必要，将它们转换成数字形式。从而，部分130可接收来自诸如计算机、摄象机、录象机或各种医用成象装置等一或多个装置的信号。

数据存储部分134用于存储数据接收部分132所接收的输入信号。数据存储部分134包含诸如盘驱动器、半导体存储器或其它存储介质等一或多个装置。这些存储装置提供在输入信号上施加延迟或简单地存储输入信号供以后处理的方法。

在较佳实施例中，信号处理部分110包括具有感觉量发生器(或称作视觉鉴别测定(VDM))112、中央处理单元(CPU)114及存储器116以提供图象处理的通用计算机。感觉量发生器112可以是由通过通信通道耦合在CPU上的各种滤波器或处理器构成的物理装置。作为替代，感觉量发生器112可作为软件应用实现，它是从输入/输出装置120或从存储器116调用并由信号处理部分的CPU执行的。这样，可将本发明的感觉量发生器存储在计算机可读的介质上。

信号处理部分110还耦合在多个输入与输出设置120上，诸如键盘、鼠标器、视频监视器或包含但不限于磁与光盘驱动器、软盘或磁带、诸如硬盘驱动器或光盘驱动器等存储设备。输入设备用于提供输入(控制信号及数据)给信号处理部分供处理输入图象，而输出设备则用于显示或记录结果，如在显示器上显示感觉量。

使用感觉量发生器112的信号处理系统100能预测人们主观赋予两个信号序列的感觉额定值，如恶化的彩色序列相对于其非恶化的对等序列。感觉量发生器112评估输入图象的两个序列或流之间的差异的可视性，并产生若干差异估计，包含这两个序列之间的感觉差异的单一额定值。这些差异以模拟的人类最小可辨差异(JND)量为单位量化。这一量可表示为JND值，JND图或概率预测。CPU可依次利用JND图象量来优化包含但不限于数字图象压缩、图象质量测定及目标探测在内的各种处理。

为了展示，输入图象序列通过两条不同的路径或通道到达信号处理系统100。在一条路径上(参照通道或参照图象序列)，输入图象序列直接通过到信号处理部分而不处理，而同一输入图象序列在另一条路径上通过受测试的系统140，在其中以某种方式处理图象序列(受测试的通道或测试图象序列)。信号处理系统100生成测定两个图象序列之间的差异的感觉量。由于经济原因，由测试的系统140生成的畸变经常发生，例如受测试的系统140可以是音频或视频编码器。事实上，受测试的系统100可以是任何数目的设备或系统，诸如解码器、传输通道本身、录音或录象机、扫描器、显示器或发射机。从而信号处理系统100可用于评估测试图象序列相对于参照图象序列的主观质量，借此提供关于编码过程、解码过程、传输通道或任何“受测试系统”的畸变的性能的信息。通过使用感觉量发生器112，能执行测试图象相对于参照序列的主观质量评估而无须使用人类观察者。

最后，可通过路径150利用感觉量来修正或控制受测试的系统的参数。例如，可修正编码器的参数来产生具有诸如解码被编码的图象时低可辨别的畸变等改进的感觉额定值的编码图象。此外，虽然受测试的系统140示出为独立的设备，熟悉本技术的人员会理解受测试的系统可实现为位于信号处理部分的存储器116中的软件实现，例如，视频编码方法。

图2展示感觉量发生器112的简化方框图。在较佳实施列中，感觉量发生器包括输入信号处理部分210、亮度处理部分220、色度处理部分230、亮度量发生部分240、色度量发生部分250及感觉量发生部分260。

输入信号处理部分将输入信号205变换成心理物理学定义的量，如图象信号的亮度分量与色度分量。输入信号为两个任意长度的图象序列。虽然图2中只示出一个输入信号，应理解输入信号处理部分能同时处理一个以上输入信号。输入信号处理部分210的目的为将输入图象信号变换成光输出。然后将这些光输出变换成分开表示亮度与色度特征的心理物理学定义的量。

更具体地，对于各输入序列的各视场(field)，存在着从诸如D1磁带导出的在图2顶部标记为Y’、C’_b、C’_r的三个数据集。然后再将Y、C_b、C_r数据变换成产生显示的象素值的R’、G’与B’电子枪电压。在输入信号处理部分中，R’、G’、B’经过进一步处理被变换成传递给下一处理级或部分的一个亮度及两个色度图象。

亮度处理部分220接受表示为显示器的最大亮度的分数的亮度Y的两个图象(测试与参照)。亮度处理部分220的输出能广义地定义为由下述各种时间与空间处理引起的时间与/或空间特性。将这些输出传递给亮度量发生部分240，在其中生成亮度JND图。JND图为一个图象，其灰度级与对应的象素位置上的测试与参照图象之间的JND的数目成正比。

类似地，色度处理部分230将输入信号的色度分量处理成色度感觉量。即，色度处理部分230接受基于CIE L*u*v*均匀彩色空间的色度的两个图象(测试与参照)(针对各色度图象u*与v*产生的)，并表示为显示的最大色度的分数。再一次能将色度处理部分230的输出广义地定义为由下述各种时间与空间处理产生的时间与/或空间特性。色度量发生部分250接收与组合u*与v*处理的输出以产生色度JND图。

此外，色度与亮度处理都受到通过路径225来自称作“屏蔽”的亮度通道的输入的影响，它取决于亮度图象的结构使感觉到的差异或多或少地看得见。屏蔽(自身或交叉)通常指通道或邻接通道中存在信息时的灵敏度降低。

色度、亮度及组合亮度色度JND图各可用作对感觉量发生部分260的输出，连同从这些图中导出的少量概括测量。虽然单个JND值(JND概要)输出对测试序列中的畸变的观察者的整体额定值的模型是有用的，但JND图给出赝象的位置与严重性的更详细的视图。感觉量发生部分(图象量发生器)260将亮度感觉量与色度感觉量相关成统一的感觉图象量270，如最小可辨差异(JND)图。

应指出两个基本假设构成本发明的基础。第一，各象素是“正方形”且对着0.03度视角。这一数字是从480个象素的屏幕高度和4个屏幕高度的视距(“Rec.500”标准规定的最近视距)导出的。当将本感觉量发生器与长于4个屏幕高度的视距上的人类感觉比较时，本感觉量发生器可能过高估计人对空间细节的敏感度。从而，在视距上没有硬性限制时，将感觉量发生器调节成在“Rec.500”的推荐内尽可能灵敏。然而，可为特定的应用调整感觉量发生器的灵敏度。

第二，感觉量发生器适用于.01-100ft-L的屏幕亮度(整体灵敏度是为之定标的)，但最大的精确度在大约20ft-L处(所有时空频率是为之定标的)。还假定改变亮度在所有时空频率上产生成比例的灵敏度改变，这一假定对20ft-L附近较不重要，其中出现附加定标。定标与实验数据如下。

下面参照图3、4、5、6与7更详细地描述图2中所示的处理部分。

图3展示输入信号处理部分210的方框图。在较佳实施例中，各输入信号是以4个视场的集合305处理的。从而，图3顶部的标记为Y’、C’_b、C’_r的每个视场的栈表示来自测试或参照图象序列之一的四个接续的视场的集合。然而，本发明不限于这一实现，也可使用其它视场组合方法。

在输入信号处理部分120中包含多种变换。简言之，输入信号处理部分210首先将Y’、C’_b、C’_r视频输入信号变换成电子枪电压，然后到三种荧光体的亮度值，及最后到分成亮度与色度分量的心理物理变量。下面计算的三色值Y取代色度处理前使用的“模型强度值”。此外，按照CIE均匀彩色规范逐个象素地生成色度分量u*与v*。

应指出，如果输入信号己在可接受的均匀彩色空间中，能有选择地实现输入信号处理部分210。例如，输入信号可能己事先处理成适当的格式并保存在诸如磁或光驱动器与盘等存储设备上。此外，应指出虽然本发明是以映射到国际标准均匀彩色空间CIELUV中实现的，也能将本发明实现与适应成处理映射到其它空间中的输入信号。

第一处理级310将Y’、C’_b、C’_r数据变换成R’、G’、B’枪电压。更具体地，下面概括的步骤描述从Y’、C’_b、C’_r图象帧到驱动CRT显示器的R’、G’、B’电压信号的变换。这里的撇表示输入信号己在编码器上γ预校正。即，变换后的这些信号能驱动共电压电流转换函数能用γ非线性紧密逼近的CRT显示设备。

假定输入数据图象是4∶2∶2格式的：在亮度相关Y’上全分辨率，而在色度相关C’_b与C’_r上水平半分辨率，其中假定Y’、C’_b、C’_r是以ANSI/SMPTE Std.125M-1992中规定的次序存储的，即

C’_b0，Y’₀，C’_r0，Y’₁，C’_b1，Y’₂，C’_r1，Y’₃，…C’_bn/2-1，Y’_n1，C’_rn/2-1，Y’_n-2，…

在下面列举的步骤中，有两个色度上抽样的实施例或替代方案及从Y’C’_bC’_r到R’G’B’的矩阵变换的三个实施例或替代方案。这些替代方案覆盖各种应用要求，如可能在各种应用中遇到的解码要求等。

更具体地，在第一色度上抽样实施例中，接收来自单一帧的Y’、C’_b、C’_r阵列，其中将C’_b或C’_r阵列扩张成Y’图象的全分辨率。初始，C’_b、C’_r阵列是在水平半分辨率上的，并且是随后上抽样以产生全分辨率视场的。即，将一行上的交错的C’_b、C’_r象素分配给数据流中的偶数编号的Y’_i。与偶数编号Y’_I关联的C’_b、C’_r对可通过如下计算：(1)复制或(2)与其邻数的平均值。

在第二色度上抽样实施例中，将全分辨率Y’、C’_b、C’_r阵列分成两个视场。在Y’的情况中，第一视场包含Y’阵列的奇数行，而第二视场包含Y’阵列的偶数行。在C’_b及C’_r阵列上执行相同的处理以产生第一与第二C’_b及C’_r视场。

在Y’C’_bC’_r到R’G’B’的矩阵变换中，将对应的Y’C’_bC’_r值转换成两个视场的各个中的各象素的枪输入值R’G’B’。用下面三种替换式之一将Y’C’_bC’_r值取作相关的R’G’B’值。前面两式可在Keith Jack，的Video Demystified，High Text，San Diego 1996，第3章，p.40-42中找到。式(3)对应于C.A.Poynton的“数字视频的技术引论”，p.176，Wiley，1996，中的式9.9(C_b替换为U及用C_r替换为V)。在较佳实施例中，将式(2)选择为默认的，除非感兴趣的显示的测定另有所指，或

或

或

然后输入信号处理部分210中的第二处理级320接收R’、G’与B’阵列。第二处理级320在各R’G’B’图象上施加点-非线性。这一第二处理级建立将R’G’B’枪电压传送到显示的强度(R、G、B)中的模型(最大亮度的分数)。非线性还执行在各平面显示中低亮度上的剪裁。

更具体地，(R’、G’、B’)与(R、G、B)之间的转换包含两部分，其中之一独立地变换各象素值，而其中之一在变换过的象素值上执行空间滤波。下面描述这两部分。

象素值变换

首先，为各象素计算与输入R’对应的最大亮度的分数R。类似地，从输入G’、B’中计算分数亮度G与B。假定来自各枪的最大亮度对应于输入值255。下面的式子描述从(R’、G’、B’)到(R、G、B)的变换。 $R=[{\frac{\max (R^{\′},t_d)}{255}]}^{\mathrm{\γ}},$ $G=[{\frac{\max (G^{\′},t_d)}{255}]}^{\mathrm{\γ}},$ $B=[{\frac{\max (B^{\′},t_d)}{255}]}^{\mathrm{\γ}},$

将默认阈值t_d选择为16来与显示的黑色级对应，并将γ默认为2.5。

t_d的值16是选择为提供显示(255/16)^2.5的动态范围的，它大约是1000∶1。这一动态范围是相对大的，并在环境亮度大约为最大的显示白色时可能没有必要。因此，即使感觉发生器采用值40而不是16作为黑色级，它仍能提供100∶1的动态范围而保持物理保真度。实际上，较低的动态范围可节省计算周期，即在处理中节省一或两位。

下面讨论关于显示的两种观察。第一种观察涉及对绝对屏幕亮度的依赖性。感觉量发生器的预测只隐含地作用到感觉量发生器为之定标的亮度级上。

对于典型的定标数据(J.J.Koenderink与A.J.van Doorn，“时空对比度检测阈值表面是双态的”，光学通信4，32-34(1997))，使用直径2mm的默认瞳孔，视网膜亮度为200托兰(trolands)。这意味着63.66cd/m²或18.58ft-L的屏幕亮度。定标亮度是与用在主观额定值测试中的显示的亮度相当的。例如，虽然两个实验的最大白色亮度为71与97ft-L，在象素值128上的亮度分别为15与21ft-L。计入这些值及感觉量发生器的总体灵敏是从.01到100ft-L定标的这一事实(利用F.L.van Nes、J.J.Koenderink、H.Nas与M.A.Bouman的“人眼中的时空调制传送”，J.Opt.Soc.Am.57，1082-1088(1967)中的数据)，能得出结论该感觉量发生器适用于从大约20到100ft-L的屏幕亮度。

第二种观察涉及式(4)对其它模型的关系。偏压t_d(诸如来自阴极与TV屏幕之间的栅极设定值)可用于将式(4)变换成Poynton提出的模型(C.A.Poynton，“Ganna”及其伪装：感觉中强度的非线性映射，CRT，胶片及视频，SMPTE期刑，1993年12月，1099-1108页)其中R＝K[R’+b]^γ(类似地对G与B)。通过定义新电压R”＝R’-td得出Poynton的模型。从而R＝K[R”+td]^γ及类似地对于G与B。通过写入式(4)而不是Poynton的公式，假定偏压为-t_d。还假定没有环境亮度。

存在环境亮度c时，电压偏移成为可忽略不计的，而式(4)近似等价于Meyer提出的模型(“监视器定标中枪平衡的重要性”，感觉、测定及用色(M.Brill，编辑)Proc，SPIE，卷1250，69-79页(1990))，即R＝kR’^γ+c。对G与B得出的类似的表达式。如果存在环境照明，则式(4)可用Meyer的模型R＝(1/255)^γ及c＝.01替代。

本感觉量发生器为各帧(前进图象中)及奇与偶视场(交错图象中)提供了用于规定(R、G、B)图象的垂直表示的三种选择。

选择1.帧

图象为全高度且包含前进扫描的图象。

选择2.全高度交错

半高度图象散布以空行而成为全高度，如它们在交错屏幕中。随后用下述内插填充空行。

选择3.半高度交错

直接处理半高度图象。

前两种选择更忠实于视频图象结构，而第三种选择具有减少50％处理时间与存储器要求的优点。对选择1与2，由于两种选择都在全高度图象上操作，亮度与色度处理是相同的。下面详细描述这三种选择。

空间预滤波

上面的选择1与3不需要空间预处理。然而存在着与全高度交错选择2关联的空间预滤波。

为了提供来自视场中的行到行间象素的光散布，还将R、G与B视场图象提交给行内插过程。下面说明四种不同内插法，但本发明不限于这些内插法。在各方法中，读取整个帧，然后用紧靠在上面与下面的象素计算出的值替代属于不活跃视场的行上的各象素。对于方法(3)与(4)，计算也使用来自不活跃视场的象素值。

令P_inactive表示要内插的不活跃行象素，及P_above与P_below分别表示P_inactive上方与下方的活跃行象素。四种方法为：(1)平均 $P_{\mathrm{inactive}}\←\frac{(P_{\mathrm{above}}+P_{\mathrm{below}})}{2}$ (2)复制 (3)混合平均 $P_{\mathrm{inactive}}\←\frac{P_{\mathrm{inactive}}}{2}+\frac{(P_{\mathrm{above}}+P_{\mathrm{below}})}{4}$ (4)中位数 $P_{\mathrm{inactive}}\←\mathrm{median}(P_{\mathrm{inactive}},P_{\mathrm{above}},P_{\mathrm{below}})$

返回至图3，在非线性处理后面，第三处理级330通过用来自上面与下面的插入值取代视场R、G、B中的行间值建立散布到行间位置中的垂直电子束斑的模型。然后，将视场中的各象素上的矢量(R，G，B)提交给线性变换(它取决于显示器荧光体)到CIE 1931三色坐标(X，Y，Z)。将矢量的亮度分量Y传递给上述亮度处理部分220。

更具体地，给定了分数亮度值R，G，B为各象素计算CIE 1931三色值X，Y，与Z。这一处理需要下述与显示设备有关的输入：三种荧光体的色度坐标(x_r，y_r)、(x_g，y_g)、(x_b，y_b)及监视器白色点的色度(x_w，y_w)。

将白色点选择为对应于荧光体D65，使得(x_w，y_w)＝(.3128，.3292)(见G.Wyszecki与W.S.Stiles的白色科学，第二版，Wiley，1982，761页)。对应于当前可获得的紧密地近似NTSC荧光体的红、绿与兰荧光体，值(x_r，y_r)＝(.6245，.3581)、(x_g，y_g)＝(.2032，.716)及(x_b，y_b)＝(.1465，.0549)。然而，下面的表1展示其它显示荧光体坐标(荧光体原色度)选项。ITU-R BT.709(Rec.709)为默认的。

源	(xr，yr)	(xg，yg)	(xb，yb)
				ITU-R BT.709(SMPTE274M)	(0.640，0.330)	(0.300，0.600)	(0.150，0.060)
SMPTE 240M	(0.630，0.340)	(0.310，0.595)	(0.155.0.070)
				EBU	(0.640，0.330)	(0.290，0.600)	(0.150，0.060)

表1.显示荧光体坐标选项

利用上述参数值，用下式给出象素的值X，Y，Z： $\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}\frac{x_r}{y_r}{Y}_{0r}& \frac{x_g}{y_g}{Y}_{0g}& \frac{x_b}{y_b}{Y}_{0b}\\ Y_{0r}& Y_{0g}& Y_{0b}\\ \frac{z_r}{y_r}{Y}_{0r}& \frac{z_g}{y_g}{Y}_{0g}& \frac{z_b}{y_b}{Y}_{0b}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(5\right)$

其中，z_r＝(1-x_r-y_r)，z_g＝(1-x_g-y_g)，z_b＝(1-x_b-y_b)，及值Y_0r，Y_0g，Y_0b由下式给出： $\left[\begin{array}{c}{Y}_{0r}\\ Y_{0g}\\ Y_{0b}\end{array}\right]={\left[\begin{array}{ccc}\frac{x_r}{y_r}& \frac{x_g}{y_g}& \frac{x_b}{y_b}\\ 1& 1& 1\\ \frac{z_r}{y_r}& \frac{z_g}{y_g}& \frac{z_b}{y_b}\end{array}\right]}^{-1}\left[\begin{array}{c}\frac{x_w}{y_w}\\ 1\\ \frac{z_w}{y_w}\end{array}\right],---\left(6\right)$

其中，z_w＝(1-x_w-y)(见D.Post的自发光显示的比色法测定、定标及特征，电子显示中的彩色，H.Widdel与D.L.Post(编辑)，Plenum出版社，1992，306页)。

也需要设备的白色点的三色值X_n，Y_n，Z_n。这些值对应于色度(x_w，y_w)并且使得在全荧光体激活(R’＝G’＝B’＝255)时，Y＝1。从而，白色点的三色值为(X_n，Y_n，Z_n)＝(x_w/y_w，1，z_w/y_w)。

作为导出值X，Y，Z中的可选用的最后一级，可进行调节来接纳由来自显示屏的遮蔽反射引起的假定的环境光。这一调节采取下述形式： $\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\←\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left(\frac{L_a}{L_{\max }}\right)\left[\begin{array}{c}{X}_n\\ Y_n\\ Z_n\end{array}\right].---\left(6a\right)$

这里引入两个用户可指定的参数L_max及L_a并赋于默认值。显示的最大亮度L_max设定为对应于销售的显示器的100cd/m²。遮蔽亮度L_a设定为与在Rec 500条件下测定的屏幕值一致的5cd/m²。

环境光的色度假定与显示白色点的相同。应指出在只有亮度的实现选择中，它不计算中性点(X_n，Y_n，Z_n)，调节： $Y\←Y+\frac{L_a}{L_{\max }}---\left(6b\right)$

来替代式(6a)。这等价于式(6a)的Y分量，因为Y_n永远是1。还应指出量L_max*Y为以cd/m²表示的显示亮度。

返回到图3，为了保证(各象素上)色空间的感觉均匀度逼近等照度色差，在第四处理级340中将单个象素映射到国际标准均匀色空间CIELUV中(见Wyszecki与Stiles)。将这一空间的色度分量u*，v*传递给色度处理部分230。

更具体地，将逐个象素的X，Y，Z值变换到1976 CIELUV均匀彩色系统(Wgszecki与Stiles，1982，165页)： $L^{*}=116{\left(\frac{Y}{Y_n}\right)}^{1/3}-16$ $\frac{Y}{Y_n}>0.008856---\left(7\right)$ $L^{*}=903.3\left(\frac{Y}{Y_n}\right)$ $\frac{Y}{Y_n}\≤0.008856$

   u^*＝13L^*(u′-u′_n)     (8)

   v^*＝13L^*(v′-v′_n)     (9) $u^{\′}=\frac{4X}{(X+15Y+3Z)}---\left(10\right)$ $v^{\′}=\frac{9Y}{(X+15Y+3Z)}---\left(11\right)$ $u_n^{\′}=\frac{{4X}_n}{(X_n+15Y_n+3Z_n)}---\left(12\right)$ $v_n^{\′}=\frac{9Y_n}{(X_n+15Y_n+3Z_n)}---\left(13\right)$

应指出坐标L*不传递给亮度处理部分220。L*只用于计算色度坐标u*与v*。结果，只为进一步处理保留u*与v*图象。

图4展示亮度处理部分220的方框图。可将图4看成亮度处理步骤的流程图或用于执行这些亮度处理步骤的多个硬件部件的方框图，例如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。

参见图4，滤波各亮度场并在四级高斯金字塔410(金字塔发生器)中下抽样，以便将进入视觉信号的心理物理与生理学地观察的分解的模型建立到不同空间频率带412-418中。分解之后，便能执行随后的可选处理，如在各金字塔级上(分辨率级)上作用的定向滤波。

接着，紧接在金字塔分解之后执行非线性运算430。这一级是根据最粗略的金字塔级内最大亮度的与时间有关的窗口平均(跨场)的增益设定运算(正规化)。这一正规化设定感觉量发生器的总体增益，并建立诸如从明亮到黑暗场景的过渡之后的视觉灵敏度损失等效应的模型。

应指出，执行中间正规化过程420来导出中间值I_norm。利用I_norm值来定标各四个金字塔级，如下所述。

正规化后，将最低分辨率金字塔图象418提交给时间滤波(时间滤波器)及对比度计算450，并将其它三级412-416提交给空间滤波及对比度计算440。在各情况中，对比度是适当地定标的象素值的本地差除以本地和。在感觉量发生器的形成，这建立“1 JND”的定义，将其传递给感觉量发生器的后面的级。(定标在中间感觉量发生器级上重复地更新1-JND解释，下面讨论这一点)。在各情况中，将对比度平方以生成所谓对比度能量。保留对比度的符号用于在紧接在图象比较(JND图计算)之前重新附加在上面。

下面的级460与470(对比度能量屏蔽)构成进一步的增益设定运算，在其中将各定向响应(对比度能量)除以所有对比度能量的函数。将各响应与其它本地响应地这一种组合的衰减包含进去以建立诸如对“忙”图象区中的畸变的灵敏度下降等视觉“屏蔽”效应的模型。在感觉量发生器的这一级上，作出时间结构(闪烁)来屏蔽空间差异，并且也作出空间结构来屏蔽时间差异。还在色度侧上作用亮度屏蔽，如下面所讨论的。

利用屏蔽的对比度能量(连同对比度符号)生成亮度JND图480。简言之，亮度JND图是用下述步骤生成的：1)将各图象分成正与负分量(半波整流)；2)执行本地汇集(平均及下抽样，以建立在心理物理学实验中观察到的本地空间求和的模型)；3)逐个通道地评估绝对图象差异；4)设置门限(核化)；5)将核化图象差异上升一次幂；及6)上抽样到相同的分辨率(由于汇集级而成为原始图象的一半分辨率)。

图19展示亮度处理部分220的另一实施例的方框图。更具体地，用亮度压缩级1900来替换图4的正规化级420与430。简言之，首先将输入信号中的各亮度值提交给压缩非线性，这一点在下面详细描述。图19中的其它级类似于图4。从而，上面己提供了这些类似的级的描述。对于不同的级，下面参照图20提供图19的亮度处理部分的详细描述。

一般地说，图19的亮度处理部分是较佳实施例。然而，由于两个实施例表现不同的特征，在不同的应用下它们的性能可能不同。例如，己观察到图4的亮度处理部分在诸如10位输入图象等较高动态范围上执行得比在较低的动态范围上好。

图5展示色度处理部分230的方框图。可将图5看成色度处理步骤的流程图或用于执行这些色度处理步骤的多个硬件元件的方框图，诸如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。色度处理在若干方面中与亮度处理并行。利用CIELUV空间的色度(u*502及v*504)的图象内差异来为色度运算定义检测阈值，类似于在亮度处理部分中利用Michelson对比度(及Weber氏定律)定义检测阈值的方式。并且，与亮度运算类似，将用u*gn v*差异定义的色度“对比度”提交给屏蔽运算。换能器非线性使一个图象与另一图象之间对比度增量的鉴别取决于对两个图象公共的对比度能量。

更具体地，如在亮度处理部分中，图5示出各色度分量u*502、v*504提交给金字塔形分解过程510的。然而，虽然在较佳实施例中亮度处理实现四级金字塔形分解，色度处理是用7级实现的。这一实现解决色度通道是对远远低于亮度通道的空间频率敏感的这一经验性事实(K.T.Mullen，“人类彩色视觉对红绿及兰黄色格的对比度灵敏性”，J.Phtsiol.395，381-400，1985)。此外，这种分解考虑了能在大的均匀区中观察到色差这一直观事实。

下面，为了反映色度通道对闪烁的内在不灵敏性，时间处理520是通过在四个图象视场上求平均值进行的。

然后在u*与v*上执行用Laplacian核530的空间滤波。这一操作产生u*、v*中的色差，它(根据均匀彩色空间的定义)是在度量上与最小可辨色差相关的。取这一级上的值1来表示己达到单一的JND，类似于亮度通道中的基于Weber氏定律的角色。(如在亮度处理的情况中，1-JND色度单位必须在定标中进行重新解释)。

将这一色差值加权、平方及(带对比度代数符号)传递给对比度能量屏蔽级540。该屏蔽级执行与亮度处理部分中相同的功能。操作是比较简单的，因为它只从亮度通道及从己估算了其差异的色度通道接收输入。最后，与亮度处理部分中完全相同地处理屏蔽的对比度能量，以在级550中产生色度JND图。

对视频序列比较中的各场，首先将亮度与色度JND图减少到单一数的概括，即亮度与色度JND值。在各情况中，从图减少到数是通过Minkowski加法求所有象素值之和完成的。然后，再通过Minkowski加法组合亮度与色度JND数，以产生感觉量发生部分260正在处理的视场的JND估算。在Minkowski意义上相加各场的JND估算值来确定视频序列的许多视场的单一性能测量270。

图6展示图4的亮度处理部分220的详细方框图。输入的测试与参照场图象分别用I_k与I^ref _k表示，(R＝0，1，2，3)。I_k与I^ref _k中的象素值分别用I_k(i，j)与I^ref _k(i，j)表示。这些值为输入信号处理部分210中计算的Y三色值605。下面只讨论视场I_k，因为I^ref _k处理是相同的。应指出k＝3表示4视场序列中的最新视场。

四个分辨率级上的空间分解是通过称作金字塔形处理或金字塔形分解的高效计算方法进行的，它在分辨率的各连续的粗糙级上用因子2抹掉及下抽样图象。原始的全分辨率图象称作金字塔的第零级(级0)，G₀＝I₃(i，j)。较低分辨率上的随后的级是用称作REDUCE(减少)的操作获得的。即，将具有权重(1，2，1)/4的三抽头低通滤波器610在图象的各方向上顺序地作用在G₀上以生成弄模糊的图象。然后用因子2子抽样(subsample)得出的图象(隔一个去掉一个象素)以产生下一级G₁。

将滤波与下抽样一个金字塔形级的操作记作fdsl()，REDUCE处理可表示为：G_i+1＝fdsl(G_i)i＝1，2，3

重复地在各新的级上作用REDUCE过程(如P.J.Burt与E.H.Adelson在“作为压缩图象码的Laplacian金字塔”，IEEE通信学报，COM-31，532-540(1983)中所描述的)。

定义了用相同的3x3核上抽样与滤波的逆操作EXPAND(扩张)。这一操作用usfl()表示并出现在下面。

各方向(水平与垂直)上的fdsl与usfl滤波器核分别是k_d[1，2，1]与k_u[1，2，1]，其中将常量k_d与k_u选择为保持均匀场值，对于fdsl，常量k_d＝0.25，而对于ufsl，常量k_u＝0.5(由于上抽样图象中的零)。为了作为布置适当的操作实现usfl，用等效的线性内插替代核来取代零值。然而，为了简化概念，可将它称作“上抽样滤波器”。

接着，采用正规化，通过求各视场(k＝0，1，2，3)的级3图象中的四个最大象素值的平均值计算中间值(用I_lvl3表示)。这一步骤通过金字塔形分解过程中内在的平滑，减轻全分辨率(级0)图象中的局外影响。然后将I_lvl3与前期(k＝2)中使用的正规化因子I_norm的减小的值比较。将本期(k＝3)的I_norm设定为等于这两个值中的较大者。然后用I_norm的这一新值定标最新的视场的全体4个金字塔形级的图象，并将其提交饱和非线性。

下面的式子描述这一过程。如果来自上面的金字塔形级为I_3.1(i，j)，其中3与1分别表示最新的视场与金字塔级，则 $I_{3.1}(i,j)\←\frac{I_{3.1}{(i,j)}^m}{I_{3.1}{(i,j)}^m+I_{\mathrm{norm}}^m}+L_D,---\left(14\right)$

(620)其中I_norm＝max[αI⁽⁾ _norm，I_lvl3]615，I⁽⁾ _norm为在前期中正规化视场3金字塔级中使用的I_norm的值，m默认为2，及 $I_{\mathrm{lvl}3}=\frac{1}{4}\underset{k=0}{\overset{3}{\mathrm{\Σ}}}\underset{i,j}{\max }\left[I_{1.3}(i,j)\right],\mathrm{and\α}={(1/2)}^{\left(\frac{\mathrm{\Δt}}{t_{\mathrm{half}}}\right)},---\left(15\right)$

Δt为场频的倒数，而t_half＝1/2与去掉明亮刺激后人的视觉系统的适应率相关。对于50与60Hz的值分别为0.9727与0.9772。常量L_D表示在没有光线时存在的残留视觉反应(噪声)，并默认为0.01的值。式(14)中的饱和非线性是从基于生理学的模型导出的(见Shapley与Enroth-Cugell，1984)。

定向空间滤波器(中心与周围)作用在场3的级0、1与2图象上。反之，时间滤波器作用在最低分辨率级(级3)上。即，将第一与最后的场对分别线性组合成Early与Late图象。

中心与周围滤波器625及627为分开的3x3滤波器并产生所有定向组合：中心垂直(CV)、中心水平(CH)、周围垂直(SV)及周围水平(SH)。滤波器核如下： $\mathrm{CH}=\left[\begin{array}{c}000\\ 242\\ 000\end{array}\right];\mathrm{SH}=\left[\begin{array}{c}121\\ 000\\ 121\end{array}\right];\mathrm{CV}=\left[\begin{array}{c}020\\ 040\\ 020\end{array}\right];\mathrm{SV}=\left[\begin{array}{c}101\\ 202\\ 101\end{array}\right].---\left(16\right)$

级3 Early 630与Late 632图象分别为

             E₃＝t_cI_3.1(i，j)+(l-t_c)I_3.0(i，j)，       (17)

             L₃＝t_lI_3.3(i，j)+(l-t_l)I_3.2(i，j).        (18)

60Hz的常量t_e与t_l分别为0.5161与0.4848，而50Hz的则分别为0.70与0.30。

对比度计算的输入为中心与周围图象CV_i、CH_j、SV_i与SHi(对于金字塔极0、1与2，I＝0，1，2)，及早与晚图象E₃与L₃(对于金字塔级3)。用于计算对比度的式子类似于Michelson对比度。对于水平与垂直朝向，逐个象素的各自对比度为： $\frac{({\mathrm{SH}}_i-{\mathrm{CH}}_i)}{w_i({\mathrm{CH}}_i+{\mathrm{SH}}_i)},$ 和 $\frac{({\mathrm{SV}}_i-{\mathrm{CV}}_i)}{w_i({\mathrm{CV}}_i+{\mathrm{SV}}_i)}.---\left(19\right)$

类似地，时间分量的对比度比为： $\frac{(E_3-L_3)}{w_3(E_3+L_3)}.---\left(20\right)$

通过用心理物理学测试数据定标所确定的Wi(i＝0，1，2，3)的值分别为0.015、0.0022，0.0015，及0.003。

通过将前面两个式了所定义的象素值平方计算出水平与垂直对比度能量图象640与642，从而得出： $H_i={\left(\frac{({\mathrm{SH}}_i-{\mathrm{CH}}_i)}{w_i({\mathrm{CH}}_i+{\mathrm{SH}}_i)}\right)}^2,V_i={\left(\frac{({\mathrm{SV}}_i-{\mathrm{CV}}_i)}{w_i({\mathrm{CV}}_i+{\mathrm{SV}}_i)}\right)}^2,i=\mathrm{0,1,2},---\left(21\right)$

类似地，通过求象素值的平方计算出时间对比度能量图象650： $T_3={\left(\frac{(E_3-L_3)}{w_3(E_3+L_3)}\right)}^2.---\left(22\right)$

保留平方以前的各对比度比象素值的代数符号供以后使用。

对比度能量屏蔽为作用在用式21与22计算出的各对比度能量或图象上的非线性函数。屏蔽运算建立在受测试图象序列中的畸变的鉴别上的参照图象序列中的时空结构的效应的模型。

例如，受测试与参照图象相差低幅空间正弦波。已知当两个图象都具有公共的相同空间频率的中间对比度正弦波时比两个图象都包含均匀场时，这一差异更可见(Nachmias与Sansbury，1974)。然而，如果公共正弦波的对比度太大，象差变得可见性差。这也是其它空间频率的正弦波在对比度差异的可视性上具有影响的情况。这一表现可用在低对比度能量上是S形的而对于高对比度能量为递增的幂函数的非线性来建模。此外，在人类视觉中能近似地观察到下述标准。各通道屏蔽自己，高空间频率屏蔽低的(而不是反过来)，及时间闪烁屏蔽空间对比度灵敏度(反之亦然)。

根据人类视觉的这些性质，作用下述形式的非线性(逐个象素作用)660： $T(y,D_i)=\frac{d_y{y}^{\mathrm{\β}}}{{\mathrm{ay}}^{\mathrm{\σ}}+D_i+c}---\left(23\right)$

这里，y为要屏蔽的对比度能量：空间，H_i或V_i(式(21))或时间(T₃)(式(22))。量D_i指依赖于Y所属的金字塔形级i的图象而言(逐个象素)。感觉量发生器定标己找出量β、σ、a与c分别为1.17、1.00、0.0757与0.4753，而d_y为平方以前对比度y中固有的代数符号。

D_i的计算需要金字塔形构成(滤波及下抽样)及金字塔形重构(滤波与上抽样)。图6中展示D_i的这一计算。首先，作为H₀与V₀之和计算E₀。通过级652滤波、下抽样这一和，并将其加在H₁+V₁上给出E₁。接着，进一步滤波、下抽样E₁并将其加在H₂+V₂上给出E₂。依次，进一步滤波与下抽样E₂给出E₃。同时，将时间对比度T₃的图象乘以m_t并将其加到m_ft E₃上而产生指定为D₃的和。

依次，级654重复地上抽样及滤波D₃以产生T₂、T1与T₀。最后将图象D₁定义为D_i＝m_f E_i+T_i，i＝0，1，2。这里，用定标将mf确定为等于0.001，m_ft设定为等于0.0005，而将m_t设定为等于0.05。滤波、下抽样与上抽样步骤与前面讨论的相同。

上面的处理显示较高的空间频率屏蔽较低的(由于D_i受到小于等于i的金字塔级的影响)，而时间通道受所有空间通道的屏蔽。这一屏蔽操作总的是与心理物理学观察相符的。量D_i，i＝0，1，2，还屏蔽色度对比度(但反过来不是)，如下面讨论的。

图20示出图19的亮度处理部分220的另一实施例的详细方框图。由于图19的亮度处理部分包含许多与图6的亮度处理部分类似的级，下面只对不同的级提供描述。

一种明显的不同是用图20中的亮度压缩(压缩非线性)级2000取代图6的正规化级。即，非线性包括降低幂函数偏移一个常量。令来自最新的场的相对亮度阵列为Y₃(i，j)，其中3表示最新的场。则： $I_3(i,j)=[L_{\max }{Y}_3(i,j){]}^m+L_d^m.---\left(23a\right)$

将显示的最大亮度L_max设定为100cd/m²。本函数用8c/deg上的对比度灵敏度数据定标。从而，找出可调节的参数m与L_D分别为0.65及7.5cd/m²。即，将L_d与m的值选择为便于在从0.01到100ft-L的亮度级上与对比度检测数据匹配(van Nes与Bouman，1967)。换言之，式(23a)允许相对于绝对亮度定标，例如，改变显示的最大亮度将影响总亮度输出。观察式(23a)的另一方法为它允许感觉量发生器包含与亮度有关的对比度灵敏度函数。

作为替代，可在各金字塔形级上插入附加的亮度压缩级2000(在图20中示出在虚线框中)以允许现有的感觉量发生器建立作为亮度与空间频率两者的函数的对比度灵敏度的模型。否则，实现只有两个参数的一个亮度压缩级2000不足以建立其它空间频率的模型。

更具体地，各亮度图象金字塔形分解之后，在各金字塔形级k上作用非线性。这时，对于金字塔形级k，压缩非线性由下式给

L₃(i，j；k)＝[L_maxY₃(i，j；k)+L_a]^m(k)+L_D(k)^m(k)，              (23b)

其中再一次选择m(k)与L_D(k)以便在从0.01至100ft-L的亮度级上与对比度检测匹配(van Nes等人，1967)。值L_a为环境屏幕照明的偏移(据屏幕测定值设定为5cd/m²)，而Lmax为显示的最大亮度(通常大约为100cd/m²)。

定标式(23b)的数据列表如下：

I0(td)	fs(c/deg)	Cm
			8500.00	0.500000	1.46780E-02
850.000	0.500000	1.46780E-02
			85.0000	0.500000	1.46780E-02
8.50000	0.500000	1.46780E-02
			0.85000	0.500000	1.46780E-02
0.08500	0.500000	1.67028E-02
			8500.00	4.00000	2.61016E-03
850.000	4.00000	2.61016E-03
			85.0000	4.00000	2.61016E-03
8.50000	4.00000	4.15551E-03
			0.85000	4.00000	1.31409E-02
0.08500	4.00000	4.15551E-02
			8500.00	8.00000	2.61016E-03
850.000	8.00000	2.61016E-03
			85.0000	8.00000	2.61016E-03
8.50000	8.00000	6.71363E-03
			0.85000	8.00000	2.12304E-02
0.08500	8.00000	6.71363E-02
			8500.00	16.0000	3.83119E-03
850.000	16.0000	3.83119E-03
			85.0000	16.0000	4.57394E-03
8.50000	16.0000	1.44641E-02
			0.85000	16.0000	4.57394E-02
0.08500	16.0000	0.144641
			8500.00	24.0000	6.81292E-03
850.000	24.0000	6.81292E-03
			85.0000	24.0000	1.44641E-02

8.50000	24.0000	4.57394E-02
			0.85000	24.0000	0.144641
0.08500	24.0000	0.457394
			8500.00	32.0000	1.21153E-02
850.000	32.0000	1.21153E-02
			85.0000	32.0000	2.97023E-02
8.50000	32.0000	9.39270E-02
			0.85000	32.0000	0.297023
0.08500	32.0000	0.939270
			8500.00	40.0000	3.16228E-02
850.000	40.0000	3.16228E-02
			85.0000	40.0000	8.95277E-02
8.50000	40.0000	0.283111
			0.85000	40.0000	0.89527
8500.00	48.0000	7.49894E-02
			850.000	48.0000	8.13375E-02
85.0000	48.0000	0.257212
			8.50000	48.0000	0.813374

上表中各对比度调制C_m为在空间频率f_s的正弦波的最小可区别对比度及视网膜亮度I₀中得出的实验值。应指出由于在定标中采用了2mm的人工瞳孔，将视网膜亮度值(以托兰表示的I₀)乘以π以补偿亮度值(以cd/m²表示的L)。用于定标的好的起始点为对所有的m(k)与L_D(k)采用8c/deg正弦波检波的默认值，对于它适当的指数m为.65而适当的L_D值为7.5cd/m²。

亮度空间与时间滤波对图6及图20的两种感觉量发生器相同。然而，图20的感觉量发生器的亮度对比度计算是不用平方运算得出的。图20中的级2040、2042及2050取代级640、642及650。

更具体地，对比度响应图象是作为上述式(19)与(20)所定义的量的绝对值的剪裁的版本计算的。这些量计算如下： $H_i=\max (0,|\frac{({\mathrm{SH}}_i-{\mathrm{CH}}_i)}{w_i({\mathrm{CH}}_i+{\mathrm{SH}}_i)}|-\mathrm{\ϵ}),V_i=\max (0,|\frac{({\mathrm{SV}}_i-{\mathrm{CV}}_i)}{w_i({\mathrm{CV}}_i+{\mathrm{SV}}_i)}|-\mathrm{\ϵ})---\left(23c\right)$

i＝0，1，2， $T_3=\max (0,|\frac{(E_3-L_3)}{w_3(E_3+L_3)}|-\mathrm{\ϵ}),\mathrm{where\ϵ}=0.75.---\left(23d\right)$

绝对值运算之前的各对比度比象素值的代数符号也必须保留供以后使用。

图6与图20的感觉量发生器之间的另一明显差别为对比度能量的实现。与图6不同，图20的感觉量发生器在两个分开的级中实现对比度能量屏蔽2060：对每个水平与垂直通道的一个交叉屏蔽级及一个自屏蔽级(见图20)。自屏蔽降低在当前通道内存在信息时的灵敏度，而交叉屏蔽降低在邻接通道中存在信息时的灵敏度。事实上，这两个分开的屏蔽级的次序可以颠倒。这些对比度能量屏蔽级有下述形式： $T(y,D_i)=\frac{d_y{z}_i^{\mathrm{\β}}}{{\mathrm{az}}_i+c},$ (白屏蔽)  (23e)

其中： $z_i=\frac{y}{[1+m_f(D_i-y)]}$ i＝0，1，2，及 $z_3=\frac{y}{(1+D_3-m_{t}y)}$ (交叉异蔽)

这里，y为要屏蔽的对比度：空间，H_i或J_i(式(23c))或时间(T₃)(式(24d))。量D_i指依赖于y所属的金字塔级i的图象而言(逐个象素)。量b、a、c、mf及mt是通过分别建立1.4、3/32、5/32、10/1024及50的定标模型找出的。d_y为在取绝对值之前保留的对比度y的代数符号。

D_i的计算类似于上面讨论的图6中的。即，fdsl()表示3×3滤波，后随一个金字塔级的下抽样，而usfl()表示一个金字塔形级的上抽样后随3x3滤波。首先，计算阵列E₀如下：

E₀＝H₀+V₀(23f)

然后，对于i＝1，2，递归地计算阵列E_i：

E_i＝H_i+V_i+fdsl(E_i-1)，对于i＝1，2       (23g)

E₃＝fdsl(E₂)    (23h)

然后将阵列E_i与时间对比度图象T₃及图象T_i组合给出对比度分母阵列D_i如下：

         D₃＝m_tT₃+m_ftfdsl(E₂)，              (23i)

T₂＝usfl(D₃)，T₁＝usfl(T_i+1)，for i＝1，0，

         D₁＝E_i+T_i，i＝0，1，2.              (23j)

这里，参数m_ft＝3/64，调制所有空间亮度一起用它来屏蔽时间(闪烁)亮度通道的强度；而参数m_t＝50，调制时间(闪烁)亮度通道用它来屏蔽各空间亮度通道的强度。

图7展示亮度量发生部分240的详细方框图。再一次可将图7看成是亮度量发生步骤的流程图或具有用于执行这些亮度量发生步骤的多个硬件部件的亮度量发生部分的方框图，诸如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。下述构造适用于上面图6中生成的所有屏蔽的对比度图象：金字塔形H与V中的图象(即图象H₀，V₀、H₁、V₁、H₂与V₂)、图象T₃(具有级3上的分辨率)及从参照序列中导出的对应图象(用图6与7中的上标^ref表示)。

下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论中X表示从测试序列中导出的任何图象，而用X^ref表示从参照序列中导出对应图象。给定这一标记法，这些步骤如下：

在步骤(或级)710中，将图象X分成两个半波整流图象，一个用于正在对比度712而另一个用于负对比度714。在正对比度图象(称作X₊)中，利用来自X对比度的符号(如上面讨论的分开存储的)将零赋予X₊中具有负对比度的所有象素。相反的操作出现在负对比度图象X_-中。

在步骤(或级)720中，对于各图象X₊与X_-，通过应用3x3滤波器将图象与0.25(1，2，1)的滤波器核水平及垂直卷积来执行本地汇集操作。

此外，在步骤720中，在各方向上用因子2下抽样得出的图象，消除从汇集操作中导致的冗余。为对应的参照图象X^ref执行与作用在X上相同的处理。

在步骤(或级)730中，逐个象素计算绝对差图象|X₊-X₊ ^ref|及|X_--X_- ^ref|。得出的图象为JND图。

在步骤(或级)740中，在JND图上执行核化操作。即将小于阈值t_c的所有值设定为零。在较佳实施例中，t_c的默认值为0.5。

在步骤(或级)750中，确定这些图象的第Q次幂。在较佳实施例中，Q为默认值为2的正整数。

对所有的X，X^ref对完成了这一处理之后，通过重复地上抽样、滤波及将所有图象向上相加到要求的级来确定概括测量。这是按如下进行的：

在步骤(或级)760中，在从T₃，T₃ ^ref中导出的级3图象上作用上抽样与滤波以导出级2图象。

在步骤(或级)761中，在来自步骤760的级2图象与从H₂、H₂ ^ref、V₂及V₂ ^ref导出的级2图象之和上作用上抽样及滤波。

在步骤(或级)762中，在来自步骤761的级2图象与从H₁、H₁ ^ref、V₁及V₁ ^ref导出的级2图象之和上作用上抽样及滤波。

在步骤(或级)763中，在来自步骤762的级2图象与从H₀、H₀ ^ref、V₀及V₀ ^ref导出的级2图象之和作用上抽样及滤波。来自步骤(或级)763的路径765上的输出为亮度JND图。

应指出在最后处理步骤763之前，得出的图象是原始图象的一半分辨率。类似地应指出在这一处理部分中的各金字塔形级下标是指它从其原始导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。

还应指出通过上面的重复上抽样、滤波及加法处理生成的所有图象为第Q次幂JND图象。以两种方式使用级0图象，在路径764上将其直接送到概括处理，或者为显示目的在步骤763中上抽样及滤波到原始图象分辨率。

图21展示亮度量发生部分240的另一实施例的详细方框图。由于图21的亮度量发生包含许多与图7的亮度量发生类似的级，下面只对不同的级提供描述。

更具体地，用保持通道输出的运行和与运行最大值的多个求最大值与和级取代“核化”级740及“上升到第Q次幂”级750。由于直到级750图21所示的过程与图7的相同，现有从己确定了绝对差图象|X₊-X₊ ^ref|及|X_--X_- ^ref|的点上开始描述图21的过程。

接着，在为各X，X^ref的对完成了该过程之后，在级2140中初始化运行和图象以包含从T₃，T₃ ^ref导出的级3图象之和。类似地，在级2142中初始化运行最大值图象以包含作为|T₃₊-T₃₊ ^ref|及|T₃--T_3- ^ref|的逐点最大值的运行最大值图象。

接着，级2140a与2142a分别上抽样及滤波运行和与运行最大值图象，以构成两个级2图象。然后级2144通过将其加到从H₂、H₂ ^ref、V₂及V₂ ^ref导出的级2图象而更新运行和图象。类似地，级2146通过将其与从H₂、H₂ ^ref、V₂及V₂ ^ref导出的组2图象比较而更新运行最大值图象。

接着，级2144a及2146a分别上抽样及滤波运行和与运行最大值图象来构成两个级1图象。然后级2148通过将其加到从H₁、H₁ ^ref、V₁及V₁ ^ref导出的级1图象而更新运行和图象。类似地，级2150通过将其与从H₁、H₁ ^ref、V₁及V₁ ^ref导出的级1图象比较而更新运行最大值图象。

接着，级2148a与2150a分别上抽样及滤波运行和及运行最大值图象以构成两个级0图象。然后级2152通过将其加到从H₀、H₀ ^ref、V₀及V₀ ^ref导出的级0图象而更新运行和图象。类似地，级2154通过将其与从H₀、H₀ ^ref、V₀及V₀ ^ref导出的级0图象比较而更新运行最大值图象。

最后，在级2160中执行运行和与运行最大值图象的逐点线性组合来产生按照下式的亮度JND图：

JND_L(i，j)＝k_L Running_Max(i，j)+(l-k_L)Running_Sum(i，j)(23k)

其中k_L＝0.783。k值是通过逼近Minkowski Q-norm确定的。给定Q值及要集合的图象数目N，值k_L＝[N-N^I/Q]/[N-1]保证当所有比较项(在一个象素上)相同时且当只有一个非零项时，近似测定值正好与Q-_norm匹配。在这一情况中，N＝14(通道数)而Q＝2。

应指出这一过程之后，得出的图象是原始的一半分辨率。类似地，应指出这一过程中的各金字塔形级下标是指它从其原始导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。

最后，应指出能在通过重复滤波/下抽样与加法/求最大值过程生成的所有图象上加上权重k_L与l-k_L以产生JND图象。可用两种方式处理级0图象，通过路径2161将级0图象直接送至JND概括处理或者用级2170上抽样及滤波到原始分辨率供显示。

通常，图21的亮度量发生部分是较佳实施例，而图7的亮度量发生部分是替代实施例。原因之一是求最大值、求和方法是计算上较便宜的。从而，如果希望整数实现中的动态范围，则图21的亮度量发生部分较佳。否则，如果采用浮点处理器，则图7的亮度量发生部分也能一样好地使用。

半高度亮度处理

由于存储器需求与计算周期是重要的处理问题，本发明提供能处理诸如交错图象的顶与底部场的半高度图象的感觉量发生器的另一实施例。这一实施例减少存储全高度图象所需的存储器空间量，同时减少计算周期数。

如果要直接传递通过半高度图象而无须填充0到真实的图象高度，则上述亮度处理部分220必须加以修改以反映固有的垂直分辨率只是固有的水平分辨率的一半。图22与23为用于处理半高度图象的亮度处理部分及亮度量发生部分的方框图。

这两个图(图22与23)与用于全高度交错图象的对应的图(图20与21)之间的比较揭示许多级是相同的。从而，下面对图22与23的描述只限于两种实现之间的差别。

首先，消除了最高分辨率水平通道H₀。第二，最高分辨率图象是用具有权重(1/8，3/4，1/8)的3×1“Kell”滤波器(垂直滤波器)2210垂直(即沿列)低通滤波的。这一滤波器是垂直尺度上的抗混淆滤波器，用于消除由于行是在一半空间频率上抽样的这一事实引起的影响。即它是垂直变模糊的低通滤波器。然后用1×3滤波器2220(核0.25[1，2，1])水平滤波得出的经垂直滤波的图象L₀。得出的图象LP0为L0的水平低通型式。

接着，将L₀与LP₀组合以产生除以类似于其它定向通道的(S-C)/(S+C)响应的低通(LP₀)定向的响应的带通(LP₀-L₀)。

依次，在级2200中将图象LP₀(720×240个象素的半高度图象)水平下抽样到全高度半分辨率图象(360×240)。在这一点上，纵横比使得在这一图象及全部剩下的三个金字塔级上的处理能象全高度方案中一样继续进行。

接着，分别用级2232(标记为1×3滤波器与d.s.)1×3滤波/水平下抽样及用级2234水平上抽样(h.u.s)/1×3滤波完成来自级0的半高度图象与级1的全高度图象之间的下抽样及上抽样。水平下抽样在水平尺度上用因子2施加分样(decimation)，即丢弃图象的每隔一列。水平上抽样在现有图象的每两列之间插入零的列。上抽样后的滤波器核用0.5[1，2，1]定义，其理由如上所述。

图23展示用于处理半高度图象的亮度量发生部分。首先，不存在最高分辨率水平通道H₀。对于V₀通道，提供1×3滤波和水平下抽样级2300来取代其它通道中使用的3×3滤波及下抽样级。

由于没有H₀通道，修改了各种参数及运行最大值与运行和的“通路”例如，将确定k的N值从14改变到12。同一值k＝0.738用于全高度与半高度处理两者并且是从上面给出的式子计算的全高度与半高度常量的平均值。

最后，如在全高度实施例中，在显示以前必须将概括测量的亮度图带入全图象分辨率。紧接在显示前，在级2310中通过上抽样及随后用1×3滤波(核0.5[1，2，1])将最终的JND带到全分辨率。因垂直方向上，在级2320中执行了行加倍。

应指出由于各空间滤波器具有水平与垂直空间相关性，与其全高度对等物相比半高度实施例存在一些差别。然而，己观察到半高度实施例在与主观额定值的相关性中呈现少许失真。从而，可采用非交错选择项作为交错选择项的有生命力与节省时间的替代品。

图8展示色度处理部分230的详细方框图。再一次可将图8看成色度处理步骤的流程图或具有用于执行这些色度处理步骤的多个硬件元件的色度处理部分的方框图，例如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。应指出除具有级0，1，2的金字塔形外，色度处理部分230为u*802与v*804两者计算具有级0，1，…，6的金字塔形。

将色度通道的空间分辨率(即最高金字塔级的分辨率)选择为等于亮度的分辨率的，因为分辨率是由象素间间隔而非接收器间间隔驱动的。接收器间间隔为0.007度视角，而象素间间隔为0.03度，这是从在其高度上具有480个象素及在四倍其高度处观看而导出的。另一方面，Morgan与Aiba(1985)发现红绿微调敏锐度在等亮度上降低因子3，这一因子要用其它类型的敏锐度的三个接收器间间隔来均衡。同时，兰黄色度通道的分辨率受到视觉系统对于小于大约2’(0.033度)视角的光线是三型色盲(兰色盲)的这一事实的限制(见Wyszecki与Stiles，1982，571页)。0.03度视角的象素分辨率非常接近这些值中的最大者，使其适合于均衡亮度与色度通道的象素分辨率。

色度金字塔延伸到级6。这支持观察者注意到大的空间均匀的彩色场之间的差异的论据。这一效应能用空间延伸的JND图来解决。Mullen(1985)己提供这种低空间频率对JND的影响的定量论据。

返回到图8，类似于亮度处理，通过金字塔形分解完成在七个分辨率级上的空间分解，在各连续的较粗糙的分辨率级上用因子2弄模糊及下抽象图象。原始的全分辨率图象称作金字塔的第0级(级0)。在较低分辨率上的后面的级是用称作REDUCE(降低)的操作得到的。即，在图象的各方向上顺序地将具有权重(1，2，1)/4的三抽头低通滤波器805作用在级0上以生成弄模糊的图象。然后用因子2子抽样得出的图象以产生下一级，级1。

在步骤(或级)810中，为各分辨率级在u*图象上并且也在v*图象上用抽头权重(0.25，0.25，0.25，0.25)执行四场平均，即令 $u_i\←\frac{1}{4}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}{u}_i^j,v_i\←\frac{1}{4}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}{v}_i^j,---\left(23l\right)$

其中j为场下标。这一平均运算反映彩色通道的固有低通时间滤波，并取代时间亮度通道的“early-late”处理。

在步骤(或级)820中，将非定向的Laplacian空间滤波器820作用在各u*与v*图象上。该滤波器具有下面的3×3核： $1/4\left[\begin{array}{ccc}1& 2& 1\\ 2& -12& 2\\ 1& 2& 1\end{array}\right],---\left(24\right)$

选择成具有0总权重及用最大强度1来响应两个均匀区之间的任何直边，这两个区之间具有单位值的差异。(最大响应是由水平或垂直边达到的。)这将u*与v*图象描绘到能以均匀色空间(JND)为单位估算的色度差异图中。

在步骤(或级)830中，直接在从作为色度对比度金字塔的步骤820得出的u*与v*图象上执行对比度计算，将类似于亮度处理部分中计算的Michelson对比度进行解释。与亮度对比度类似，色度对比度是通过用Laplacian金字塔实现的图象内比较计算的。正如Laplacian差除以空间平均值表示Michelson对比度，它通过Weber氏定律假设1-JND级上(检测阈值)的常量值，在u*与v*上操作的Laplacian金字塔具有1-JND的解释。类似地，这一解释在定标过程中修改。修改反映本发明的所有部分的交互作用，以及激发1-JND响应的刺激并非简单地依据感觉量发生器这一事实。

此外在步骤(或级)830中，将对比度金字塔形图象逐级除以七个常量qi(i＝0，…，6)，它们的值是分别通过定标成1000、125、40、12.5、10、10、10确定的。这些常量类似于亮度处理部分中的量Wi(i＝0，…，3)。

在步骤(或级)840中，确定所有u*与v*对比度的平方，但再一次保留代数符号供以后使用。符号保留防止由于在平方运算中丢失符号的二义性引起的在两个不同图象之间记录0 JND的可能性。结果是两个色度平方对比度金字塔C_u、C_v。

在步骤(或级)850中，执行对比度能量屏蔽。首先，直接从亮度处理部分220不加改变地采用分母金字塔级D_m(m＝0，1，2)。然而，对于级3，…，6利用与亮度处理中相同的方法但不增加新项，执行D₂的顺序滤波与下抽样。在步骤840中在微扰理论的精神中使用这些D_m值，共含义为，由于亮度是JND的更重要的确定者，事先假定亮度在色度上的作用比色度在亮度上的作用更重要。即，由于在大多数情况中预期亮度作用支配色度作用，可将色度处理部分看成是亮度处理部分上的第一级微扰。因此将亮度作用(D_m)建模成屏蔽色度，而不是反过来。

屏蔽的色度对比度金字塔是通过使用亮度通道分母金字塔D_m及与用于亮度换能器相同函数形式以屏蔽色度平方对比度金字塔而生成的，对于所有金字塔级m＝0，1，2： $C_{\mathrm{um}}\←\frac{k{s}_{\mathrm{um}}{C}_{\mathrm{um}}^{{\mathrm{\β}}_c}}{a_c{C}_{u,}^{{\mathrm{\σ}}_c}+m_c{D}_m+c_c},---\left(25\right)$ $C_{\mathrm{vm}}\←\frac{k{s}_{\mathrm{vm}}{C}_{\mathrm{vm}}^{{\mathrm{\β}}_c}}{a_c{C}_{\mathrm{vm}}^{{\mathrm{\σ}}_c}+m_c{D}_m+c_c}.---\left(26\right)$

应指出在步骤830中去掉的代数符号通过因子Sum与Svm重新加上。这一运算产生u*与v*的屏蔽对比度金字塔。定标己确定值a_c＝0.15，c_c＝0.3，k＝0.7，σ_c＝1.0及β_c＝1.17。此外，将m_c设定为值1在所有定标与预测中己产生足够的性能。

图24展示色度处理部分230的另一实施例的详细方框图。由于图24的色度处理部分包含许多与图8的色度处理部分类似的级，下面只对不同的级提供描述。

对于图8与图24的两种感觉量发生器，色度空间与时间滤波是相同的。然而，图24的感觉量发生器的色度对比度计算是不用平方运算达到的。即，用图24中的级2400取代级830。

更具体地，在步骤(或级)830中，逐级将对比度金字塔图象除以7个常量qi(i＝0，…，6)，它们的值是分别通过定标成384、60、24、6、4、3、3确定的。应指出这些常量与图8的不同。这些常量类似于亮度处理部分中的量w_i(i＝0，…，3)。

接着，计算所有ui与v*对比度的经过剪裁的绝对值[其中clip(x)＝max(0，x-e)]，其中e＝0.75。再一次保留代数符号及在以后使用时重新加上。这防止了由于在绝对值运算中的符号丢失的二义性而在两个不同图象之间记录0 JND的可能性。结果是两个色度对比度金字塔C_u、C_v。

图8与图24的感觉量发生器之间的另一明显差异是对比度能量屏蔽的实现。与图8不同，图24的感觉量发生器在两个分开的级中实现对比度能量屏蔽2410：用于各水平与垂直通道的一个交叉屏蔽级及一个自屏蔽级(见图24)。自屏蔽降低当前通道内出现信息时的灵敏度。而交叉屏蔽降低在邻接通道中出现信息时的灵敏度。事实上，这两个分开的屏蔽级的次序可以颠倒。

利用亮度通道分母金字塔D_m及用于亮度换能器的相同函数形式，对所有金字塔级m＝0，…，6屏蔽色度对比度金字塔： $C_{\mathrm{um}}\←\frac{s_{\mathrm{um}}{z}_{\mathrm{um}}^{{\mathrm{\β}}_c}}{z_c{C}_{\mathrm{um}}+c_c},---\left(26a\right)$ $z_{\mathrm{um}}=\frac{C_{\mathrm{um}}}{(1+m_c{D}_i)}$

并在i＞2时D_i为D₂的滤波及下抽样的版本。类似地， $C_{\mathrm{vm}}\←\frac{s_{\mathrm{vm}}{z}_{\mathrm{vm}}^{{\mathrm{\β}}_c}}{a_c{C}_{\mathrm{vm}}+c_c}.---\left(26b\right)$ $z_{\mathrm{vm}}=\frac{C_{\mathrm{vm}}}{(1+m_c{D}_i)}.$

注意上面去掉的代数符号己通过因子s_um与s_vm重新加上。这产生u_i与v_i的屏蔽的对比度金字塔。定标确定值a_c＝1/2，c_c＝1/2，β_c＝1.4及m_c＝m_f＝10/1024。通常，图24的色度处理部分为较佳实施例，而图8的色度处理部分为替代实施例。

图9展示色度量发生部分250的方框图。再一次可将图9看成是色度量发生步骤的流程或具有用于执行这些亮度量发生步骤的多个硬件部件的色度量发生部分的方框图，诸如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。色度JND图的构成类似于上面对图7讨论的亮度JND图的构成。在色度情况中，这一过程作用在上面的级840生成的所有屏蔽的对比度色度图象(即图象C_u0，C_v0，…，C_u6、C_v6)及从参照序列导出的对应图象上(在图8与9中用上标^ref表示)。

下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论中X表示从测试序列导出的任何图象，而用X^ref表示从参照序列导出的对应图象。给定这一标记，步骤如下：

在步骤(或级)910中，将图象X分成两个半波整流图象，一个用于正对比度912及另一个用于负对比度914。在正对比度图象(称作X₊)中，利用来自X对比度(如上面讨论的分开存储的)的符号对X₊中具有负对比度的所有象素赋值0。在负对比度图象X_-中发生相反的操作。

在步骤(或级)920中，通过作用3×3滤波器将图象水平及垂直地与0.5[1，2，1]的滤波器核卷积，以执行本地汇集操作。

此外，在步骤920中，在各方向上用因子2下抽样得出的图象以消除从汇集操作中导致的冗余。对对应的参照图象X^ref执行与作用在X上相同的处理。

在步骤(或级)930中，逐个象素计算绝对差图象|X₊-X₊ ^ref|及|X_--X_- ^ref|。得出的图象为JND图。

在步骤(或级)940中，在J-ND图上执行核化操作。即将所有小于阈值t_c的值设定为零。在较佳实施例中，t_c的默认值为0.5。

在步骤(或级)950中，确定这些图象的第Q次幂。在较佳实施例中，Q为默认值为2的正整数。

对所有的X，X^ref对完成了这一过程之后，通过重复地上抽样、滤波及将所有图象加在一起到所要求的级上来确定概括测量。这是如下进行的：

在步骤(或级)960中，在从C_u6、C_u6 ^ref、C_v6、C_v6 ^ref导出的级6图象上作用上抽样及滤波以导出级5图象。

在下一步骤(或级)中，将上抽样及滤波作用在来自具有从C_u5、C_u5 ^ref、C_v5、C_v5 ^ref导出的级5图象的步骤960的级5图象之和上。这一过程继续进行到级0。

类似于亮度处理，应指出在最后的处理步骤963之前，得出的图象的分辨率是原始图象的一半。类似地，应指出这一处理部分中的各金字塔级下标是指它原来从其导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。

应指出上面重复上抽样、滤波及加法过程所生成的所有图象为第Q次幂JND图象。以两种方式使用级0图象，在路径964上直接送给概括处理，或者在步骤963中上抽样及滤波到原始图象分辨率供显示用。

如上面讨论的，传递给输出概括步骤的亮度及色度JND图为第Q次幂JND图象，并且是在原始图象的半分辨率上表示的。这利用了在各屏蔽对比度级上执行汇集中固有的冗余性。通过用Minkowski加法求所有象素的平均值能将这些半分辨率图象中的每个减少到单个JND性能测量： ${\mathrm{JND}}_{\mathrm{luma}}=[N_P^{-1}\underset{i,j}{\mathrm{\Σ}}{L}_{\mathrm{JND}}{(i,j)}^Q{]}^{\frac{1}{Q}},---\left(27\right)$ ${\mathrm{JND}}_{\mathrm{chroma}}=[N_P^{-1}\underset{i,j}{\mathrm{\Σ}}{C}_{\mathrm{JND}}{(i,j)}^Q{]}^{\frac{1}{Q}}.---\left(28\right)$

N_P为各个JND图中的象素数目，JND_luminance及JND_chrominance为概括测量，而L_JND ^Q与C_JND ^Q为分别来自亮度及色度图构造的半分辨率图。在各情况中，该总和是在图象中的所有象素。如上所述，Minkowski指数Q的值默认为2。

从亮度与色度概括测量中，用Minkowski加法计算场的单一性能测量，即 ${\mathrm{JND}}_{\mathrm{field}}=[{\mathrm{JND}}_{\mathrm{luma}}^Q+{\mathrm{JND}}_{\mathrm{chroma}}^Q{]}^{\frac{1}{Q}},---\left(29\right)$

其中Q再次默认为2。

通过再一次在Minkowski意义上将各场的JND值相加得出视频序列的N个场的单一性能测量JND_field。Q默认为2。 $\mathrm{JND}=[\frac{1}{N}\underset{m}{\mathrm{\Σ}}{\mathrm{JND}}_{\mathrm{field}}^Q\left(m\right){]}^{\frac{1}{Q}}.---\left(30\right)$

图25展示色度量发生部分250的另一实施例的详细方框图。因为图25的色度量发生包含许多与图9的色度量发生类似的级，下面只对不同的级提供描述。

更具体地，用保持通道输出的运行和与运行最大值的多个求最大值及求和级取代“核化”级940及“升高到第Q次幂”级950。由于直到级930图25与图9中所示的过程相同，现在从己确定了绝对差图象|X₊-X₊ ^ref|及|X_--X_- ^ref|的点上开始描述图25的过程。

接着，为所有的X，X^ref对完成了处理之后，在级2540中初始化运行和以包含从C_u6、C_u6 ^ref、C_v6及C_v6 ^ref导出的级6图象之和。类似地，在级2542中将运行最大值图象初始化为这些相同图象的逐点最大值。

接着，用级2540a及2542a分别上抽样及滤波运行和及运行最大值图象，以构成两个级5图象。然后级2544通过将其加到从C_u5、C_u5 ^ref、C_v5及C_v5 ^ref导出的级5图象更新运行和图象。类似地，级2546通过将其与从C_u5、C_u5 ^ref、C_v5及C_v5 ^ref导出的级5图象比较而更新运行最大值图象。这一过程向下重复到金字塔级0。

最后，执行了上述步骤之后，执行运行和与运行最大值图象的逐点线性组合以产生色度JND图：

JND_C(i，j)＝k_CRunning_Max(i，j)+(1-k_C)Running_Sum(i，j)，     (30a)

其中k_c＝0.836。k_c的值是通过逼近Minkowski Q-norm确定的。给定Q的值及要集在一起的图象的数目N，值k_c＝[N-N^I/Q]/[N-1]保证近似测量在所有比较项(象素上)相同时并且在只有一个非零项时，完全与Q-norm匹配。在本例中，N＝28(通道数)及Q＝2。

和在亮度处理中一样，这些操作之后得出的图象在分辨率上是原始图象的一半。应指出这一过程中的各金字塔级下标是指从其原始导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。

还应指出可在上面的重复上抽样/滤波与加法/求最大值过程所生成的所有图象上加上权重k_c与1-k_c以产生JND图象。以两种方式使用级0图象，将其直接送给概括处理或上抽样到原始图象分辨率及滤波供显示用。

通常，图25的色度量发生部分是较佳实施例，而图9的亮度量发生部分为替代实施例。一种原因是最大值-和方法在计算上较便宜。从而，如果希望以整数实现的动态范围，则图25的色度量发生部分较佳。否则，如采用浮点处理器，则图9的亮度量发生部分能同样使用。

半高度色度处理

如果直接传递半高度图象而不填充零到真实图象高度，则上面的色度处理部分230必须加以修改以反映固有的垂直分辨率只是固有的水平分辨率的一半。图26与27为用于处理半高度图象的色度处理部分及色度量发生部分的方框图。

这些图(图26与27)与用于全高度交错的对应的图(图24与25)之间的比较揭示许多级是相同的。因此，下面对图26与27的描述限于两种实现之间的差别。

首先，消除最高分辨率色度通道u₀*与v₀*。由于在高空间频率上色度灵敏度通常是低的，损失这些通道并不重要。

第二，为了产生次最高分辨率色度图象u₁*与v₁*，垂直(即沿列)作用具有权重(1/8，3/4，1/8)的核的低通“Kell”滤波器2600。这一操作对应于假设的去交错滤波器连同全高度实施例的3×3滤波器的垂直分量所执行的滤波的联合滤波。然后用具有权重0.25(1，2，1)的核的1×3滤波器2610水平滤波得出的垂直滤波的图象。u*与v*图象的这一滤波使半高度图象的分辨率各向同性。这一分辨率具有全高度金字塔级1。

图27展示用于处理半高度图象的色度量发生部分。首先，0级不存在。这样，修改了运行最大值与运行和的各种参数及“通路”。例如，将确定k的值N从28改变到24。相同的k＝0.836用于全高与半高度处理并且是从上面给出的公式中计算出的全高与半高度常量的平均值。

由于在色度实施例中，最大值与和流是完全累积在金字塔级1上的，概括测量的色度JND图只是全部累积的亮度图的一关大小(在水平与垂直方向上)。从而，在组合色度与亮度图来产生总的JND图之前，必须首先将色度图变成与亮度图相同的分辨率。为了达到这一目的，执行上抽样后随3×3滤波器2705，以产生概括测量的色度JND图。

如在全高度实施例中，在显示以前必须将概括测量的色度图变成全图象分辨率。为了与亮度图中的类似操作一致，在级2710中通过上抽样及后随1×3滤波(核0.5[1，2，1])将色度图在水平方向上变成全分辨率。在垂直方向上，在级2720中执行行加倍。

JND输出概要

如上面讨论的，传递给输出概要步骤的亮度与色度JND图为JND图象，并且是在原始图象的半分辨率上表示的。这利用己执行汇集的各屏蔽的对比度级中固有的冗余性。

接着，将亮度与色度JND图JND_L与JND_C组合成总视场JND图JND_T。这一组合是用近似Minkowski加法进行的，与通道组合来产生图JND_L与JND_C相似：

JND_T(i，j)＝k_Tmax[JND_L(i，j)，JND_C(i，j)]              (30b)

           +(1-k_T)[JND_L(i，j)+JND_C(i，j)]

其中k_T＝0.586。k_T的选择是通过逼近Minkowski Q-norm确定的。在本例中，max/sum中有两项，而Q＝2。

依次，通过下述直方图过程将各半分辨率JND图象(各场三个：亮度、色度与总视场)减少到称作JAM的单一JND性能测量：

首先，制作JND值的直方图(1/8 JND)，但不包含小于阈值级t_c＝1/2的值。将大于100JND的所有的值作为100JND记录。

第二，采用JND作为来自上面的缩略的直方图的JND点数的第90个百分点。以这一方式为分别对应于JND_L、JND_C及JND_T的概括测量计算三个值JAM_luma、JAM_chroma及JAM_total。这是为视频序列中的各场进行的。

从视频序列中的N个单视场JAM_field值中，取决于序列的长度，以两种方式之一计算单一的性能测量。

对于N＞10：

JAM_N等于JAM_field值的直方图的第90个百分点。

对于N≤10：

用于N增加时提供连续度的下述过程确定JAM_N。更具体地，首先制作JAM_field值的直方图。第二，用具有与真实直方图相同的最小值、最大值及平均值的“人造直方图”逼近直方图，该人造直方图是由在最小或最大值之一上的单一仑峰值的常量构成的。

第三，采用N场JAM作为来自上述人造直方图的JAM_field点数的第90个百分点。

应指出主观额定数据对于短视频序列(如小于1/2秒或15帧)是有噪声及不可靠的。从而JAM估计与短序列的主观额定值的相关是低劣的。

图象边界处理

在本感觉量发生器中，己观察到各级上的边界反射能将赝象传播到亮度与色度JND图中，从而需要修剪来使这些JND图不受这些赝象污染。为了解决这一临界性，己研究出一种方法用无限大小但以每边不超过6个象素增加实际图象大小进行操作的灰色遮光板来取代屏幕边界。这一“虚拟遮光板”的使用消除了修剪JND来避免边界赝象的要求。无限的灰色遮光板模仿观看条件并因此可认为不是人工的。用这一解释，整个JND图是不受赝象污染的。并能用画面质量分析器显示。

在下面的描述中，将己在所有边上用6个象素填衬的的图象称作“填衬图象”，而将未填衬的图象或其填衬图象内的部位称作“图象本体”。

由于图象操作是本地的，能高效地实现虚拟无限遮光板。在图象本体外侧充分远处，无限遮光板在任何给定级上得出一组相同的常量值。可事先计算在这一常量区上所执行的诸如滤波等图象操作的效果。从而，窄的边界(本实现中为6个象素)能提供从图象本体到无限遮光板的适当过渡。

在输入端上，给予遮光板值Y’＝90，U’＝V’＝0。(Y’＝90的值对应于最大屏幕亮度的15％的Rec 500背景值的一半)。然而，直到前端处理完成为止遮光板是不需要的，由于在这一级完成之前不会出现延伸到图象边界以外的空间交互作用。在亮度通道中，在亮度压缩完成之前没有边界(并因而没有遮光板值)附加在图象上。在色度通道中，前端处理之后加上边界。

在高度通道中，亮度压缩后的第一遮光板值是 $\mathrm{first}\_\mathrm{luma}\_\mathrm{bezel}=[L_{\max }{\left(\frac{90}{255}\right)}^{\mathrm{\γ}}{]}^m+L_d^m,---\left(30c\right)$

在u*与v*通道中，第一遮光板值均为0。

这些值以三种方式传播通过后面的处理级：

1)逐个象素的函数在老遮光板值上运算以产生新遮光板值。例如，从1.4次幂函数得出的遮光板值为：

bezel_out＝(bezel_in)^1.4    (30d)

2)其行与列之和为P的3×3空间滤波器将输出bezel值设定为输入bezel乘P。

3)对比度函数计数器与四视场时间滤波器(具有零抽头和)将输出遮光板值设定为0。

在对比度级上及以后，在亮度与色度通道中给予遮光板值0，即在空间常量阵列上用零和线性核运算的逻辑结果。

用于生成虚拟遮光板的方法公开在1997年11月23日提交的名为“生成图象金字塔边界的方法”的美国专利申请08/997,267中。通过引用将该美国专利申请08/997,267包含在此。

集成图象及遮光板

从模型的金字塔级开始，必须提供边界。在N×M输入图象上的第一边界操作是用具有适当的遮光板值(对于压缩的亮度图象的first luma bezel及对于u*与v*图象的0)的6个象素(所有边上)填充图象。填充后的图象具有尺度(N+12)×(M+12)。对于第k个金字塔级(其中k的范围为0至7)填充后的图象具有尺度([N/2^k]+12)×([M/2^k]+12)，其中“[x]”表示x中的最大整数。

所有金字塔级上的图象都互相登记在图象本体的左上角上。图象本体的记号在0≤y≤高度，0≤x≤宽度上进行。图象本体的左上角永远具有记号(0，0)。遮光板象素取小于0的高度与宽度值。例如，左上遮光板象素为(-6，-6)。如果从宽度为w的图象(图象加遮光板宽度w+12)的左边开始沿x方向看，遮光板象素是用x＝(-6，-5，…，-1)标记的，实际图象标记为(0，1，…，w-1)而右边遮光板标记则为(w，w+1，…，w+5)。

给定填充后的图象，取决于以后的处理级，能发生四件事情。在描述下面的操作中，我们用单一图象行来概括空间处理(理解类似的事件发生在垂直方向上)。

(a)对于逐个象素操作。当下一个操作是逐个象素操作时(如具有非线性)，简单地将填充后的图象传递通过该操作，并且输出图象尺度与输入图象尺度相同。当操作是在不同的场或不同的色带中的对应象素之间时，出现相同的情况。

(b)对于3×3空间滤波器。假定(在一个尺度上)未填充的输入图象具有尺度N_k+12。则填充后的输入图象具有尺度N_k+12，而填充后的输出图象同样具有尺度N_k+12。首先计算输出遮光板值及写入至少尚未被以后的图象操作填充的遮光板象素中。然后从离开填充后的输入图象左边1个象素开始，3×3核开始对输入图象运算及改写输出图象的遮光板值，停止在距图象右(或底)边一个象素处(这里存在原始遮光板值)。事先写入的遮光板值使核运算没有必要进行到原始(填充后的)图象外面去计算这些值。

(c)对于在REDUCE中的滤波及下抽样。给定具有尺度N_k+12的输入填充后的图象，分配给输出阵列尺度[N_k/2]+12。将遮光板值写入至少后面的滤波器与下抽样操作不填充的遮光板象素中。然后，按照上面的(b)滤波输入图象，滤波器作用在象素-4，-2，0，2，4上直到穷尽了输入图象为止，并将输出值写入连续的象素-2，-1，0，1，2，…中，直到输出图象中再也没有它们的位置为止。注意新图象中象素0的位置距新图象左端7个象素。如果N_k为奇数，滤波器的最后象素应用取输入象素N_k+3以输出象素[N_k/2]+12，而如果N_k为偶数它取输入象素N_k+4以输出象素[N_k/2]+12。(这里我们称滤波器的输入象素为对应于3象素核的中心的象素)。

亮度定标与预测

心理物理学数据用于两种目的：1)定标亮度处理部分(即为某些处理参数确定值)，及2)一旦定标以后，确认亮度处理部分的预测值。在所有情况中，将激励作为紧接在亮度处理前面的Y值图象注入感觉量发生器中。

定标

亮度处理部分220能用两组数据重复地定标。一组数据用于调节亮度处理部分中的步骤640、642与650中的预屏蔽常量(w_i，t_e及t_l)。另一组数据用于调节亮度处理部分的步骤660中的屏蔽级常量σ、β、a与c。由于JND值永远是在步骤660后面估算的，用第二组数据对步骤660中的常量的调节要求用第一组数据对步骤640、642与650常量的重新调节。继续这些常量的重新调节直到从一次迭代到下一次迭代观察不到进一步的改变为止。应指出虽然上面的迭代过程通过将未屏蔽的对比度的单位值(步骤640、642与650)解释为视觉输出的一个JND出发，屏蔽过程还是微扰这一解释。下面的小节中描述调节的细节。

对比度正规化常量的调节(步骤640、642及650)

将屏蔽以前感觉量发生器对空间与时间对比度灵敏度的预测与Koenderink及Van Doorn(1979)提出的正弦波的对比度灵敏度数据匹配。为了生成基于感觉量发生器的曲线上的点，提供低幅值正弦波作为对感觉量发生器的测试图象(空间或时间中的)，并估计1JND输出的对比度阈值。在各情况中参照图象隐含地具有与测试场相同的平均亮度的均匀场。

在感觉量发生器的步骤640、642与650中将空间对比度灵敏度对数据的拟合(见图10的最后拟合)用于调节对比度金字塔灵敏度参数w0、w1及w2。图10中的虚线表示构成总灵敏度(实线)的分开的金字塔通道的灵敏度。应指出与图10符合的空间模型不延伸超过15个周期/度，与上面讨论的观察距离限制符合：四个屏蔽高度的观察距离。可执行w0、w1及w2的类似调节以容纳略为不同的观察距离；更大的观察距离可能要求较低的分辨率金字塔级，这些可在低计算费用上容易地体现。

使用时间对比度灵敏度对数据的拟合(见图11的最后拟合)调节时间滤波器抽头参数t_e及t_l以及对比度金字塔灵敏度参数w3。用来拟合这些参数的方法类似于空间对比度定标。将各种时间频率上的Van Doorn与Koenderink的最低空间频率数据与为空间均匀的时间正弦波计算的灵敏度匹配。在各情况中，视觉模型场速率在50与60Hz抽样时间正弦波，而这产生上面指出的不同参数值。

屏蔽常量的调节(步骤660)

屏蔽参数值σ、β、a与c(感觉量发生器的步骤660中)是通过比较屏蔽的对比度分辨的预测与Carlson及Cohen(1978)获得的数据拟合的。图12中示出最后拟合比较的结果。从Carlson-Cohen研究中，选择服从代表性标准并且具有足够数据点的单个观察者的数据。在这一情况中，感觉量发生器激励包含测试与参照场两者中给定的基准对比度的空间正弦波，及附加测试场正弦波的对比度增量。达到1JND所必需的对比度增量是从感觉量发生器中为各对比度基准值确定的，然后标出在图12中。

预测

感觉量发生器定标之后，将感觉量发生器预测与来自并非正弦波的激励的检测与分辨数据进行比较。这是为了检验正弦波结果到更一般的激励的可移植性而进行的。从图13、14与15中可见，预测不能应用在具有10个周期/度以上的标准空间频率的图形上。这些图形在15个周期/度以上的空间频率上己具有可觉察的能量，并己与象素抽样率混淆(每度30个样本，见上面的讨论)。

在第一研究中(图13)，相对于均匀的参照场检测测试场中的低对比度圆盘。实验数据来自Blackwell与Blackwell(1971)。在为这一特定研究运行感觉量发生器时，必须用最大值取代空间Q-norm概括测量。否则JND结果是对圆盘的背景的大小(即对图象大小)敏感的。

在第二研究中(图14)，低幅方格盘的检测，数据是在Sarnoff的未公布的研究中采集的。

第三研究(来自Carlson与Cohen的数据，1980)与前两个有些不同。在参照图象中提供用erf(ax)给出的弄模糊的边，并对照测试图象中用erf(a’x)给出的边试图分辨。这里，x为以视觉度表示的视网膜距离，a＝πf/[ln(2)]^0.5，a’＝π(f+Δf)/[ln(2)]^0.5，而f是以周期/度表示的。这里，Δf为一个JND所需的f的改变。图15中的曲线为Δf/f相对f。

能看出对于在4个屏幕高度视距上的显示的空间频率特征的范围，感觉量发生器预测与数据很好地拟合。

色度定标

如在亮度参数定标中，利用心理物理学数据来定标色度参数(即为最佳模型拟合调节它们的值)。在所有情况中，激励是四个相等的场，它们是紧靠在转换到CIELOV之前作为CIE X、Y与Z中的图象引入感觉量发生器中的。

对比度正规化常量的调节(步骤830)。

将屏蔽前的色度对比度灵敏度的感觉量发生器预测与Mullen(1985)提供的对比度灵敏度数据匹配。所用的测试序列为四个相等的场，各具有作为(X，Y，Z)值引入的水平变化的空间正弦波额定值。用于定标的数据来自Mullen的图6，对应于它，各测试图象为红一绿等照度正弦波。在象素i上，测试图象正弦波具有下式给出的三色值

X(i)＝(Y_o/2){(x_r/y_r+x_g/y_g)+cos(2πfai)Δm(x_r/y_r-x_g/y_g)}

  Y(i)＝Y_o，                                       (31)

Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)Δm(zr/yr-zg/yg)}

这里Δm为阈值增量分辨对比度，(x_r，y_r)＝(.636，.364)为红色干扰滤波器(在602nm上)的色度，(x_g，y_g)＝(.122，.832)为绿色干扰滤波器(在526nm上)的色度，z_r＝1-x_r-y_r，z_g＝1-x_g-y_g，  而a＝.03度/象素。参照图象为用式(28)表示的均匀场但Δm＝0。为了感觉量发生器的目的，设定Y₀＝1己足够。

为了生成基于模型的曲线上的点，在各种f值上提供上述激励，及评估1JND输出的对比度阈值Δm。利用建模的色度对比度灵敏度对数据的拟合(见图16的最后拟合)来调节感觉量发生器中的参数q_i(i＝0，…，6)。

屏蔽常量的调节(步骤840)

将用于色度屏蔽的感觉量发生器预测与Hwitkes等人(1988)提供的数据匹配。使用的测试序列为四个相等的场，各具有作为(X，Y，Z)值引入的水平变化的空间正弦波额定值。为了与该工作(色度的色度屏蔽)的图4对应，在象素I上，测试图象正弦波具有下式给出的三色值

X(i)＝(Y_o/2){(x_r/y_r+x_g/y_g)+cos(2πfai)[(m+Δm)(x_r/y_r-x_g/y_g)]}

   Y(i)＝Y_o                                          (32)

Z(i)＝(Y_o/2){(z_r/y_r+z_g/y_g)+cos(2πfai)[(m+Δm)(z_r/y_r-z_g/y_g)]}

其中Δm为阈值增量分辨对比度，(x_r，y_r)＝(.580，.362)为红色荧光体的色度，(x_g，y_g)＝(.301，.589)为绿色荧光体的色度，z_r＝1-x_r-y_r，z_g＝1-x_g-y_g，及fa＝2c/deg*.03deg/pixel＝.06。参照图象正弦波与测试图象正弦波相同，但Δm＝0。为了感觉量发生器的目的，设定Y₀＝1己足够。

为了生成基于模型的曲线上的点，在屏蔽对比度m的各种值上提供上述激励，及估计1JND输出的对比度阈值Δm。利用建模的色度对比度灵敏度对数据的拟合(见图17的最后拟合)来调节感觉量发生器中的参数σ_c、β_c、a_c、c_c及k。

与额定值数据比较

使用各带有不同程度的畸变的四个图象序列来将本感觉量发生器与DSCQS额定值数据比较。结果描绘在图18中，并揭示感觉量发生器与数据之间的相关性0.9474。对于各该序列，感觉量发生器处理30个场(与用于测试前面发布的四个场不同)。

从曲线上去掉了若干数据点，但在前面的发布中是存在的。为了两个原因删除这些点：(1)删除了对应于所有主题的“热身(warm-up)”测试的五个点。Rec 500荐议应删除序列中的前五个点，因为它们表示主题的判断的稳定化。

(2)对于“Gwen”序列之一，即使在测试与参照之间前景是完全对准时，相对于出现在背景中的树的图象之间的参照序列，测试序列也存在小的移动。分开为测试与参照引入兰色屏幕视频，在这一特定情况中具有时间标准误差。

JND图解释

JND图是以适合于以后的处理确定任何空间或时间窗口内的JND的形式的。如上面指出的，图中的值是以上升到第Q次幂的JND为单位的，而不是以简单的JND为单位的。为了获得视频流的任何时空区的单一JND值，只须求出来自该区中的JND图的值之和，然后取第Q次根即可。

若干实例将澄清这一处理。为了检索各象素的1 JND值(可能是最典型的想要的输出)，取JND图中各象素的第Q次根。

然而，对于典型的MPEG-2编码器分析应用，具有各16×16个象素的宏块而不是各象素的单个JND值可能是有用的。为了获得每一宏块一个JND，首先求和各宏块内的所有JND图输出，然后取第Q次根。其结果将是JND值的宏块分辨率图。

金字塔构造：图象大小及边界要求

如果较大图象尺度N与较小图象尺度M满足下述条件，金字塔法的当前实现不会遇到图象尺度问题。

1)M必须至少128

2)在它追朔到小于64的商以前，M必须是多达P次中每次都能被2除尽的。

3)N也必须是P次被2除尽的。

感觉量发生器将任何不满足之些条件的图象识别为非法的。作为这些规则如何工作的实例，考虑图象尺度N＝720，M＝480。条件(a)满足，因为M＞128。条件(b)满足因为M能被2除3次并在除法3(从而P＝3)上遇到小于64的标准。最后，条件(c)满足，因为N也能被2除3次得出整数。

交错考虑

以下讨论的目的为澄清本感觉量发生器中的场交错(更具体地，行间空间)处理。行间空间是人类观察显示看不见的，但如果它们用黑色值建模，它们的确在感觉量发生器中产生明显的影响。作为感觉量发生器对行的可视性的结果，高频行结构屏蔽了任何空间频率上的垂直图象畸变。此外，当将交错序列与非交错序列比较时，行结构的可视性会是JND赝象的主要原因。

对这一关键问题的解决方法为将显示模型改变成包含在显示本身中发生的空间与时间中的已知平均。这一平均使行间空间较看不见。第一步为定义这些效果的幅度来确定适当的模型。

由于荧光体具有有限的衰减时间，时间平均发生在显示中。因此在来自场N的偶数行的最初发射的时间上永远存在着来自场N-1的奇数行的衰减的残余。然而，与场间间隔(16500微秒)相比，荧光体衰减时间通常是相当短的，例如对于兰色荧光体的70微秒，对于绿色荧光体的100微秒及对于红色荧光体的700微秒。因此，显示模型中的时间平均对行间平滑并无明显影响。

显示中发生空间平均，因为来自一个象素的发射散布超出正常的象素边界。在交错显示中，电子束斑结构是与交错结构联合设计的。结果，将象素散布在垂直方向上设计成更明显，以便填充行间空间并从而使它们较看不见。在高束电流上散布特别明显，这些电流对应于高亮度值并从而对应于图象的最明显部分。因此，从显示的角度，空间平均是用于行间平滑的良好物理模型。

作为替代，可用某些时间平均来实现行间平滑。视觉系统本身呈现为执行足够的时间平均来使行间空间看不见。然而，如从下面讨论中将弄清楚的，当前的感觉量发生器中缺少眼睛移动己使得感觉量发生器偏离本应存在的时间平均表现。

己观察到人类视觉是受到具有两种不同的时空响应级的机制促进的：具有高空间但低时间分辨率的“持续的”，及具有高时间但低空间分辨率的“瞬时的”。

这一感觉量发生器的一种实现采用可分开的空间/时间滤波器来整形两个通道的响应。这一建模选择的直接结果便是在持续通道上的与显示的典型的60Hz时间抽样率相比在时间上相当低通的时间滤波器。甚至瞬时响应对60Hz抽样率也是不敏感的。然而，并未进入持续/瞬时模型的一个因素便是眼睛移动的效果，并且特别是眼睛跟踪图象中移动物体的能力。这一跟踪以忠实于具有受限制的激励的心理物理学实验的感觉量发生器滤波器不能捕捉的方式增进对注意的物体的细节的视觉灵敏度。

图象序列中畸变侧度上的运动效应是可观的。如果眼睛不跟踪图象中的运动物体，从持续的时间响应得出的图象中的模糊将精确地反映在具有一个通道中许多时间平均的感觉量发生器中。然而，眼睛确实跟踪移动物体，因此图象不是运动弄模糊的。没有跟踪运动物体的能力，意在量化时间视觉响应的感觉量发生器应呈现运动模糊。然而，这种模糊阻碍精确的JND图的生成。

为了解决没有跟踪模型的难题，作出了下述折衷，作为在最后的场上而不是在一些场的时间平均上的操作表示空间通道(它由于对空间细节灵敏而扮演“持续的”通道的角色)。作为这一方法的结果，空间通道表现聚焦良好的JND图，这是眼睛跟踪图象序列中注意的物体的运动的情况。

在保持上述折衷的精神中，仍可放松空间通道的“似是而非的存在”性质，因此它在两个场上从而在一帧上求平均值。这一措施会降低交错场中空行的可视性，并且比“似是而非的存在”解决方法在物理学与心理物理学上更合理。然而，在两个场的时间平均中存在一种赝象，这便是本应是平滑的移动边处出现“梳状”。

为了理解为何在具有两个场平均的模型中出现梳状，只要观看在偶数场(称之为场N)与奇数场(称之为场N+1)之间的时间间隔中移动的物体便己足够。假定该物体具有在场之间水平移动5个象素的一条垂直边。还假定该物体边在场N上的偶数行的象素n上。则这边将显示在场N+1的奇数行的象素n+5上。如果在特定场的光栅行之间没有“填充”，则平均场N与场N+1产生不再是垂直的而是在象素n与n+5之间交错的边。这便是“梳状”效应。

为了理解视觉系统为何看不见这一梳状效应，设想该物体令人感兴趣得使眼睛紧跟踪它。这意味着物体是在视网膜上静止的，因为视网膜预见物体到下一场中的运动。如果物体的边是在场N的偶数行的象素N上，它也将在场N+1的奇数行的象素n上，只是因为对物体的眼睛跟踪己几乎完美无缺。

为了避免梳状及其它交错赝象，感觉量发生器可在显示中的各场的行之间执行空间填充。这一垂直平均避免了梳状效应，因为它提供了瞬时空间边的表现(这是任何时间平均所不能的)。并且，垂直平均以与电子束斑结构的已知空间散布相一致的方式解决了交错行结构的可视性的原始问题。

从而己展示及描述了为改进图象保真度及视觉任务应用而估计两个输入图象序列之间的差异的可视性的新颖的方法与装置。然而，熟悉本技术的人员在考虑了本说明书及公开其实施例的附图之后，本主题发明的许多改变、修正、变型及其它用途与应用对他们将是显而易见的。

Claims (10)

1、一种用于评估具有多个输入图象的两个输入图象序列之间的差异的可视性的方法，其中各所述输入图象包含色度分量，所述方法包括下述步骤：

(a)分解所述输入图象的色度分量以产生具有所述色度分量的多个分辨级的金字塔形；

(b)对所述色度分量的所述金字塔形的所述级的至少一个施加时间滤波成色度时间响应；以及

(c)从所述色度时间响应生成图象量。

2、权利要求1的方法，其中各所述输入图象是半高度。

3、权利要求1的方法，其中各所述输入图象还包含亮度分量，其中所述方法还包括下述步骤：

(a’)分解各所述输入图象的亮度分量以产生具有所述亮度分量的多个分辨率级的金字塔形；

(b’)对所述亮度分量的所述金字塔形的所述级的至少一个施加时间滤波成亮度时间响应；以及

其中所述生成步骤(c)从来自所述亮度及所述色度响应的所述时间响应生成图象量。

4、权利要求1的方法，还包括下述步骤：

(a”)在所述分解步骤(a)之前，将输入图象的所述色度分量变换到CIELUV均匀色空间中。

5、权利要求3的方法，还包括下述步骤：

(a”)在所述分解步骤(a)之前，将输入图象的所述亮度分量变换到CIE 1931三色值Y中。

6、权利要求3的方法，其中所述生成步骤(c)包括下述步骤：

(c’)从所述亮度时间响应中生成分开的亮度量；

(c”)从所述色度时间响应中生成分开的色度量；

(c)从所述亮度量与所述色度量中生成所述图象量。

7、权利要求3的方法，其中所述施加步骤(b’)对所述亮度分量的所述金字塔形的最低级施加时间滤波成亮度时间响应；以及

其中所述方法还包括步骤(b”)，对所述亮度分量的所述金字塔形的所述其余的级施加空间滤波成亮度空间响应。

8、权利要求6的方法，其中所述生成步骤(c”)从所述色度时间响应中生成分开的色度量，其中所述色度时间响应是用所述亮度时间响应屏蔽的。

9、一种用于评估具有多个输入图象的两个输入图象序列之间的差异的可视性的装置(112)，其中各所述输入图象包含色度分量，所述装置包括：

用于分解各所述输入图象的色度分量以产生具有所述色度分量的多个分辨率级的金字塔形的金字塔形发生器(410、510)。

耦合在所述金字塔形发生器上、用于对所述色度分量的所述金字塔形的所述级中至少一个进行时间滤波成色度时间响应的时间滤波器(520)；以及

耦合在所述时间滤波器上、用于从所述色度时间响应中生成图象量的图象量发生器(250、550)。

10、一种上面存储有多条指令的计算机可读的介质，该多条指令中包含在处理器执行时使处理器执行下述步骤的指令：

(a)分解各所述输入图象的色度分量以产生具有所述色度分量的多个分辨率级的金字塔形；

(b)对所述色度分量的所述金字塔形的所述级中的至少一个施加时间滤波成色度时间响应；以及

(c)从所述色度时间响应中生成图象量。

Images