CN102754126A - 使用图像的多级分解确定用于图像的质量计量的方法和系统 - Google Patents

Abstract

示出了一种通过利用多级分解确定图像的质量计量的方法和系统。在小波域上进行对图像的多级分解，生成分解的每级的子带。在多个级上进行对子带的聚合，以生成图像质量的精确计量。通过仅聚合选择的子带，大大降低了方法的计算复杂性。

Description

使用图像的多级分解确定用于图像的质量计量的方法和系统

技术领域

本发明涉及评估图像质量，尤其涉及以增强的感知性能确定对图像的质量或度量的改善的计量的方法和系统。

背景技术

在包括图像转码和压缩的各种情境中，评估图像质量是重要的。在异构网络（包括移动终端、蜂窝电话、计算机和其它电子设备）中传播丰富的多媒体内容时，对图像进行转码是关键的，所述多媒体内容包括文本、音频、静止和运动的图像、照片、视频剪辑。可通过测量原始图像（通常称为基准图像）与在图像处理之后获得的图像（通常称为失真图像）之间的相似性而评估图像质量。这样的质量评估可例如用于确定图像处理技术的有效性。

在开发各种图像和视频处理应用（包括多媒体应用）以对终端用户（人类用户）提供可接受的输出中，图像质量评估具有重要的作用。图像质量最佳地通过人类观察员主观评估。然而，主观评估质量是耗时、昂贵的，并且不能用于实时应用。从而，需要定义客观标准，该客观标准可测量未失真的原始图像与失真的图像信号之间的差异。理想地，这样的客观测量应与两个图像信号之间的感知的差异强相关并且可以随着主观质量线性变化。主观图像质量涉及人类观察者如何感知处理的图像以及如何指示他对质量的意见。

通常基于基准图像的可用性对客观方法进行分类。如果基准图像是可用的，则将对质量或质量度量的测量认为是全基准（FR）评估测量。峰值信噪比（PSNR）是最老和最广泛使用的FR评估测量并且具有多个有吸引力的特征。它非常简单，具有清楚的物理含义，无参数，并且在如Z.Wang和A.C.Bovik在Mean squared error:Love it or leave it?A new look atsignal fidelity measures（IEEE Signal Processing Mag.,vol.26,no.1,第98-117页,2009年1月）中描述的各种优化情境中非常好地进行。该测量被如下定义：

$\mathrm{PSNR}(X,Y)=10\·{\log }_{10}\left(\frac{X_{\max }^2}{\mathrm{MSE}(X,Y)}\right)$

$\mathrm{MSE}(X,Y)=\frac{1}{N_P}\·\underset{\mathrm{mm}}{\mathrm{\Σ}}{(X(m,n)-Y(m,n))}^2$

其中，X和Y分别表示基准（原始）和失真的图像，X_max是基准图像X的最大可能像素值（假设最小像素值为零），并且N_P为每个图像中的像素数目。

然而，常规PSNR不能充分反映图像保真度的人类感知，即，大PSNR增益可能获得视觉质量上很小的改善。从而，已经通过研究开发了多个其它质量计量。概括地说，对图像信号的FR评估包括两种方法：自下而上的方法和自上而下的方法，在Z.Wang和A.C.Bovik的“Modern ImageQuality Assessment”（USA:Morgan & Claypool,2006）中对其进行了讨论。

在自下而上的方法中，通过量化错误的可视性最佳地估计对质量的感知测量。为了根据人类视觉系统（HVS）的特征量化错误，在该类型中的技术尝试对由心理和生理实验表征的HVS的不同阶段的功能特性进行建模。如Z.Wang和A.C.Bovik在“Modern Image Quality Assessment”（USA:Morgan & Claypool,2006and）中和A.C.Bovik在“The EssentialGuide to Image Processing”（USA:Academic Press,2009,ch.21）中所述，这通常在预处理、频率分析、对比度敏感性分析、亮度掩蔽、对比度掩蔽以及错误集中的若干阶段中完成。大部分基于HVS的质量评估技术使用多信道模型，其假设通过独立的信道处理空间频率的每个带。利用S.Daly在“The visible difference predictor:An algorithm for the assessment ofimage fidelity”（Proc.SPIE,vol.1616,1992年2月，第2-15页）中讨论的可见差异预测（VDP）模型，利用Watson的Cortex变换的变型将图像分解为五个空间级别以及六个取向级别。然后，从信道中的对比度计算阈值地图。在“A visual discrimination mode for image system design andevaluation”（Visual Models for Target Detection and Recognition,新加坡:World Scientific,1995年,第207–220页）中示出的Lubin的模型（也称为Sarnoff视觉分辨模型（VDM））中，在低通滤波和再采样之后将图像分解为七个解析度。P.C Teo和D.J.Heeger使用可控棱锥变换将图像分解为若干个空间频率级别，其中将每个级别进一步分为一组（六个）取向带。他们的方法在D.M.Chandler的“Perceptual Image distortion”（Proc.IEEE.Int.Conf.Image Processing,vol.2，1994年11月，第982-986页，VSNR）中进行了描述，而S.S.Hemami的“A wavelet-based visualsignal-to-noise ratio for natural images”（IEEE Transactions on ImageProcessing,vol.16,no.9,第2284-2298页,2007年9月）是在图像预处理利用分离小波变换和9/7双正交滤波器将基准图像和在基准和失真的图像之间的错误都分解为五个级别之后的另一个高级的基于HVS的度量。然后，其计算对比度检测阈值，以对于通过小波分解生成的每个子带评估检测失真的能力。其它已知的基于自下而上的方法的方法使用傅立叶变换而不是多解析度分解，包括：由N.Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik在“Image quality assessment based on adegradation model”（IEEE Transactions on Image Processing,vol.9,no.4,第636-650页,2000年4月）中讨论的加权信噪比（WSNR）、以及由M.Miyahara、K.Kotani和V.R.Algazi在“Objective Picture Quality Scale(PQS)for image coding”（IEEE Transactions on Communication,vol.46,no.9,第1215–1225页,1998年9月）中描述的图像质量分级（PQS）。基于自下而上的方法的方法具有若干个重要限制，Z.Wang和A.C.Bovik在“Modern Image Quality Assessment”（USA:Morgan & Claypool,2006）中以及Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image qualityassessment:From error visibility to structural similarity”（IEEETransactions on Image Processing,vol.13,no.4,第600–612页,2004年4月）对其进行了讨论。而且，基于错误的技术，诸如WSNR、噪声质量计量（NQM）（由N.Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik在“Image quality assessment based on a degradationmodel”（IEEE Transactions on Image Processing,vol.9,no.4,第636-650页,2000年4月）中描述）、以及VSNR(由D.M.Chandler和S.S.Hemami在“VSNR:A wavelet-based visual signal-to-noise ratio for natural images”（IEEE Transactions on Image Processing,vol.16,no.9,第2284-2298页,2007年9月）中描述），不是那么易于使用，因为它们需要复杂的过程以计算人类视觉系统（HVS）参数。

利用基于自上而下的方法的技术，将HVS的总体功能看作为黑盒，并将输入/输出关系作为关注焦点。从而，根据自上而下的方法的技术不需要任何来自HVS的校准参数或观察配置。在该类型中的两种主要策略使用结构方法和信息理论方法。

使用结构方法的最重要的方法为Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image quality assessment:from error visibility to structuralsimilarity”（IEEE Transactions on Image Processing,vol.13,no.4,第600–612页,2004年4月）中描述的结构相似性（SSIM）指数。如H.R.Sheikh、M.F.Sabir和A.C.Bovik在“A statistical evaluation of recent fullreference image quality assessment algorithms”（IEEE Transactions onImage Processing,vol.15,no.11,第3440–3451页,2006年11月）中所讨论的，相比于其它质量计量，SSIM以可接受的计算复杂度提供了精确的分数。SSIM在近年已经获得大量的关注，并且被考虑用于大范围的应用。如Z.Wang,A.Bovik、H.Sheikh和E.Simoncelli在“Image qualityassessment:from error visibility to structural similarity”（IEEETransactions on Image Processing,vol.13,no.4,第600–612页,2004年4月）中所述，在SSIM方法中的主要构思是，HVS高度适于从可视场景中提取信息，因此，对结构相似性（或失真）的测量应提供对感知的图像质量的好的近似。一些方法尝试改善SSIM指数。由Z.Wang、E.P.Simoncelli和A.C.Bovik在“Multi-scale structural similarity for imagequality assessment”（Proc.IEEE Asilomar Conf.Signals,Systems,Computers,vol.2,2003年11月,第1398-1402页）中讨论的多级SSIM尝试通过应用连续低通滤波和下采样而引入处于五个不同解析度的图像细节以增加SSIM评估精度。在D.M.Rouse的“Understanding and simplifyingthe structural similarity metric”（Proc.IEEE International Conference onImage Processing,San Diego,2008年10月,第1188-1191页），和S.S.Hemami的“Discrete wavelet transform-based structural similarity forimage quality assessment”（Proc.IEEE International Conference on ImageProcessing,San Diego,2008年10月,第377-380页）中，提出利用不同级别的子带在分离小波域对其进行计算。将利用Daubechies 9/7小波的五级分解应用到原始图像和失真的图像，然后计算对应的子带之间的SSIM。最后，通过计算全部SSIM的加权平均获得相似性测量。为了确定权重，已经进行大量的实验以测量人眼对不同频带的敏感度。Z.Wang和E.P.Simoncelli在“Translation insensitive image similarity in complex waveletdomain”（Proc.IEEE International Conference on Acoustics,Speech,Signal Processing,vol.2,2005年3月,第573-576页）中、以及M.P.Sampat、Z.Wang、S.Gupta、A.C.Bovik和M.K.Markey在“Complexwavelet structural similarity:A new image similarity index”（IEEETransactions on Image Processing,vol.18,no.11,第2385–2401页,2009年11月）中讨论了复杂小波结构相似性（CW-SSIM）（其受益于6级、16方向可控的棱锥分解特征的复合模式），并提出能抵抗小的几何失真的措施。

利用信息理论方法，视觉质量评估被视作信息保真度问题。H.R.Sheikh、A.C.Bovik和G.de Veciana在“An information fidelity criterionfor image quality assessment using natural scene statistics”（IEEETransactions on Image Processing,vol.14,no.12,第2117–2128页,2005年12月）中提出基于自然场景统计的用于图像质量计量的信息保真度标准（IFC）。在IFC中，通过使用高斯尺度混合（GSM）对图像源建模，而将图像失真处理建模为易出错的通信信道。通过使用作为信息失真度的统计测量的交互信息，量化在正在比较的图像之间共享的信息。另一信息理论质量度量为H.R.Sheikh和A.C.Bovik在“Image information and visualquality”（IEEE Transactions on Image Processing,vol.15,no.2,第430–444页,2006年2月）中讨论的“视觉信息保真度（VIF）指数”。对VIF指数的计算遵循与IFC相同的过程，不同的是，在确定VIF指数中，将图像失真处理和视觉感知处理都建模为易出错的通信信道。对于VIF测量，以加性高斯白噪声建模HVS失真信道。根据H.R.Sheikh、M.F.Sabir和A.C.Bovik在“A statistical evaluation of recent full reference imagequality assessment algorithms”（IEEE Transactions on Image Processing,vol.15,no.11,第3440–3451页,2006年11月）中示出的突出图像质量评估算法的性能评估，VIF指数是最精确的图像质量测量。

回顾已有的文献揭示了现有技术方法的多个缺陷。这些现有技术方法的局限包括下述内容。

首先，用于精确确定质量计量的现有评估技术的计算复杂性非常高。如果使用用于确定质量（质量度量）测量的精确低复杂度技术，则可以更有效地使用一些图像/视频处理应用，例如如S.L.P.Yasakethu、W.A.C.Fernando、S.Adedoyin和A.Kondoz在名为“A rate control technique foroff line H.264/AVC video coding using subjective quality of video”（IEEETransactions on Consumer Electronics,vol.54,no.3,第1465-1472页,2008年8月）的文献中描述的对于视频编码中的每个帧识别最佳量化参数。

第二，现有技术方法使用的自下而上的方法需要相关的技术应用多解析度（resolution）变换、将输入图像分解为大量的解析度（五个或多个）。然而，HVS是不被完全所知的复杂的系统，将不同带合并到最终的度量中是困难的。在相似的自上而下的方法中，诸如Z.Wang、E.P.Simoncelli和A.C.Bovik在“Multi-scale structural similarity for image qualityassessment”（Proc.IEEE Asilomar Conf.Signals,Systems,Computers,vol.2,2003年11月,第1398-1402页）以及较早引用的C.-L.Yang、W.-R.Gao和较早应用的L.-M.Po在“Discrete wavelet transform-based structuralsimilarity for image quality assessment”（Proc.IEEE Int.Conf.ImageProcessing,San Diego,2008年10月,第377-380页）中讨论的多尺度（scale）和多级别SSIM，确定HVS对于不同的尺度或子带的敏感度需要多次实验。而且，如果改变小波或滤波器，计算的权重和参数不再是最优的甚至可能是无效的。

第三，诸如SSIM的自上而下的方法收集方形滑动窗中的局部统计值，从而不能总是那么精确。

第四，如在上段中引用的C.-L.Yang、W.-R.Gao和L.-M.Po在“Discrete wavelet transform-based structural similarity for image qualityassessment”（Proc.IEEE Int.Conf.Image Processing,San Diego,2008年10月,第377-380页）中讨论的，多个分解级别将使得具有主图像内容的近似子带的尺寸非常小，并且其将不再能够有助于对图像统计值的有效提取。

第五，前述SSIM方法使用SSIM质量映像（map）的平均值来确定图像质量的计量（或总体图像质量分数）。然而，在各个图像区域中的失真对HVS具有不同的影响。

从而，还需要开发对图像质量的改善测量，其能够避免或消除现有技术的缺陷。

发明内容

从而，本发明的一个目的为提供消除现有技术缺陷的用于确定对图像质量计量的改善的方法和系统。

根据本发明的一方面，提供一种用于确定对失真图像Y的质量的计量的方法，该计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该方法包括：

（a）对图像X应用N级多解析度（multiresolution）分解（decomposition），包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似度的近似质量计量；

（d）对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像（map）；

（d）对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。

在上述方法中：

步骤（d）还包括：

基于在确定质量计量中将要实现的精度，选择图像X的在每级i（i的范围为1至N-1）的中间子带和细节子带；

仅聚合图像X的选择的中间子带和选择的细节子带；以及

步骤（e）还包括：

基于在确定质量计量中将要实现的精度，选择图像Y的在所述每级i的中间子带和细节子带；

仅聚合图像Y的选择的中间子带和选择的细节子带。

在上述方法中：

选择图像X的中间子带和细节子带的步骤还包括选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带；以及

选择图像Y的中间子带和细节子带的步骤还包括选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带。

图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

上述方法还包括下述中的一个或多个：

在步骤（a）：

对于级1，对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解；以及

在步骤（b）：

对于级1，对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解。

在本发明一个实施例中，近似质量计量是近似质量映像，边缘质量计量是边缘质量映像，所述步骤（g）还包括：

生成对比度映像，包括，根据其对于人类视觉系统的相应的重要性，为图像X和图像Y的近似子带和边缘映像的像素分配对应值；

使用对比度映像对近似质量映像进行加权集合（pool）,以生成近似质量分数；

使用对比度映像对边缘质量映像进行加权集合,以生成边缘质量分数；以及

合并来自步骤（b18）的近似相似性分数与边缘相似性分数，以确定质量计量。

所述方法还包括根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

在上述方法中：

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用结构相似性（SSIM）IQM，以生成近似SSIM映像，SSIM_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用SSIMIQM，以生成边缘SSIM映像，SSIM_E；以及

步骤（g）包括处理所述SSIM_A和所述SSIM_E以确定SSIM_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用绝对差（AD）IQM，以生成近似AD映像，AD_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用ADIQM，以生成边缘AD映像，AD_E；以及

步骤（g）包括处理所述AD_A和所述AD_E以确定AD_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用峰值信号-噪声比（PSNR）IQM，以生成PSNR近似质量分数，PSNR_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数，PSNR_E；以及

步骤（g）包括处理所述PSNR_A和所述PSNR_E以确定PSNR_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用视觉信息保真度（VIF）IQM，以生成VIF近似质量分数，VIF_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用VIFIQM，以生成VIF边缘质量分数，VIF_E；以及

步骤（g）包括处理所述VIF_A和所述VIF_E以确定VIF_DWT分数作为质量计量。

在上述方法中，步骤（a）和（b）包括应用N级分离小波变换。方便地，分离小波变换是Haar变换。可选地，分离小波变换是Newland变换、或使用Daubechies滤波器的小波变换之一。

根据本发明的另一方面，提供一种用于确定对失真图像Y的质量的计量的系统，该计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该系统包括：

处理器，以及计算机可读存储介质，其具有存储在其上的计算机可读指令，所述指令当由所述处理器执行时形成以下单元：

（a）第一分解单元，其对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）第二分解单元，其对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）近似质量计量单元，其对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d）第一聚合单元，其对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；

（e）第二聚合单元，其对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f）边缘质量计量单元，其在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）质量计量单元，其处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。

在上述系统中：

所述第一聚合单元还包括：

第一选择单元，其基于在确定质量计量中将要获得的精度，选择图像X的在每级i（i的范围为1至N-1）的中间子带和细节子带；以及第一选择性聚合单元，其仅聚合图像X的选择的中间子带和选择的细节子带；以及

所述第二聚合单元还包括：

第二选择单元，其基于在确定质量计量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；

第二选择性聚合单元，其仅聚合图像Y的选择的中间子带和选择的细节子带。

在上述系统中：

所述第一聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带；以及

所述第二聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带。

在上述系统中，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

上述系统还包括下述中的一个或多个：

在所述第一分解单元：

第一级1分解单元，其对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；

第一级i分解单元，其对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N；在所述第二分解单元：

第二级1分解单元，其对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；

第二级i分解单元，其对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N。

所述系统还包括这样的计算装置，用于根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

在上述系统中，所述第一分解单元（a）和所述第二分解单元（b）包括用于应用N级分离小波变换的计算装置，所述分离小波变换可选地为Haar变换、Newland变换或利用Daubechies滤波器的小波变换。

根据本发明另一方面，提供了一种计算机可读存储介质，其上存储有计算机可读程序代码指令，所述指令当由处理器执行时进行以下步骤：

（a）对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d）对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；

（e）对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。

从而，提供了使用图像的多级分解来确定图像的质量计量的改善方法和系统。

附图说明

通过下面参考附图的示例性的对实施例的描述，本发明的其它特征和优点将变得显而易见，其中：

图1（a）示出本发明实施例的系统100；

图1（b）更详细地示出图1（a）的级数单元102；

图1（c）更详细地示出图1（a）的第一分解单元103；

图1（d）更详细地示出图1（a）的第二分解单元104；

图1（e）更详细地示出图1（a）的第一聚合单元113；

图1（f）更详细地示出图1（a）的第二聚合单元114；

图1（g）更详细地示出基于SSIM IQM的用于可选实施例的图1（a）的近似质量计量单元105、质量计量单元108和边缘质量计量单元109；

图1（h）更详细地示出基于AD IQM的用于可选实施例的图1（a）的近似质量计量单元105、质量计量单元108和边缘质量计量单元109；

图1（i）更详细地示出基于PSNR IQM的用于可选实施例的图1（a）的近似质量计量单元105、质量计量单元108和边缘质量计量单元109；

图1（j）更详细地示出基于VIF IQM的用于可选实施例的图1（a）的近似质量计量单元105、质量计量单元108和边缘质量计量单元109；

图1（k）示出本发明可选实施例的系统100a；

图1（l）更详细地示出图1（k）的第一聚合单元113a；

图1（m）更详细地示出图1（k）的第二聚合单元114a；

图1（n）更详细地示出用于可选实施例的图1（l）的第一选择性聚合单元171；

图1（o）更详细地示出用于可选实施例的图1（m）的第二选择性聚合单元183；

图1（p）更详细地示出图1（n）的第一合并单元197；

图1（q）更详细地示出图1（o）的第一合并单元206；

图1（r）更详细地示出图1（k）的第一分解单元103a；

图1（s）更详细地示出图1（k）的第二分解单元104a；

图2（a）示出对本发明实施例使用的用于计算质量计量的方法进行高级描述的框图；

图2（b）为示出在用于计算质量计量的系统100的总框架中使用的方法的步骤的流程图；

图3（a1）示出示例二级分解图像的图像X的子带；

图3（a2）示出示例三级分解图像的图像X的子带；

图3（b）示出示例原始图像；

图3（c）示出为了便于观察通过使用在[0,255]之间缩放的采样值计算的用于图3（b）的图像的对比度映像；

图3（d）为示出进行逐级聚合的方法的步骤的流程图；

图3（e）为示出进行跨层聚合的方法的步骤的流程图；

图4为示出使用基于SSIM的质量计量计算的可选实施例所使用的方法的步骤的流程图；

图5（a）显示用于各个分解级的DMOS和SSIM_A预测值之间的LCC和SRCC；

图5（b）显示在用于各个β值的DMOS和SSIM_DWT预测值之间的RMSE；

图6（a）示出基于VIF指数的现有技术方法的框图；

图6（b）为示出使用基于VIF的质量计量计算的可选实施例所使用的方法的步骤的流程图；

图7（a）显示用于各个分解级的DMOS和VIF_A预测值之间的LCC和SRCC；

图7（b）显示在用于各个β值的DMOS和VIF_DWT预测值之间的RMSE；

图8为示出使用基于PSNR的质量计量计算的可选实施例所使用的方法的步骤的流程图；

图9（a）显示用于各个分解级的DMOS和PSNR_A质量预测值之间的LCC和SRCC；

图9（b）显示在用于各个β值的DMOS和PSNR_DWT预测值之间的RMSE；

图9（c）显示一表格，其示出用于LIVE图像数据库中的不同类型的图像失真的PSNR_A值的SRCC；

图10为示出使用基于AD的质量计量计算的可选实施例所使用的方法的步骤的流程图；

图11显示用于各个分解级的DMOS和平均ADA预测值之间的LCC和SRCC；

图12示出不同的度量和LIVE数据库的DMOS值之间的LCC；

图13示出不同的度量和LIVE数据库的DMOS值之间的RMSE；以及

图14示出不同的度量和LIVE数据库的DMOS值之间的SRCC。

具体实施方式

术语：

对比度映像：加权函数，用于基于图像或子图像的视觉重要性对图像或子图像的不同区域自动分配权重。

差分平均意见分数（DMOS）：DMOS值指示失真图像相比于其基准图像的主观质量损失。

分离小波变换：对图像应用的变换，以将其低频率分量与其高频率分量分离。

边缘映像：表征对图像的边缘的估计。

高斯滑动窗：具有单位和与高斯概率分布的一组系数。

线性相关系数（LCC）：线性或Pearson相关系数是两个量之间的依赖关系的计量。其通过以两个变量的协方差除以它们的标准偏差的乘积而获得。在提出的方法中，LCC指示预测精度。

多解析度分解：应用在数字图像并生成多个子图像的方法（或变换）。一个子图像表示原始图像的低频主体内容，其它子图像示出原始图像的细节。

Spearman秩相关系数（SRCC）：SRCC是对两个变量之间的统计依赖关系的计量。其示出使用单调函数可以多好地描述两个变量之间的关系。＋1的SRCC表示每个变量是另一个的完全单调函数。

子带：在对图像的N级多解析度分解期间生成各种子带。示出了对图像X的这些子带的描述和用于表示所述子带的术语。需要注意的是，在该部分中使用的X和指数变量L仅是示例的并且在该申请的讨论中由其它变量名称替换。

将在N级多解析度分解末尾生成的子带称为下面的近似子带和细节子带。

近似子带：在N级分解之后获得的图像X的子带，由表示。该近似子带包括图像的主体内容。

细节子带：在N级分解之后获得的图像X的子带，包括水平子带、垂直子带和对角子带。这些分别表示为：

细节子带包含图像的边缘。水平子带包含水平边缘，垂直子带包含垂直边缘，对角子带包含图像的对角边缘。

中间子带：在对图像X的分解的每级L（L=1至N-1）生成，包括级L小波包（WP）子带和级L细节子带。其在下面得到描述。

级L-WP子带：包括级L-WP近似子带和级L-WP细节子带。

级L-WP近似子带：包括级L-水平WP近似子带、级L-垂直WP近似子带和级L-对角WP近似子带。这些分别表示为：

$X_{H_L,A_{N-L}}(m,n),X_{V_L,A_{H-L}}(m,n),X_{D_L,A_{H-L}}(m,n).$

级L-WP细节子带：包括级L-WP水平子带、级L-WP垂直子带和级L-WP对角子带。这些分别表示为：

$X_{H_L,H_{N-L}}(m,n),X_{V_L,V_{N-L}}(m,n),X_{D_L,D_{N-L}}(m,n).$

级L细节子带：包括级L水平子带、级L垂直子带和级L对角子带。这些分别表示为：

$X_{H_L}(m,n),X_{V_L}(m,n),X_{D_L}(m,n).$

本发明实施例示出了用于确定图像的质量计量的新颖总架构，其相比于分离小波域中的现有技术更加精确且具有较少的计算复杂性。通过本发明的不同实施例确定每个基于特定图像质量度量（IQM）的各种质量计量。提出的架构包括如下所述的自上而下的方法和自下而上的方法，并且可应用于IQM，所述IQM包括结构相似性（SSIM）指数、绝对差（AD）、峰值信号-噪声比（PSNR）以及视觉信息保真度（VIF）。

下面描述本发明的实施例的系统。图1（a）和图1（k）示出两个实施例。这些实施例每个包括多个单元，也会对这些单元进行描述。图1（a）和图1（k）所示的本发明实施例的系统包括通用或专用计算机，所述计算机具有CPU和计算机可读存储介质，所述计算机可读存储介质例如为存储器、DVD、CD-ROM、软盘、闪存、磁带或其它存储介质，并且其上存储有由CPU执行的计算机可读指令。可选地，图1（a）和图1（k）的系统可以在固件、或固件与具有计算机可读存储介质的专用计算机的组合中实现。

首先描述图1（a）所示的实施例。首先讨论由实施例提供的总架构，然后讨论各种其它实施例，其每个使用该利用特定IQM的架构。

用于确定图像的质量计量的系统100包括：级数单元102、第一分解单元103、第二分解单元104、近似质量计量单元105、第一细节子带单元106、第二细节子带单元107、质量计量单元108以及边缘质量计量单元109。级数单元102确定将应用到基准图像X和失真图像Y的分解的级数N。根据近似子带的最小尺寸S确定分解的级数N，其生成对于人类视觉系统的基本峰值的响应。然后通过第一分解单元103和第二分解单元104读取N的值，所述第一分解单元103和第二分解单元104分别对图像X和图像Y应用N级DWT，以进行对图像X和图像Y的N级分解。

对于每个图像，N级分解生成用于在级i＋1处理的在每级i（i＝1至N-1）的中间子带和在级N的细节子带。在通过第一分解单元103和第二分解单元104进行的多解析度分解之后生成的近似子带被馈送到近似质量计量单元105。在通过第一分解单元103和第二分解单元104进行的多解析度分解之后生成的细节子带被用作第一细节子带单元106和第二细节子带单元107的输入，所述第一细节子带单元106和第二细节子带单元107分别生成用于图像X和图像Y的边缘映像。这些单元的输出被连接到边缘质量计量单元109，所述边缘质量计量单元109处理所述边缘映像并生成由质量计量单元108使用的输出，所述质量计量单元108用于确定质量计量。

级数单元102又包括用于确定级数的计算装置110。第一分解单元103和第二分解单元104包括用于应用N级DWT的计算装置（分别为111和112）。第一细节子带单元106包括第一聚合单元113，第二细节子带单元107包括第二聚合单元114。质量计量单元108包括第一集合单元115、第二集合单元118、对比度映像单元116以及分数合并单元117。第一集合单元115和第二集合单元118使用通过对比度映像单元116生成的对比度映像，以对由近似质量计量单元105生成的近似质量映像和通过边缘质量计量单元109生成的边缘映像进行加权集合。第一集合单元115和第二集合单元118的输出被分数合并单元117使用，以生成质量计量。

图1（b）示出用于本发明另一个实施例的级数单元102的结构。其包括：最小尺寸单元120，用于确定其上显示图像的装置的观察距离和高度之间的比值；以及计算单元121，用于使用该比值并确定N的值。在可选实施例中，第一分解单元103包括（参考图1（c））第一级1分解单元124和第一级j分解单元125，以及第一子带选择单元126，其基于精度确定选择的中间子带。第一子带选择单元126用于确定将由第一级1分解单元124和第一级j分解单元125使用的中间子带。第一子带选择单元126还包括第一子带选择子单元127，其基于获得精度所要求的中间子带的数目确定选择的中间子带。如在本申请的后面部分中讨论的，使用另一个选择方法以选择在子带聚合期间将使用通过N级多解析度分解生成的子带中的哪些子带。第一级1分解单元124的输出被馈送到第一级j分解单元125的输入端，所述第一级1分解单元124对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带，所述第一级j分解单元125仅对通过在级j-1（j的范围为2至N）进行的多解析度分解生成的选择的中间子带应用多解析度分解。类似地，所述第二分解单元104还包括（参考图1（d））第二级1分解单元130和第二级j分解单元131，以及第二子带选择单元132，其基于精度确定选择的中间子带。所述第二子带选择单元132用于确定第二级j分解单元131的中间子带。第二子带选择单元132还包括第二子带选择子单元133，其基于获得精度所要求的中间子带的数目确定选择的中间子带。第二级1分解单元130的输出被馈送到第二级j分解单元131的输入端，所述第二级1分解单元130对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带，所述第二级j分解单元131仅对通过在级j-1（j的范围为2至N）进行的多解析度分解生成的选择的中间子带应用多解析度分解。

图1（e）示出第一聚合单元113的部件。第一聚合单元113包括第一细节子带聚合单元135、第一级j聚合单元136以及计算装置134，所述计算装置用于选定具有基本相同的解析度的图像X的在每级j的选择的中间子带和选择的细节子带。第一级j聚合单元136根据在所述每级j（j＝1至N-1）生成的选择的中间子带的平方确定用于图像X的每级j的边缘映像。需要注意，仅选定在级j生成的一些中间子带，例如具有基本相同的解析度的子带，来进行聚合，而导向级j的边缘映像。通过第一细节子带聚合单元135处理第一级j聚合单元136的输出，所述第一细节子带聚合单元135将在级N生成的图像X的一个或多个选择的细节子带与在每个级j生成的一个或多个选择的中间子带进行聚合。用于选定具有基本相同的解析度的图像X的在每级j的选择的中间子带和选择的细节子带的计算装置134由第一细节子带单元135和第一级j聚合单元136使用，用于选择具有基本相同的解析度的图像X的在每个级j的中间子带和细节子带以进行聚合。需要注意，j仅仅是指数变量，并且可采用在1和N-1之间的任何整数值。第一细节子带单元135还包括第一级N聚合单元137和第一边缘映像单元138。第一级N聚合单元137根据在级N生成的图像X的选择的细节子带的平方来确定图像X在级N的边缘映像，而第一边缘映像单元138确定图像X的边缘映像作为级j的边缘映像与从第一级N聚合单元137接收的级N的边缘映像的加权和。

图1（f）示出第二聚合单元114的部件。第二聚合单元114包括第二细节子带聚合单元140、第二级j聚合单元141以及计算装置139，所述计算装置用于选定具有基本相同的解析度的图像Y的在每级j的选择的中间子带和选择的细节子带。第二级j聚合单元141根据在所述每级j（j＝1至N-1）生成的选择的中间子带的平方确定用于图像Y的每级j的边缘映像。通过第二细节子带聚合单元140处理第二级j聚合单元141的输出，所述第二细节子带聚合单元140将在级N生成的图像Y的一个或多个选择的细节子带与在每个级j生成的一个或多个选择的中间子带进行聚合。用于选定具有基本相同的解析度的图像Y的在每级j的选择的中间子带和选择的细节子带的计算装置139由第二细节子带单元140和第二级j聚合单元141使用，用于选择具有基本相同的解析度的图像Y的在每个级j的中间子带和细节子带，以进行聚合。同样，需要注意，j仅仅是指数变量，并且可采用在1和N-1之间的任何整数值。第二细节子带单元140还包括第二级N聚合单元142和第二边缘映像单元143。第二级N聚合单元142根据在级N生成的图像Y的选择的细节子带的平方确定图像Y的在级N的边缘映像，而第二边缘映像单元143确定图像Y的边缘映像作为级j的边缘映像与从第二级N聚合单元142接收的级N的边缘映像的加权和。

在可选实施例中使用由系统100提供的总架构，所述可选实施例每个使用特定IQM以确定质量计量。图1（g）示出基于SSIM IQM的实施例的系统。在该实施例中，近似质量计量单元105包括近似SSIM单元145，质量计量单元108包括SSIM_DWT分数单元146，边缘质量计量单元109包括边缘SSIM映像单元147。近似SSIM映像单元145对图像X的近似子带和图像Y的近似子带应用SSIM IQM以生成近似SSIM映像，而边缘SSIM映像单元147在图像X的边缘映像与图像Y的边缘映像之间应用SSIM IQM，以生成边缘SSIM映像。通过SSIM_DWT分数单元146处理近似SSIM映像单元145和边缘SSIM映像单元147的输出，以确定SSIM_DWT分数作为质量计量。

图1（h）示出基于AQ IQM的实施例的系统。在该实施例中，近似质量计量单元105包括近似AD映像单元150，质量计量单元108包括AD_DWT分数单元151，边缘质量计量单元109包括边缘AD映像单元152。近似AD映像单元150对图像X的近似子带和图像Y的近似子带应用AD IQM以生成近似AD映像，而边缘AD映像单元152在图像X的边缘映像与图像Y的边缘映像之间应用AD IQM，以生成边缘AD映像。通过AD_DWT分数单元151处理近似AD映像单元150和边缘AD映像单元152的输出，以确定AD_DWT分数作为质量计量。

图1（i）示出基于PSNR IQM的实施例的系统。在该实施例中，近似质量计量单元105包括PSNR近似质量分数单元155，质量计量单元108包括PSNR_DWT分数单元156，边缘质量计量单元109包括PSNR边缘质量分数确定单元157。PSNR近似质量分数单元155对图像X的近似子带和图像Y的近似子带应用PSNR IQM以生成PSNR近似质量分数，而边缘PSNR边缘质量分数确定单元157在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数。通过PSNR_DWT分数单元156处理PSNR近似质量分数单元155和PSNR边缘质量分数确定单元157的输出，以确定PSNR_DWT分数作为质量计量。

图1（j）示出基于VIF IQM的实施例的系统。在该实施例中，近似质量计量单元105包括VIF近似质量分数单元160，质量计量单元108包括VIF_DWT分数单元161，边缘质量计量单元109包括VIF边缘质量分数确定单元162。VIF近似质量分数单元160对图像X的近似子带和图像Y的近似子带应用VIF IQM以生成VIF近似质量分数，而VIF边缘质量分数确定单元162在图像X的边缘映像与图像Y的边缘映像之间应用VIF IQM，以生成VIF边缘质量分数。通过VIF_DWT分数单元161处理VIF近似质量分数单元160和VIF边缘质量分数确定单元162的输出，以确定VIF_DWT分数作为质量计量。

包括单元和子单元100、102、103、104、105、106、107、108、109、113、114、115、116、117、118、120、121、124、125、126、127、130、131、132、133、135、136、137、138、140、141、142、143、145、146、147、150、151、152、155、156、157、160、161和162的系统100的全部部件包括固件或可选的存储在计算机可读存储介质以由处理器执行的计算机可读指令。包括110、111、112、134和139的全部计算装置包括将由CPU执行的计算机可读代码，所述计算机可读代码执行存储在计算机可读存储介质上的方法、过程、函数或子程序。

下面讨论在图1（k）中示出的总架构的可选实施例。用于确定图像的质量计量的系统100包括：用于确定N的计算装置110a、第一分解单元103a、第二分解单元104a、近似质量计量单元105a、第一聚合单元113a、第二聚合单元114a、质量计量单元108a以及边缘质量计量单元109a。单元103a、104a、105a、108a、109a、115a、116a、117a和118a与系统100的单元103、104、105、108、109、115、116、117和118相同，不再进行描述。计算装置110a、111a、112a、134a和139a与前述系统100的计算装置110、111、112、134和139相同。

如图1（l）所示，处理图像X的第一聚合单元113a包括第一选择单元170，所述第一选择单元170的输出端被连接到所述第一选择性聚合单元171的输入端。第一选择单元170基于在确定质量计量中将要获得的精度，选择图像X的在每级i（i的范围为1至N-1）的中间子带和细节子带。第一选择性聚合单元171仅聚合图像X的选择的中间子带和选择的细节子带。所述第一聚合单元113a还包括计算装置134a，用于选定具有基本相同的解析度的图像X的选择的每级j的中间子带和选择的细节子带。计算装置134a与前述计算装置134类似，用于选择具有基本相同的解析度的中间子带和细节子带以进行聚合。第一选择单元170还包括第一选择子单元172，其基于获得精度所需的中间子带和细节子带的数目选择图像X的在每级i的中间子带和细节子带。在另一个可选实施例中，第一选择单元包括第一小波包（WP）细节选择子单元176，其选择图像X的一个或多个级i-WP近似子带和一个或多个细节子带。第一WP细节子带选择子单元176还包括第一细节选择模块179，用于在选择中包括图像X的一个或多个级i细节子带。

第一级i中间子带聚合单元173包括第一级i计算单元177，用于对每级i（i=1至N-1）的图像X的每个选择的中间子带求平方；将进行求平方的结果与用于图像X的所述每个选择的中间子带的预定权重相乘；对在步骤中进行乘法获得的乘积求和；以及对进行的求和的结果应用平方根函数,生成图像X的级i的边缘映像。第一细节子带计算单元180包括第一细节子带计算单元，用于对图像X的每个所述选择的细节子带求平方；将步骤中进行的求平方的结果与用于图像X的所述每个选择的中间子带的预定权重相乘；对步骤中进行的乘法获得的乘积求和；以及对步骤中进行的求和的结果应用平方根函数，生成图像X的级N的边缘映像。第一边缘映像计算单元175包括第一计算单元178，用于将图像X的每级i的边缘映像与级i的预定权重相乘；将图像X的级N的边缘映像与级N的预定权重相乘；以及对从所述乘法获得的乘积求和。

如图1（m）所示，处理图像Y的第二聚合单元114a包括第二选择单元182，所述第二选择单元182的输出端被连接到第二选择性聚合单元183的输入端。第二选择单元182基于在确定质量计量中将要获得的精度，选择图像Y的在每级i（i的范围为1至N-1）的中间子带和细节子带。第二选择性聚合单元183仅聚合图像Y的选择的中间子带和选择的细节子带。所述第二聚合单元114a还包括计算装置139a，用于选定具有基本相同的解析度的图像Y的选择的每级j的中间子带和选择的细节子带。计算装置139a与前述计算装置139类似，用于选择具有基本相同解析度的中间子带和细节子带，以进行聚合。第二选择单元182还包括第二选择子单元184，其基于获得精度所需的中间子带和细节子带的数目选择图像Y的在每级i的中间子带和细节子带。在另一个可选实施例中，第二选择单元182包括第二WP细节选择子单元188，其选择图像Y的一个或多个级i-WP近似子带和一个或多个细节子带。第二WP细节子带选择子单元188还包括第二细节选择模块191，用于在选择中包括图像Y的一个或多个级i细节子带。

第二级i中间子带聚合单元185包括第二级i计算单元189，用于对每级i的图像Y的每个选择的中间子带求平方；将步骤中进行的求平方的结果与用于图像Y的所述每个选择的中间子带的预定权重相乘；对进行乘法所获得的乘积求和；以及对进行求和的结果应用平方根函数，生成图像Y的级i的边缘映像。第二细节子带计算单元192包括第二细节子带计算单元，用于对图像Y的每个所述选择的细节子带求平方；将进行求平方的结果与图像Y的所述每个选择的细节子带的预定权重相乘；对进行乘法所获得的乘积求和；以及对进行求和的结果应用平方根函数，生成图像Y的级N的边缘映像。第二边缘映像计算单元187包括第二计算单元190，用于将图像Y的每级i的边缘映像与级i的预定权重相乘；将图像Y的级N的边缘映像与级N的预定权重相乘；以及对从所述乘法获得的乘积求和。

图1（n）示出第一选择性聚合单元171的结构。第一选择性聚合单元包括第一水平边缘映像单元194、第一垂直边缘映像单元195、第一对角边缘映像单元196、以及第一合并单元197。在分解的级i生成的中间子带包括小波包（WP）近似和小波包细节子带。这些单元194、195、和196的每个处理特定类型的WP近似子带和WP细节子带。在该说明书的下文中更详细地讨论了这些子带。第一水平边缘映像单元194聚合每级i（i=1至N-1）的图像X的级i水平WP近似子带以及图像X的水平子带，生成图像X的水平边缘映像。第一垂直边缘映像单元195聚合每级i的图像X的级i垂直WP近似子带以及图像X的垂直子带，生成图像X的垂直边缘映像。第一对角边缘映像单元196聚合每级i的图像X的级i对角WP近似子带以及图像X的对角子带，生成图像X的对角边缘映像。通过第一合并单元197聚合所述图像X的水平、垂直和对角边缘映像。

图像X的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及i-WP对角子带。第一水平边缘映像单元194包括第一水平子单元198，其在聚合中包括图像X的级i-WP水平子带。第一垂直边缘映像单元195包括第一垂直子单元199，其在聚合中包括图像X的级i-WP垂直子带。第一对角边缘映像单元196包括第一对角子单元200，其在聚合中包括图像X的级i-WP对角子带。第一合并单元197又包括第一合并子单元201，其对图像X的水平边缘映像、垂直边缘映像和对角边缘映像应用平方根函数，并对应用平方根函数的结果求和。

图1（o）示出第二选择性聚合单元183的结构。第二选择性聚合单元包括第二水平边缘映像单元203、第二垂直边缘映像单元204、第二对角边缘映像单元205、以及第二合并单元206。第二水平边缘映像单元203聚合每级i（i=1至N-1）的图像Y的级i水平WP近似子带以及图像Y的水平子带，生成图像Y的水平边缘映像。第二垂直边缘映像单元204聚合每级i的图像Y的级i垂直WP近似子带以及图像Y的垂直子带，生成图像Y的垂直边缘映像。第二对角边缘映像单元205聚合每级i的图像Y的级i对角WP近似子带以及图像Y的对角子带，生成图像Y的对角边缘映像。通过第二合并单元206聚合所述图像Y的水平、垂直和对角边缘映像。

如同图像X的情况，图像Y的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及i-WP对角子带。第二水平边缘映像单元203包括第二水平子单元207，其在聚合中包括图像Y的级i-WP水平子带。第二垂直边缘映像单元204包括第二垂直子单元208，其在聚合中包括图像Y的级i-WP垂直子带。第二对角边缘映像单元205包括第二对角子单元209，其在聚合中包括图像Y的级i-WP对角子带。第二合并单元206又包括第二合并子单元210，其对图像Y的水平边缘映像、垂直边缘映像和对角边缘映像应用平方根函数，并对应用平方根函数的结果求和。

在可选实施例中，在通过第一合并单元197和第二合并单元进行的聚合期间进行不同组的数学运算。该实施例第一合并单元包括第三合并子单元211（参考图1（p）），第二合并单元206包括第四合并子单元212（参考图1（q））。第三合并子单元211用于对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像求和，并对进行求和的结果应用平方根函数。第四合并子单元212用于对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像求和，并对进行求和的结果应用平方根函数。

图1（r）所示的第一分解单元103a包括第一级1分解单元214，其输出被第一级i分解单元215使用。所述第一级1分解单元214对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带，所述第一级i分解单元215对通过在级i-1（i的范围为2至N）进行的多解析度分解生成的选择的中间子带应用多解析度分解。

图1（s）所示的第二分解单元104a包括第二级1分解单元216，其输出被第二级i分解单元217使用。所述第二级1分解单元216对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带，所述第二级i分解单元217对通过在级i-1（i的范围为2至N）进行的多解析度分解生成的选择的中间子带应用多解析度分解。

如同在系统100的总架构的情况，系统100a的总架构可以与各种IQM结合使用，每个所述IQM对应于特定实施例。

包括以标号103a、104a、105a、108a、109a、113a、114a、115a、116a、117a、118a、170、171、172、173、174、175、176、177、178、179、180、182、183、184、185、186、187、188、189、190、191、192、194、195、196、197、198、199、200、201、203、204、205、206、207、208、209、210、211、212、214、215、216和217表示的单元、子单元以及模块的系统100a的全部部件包括固件或可选的存储在计算机可读存储介质以由处理器执行的计算机可读指令。以标号110a、111a、112a、134a和139a标记的全部计算装置包括计算机可读存储介质，所述计算机可读存储介质具有由CPU执行的计算机可读代码，以进行如本申请所述的方法、过程、函数或子程序。

在图2（a）示出的简图220中提供对架构所使用的用于确定质量计量的技术的高级描述。该过程开始于对基准图像（框222）和失真图像（框224）进行N级DWT。通过应用DWT实现的多解析度分解生成了两个图像的近似子带和细节子带。处理两个图像的近似子带以计算近似质量计量（框232）。需要注意，根据使用的IQM，该质量计量可以是质量映像或质量分数。对原始图像和失真图像的细节子带进行聚合（框226和框230）。然后处理这些聚合以计算边缘质量计量、映像或分数（框234）。确定的映像或指数取决于在生成质量计量中使用的IQM，其在下文中得到详细描述。对于特定IQM（在下文中描述），需要生成对比度映像（框228）。生成对比度映像包括，对于图像的近似子带和边缘映像的像素，根据其对于人类视觉系统的相应的重要性，为其分配对应值。对比度映像被用于集合近似质量映像（框236）和集合边缘质量映像（框238）。然后，合并两种集合操作的结果以生成失真图像的质量计量（框240）。利用未使用对比度映像的IQM，通过框240合并分别来自框232和框234的近似质量计量和边缘质量计量，以生成质量计量。

在本发明中使用两种选择方法。第一种用于分解的级i（i=1..N-1），以选择由在图像X或Y的级i-1进行的多解析度分解生成的中间子带，将对这些中间子带在级i应用多解析度分解。第二种用于选择有待聚合的图像X或Y的每级i的中间子带以及细节子带。以满足精度和计算成本之间的有效平衡的方式进行选择。选择方法可以基于获得精度所需的子带数目。通过图2（b)说明基于在架构中使用的技术的实施例的方法。首先（框252），过程250计算DWT的级数N（框254）。可通过使用图像Y的分辨率（或尺寸）、图像Y的观察距离、以及应用到图像Y的图像质量度量（IQM）中的一个或多个计算N。过程250根据近似子带的最小尺寸S确定解析度级数N，其生成针对人类视觉系统的基本峰值的响应。从而，确定N的值的方式使得生成这样的近似子带解析度，在该处对应的最大频率接近人类视觉系统的峰值灵敏度（即人类视觉系统的空间频率响应的最大值）。

如Y.Wang、J.Ostermann和Y.-Q.Zhang在“Video ProcessingCommunications”（Prentice Hall,2001）中所述，空间频率响应通常是人类对比度灵敏度的曲线，该曲线是以周/度（CPD）表示的空间频率的函数。该峰值在2和4之间。针对在本申请下文中讨论的使用的特定IQM来定制使用的N的值。对于特定IQM，N是固定值，但是对于基于误差的IQM，诸如PSNR或绝对差（AD），如下以公式表示需要的分解级数N。如M.R.Bolin和G.W.Meyer在“A visual difference metric for realistic image synthesis”（Proc.SPIE Human Vision,Electron.Imag.,vol.3644,San Jose,1999,第106–120页）中所述，当在高度为h、距离为d的显示器处观察图像时：

$f_{\mathrm{\θ}}=\frac{\mathrm{\π}}{180}\frac{d}{h}{f}_s$ （周/度）                        （1a）

其中f_θ是单位为周/度（cpd）的角频率，f_s表示空间频率。对于高度为H的图像，Nyquist定理导出公式（1b）。

${\left(f_s\right)}_{\max }=\frac{H}{2}$ （周/图片高度）                    （1b）

已知，HVS对于约2-4cpd的频率具有峰值响应。从而fθ固定为3。如果在观察距离d=kh处评估图像，利用公式（1a）和公式（1b）获得公式（1c）。

$H\≥\frac{360f_{\mathrm{\θ}}}{\mathrm{\π}(d/h)}=\frac{360\×3}{3.14\×k}\≈\frac{344}{k}---\left(1c\right)$

从而，对人眼评估来说图像的有效尺寸应为大约（344/k）。这表示，在N级分解之后的近似子带的最小尺寸应近似等于（344/k）。从而，对于图像尺寸H×W，如下近似地计算N（N必须是非负数）：

在确定N之后，对基准图像（图像X）和失真图像（图像Y）都进行使用例如Haar滤波器的N级DWT（框256）。通过N级分解，获得近似子带

和

，以及多个细节子带。为了简化，将

和

分别称为X_A和Y_A。注意，本发明实施例的方法可容易地使用各种其它各个小波滤波器。为了获得简单性和好的性能，选择Haar滤波器。其简单性在算法上提供可忽略的计算负担。基于申请人进行的模拟，Haar小波还提供比其它小波基更精确的质量计量。因为，对称Haar滤波器具有通用的线性相，从而可以保持感知性的图像结构。另外，Haar滤波器由于其短滤波长度避免了对图像的过度滤波。

在下面的步骤，过程250通过在图像X的近似子带X_A与图像Y的近似子带Y_A之间应用IQM而计算近似质量计量IQM_A（框258）。接着，生成图像X和图像Y的边缘映像（框260）。请注意，边缘映像仅反映图像的边缘结构。使用对细节子带的聚合形成每个图像的图像边缘的估计。在本发明多个实施例中使用对细节子带进行聚合的各种方法。下面示出一种这样的进行逐级聚合的方法。在本发明的可选实施例中使用子带聚合的可选方法，诸如对图像X和Y的边缘映像的跨层聚合，其在本发明下文中进行了讨论。

通过逐级聚合，在每级i进行聚合（i＝1至N）。当对图像应用N级DWT时，如下定义图像X的边缘映像（对图像的边缘估计）：

$X_E(m,n)=\underset{L=1}{\overset{N}{\mathrm{\Σ}}}{X}_{E,L}(m,n)$

如公式（2）中的定义，其中X_E是图像X的边缘映像，X_E,L是在分解级L处的边缘映像。在公式（2）中，

和

表示在图像X的分解级L获得的水平、垂直和对角细节子带。近似子带包含图像的主体内容，而细节子带包含图像X的边缘。

和

是通过在 和上分别应用（N-L）级DWT获得的小波包近似子带。它们被包括在中间子带中并被表示为级L-WP近似子带。参数μ、λ和ψ是与在公式（2）中使用的各个子带相关的权重。因为HVS对水平和垂直子带更加灵敏而对于对角子带的灵敏度较低，从而对于水平和垂直子带设置较大权重，而对于对角子带设置较小权重。在本发明实施例中使用μ＝λ＝4.5ψ。这获得满足公式（3）的μ＝λ=0.45和ψ＝0.10。本发明实施例灵活地适应于这些权重的各种其它值。

$X_{E,L}(m,n)=\left\{\begin{array}{c}\sqrt{\mathrm{\&mu;}\&CenterDot;{\left(X_{H_L}(m,n)\right)}^2+\mathrm{\&lambda;}{\left(X_{V_L}(m,n)\right)}^2+\mathrm{\&psi;}{\left(X_{D_L}(m,n)\right)}^2},\mathrm{ifL}=N\\ \sqrt{\mathrm{\&mu;}\&CenterDot;{\left(X_{H_L,A_{N-L}}(m,n)\right)}^2+\mathrm{\&lambda;}{\left(X_{V_L,A_{N-L}}(m,n)\right)}^2+\mathrm{\&psi;}{\left(X_{D_L,A_{N-L}}(m,n)\right)}^2}\\ ,\mathrm{ifL}<N\end{array}\right.---\left(2\right)$

μ+λ+ψ＝1                                            （3）

与X类似地定义Y的边缘映像。作为示例，图3（a1）中的表格300示出N=2的图像X的子带。在生成边缘映像中仅使用选择的子带。在该图中以双框包围在计算边缘映像时涉及的子带。如前文讨论的，边缘映像旨在作为对图像边缘的估计。从而，并不考虑其全部，而是在形成边缘映像时使用最重要的子带，进而减少了计算成本。根据申请人进行的模拟，在计算边缘映像中使用全部图像子带不会对增加质量计量的精度产生显著影响。作为另一个实例，图3（a2）中的表格302示出N＝3的图像X的子带。在生成边缘映像中仅使用选择的子带。在该图中以实线双框包围在计算边缘映像时涉及的子带。当扩展到大于等于2的N时，图3（a1）和图3（a2）中所示的用于选择子带的技术将使得仅选择3N个子带。如果使用全部生成的子带以生成边缘映像，则必须使用4^N－1个子带。当N大于等于2时，4^N－1比3N大得多。从而，由本发明实施例使用的技术使得计算复杂性大大降低。

在生成图像X和图像Y的边缘映像之后，在边缘映像X_E和Y_E之间应用IQM（框262）。将获得的质量计量称为边缘质量计量IQM_E。如在本申请下文中所述，将使用的术语映像或分数取决于使用的特定IQM。过程250然后检查是否需要生成对比度映像（框264）。如果是，过程从框264以“是”跳出，并生成对比度映像（框266）。在多个IQM的情况中需要这样的对比度映像。包括绝对差（AD）和结构相似性矩阵（SSIM）的特定IQM生成中间质量映像，其应被集合以获得对应的质量分数。在该步骤，过程250形成用于集合近似和边缘质量映像的对比度映像。熟知的是，HVS对于边缘附近的区域更加敏感，这由Z.Wang和A.C.Bovik在“Modern ImageQuality Assessment”（USA:Morgan & Claypool,2006）中进行了讨论。从而，为边缘附近的质量映像中的像素赋予更大的重要性。另外，如Z.Wang和X.Shang在“Spatial Pooling Strategies for Perceptual ImageQuality Assessment”（Proc.IEEE Int.Conf.Image Process.,Atlanta,2006年10月,第2945-2948页）中讨论的，高能（或高方差）图像区域可能包含更多信息以吸引HVS。从而，高能区域中的质量映像的像素必须获得更高的权重（更大的重要性）。基于上述内容，将边缘映像与计算的方差合并以形成称为对比度映像的函数。在局部高斯方形窗中计算对比度映像，所述局部高斯方形窗在整个边缘映像X_E和Y_E上（逐像素地）移动。如Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image quality assessment:From error visibility to structural similarity”（IEEE Transactions onImage Processing,vol.13,no.4,第600–612页,2004年4月）中所讨论，使用归一化为单位和的具有1.5样本的标准偏差的高斯滑动窗W={w_k|k=1,2，...,K}。系数K被设为16，即使用尺寸为4×4的窗。该窗尺寸不太大并且可以提供精确的局部统计。如下定义对比度映像：

对比度 $(x_E,x_{A_N})={\left({\mathrm{\&mu;}}_{x_E}^2{\mathrm{\&sigma;}}_{x_{A_N}}^2\right)}^{0.15}$ (4)

${\mathrm{\&sigma;}}_{x_{A_N}}^2=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{(x_{A_N,k}-{\mathrm{\&mu;}}_{x_{A_N}})}^2$ (5)

${\mathrm{\&mu;}}_{x_E}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{x}_{E,k},{\mathrm{\&mu;}}_{x_{A_N}}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{x}_{A_N,k}$ (6)

其中x_E和

表示滑动窗中的X_E和

的图像间距。请注意，对比度映像使用原始图像统计以形成用于质量映像集合的加权函数。图3（c）所示的图片330示例示出，对于图3（b）所示的图片320中示出的典型图像，通过公式（4）获得的调整尺寸的对比度映像。如图3（b）和图3（c）所示，对比度映像清楚地示出边缘和对于HVS来说重要的图像结构。对比度映像中的更亮（更高）的样本值指示对于HVS更重要的图像结构，并且在判断图像质量中具有重要的作用。

在下一个步骤，过程使用在公式（4）中定义的对比度映像以进行对近似质量映像IQM_A和边缘质量映像IQM_E的加权集合（框268）。

其中对比度映像中的x_E，j和

表示第j局部窗中的图像间距；质量映像中的

x_E，j和y_E，j项是第j局部窗位置中的图像间距（或像素）；M是质量映像中的像素数；S_A和S_E分别表示在加权集合操作之后获得的近似和边缘质量分数。

下面确定图像Y的质量计量（框270）。在该步骤，如在公式（9）中限定的，线性合并近似和边缘质量分数，以获得图像X和Y之间的总质量分数IQM_DWT。

IQM_DWT(X,Y)=β·S_A+(1-β)·S_E

0<β≤1                                    （9）

其中IQM_DWT给出图像Y相对于图像X的质量计量，β是常数。由于近似子带包含主体图像内容，β应接近1，以对近似质量分数（S_A）设置更高的重要性。在生成质量计量之后，过程250退出（框272）。如果本发明的特定实施例使用不需要对比度映像的IQM，过程250从框264的“否”跳出，跳过框266和268，合并近似质量计量和边缘质量计量，以确定质量计量（框270）并退出（框272）。

如上所述，本发明可选实施例使用其它进行聚合的方法，其在下文中讨论。

使用生成边缘映像的可选方法的可选实施例

参考图3（d）和图3（e）说明在进行对基准图像X和失真图像Y的细节子带的聚合中使用的用于生成图像X和图像Y的边缘映像的方法。在说明进行聚合的方法的步骤之前，进行对下面的构思的讨论。

使用对细节子带的聚合形成每个图像X和Y的图像边缘的估计。如果对图像应用N级DWT，图像X的边缘映像如公式（6）所限定。

$X_E(m,n)=\underset{L=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_L{X}_{E,L}(m,n)$

对于全部L，通常ω_L<＝ω_L+1                        (6a)

如公式（2）中限定的计算，其中X_E是图像X的边缘映像，X_E,L是图像X的在级L处的边缘映像。使用权重ω_L将各个重要性程度与在不同级1至N进行的多解析度分解关联。对任何级i（i＝1至N）使用一组预定权重。注意，在公式中使用的值L等于指示级的i。

还存在聚合在多解析度分解的级1至N-1生成的中间子带以及在级N生成的细节子带的其它方式。可以逐级进行聚合，或者可选地，还可以进行跨级聚合。然而，在聚合方法期间，仅合并基本相同的解析度的子带。将前文描述的逐级聚合进行概括和描述，以与跨级聚合对比。通过逐层方法，在每级i（i=1至N-1）进行对选择的中间子带的聚合，生成级i的边缘映像，而在级N进行对选择的细节子带的聚合，生成级N的边缘映像。从而公式（2）可以概括为：

$X_{E,L}(m,n)=\left\{\begin{array}{c}\sqrt{{\mathrm{\&mu;}}_L\&CenterDot;{\left(X_{H_L}(m,n)\right)}^2+{\mathrm{\&lambda;}}_L{\left(X_{V_L}(m,n)\right)}^2+{\mathrm{\&psi;}}_L{\left(X_{D_L}(m,n)\right)}^2}\\ ,\mathrm{ifL}=N\\ \sqrt{{\mathrm{\&mu;}}_L\&CenterDot;{\left(X_{H_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&lambda;}}_L{\left(X_{V_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&psi;}}_L{\left(X_{D_L,A_{N-L}}(m,n)\right)}^2}\\ ,\mathrm{ifL}<N\end{array}\right.---\left(2a\right)$

其中可能的是，对于各个L值，将μ_L、λ_L和ψ_L的一些设置为零。

通过将这些权重μ_L、λ_L和ψ_L的一些设置为零，从聚合过程中消除图像X的一些中间子带和一些细节子带。从而，仅选定对应于非零权重的选择的子带用于聚合。选择的子带的数目越多，分解结果的精度可以越高。然而，该附加的精度带来增加的计算成本。本发明实施例的方法满足了精度和计算成本之间的有效平衡，并且基于在确定质量计量中要获得的精度来确定选择的中间子带。使用的中间子带的数目决定计算成本，可以选择该数目以实现给定的精度。在聚合图像Y的细节子带中使用类似的过程。

参考图3（d）说明在之前的段落中描述的对中间子带和细节子带进行逐级聚合的方法的步骤。该方法包括聚合在级N生成的图像X的一个或多个选择的细节子带，生成图像X在级N的边缘映像，以及聚合在所述每级i（i＝1至N-1）生成的一个或多个选择的中间子带，生成图像X在级i的边缘映像。在聚合在全部级i的边缘映像与在级N的边缘映像之后，聚合过程结束。可通过应用公式2（a）确定在级i的边缘映像和在N的边缘映像，而可通过使用公式6（a）将图像X的边缘映像确定为图像X的级j的边缘映像与级N的边缘映像的加权和。然后进行类似的过程以聚合图像Y的中间子带和细节子带。在开始（框352），过程350将L的值设置为1（框354）。然后对级1至N重复迭代进行多个步骤。在该重复迭代过程中，L的值显示分解的当前级。获得一组预定权重ω_L、μ_L、λ_L、ψ_L（框356）。然后生成级L的图像X和级L的图像Y的边缘映像（框358和框360）。对L的值增1（框362），过程350检查L是否小于等于N（框364）。如果是，过程350从框364的“是”跳出并循环回框356的输入，以进行用于下一级的处理。否则，过程350从框364的“否”跳出，并聚合N级的图像X的边缘映像（框366）和N级图像Y的边缘映像（框368）。在进行聚合之后，过程350退出（框369）。

下面示出本发明进行跨层聚合的实施例。相比于逐级方法，跨层方法跨过多级进行聚合。使用该方法，进行生成图像X和图像Y的水平边缘映像、垂直边缘映像和对角边缘映像的步骤作为在下段描述的三个后续实施例中的中间步骤。下面讨论生成这样的图像X的边缘映像。一组类似的公式描述了对图像Y生成这样的边缘映像。在每级i（i=1至N-1）生成的图像X的中间子带包括级i细节子带和级i小波包（WP）子带。级i细节子带包括级i水平、级i垂直和级i对角子带。级i小波包子带又包括级i小波包近似子带和级i小波包细节子带。级i小波包近似子带包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

在下面的方程组（10）中获得跨层聚合，其涉及细节子带和小波包近似子带。注意，在这些公式中从L=1至N-1进行求和。L的每个值对应于N级分解过程中的特定级i。公式10中对应于L=1的项对应于分解的第一级（i=1），对应于L=2的项对应于分解的第二级（i=2）等。从而，在下面的讨论中将使用术语级L代替级i。令：

$X_H(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_L{\left(X_{H_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&mu;}}_N{\left(X_{H_N}(m,n)\right)}^2---\left(10a\right)$

$X_V(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_L{\left(X_{V_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&lambda;}}_N{\left(X_{V_N}(m,n)\right)}^2---\left(10b\right)$

$X_D(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&psi;}}_L{\left(X_{D_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&psi;}}_N{\left(X_{D_N}(m,n)\right)}^2---\left(10c\right).$

然后也可以按照下面三个选项之一对其进行聚合：

选项1：

$X_E(m,n)=\sqrt{X_H(m,n)}+\sqrt{X_V(m,n)}+\sqrt{X_D(m,n)}$

选项2：

$X_E(m,n)=\sqrt{X_H(m,n)+X_V(m,n)+X_D(m,n)}$

选项3：

X_E(m,n)=X_H(m,n)+X_V(m,n)+X_D(m,n)

通常，μ_L≤μ_L+1,λ_L≤λ_L+1，ψ_L≤ψ_L+1。

还需注意，可以分别对于k、l、m之一或几个或不对其任一设置μ_k=0,λ_l=0，ψ_m=0。

在公式10a、10b和10c左侧的X_H、X_V和X_D分别是图像X的水平、垂直和对角边缘映像。在每个这些公式右侧的项包括图像X的级L-WP波包近似子带和细节子带。公式10a的右侧的第一项是图像X的全部级L水平WP近似子带的加权平方和，其中L为1至N-1。第二项是在分解的最后一级之后获得的图像X的水平子带的加权平方。公式10b的右侧的第一项是图像X的全部级L垂直WP近似子带的加权平方和，其中L为1至N-1。第二项是在分解的最后一级之后获得的图像X的垂直子带的加权平方。公式10c的右侧的第一项是图像X的全部级L对角WP近似子带的加权平方和，其中L为1至N-1。第二项是在分解的最后一级之后获得的图像X的对角子带的加权平方和。在图3（a1）和图3（a2）的表300和表302中用实线双框包围计算各个边缘映像所涉及的子带。使用预定权重ψ_L、μ_L、λ_L以将变化的重要性程度与每个子带相关联。

在获得水平、垂直和对角边缘映像之后，存在三个用于聚合（合并）这些边缘映像的选项（选项1-选项3）。给出了本发明三种不同实施例，其每个使用特定选项。

参考图3（e）所示的流程图370说明基于公式10和选项1－3的用于进行聚合的方法的步骤。在开始（框372），过程370获得与每级L=1至N相关联的权重ψ_L、μ_L、λ_L（框374）。然后生成图像X的水平边缘映像X_H（框376）。然后生成图像X的垂直边缘映像X_V（框378）和图像X的对角边缘映像X_D（框380）。使用公式10（a）、10（b）和10（c）生成这些边缘映像的每一个。然后进行对图像X的三个边缘映像的聚合（框382），并生成图像X的边缘映像X_E。然后生成图像Y的水平边缘映像Y_H（框384）、图像Y的垂直边缘映像Y_V（框386）和图像Y的对角边缘映像Y_D（框388）。过程370然后聚合图像Y的三个边缘映像（框390），生成图像Y的边缘映像Y_E并退出（框392）。注意，三个实施例中的每个通过使用三个选项选项1-选项3之一而以不同的方式进行框390中的聚合。

如公式10所示，仅从中间子带选定小波包近似子带以进行聚合。尽管仅使用小波包近似子带有助于降低计算复杂性，但是聚合过程不需要限于仅包括小波包近似子带

和在聚合过程中还可以包括小波包细节子带，所述小波包细节子带包括级i-WP水平、级i-WP垂直和级i-WP对角子带。如果需要包括水平、垂直和对角方向的更多的细节，使用包括这样的小波包细节子带的本发明的其它实施例。

对于这些实施例，聚合过程采用从公式11获得的下述形式。令：

${X^{\&prime;}}_H(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_L{\left(X_{H_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&mu;}}_N{\left(X_{H_N}(m,n)\right)}^2+\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{{\mathrm{\&mu;}}^{\&prime;}}_L{\left(X_{H_L,H_{N-L}}(m,n)\right)}^2---\left(11a\right)$

${X^{\&prime;}}_V(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_L{\left(X_{V_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&lambda;}}_N{\left(X_{V_N}(m,n)\right)}^2+\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{{\mathrm{\&mu;}}^{\&prime;}}_L{\left(X_{V_L,V_{N-L}}(m,n)\right)}^2---\left(11b\right)$

${X^{\&prime;}}_D(m,n)=\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&psi;}}_L{\left(X_{D_L,A_{N-L}}(m,n)\right)}^2+{\mathrm{\&psi;}}_N{\left(X_{D_N}(m,n)\right)}^2+\underset{L=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{{\mathrm{\&mu;}}^{\&prime;}}_L{\left(X_{D_L,D_{N-L}}(m,n)\right)}^2---\left(11c\right).$

然后可以按照下面三项之一的选项进行聚合：

选项1a：

$X_E(m,n)=\sqrt{{X^{\&prime;}}_H(m,n)}+\sqrt{{X^{\&prime;}}_V(m,n)}+\sqrt{{X^{\&prime;}}_D(m,n)}$

选项2a：

$X_E(m,n)=\sqrt{{X^{\&prime;}}_H(m,n)+{X^{\&prime;}}_V(m,n)+{X^{\&prime;}}_D(m,n)}$

选项3a：

X_E(m,n)=X'_H(m,n)+X'_V(m,n)+X'_D(m,n)

通常，μ_L≤μ_L+1,λ_L≤λ_L+1,ψ_L≤ψ_L+1,μ'_L≤μ'_L+1,λ′_L≤λ′_L+1,ψ'_L≤ψ'_L+1。

还需注意，可以分别对于k、l、m、k’、l’、m’之一或几个或不对其任一设置μ_k＝0，λ_l＝0，ψ_m＝0，μ′_k′＝0，λ′_l′＝0，ψ′_m′＝0。

使用与图3（e）中描述的方法类似的方法。不同在于，在计算图像X和图像Y的水平、垂直和对角边缘映像中使用公式11a、公式11b和公式11c。通过公式11a的右侧的最后一项体现图像X的级L-WP水平子带的贡献，其中L为1至N-1。类似地，公式11b的右侧的最后一项体现图像X的级L-WP垂直子带的贡献，以及公式11c的右侧的最后一项体现图像X的级L-WP对角子带的贡献。在图3（a1）和图3（a2）的表300和表302中以虚线框包围在计算各个边缘映像中使用的级L-WP水平、垂直和对角子带，其中L为1至N-1。同样，通过使用三个选项选项1a-选项3a中的一个，可以获得不同的实施例用于聚合水平、垂直和对角边缘映像。

如上所述，各个IQM结合前述架构使用，从而获得多个实施例，所述实施例的每个对应于每个IQM。这些IQM包括SSIM、VIF、PSNR和AD。下面讨论这些实施例中的每个实施例。

基于SSIM IQM的实施例

该实施例使用SSIM IQM。参考图4描述本发明实施例的基于SSIM的方法的步骤。首先（框402），过程400将DWT的级数N设为1（框404）。由于图像近似子带在本发明实施例中起主要作用，这样选择N使得其最大化近似质量分数SSIM_A的精度，在下段中描述对近似质量分数SSIM_A的计算。图5（a）中图形500中的绘图示出，对于不同的N值，SSIM_A与差分平均意见分数（DMOS）值之间的线性相关系数（LCC）和Spearman秩相关系数（SRCC）。进行该测试时，在计算LCC和SRCC中包括了LIVE通信质量评估数据库第2版（由H.R.Sheikh、Z.Wang,L.Cormack和A.C.Bovik在“LIVE Image Quality Assessment DatabaseRelease 2”中描述，可从http://live.ece.utexas.edu/research/quality获得）的全部779失真图像。从图5（a）可见，SSIM_A对于N=1获得其最佳性能。原因为，对于多于一个级的分解，近似子带变得非常小，并且在近似子带中丢失了多个重要的图像结构。

在基准图像（图像X）和失真图像（图像Y）上都进行使用Haar滤波器的单级（N=1）DWT（框406）。该方法也可以适用于处理其它类型的小波包滤波器。在下一个步骤，过程400计算在图像X和图像Y的近似子带之间的SSIM，SSIM_A（框408）。对于X和Y的第一级近似子带中的每个图像间距x_A和y_A，通过公式（12）计算SSIM_A。

SSIM_A(x_A,y_A)=SSIM(x_A,y_A)                                （12）

根据Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image qualityassessment:From error visibility to structural similarity”（IEEETransactions on Image Processing,vol.13,no.4,第600–612页,2004年4月）中描述的方法计算SSIM映像。除了窗尺寸之外，其它全部参数保持为与该文献中提出的参数相同。过程400使用4×4滑动高斯窗。

过程400然后生成图像X和图像Y的边缘映像（框410）。通过使用公式13和14生成每个图像的边缘映像。

$X_E(m,n)=\sqrt{0.45\&CenterDot;{\left(X_{H_1}(m,n)\right)}^2+0.45\&CenterDot;{\left(X_{V_1}(m,n)\right)}^2+0.1\&CenterDot;{\left(X_{D_1}(m,n)\right)}^2}---\left(13\right)$

$Y_E(m,n)=\sqrt{0.45\&CenterDot;{\left(Y_{H_1}(m,n)\right)}^2+0.45\&CenterDot;{\left(Y_{V_1}(m,n)\right)}^2+0.1\&CenterDot;{\left(Y_{D_1}(m,n)\right)}^2}---\left(14\right)$

其中（m,n）示出小波包子带中的样本位置。请注意，公式12和公式13基于前述公式2和公式（3）。使用的权重为：μ=0.45，λ=0.45以及ψ=0.1。在下一步，利用下面的公式计算两个图像之间的边缘SSIM映像，SSIM_E（框412）：

${\mathrm{SSIM}}_E(x_E,y_E)=\frac{2{\mathrm{\&sigma;}}_{x_E,y_E}+c}{{\mathrm{\&sigma;}}_{x_E}^2+{\mathrm{\&sigma;}}_{y_E}^2+c}---\left(15\right)$

c=(kL)²,k=1                        (16)

其中

是（X_E和Y_E的）图像间距x_E和y_E之间的协方差；参数

和

分别是x_E和y_E的方差；k是小常数；以及L是像素动态范围（255，用于灰度级图像）。以与Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image quality assessment:From error visibility to structuralsimilarity”（IEEE Transactions on Image Processing,vol.13,no.4,第600–612页,2004年4月）所述相同的方式计算相关系数和方差。实际上，由于边缘映像仅形成图像-边缘结构并且不包含亮度信息，省略了在该文献中描述的SSIM映像的亮度比较部分，以确定边缘SSIM映像。下面通过公式（4）生成对比度映像（框414）。通过使用公式（7）和（8），使用对比度映像对SSIM_A和SSIM_E（框416）进行加权集合。注意，公式（7）使用的IQM_A和公式（8）使用的IQM_E分别是SSIM_A（通过公式12计算）和SSIM_E（通过公式（15）计算）。通过使用公式（9）确定SSIM_DWT分数作为质量计量（框418）：

SSIM_DWT(X,Y)=β·S_A+(1-β)·S_E                        （17）

当对于公式（17）中的不同β值计算SSIM_DWT和DMOS值之间的均方根（RMSE）时，其在β=0.87时达到其整体最小值。β的该值满足β应接近1的直观期望。图5（b）示出图形520，其中示出对于不同β值的RMSE绘图。请注意，LCC对于β中的小变化具有低灵敏度。即，提出的β=0.87在不同的图像数据库中测量质量计量时不显著影响SSIM_DWT的精度。

在生成质量计量之后，过程400退出（框420）。

基于VIF IQM的实施例

在H.R.Sheikh、M.F.Sabir和A.C.Bovik在“A statistical evaluationof recent full reference image quality assessment algorithms”（IEEETransactions on Image Processing,vol.15,no.11,第3440–3451页,2006年11月）中描述的对突出图像质量评估算法的性能评估中，观察到VIF指数是最精确的图像质量度量。尽管其高精确程度，在多个应用中并不是如SSIM IQM那样地考虑该IQM。这可能是由于其高的计算复杂性（根据H.R.Sheikh和A.C.Bovik的“Image information and visual quality”（IEEETransactions on Image Processing,vol.15,no.2,第430–444,2006年2月）中所述，其为SSIM指数的计算时间的6.5倍）。VIF IQM中的大部分复杂性来源于过于全面的可控棱锥分解，其中将来自相同子带的相邻系数线性相关。因此，应用矢量高斯尺度混合GSM以用于精确质量预测。

该章节说明通过采用提出的架构在分离小波域中计算VIF的方法的步骤。该提出的方法相比于原始的基于VIF指数的方法更加精确，并且还没有VIF IQM复杂。其应用实际Cartesian可分离小波，并在建模用于VIF计算的图像时使用标量GSM代替矢量GSM。下面进行简要说明。

基于标量GSM的VIF：在计算IFC中描述和应用了标量GSM，H.R.Sheikh、A.C.Bovik和G.de Veciana在“An information fidelity criterionfor image quality assessment using natural scene statistics”（IEEETransactions on Image Processing,vol.14,no.12,第2117–2128页,2005年12月）中对其进行了讨论。这里重复所述过程以利用标量GSM计算VIF指数。在图6（a）中，框602表示未失真原始图像（信号）的GSM模型，框604将图像失真看作信道失真，并将失真添加到来自框602的原始信号以建模失真的图像信号。框606和608示出作为加性高斯白噪声的HVS的函数，其输出分别是感知的失真信号和原始信号。考虑图6（a），令C^M＝(C₁，C₂，...，C_M)表示来自C的M个基元（element），令D^M＝(D₁，D₂，...，D_M)为来自D的对应的M个基元。C和D分别表示来自基准和失真信号的随机域（RF）。如H.R.Sheikh、A.C.Bovik和G.de Veciana在“An informationfidelity criterion for image quality assessment using natural scenestatistics”（IEEE Transactions on Image Processing,vol.14,no.12,第2117–2128页,2005年12月）中所述，所述模型对应于一个子带。C是彼此不相关的两个固定随机域（RF）的乘积：

C={C_i：i∈I}=S·U={S_i·U_i:i∈I}                    （18）

其中i表示RF的一组空间指数，S为正标量的RF，U为具有零均值和方差

的高斯标量RF。失真模型是如下定义的信号衰减和加性高斯噪声：

D={D_i:i∈I}=GC+V={g_iC_i+V_i:i∈I}            （19）

其中G为确定的标量衰减场，V为具有方差

的固定加性零均值高斯噪声RF。如下定义由H.R.Sheikh和A.C.Bovik在“Image informationand visual quality”（IEEE Transactions on Image Processing,vol.15,no.2,第30–444页,2006年2月）描述的图6（a）中的感知信号：

E=C+N  F=D+N'                （20）

其中N和N′表示具有方差的固定高斯白噪声RF。如果在考虑标量GSM的计算中使用在该文献中提出的用于VIF的步骤，获得：

$I(C^M;E^M|S^M=s^M)=I(C^M;E^M|s^M)=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\log }_2\left(\frac{s_i^2{\mathrm{\&sigma;}}_U^2+{\mathrm{\&sigma;}}_N^2}{{\mathrm{\&sigma;}}_N^2}\right)---\left(21\right)$

在GSM模型中，假设基准图像系数具有零均值。从而，对于标量GSM模型，可以通过局部化样本方差估计，获得

的估值。如H.R.Sheikh、A.C.Bovik和G.de Veciana在“An information fidelity criterion for imagequality assessment using natural scene statistics”（IEEE Transactions onImage Processing,vol.14,no.12,第2117–2128页,2005年12月）中所述，可以将方差假设为一（unity）而不损失一般性（generality。）从而将公式（21）简化为公式（22）。

$I(C^M;E^M|s^M)=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\log }_2(1+\frac{{\mathrm{\&sigma;}}_{C_i}^2}{{\mathrm{\&sigma;}}_N^2})---\left(22\right)$

类似地，获得公式（23）：

$I(C^M;F^M|s^M)=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\log }_2(1+\frac{{g_i^2\mathrm{\&sigma;}}_{C_i}^2}{{{\mathrm{\&sigma;}}_V^2+\mathrm{\&sigma;}}_N^2})---\left(23\right)$

通过使用由H.R.Sheikh和A.C.Bovik在“Image information andvisual quality”（IEEE Transactions on Image Processing,vol.15,no.2,第30–444页,2006年2月）描述的方法，但是仅考虑单个子带，从公式（23）获得最终VIF指数：

$\mathrm{VIF}=\frac{I(C^M;F^M|s^M)}{I(C^M;E^M|s^M)}---\left(24\right)$

参考图6（b）的流程图650描述本发明实施例的基于VIF的方法的步骤。在开始（框652），过程650将N的值设置为1（框654）。如之前在基于SSIMIQM的实施例的情况中的描述，需要首先确定用于计算基于VIF的质量计量的分解级的适当数目。以与之前对于标量VIF描述的实验类似的方式进行实验。图7（a）示出图形700，其表示对于各个分解级N，VIF_A（在下文中描述对其的计算）与DMOS值之间的LCC和SRCC。可见，VIF_A预测精度随着分解级数的增加而减小。从而，VIF_A性能在N=1时最佳。这是因为，近似子带的分辨率通过多级分解而减小，从而对于更高的N值，在该子带中将损失VIF所基于的图像信息。

接着在图像X和图像Y上进行N级DWT（框656）。过程650然后计算在X和Y的近似子带（即X_A和Y_A）之间的VIF近似质量分数VIF_A。为了简化，在此使用X_A和Y_A代替

和

${\mathrm{VIF}}_A=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\log }_2(1+\frac{g_i^2{\mathrm{\&sigma;}}_{x_{A,i}}^2}{{\mathrm{\&sigma;}}_{V_i}^2+{\mathrm{\&sigma;}}_N^2})}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\log }_2(1+\frac{{\mathrm{\&sigma;}}_{x_{A,i}}^2}{{\mathrm{\&sigma;}}_N^2})}---\left(25\right)$

其中M是近似子带中的样本数，x_A，i是近似子带X_A中的第i个图像间距，是X_A，i的方差。在本发明该实施例中将噪声方差设置为5。如H.R.Sheikh、A.C.Bovik和G.de Veciana在“An information fidelitycriterion for image quality assessment using natural scene statistics”（IEEETransactions on Image Processing,vol.14,no.12,第2117–2128页,2005年12月）中所述估计参数g_i和

获得公式（26）和公式（27）。

$g_i=\frac{{\mathrm{\&sigma;}}_{x_{A,i},y_{A,i}}}{{\mathrm{\&sigma;}}_{x_{A,i}}^2+\mathrm{\&epsiv;}}---\left(26\right)$

其中是图像间距x_A，i和y_A,i之间的协方差，ε是非常小的常数以避免

为零和ε=10^-20时的不稳定性。

${\mathrm{\&sigma;}}_{V_i}^2={\mathrm{\&sigma;}}_{y_{A,i}}^2-g_i\&CenterDot;{\mathrm{\&sigma;}}_{x_{A,i},y_{A,i}}---\left(27\right)$

在局部高斯方形窗中计算全部统计值（图像间距的方差和协方差），所述局部高斯方形窗在整个近似子带X_A和Y_A上逐像素地移动。在该情况中使用的高斯滑动窗与之前定义的完全相同。因为小波域中的子带的较小分辨率，甚至可以利用小3×3的滑动窗获得适当精确的局部统计值。但是为了达到最佳的性能并获得精确的局部统计值，这里使用较大的尺寸为9×9的窗。在下文中描述的模拟结果中示出，基于VIF的质量计量可在这里所述的设置下提供精确的分数。

在下一个步骤，过程650利用公式（2）和公式（3）生成边缘映像X_E和Y_E（框660）。然后计算图像X和图像Y的边缘映像之间的VIF边缘质量分数VIF_E，其反映边缘映像之间的相似性（框662）。最后，通过利用公式（9）计算质量计量（框664）

VIF_DWT(X,Y)=β·VIF_A+(1-β)·VIF_E

0<β≤1                                    （28）

其中VIF_DWT是在范围[0,1]中的图像Y的质量计量。在计算质量计量之后，过程650退出（框666）。

图7（b）现有了图形720，其示出针对不同的β值的VIF_DWT和DMOS值之间的RMSE。可以看到，RMSE在β=0.81达到其整体最小值。该β值接近对于SSIM_DWT获得的β值。注意，LCC对于β的小变化不具有高灵敏性。从而，如果将VIF_DWT应用在不同数据库中的图像上，获得的β值仍然有效。

基于PSNR IQM的实施例

该实施例使用PSNR IQM用于确定失真图像的质量计量。在公式（29）和公式（30）中定义常规PSNR及其等同物，均方误差（MSE）。

$\mathrm{PSNR}(X,Y)=10\&CenterDot;{\log }_{10}\left(\frac{X_{\max }^2}{\mathrm{MSE}(X,y)}\right)---\left(29\right)$

$\mathrm{MSE}(X,Y)=\frac{1}{N_P}\&CenterDot;\underset{m,n}{\mathrm{\&Sigma;}}{(X(m,n)-Y(m,n))}^2---\left(30\right)$

其中X和Y分别表示基准和失真图像。X_max是基准图像X的最大可能像素值。并且假设最小像素值为零。N_P为每个图像中的像素数。尽管常规PSNR由于其容易计算分贝（dB）质量的能力而仍然广泛使用，但是其不能充分反映图像保真度的人类感知。其它基于错误的技术，诸如WSNR和NQM（由N.Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik在“Image quality assessment based on a degradation model”（IEEE Transactions on Image Processing,vol.9,no.4,第636-650页,2000年4月）中描述）、以及VSNR（由D.M.Chandler和S.S.Hemami在“A wavelet-based visual signal-to-noise ratio for natural images”（IEEETransactions on Image Processing,vol.16,no.9,第2284-2298页,2007年9月）中描述），不是那么易于使用，因为它们需要复杂的过程以计算人类视觉系统（HVS）参数。该部分说明如何通过利用由前述本发明实施例提供的架构在分离小波域中精确计算基于PSNR的质量计量。

参考图8描述本发明实施例的基于PSNR的方法的步骤。首先（框802），过程800计算DWT的级数N（框804）。图9（a）中显示的图形900的绘图示出，对于不同分解级，PSNR_A和DMOS之间的LCC和SRCC。以与在前文中描述的方式相似的方式进行该测试。可以看到，PSNR_A在N=2和N=3时获得其最佳性能和接近最佳的性能。基于可以在对应的图像数据库中获得的各个失真类型，可以确定N的哪个值（2或3）提供更精确的质量计量。图9（c）中示出的由标号960表示的表I列出了对于五种类型的失真的SRCC值。可以看到，当考虑全部数据（失真图像）时，PSNR_A（在下文中描述对其的计算）的性能在N=2时最佳。从而，N=2是适当的分解级。

尽管N=2对于在测试中使用的整体图像数据库工作良好，在该实施例中需要使用能够适于各个其它图像的N。根据近似子带的最小尺寸S确定分解级数N，其生成针对人类视觉系统的基本峰值的响应。从而使用公式1（e）用于确定N。

在计算N的值之后，对图像X（框806）和图像Y（框808）应用N级DWT。通过基于Haar滤波器使用，在基准图像和失真图像上都应用N级分离小波变换（DWT）。该方法还可以处理其它小波滤波器。通过N级分解，获得近似子带

和

以及多个细节子带。如上所述，选择Haar滤波器是因为其适中的计算简单性和良好的性能。该简单性对于本发明实施例的总体方法的计算负担是可忽略的。如模拟结果所示，Haar小波相比于其它小波基还提供更精确的质量分数。

在下一个步骤，过程800生成图像X的边缘映像（框810）并然后生成图像Y的边缘映像（框812）。然后，过程800通过在图像X和图像Y的近似子带之间应用PSNR IQM而计算PSNR近似质量分数PSNR_A（框814）。然后，通过在图像X和图像Y的边缘映像之间应用PSNR IQM而计算PSNR边缘质量分数PSNR_E（框816）。通过公式（30）和（31）计算PSNR_A和PSNR_E。

${\mathrm{PSNR}}_A=\mathrm{PSNR}(X_{A_N},Y_{A_N})---\left(30\right)$

PSNR_E＝PSNR(X_E,Y_E)                        （31）

在下一个步骤，过程800确定PSNR_DWT分数为质量计量（框818）并退出（框820）。通过根据公式（9）合并PSNR近似质量分数和PSNR边缘质量分数而确定PSNR_DWT。

PSNR_DWT(X,Y)=β·PSNR_A+(1-β)·PSNR_E

0<β≤1                                    （32）

请注意，PSNR_DWT给出图像数据库中各个图像的质量计量。为了找出常数β的最优值，进行与在前文针对SSIM_DWT和VIF_DWT的部分中描述的那些实验相似的实验。图9（b）显示了图形920，其示出针对在公式（32）中使用的不同的β值，PSNR_DWT和DMOS值之间的RMSE。可以看到，RMSE在β=0.84达到其整体最小值。该β值非常接近前文中对于其它度量确定的值。在下文中讨论对该β值在其它测试数据库上工作良好的验证。

基于AD IQM的实施例

该实施例使用AD IQM。参考图10描述本发明实施例的基于AD的方法的步骤。在开始（框1002），过程1000确定N（框1004）。在上述图像数据库上进行测试。图11显示了图形1100，其示出对于获得的不同分解级，近似AD映像ADA（在下文中描述对其的生成）与DMOS值之间的LCC和SRCC。与PSNR_A相似，AD_A在N=2时性能最佳。通过公式（1e）计算N的通用值。

接着在图像X和图像Y上进行N级DWT（框1006）。在下面的步骤，过程1000在X和Y的近似子带之间应用AD IQM以生成近似AD映像AD_A（框图1008）。

${\mathrm{AD}}_A(m,n)=|X_{A_N}(m,n)-Y_{A_N}(m,n)|---\left(33\right)$

其中（m,n）示出近似子带中的样本位置。

然后生成图像X和图像Y的边缘映像（框1010）。接着，过程1000在边缘映像X_E和Y_E之间应用AD IQM，以生成边缘AD映像，AD_E（框1012）。

AD_E(m,n)＝|X_E(m,n)-Y_E(m,n)|                    （34）

在生成边缘AD映像之后，过程1000生成对比度映像（框1014）。通过使用公式（4）获得对比度映像，然后利用对比度映像集合AD_A和AD_E以分别确定近似质量分数和边缘质量分数S_A和S_E（框1016）。

该方法通过利用公式（37）使用S_A和S_E以确定AD_DWT分数作为质量计量（框1018）。

AD_DWT(X,Y)=β·S_A+(1-β)·S_E

0<β≤1                                    （37）

如前文所述将β设为0.84。在确定质量计量之后，过程1000退出（框1020）。

模拟结果

通过使用LIVE通信质量评估数据库第2版(由H.R.Sheikh、Z.Wang,L.Cormack和A.C.Bovik在“LIVE Image Quality Assessment DatabaseRelease 2”中描述，可从http://live.ece.utexas.edu/research/quality获得）中的图像，评估本发明实施例的用于确定失真图像的质量计量的方法的性能。该数据库包括利用以下五种类型的失真从29个原始彩色图像获得的779个失真图像：JPEG压缩、JPEG2000压缩、高斯白噪声（GWN）、高斯斑点（GBlur）、以及瑞利快速衰退（FF）信道模型。在全部实验中使用用于数据库的重组主观质量数据。

对数据库中的图像应用三个不同的基于IQM的质量计量（其每个通过前述实施例计算），以确定客观模型的性能。在该性能评估中使用多个度量。第一度量是在非线性回归之后的客观模型输出与差分平均意见分数（DMOS）之间的Pearson相关系数（LCC）。相关系数给出对预测精度的评估。使用了用于非线性回归的由H.R.Sheikh、M.F.Sabir和A.C.Bovik在“A statistical evaluation of recent full reference image qualityassessment algorithms”（IEEE Transactions on Image Processing,vol.15,no.11,第3440–3451页,2006年11月）中限定的五参数逻辑函数。第二度量为在非线性回归之后的客观模型输出与DMOS之间的均方根误差（RMSE）。将RMSE看作对预测一致性的计量。第三度量为Spearman秩相关系数（SRCC），其提供对预测单调性的计量。

为了将本发明实施例的性能评估放入适当情境中，将该实施例的方法与可在现有技术中获得的其它图像质量度量进行比较，所述其它度量包括：常规PSNR、空间域平均SSIM（由Z.Wang、A.Bovik、H.Sheikh和E.Simoncelli在“Image quality assessment:From error visibility to structuralsimilarity”（IEEE Trans.Image Process.,vol.13,no.4,第600–612页,2004年4月）中讨论）、用于在图像上进行下采样的自动定标版本的SSIM（由Z.Wang在Z.Wang的SSIM研究主页（http://www.ece.uwaterloo.ca/～z70wang/research/ssim/）中讨论），以及WSNR（由N.Damera-Venkata、T.D.Kite、W.S.Geisler、B.L.Evans和A.C.Bovik在“Image quality assessment based on a degradation model”（IEEE Transactions on Image Processing,vol.9,no.4,第636-650页,2000年4月）中讨论），其中通过CSF过滤图像，所述CSF由J.L.Mannos和D.J.Sakrison在“The effects of a visual fidelity criterion on theencoding of images”（IEEE Trans.Inf.Theory,vol.IT-20,no.4,第525-536页,1974年7月）中以及由H.R.Sheikh、Z.Wang、L.Cormack和A.C.Bovik在“LIVE Image Quality Assessment Database Release 2”中说明，其可以从以下网址获得：http://live.ece.utexas.edu/research/quality以及上述Z.Wang的SSIM研究主页。

图12中的表II 1200列出LIVE数据库的DMOS值与不同度量之间的LCC，图13中的表III 1220和图14中的表IV 1240分别示出度量与DMOS值之间的RMSE和SRCC。可以看到，平均SSIM_A的SRCC对于SA从0.9441增加到0.9573，其意味着1.32%的改善。在全部结构度量中，SSIM_DWT的性能是最好的。对于基于SNR的度量，PSNR_A的SRCC是0.9307，其高于常规PSNR（0.8756）甚至以及WSNR（0.9240），而其复杂性低于常规PSNR。

本发明实施例提供了包括下述优点的多个优点。本发明的重要贡献为，引入在小波域中的对比度映像以集合质量映像。本发明的新颖方法不需要大量的实验以确定参数，并且其基于为了例如集合SSIM质量映像而限定的对比度映像而适于不同的小波滤波器。可以在所附权利要求的范围内对在附图中示出的和在说明书中描述的实施例进行各种修改和变化，而不在本发明更广的方面偏离本发明范围。例如，代替Haar变换，可以在对基准和失真图像的多解析度分解中使用其它小波变换，诸如Newland变换或利用Darbechies滤波器的小波变换。可以通过使用多核CPU或多处理器系统而并行进行包括图2（b）的方法250的方法的各个步骤。例如，可以并行进行在多解析度分解期间的对图像X和Y的分解。这样的并行计算可减少用于计算质量计量的计算时间。

概括地说，根据本发明的一方面，提供一种用于确定对失真图像Y的质量计量的方法，所述计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该方法包括：

（a1）对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b1）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c1）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d1）对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；

（e1）对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f1）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g1）处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。

在上述方法中：

（a2）步骤（d1）还包括：

（a2i）基于在确定质量计量中将要获得的精度，选择图像X的在每级i（i的范围为1至N-1）的中间子带和细节子带；以及

（a2ii）仅聚合图像X的选择的中间子带和选择的细节子带；以及

（b2）步骤（e1）还包括：

（b2i）基于在确定质量计量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；以及

（b2ii）仅聚合图像Y的选择的中间子带和选择的细节子带。

步骤（a2i）和步骤（b2i）还包括，基于获得精度所需的中间子带和细节子带的数目选择图像X和图像Y的在每级i的中间子带和细节子带。

该方法还包括：

（a4）在步骤（a2ii）：

（a4i）对于所述每个级i，聚合图像X的选择的中间子带，生成图像X在级i的边缘映像；

（a4ii）聚合图像X的选择的细节子带，生成图像X在级N的边缘映像；以及

（a4iii）聚合图像X的在所述每级i的边缘映像和图像X在级N的边缘映像；以及

（b4）在步骤（b2ii）：

（b4i）对于所述每个级i，聚合图像Y的选择的中间子带，生成图像Y在级i的边缘映像；

（b4ii）聚合图像Y的选择的细节子带，生成图像Y在级N的边缘映像；以及

（b4iii）聚合图像Y的在所述每级i的边缘映像和图像Y在级N的边缘映像。

在上述方法中：

（a5）步骤（a4iii）还包括：

（a5i）将图像X的所述每级i的边缘映像与级i的预定权重相乘；

（a5ii）将图像X的级N的边缘映像与级N的预定权重相乘；以及

（a5iii）对从步骤（a5i）中的乘法获得的乘积与从步骤（a5ii）中的乘法获得的乘积求和；以及

（b5）步骤（b4iii）还包括：

（b5i）将图像Y的所述每级i的边缘映像与级i的预定权重相乘；

（b5ii）将图像Y的级N的边缘映像与级N的预定权重相乘；以及

（b5iii）对从步骤（b5i）中的乘法获得的乘积与从步骤（b5ii）中的乘法获得的乘积求和。

在上述方法中：

（a6）步骤（a4i）包括：

（a6i）对于每级i，对图像X的每个选择的中间子带求平方；

（a6ii）将在步骤（a6i）中进行的求平方的结果与图像X的所述每个选择的中间子带的预定权重相乘；（a6iii）对步骤（a6ii）进行的乘法所获得的乘积求和；

（a6iv）对在步骤（a6iii）中进行的求和的结果应用平方根函数，生成图像X的级i的边缘映像；

（b6）步骤（a4i）包括：

（b6i）对图像X的每个所述选择的细节子带求平方；

（b6ii）将在步骤（b6i）中进行的求平方的结果与图像X的所述每个选择的细节子带的预定权重相乘；

（b6iii）对步骤（a6ii）进行的乘法所获得的乘积求和；

（b6iv）对在步骤（a6iii）中进行的求和的结果应用平方根函数，生成图像X的级N的边缘映像；

（c6）步骤（b4i）包括：

（c6i）对于每级i，对图像Y的每个选择的中间子带求平方；

（c6ii）将在步骤（c6i）中进行的求平方的结果与图像Y的所述每个选择的中间子带的预定权重相乘；

（c6iii）对步骤（c6ii）进行的乘法所获得的乘积求和；

（c6iv）对在步骤（c6iii）中进行的求和的结果应用平方根函数，生成图像Y的级i的边缘映像；以及

（d6）步骤（b4ii）包括：

（d6i）对图像Y的每个所述选择的细节子带求平方；

（d6ii）将在步骤（d6i）中进行的求平方的结果与图像Y的所述每个选择的细节子带的预定权重相乘；

（d6iii）对步骤（d6ii）进行的乘法所获得的乘积求和；

（d6iv）对在步骤（d6iii）中进行的求和的结果应用平方根函数，生成图像Y的级N的边缘映像。

图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

在上述方法中：

（a8）步骤（a2i）还包括，选择图像X的一个或多个级i-WP近似子带和一个或多个细节子带；以及

（b8）步骤（b2i）还包括，选择图像Y的一个或多个级i-WP近似子带和一个或多个细节子带。

在上述方法中：

（a9）步骤（a8）还包括在选择中包括图像X的一个或多个级i细节子带；以及

（b9）步骤（b8）还包括在选择中包括图像Y的一个或多个级i细节子带。

在上述方法中：

（a10）步骤（a2ii）还包括：

（a10i）聚合图像X在所述每级i的级i水平WP近似子带以及图像X的水平子带，生成图像X的水平边缘映像；

（a10ii）聚合图像X在所述每级i的级i垂直WP近似子带以及图像X的垂直子带，生成图像X的垂直边缘映像；

（a10iii）聚合图像X在所述每级i的级i对角WP近似子带以及图像X的对角子带，生成图像X的对角边缘映像；以及

（a10iv）聚合图像X的水平边缘映像、垂直边缘映像以及对角边缘映像；以及

（b10）步骤（b2ii）还包括：

（b10i）聚合图像Y在所述每级i的级i水平WP近似子带以及图像Y的水平子带，生成图像Y的水平边缘映像；

（b10ii）聚合图像Y在所述每级i的级i垂直WP近似子带以及图像Y的垂直子带，生成图像Y的垂直边缘映像；

（b10iii）聚合图像Y在所述每级i的级i对角WP近似子带以及图像Y的对角子带，生成图像Y的对角边缘映像；以及

（b10iv）聚合图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像。

在上述方法中，图像X和图像Y的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及i-WP对角子带，并且：

（a11）步骤（a10i）还包括在聚合中包括图像X的级i-WP水平子带；

（b11）步骤（a10ii）还包括在聚合中包括图像X的级i-WP垂直子带；

（c11）步骤（a10iii）还包括在聚合中包括图像X的级i-WP对角子带；

（d11）步骤（b10i）还包括在聚合中包括图像Y的级i-WP水平子带；

（e11）步骤（b10ii）还包括在聚合中包括图像Y的级i-WP垂直子带；

（f11）步骤（b10iii）还包括在聚合中包括图像Y的级i-WP对角子带。

在上述方法中：

（a12）步骤（a10iv）包括：

（a12）对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像应用平方根函数；以及

（b12）对应用平方根函数的结果求和；以及

（b12）步骤（b10iv）包括：

（a12）对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像应用平方根函数；以及

（b12）对应用平方根函数的结果求和。

在上述方法中：

（a13）步骤（a10iv）包括：

（a13i）对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像求和；以及

（a13ii）对在步骤（a13i）中进行的求和结果应用平方根函数；以及

（b13）步骤（b10iv）包括：

（b13i）对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像求和；以及

（b13ii）对在步骤（b13i）中进行的求和结果应用平方根函数。

在上述方法中，步骤（a1）和（b1）包括应用N级分离小波变换（DWT）。可选地，分离小波变换可以是Haar变换、或Newland变换、或使用Daubechies滤波器的小波变换。

上述方法包括下述中的一个或多个：

（a17）在步骤（a1）：

（a17i）对于级1，对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

（a17ii）对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解；以及

（b17）在步骤（b1）：

（b17i）对于级1，对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

（b17ii）对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解。

在本发明实施例中，近似质量计量是近似质量映像，边缘质量计量是边缘质量映像，所述步骤（g1）还包括：

（a18）生成对比度映像，包括对于图像X和图像Y的近似子带和边缘映像的像素根据其对于人类视觉系统的相应的重要性分配对应值；

（b18）使用对比度映像对近似质量映像进行加权集合,以生成近似质量分数；

（c18）使用对比度映像对边缘质量映像进行加权集合,以生成边缘质量分数；以及

（d18）合并来自步骤（b18）的近似相似性分数与来自步骤（c18）的边缘相似性分数，以确定质量计量。

在本发明实施例中，所述方法还包括根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

在上述方法中：

（a20）步骤（c1）包括对图像X的近似子带和图像Y的近似子带应用结构相似性（SSIM）IQM，以生成近似SSIM映像，SSIM_A；

（b20）步骤（f1）包括在图像X的边缘映像与图像Y的边缘映像之间应用SSIM IQM，以生成边缘SSIM映像，SSIM_E；以及

（c20）步骤（g1）包括处理所述SSIM_A和所述SSIM_E以确定SSIM_DWT分数作为质量计量。

可选地：

（a21）步骤（c1）包括对图像X的近似子带和图像Y的近似子带应用绝对差（AD）IQM，以生成近似AD映像，AD_A；

（b21）步骤（f1）包括在图像X的边缘映像与图像Y的边缘映像之间应用AD IQM，以生成边缘AD映像，AD_E；以及

（c21）步骤（g1）包括处理所述AD_A和所述AD_E以确定AD_DWT分数作为质量计量。

另外可选地：

（a22）步骤（c1）包括对图像X的近似子带和图像Y的近似子带应用峰值信号-噪声比（PSNR）IQM，以生成PSNR近似质量分数，PSNR_A；

（b22）步骤（f1）包括在图像X的边缘映像与图像Y的边缘映像之间应用PSNR IQM，以生成PSNR边缘质量分数，PSNR_E；以及

（c22）步骤（g1）包括处理所述PSNR_A和所述PSNR_E以确定PSNR_DWT分数作为质量计量。

另外可选地：

（a23）步骤（c1）包括对图像X的近似子带和图像Y的近似子带应用视觉信息保真度（VIF）IQM，以生成VIF近似质量分数，VIF_A；

（b23）步骤（f1）包括在图像X的边缘映像与图像Y的边缘映像之间应用VIF IQM，以生成VIF边缘质量分数，VIF_E；以及

（c23）步骤（g1）包括处理所述VIF_A和所述VIF_E以确定VIF_DWT分数作为质量计量。

在上述方法中：

（a24）所述步骤（a2）还包括选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带用于聚合；以及

（b24）所述步骤（b2）还包括选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带用于聚合。

根据本发明的另一方面，提供一种用于确定对失真图像Y的质量计量的系统，所述计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该系统包括：

处理器，以及计算机可读存储介质，其具有存储在其上的计算机可读指令，所述指令当由所述处理器执行时形成以下单元：

（a25）第一分解单元，其对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b25）第二分解单元，其对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c25）近似质量计量单元，其对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d25）第一聚合单元，其对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；

（e25）第二聚合单元，其对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f25）边缘质量计量单元，其在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g25）质量计量单元，其处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。

在上述系统中：

（a26）所述第一聚合单元（d25）还包括：

（a26i）第一选择单元，其基于在确定质量计量中将要获得的精度，选择图像X的在每级i（i的范围为1至N-1）的中间子带和细节子带；以及

（a26ii）第一选择性聚合单元，其仅聚合图像X的选择的中间子带和选择的细节子带；以及

（b26）所述第二聚合单元（e1）还包括：

（b26i）第二选择单元，其基于在确定质量计量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；以及

（b26ii）第二选择性聚合单元，其仅聚合图像Y的选择的中间子带和选择的细节子带。

在上述系统中：

（a27）第一选择单元（a26i）还包括第一选择子单元，其基于获得精度所需的中间子带和细节子带的数目选择图像X的在所述每级i的中间子带和细节子带；以及

（b27）第二选择单元（b26i）还包括第二选择子单元，其基于获得精度所需的中间子带和细节子带的数目选择图像Y的在所述每级i的中间子带和细节子带。

在上述系统中：

（a28）在第一选择性聚合单元（a26ii）：

（a28i）第一级i中间子带聚合单元对于所述每个级i聚合图像X的选择的中间子带，生成图像X在级i的边缘映像；

（a28ii）第一细节子带聚合单元聚合图像X的选择的细节子带，生成图像X在级N的边缘映像；以及

（a28iii）第一边缘映像确定单元聚合图像X在所述每级i的边缘映像和图像X在级N的边缘映像；以及

（b28）在第二选择性聚合单元（b26ii）：

（b28i）第二级i中间子带聚合单元对于所述每个级i聚合图像Y的选择的中间子带，生成图像Y在级i的边缘映像；

（b28ii）第二细节子带聚合单元聚合图像Y的选择的细节子带，生成图像Y在级N的边缘映像；以及

（b28iii）第二边缘映像确定单元聚合图像Y在所述每级i的边缘映像和图像Y在级N的边缘映像。

在上述系统中：

（a29）所述第一边缘映像确定单元（a28iii）还包括第一计算单元，用于：

将图像X在所述每级i的边缘映像与级i的预定权重相乘；

将图像X在级N的边缘映像与级N的预定权重相乘；以及

对于针对图像X在所述每级i的边缘映像进行乘法和针对图像X在级N的边缘映像进行乘法所获得的乘积进行求和。

（b29）所述第二边缘映像确定单元（b28iii）还包括第二计算单元，用于：

将图像Y在所述每级i的边缘映像与级i的预定权重相乘；

将图像Y在级N的边缘映像与级N的预定权重相乘；以及

对于针对图像Y在所述每级i的边缘映像进行乘法和针对图像Y在级N的边缘映像进行乘法所获得乘积进行求和。

在上述系统中：

（a30）所述第一级i中间子带聚合单元（a28i）包括第一级i计算单元，用于：

对所述每级i的图像X的每个选择的中间子带求和；

将求平方的结果与图像X的所述每个选择的中间子带的预定权重相乘；

对从乘法获得的乘积求和；以及

对求和的结果应用平方根函数，生成图像X在级i的边缘映像；（b30）所述第一细节子带聚合单元（a28ii）包括第一细节子带计算单元，用于：

对图像X的每个所述选择的细节子带求平方；

将求平方的结果与图像X的所述每个选择的细节子带的预定权重相乘；

对从乘法获得的乘积求和；以及

对求和的结果应用平方根函数，生成图像X的级N的边缘映像；

（c30）所述第二级i中间子带聚合单元（b28i）包括第二级i计算单元，用于：

对所述每级i的图像Y的每个选择的中间子带求和；

将进行求平方的结果与图像Y的所述每个选择的中间子带的预定权重相乘；

对从乘法获得的乘积求和；

对求和的结果应用平方根函数，生成图像Y在级i的边缘映像。

（d30）所述第二细节子带聚合单元（b28ii）包括第二细节子带计算单元，用于：

对图像Y的每个所述选择的细节子带求平方；

将求平方的结果与图像Y的所述每个选择的细节子带的预定权重相乘；

对从乘法获得的乘积求和；以及

对求和的结果应用平方根函数，生成图像Y在级N的边缘映像。

在上述系统中，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

在上述系统中：

（a32）第一选择单元（a26i）还包括第一WP细节选择子单元，其选择图像X的一个或多个级i-WP近似子带和一个或多个细节子带；以及

（b32）第二选择单元（b26i）还包括第二WP细节选择子单元，其选择图像Y的一个或多个级i-WP近似子带和一个或多个细节子带。

在上述系统中：

（a33）第一WP细节选择子单元（a32）还包括第一细节选择模块，用于在选择中包括图像X的一个或多个级i细节子带；以及

（b33）第二WP细节选择子单元（b32）还包括第二细节选择模块，用于在选择中包括图像Y的一个或多个级i细节子带。

在上述系统中：

（a34）所述第一选择性聚合单元（a26ii）还包括：

（a34i）第一水平边缘映像单元，聚合所述每级i的图像X的级i水平WP近似子带以及图像X的水平子带，生成图像X的水平边缘映像；

（a34ii）第一垂直边缘映像单元，聚合所述每级i的图像X的级i垂直WP近似子带以及图像X的垂直子带，生成图像X的垂直边缘映像；

（a34iii）第一对角边缘映像单元，聚合所述每级i的图像X的级i对角WP近似子带以及图像X的对角子带，生成图像X的对角边缘映像；以及

（a34iv）第一合并单元，其聚合图像X的水平边缘映像、垂直边缘映像以及对角边缘映像；以及

（b34）所述第二选择性聚合单元（b26ii）还包括：

（b34i）第二水平边缘映像单元，聚合所述每级i的图像Y的级i水平WP近似子带以及图像Y的水平子带，生成图像Y的水平边缘映像；

（b34iI）第二垂直边缘映像单元，聚合所述每级i的图像Y的级i垂直WP近似子带以及图像Y的垂直子带，生成图像Y的垂直边缘映像；

（b34iii）第二对角边缘映像单元，聚合所述每级i的图像Y的级i对角WP近似子带以及图像Y的对角子带，生成图像Y的对角边缘映像；以及

（b34iv）第二合并单元，其聚合图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像。

在上述系统中，图像X和图像Y的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及级i-WP对角子带；并且

（a35）第一水平边缘映像单元（a34i）还包括第一水平子单元，其在聚合中包括图像X的级i-WP水平子带；

（b35）第一垂直边缘映像单元（a34ii）还包括第一垂直子单元，其在聚合中包括图像X的级i-WP垂直子带；

（c35）第一对角边缘映像单元（a34iii）还包括第一对角子单元，其在聚合中包括图像X的级i-WP对角子带；

（d35）第二水平边缘映像单元（b34i）还包括第二水平子单元，其在聚合中包括图像Y的级i-WP水平子带；

（e35）第二垂直边缘映像单元（b34ii）还包括第二垂直子单元，其在聚合中包括图像Y的级i-WP垂直子带；以及

（f35）第二对角边缘映像单元（b34iii）还包括第二对角子单元，其在聚合中包括图像Y的级i-WP对角子带。

在上述系统中：

（a36）第一合并单元（a34iv）包括第一合并子单元，用于：

对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像应用平方根函数；以及

对应用平方根函数的结果求和；以及

（b36）第二合并单元（b34iv）包括第二合并子单元，用于：

对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像应用平方根函数；以及

对应用平方根函数的结果求和。

在上述系统中：

（a37）第一合并单元（a34iv）包括第三合并子单元，用于：

对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像求和；以及

对求和的结果应用平方根函数；以及

（b37）第二合并单元（b34iv）包括第四合并子单元，用于：

对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像求和；以及

对求和的结果应用平方根函数。

在上述系统中，第一分解单元（a1）和第二分解单元（b1）包括用于应用N级分离小波变换（DWT）的计算装置。

在上述系统中，分离小波变换是Haar变换。可选地，分离小波变换是Newland变换、或使用Daubechies滤波器的小波变换之一。

本发明实施例的系统可包括下述的一个或多个：

（a41）在所述第一分解单元（a25）：

（a41i）第一级1分解单元，对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；

（a41ii）第一级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N；

（b41）在所述第二分解单元（b25）：

（b41i）第二级1分解单元，对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；

（b41ii）第二级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N。在上述系统中，近似质量计量是近似质量映像，边缘质量计量是边缘质量映像，所述质量计量单元（g25）还包括：

（a42）对比度映像单元，生成对比度映像，包括对于图像X和图像Y的近似子带和边缘映像的像素根据其对于人类视觉系统的相应的重要性分配对应值；

（b42）第一集合单元，其使用对比度映像对近似质量映像进行加权集合,以生成近似质量分数；

（c42）第二集合单元，其使用对比度映像对边缘质量映像进行加权集合,以生成边缘质量分数；以及

（d42）分数合并单元，其合并来自步骤（b42）的近似相似性分数与来自步骤（c42）的边缘相似性分数，以确定质量计量。

上述系统还可以包括这样的装置，用于根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

在本发明实施例的系统中：

（a44）近似质量计量单元（c25）包括近似SSIM映像单元，其对图像X的近似子带和图像Y的近似子带应用SSIM IQM，以生成近似结构相似性（SSIM）映像，SSIM_A；

（b44）边缘质量计量单元（f25）包括边缘SSIM映像单元，其在图像X的边缘映像与图像Y的边缘映像之间应用SSIM IQM，以生成边缘SSIM映像，SSIM_E；以及

（c44）质量计量单元（g25）包括SSIM_DWT分数单元，其处理所述SSIM_A和所述SSIM_E以确定SSIM_DWT分数作为质量计量。

在上述系统中：

（a45）近似质量计量单元（c25）包括近似AD映像单元，其对图像X的近似子带和图像Y的近似子带应用AD IQM，以生成近似AD映像，AD_A；

（b45）边缘质量计量单元（f25）包括边缘AD映像单元，其在图像X的边缘映像与图像Y的边缘映像之间应用AD IQM，以生成边缘AD映像，AD_E；以及

（c45）质量计量单元（g25）包括AD_DWT分数单元，其处理所述AD_A和所述AD_E以确定AD_DWT分数作为质量计量。

可选地：

（a46）近似质量计量单元（c25）包括PSNR近似质量分数单元，其对图像X的近似子带和图像Y的近似子带应用PSNR IQM，以生成PSNR近似质量分数，PSNR_A；

（b46）边缘质量计量单元（f25）包括PSNR边缘质量分数确定单元，其在图像X的边缘映像与图像Y的边缘映像之间应用PSNR IQM，以生成PSNR边缘质量分数，PSNR_E；以及

（c46）质量计量单元（g25）包括PSNR_DWT分数单元，其处理所述PSNR_A和所述PSNR_E以确定PSNR_DWT分数作为质量计量。

另外可选地：

（a47）近似质量计量单元（c25）包括VIF近似质量分数单元,其对图像X的近似子带和图像Y的近似子带应用VIF IQM，以生成VIF近似质量分数，VIF_A；

（b47）边缘质量计量单元（f25）包括VIF边缘质量分数确定单元，其在图像X的边缘映像与图像Y的边缘映像之间应用VIF IQM，以生成VIF边缘质量分数，VIF_E；以及

（c47）质量计量单元（g25）包括VIF_DWT分数单元，其处理所述VIF_A和所述VIF_E以确定VIF_DWT分数作为质量计量。

另外可选地：

（a48）所述第一聚合单元（a26）还包括计算装置，用于选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带用于聚合；以及

（b48）所述第二聚合单元（b26）还包括计算装置，用于选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带用于聚合。

根据本发明另一方面，提供了一种计算机可读存储介质，其上存储有计算机可读程序代码指令，所述指令当由处理器执行时进行以下步骤：

（a49）对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b49）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c49）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d49）对图像X的级i（i的范围为级1到N-1）的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；

（e49）对图像Y的级i（i的范围为级1到N-1）的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；

（f49）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g49）处理所述近似质量计量和所述边缘质量计量，以确定质量计量。

尽管详细描述了本发明实施例，对于本领域技术人类显然的是，在下述权利要求的范围内可对所述实施例进行变化和修改。

Claims (17)

1.一种用于确定失真图像Y的质量计量的方法，所述质量计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该方法包括：

（a）对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d）对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级1到N-1；

（e）对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级1到N-1；

（f）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。

2.根据权利要求1所述的方法，其中：

所述步骤（d）还包括：

基于在确定质量计量中将要获得的精度，选择图像X的在每级i的中间子带和细节子带，其中i的范围为1至N-1；以及

仅聚合图像X的选择的中间子带和选择的细节子带；以及步骤（e）还包括：

基于在确定质量计量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；以及

仅聚合图像Y的选择的中间子带和选择的细节子带。

3.根据权利要求2所述的方法，其中：

选择图像X的中间子带和细节子带的步骤还包括，选定具有基本相同的解析度的图像X的选择的所述每级i的中间子带和细节子带；以及

选择图像Y的中间子带和细节子带的步骤还包括，选定具有基本相同的解析度的图像Y的选择的所述每级i的中间子带和细节子带。

4.根据权利要求2或3所述的方法，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；并且

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

5.根据权利要求1至4中任一项所述的方法，包括以下中的一个或多个：

在步骤（a）：

对于级1，对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解；以及

在步骤（b）：

对于级1，对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；以及

对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解。

6.根据权利要求1至5中任一项所述的方法，其中所述近似质量计量是近似质量映像，而所述边缘质量计量是边缘质量映像，所述步骤（g）还包括：

生成对比度映像，包括对于图像X和图像Y的近似子带和边缘映像的像素根据其对于人类视觉系统的相应的重要性分配对应值；

使用对比度映像对近似质量映像进行加权集合,以生成近似质量分数；

使用对比度映像对边缘质量映像进行加权集合,以生成边缘质量分数；以及

合并来自步骤（b18）的近似相似性分数与边缘相似性分数，以确定质量计量。

7.根据权利要求1至6中任一项所述的方法，还包括根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

8.根据权利要求1到7中任一项所述的方法，其中

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用结构相似性（SSIM）IQM，以生成近似SSIM映像，SSIM_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用SSIMIQM，以生成边缘SSIM映像，SSIM_E；以及

步骤（g）包括处理所述SSIM_A和所述SSIM_E以确定SSIM_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用绝对差（AD）IQM，以生成近似AD映像，AD_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用ADIQM，以生成边缘AD映像，AD_E；以及

步骤（g）包括处理所述AD_A和所述AD_E以确定AD_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用峰值信号-噪声比（PSNR）IQM，以生成PSNR近似质量分数，PSNR_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数，PSNR_E；以及

步骤（g）包括处理所述PSNR_A和所述PSNR_E以确定PSNR_DWT分数作为质量计量；

或者

步骤（c）包括对图像X的近似子带和图像Y的近似子带应用视觉信息保真度（VIF）IQM，以生成VIF近似质量分数，VIF_A；

步骤（f）包括在图像X的边缘映像与图像Y的边缘映像之间应用VIFIQM，以生成VIF边缘质量分数，VIF_E；以及

步骤（g）包括处理所述VIF_A和所述VIF_E以确定VIF_DWT分数作为质量计量。

9.根据权利要求1至8中任一项所述的方法，其中所述步骤（a）和（b）包括应用N级分离小波变换，所述分离小波变换可选地是Haar变换、或者Newland变换或利用Daubechies滤波器的小波变换之一。

10.一种用于确定失真图像Y的质量计量的系统，所述质量计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该系统包括：

处理器，以及计算机可读存储介质，其具有存储在其上的计算机可读指令，所述指令当由所述处理器执行时形成以下单元：

（a）第一分解单元，其对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）第二分解单元，其对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）近似质量计量单元，其对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d）第一聚合单元，其对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级1到N-1；

（e）第二聚合单元，其对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级1到N-1；

（f）边缘质量计量单元，其在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）质量计量单元，其处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。

11.根据权利要求10所述的系统，其中

所述第一聚合单元还包括：

第一选择单元，其基于在确定质量计量中将要获得的精度，选择图像X的在每级i的中间子带和细节子带，其中i的范围为1至N-1；以及

第一选择性聚合单元，其仅聚合图像X的选择的中间子带和选择的细节子带；以及

所述第二聚合单元还包括：

第二选择单元，其基于在确定质量计量中将要获得的所述精度，选择图像Y的在所述每级i的中间子带和细节子带；

第二选择性聚合单元，其仅聚合图像Y的选择的中间子带和选择的细节子带。

12.根据权利要求11所述的系统，其中

所述第一聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像X的选择的所述每级i的中间子带和细节子带；以及

所述第二聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像Y的选择的所述每级i的中间子带和细节子带。

13.根据权利要求11或12所述的系统，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括：

级i细节子带和级i小波包（WP）子带；

级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及

级i-WP近似子带还包括级i-水平WP近似子带、级i-垂直WP近似子带和级i-对角WP近似子带。

14.根据权利要求10至13中任一项所述的系统，包括以下一个或多个：

在所述第一分解单元：

第一级1分解单元，对图像X应用多解析度分解，生成用于在级2处理的级1的中间子带；

第一级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N；

在所述第二分解单元：

第二级1分解单元，对图像Y应用多解析度分解，生成用于在级2处理的级1的中间子带；

第二级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N。

15.根据权利要求10至14中任一项所述的系统，还包括计算装置，用于根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。

16.根据权利要求10至15中任一项所述的系统，其中所述第一分解单元（a）和所述第二分解单元（b）包括用于应用N级分离小波变换的计算装置，所述分离小波变换可选地为Haar变换、Newland变换或利用Daubechies滤波器的小波变换。

17.一种计算机可读存储介质，其具有存储在其上的计算机可读程序代码指令，所述指令当由处理器执行时进行以下步骤：

（a）对图像X应用N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像X的中间子带；以及

对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；

（b）对图像Y应用所述N级多解析度分解，包括级1、2、...i、i＋1、...N，以生成：

对于每个级i，i的范围为1至N-1，用于在级i＋1处理的图像Y的中间子带；以及

对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；

（c）对图像X的近似子带和图像Y的近似子带应用图像质量度量（IQM），以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；

（d）对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级1到N-1；

（e）对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级1到N-1；

（f）在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及

（g）处理所述近似质量计量和所述边缘质量计量，以确定质量计量。

Images