CN1666231A - 用于对感知的图像和视频锐度进行估计的客观方法和系统 - Google Patents

Abstract

本发明涉及一种用于在没有访问源数据的情况下评估视频数据的质量的方法和系统。所述系统被布置成对于亮度和色度分量至少在所述水平方向、并且至多在水平和垂直方向从对至少一些像素值执行产生快速傅立叶变换(FFT)。使用一平均FFT来计算峰度和偏斜度，然后通过从峰度和偏斜度的输出计算一个偏移来确定图像质量量度。

Description

用于对感知的图像和视频锐度进行估计的客观方法和系统

技术领域

本发明涉及一种用于测量视频数据的锐度质量的方法和系统，尤其是涉及在没有参照源视频数据的情况下对图像的锐度质量进行估计的方法和系统。

背景技术

视频专家的最终目标是向观看者提供最感性吸引人的视频图像。确定最后的图像质量是好还是坏的一个方法是请一组观看者收看某一确定的视频序列并给出他们的看法。分析视频序列的另一个方法是提供一个自动机构来评估视频质量的优秀或退化。为此，使用了各种量度，即锐度、阻塞、振铃、限幅、噪音、对比度、和时间衰减来评估整个视频质量标准。锐度与图像的细节的清楚性和边沿清晰度相关。例如通过与参考图像相比较的边沿清晰度而能够在空间域中测量图像的相对锐度。当从彼此之间和从背景更加清晰的描绘对象和其具有非常严格定义的边缘时，可感知的锐度提高。然而，在某些情况下，提高的边缘对比度导致细节的减少，从而产生锐度和分辨率相反的特征。

在过去20年对锐度所作的大部分工作一直集中在对静止成像形态的聚焦控制上，例如摄影术、医学成像、和扫描电子显微镜(SEM)。例如，基于边缘轮廓锐度的空间域处理方法使用了边缘的标准均方根梯度。在频率域中，快速傅立叶变换(FFT)法基于下述的事实已经被使用，即较锐利或更加集中的图像在较高的空间域中包含有更多的能量。虽然关于空间一致的信息未被考虑并且高频量度是全局的而非局部的，但是基于FFT的方法已经显示出有希望的结果。然而，基于FFT的方法的主要缺陷为频率成分是图像特定的，并且因此它们不能工作在非参考模式下，也就是在没有减去原始图像锐度的情况下。

发明内容

因此，本发明提出一种客观质量评估，其在没有利用源数据的情况下，基于FFT频谱的较高等级的瞬间使用视频锐度量度来评估图像的客观质量。

本发明涉及一种用于在没有使用参考图像的情况下评估视频数据的质量的装置和方法。

根据本发明的一个方面，提供有一种用于评估输入的视频数据的锐度质量的方法。该方法包括步骤：将所述输入的视频数据转换成包括像素值的相应数字图像数据；从所述像素值中的至少一些产生快速傅立叶变换(FFT)，并对所述产生的FFT计算一平均FFT；使用所述平均FFT计算一统计参考；和从所述计算的统计参考产生一图像质量量度。在图像像素值的每预定水平线上产生所述FFT。在所述实施例中，所述统计参考是通过使用平均FFT计算峰度或偏斜度获得的。然后，通过将所述峰度或偏斜度与一非基线对齐产生所述图像质量量度。

根据本发明的另一方面，提供有一种用于评估输入的视频数据的锐度质量的系统。该系统包括：一转换器，用于将所述输入视频数据转换成包括像素值的相应数字图像数据；一FFT产生器，适于接收所述转换器的输出，用于从所述图像像素值中的至少一些产生快速傅立叶变换(FFT)，并对所述产生的FFT计算一平均FFT；一统计计算器，用于根据所述平均FFT计算一统计参考，和用于确定所产生的FFT的峰度和偏斜度；和一图像质量产生器，用于从所述计算的统计参考通过将所述峰度或偏斜度与一非基线对齐产生一图像质量量度，其中在数字像素值的每预定水平线上产生所述FFT。所述系统进一步包括与FFT产生器耦接的存储器，用于为随后计算平均FFT存储所产生的FFT。

又一个方面为本发明可通过简单、可靠和廉价的执行过程来实现。

附图说明

本发明的前述和其它特征和优点从下述的对在附图中示出的优选实施例的更加详细的说明来看将是显而易见的，附图中的参考符号在通篇各幅图中表示相同的部分。附图不需要按照比例绘制，而替代性的是强调描述本发明的原理。

图1为根据快速傅立叶变换产生的统计参考的图示；

图2为可适用于本发明的实施例的简化方框图；

图3为根据本发明的锐度处理系统的详细功能方框图；

图4为示出根据本发明的评估图像锐度的操作步骤的一部分的示图；

图5为根据本发明的评估图像锐度的操作步骤的一部分的图示；

图6为根据本发明一典型实施例的操作步骤的一部分的图示；

图7为示出根据本发明的评估视频质量的操作步骤的流程图。

具体实施方式

在下述的说明中，为了解释而非限制的目的，对特定的细节进行了说明，例如特定的体系结构、接口、技术等，以对本发明提供一透彻的理解。为了简化和清楚的目的，已知设备、电路和方法的详细说明将被省略以便不会让不必要的细节使本发明的说明变得晦涩。

虽然对包含在高频段中的能量的简单计算可以是锐度的指标，但在类似最小噪音、其他非自然信号和高质量图像的非常严格限制的条件下，它可以只对某些类型的内容起作用。作为高频段的能谱中的能量的简单计算的一个可选择方案，本发明方法集中在能谱中的频率分布的统计特性。如本领域普通技术人员将能够意识到，一般的，在许多统计分析中的基础任务是描绘数据集的位置和变异性。数据的特征可用偏斜度和峰度来表示。偏斜度是对称的量度，如果其看起来到中心点的左右相同，那么它数据集或分布状态就被认为是对称的。峰度是数据相对于正态分布到底是尖的还是平的量度。具有高峰度的数据集在平均值附近趋于具有明显的峰值，然后快速下降，并具有很重的尾部。具有低峰度的数据集在平均值附近趋于具有一平顶，而不是一个尖峰。

图1表示与峰度(K)和偏斜度(S)的增加对应的概率密度函数的峰值的增加的图解表示。峰度和偏斜度的特性可用数学的方式表示如下：

概率分布的第n个中心矩被定义为：

               m_n＝E|(x-μ_x)″|

E代表概率期望值，μ_x＝E[X]，且n≥0。第二中心矩是方差(variance)。根据各中心矩，能够计算某些分布属性，例如峰度和偏斜度。

峰度被定义为第4阶矩与第二阶矩平方的比：

峰度是无量纲数，当应用于正态分布时，它是平坦度和峰值的量度。标准正态分布的峰度是三。

偏斜度定义为：

当应用于正态分布时，偏斜度是对称性或其不足(也就是，向左侧偏斜的分布具有负偏偏斜度，而正偏偏斜度表示分布向右偏斜)的量度。

如果快速傅立叶变换(FTT)被用作概率分布，则偏斜度表示为：

而峰度表示为：

$s^2=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}$

其中 Y代表平均FFT，s²代表方差，Yi代表FFT系数的各个值，N为FFT的大小(空间域中的N个像素被用来计算一大小为N的FFT)。

FFT为离散傅立叶变换(DFT)的快速计算，定义为：

$\left(k\right)=\frac{1}{\sqrt{N}}$ $\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}F\left(k\right)e^{-j2\mathrm{\πkn}/N}$

其逆变换为：

$\left(n\right)=\frac{1}{\sqrt{N}}$ $\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}F\left(k\right)e^{+j2\mathrm{\πnk}/N}$

其中f(n)为空间域信号，F(k)为频率或变换域信号。空间域信号值表示图像的亮度或色度值。

本发明在评估图像的视频质量中并入了上面提到的FFT的统计特性，而不需要访问源图像。

图2表示根据本发明一实施例的锐度处理系统10。通过例子，系统10可以表示一电视、机顶盒、膝上型或掌上型电脑、个人数字助理(PDA)、视频/图像存储设备，例如卡式录像机(VCR)、数字录像机(DVR)、TiVO设备等，以及这些和其它设备的一部分或组合。如图2所示，系统10包括一个或多个视频/图像源12、一个或多个输入/输出设备14、处理器16、存储器18、和显示设备20。所述输入/输出设备14、处理器16和存储器18在通信媒体22上进行通信，所述通信媒体可代表例如总线、通信网络、一个或多个内部连接电路、电路卡或其它设备、以及这些和其它通信媒体的一部分及组合。存储器18可代表例如基于盘的光或磁存储单元、电子存储器、以及这些和其它存储设备的一部分及组合。注意与锐度系统10相关联的各种功能操作可以通过存储在存储器18中的一个或多个软件程序/信号处理程序整体或部分的实现，并通过处理器16来执行。然而，在其它的实施例中，诸如专用集成电路(ASIC)的硬件电路可代替软件指令或与软件指令相结合来实现本发明。

图3表示所述锐度处理系统10的功能方框图。锐度系统10包括转换器100、FFT电路120、统计产生器140、锐度量度产生器180、和存储器200。锐度10的每个部件将在下面详细说明。

在操作中，转换器100将输入的视频数据转换成由像素值构成的相应数字图像数据，然后FFT产生器120在水平和垂直方向上使用比图像的宽度和高度小的线尺寸对每个预定的线(即，每10线)执行FFT。所述线不必对图像子取样，但选择的线不是邻接的，即每第10线，以便利用邻近线中的空间冗余(相似点)。由于对每预定的线执行FFT，所以处理的FFT被暂时存储在存储器200中直到对所有的线都执行了FFT。然后，计算平均FFT值并将它向前传送给K&S产生器140。在最小限度执行过程中，水平线的FFT被使用，从而导致垂直锐度的计算。垂直对象的锐度在感性上是最重要的，并且在许多情况下，它也足以评估图像锐度。使用所有计算的线的平均FFT，利用等式(1)和(2)来计算峰度和偏斜度。变换器180在没有使用源视频序列的情况下根据所述峰度和偏斜度参考值来计算图像质量量度。

此后将参照图4-7来详细说明表示所述视频质量评估处理的实施例。

参照图4，一输入的视频图像被转换成亮度和色差的数字值的8×8的像素块。为此，一般例如以4∶2∶2对视频输入进行取样，其中红色差信号(Cr)和蓝色差信号(Cb)关于亮度(Y)信号被2比1子取样。MPEG标准规定可以关于色差信号Cr、Cb通过4比1的比率对视频信号的亮度分量Y进行取样。注意本发明允许使用其它的取样比例，该比例一般可被编排格式以包含所有图像内容。将视频输入图像取样成预定的格式在现有技术中是已知的，并且可通过本领域普通技术人员容易实现的各种方式来执行。在对输入的视频图像进行取样和格式化之后，每帧包括用于显示的多个水平扫描线，如图4所示。

参照图5，对如图4所示的集中在720像素宽和512水平线上的图像进行FFT计算，其中在每个场(288线)上对每10线进行FFT操作，则每场总计要进行28次FFT。在该例子中，FFT窗大小为512×288/10，或者为512×28，因为根据本发明的实施例使用了小于图像的宽度和高度的线尺寸。对其进行计算的所有线的水平FFT被平均以获得平均FFT值。使用该平均FFT值，排除DC分量，根据等式(1)和(2)对于频谱顶部计算峰度和偏斜度。注意在一可选实施例中，可以对整个图像或图像的一个区域计算FFT。此后，就获得了在没有使用源视频序列的情况下就能够评估视频质量的图像质量量度，下面将参照图6对其进行说明。

图6表示根据本发明实施例的用于获得图像质量量度的视频评估过程的图示。通过将各自的散点图偏移至一非基线，根据使用等式(1)和(2)由K&S产生器140计算的峰度和偏斜度的散点表示可获得锐度量度的评估。如果峰度或偏斜度线能被偏移，以至各个线能够呈现出基本上平坦的线(或非基线)的特性，如图6所示，则将峰度或偏斜度变成非参考锐度量度。因此，客观事实是除去了峰度和偏斜度线的较大变异性，同时保持了与图像锐度相关的灵敏变异性(fine variability)。根据下列等式来计算至非基线的偏移：

可如下的将锐度量度表示为FFT分布的偏斜度和方差的函数：

$\mathrm{SH}=\frac{\mathrm{Tan}\left(C_1\frac{\mathrm{Sk}}{\mathrm{var}}\right)+C_2\mathrm{Sk}}{2},$ 和

$\mathrm{var}=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}}$

其中，C1＝5E4，C2＝0.5，如果SH＞6.5＝＞SH＝0.25SH，则SK由等式(1)来表示。这些等式表示峰度或偏斜度的逻辑或多项式函数的通常形式。所述系数值取决于用于检测所述序列的序列，所述集合越大，量度的精度越高。可选择的，可如下的以两种方式将锐度量度表示为FFT分布的峰度和方差的函数：

Sh＝2.5546Ln(峰度)-3.8496

Sh＝(var)^0.485/100

图7为表示根据本发明实施例的在没有可利用的参考源视频信号的情况下评估视频质量的操作步骤的流程图。

在步骤120，使用小于图像的宽度和高度的线尺寸对每预定线(也就是，每10个线)执行水平和垂直方向上的FFT。然后，在步骤140对所述图像确定平均FFT，并且使用该平均FFT，在步骤160根据等式(1)和(2)对每预定的线计算峰度和偏斜度。最后，在步骤180，通过将在步骤160中计算的峰度和偏斜度与非基线对齐则可获得锐度量度。

通过前述很明显，本发明所具有的优点在于：所述锐度量度系统10在没有使用源参考值的情况下使用FFT的统计属性来获得锐度量度。在现有技术中，利用原始视频作为参考并不适于服务质量监视和连续质量控制系统的发展。因此，本发明的教导可有益于许多视频应用，例如视频成像器的聚焦控制，视频处理运算推导、实时视频质量监视/控制，和联网视频的实时质量控制。

虽然已经表示和说明了本发明的优选实施例，但本领域技术人员应该理解在不脱离本发明的真实范围的情况下，可产生各种变化和修改，并且可对其组成部分替换等价内容。另外，在不脱离本发明中心范围的情况下，可产生许多修改以适合一特定的情形及本发明的教导。因此，并不希望将本发明局限于预期执行本发明的最佳模式的特定实施例，而是本发明包括落在后附权利要求的范围内的所有实施例。

Claims (23)

1.一种用于评估输入视频数据的锐度质量的方法，该方法包括步骤：

将所述输入视频数据转换成由像素值组成的相应数字图像数据；

从所述像素值中的至少一些产生快速傅立叶变换(FFT)，并对所述产生的FFT计算一平均FFT；

使用所述平均FFT计算一统计参考；和

从所述计算的统计参考产生一图像质量量度。

2.如权利要求1所述的方法，其中所述统计参考计算步骤包括使用所述平均FFT计算峰度的步骤。

3.如权利要求2所述的方法，其中所述图像质量量度是通过将所述峰度与一非基线对齐获得的。

4.如权利要求2所述的方法，其中通过根据下述等式之一计算所述峰度的偏移来产生所述图像质量量度(SH)：

SH＝2.5546Ln(峰度)-3.8496。

5.如权利要求4所述的方法，其中所述峰度是根据下式计算得到的：

和

$s^2=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^4}{(N-1)}$

其中 Y代表平均FFT，s代表方差，Y_i代表所产生的FFT的各个值，N代表所产生的FFT的大小。

6.根据权利要求2所述的方法，其中通过根据下式计算所述峰度的偏移来产生所述图像质量量度(SH)：

  SH＝(var)^0.485/100，和

$\mathrm{var}=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}}\·$

7.根据权利要求1所述的方法，其中所述统计参考计算步骤包括使用所述平均FFT计算偏斜度的步骤。

8.根据权利要求7所述的方法，其中所述图像质量量度是通过将所述偏斜度与一非基线对齐获得的。

9.如权利要求7所述的方法，其中通过根据下式计算所述偏斜度的偏移来产生所述图像质量量度(SH)：

$\mathrm{SH}=\frac{\mathrm{Tan}\left(C_1\frac{\mathrm{Sk}}{\mathrm{var}}\right)+C_2\mathrm{Sk}}{2},$ 和

$\mathrm{var}=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}}$

其中， Y表示平均FFT，C1＝5E4，C2＝0.5，Sk表示所述偏斜度，Y_i表示所述产生的FFT的各个值，N表示所述产生的FFT的大小。

10.根据权利要求9所述的方法，其中所述偏斜度是根据下式计算得到的：

其中 Y代表平均FFT，s代表方差，Y_i代表所产生的FFT的各个值，N表示所产生的FFT的大小。

11.根据权利要求1所述的方法，其中在所述像素值的每预定水平线上产生所述FFT。

12.一种用于评估输入视频数据的锐度质量的系统，包括：

一转换器，用于将所述输入视频数据转换成由像素值组成的相应数字图像数据；

一FFT产生器，适于接收所述转换器的输出，用于从所述图像像素值中的至少一些产生快速傅立叶变换(FFT)，并对所述产生的FFT计算一平均FFT；

一统计计算器，用于根据所述平均FFT计算一统计参考；和

一图像质量产生器，用于从所述计算的统计参考产生一图像质量量度。

13.如权利要求12所述的系统，进一步包括与所述FFT产生器相连的存储器，用于为所述平均FFT的随后计算存储所述产生的FFT。

14.如权利要求12所述的系统，其中所述统计计算器被进一步配置成用于确定所述产生的FFT的峰度。

15.如权利要求12所述的系统，其中所述图像质量量度是通过将所述峰度与一非基线对齐获得的。

16.如权利要求14所述的系统，其中所述图像质量产生器根据所述确定的峰度使用下述等式之一计算所述图像质量量度(SH)：

SH＝2.5546Ln(峰度)-3.8496，和

SH＝(var)^0.485/100，

其中SH表示所述图像质量量度，var表示如下：

$\mathrm{var}=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}}$

Y表示平均FFT，k表示所述偏斜度，Y_i表示所述产生的FFT的各个值，N表示所述产生的FFT的大小。

17.如权利要求14所述的系统，其中所述峰度是根据下式计算得到的：

和

$s^2=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}$

其中 Y代表平均FFT，Y_i代表所产生的FFT的各个值，N代表所产生的FFT的大小，s代表方差。

18.根据权利要求12所述的系统，其中所述统计计算器被进一步配置成用于确定所述产生的FFT的偏斜度。

19.根据权利要求18所述的系统，其中所述图像质量量度是通过将所述偏斜度与一非基线对齐获得的。

20.如权利要求18所述的系统，其中所述图像质量产生器根据所述偏斜度使用下式之一确定所述图像质量量度(SH)：

$\mathrm{SH}=\frac{\mathrm{Tan}\left(C_1\frac{\mathrm{Sk}}{\mathrm{var}}\right)+C_2\mathrm{Sk}}{2},$ 和

$\mathrm{var}=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}{(N-1)}}$

其中， Y表示平均FFT，C1＝5E4，C2＝0.5，Sk表示所述偏斜度，Y_i表示所述产生的FFT的各个值，N表示所述产生的FFT的大小。

21.根据权利要求18所述的系统，其中所述偏斜度是根据下式计算得到的：

22.根据权利要求12所述的方法，其中在所述数字像素值的每预定水平线上产生所述FFT。

23.一种在其上存储有代表指令序列的机器可读介质，当由一处理器进行执行时，所述指令序列使所述处理器：

将所述输入的视频数据转换成由像素值组成的相应数字图像数据；

从所述图像像素值中的至少一些产生快速傅立叶变换(FFT)，并对所述产生的FFT计算一平均FFT；

使用所述平均FFT计算一统计参考；和

从所述计算的统计参考产生一图像质量量度。

Images