CN1698281A - 复合客观视频质量测量 - Google Patents

复合客观视频质量测量 Download PDF

Info

Publication number
CN1698281A
CN1698281A CNA028021924A CN02802192A CN1698281A CN 1698281 A CN1698281 A CN 1698281A CN A028021924 A CNA028021924 A CN A028021924A CN 02802192 A CN02802192 A CN 02802192A CN 1698281 A CN1698281 A CN 1698281A
Authority
CN
China
Prior art keywords
information signal
objective quality
quality measurement
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028021924A
Other languages
English (en)
Inventor
A·瓦里德
V·Z·基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Philips North America LLC
Original Assignee
Philips Electronics North America Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics North America Corp filed Critical Philips Electronics North America Corp
Publication of CN1698281A publication Critical patent/CN1698281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

对信息信号成本相关方面的修改进行控制,使信息信号的复合客观质量测量满足预定质量标准。相关结果与修改信号的客观量度结果组合,以生成修改信号的复合客观质量测量。从将主观评价与相似信号的客观质量量度结果相关的统计分析确定相关结果。选择客观质量量度,用于确定复合客观质量测量。采用相似信号从多人获取主观评价。选择相似信息信号的客观质量量度,以提供主观评价和所产生的复合客观质量测量之间最近的相关性。产生质量标准,以一致的方式使成本相关方面最小化,以满足硬件限制,同时又向观众提供最大的满足度。信息信号可以是视频和/或音频信号,以及成本相关方面可以是压缩比或像素数量或处理时间或带宽或者其它方面。

Description

复合客观视频质量测量
发明领域
本发明涉及音频和视频信息信号的客观质量测量领域。本发明还涉及对这种客观质量测量作出响应的信息压缩领域。本发明还涉及对这种客观质量测量作出响应的信息信号记录器和发射机以及向发射机提供控制信号以便响应于这种客观质量测量来控制传输的视频接收机领域。
发明背景
为简化本文所提供的资料,术语“观众”是指视频观众和/或音频听众,以及视频一般是指视频和/或音频。
视频质量的主观测试是评估音频及视频处理系统时的最终判定。通过对观众意见进行民意调查来得到对所产生质量的评估。不过,主观评分取决于人们的偏好,它在不同的观众之间有很大的差异(专家评估与无经验的观众极为不同)。此外,观众评分甚至在反复测试时也会出现变化。主观评估的非确定特性及其昂贵的费用、以及将它用于自动视频处理(例如,监测业务质量QoS只能以自动方式来实现)的不可行性均表明需要稳定的客观方法及装置来自动评估图像质量。
已提议了不同的客观方法。这些方法在性能及复杂度方面极为不同。然而,在各种不同环境下,没有一种模型表现出色,而是在某些条件下具有与主观评估的高度相关性(高性能),而在其它环境下与主观模型的相关性非常低。
本领域的技术人员可参阅以下文档:
1.Ali等人的美国专利申请09/734823。
通过引用将上述文档完整地结合到本文中。
发明概述
本发明是一种用于对诸如视频和/或音频信号的数字信息信号的客观质量测量的方法及装置。选择若干不同的客观量度用于评估视频序列质量。每种量度是一种不同的确定视频质量的自动方法,以及每种量度提供表示信息信号质量的某个方面的相应客观结果。每种量度应测量信号质量的不同方面。这些量度最好是选择为尽可能的独立,但可能有某些重叠。根据下述统计方法来选择量度。例如,对于MPEG视频信号,噪声测量可能部分与削波测量相关,但又部分独立于削波测量。
所选量度的客观结果与相关结果进行结合,以确定信息信号的复合客观质量测量。每种量度最好提供单一的相应测量值,而相关结果包括各相应测量值的单一加权因子,以及复合客观质量测量是度量值与其相应加权因子之积的总和。
以统计方法来确定相关结果,以使多个观众提供的质量评价和基于所选量度集合的复合客观质量测量之间的相关性为最大。可采用诸如Pierson(皮尔逊)分析或者最好是Spearman(斯皮尔曼)等级相关分析的回归分析来进行统计确定。相关结果基于客观质量结果以及采用类似视频序列的主观视频质量评价。视频序列之间的相似性包括它们对客观质量量度至少具有基本相同的结果。最好将完全相同的视频序列用于客观和主观质量测量。
量度选自已知的视频序列的质量相关量度。进行这种选择以便在对复合客观质量测量和主观结果之间的相关性最大化的需要以及同时使确定复合客观质量测量的成本最低之间进行平衡。也就是说,如果某种已知量度的使用显著改善了复合客观质量测量和主观质量评价之间的相关性,同时又不会增加太多成本或者超过在诸如系统复杂度或处理时间等系统成本因素方面的某个所需限制,则选用该量度。
主观质量评价是预定范围内的质量评分。测试方法和参与评定的不同观众的数量要足够多,以便提供对于复合客观视频测量的预定统计可靠性。执行后评定统计分析以改善一组观众与另一组观众结果的一致性。例如,删除未能始终如一地合理地在同一视频信号的未压缩和高度压缩之间进行区分的那些观众的评分。
每个量度最好提供单一测量值,以及相关结果是各相应单一测量值的单一相关加权因子。客观质量测量就是各单一测量值与其相应相关加权因子之积的总和。在这种情况下,该方法可按照更数学的形式表示如下。
根据所希望的性能等级以及所允许的复杂度和处理时间,选择一组客观量度metric1,metric2,...,metricn。每个量度用来确定相应的品质值f1,f2,...,fn。每个品质值fi的加权wi(1≤i≤n)由统计分析确定,以使相似视频序列的复合客观质量测量F和主观评价S之间的相关R达到最大。
F = max R { Σ i = 1 n w i f i }
可采用Spearman等级相关分析来计算相关因子R。Spearman相关系数的主要优点在于它不对主观及客观评估之间的关系假定任何函数形式,而只是假定一种单调关系。相关系数定义为:
r s = 1 - 6 * Σ ( X r - Y r ) 2 n ( n 2 - 1 )
其中X和Y分别是主观及客观数据集的元素,求和是在n对上进行的。
复合客观视频质量测量用于调整视频序列使用的成本相关方面。信息信号的成本相关方面可包括例如压缩比、带宽、路由选择时间、处理时间、存储空间、延迟时间。数字视频信号另外的成本相关方面包括像素数量、边缘削波程度以及确定所表示的灰度级和色彩色调的数量的亮度和颜色比特的数量。音频信号另外的成本相关方面可包括声道的数量和独立、最大和/或最小频率、抽样率。首先,选择客观视频质量测量的质量标准,然后再修改视频序列以调整视频序列的成本相关方面,从而使所处理视频序列的客观视频质量测量满足客观视频质量的标准,这样,处理后的视频序列的客观视频质量测量满足客观视频质量标准。质量标准可以是一个简单的阈值,客观视频质量测量必须等于或高于这个值。例如,可以控制MPEG编码多媒体序列的压缩,从而保持最低客观视频质量。
视频信号的客观质量量度最好包括块边缘损伤量度、噪声量度、削波测量量度以及对比度测量量度。这些众所周知的量度因其相对独立、简单性以及高处理速率而被选择,以便可在视频编码器上实时执行。这些量度中每一个的例示是本领域已知的,不过,本发明包括这些量度的特定实现,如下所述。在离线进行处理的情况下,还可包含更复杂的量度和更高处理时间量度。
噪声量度可包括:将图像分为多个正方形或矩形块;根据人的视觉特征,通过多个滤波器对各个所确定块中的多个像素的变化进行近似过滤;用各像素的各个滤波器对图像进行卷积,以便获得对可感觉有效噪声的估算;根据人的感觉力下限lowHPT和人的感觉力上限highHPT对感觉力的估算进行削波,从而仅包括可感觉噪声;在图像的小正方形或矩形区域上求削波响应的平均值;选择具有最小平均削波响应的m个块,其中,m大于1;以及噪声测量是m个所选块的平均削波响应。
噪声量度的削波函数为:
Figure A0280219200141
人的感觉力上限highHPT和人的感觉力下限lowHPT基于以下模型:
HPT=∫Y(f′)S(f′)df′,其中, Y ( f ) = 10 0.466 ( log ( f ) + 0.4 ) 2 - 0.31 ,
S(f’)是滤波器的空间频谱响应,而f’是空间频率f的归一化形式,用于补偿视距。
削波量度根据视频序列中亮度信号达到其最大允许值的次数和/或亮度信号达到其最小允许值的次数来确定测量。
对比度量度根据包含总能量的第一预定部分的亮度直方图下部的宽度和包含直方图能量的第二预定部分的亮度直方图上部的宽度之间的归一化差异来确定测量,其中,直方图是相对于视频序列的多个图像上的时间的亮度量度。第一和第二预定部分最好是亮度能量的上5%和下5%。
块边缘损伤量度Mh基于图像块边界上平方差的合计。块边缘损伤可定义为:
M h = | | WD c ( f ) | | = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i ) - f c ( 8 i + 1 ) ) | | 2 / E ,
其中f是图像,Dc是列的差分算子,W是根据分块效果的视觉突出定义的加权矩阵,wi是与图像列fc的像素对应的权向量,对于(i,j)和(i,j+1)上的像素差,加权wij定义为:
Figure A0280219200153
其中,μij是差的任一边的1行像素带的平均,σij是其标准偏差,μij是画面部分的平均亮度的量度,σij是强度变化的量度,因此被用在加权的分母中;以及归一化因子E被定义为:
E = 1 7 Σ k = 1 7 S k
其中,Sk被定义为:
S k = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i + k ) - f c ( 8 i + k + 1 ) ) | | 2 .
最好,复合视频质量量度还包括第二统计分析,以将主观评价的结果与相似视频序列的附加客观质量量度结果以及主观评价与两个或两个以上线性关系的客观质量量度的相关结果相关。附加客观质量量度与两个或两个以上客观质量量度不是线性关系。在这种情况下,用于第二统计分析的分析类型可以和用于第一统计分析的分析类型相同。附加客观视频质量最好是清晰度量度,例如,可采用高频分析来确定清晰度量度。
附图概述
通过下面结合以下附图的说明,本领域的技术人员将会清楚本发明的这些和其它目的及优点,其中:
图1说明本发明的例示复合客观质量确定单元。
图2说明包括图1所示复合客观质量确定单元的本发明的信息信号压缩器。
图3说明包括图1所示复合客观质量确定单元的本发明的信息信号记录器。
图4说明包括图1所示复合客观质量确定单元的本发明的信息信号发射机。
图5说明本发明的信息信号分配网络,其中具有包括类似于图1所示复合客观质量确定单元的本发明的信息信号接收机。
图6说明本发明的摄像机,其中具有包括图5所示复合客观质量确定单元的本发明的视频发射机。
发明的详细说明
图1说明本发明的复合客观测量单元100。多个第一分立客观质量确定单元102-108接收信息信号并根据不同的相应客观质量量度,确定相应的分立客观质量测量。每种量度自动提供相对独立的客观质量测量并自动执行。对于视频信号,本例中的第一分立客观质量确定单元可包括噪声量度、削波量度、对比度量度以及块边缘损伤量度。第一相关单元112提供下述相关结果。第一组合单元114将第一量度确定单元的分立客观质量测量与第一相关单元的相关结果进行组合,以产生第一复合客观质量测量116。
例如,各个分立客观质量测量可以是单一测量值,而相关结果可以是各单一测量值的单一加权因子,以及这种组合可以是每个测量值与其相应加权因子之积的总和。如果量度不是线性关系,则还要求更复杂的组合。
从统计分析确定相关结果,从而使多个观众提供的主观质量评价与通过将分立客观质量测量与相关结果组合形成的第一复合客观视频质量测量之间的相关性为最大。统计分析最好是包括诸如Pierson回归分析或者最好是Spearman等级相关分析的回归分析。根据对第一视频信号的主观质量评价以及相似视频信号的客观质量评价来执行统计分析。第一和第二视频信号之间的相似性至少包括类似相似信号的分立客观质量测量要类似,并且相似信号最好实际上为同一信号。获取主观评价的步骤最好是经过仔细设计及控制,以提供最合理的合理统计准确度以及不同组观众的重复性。例如,(主观质量评价和复合客观质量测量之间的)相关性的10%的标准偏差或者从一个相似观众组到另一组的相关结果的10%的标准偏差(例如相应量度的加权)。
这些量度选自已知客观质量量度。随着其它客观质量量度的发展,可对它们进行评估以结合到本发明中。选择这些量度以提供主观质量评价和复合客观视频测量之间的最高相关性,而不需要系统(即复合客观视频测量单元)中的过度复杂度或者处理时间。所有第一量度102-108的量度结果应当是线性关系,以便使组合单元中所需的复杂度和计算时间为最小。如果一个或多个所选量度与这些第一量度不是线性关系,则最好如下所述进行附加处理。选择了所选的噪声、削波、对比度以及块边缘损伤量度的原因在于:它们共同提供复合客观质量测量和主观结果之间的高相关性,并且它们简单并能够以足够的速率进行处理,以允许对MPEG视频编码器中的成本相关因素进行实时控制。当视频处理可离线执行或当执行音频处理时,应选择其它量度。
客观质量确定单元102-106所用的质量量度都是单向量度(即它们不需要访问原信号),因此,只将修改信号被提供给那些单元。如图所示,客观质量确定单元108的质量量度是双向量度(即需要原信号及修改信号的输入的量度),因此,给出了该量度的原始视频信号的输入。视频信号的优选量度是噪声量度、削波量度、对比度量度以及块边缘损伤量度,并且所有这些量度均为单向量度,因此,在优选视频实施例中,将不需要将原始视频信号输入到单元108。
当一个或多个所选量度不是线性关系时,所选量度则最好分为一个或多个线性关系量度组。然后,附加处理级被用于各后续量度组。第一处理级的量度组最好包括多个量度。在每个后续组处理级中,后续组的量度结果以及前一组的复合客观质量测量与附加相关结果进行组合,以便使主观评价和后续组所提供的复合客观质量测量之间的相关性为最大。例如,对于后续级,该组的每个量度可提供单一测量值,以及该组的相关结果可包括该组的各个量度的单一加权因子加上上一组的复合客观质量测量的单一加权因子。在这种情况下,可用将上一组的复合客观质量测量与其相应加权因子之积加上该组中每个量度所产生的测量值与其相应加权因子之积的总和来执行组合。
每个后续附加处理级需要附加统计分析来将主观质量评价与后续客观质量量度的结果相关,以及与上一处理级的复合客观质量测量相关,以预定相关结果(如单一加权因子)。用于确定每个处理状态的相关结果的统计分析方法最好类似于以上对第一处理级所述的情况。
本例示实施例的第二级包括一个或多个第二客观质量确定单元120-122,其中每个单元提供分立的客观质量测量。第二相关单元122提供相关结果,用于使主观评价(如上所述)和第二复合客观质量测量之间的相关性为最大。第二组合单元124将相关结果与第二分立客观质量测量以及上一级的复合客观质量测量相关进行组合,以便生成第二复合客观质量测量126。
对于视频信号,第二组量度中的唯一量度最好是清晰度量度。可选择其它第二量度,但与第一量度中的情况一样,第二量度确定单元中的所有量度结果都应当是线性关系。
如上所述,视频信号的客观质量量度最好包括噪声量度。在噪声量度中,图像分为多个正方形或矩形块;以及根据人的视觉特征,通过多个滤波器对每个所确定块中的多个像素的变化进行近似过滤。然后,用在各像素上的每个滤波器对图像进行卷积,以便获得对可感觉有效噪声的估算。根据人的感觉力下限lowHPT和人的感觉力上限highHPT对感觉力的估算进行削波,从而仅包含可感觉的噪声。
在图像的小正方形或矩形区域上对削波响应进行平均。然后再选择具有最小平均削波响应的m个块,其中,m大于1;以及噪声量度大约为m个所选块的平均削波响应。数量m可以是预定数量,或者可通过预定方法确定各图像的m。
更具体地说,削波函数为:
人的感觉力上限highHPT和人的感觉力下限lowHPT基于以下模型:
HPT=∫Y(f′)S(f′)df′,其中, Y ( f ) = 10 0.466 ( log ( f ) + 0.4 ) 2 - 0.31 ,
S(f’)是滤波器的空间频谱响应,f’是空间频率f的归一化型式,用于补偿视距。
如上所述,客观质量量度包括取决于以下一个或两个方面的削波量度:亮度信号达到其最大值的次数以及亮度信号达到其最小允许值的次数。
如上所述,视频信号的客观质量量度包括对比度量度,它取决于包括总能量的第一预定部分的亮度直方图下部和包括直方图能量的第二预定部分的亮度直方图上部的宽度之间的归一化差异,其中,直方图是相对于视频信号的多个图像上的时间的亮度量度。
如上所述,视频信号的客观质量量度还包括块边缘损伤量度,它基于图像的块边界上平方差的合计。块边缘损伤量度Mh被定义为:
M h = | | W D c ( f ) | | = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i ) - f c ( 8 i + 1 ) ) | | 2 / E ,
其中f是图像,Dc是列的差分算子,W是根据分块效果的视觉突出定义的加权矩阵,wi是与图像列fc的像素对应的权向量,对于(i,j)和(i,j+1)上的像素差,加权wij被定义为:
其中,μij是差值任一边的1行像素带的平均,σij是其标准偏差,μij是画面部分的平均亮度的量度,σij是强度变化的量度,因此被用在加权的分母中;以及归一化因子E被定义为:
E = 1 7 Σ k = 1 7 S k
其中,Sk被定义为:
S k = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i + k ) - f c ( 8 i + k + 1 ) ) | | 2 .
对于音频信号,所选客观量度可包括噪声量度以及高频、低频削波量度。
图2说明本发明的例示信息信号压缩器140。信息压缩器包括图1所示复合客观质量确定单元100,以提供复合客观质量测量126。有损压缩单元142根据输入信息信号146提供有损压缩信息信号144。有损解压缩单元148根据有损压缩信息信号144向复合客观质量确定单元100提供有损解压缩信息信号150。在某些情况下,量度可设计用来直接对压缩信息信号进行操作,在这种情况下,可去掉有损解压缩单元148。质量标准152和复合客观质量测量126被提供给压缩控制单元154,后者向有损压缩单元142提供压缩控制信号156。根据质量标准152以及复合客观质量测量126来控制有损压缩单元142的压缩,从而在有损压缩信息信号144中,复合客观质量测量基本满足质量标准。
对于视频信号,有损压缩可以是视频的MPEG压缩。
质量标准可以简单地要求复合客观质量测量阈值应保持在预定阈值之上,或者可要求阈值满足至少一个预定的时间百分比,或者可以更为复杂。
图3说明包括图1所示复合客观质量确定单元100的本发明的一种信息信号记录器170。记录单元172在媒体174上记录信号174。
信号174包括有损压缩信息信号144,但可为不同形式,例如信道编码以及包括诸如纠错信息的附加信息。包含在记录信号174中的有损压缩信息信号144的复合客观质量测量基本满足质量标准152。该图中其余装置的操作在前面结合其它附图进行了说明。媒体可以是诸如DVD或CD盘之类的光盘,其中,有损压缩信息信号记录在环形或螺旋形纹迹中。
图4说明包括图1所示复合客观质量确定单元100的本发明的信息信号发射机200。发射单元202通过传输媒体206发射信号204。
信号1204包括有损压缩信息信号144,但可以不同形式,例如信道编码,以及包括诸如纠错信息的附加信息。包含在发射信号174中的有损压缩信息信号144的复合客观质量测量基本满足质量标准152。该图中其余装置的操作在前面结合其它附图进行了说明。
传送媒体可以是用于光传输信号的光纤,或者传输媒体可以是用于电子传输信号的导体,或者传输媒体可以是用于电磁无线电发射信号户外空间,或者传输媒体可以是用于磁存储、光存储或固态存储信号的记录载体。
图5说明本发明的信息信号分配网络220,其中包含图4所示传输系统的部件。接收机222包括接收单元224,它从所传送信息信号204中恢复有损压缩信息信号144。压缩控制单元154向控制信号发射单元226提供压缩控制信号156,控制信号发射单元226通过传输媒体206发射所传送控制信号228。控制信号接收单元230从所传送控制信号228恢复压缩控制信号156,该压缩控制信号156被提供给有损压缩单元142。复合客观质量确定单元232与图1所示单元相似,只是其操作并不取决于图1所示原始信息信号与修改信息信号的组合。该图中其余装置的操作在前面结合其它附图进行了说明。
图6说明本发明的摄像机250,其中具有图4所示传输系统的部件和图5所示复合客观质量确定单元。入射光252由光学系统254聚焦到成像系统256。到达成像系统的光强度至少部分由光圈258控制。成像系统256通过放大器260向有损压缩单元142提供输入图像信号146。光圈258由光圈控制单元264控制,以及放大器260的增益由增益控制单元266进行控制。光圈控制单元和增益控制单元最好对质量标准152以及复合客观质量测量126作出响应。该图中其余装置的操作在前面结合其它附图进行了说明。
输入信息信号146是视频信号,以及有损压缩单元142最好是MPEG编码器,从而使有损解压缩单元148是MPEG解码器。
参照特定优选实施例公开了本发明,以便使本领域的技术人员能够制造及使用本发明,以及描述实现本发明的最佳模式。本领域的技术人员可修改这些实施例或增加其内容,或者提供其它实施例,并不背离本发明的精神。因此,本发明的范围仅由以下权利要求书限制。

Claims (26)

1.一种方法,包括:
根据两个或两个以上不同的各自分立的客观量度来确定复合客观质量量度,从而根据将信息信号质量的主观评价与相似信息信号的客观质量测量相关的第一统计分析来确定所述信息信号质量;
根据所述复合客观质量量度,选择用于其它信息信号的复合客观质量测量的质量标准;
修改所述其它信息信号的成本相关方面,使所述复合客观质量测量满足所述质量标准的要求。
2.如权利要求1所述的方法,其特征在于:
所述两个或两个以上不同的分立客观量度中的每一量度产生相应的单一测量值,以及所述相关是加权因子,而所述复合客观质量测量是所述测量值中的每个值与其相应加权因子之积的总和;
所有所述两个或两个以上不同的各自分立的客观量度具有线性关系;
所述第一统计分析包括回归分析,以及所述回归分析是Spearman等级相关分析;
所述信息信号是视频信号;
所述视频信号的所述成本相关方面选自以下一个或多个方面:压缩比、带宽、路由选择时间、存储空间、像素数量;
对于所述两个或两个以上不同的各自分立的客观量度,所述相似信息信号至少具有大约相同的客观质量测量;
所述相似信息信号是相同的信息信号;
所述主观质量评价基于预定范围内的质量评分和测试方法,以及不同质量评估人的数量足够大,以提供所述复合客观质量量度的预定统计可靠性;
所述两个或两个以上不同的各自分立的客观量度包括噪声量度、削波量度、对比度量度以及块边缘损伤量度。
3.如权利要求1所述的方法,其特征在于:
选择一组两个或两个以上分立客观量度metric1,metric2,...,metricn
每个量度用来确定相应的品质值f1,f2,...,fn
每个品质值fi的加权wi(1≤i≤n)由统计分析确定,以使所述同一信息信号序列的所述复合客观质量测量F和主观评价S之间的相关R达到最大;
F = max R { Σ i = 1 n w i f i }
采用Spearman等级相关分析来计算所述相关因子R;
所述相关系数被定义为:
r s = 1 - 6 * Σ ( X r - Y r ) 2 n ( n 2 - 1 )
其中,X和Y分别是所述主观及客观数据集合的所述元素,所述求和是在n对上进行的。
4.如权利要求1所述的方法,其特征在于所述信息信号是视频信号,以及所述两个或两个以上不同的各自分立的客观量度包括噪声量度,所述噪声量度包括以下步骤:
将所述图像分为多个正方形或矩形块;
根据人的视觉特征,通过多个滤波器对每个所述所确定的块中多个像素的所述变化进行近似过滤;
用各个所述像素的各个所述滤波器对所述图像进行卷积,以获得对可感觉有效噪声的估算;
根据人的感觉力下限lowHPT和人的感觉力上限highHPT,通过削波函数对感觉力的所述估算进行削波,从而仅包括可感觉噪声;
在所述图像的所述小正方形或矩形区域上对所述削波响应进行平均;
选择具有最小平均削波响应的m个块,其中m大于1;以及
所述噪声量度大约是所述m个所选块的所述平均削波响应。
5.如权利要求4所述的方法,其特征在于:
所述削波函数为:
Figure A028021920004C1
所述人的感觉力上限highHPT和所述人的感觉力下限lowHPT基于以下模型:
HPT=∫Y(f′)S(f′)df′,其中, Y ( f ) = 10 0.466 ( log ( f ) + 0.4 ) 2 - 0.31 ,
S(f’)是所述滤波器的空间频谱响应,而f’是所述空间频率f的归一化形式,用于补偿视距。
6.如权利要求1所述的方法,其特征在于所述两个或两个以上不同的各自分立的客观量度包括削波量度,所述信息信号是视频信号,而所述削波量度的结果取决于以下一个或两个方面:所述亮度信号达到其最大值的次数以及所述亮度信号达到其最小允许值的次数。
7.如权利要求1所述的方法,其特征在于所述信息信号是视频信号,而所述两个或两个以上不同的各自分立的客观量度包括对比度量度,它取决于包括总能量的第一预定部分的亮度直方图下部的宽度和包括所述直方图的能量的第二预定部分的亮度直方图上部的宽度之间的归一化差异,其中,所述直方图是相对于所述信息信号的多个图像的时间上的亮度量度。
8.如权利要求1所述的方法,其特征在于所述信息信号是分组编码视频信号,而所述两个或两个以上不同的各自分立的客观量度包括基于图像块边界上平方差的合计的块边缘损伤量度。
9.如权利要求9所述的方法,其特征在于块边缘损伤量度Mh被定义为:
M h = | | WD c ( f ) | | = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i ) - f c ( 8 i + 1 ) ) | | 2 / E ,
其中f是图像,Dc是列的差分算子,W是根据分块效果的视觉突出定义的加权矩阵,wi是与图像列fc的像素对应的权向量,对于(i,j)和(i,j+1)上的像素差,所述加权wij定义为:
其中,μij是所述差的任一边的1行像素带的平均,σij是其标准偏差,μij是所述画面部分的平均亮度的量度,σij是强度变化的量度,因此被用在所述加权的分母中;以及所述归一化因子E定义为:
E = 1 7 Σ k = 1 7 S k
其中Sk定义为:
S k = Σ i = 1 N / 8 - i | | w i ( f c ( 8 i + k ) - f c ( 8 i + k + 1 ) ) | | 2 .
10.如权利要求1所述的方法,其特征在于所述复合客观质量量度还基于第二统计分析,以便根据至少一个附加的各自分立的客观质量量度,将所述信息信号质量的主观评价与所述复合客观质量测量以及所述相似信息信号质量的附加客观测量相关,所述至少一个附加的各自分立的客观质量量度与所述两个或两个以上不同的各自分立的客观量度中的任一个都不是线性关系。
11.如权利要求10所述的方法,其特征在于用于所述第二统计分析的所述统计分析方法与用于所述第一统计分析的所述统计分析方法相似。
12.如权利要求10所述的方法,其特征在于所述至少一个附加的各自分立的客观质量量度是清晰度量度。
13.一种复合客观质量确定单元,包括:
多个客观质量确定单元,每个单元采用不同的各自分立的客观质量量度,用于根据输入信息信号来提供各自的客观质量测量;
相关单元,用于提供每个各自的客观质量测量的相关结果;
组合单元,用于将所述客观质量测量与所述各自的相关结果组合以生成复合客观质量测量。
14.一种信息信号修改装置,包括:
信息信号修改单元,用于根据复合客观质量测量和预定质量标准,用可变的量对输入信息信号进行修改,以及用于提供所述修改的信息信号;
复合客观质量确定单元包括:
多个客观质量确定单元,每个单元采用不同的各自分立的客观质量量度,用于根据所述修改的信息信号来提供各自的客观质量测量;
相关单元,用于提供每个各自的客观质量测量的相关结果;
组合单元,用于将所述客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
15.如权利要求14所述的信息信号修改装置,其特征在于:
所述信息信号修改单元是信息信号压缩单元;
所述信息信号修改装置还包括修改控制单元,它根据所述复合客观质量测量和所述预定质量标准来提供修改的控制信号;以及
所述信息信号修改单元根据所述修改控制信号、也就是所述复合客观质量测量及所述预定质量标准来改变所述修改。
16.如权利要求14所述的信息信号修改装置,其特征在于:
所述信号修改单元是有损信息信号压缩单元,而所述修改的信息信号是有损压缩信息信号;
所述信息信号修改装置还包含有损信息信号解压缩单元,用于根据所述有损压缩信息信号来提供有损解压缩信息信号;以及
所述客观质量确定单元根据所述有损解压缩信息信号来提供所述各自的客观质量测量。
17.一种信息信号记录器,包括:
信息信号修改单元,用于根据复合客观质量测量和预定质量标准,用可变的量对输入信息信号进行修改,以及用于提供修改的信息信号;
记录单元,用于在记录媒体上记录所述修改的信息信号;
复合客观质量确定单元包括:
多个客观质量确定单元,每个单元采用不同的各自分立的客观质量量度,用于根据所述修改的信息信号来提供各自的客观质量测量;
相关单元,用于提供每个各自的客观质量测量的相关结果;
组合单元,用于将所述客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
18.一种信息信号发射机,包括:
信息信号修改单元,用于根据复合客观质量测量和预定质量标准,用可变的量对输入信息信号进行修改,以及用于提供修改的信息信号;
发射单元,在传输媒体上发生所述修改的信息信号;
复合客观质量确定单元包括:
多个客观质量确定单元,每个单元采用不同的各自的量度,用于根据所述修改的信息信号来提供各自分立的客观质量测量;
相关单元,用于提供每个各自分立的客观质量测量的相关结果;
组合单元,用于将所述分立的客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
19.一种摄像机,包括:
成像系统,用于根据入射光来提供数字视频信号;
光学系统,用于将入射光聚焦到所述成像系统上;
视频信号修改单元,用于根据复合客观质量测量和预定质量标准,用可变的量对所述视频信号进行修改,以及用于提供修改的信息信号;
发射单元,在媒体上发生所述修改的视频信号;
复合客观质量确定单元包括:
多个客观质量确定单元,每个单元采用不同的各自的量度,用于根据所述修改的视频信号来提供各自分立的客观质量测量;
相关单元,用于提供每个各自分立的客观质量测量的相关结果;
组合单元,用于将所述分立的客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
20.如权利要求19所述的摄像机,其特征在于所述媒体是光记录载体。
21.一种信息信号接收机,包括:
接收机单元,用于从传输媒体恢复修改的信息信号;
解压缩单元,用于对所述修改的信息信号进行解压缩以提供有损解压缩信息信号;
压缩控制单元,它根据所述复合客观质量测量和预定质量标准来提供压缩控制信号;
复合客观质量确定单元包括:
多个量度确定单元,用于根据所述有损解压缩信息信号来提供各自分立的客观质量测量;
相关单元,用于提供每个各自分立的客观质量测量的相关结果;
组合单元,将所述分立的客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
22.一种信息信号网络,包括:
信息信号修改单元,用于根据压缩控制信号,用可变的量对输入信息信号进行压缩;
发射单元,用于在传输媒体上发射所述修改的信息信号;
接收机单元,用于从传输媒体上恢复所述修改的信息信号;
解压缩单元,用于对所述修改的信息信号进行解压缩,以提供有损解压缩信息信号;
压缩控制单元,它根据所述复合客观质量测量和预定质量标准来提供压缩控制信号;
控制信号传输单元,用于在所述传输媒体上传送来自所述压缩控制单元的所述压缩控制信号;
控制信号接收单元,用于从所述传输媒体恢复所述压缩控制信号,以及传递所述压缩控制信号,以便向所述信息信号修改单元提供所述压缩控制信号;
复合客观质量确定单元包括:
多个量度确定单元,用于根据所述有损解压缩信息信号来提供各自分立的客观质量测量;
相关单元,用于提供每个各自分立的客观质量测量的相关结果;
组合单元,用于将所述分立的客观质量测量与所述各自的相关结果组合以生成所述复合客观质量测量。
23.一种由权利要求1所述的方法产生的修改信息信号。
24.一种具有可变有损压缩的修改信息信号,其中调整有损压缩以提供等于或高于预定质量标准的复合客观质量测量。
25.一种记录载体,由以下方法产生:
根据两个或两个以上不同的各自分立的客观量度来确定复合客观质量量度,从而根据将信息信号质量的主观评价与相似信息信号的客观质量测量相关的第一统计分析来确定所述信息信号质量;
根据所述复合客观质量量度,选择另一信息信号的复合客观质量测量的质量标准;
修改所述其它信息信号的成本相关方面,以提供修改信号,从而使所述修改信号的所述复合客观质量测量满足所述质量标准要求;以及
产生包含所述修改信息信号的记录载体。
26.如权利要求1所述的方法,其特征在于所述信息信号是音频信号。
CNA028021924A 2001-05-01 2002-05-01 复合客观视频质量测量 Pending CN1698281A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US28783601P 2001-05-01 2001-05-01
US60/287,836 2001-05-01

Publications (1)

Publication Number Publication Date
CN1698281A true CN1698281A (zh) 2005-11-16

Family

ID=23104558

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028021924A Pending CN1698281A (zh) 2001-05-01 2002-05-01 复合客观视频质量测量

Country Status (6)

Country Link
US (1) US20040190633A1 (zh)
EP (1) EP1435138A4 (zh)
JP (1) JP4209201B2 (zh)
KR (1) KR100871576B1 (zh)
CN (1) CN1698281A (zh)
WO (1) WO2002089344A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715146B (zh) * 2008-10-08 2011-09-07 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN104094312A (zh) * 2011-12-09 2014-10-08 英特尔公司 对基于测得的知觉质量特性的视频处理算法的控制

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
WO2004056134A1 (en) * 2002-12-18 2004-07-01 Koninklijke Philips Electronics N.V. Method of compensating for the effect of undersirable attributes on the measurement of desirable attributes for objective image quality
WO2005055618A1 (en) 2003-12-02 2005-06-16 Agency For Science, Technology And Research Method and system for video quality measurements
DE102004029421A1 (de) * 2004-06-18 2006-01-05 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Bewertung der Güte eines Signals
WO2006118559A1 (en) * 2005-04-29 2006-11-09 Chubb International Holdings Limited Automatic video quality monitoring for surveillance cameras
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
JP4755012B2 (ja) 2005-06-29 2011-08-24 株式会社エヌ・ティ・ティ・ドコモ 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
GB2430102A (en) * 2005-09-09 2007-03-14 Snell & Wilcox Ltd Picture loss detection by comparison of plural correlation measures
EP1763248A1 (en) * 2005-09-13 2007-03-14 Siemens Aktiengesellschaft Computation of subjective video quality
KR100729555B1 (ko) * 2005-10-31 2007-06-19 연세대학교 산학협력단 음성 품질의 객관적인 평가방법
JP4728886B2 (ja) * 2006-06-20 2011-07-20 日本電信電話株式会社 知覚情報提示装置
EP2097834B8 (en) * 2006-11-30 2020-06-17 No More Noise AB Correlation between sets of data
US8839325B2 (en) * 2007-02-14 2014-09-16 At&T Intellectual Property I, L.P. System and method of managing video content quality
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
US8571261B2 (en) 2009-04-22 2013-10-29 Checkvideo Llc System and method for motion detection in a surveillance video
US8712930B1 (en) 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
US8515193B1 (en) 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
US8787454B1 (en) 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
WO2013029214A1 (en) * 2011-08-26 2013-03-07 Huawei Technologies Co., Ltd. Video quality monitor and method for determining a network video quality measure in a communication network
CN102496372A (zh) * 2011-12-15 2012-06-13 中国传媒大学 一种基于非线性参数拟合的低码率音频质量客观评价方法
EP2888877B1 (en) * 2012-08-27 2018-05-02 Thomson Licensing Method and apparatus for estimating content complexity for video quality assessment
EP2808829A1 (en) 2013-05-28 2014-12-03 Vrije Universiteit Brussel Method and apparatus for predicting the perceptual quality of a signal
GB2529446A (en) * 2014-07-17 2016-02-24 British Academy Of Film And Television Arts The Measurement of video quality
WO2019147730A1 (en) * 2018-01-24 2019-08-01 Corning Incorporated Apparatus and methods for inspecting damage intensity
CN113452987B (zh) * 2021-06-02 2022-05-31 鹏城实验室 一种视频质量评估方法、装置、终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928895T2 (de) * 1988-10-11 1999-05-27 Oyo Keisoku Kenkyusho Kk Verfahren und Gerät für universelle adaptiv lernende Bildmessung und -erkennung
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5600574A (en) * 1994-05-13 1997-02-04 Minnesota Mining And Manufacturing Company Automated image quality control
US5835627A (en) * 1995-05-15 1998-11-10 Higgins; Eric W. System and method for automatically optimizing image quality and processing time
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
US6219067B1 (en) * 1998-04-03 2001-04-17 Sarnoff Corporation Measures for characterizing compressed bitstreams
FI981514A (fi) * 1998-07-01 2000-01-02 Nokia Multimedia Network Terminals Oy Menetelmä siirtokanavan laadun monitoroimiseksi ja digitaalinen vastaa notin
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715146B (zh) * 2008-10-08 2011-09-07 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN104094312A (zh) * 2011-12-09 2014-10-08 英特尔公司 对基于测得的知觉质量特性的视频处理算法的控制
CN104094312B (zh) * 2011-12-09 2017-07-11 英特尔公司 对基于测得的知觉质量特性的视频处理算法的控制

Also Published As

Publication number Publication date
JP4209201B2 (ja) 2009-01-14
KR100871576B1 (ko) 2008-12-02
KR20040004353A (ko) 2004-01-13
JP2004533757A (ja) 2004-11-04
EP1435138A2 (en) 2004-07-07
WO2002089344A3 (en) 2004-04-29
WO2002089344A2 (en) 2002-11-07
US20040190633A1 (en) 2004-09-30
EP1435138A4 (en) 2005-08-03

Similar Documents

Publication Publication Date Title
CN1698281A (zh) 复合客观视频质量测量
CN1164086C (zh) 在图象拾取装置中校正亮度分级的方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
US6801665B1 (en) Method and apparatus for compressing and decompressing images
CN1422498A (zh) 提供一个可分级动态客观量度的自动视频质量评价的系统和方法
CN1280709C (zh) 退色补偿的参数化
CN1416651A (zh) 自动视频质量评价的可缩放客观度量
US6697529B2 (en) Data compression method and recording medium with data compression program recorded therein
CN1669338A (zh) 用于测量视频数据质量的方法和设备
CN106937121A (zh) 图像解码和编码方法、解码和编码装置、解码器及编码器
US8948530B2 (en) Adaptive image compression system and method
CN1471302A (zh) 用于提高数字图像质量的方法和装置
CN1867078A (zh) 图像处理装置、方法、程序和图像获取装置
CN110717058B (zh) 信息推荐方法及装置、存储介质
JP2003018599A (ja) 画像符号化装置および方法
CN1218561C (zh) 对图象序列的噪声滤除
CN108900838A (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
CN106937116A (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN1157079A (zh) 用于编码视频图像的装置和方法
CN1465197A (zh) 使用启发式搜索方法以非线性方案组合随机的视频特征组以便最好地描述视频序列的感觉质量的装置和方法
JP2021090135A (ja) 信号処理装置および信号処理方法、システム、学習方法、並びにプログラム
CN114022878A (zh) 一种基于改进YOLOv5的串型番茄实时检测方法
CN113128532A (zh) 一种训练样本数据的获取方法、处理方法、装置及系统
CN1454010A (zh) 利用内容描述元数据转换显示装置中色温的方法及其系统
CN111476744A (zh) 一种基于分类及大气成像模型的水下图像增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication