CN1416651A - 自动视频质量评价的可缩放客观度量 - Google Patents

自动视频质量评价的可缩放客观度量 Download PDF

Info

Publication number
CN1416651A
CN1416651A CN01806282A CN01806282A CN1416651A CN 1416651 A CN1416651 A CN 1416651A CN 01806282 A CN01806282 A CN 01806282A CN 01806282 A CN01806282 A CN 01806282A CN 1416651 A CN1416651 A CN 1416651A
Authority
CN
China
Prior art keywords
objective metric
objective
metric
quality
scalable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN01806282A
Other languages
English (en)
Inventor
C·C·A·M·范宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1416651A publication Critical patent/CN1416651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种提供自动评价视频图象视频质量的可缩放客观度量的改进系统和方法。该系统包括客观度量控制器，能够从多个客观度量模型单元接收多个客观度量品质因数。有些客观度量模型单元是独立的，有些是相互依赖的。系统从多个客观度量品质因数确定可缩放客观度量。该可缩放客观度量表示视频图象的客观度量测量和视频图象的主观测量的最佳相关。系统能够在多个客观度量模型单元接收新视频图象时连续确定可缩放客观度量的新值。

Description

自动视频质量评价的可缩放客观度量
发明领域
本发明一般针对评价视频质量的系统和方法，并且尤其是提供自动评价视频图象视频质量的可缩放客观度量的改进系统和方法。
发明背景
视频专家们一直在寻求新的改进视频图象质量的算法和方法。主要的目标是使获得感知上最吸引人的视频图象成为可能。最终的准则是“观看者对所得图象有多喜欢？”的问题。一种回答该问题的方法是让一组观看者观看某些视频序列，然后记录观看者对有关所得图象质量的意见。但是，结果将会根据观看组之间的不同而一组一组地有所不同。该问题通常会在依赖人的主观意见时遇到。该问题的严重性在观看组由非专家组成时会增加。
只是根据人的感知和主观意见的结果通常要经过后续的统计分析来去除由主观结果的非确定性本性所导致的不定性。已经建议了线性和非线性启发式统计模型来标准化这些类型的主观结果，以获得表示视频质量的优良(或下降)的某一品质因数。在这种意义上，测量视频质量的过程称为“主观视频质量评估”。
主观视频质量评估方法给出可视视频非自然信号的有效指示。但是，主观视频质量评估方法在本性是随机的、复杂的、消耗时间的并且有时难于应用。而且，在为观看组选择适当的观看者中存在问题。未训练的观看者对于新视频处理方法的适用性将是一个较差的评判者。但是，未训练的观看者可能准确地代表了市场中的一般消费者。另一方面，训练过的专家观看者将过于偏重于检测普通消费者不会注意的较小缺陷。
为了避免伴随评价视频质量的主观方法的缺点，期望使用自动的客观方法来评价视频质量。自动的客观方法寻求获得客观的品质因数来量化视频质量的优良(或下降)。获得一个或多个视频质量客观测量的过程必须自动化，以便能够当视频算法在视频流中顺序出现时快速分析不同类型的视频算法。
视频质量的客观测量是完全确定性的。即，重复测试时结果将总是相同的(假定保持相同的设置)。
因为最终的目标是向观看者提供最吸引人的图象，所以视频质量客观测量值的最终判断是客观测量所具有的、与主观结果的相关程度。统计分析通常被用于将客观获得(自动产生)的结果和主观获得(根据人的意见)的结果相关。
本领域需要自动测量视频质量的改进系统和方法。自动测量视频质量的处理称为“客观视频质量评估”。
已经建议了几种不同类型的能够提供客观视频质量评估的算法。这些算法通常称为“客观视频质量模型”。视频质量专家组(VQEG)的报告提出并说明了在十(10)个客观视频质量模型上执行的评价的结果。报告注明的日期是1999年12月，标题是“Final Report from the VideoQuality Experts Group on the Validation of Objective Models ofVideo Quality Assessment(视频质量专家组对视频质量评估的客观模型确认的总结报告)”。报告目前在万维网的http：//www-ext.crc.ca/VQEG上可以得到。
每种不同的客观视频质量模型提供各自不同的视频质量测量，称为“客观度量”。“双端”客观度量是使用第一原始的视频图象和第二经过处理的视频图象来评价视频质量。“双端”客观度量比较第一原始的视频图象和第二经过处理的视频图象，通过确定原始视频图象中的变化来评价视频质量。“单端”客观度量是不参考原始视频图象来评价视频质量。“单端”客观度量对视频图象应用一种算法来评价它的质量。
还没有发现一种客观度量在所有条件下和对于所有视频非自然信号都优于所有其它的客观度量。每种客观度量都有自己的优点和缺点。客观度量在性能上(即，它们的结果与主观质量评估的结果的相关程度)、稳定性上(即，它们对不同类型的视频非自然信号的处理程度)、复杂性上(即，需要多少计算能力执行算法的计算)差别很大。
存在着客观度量可以应用的很大的应用范围。例如，需要快速实时的客观度量来判断广播视频信号的质量。另一方面，越复杂和可靠的客观度量越适于判断非实时视频仿真的质量。
仅使用一种客观度量(和一种客观视频质量模型)将视频信号质量的评价限制在了所用的客观度量能获得的评价等级上。因此期望对视频质量评价使用多于一种的客观度量。一种对视频质量评价使用多于一种客观度量的改进系统和方法已经在美国专利申请中公开，申请号09/734,823，由Ali等在2000年12月12日提交，标题为“System andMethod for Providing a Scalable Dynamic Objective Metric forAutomatic Video Quality Evaluation(提供自动视频质量评价的可缩放动态客观度量的系统和方法)”(代理人案号PHUS000384)。
发明概述
本领域中需要合并客观度量的改进系统和方法，以便形成更有效的视频质量评价的客观度量。
本发明一般地包括提供可缩放客观度量的改进系统和方法，它采用相互依赖的客观度量来自动评价视频图象的视频质量。本发明由独立权利要求来限定。从属权利要求限定了有利的实施例。
在本发明的有利实施例中，本发明的改进系统包括客观度量控制器，它能够从多个客观度量模型单元接收多个客观度量品质因数。客观度量控制器能够对期望和不期望的视频图象特性都使用客观度量。客观度量控制器还能够使用多个相互依赖的客观度量。客观度量控制器能够从多个相互依赖的客观品质因数确定可缩放客观度量。
在本发明的有利实施例中，本发明的改进方法包括步骤：在客观度量控制器中从包括至少一对相互依赖的客观度量模型单元的多个客观度量模型单元接收多个客观度量品质因数，和从该多个客观度量品质因数确定可缩放客观度量。
本发明的主要目的是提供一种用于提供可缩放客观度量的改进系统和方法，以便使用相互依赖的客观度量模型单元来自动评价视频图象的视频质量。
在有利实施例中，本发明根据一相关因子提供可缩放客观度量，该相关因子是从至少一对相互依赖的客观度量模型单元的相互依赖性数学描述而导出的。
在有利实施例中，本发明根据一相关因子提供可缩放客观度量，该相关因子是使用采用客观质量分数和主观质量分数的神经网络算法而导出的。
在有利实施例中，本发明在连续接收新的视频图象时从多个客观度量品质因数的新值连续确定可缩放客观度量的新值。
前面已非常广地概述了本发明的特征和技术优点，从而本领域的技术人员可以更好地理解以下的发明详述。构成发明的权利要求主题的本发明另外的特征和优点将在下文中说明。本领域的技术人员应当意识到他们可以容易地使用公开的概念和特定实施例作为基础来修改或设计其它执行本发明相同目的的结构。本领域的技术人员还将认识到这种相当的构造没有脱离本发明最广泛形式的范围。
在开始发明详述以前，提出在整个该专利文件中使用的某些单词和短语的定义是有利的：术语“包括”和“包含”和其派生词，意思是没有限制的包括；术语“或”，是可兼的，意思是和/或；短语“相关联”和“与之相关联”以及其派生词，可以意味着包括，被包括在内，互相连接，包含，包含在内，与或和...连接，与或和...耦合，通信，合作，交错，并置，接近，被缚于或与...相缚，具有，具有...特性，等等；而术语“控制器”，“处理器”或“装置”意思是任何至少控制一种操作的装置、系统或其部分，这样的装置可以由硬件、固件或软件或它们中至少两个的某种组合实现。应当注意，与任何特定控制器相关联的功能性可以是集中或分散的，而不论是本地的还是远程的。某些单词和短语的定义被提供在整个该专利文件中，本领域的普通技术人员应当理解，在许多，如果不是多数的实例中，这样的定义适应于这样定义的单词和短语的在前和将来的使用。
附图简述
为了更全面地理解本发明和其优点，现在结合相应附图参考以下的说明，其中相同的数字表示相同的对象，并且该图示出了：
一个框图，它举例说明从视频流获得多个客观度量品质因数的多个客观度量模型单元，以及一个能够使用多个客观度量品质因数来确定可缩放客观度量的客观度量控制器。
发明详述
下面讨论的附图和在该专利文件中提出来说明本发明改进的系统和方法原理的各种实施例仅是作为举例说明，而不应当以任何方式解释为限制本发明的范围。本领域的技术人员将容易地理解本发明的原理也可以成功地应用在各类评价视频质量的装置中。
附图示出了系统100，它用于提供自动视频质量评价的可缩放客观度量。系统100接收视频流110。多个客观度量模型单元(120，130，...，140)中的每个单元都接收视频流110的视频信号的副本。客观度量模型单元120应用第一客观度量模型(称为“度量1”)来获得第一品质因数f(1)，它表示第一客观度量模型基础上的视频信号的质量。该第一品质因数f(1)被提供给控制器150。
类似地，客观度量模型单元130应用第二客观度量模型(称为“度量2”)来获得第二品质因数f(2)，它表示第二客观度量模型基础上的视频信号的质量。第二品质因数f(2)也被提供给控制器150。以这种方式继续，其它的客观度量模型单元被加入，直到最后的客观度量模型单元140已经加入为止。客观度量模型单元140应用最后的客观度量模型(称为“度量N”)。客观度量模型单元(120，130，...，140)获得多个品质因数(f(1)，f(2)，...，f(N))并将它们提供给控制器150。
品质因数(f(1)，f(2)，...，f(N))通过N个不同的客观度量来表示视频流质量的一系列N个评价。品质因数(f(1)，f(2)，...，f(N))也可以表示为f(i)，其中i的值从1到N。
如将在下面更详细说明的，本发明的系统100提供使用品质因数f(i)计算可缩放客观度量的系统和方法。字母“F”(图中所示)表示本发明的可缩放客观度量。
本发明的系统100包括控制器150和存储器160。控制器150可以包括传统的微处理器芯片或者专门设计的硬件。控制器150经信号通信线路(图1所示)连接到多个客观度量模型单元(120，130，...，140)。控制器150结合位于存储器160内的操作系统(未示出)一起工作来处理数据、存储数据、提取数据和输出数据。控制器150通过执行存储在存储器160中的计算机指令来计算可缩放客观度量“F”。
存储器160可以包括随机存取存储器(RAM)、只读存储器(ROM)，或者随机存取存储器(RAM)和只读存储器(ROM)的组合。在本发明的有利实施例中，存储器160可以包括非易失性随机存取存储器(RAM)，例如闪存。存储器160还可以包括大容量存储数据装置，例如硬盘驱动器(未示出)或者光盘只读存储器(CD-ROM)(未示出)。
注意，本发明的系统和方法可以在各种类型的视频处理系统中使用，没有限制地包括，基于硬盘驱动的电视机和基于硬盘驱动的视频录象机，例如ReplayTVTM视频录象机或TiVOTM视频录象机。
控制器150和度量计算算法170一起组成能够实现本发明的客观度量控制器。在存储器160内存储的度量计算算法170中的计算机指令的指示下，控制器150使用品质因数f(i)计算可缩放客观度量“F”。
控制器150内的加权单元190动态检测视频序列目前出现的特性。目前出现的特性可以包括这样的特征：清晰度，色彩，饱和度，运动，和类似类型的特征。加权单元190将值(或“加权”)w(i)指定给每个客观度量(度量1，度量2，...，度量N)，例如，如果度量1在某个第一类视频信号上使用时特别好，那么给予w(1)值大于其它w(i)值的值。反过来，如果度量2在同样的第一类视频信号上使用时不是很好，那么将给予w(2)值小于其它w(i)值的值。如果存在第二类视频信号，可能在第二类视频信号上使用时度量1不如度量2好。在这种情况中，给予w(2)值高于其它w(i)值的值，给予w(1)值低于其它w(i)值的值。
一般来说，加权单元190选择的w(i)值将根据加权单元190动态检测的视频信号的类型而变化。控制器150使用度量计算算法170来计算每个w(i)和f(i)乘积的和S。即，
S＝w(1)f(1)+w(2)f(2)+...+w(N)f(N)             (1)
或  S＝w(i)f(i)                               (2)
其中i的值从1进行到N。
相关因子r(i)和每个品质因数f(i)相关联。相关因子r(i)从下面的表达式获得：
r(i)＝1-[A(i)/B]                              (3)
其中A(i)＝6[X(i，j)-Y(i，j)]2                (4)
其中j的值从1进行到n。
并且其中B＝n(n2-1)                           (5)
X(i，j)的值是视频图象的一组n个客观数据值的值。Y(i，j)的值是同样视频图象的一组n个主观数据值的值。即，X数据点的数目(n)和Y数据点的数目(n)相同。
值r(i)称为“枪兵等级(spearman rank)”的相关因子。值r(i)是客观X值有多符合主观Y值的测量。每个品质因数f(i)的相关因子r(i)的值之前已经由统计分析确定，是已知的。相关因子r(i)的值存储在存储器160中的度量参数查找表180中。
需要可缩放客观度量“F”的“最佳拟合”值。“F”的“最佳拟合”值表示视频质量的客观度量测量(自动产生)和视频质量的主观测量(从人的意见)的最高相关等级。“F”的“最佳拟合”值表示视频质量的客观测量对视频质量的主观测量的最接近近似值。因为视频流中的视频图象持续变化，“最佳拟合”将需要持续自动更新。术语“动态”是指本发明的客观度量连续改变它的值以考虑视频流中的视频图象连续的能力。
如前所述，加权单元190在视频序列的特性出现时连续(即，动态)检测它们。对于每个相关因子r(i)，加权单元190将w(i)的值连续指定给每个品质因数f(i)。为了动态获得“F”的“最佳拟合”值，度量计算算法170为每个r(i)值确定一个能使值S为最大值的w(i)的值。这些值中最大的(即最大值)被选定为可缩放客观度量“F”。即，
F＝Maximum[S(r(1))，S(r(2))，...，S(r(N))]        (6)
因为新的客观度量模型单元能够容易地加入(只要它们的相关因子r(i)能被确定)，所以可缩放客观度量“F”被称为可缩放。另外，不再需要的客观度量模型单元能够容易地去除。
本发明的可缩放客观度量“F”提供很大的灵活性。例如，对于快速(实时)视频信号，任何复杂的测量客观度量可以被断开，从而它们的品质因数不在度量计算处理中考虑。对于能够使用更多时间来执行度量计算的仿真和视频链优化应用，则可以接入更复杂的测量客观度量，从而它们的品质因数可以在度量计算处理中被考虑。
本发明的可缩放客观度量避免了任何单个客观度量的缺点。这是因为加权单元190将把低值指定给在出现某组非自然信号时运行不好的任何客观度量的w(i)。和任何单个客观度量相比，本发明的可缩放客观度量实现了和主观测量结果的最高相关性。本发明的可缩放客观度量将至少在所有环境下和最好的单个客观度量一样好。因为可缩放客观度量允许包括任何客观度量，所以本发明的系统和方法不限于使用特定类型的客观度量(例如，“单端”客观度量或“双端”客观度量)。
注意，如果需要，本发明已经在软件中实现的元件(例如，加权单元190)可以在硬件中实现。
如所示，本发明的系统100还包括神经网络单元195。在一个实施例中，神经网络单元195可以位于控制器150内。神经网络单元195的工作将在下面更全面地说明。
本发明系统的工作方法能够说明如下。来自视频流110的视频图象被提供给N个客观度量模型单元(120，130，...，140)。N个客观度量模型单元(120，130，...，140)评价各个视频图象并获得N个各自的品质因数f(i)。
然后，客观度量控制器150中的加权单元190动态检测视频图象的视频特性，并将N个加权w(i)指定给N个品质因数，f(i)。对于每个相关因子r(i)，客观度量控制器150计算和S(r(i))，它等于加权w(i)和品质因数f(i)的各个乘积的和。
然后，客观度量控制器150选择和S(r(i))的最大值，它对应于视频质量客观测量和视频质量主观测量的最佳相关性。然后客观度量控制器150将该值指定为可缩放客观度量“F”的值。然后客观度量控制器150输出该“F”值。
在“F”值已经输出以后，要确定客观度量控制器150是否仍然接收视频图象。如果视频已经结束，那么该过程结束。如果视频还没有结束并且还有视频图象正在被接收，则控制返回到单元120-140执行的第一步骤，并且客观控制器150继续以已经说明的方式工作。
本发明已经描述为评估计算视频图象的视频质量的可缩放客观度量的系统。应当理解，本发明的“可缩放客观度量”是广义的情况，它包括作为子集的提供“静态客观度量”的更特定的情况。为了提供“静态客观度量”，本发明从多个客观度量模型单元接收多个客观度量品质因数，为多个客观度量品质因数中的每一个确定加权值w(i)，然后在对视频流110计算客观度量“F”的处理期间保持加权值w(i)恒定(即，不变化)。
本发明还包括一种通过同时使用表示期望的图象特征的单个客观度量和表示不期望的图象特征的单个客观度量来计算客观度量“F”的系统和方法。期望的图象特征的例子是清晰度和对比度。不期望的图象特征的例子是噪声、块状和混叠。产生良好效果的动态客观度量“F”可以通过使用竞争的单个客观度量来获得。这就是说，表示期望和不期望图象特征的单个客观度量要被合并。
单个客观度量可以相互依赖。例如，考虑依赖于图象中噪声出现的简单清晰度客观度量。让图象的清晰度由高频带BH中的信号功率PH表示。增强图象清晰度将使该频带中的信号功率增加到PH’，其中PH’等于PH加PH中的变化(即，ΔPH)。这可以表示为：
PH’＝PH+ΔPH                                        (7)
测量到的信号功率是图象清晰度的一种指示。
向干净的图象加上白噪声也会使信号功率增加为
PH”＝PH+NH                                        (8)
其中NH是频带BH中的噪声功率。清晰度度量将因此被定义为整个信号功率PH减去测量的噪声功率NH。清晰度度量相互依赖于噪声度量。
如果使用不相互依赖的单个客观度量，那么可缩放客观度量“F”按方程式(6)来计算。指定给期望特征的加权因子被给予与指定给不期望特征的加权因子相反的符号。
如果使用相互依赖的单个客观度量，那么可缩放客观度量“F”不必是单个客观度量值的线性函数。当存在相互依赖的单个客观度量时，可缩放客观度量“F”的值可以通过(1)用数学方程式描述相互依赖性和(2)将相互依赖性对应的图象和主观质量分数进行相关来确定。
可选地，可缩放客观度量“F”的值可以通过使用同时采用客观质量分数和主观质量分数的神经网络算法来确定。在本发明的这个实施例中，控制器150采用神经网络单元195从相互依赖的客观度量的值来计算可缩放客观度量“F”的值。在一个实施例中，神经网络单元195位于控制器150内。在另一个实施例中，神经网络单元195可以位于控制器150的外部。
本发明系统的一种可替换的工作方法能够说明如下。来自视频流110的视频图象被提供给N个客观度量模型单元(120，130，...，140)。该N个客观度量模型单元(120，130，...，140)评价该视频图象并获得N个各自的品质因数f(i)。
然后，客观度量控制器150中的加权单元190动态检测视频图象的视频特性，并将N个加权w(i)指定给N个品质因数f(i)。对于独立的(即，非相互依赖的)客观度量，客观度量控制器150使用相关因子r(i)计算和S(r(i))。和S(r(i))等于加权w(i)和品质因数f(i)的各个乘积的和。
然后，对于独立的(即，非相互依赖的)客观度量，客观度量控制器150选择和S(r(i))的最大值，它对应于视频质量客观测量和视频质量主观测量的最佳相关性。然后客观度量控制器150将该值指定为可缩放客观度量“F”的值。
对于相互依赖的客观度量，客观度量控制器150从相互依赖的客观度量相互依赖性的数学描述来计算可缩放客观度量“F”的值。
客观度量控制器150然后输出“F”值。“F”值已经输出以后，要确定客观度量控制器150是否仍然接收视频图象。如果视频已经结束，那么该过程结束。如果视频还没有结束并且还有视频图象正在被接收，则控制返回到第一步骤，并且客观控制器150继续以已经说明的方式工作。
本发明系统的另一种工作方法能够说明如下。来自视频流110的视频图象被提供给N个客观度量模型单元(120，130，...，140)。N个客观度量模型单元(120，130，...，140)评价该视频图象并获得N个各自的品质因数f(i)。
对于独立的或相互依赖的客观度量，控制器150使用神经网络单元195从相互依赖的客观度量的值计算出可缩放客观度量“F”的值。神经网络单元195中的神经网络算法之前已经用主观视频质量分数训练过。
然后，客观度量控制器150输出“F”值。“F”值已经输出以后，要确定客观度量控制器150是否仍然接收视频图象。如果视频已经结束，那么该过程结束。如果视频还没有结束并且还有视频图象正在被接收，则控制返回到第一步骤，并且客观控制器150继续以已经说明的方式工作。
虽然已经详细说明了本发明，但是本领域的技术人员应当理解，他们能够在其中进行各种改变、取代和替换，而不脱离由独立权利要求限定的本发明最广泛形式的范围。在权利要求中，放置在括号之间的任何参考符号不应当解释为限制权利要求。单词“包括”不排除除了权利要求中列出的以外的元件或步骤的存在。元件前的单词“一个”不排除多个这种元件的存在。本发明能够通过包括几个不同元件的硬件和通过适当编程的计算机来实现。在列举几个装置的装置权利要求中，这些装置中的几个装置能够由同一项硬件实现。在相互不同的从属权利要求中叙述某些措施的简单事实不表示这些措施的组不能被有利地使用。

Claims (17)

1.一种提供评价视频图象视频质量的可缩放客观度量的系统，所述系统包括：
客观度量控制器，能够从多个客观度量模型单元接收多个客观度量品质因数，并且能够从所述多个客观度量品质因数来确定所述可缩放客观度量，其中所述多个度量模型单元中至少一对单元是相互依赖的。
2.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述多个客观度量品质因数的数目可从二变化到N，这里N是一个整数。
3.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够从一相关因子确定所述可缩放客观度量，所述相关因子从所述多个度量模型单元的所述至少一对相互依赖单元的相互依赖性的数学描述而导出。
4.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够从一相关因子确定所述可缩放客观度量，所述相关因子是使用采用客观质量分数和主观质量分数的神经网络算法而得出的。
5.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，包括加权单元，通过对每个所述客观度量品质因数使用相关因子r(i)，将加权值指定给多个非相互依赖的客观度量品质因数的每一个，其中客观度量品质因数的每个相关因子r(i)表示客观度量品质因数对视频图象的特性评价的良好程度。
6.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述多个客观度量模型单元包括至少一个用于期望的视频图象特征的客观度量模型单元和至少一个用于不期望的视频图象特征的客观度量模型单元。
7.如权利要求5所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器使用所述相互依赖的客观度量的相互依赖性数学描述而从相互依赖的客观度量计算所述可缩放客观度量的值F。
8.如权利要求5所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够计算多个非相互依赖的客观度量的多个和，其中对于各个所述的相关因子r(i)，每个和S(r(i))等于加权值w(i)和品质因数f(i)的每个乘积的和。
9.如权利要求8所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够通过选择所述可缩放客观度量为该多个和S(r(i))的最大值来获得所述可缩放客观度量，其中所述最大值表示所述视频图象的客观度量测量和所述视频图象的主观测量的最佳相关。
10.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够在所述多个客观度量模型单元连续接收新视频图象时从所述多个客观品质因数的新值连续确定所述可缩放客观度量的新值。
11.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器能够将至少一个客观度量加到所述多个客观品质因数，并且其中所述客观度量控制器能够从所述多个客观品质因数中删除至少一个客观度量。
12.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，其中所述客观度量控制器包括：
控制器，能够从多个客观度量模型单元接收多个客观度量品质因数f(i)；和
包含在与所述控制器耦合的存储器内的度量计算算法，所述度量计算算法包含指令，能够由所述控制器执行来从所述多个客观度量品质因数f(i)的加权平均确定所述可缩放客观度量的值F，其中所述多个客观度量模型单元中的至少一对单元是相互依赖的。
13.如权利要求1所述的提供评价视频图象视频质量的可缩放客观度量的系统，包括：
多个客观度量模型单元，其中所述多个客观度量模型单元中的至少一对单元是相互依赖的；
客观度量控制器，能够从所述多个客观度量模型单元接收多个客观度量品质因数，其中所述客观度量控制器能够从多个非相互依赖的客观度量品质因数f(i)确定所述可缩放客观度量的值F，并且能够从至少两个相互依赖的客观度量确定所述可缩放客观度量的值F，其中所述值F表示一客观度量，该客观度量表示视频质量的客观度量测量和视频质量的主观测量的最大级相关。
14.一种提供评价视频图象视频质量的可缩放客观度量的方法，包括步骤：
在客观度量控制器中从多个客观度量模型单元接收多个客观度量品质因数，其中所述多个度量模型单元中的至少一对单元是相互依赖的；和
从所述多个客观度量品质因数确定所述可缩放客观度量。
15.如权利要求14所述的提供评价视频图象视频质量的可缩放客观度量的方法，进一步包括步骤：
当所述多个客观度量模型单元接收新视频图象时，在所述客观度量控制器中从所述多个客观度量模型单元接收所述多个客观度量品质因数的新值；和
从所述多个客观度量品质因数的所述新值连续确定所述可缩放客观度量的新值。
16.如权利要求14所述的提供评价视频图象视频质量的可缩放客观度量的方法，进一步包括步骤：
为所述多个客观度量品质因数中的每个品质因数确定加权值w(i)；
保持所述加权值恒定；和
使用所述恒定加权值来计算所述可缩放客观度量。
17.一种提供评价视频图象视频质量的可缩放客观度量的方法，包括步骤：
在客观度量控制器中从多个客观度量模型单元接收多个客观度量品质因数，其中所述多个客观度量模型单元中的每一个单元是独立的；和
由使用同时采用客观质量源和主观质量源的神经网络算法得到的相关因子，从所述多个客观度量品质因数确定所述可缩放客观度量。
CN01806282A 2001-01-10 2001-12-17 自动视频质量评价的可缩放客观度量 Pending CN1416651A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US26084201P 2001-01-10 2001-01-10
US60/260,842 2001-01-10
US09/942,494 2001-08-30
US09/942,494 US6876381B2 (en) 2001-01-10 2001-08-30 System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics

Publications (1)

Publication Number Publication Date
CN1416651A true CN1416651A (zh) 2003-05-07

Family

ID=26948210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01806282A Pending CN1416651A (zh) 2001-01-10 2001-12-17 自动视频质量评价的可缩放客观度量

Country Status (6)

Country Link
US (1) US6876381B2 (zh)
EP (1) EP1352530A1 (zh)
JP (1) JP2004518344A (zh)
KR (1) KR20020084172A (zh)
CN (1) CN1416651A (zh)
WO (1) WO2002056605A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009155814A1 (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN1809838B (zh) * 2003-06-18 2010-04-14 英国电讯有限公司 用于视频质量评估的方法和系统
WO2011134110A1 (en) * 2010-04-30 2011-11-03 Thomson Licensing Method and apparatus for measuring video quality using at least one semi -supervised learning regressor for mean observer score prediction
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及系统
US9924167B2 (en) 2011-11-28 2018-03-20 Thomson Licensing Video quality measurement considering multiple artifacts
CN107852496A (zh) * 2015-05-11 2018-03-27 奈飞公司 用于预测感知视频质量的技术
CN109145522A (zh) * 2018-10-29 2019-01-04 苏州科技大学 基于可扩缩式动态性能评价函数的进给系统伺服优化方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968540B2 (en) * 2000-10-25 2005-11-22 Opnet Technologies Inc. Software instrumentation method and apparatus
US6643613B2 (en) * 2001-07-03 2003-11-04 Altaworks Corporation System and method for monitoring performance metrics
US7219034B2 (en) * 2001-09-13 2007-05-15 Opnet Technologies, Inc. System and methods for display of time-series data distribution
AU2003202771A1 (en) * 2002-03-08 2003-09-22 Koninklijke Philips Electronics N.V. Quality of video
JP2006507775A (ja) * 2002-11-25 2006-03-02 サーノフ・コーポレーション 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
CN1729703A (zh) * 2002-12-18 2006-02-01 皇家飞利浦电子股份有限公司 用于补偿在测量客观图像质量的期望属性时的不期望属性的影响的方法
JP4257333B2 (ja) * 2003-08-22 2009-04-22 日本電信電話株式会社 映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム
EP1700491A4 (en) * 2003-12-16 2009-01-21 Agency Science Tech & Res MEASURE THE IMAGE AND VIDEO QUALITY
US7433533B2 (en) * 2004-10-27 2008-10-07 Microsoft Corporation Video performance evaluation
KR100691948B1 (ko) * 2005-03-03 2007-03-09 엘지전자 주식회사 비디오 스케일링 장치 및 방법.
EP1862017A4 (en) * 2005-03-25 2011-03-23 Algolith Inc DEVICE AND METHOD FOR OBJECTIVELY EVALUATING THE DCT-CODED VIDEO QUALITY WITH OR WITHOUT AN ORIGINAL VIDEOS SEQUENCE
KR100731358B1 (ko) * 2005-11-09 2007-06-21 삼성전자주식회사 화질 평가 방법 및 시스템
CN100588271C (zh) * 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JPWO2008123126A1 (ja) * 2007-03-22 2010-07-15 日本電気株式会社 画質評価システム、方法およびプログラム
KR100893609B1 (ko) * 2007-06-05 2009-04-20 주식회사 케이티 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법
US8457193B2 (en) * 2007-09-28 2013-06-04 Intel Corporation No-reference video quality model
US8600915B2 (en) 2011-12-19 2013-12-03 Go Daddy Operating Company, LLC Systems for monitoring computer resources
US8719196B2 (en) 2011-12-19 2014-05-06 Go Daddy Operating Company, LLC Methods for monitoring computer resources using a first and second matrix, and a feature relationship tree
KR101327709B1 (ko) * 2012-03-23 2013-11-11 한국전자통신연구원 비디오 품질 측정 장치 및 그 방법
CN105122305B (zh) 2013-01-22 2018-10-30 美国莱迪思半导体公司 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制
US10827185B2 (en) 2016-04-07 2020-11-03 Netflix, Inc. Techniques for robustly predicting perceptual video quality
US10586110B2 (en) 2016-11-03 2020-03-10 Netflix, Inc. Techniques for improving the quality of subjective data
KR101836096B1 (ko) 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US10887602B2 (en) 2018-02-07 2021-01-05 Netflix, Inc. Techniques for modeling temporal distortions when predicting perceptual video quality
US10721477B2 (en) 2018-02-07 2020-07-21 Netflix, Inc. Techniques for predicting perceptual video quality based on complementary perceptual quality models
US11363275B2 (en) 2020-07-31 2022-06-14 Netflix, Inc. Techniques for increasing the accuracy of subjective quality experiments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
DE19521408C1 (de) * 1995-06-13 1996-12-12 Inst Rundfunktechnik Gmbh Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder
FR2795578B1 (fr) * 1999-06-23 2002-04-05 Telediffusion Fse Procede d'evaluation de la qualite de sequences audiovisuelles
US6678424B1 (en) * 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US6643416B1 (en) * 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US6798919B2 (en) * 2000-12-12 2004-09-28 Koninklijke Philips Electronics, N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809838B (zh) * 2003-06-18 2010-04-14 英国电讯有限公司 用于视频质量评估的方法和系统
WO2009155814A1 (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
WO2011134110A1 (en) * 2010-04-30 2011-11-03 Thomson Licensing Method and apparatus for measuring video quality using at least one semi -supervised learning regressor for mean observer score prediction
US8824783B2 (en) 2010-04-30 2014-09-02 Thomson Licensing Method and apparatus for measuring video quality using at least one semi-supervised learning regressor for mean observer score prediction
US9924167B2 (en) 2011-11-28 2018-03-20 Thomson Licensing Video quality measurement considering multiple artifacts
CN107852496A (zh) * 2015-05-11 2018-03-27 奈飞公司 用于预测感知视频质量的技术
CN107852496B (zh) * 2015-05-11 2021-06-15 奈飞公司 用于预测感知视频质量的方法、系统及存储介质
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及系统
CN109145522A (zh) * 2018-10-29 2019-01-04 苏州科技大学 基于可扩缩式动态性能评价函数的进给系统伺服优化方法

Also Published As

Publication number Publication date
WO2002056605A1 (en) 2002-07-18
KR20020084172A (ko) 2002-11-04
JP2004518344A (ja) 2004-06-17
EP1352530A1 (en) 2003-10-15
US6876381B2 (en) 2005-04-05
US20020090134A1 (en) 2002-07-11

Similar Documents

Publication Publication Date Title
CN1416651A (zh) 自动视频质量评价的可缩放客观度量
CN1422498A (zh) 提供一个可分级动态客观量度的自动视频质量评价的系统和方法
Gu et al. A new reduced-reference image quality assessment using structural degradation model
KR100670003B1 (ko) 적응형 문턱치를 이용한 영상의 평탄 영역 검출장치 및 그방법
CN111353533B (zh) 基于多任务学习的无参考图像质量评价方法及系统
Liu et al. A multi-metric fusion approach to visual quality assessment
CN110599439A (zh) 用于训练神经网络的图像块的选择方法及图像质量评价方法
CN1698281A (zh) 复合客观视频质量测量
CN110874604A (zh) 模型训练方法及终端设备
CN1465197A (zh) 使用启发式搜索方法以非线性方案组合随机的视频特征组以便最好地描述视频序列的感觉质量的装置和方法
KR20090068162A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램, 및 학습 장치
CN111160481B (zh) 基于深度学习的adas目标检测方法及系统
Zhang et al. Reduced reference image quality assessment based on statistics of edge
Pan et al. Exploiting neural models for no-reference image quality assessment
CN109741315B (zh) 一种基于深度强化学习的无参考图像质量客观评价方法
Liang et al. A no-reference perceptual blur metric using histogram of gradient profile sharpness
CN110706161B (zh) 图像的亮度调整方法、介质、设备及装置
CN116958113A (zh) 一种产品检测方法、装置、设备及存储介质
CN113284198A (zh) 图像自动配色方法及装置
CN1216338C (zh) 基于线性约束截断最小二乘的数据融合方法
CN113591511A (zh) 混凝土状态的识别方法、装置、电子设备及存储介质
Hines et al. Robustness and prediction accuracy of machine learning for objective visual quality assessment
CN1436426A (zh) 用于图像相关性最小失真计算的自适应尽快退出技术
CN113139577A (zh) 一种基于可变形卷积网络的深度学习图像分类方法及系统
Wang et al. A JND-based video quality assessment model and its application

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication