CN102622734A

CN102622734A - 从不具有参考的源测量噪声并产生图片质量预测的方法

Info

Publication number: CN102622734A
Application number: CN2011104200840A
Authority: CN
Inventors: K.M.费尔古森
Original assignee: Tektronix Inc
Current assignee: Giant Plan Co., Ltd.
Priority date: 2010-12-15
Filing date: 2011-12-15
Publication date: 2012-08-01
Anticipated expiration: 2031-12-15
Also published as: EP2466906A2; US20120154601A1; JP6163288B2; CN102622734B; EP2466906A3; JP2012130002A; EP2466906B1; US9392267B2

Abstract

本发明涉及从不具有参考的源测量噪声并产生图片质量预测的方法。本发明的实施例包括在不使用第二视频作为参考的情况下产生被测试视频的诸如MOS的质量评价预测的系统和方法。作为使用参考视频的替代，本发明的实施例通过测量被测试视频的局部损伤来产生伪参考视频。然后将局部损伤累加以产生差别图像。然后从被测试视频减去差别图像以产生伪参考，将被测试视频与该伪参考相比较以产生质量预测评价。在某些实施例中，可以通过将来自被测试视频的高频噪声从视频本身分离来测量局部损伤。一旦被分离，则测量噪声并进行带宽补偿以产生测量的局部损伤。

Description

从不具有参考的源测量噪声并产生图片质量预测的方法

技术领域

本发明涉及在没有参考可用时预测主观图片质量的系统和方法，并且更特别地，涉及从不具有参考的源测量噪声并产生图片质量预测的方法和系统。

背景技术

诸如网络和电缆TV公司的视频广播公司从内容提供商和局部TV站接收巨量的视频数据以便转播给观看者。由于广播公司原来自己并不产生视频，所以其在接收到视频之前通常不知道其质量。然而，当发行了差质量的视频时，最终用户顾客常常直接向广播公司抱怨差质量的视频，无论下降的源如何。因此，一直需要这些广播公司以及其他评估视频并以符合其“黄金眼”内部观看者和客户评价的主观质量标度来对其评估。

视频行业创造了预测视频中的主观质量的工具，但这些工具具有限制。通常，当比较级联处理的视频时，例如其视频损伤可能由不止一个源（诸如用不同的参数对视频进行压缩、解压缩、然后再压缩）引起的那些，这些工具处于不利地位。更重要的是，由于这些工具通常被设计为测量用于特定过程的下降，诸如跨越不完美信道的压缩或传输，所以该工具要求访问以原始和下降两种形式的视频以能够进行比较。在通过引用结合到本文中的美国专利6,975,776“Predicting Human Vision Perception and Perceptual Difference”中描述了示例过程。然而，在其中广播公司从第三方源接收视频的方案中，只有单个视频是可用的，没有参考来与之比较。

面对面（side-to-side）视频比较工具还努力在其中原始（参考）视频是甚至非常准确的再现都具有差的质量的如此差的质量的情况下产生准确的主观质量测量结果。例如，当原始视频具有诸如柔化、噪声、差的或无色彩、差的对比度、剪辑的黑色和白色等的差的质量因素时，甚至极其准确的拷贝将看起来很差，并且受到最终用户的抱怨。

其它现有技术工具测量特定的损伤，诸如由宏块边界不连续性引起的块伪像、细节损失、柔化、噪声，然后将其加在一起以产生观看者的平均意见得分（MOS）。然而，这些方法的准确度通常由于人的感觉和认知两方面的视觉响应的不够准确的表示而受到限制。

本发明的实施例解决了现有技术的这些及其它限制。

发明内容

根据本发明的一个方面，涉及一种从单个参考产生主观图片质量的预测的方法，包括：在单个输入端处接受一个或多个视频帧；测量一个或多个视频帧内的一系列局部损伤；将所述一系列局部损伤聚合以产生用于所述一个或多个视频帧中的每一个的局部损伤差别图像；将局部损伤差别图像与最初接受的一个或多个视频帧中的相应帧组合以产生伪参考；以及将最初接受的一个或多个视频帧与伪参考进行比较以产生主观图片质量的预测。

根据本发明的另一方面，涉及一种在没有参考的情况下测量被测试的视频的一个或多个局部损伤的方法，该方法包括：接受被测试的视频的视频数据；产生视频数据的一部分的高频部分的局部表示；产生视频数据的所述一部分的局部均方噪声振幅；选择最小局部均方噪声振幅作为在采样周期期间的最小平方噪声振幅；补偿所选最小局部平方噪声振幅；以及将已补偿局部平方噪声振幅呈现为测量损伤。其中，所述在没有参考的情况下测量被测试的视频的一个或多个局部损伤的方法，还包括在补偿之前对一个或多个最小局部平方噪声振幅求平均以产生均方噪声振幅。其中，所述在没有参考的情况下测量被测试的视频的一个或多个局部损伤的方法，还包括在将已补偿振幅测量结果呈现为测量损伤之前将已补偿振幅测量结果转换成dB测量结果。其中，所述补偿噪声振幅包括接受功率谱密度的选择以在补偿期间使用。其中，所选功率谱密度是白噪声的密度。其中，所选功率谱密度是粉红噪声的密度。其中，产生视频数据的一部分的高频部分的局部表示包括利用具有a1=1-b0的系数的IIR滤波器对视频数据进行滤波。

根据本发明的又一方面，涉及一种视频测量设备，包括：视频输入端，其用于接受要测试的视频；局部损伤测量器，其被构造为测量被测试视频的一个或多个视频帧内的一个或多个损伤；损伤发生器，其被构造为从测量的局部损伤产生局部损伤差别图像；以及伪参考视频发生器，其被构造为从来自测试视频和来自损伤发生器的输出的组合产生伪参考视频。

根据本发明的再一方面，涉及一种用于在没有参考视频的情况下测量被测试视频的一个或多个帧的一个或多个局部损伤的局部损伤测量器，该局部损伤测量器包括：视频输入端，其用于接受被测试的视频；高通滤波器块，其被构造为产生被测试视频的帧的当前部分的高频的局部表示；低通滤波器块，其被构造为从高通滤波器块接受已修改信号并产生被测试视频的帧的当前部分的噪声振幅；最小化器，其被构造为在测试时段期间选择来自低通滤波器块的输出的最小噪声振幅；以及带宽补偿器，其被构造为产生被测试视频的噪声的估计的输出。其中所述局部损伤测量器还包括求平均处理器，其被构造为由从最小化器接收到的最小化噪声振幅产生均方噪声振幅。其中，所述高通滤波器块包括低通水平滤波器和处理器，该处理器被构造为将来自低通水平滤波器的输出与从被测试视频接收到的信号组合。其中，所述低通滤波器块包括高通滤波器块的低通水平滤波器。其中，所述高通滤波器块包括水平、垂直和时间滤波器。其中，所述水平和垂直滤波器是具有a1=1-b0的系数的空间、双向IIR滤波器。其中，所述时间滤波器是具有a1=1-b0的系数的双向IIR滤波器。

附图说明

图1是根据现有技术的包括内容提供商、广播公司和用户的视频递送系统的框图。

图2是举例说明根据本发明的实施例的使用单个输入的示例质量预测系统的框图。

图3是根据本发明的实施例的在没有参考可用时预测主观图片质量的示例方法的流程图。

图4是根据本发明的实施例的测量视频的一个或多个帧的局部损伤的系统的功能框图。

图5是根据本发明的实施例的测量视频的一个或多个帧的局部损伤的示例方法的流程图。

图6是举例说明根据本发明的实施例的高通滤波器布置的功能框图。

图7A是被用于举例说明本发明的概念的基础图像。

图7B是从向图7A的图像添加给定量的白噪声得到的图像。

图7C是举例说明根据本发明的实施例的当图7B的图像通过一系列高通滤波器时的输出的图像。

图7D是举例说明根据本发明的实施例的当图7C的图像通过一系列低通滤波器时的输出的图像。

具体实施方式

本发明的实施例针对一种用于在没有参考可用时预测主观图片质量的系统和方法。有时将其称为无参考测量，因为只有单个视频流可用于测量，所以使得不可能针对参考视频流直接对视频流进行测量。

图1是常规视频递送系统100的框图。在本示例中，从内容提供商102向发行公司110发送诸如电影或电视节目之类的起始内容。为了方便起见，将内容称为视频，虽然内容可以包括几乎任何类型的数字数据。内容提供商可以通过在诸如磁盘或磁盘组的介质上递送一个或多个文件来递送视频的物理拷贝，其可以是上述电影或电视节目。然而，由于物理递送必须包括要产生物理介质的费用和运输延迟，所以这种递送方法不再被广泛地使用。更常见地，通过卫星馈送、诸如微波传输的地面波束或通过因特网（如果在提供商102与发行公司之间存在足够的带宽的话）来向发行公司110递送视频。

发行公司110将视频打包以便递送给其用户120，这可以包括将视频压缩、将其剪接以插入广告及其它局部插入信息等。然后，发行公司110将已修改视频传输给其用户120，用户120可以在电视、移动设备或其它屏幕上观看最终产品视频。例如，传输可以是通过同轴电缆（诸如在电缆电视的情况下）、双扭线电话线、通过无线连接或通过因特网。

如上所述，发行公司110期望以令其用户120满意的质量来递送其视频。为了判断质量，发行公司110通常将接收到的视频内容与传输的视频内容相比较。从内容提供商102接收到的视频可能由于由发行公司110执行的处理（诸如压缩或其它过程）而不同于被传输给最终用户120的视频。然而，当从内容提供商接收到的视频的质量是未知的时，难以评定发行公司110能够在仍保持足够高的质量以令其最终用户120满意的同时执行多少压缩或其它过程。因此，需要发行公司110本身确定输入视频的质量，其按照定义不具有将与之相比较的参考。

本发明的实施例产生来自视频输入的单个源的视频质量评价。使测量数字视频的帧内的噪声变得困难的因素之一是不同于包括无数据的消隐间隔（在此期间可以测量噪声）的模拟信号，数字信号通常不具有此类消隐时段。参考图2和3，可以由发行公司或希望评估接收到的视频的其它实体或个人在过程150中接收视频输入132。过程160然后测量视频的帧的特定区域内的一个或多个损伤，诸如噪声、蚊式噪声、阻塞、模糊、振动、定帧、锯齿状图形和响声等。可以将该区域定义为例如一个或多个单独像素、块、多个块或整个帧。参考图2，局部损伤测量器（measusrer）134可以是在编程硬件上运行以测量损伤的过程，诸如下文参考图4至7D详细地描述的测量系统。

在测量了局部损伤中的一个或多个之后，损伤发生器138在过程170中从测量的损伤构建局部损伤差别图象（“不同的图像”）。产生差别图像的一个方式是从有效的消隐记录、即完全灰色的帧开始产生差别图像。使用这种方法，由于测量每个局部损伤，所以向原始灰色帧添加相同量的损伤。例如，如果由局部损伤测量器134在原始视频的某个区域中测量到40dB的噪声，则将40dB的噪声添加到用于灰色帧的相同的某个区域的差别图像。同样地，如果测量到23%的丢失细节，则产生23%的“细节”并从灰色帧减去该23%的“细节”。可以例如通过产生随机噪声、不精确图像重构、边缘错误转换及其它方法来产生丢失细节。将在局部基础（用于噪声的像素、用于块相关损伤的块等）的其位置上测量的所有局部损伤聚合以产生全差别图像。

产生差别图像的另一方式根本不使用灰色帧，而是将对测量的局部损伤的改善应用于从视频输入132导出的原始信号，并从原始输入视频帧减去结果得到的图像以产生差别图像。再次地，从所有局部损伤测量结果的合并产生全差别图像。

一旦产生了差别图像，则无论其被产生的方式如何，在过程180中将其与原始视频输入组合以产生伪参考视频。参考图2，可以在组合器140中执行组合。实际上，组合器140可以是从原始视频减去差别图像且结果得到的视频是伪参考视频的差别化过程，虽然将原始视频输入132组合成差别图像的其它方法也是可能的。

一旦产生了伪参考视频，则将原始视频和伪参考视频两者提供给全参考视频质量预测器144，其可以结合在上文结合的‘776专利中的系统和方法以产生最终视频质量评价。在某些实施例中，最终视频质量评价包括平均意见得分。该最终输出质量评价然后可以用于发行公司110以判定如何处理输入视频内容。例如，如果输入视频已是差的，则发行公司110可以不将视频压缩以其他方式将进行的那样多。另外，如果质量非常差，则可以立刻拒绝该视频并要求内容提供商102提供质量更好的视频。

现在参考图4，示出了局部损伤测量系统200，其可以是图2的局部损伤测量器134的示例实施例。损伤测量系统200接受单个视频输入，或者在某些情况下接收单个图像，并产生输出，该输出是上水平、垂直和时间频率的交集中的在空间和时间上的最小方差的估计加性噪声的度量。

在接受被测试的视频的输入之后，首先通过高通滤波器块210中的一个或多个高通滤波器对视频进行滤波。通常，在各个高通滤波器212、214和216中在三个维度—水平、垂直和时间上执行滤波。静态图像在时间上将不被滤波，因为其不随着时间的推移而改变。可以在四个维度上对三维电影进行滤波，对于X、Y和Z维度中的每一个的一个滤波器，加上时间滤波器。高通滤波器块210的输出是视频图像的AC部分的局部表示。此输出具有按照定义的零均值。此外，可以通过调整三个滤波器212、214、216中的每一个的低通截止频率来控制测量的局部性。

然后在将滤波器块210的输出传递至低通滤波器块230之前在求平方过程220中以数学方式对其求平方。滤波器块230然后通过一个或多个低通滤波器232、234和236对求平方过程220的输出进行滤波以获得视频的局部均方AC振幅。此局部均方AC振幅表示被测试的视频的局部方差。

最小化过程240确定三维空间内的每个测量采样的最小方差以找到用于每个采样周期的空间和时间上的最小局部方差。例如，采样周期可以是0.1秒且最小化过程240将在每个周期产生输出（并使其本身复位）。然后可以在多帧求平均过程250中对来自最小化过程240的采样周期期间的最小局部方差值求平均值以产生均方噪声（方差）振幅。为了然后估计在测量带宽之外的噪声，可以在补偿器260中对求平均过程250的输出进行带宽补偿。例如，可以将在帧的一部分中测量的噪声扩展至满帧。然后可以在过程270中将噪声的带宽补偿估计转换成dB，或者可以直接从补偿器260输出。现在更详细地描述上述的每个过程。

参考图5，流程300通过在过程310处接受被测试的视频的视频流开始。在过程320中，将每个维度上的视频的AC分量隔离，这也是陈述在每个维度上去除了DC分量的另一方式。如上所述，不对静态图像进行时间滤波，因为不存在要滤波的时间分量。通过使被测试的视频通过级联的一系列高通滤波器（诸如图4所示的那些）来完成去除AC分量。在图6中示出了单个高通滤波器410的一般化型式。高通滤波器410首先使输入视频信号通过低通滤波器412以去除高频。然后，组合器/减法器416将低通滤波器412的输出与原始输入视频信号相比较并基于该比较去除原始信号的低频部分。这产生高通滤波器410的结果得到的输出，其为原始输入视频信号的仅AC分量的隔离。

实际上，可以用双向、固定、无限脉冲响应（IIR）滤波器来实现高通滤波器212、214、216。滤波器的优选实施例包括（a1=1-b0）个IIR滤波器，其中，空间滤波器是双向的，但时间滤波器不是。可以使用的示例滤波器包括在通过引用结合到本文中的US 6,907,143中描述的那些。可以将低通滤波器系数选择为具有与使期望信号通过并拒绝高频噪声的最佳组合相对应的通带。当然，精确值是实施方式特定的，并且取决于分辨率、视频源、诸如向上或向下采样、图形插入等视频处理。采样频率的大约¼的截止频率通常是用于滤波器选择的良好起始点。

实际上，局部损伤测量系统200与诸如在US 6,433,819中描述的块求平均、连续（runing）块求平均或使用FIR滤波或单向IIR滤波器的系统相比是计算效率和准确度方面的巨大改进。

参考图7A、7B、7C和7D，图7A是用来解释本发明的概念的基础测试图像。图7B是图7A的测试图像，其具有被具体地向其添加的一定量的噪声，使得当该噪声被局部损伤测量器200测量到时，能够将最终答案返回与作为测量系统准确度的测试添加的噪声水平相比较。稍稍超过-20dB的噪声被添加到图7A中的视频的清空帧以产生图7B。图7C是使用图7B的图像作为到图2的局部损伤测量器200的高通滤波器210的输入且然后将该结果添加到灰色图像使得其可以被看到的输出。请注意，低频变化（诸如空中的大面积亮度差）相对于图7B的图像被衰减。

在已在过程320中将AC分量隔离之后，在过程320（图5中）对局部AC信号求平方，然后在过程340中通过一系列低通滤波器进行滤波以获得视频的局部均方AC振幅。此局部均方AC振幅表示局部方差。在某些实施例中，图4的低通滤波器232、234和236是构成各个高通滤波器212、214、216的组件的精确低通滤波器。更具体地，回想例如低通水平滤波器232是高通滤波器212中的组件，如图6所示。因此，在低通滤波块230中也使用相同的低通滤波器。低通滤波器块的输出是视频采样的空间和时间上的局部方差。

图7D是图7C所示的逐个采样求平方高通滤波的图像的低通滤波器输出的直观表示。因此，图7D是局部方差的视觉表示。

在过程350中通过找到三维空间内的局部方差的最小值来确定最小值。在确定了最小值之后，在过程360中对多个帧求平均。求平均过程360可以包括连续平均、IIR或适合于期望更新速率的其它滤波器方法。自适应IIR可能最适合于产生均方噪声或方差、振幅的估计。在静态图像的情况下，帧平均值的结果与其输入—单个采样相同。

过程370通过基于被用来估计噪声测量结果的视频带宽的百分比来补偿测量结果而修改求平均过程的输出。将高通滤波器210的带宽计算为整个视频带宽的比值以补偿被高通滤波器阻挡的那部分视频信号。可以以本领域中已知的许多方式来确定此百分比。例如，将每个滤波器的输出端对比输入端的功率输出比值相乘以产生复合功率比值，并且然后使用该比值来增加由求平均过程360给出的估计输出。为了产生该比值，由用户利用到带宽补偿器260的输入来进行要使用哪个功率谱密度的选择。例如，白噪声的功率谱密度在频率响应内基本上是恒定的，而粉红噪声的功率谱密度基本上是1/f。使用诸如白噪声、粉红噪声、布朗噪声或其他所选功率谱密度则允许带宽补偿器260将测量的噪声外推至整个帧以进行准确测量。

在最终可选过程380中，可以将过程380的带宽补偿测量输出转换成诸如dB的标准测量结果以便显示给用户。在其中图4的测量电路200仅仅是较大系统（诸如图2的图片质量预测系统）的组件时，可以不转换测量结果，而是直接传递至损伤发生器138。

可以在诸如专用集成电路（ASIC）的计算机硬件中或在作为在专用或通用处理器上运行的进程的软件中实现本发明的实施例。通常，系统将使用多种实现方法，其中，某些部分在特殊化硬件（诸如编程的现场可编程门阵列（FPGA））上操作，而其它部分作为在通用处理器（诸如加利福尼亚州圣克拉拉市的INTEL公司的处理器）上运行的软件操作。

可以在各种产品中体现本发明，诸如在一个或多个输入端中接受一个或多个视频信号、对信号执行各种测量过程以及以监视器上的显示或输出文件中的数据的形式产生输出的波形监视器。同样地，本发明的实施例可以在图片质量分析器中出现，其可以接受一个或多个图像作为输入，对图像执行各种测量过程，并产生用于在监视器上显示或被存储为输出文件的输出。此类监视器和分析器包括用于与用户交互的各种输入，诸如能够使用诸如键盘、鼠标、触控板、选择旋钮和按钮等输入端来导航和选择的菜单。

虽然以上描述是参考二维图像或视频信号给出的，但可以在其中信号和噪声具有统计地局部化频谱分离的其它应用中使用本发明的实施例。例如，这些技术可以在诸如音频或RF传输的单信道上使用。同样地，这些方法和技术可以应用于具有任何任意数目的维度的信号，诸如与时间分量组合的三个空间维度，即随时间的推移而变的三维图像。

因此，鉴于对本文所述实施例的很多种变更，该详细描述和所附材料意图仅仅是说明性的，并且不应将其作为限制本发明的范围。因此，被作为本发明要求保护的是可以在以下权利要求及其等价物范围和精神内的所有此类修改。

Claims

1.一种从单个参考产生主观图片质量的预测的方法，包括：

在单个输入端处接受一个或多个视频帧；

测量一个或多个视频帧内的一系列局部损伤；

将所述一系列局部损伤聚合以产生用于所述一个或多个视频帧中的每一个的局部损伤差别图像；

将局部损伤差别图像与最初接受的一个或多个视频帧中的相应帧组合以产生伪参考；以及

将最初接受的一个或多个视频帧与伪参考进行比较以产生主观图片质量的预测。

2.根据权利要求1所述的从单个参考产生主观图片质量的预测的方法，其中，测量一系列局部损伤包括测量所述一个或多个视频帧内的噪声。

3.根据权利要求1所述的从单个参考产生主观图片质量的预测的方法，其中，测量一系列局部损伤包括测量所述一个或多个视频帧中的当前帧的块中的损伤。

4.根据权利要求3所述的从单个参考产生主观图片质量的预测的方法，还包括测量当前帧的一个或多个像素中的损伤。

5.根据权利要求1所述的从单个参考产生主观图片质量的预测的方法，其中，将所述一系列局部损伤聚合以产生局部损伤差别图像包括将所述一系列局部损伤添加到统一的视频帧。

6.根据权利要求1所述的从单个参考产生主观图片质量的预测的方法，其中，将所述一系列局部损伤聚合以产生局部损伤差别图像包括：

测量当前视频帧的噪声；

将当前视频帧中的噪声添加所测量的量；以及

从原始当前视频帧减去具有所添加的噪声的视频帧。

7.根据权利要求1所述的从单个参考产生主观图片质量的预测的方法，其中，主观图片质量的预测是平均意见分数。

8.一种视频测量设备，包括：

视频输入端，其用于接受要测试的视频；

局部损伤测量器，其被构造为测量被测试视频的一个或多个视频帧内的一个或多个损伤；

损伤发生器，其被构造为从测量的局部损伤产生局部损伤差别图像；以及

伪参考视频发生器，其被构造为从来自测试视频和来自损伤发生器的输出的组合产生伪参考视频。

9.权利要求8的视频测量设备，还包括全参考视频质量预测器，其被构造为接受被测试视频和伪参考视频作为输入并产生被测试视频的主观图片质量的预测。

10.权利要求9的视频测量设备，其中，主观图片质量的预测包括平均意见分数。

11.权利要求8的视频测量设备，其中，所述局部损伤测量器被构造为测量被测试视频的至少一个帧的噪声、蚊式噪声、响声、模糊、振动、定帧、锯齿状图形和阻塞效应中的至少一个。