CN101682797B - 用于稳健视频时间配准的系统和方法 - Google Patents

Abstract

一种在没有各信号参数的先验知识的情况下用于测试和参考视频序列之间的配准的稳健视频时间方法最初根据视频和参考视频序列产生帧和子图像提取测量。使用局部皮尔森互相关系数(LPCCC)图像来线性地校准所述帧提取测量以获得最佳校准线，该最佳校准线的每个像素表示测试和参考视频序列的帧之间的LPCCC互相关系数。对于在阈值以下的最佳校准线的每个像素，在LPCCC图像中执行对更高互相关系数的垂直搜索作为最佳互相关系数以实现测试和参考视频序列的帧之间的时间映射。

Description

用于稳健视频时间配准的系统和方法

相关申请的交叉引用

本申请要求于2007年4月16日提交的题为Systems and Methodsfor Robust Video Temporal Registration的美国临时申请No.60/912,167的优先权，该申请通过引用结合到本文中。

技术领域

本发明的实施例涉及视频测试和测量设备，且更具体地涉及用于视频的图像质量测量。

背景技术

由诸如俄勒冈州比弗顿的Tektronix公司提供的图像质量分析器(PQA 200和PQA 300)之类的产品执行的全参考视频质量测量和分析使用时间配准。利用时间配准，播放测试视频序列中的每个帧与播放参考视频序列的相应帧同时进行。由于视频格式和装置的激增及在帧速率和时间失真或损伤方面的相关激增，用于图像质量测量和分析准备步骤的该前提已变得更加难以手动执行，且现有技术的自动化方法并不总是起作用。

在涉及用于空间失真测量的自动方法的现有技术中，所述方法忍受着以下缺点中的一个或多个：1)在除1.0之外的帧速率比率上不稳健；2)给定诸如丢失帧和帧冻结之类的时间失真(该丢失帧和帧冻结两者均具有信道延迟方面的相关的突然且局部静态的变化)，未给出1对1的测试和参考；或者3)不能跨越参考和测试之间(即例如HD相对SD(HD vs SD))的帧分辨率差及其它空间配准问题来工作。

如通过引用结合到本文的Jiuhuai Lu的题为“Fast Video TemporalMisalignment Estimation”的美国专利No.6,751,360中所给出的那样，现有技术的示例表现不好，即使除了一个是另一个的帧重复版本之外视频是相同的。使用帧差的相关性作为帧提取(distillation)的主要或唯一手段的方法遭受“斩波器(chopper)”效应(其中帧差对于重复则为0，但对于非重复则不为0)，结果得到对应于图3的相关性。在图3中，帧重复引起每隔一个帧的零差(zero difference)(对应于暗水平线)和针对甚至最佳匹配的弱相关性。

期望具有自动化方法以线性地且逐个帧地测量时间映射以及测试视频序列与参考视频序列之间的相应的时间损伤(诸如冻结帧和空白帧)。特别地，期望具有一种在存在数字压缩伪影(compression artifact)、随机噪声、量化误差及其它非线性和线性失真和干扰的情况下稳健的测量方法。期望此方法具有适应性以便在没有视频内容的先验知识的情况下工作，所述先验知识诸如目前用于PQA300的增加到视频信号上的Tektronix专有条纹、所选的纵横比、DUT像素时钟、帧速率、或通常可能的视频参数的其它指示(包括相对空间映射、水平或垂直缩放、偏移(位移)或裁切)。

最后，期望所述方法既具有良好的精确度又具有良好的计算效率。计算效率指的是对于给定精确度而言相对低的处理水平。

发明内容

因此，本发明的实施例提供用于在没有各信号参数的先验知识的情况下在测试和参考视频信号之间的稳健视频时间配准的系统和方法。所述测试和参考视频信号两者被提取(distill)成各自的帧提取测量和子图像。使用局部皮尔森互相关系数(local Pearson’s cross-correlation coefficient)(LPCCC)图像来线性地校准(align)帧提取测量以获得最佳校准线(alignment line)，该最佳校准线的每个像素表示测试和参考视频信号的帧之间的LPCCC互相关系数。对于低于阈值的最佳校准线的每个像素，在LPCCC图像中执行对更高互相关系数的垂直搜索以作为最佳互相关系数，从而实现测试视频信号的帧到参考视频信号的帧的时间映射。如果任何帧对的最佳互相关系数小于阈值，则通过空间地校准子图像来进行进一步的搜索以获得新的最佳互相关系数。最后，如果由于新的最佳互相关系数小于阈值而期望进一步的搜索，则空间地校准来自LPCCC图像的概要(summary)行和列一维图像，以找到最高的相关系数。然后使用最高相关系数来在时间上(temporally)映射测试和参考视频信号以产生测试和参考视频帧对的阵列。

当结合所附权利要求和附图阅读时，由以下详细说明可清楚本发明的目的、优点及其它新颖特征。

附图说明

图1是根据本发明的用于稳健视频时间配准的方法的流程图。

图2是测试和参考平均帧概要提取(mean frame summarydistillation)的局部皮尔森互相关系数(LPCCC)图像的示图。

图3是测试和参考RMS帧差概要提取的LPCCC图像的示图。

图4是测试和参考帧标准偏差概要提取的LPCCC图像的示图。

图5是图2中所示的序列的测试和参考平均帧概要提取的LPCCC图像的示图。

具体实施方式

本发明的实施例基于由本发明人Kevin Ferguson开发的视频测试中的最新改进，其在2007年11月21日提交的题为“Measurement Apparatusand Method of Measurement of Video Spatial Scale，Offset and Cropping”的美国专利申请序号11/944,050(‘050申请)中有所描述，并且该美国专利申请通过引用结合到本文中。‘050申请要求也通过引用结合到本文中的、于2006年11月22日提交的美国临时专利申请序号60/867,087(‘087申请)的优先权。

现在参考图1，使用以下步骤来处理输入信号：帧提取(framedistillation)12T、12R、线性校准(linear alignment)14、以及扩展的时间映射16。附加步骤包括根据扩展的时间映射16检查帧相关性(18)以选通(gate)子图像的空间校准(20)。进一步的步骤包括根据子图像的空间校准20来检查帧相关性(22)以选通概要行(summary line)和概要列(summary column)的空间校准(24)。

步骤1：帧提取将测试和参考视频两者的每个帧提取成如下的帧提取测量：A)平均值、标准偏差和RMS帧差的子图像和帧概要(framesummary)；以及B)根据‘050申请，概要行和概要列。通过将每个帧划分成图像块并计算每个图像块的相应测量(平均值、标准偏差和RMS帧差)来生成每个平均值、标准偏差和RMS帧差子图像。这些块测量中的每个都表示每个帧的“帧测量提取图像”内的像素。例如，对每个帧图像块计算RMS帧差提取图像，为：块RMS帧差[第n帧]＝开根号(取平均值((帧像素[x，y，第n帧]-帧像素[x，y，第(n-1)帧])^2))帧概要测量是在整个帧上而不是仅仅在块子图像上进行的相同测量。

步骤2：线性校准测量在某些实施例中，执行根据‘050申请中所述的方法的线性校准测量。例如，如果对于每个前面的测量(经由根据‘050申请中所述的方法的局部皮尔森互相关系数(LPCCC)图像的最大霍夫变换的连续线性校准测量)而言总相关系数过低，则可以执行此操作。

首先，使用平均帧概要阵列对作为两个(1高度×帧计数宽)图像输入，一个图像用于整个测试视频序列，而另一图像用于整个参考视频序列，这两个图像被输入到‘050申请中给出的方法。

如果沿着所选最亮线的结果得到的LPCCC值的平均值根据下式小于给定阈值CxyWorthUsing＝0.8F*crossCorThreshold(croppedRefDiffLineParams.width)其中crossCorThreshold(resolution)＝squareRoot(240.0/(240.0+resolution))则使用下一个提取帧概要阵列/图像对、RMS帧差提取图像(再次地，一个用于整个测试序列且一个用于整个参考序列)作为到‘050申请中提供的校准测量方法的输入。再次地，相对于CxyWorthUsing阈值来检查并计算沿着LPCCC最大线的平均值。如果在阈值以下，则使用下一个提取图像对——标准偏差帧概要提取。如果这些中没有一个在阈值以上，则可以进行用户控制选择——对于速度而言使用具有最高系数的测量或者对于精确度而言进行到下一步骤。对于甚至更高的精确度而言，在下一步骤中可以执行扩展时间映射而不是最佳线性拟合。

对于同一视频的CIF60帧每秒(使用帧重复)对(vs)SD30帧每秒(标准定义)的版本，在图2至4中给出了三次帧概要提取的LPCCC图像的示例。通过比较这三幅附图来示出使用帧差的现有技术的稳健性缺陷。而且，请注意图2的亮线。这是对应于使用‘050申请中所述方法的视频序列之间的最佳线性匹配的线。步骤3、4和5重新使用此信息。

如在图2中一样，在图3中显示了垂直偏移的测试帧对(vs)水平方向上的参考帧数之间的相关系数理想地具有对应于视频序列之间的最佳线性映射的明确定义的亮线。然而，在图3中，帧重复引起每隔一个帧的零差(对应于暗水平线)和针对甚至最佳匹配的弱相关性，诸如不是那么亮的最亮线。

步骤3：扩展时间映射如所示，对于LPCCC的每个水平位置，当在最佳线性校准线(最亮线)上的像素值(其为皮尔森互相关系数)在阈值以下时，对与帧的较好局部匹配对应的更高相关系数垂直地执行搜索。此垂直搜索局限于仅在可以假设帧计数的单调性的情况下向前查看(look forward)(一般约束)。

步骤4：检查帧相关性以选通子图像的空间校准当基于精确度、速度控制、或两者的组合允许进一步的搜索时：对于步骤3的每个帧匹配搜索，当用于给定帧的先前步骤的最佳互相关系数在阈值以下时，空间地校准提取图像，并对每个帧使用相应的最高相关系数；或者使用‘050申请中所述的方法来空间地校准提取图像。

步骤5：检查帧相关性以选通概要行和概要列的空间校准当基于精确度、速度控制、或两者的组合允许进一步的搜索时：对于步骤4的每个帧匹配搜索，当用于给定帧的所有先前步骤的最佳互相关系数在阈值以下时，空间地校准概要行和概要列一维图像，并对每个帧使用对应于最高相关系数的映射；或者使用‘050申请中所述的方法来空间地校准概要行和概要列一维图像。所确定的是最高相关系数，其被认为是概要行结果和概要列结果的平方和的平方根。

除解决与现有技术方法相关的问题之外，上述处理还可以提供灵活地将速度和精确度控制到期望水平的能力，同时提供处理中每个连续阶段处的诸如相关系数之类的品质因数。

因此，本发明在没有测试和参考视频序列的先验知识的情况下通过将序列提取成使用LPCCC图像线性地校准以获得最佳校准线的帧提取测量、然后通过在LPCCC图像中垂直地搜索最佳相关系数来在时间上映射由最佳校准线的像素表示的每个帧来提供稳健的视频时间配准。

Claims (11)

1.一种校准测试和参考视频序列之间的帧的方法，包括步骤：

将所述测试和参考视频序列的每个帧提取成帧提取测量；

根据所述帧提取测量，使用用于测试和参考视频序列之间的帧的空间校准的局部皮尔森互相关系数(LPCCC)图像的线性霍夫变换来执行线性校准测量，以找到穿过LPCCC图像的最佳拟合线；以及

对于沿着最佳拟合线的LPCCC图像的每个像素，当所述像素具有小于阈值的值时，垂直地搜索更高的相关系数以找到用于测试和参考视频序列之间的帧的时间校准的更好的帧匹配。

2.如权利要求1所述的方法，其中，所述帧提取测量包括测试和参考视频序列的相应帧之间的平均值、标准偏差和RMS差的概要。

3.如权利要求1所述的方法，其中，所述帧提取测量包括测试和参考视频序列之间的每对相应帧的子图像之间的平均值、标准偏差和RMS差的概要。

4.如权利要求1所述的方法，其中，所述帧提取测量包括所述LPCCC图像的概要行和概要列一维图像。

5.如权利要求2所述的方法，其中，所述执行线性校准测量的步骤包括步骤：

使用平均帧概要阵列对作为用于测试和参考视频序列的两个1高度×帧计数宽的图像输入来根据帧概要平均差确定最佳线拟合平均值；以及

将所述最佳线拟合平均值与所述阈值相比较。

6.如权利要求5所述的方法，其中，所述执行线性校准测量的步骤还包括步骤：

如果所述最佳线拟合平均值小于阈值，则使用RMS帧概要阵列对作为用于测试和参考视频序列的两个1高度×帧计数宽的图像输入来根据帧概要RMS差确定最佳线拟合RMS值；以及

将所述最佳线拟合RMS值与所述阈值相比较。

7.如权利要求6所述的方法，其中，所述执行线性校准测量的步骤还包括步骤：

如果所述最佳线拟合RMS值小于阈值，则使用标准偏差概要阵列对作为用于测试和参考视频序列的两个1高度×帧计数宽的图像输入来根据帧概要标准偏差差来确定最佳线拟合标准偏差值；以及

将所述最佳线拟合标准偏差值与所述阈值相比较。

8.如权利要求7所述的方法，其中，所述执行线性校准测量的步骤还包括步骤：如果所述最佳线拟合标准偏差值小于所述阈值，则用户从具有最高相关系数的最佳线拟合平均值、RMS和标准偏差值之中选择最佳线拟合测量。

9.如权利要求3所述的方法，其中，所述提取步骤包括步骤：

将每个帧划分成图像块；以及

计算每个图像块的相应的平均值、标准偏差和RMS差以提供子图像概要。

10.如权利要求9所述的方法，还包括步骤：如果最佳相关系数小于所述阈值，则如在所述执行线性校准测量的步骤中那样空间地校准子图像以找到每个帧的最高相关系数作为新的帧匹配。

11.如权利要求4所述的方法，还包括步骤：如果最佳相关系数小于所述阈值，则空间地校准概要行和概要列一维图像以找到每个帧的最高相关系数作为新的帧匹配。

Images