CN103139596B - 一种测量立体视频时间帧偏移的系统和方法 - Google Patents

Abstract

一种立体视频时间帧偏移测量系统，其使用改进的特征曲线生成器来生成用于立体视频信号的左和右图像序列中的每个的鲁棒的特征曲线。得到的特征曲线在指定的相关范围上被互相关，以生成互相关系数。将所述互相关系数与高阈值进行比较，并且为超过该高阈值的每个互相关系数生成和显示时间帧偏移。每个新的时间帧偏移结果在被显示时被加亮，否则以背景方式显示最后的结果。

Description

一种测量立体视频时间帧偏移的系统和方法

技术领域

本发明涉及三维（3D）电视（TV）视频处理，并且更尤其是涉及立体视频时间帧偏移的测量。

背景技术

立体三维电视（3DTV）视频是立体帧对的序列。每个帧对中的帧中的一帧意图仅由左眼观看，而另一帧意图仅由右眼观看。通过这种方式，帧对的双目视觉连同传统的图像高度和宽度一起创建了深度的立体错觉。这些帧对可以是左眼（L）图像帧和右眼（R）图像帧的单独的视频流。通常从3D摄像机系统取得每个流，该3D摄像机系统是具有单独的视频输出的真实的两个摄像机，从而产生串行数字双链路。期望的是，两个摄像机被同步，以便同时捕获L和R帧对。

这些双链路输出可作为单独的压缩视频流被发送到一个位置，在该位置，利用若干方法之一来组合这些图像对，以产生用于分发的单个流。可利用单独的编码器/解码器（CODEC）来对每个流进行压缩，一个用于L图像序列，以及一个用于R图像序列。然而每个CODEC通常都具有不确定的帧延迟或者处理等待时间。结果，解压缩的L和R帧的输出序列可能不再是成对的、帧同步的，即存在时间错对准（miss-alignment）或时间帧偏移的一个或多个帧。

2004年7月15日对于Jiuhuai Lu所发布的，并转让给俄勒冈州（Oregon）Beaverton的Tektronix公司，并通过引用结合于此的美国专利No.6751360，描述了一种用于将失真的视频信号与对应的源视频信号在时间上进行对准的快速时间对准估计方法。为每个视频信号创建时间信号曲线（SC），并且使得到的SC与彼此互相关，从而确定两个视频信号的对应帧之间的匹配。最大的互相关结果是对两个视频信号的对应帧之间的时间位移量的指示。然而，如由图1a的SC图表所示的，得到的SC具有较大的偏移。较大的偏移不允许根据SC对帧偏移进行鲁棒的（robust）确定，并且对于在硬件（HW）中的数字整体实现要求较大的比特大小。

所期望的是一种方法，其在不具有视频内容的任何先验知识的情况下，测量帧偏移或者L到R的时间错对准，该测量提供了对L和R图像序列之间的任何不准确的时间帧偏移的鲁棒提示。

发明内容

由此，本发明提供了一种立体视频时间帧偏移测量技术，该技术是鲁棒的，并且不需要视频内容的任何先验知识。该立体视频时间帧偏移测量系统使用改进的特征曲线生成器来为立体视频信号的左和右图像序列中的每个生成鲁棒的特征曲线。得到的特征曲线在指定的相关范围上被互相关，以生成互相关系数。将互相关系数与高阈值进行比较，并且为超过该高阈值的每个互相关系数生成并显示时间帧偏移。每个新的、可靠的时间帧偏移结果在被显示时被加亮，否则以背景方式显示最后的结果。

当结合所附权利要求和所附的附图进行阅读时，本发明的目的、优点和其他新颖的特征根据以下的详细描述而是显而易见的。

附图说明

图1提供了根据本发明的用于测量立体视频时间帧偏移的改进的特征曲线生成器的框图视图。

图2提供了根据本发明的用于立体视图时间帧偏移测量的系统的框图视图。

图3提供了根据本发明的具有降低的硬件要求的特征曲线生成器的框图视图。

图4提供了根据本发明的用于进一步降低硬件要求的输入滤波器的框图视图。

具体实施方式

现在参考图1，亮度图像序列被输入到时间特征曲线（）生成器10，以产生如上面提到的美国专利No. 6752360中描述的帧到帧互协方差输出。该亮度序列被输入到高通滤波器（HPF）12，以产生高通滤波后的亮度图像序列，其转而被输入到帧/场延迟电路14，该帧/场延迟电路14提供被延迟一个帧/场的亮度图像的输出序列。两个得到的亮度图像序列被输入到乘法累加电路16，其实现未归一化的互相关，也称为协方差测量，以根据现有技术产生SC、 ，并且其用图表表示为图1a。如先前所述的，在这一点上，SC具有大的偏移使得变化不是容易地可辨别的。因此，SC进一步由差分器18所处理，该差分器18提供帧到帧互相关的归一化的先过差(first-past difference)，在图1b中示出了其图表。出于比较的目的，如图1b中所示的，由帧的数目N来对进行归一化。通过比较图1a和1b的两个图表，显然的是，现在的变化是容易显而易见的，即，SC的动态范围被显著减小，并且AC内容被增加。

现在参考图2，使用图1的改进的SC生成器，立体图像对的亮度分量像素和被应用到双SC生成器20，以产生先过差和。然后帧/场延迟14的输入和输出帧/场的每个像素（由n索引），在不被归一化到个别标准偏差的情况下，由乘法累加电路16进行互相关，以产生由f索引的每个输入帧和由f-1索引的先前帧的帧差异的协方差测量。这在左和右输入帧序列上被单独完成，在左序列帧/场延迟14L和乘法累加电路16L中被完成，以及在右序列帧/场延迟14R和乘法累加电路16R中被完成。来自左乘法累加电路16L的用于由f索引的每个左帧的得到的协方差值接着被差分器18L所差分，以产生特征曲线值。同样，来自右乘法累加电路16R的用于由f索引的每个右帧的得到的协方差值被差分器18R所差分，以产生特征曲线值。该特征曲线过程优选在硬件中被实现以允许进行实时处理。

在图2中示出的图表中重叠示出了L和R图像序列的改进的时间信号曲线，其作为在序列帧率下的离散值。如在作为示例的情况中所指示的，在帧12处，右信道跳过一帧，因此特征曲线是不同步的，即，在该帧跳过之后，在两个通道之间存在一帧的偏移。

相应的先过差被输入到具有等于指定的相关范围R的两倍的长度的相应的先入/先出（FIFO）缓冲器22L、22R。来自FIFO缓冲器22的输出可用于典型的微处理器和存储器系统24。该微处理器和存储器系统24计算滑动相关，如图2中所说明的。在已经获取帧率采样的足够记录后，该微处理器24从实时帧处理硬件内的FIFO缓冲器22读取CLd和CRd的过往采样。如以上所指示的，记录长度为2xR，其中如图2的等式中所示的，R为相关计算范围和偏移检测范围。

相应的CLd和CRd的相关范围R上的均方根（rms）被用于所示等式的分母中，以创建从-1到+1的范围变动的归一化的相关系数。因此，存在的可能性是，在给定计算范围R内，所有帧为静止帧，即，是相同的，使得特征曲线的该段的rms值接近于0。为避免这种情况，微处理器24将rms值针对最小值进行测试，并且无视rms值小于该最小值的相关范围R上的帧集合。

图2中示出的等式为若干个帧偏移s在范围R上计算了相关系数Xdc(s,f)，以确定两条特征曲线CLd(f)和CRd(f)之间最好的偏移估计。在所示的示例中，偏移s的范围为从-3到+4帧，并且相关范围R为8。然而可以使用更长的相关范围（>8）来在Xdc(s,f)的计算中得到更多的精确度。而且，在相关之前，可以使用CLd(f)和CRd(f)的内插或采样上变换的常见方法，来实现对于帧/场时间的片段的更高的时间分辨率。对用于每个偏移s的Xdc的值进行测试，以发现其是否在一定的阈值以上，典型地，在0.98以上。如果Xdc的值在该阈值以上，那么就已经找到了L到R帧偏移的可靠指示，并且将对应的偏移s的值在仪器显示屏幕26上进行显示。在给定的示例中，LR帧偏移的值为+1，该值被显示。对于每个计算出的LR帧偏移，如果发现其是可靠的，则得到的偏移s被加亮，以指示更新已经发生。如果读出没有被更新，那么以灰色或者以其他方式不加亮来示出所显示的读出，从而指示在没有有最近更新的情况下示出了最后的良好值。每当新的帧f被添加到FIFO缓冲器22，最旧的值被丢弃，并重复Xdc(s,f)的计算，并且如果发现值在该阈值以上，则利用该可靠值再次更新读出，并在显示器26上加亮该读出。

还优选的是，用图表表示随时间的得到的更新帧偏移s，从而在长时期上创建L到R图像序列时间偏移的记录。这允许了在不可接受的长时期内，对时间错对准超过预定的阈值的间隔进行加时间戳或进行警告。

尽管硬件实现方式是优选的，但整个过程可以在软件（SW）中被实现和测试。尽管可以使用其他值，但根据这种测试，所示示例的阈值和相关范围被确定。

为降低所需的HW，如图3中所说明的，可对来自L和R图像序列的YL(n)和YR(n)像素抽取（decimate）两个，并交织成单个采样流。来自相应图像序列的像素被输入到低通滤波器中的相应的低通滤波器（LPF）32L、32R，以及被输入到是输入滤波器电路28的一部分的交织电路30。来自相应的LPF 32的输出被输入到相应的抽取器（decimator）34L、34R，其中延迟电路36将来自抽取器的输出之一延迟一个像素间隔。来自未延迟的抽取器34R和延迟电路36的输出被输入到复用器38，以产生具有交织的L和R图像序列像素的单个像素流。得到的单个像素流接着被输入到高通滤波器（HPF）12’，以在输入到帧/场延迟14之前去除DC或者亮度均值分量。来自帧/场延迟14的输入和输出被输入到修改的乘法累加电路16’，以实现互相关，产生相应的和流，该和流被输入到相应的差分器18，以产生与图2中所示的相同的SC输出。单个乘法累加电路16’现在实际上是互协方差检测器，因为该结果没有被帧rms值所归一化。

由于图3中的交织，针对时间上相邻的帧或场之间的互协方差，单独HPF滤波的L和R亮度像素被独立地累积，接着被差分和归一化成期望的SC值，以用于输入到图2中所示的微处理器24。

如图4中所示，可以通过将LPF、交织和HPF滤波30、12’进行组合，来完成对HW的进一步简化。LPF 32和HPF 12’的脉冲响应可以被组合或卷积成单个脉冲响应。该结果接着可以被分解到两相实现和选择复用器中，为每个亮度分量YL(n)和YR(n)创建期望的总体水平频率响应。该输出是具有组合的LPF和HPF水平频率响应的交织和抽取的亮度值，其接着被输入到单个帧/场延迟14。图4的上部示出了组合的多相交织器有限脉冲响应（FIR）滤波器40的详细框图，而底部视图示出了如何在组合的多相交织器FIR滤波器中，将卷积的LPF和HPF脉冲响应分解到单独的、简化的处理路径中。

因此，本发明提供了一种立体视频时间帧偏移测量系统，其使用改进的特征曲线生成器来为左和右图像序列产生特征曲线，该特征曲线接着与彼此相关，以确定两个图像序列之间的时间帧偏移。

Claims (17)

1.一种立体视频时间帧偏移测量系统，包括：

特征生成器，其具有作为输入的表示立体视频信号的左图像序列和右图像序列，并且为左图像序列和右图像序列中的每个提供作为输出的特征曲线；

装置，用于为左和右图像序列将特征曲线进行互相关，以确定左和右图像序列之间的时间帧偏移；

其中所述特征生成器包括：

装置，用于将左和右图像序列中的每个的序列帧/场进行互相关，以产生相应的互相关系数；以及

装置，用于通过将序列互相关系数除以帧的数目来在左和右图像序列中的每个内对序列互相关系数进行差分，以产生用于左和右图像序列中的每个的序列互相关系数之间的归一化的先过差，作为用于左和右图像序列的相应的特征曲线。

2.如权利要求1中所述的测量系统，进一步包括装置，其用于显示时间帧偏移，每当互相关装置更新时间帧偏移时对时间帧偏移进行加亮，而在此类更新之间保持时间帧偏移的最新值。

3.如权利要求1中所述的测量系统，其中该特征曲线互相关装置包括：

用于特征曲线中的每个的先入先出缓冲器，所述先入先出缓冲器具有作为输入的特征曲线，并具有输出；以及

微处理器系统，其具有作为输入的来自所述先入先出缓冲器的输出，并且提供作为输出的时间帧偏移，所述微处理器系统在所述输入之间执行滑动互相关，以产生时间帧偏移。

4.如权利要求1中所述的测量系统，其中所述特征生成器包括：

装置，用于对左和右图像序列中的每个进行低通滤波，以产生相应的低通滤波的图像序列；

装置，用于对低通滤波的图像序列进行交织，以产生表示左和右图像序列的单个数据流；

装置，用于对所述单个数据流进行高通滤波，以产生滤波的单个数据流；以及

装置，用于对滤波的单个数据流内的左和右图像分量进行互相关，以产生相应的特征曲线，以用于输入到特征曲线互相关装置。

5.如权利要求3中所述的测量系统，其中所述特征生成器包括：

组合的多相交织器有限脉冲响应滤波器，其与低通滤波器、交织器和高通滤波器相对应，所述组合的多相交织器有限脉冲响应滤波器具有作为输入的左和右图像序列，并且具有作为输出的单个数据流；以及

装置，用于将来自所述单个数据流的左和右图像分量进行互相关，以产生相应的特征曲线，以用于输入到所述微处理器系统。

6.一种测量立体视频时间帧偏移的方法，包括以下步骤：

从左图像序列生成鲁棒的左特征曲线；

从右图像序列生成鲁棒的右特征曲线，所述左和右图像序列形成立体视频序列；以及

将左和右鲁棒特征曲线进行互相关，以确定所述左和右图像序列之间的时间帧偏移；

其中所述生成步骤均包括以下步骤：

将每个图像序列与其对应的延迟图像序列进行互相关，以产生相应的初始特征曲线；以及

通过将序列互相关系数除以帧的数目来将每个初始特征曲线进行差分，以产生相应的归一化的先过差，作为相应的左和右鲁棒特征曲线。

7.如权利要求6中所述的方法，其中所述生成步骤进一步均包括以下步骤：

将每个图像序列延迟指定数量的帧/场，以产生相应的延迟图像序列。

8.如权利要求6中所述的方法，进一步包括在显示设备上显示所述时间帧偏移的步骤。

9.如权利要求8中所述的方法，其中，所述显示步骤包括以下步骤：每当更新来自互相关步骤的时间帧偏移时，在显示设备上加亮所述时间帧偏移，而在更新之间，在显示设备上以背景模式显示先前的时间帧偏移。

10.如权利要求6中所述的方法，其中所述互相关包括在鲁棒的左和右特征曲线的指定范围上进行滑动互相关。

11.一种立体视频时间帧偏移测量系统，包括：

时间特征曲线生成器，其具有作为输入的左图像序列和右图像序列，所述左和右图像序列表示用于立体视频信号的帧/场对，并且具有作为输出的左特征曲线和右特征曲线，每个特征曲线是互相关系数值的序列，所述互相关系数值表示从帧/场到帧/场的归一化的先过差；以及

处理系统，其具有作为输入的所述左和右特征曲线，并且提供作为输出的时间帧偏移值，所述时间帧偏移值表示所述左和右图像序列的帧/场对之间的时间差，并且所述处理系统包括：

一对先入/先出（FIFO）缓冲器，每个用于左和右特征曲线中的每个，每个FIFO缓冲器具有作为输入的特征曲线并且具有输出，所述特征曲线具有足够用于一次存储特征曲线的段的长度；以及

处理器，其具有作为输入的来自FIFO缓冲器的输出，所述处理器在FIFO缓冲器的输出之间提供滑动互相关，以产生多个相关结果，并产生作为输出的与超过指定的高阈值的相关结果相对应的时间帧偏移值。

12.如权利要求11中所述的测量系统，其中所述时间特征曲线生成器包括一对特征曲线生成器，每个用于左和右图像序列中的每个，每个特征曲线生成器具有帧/场延迟，所述图像序列被输入到所述帧/场延迟，以产生延迟图像序列，所述每个特征曲线生成器具有乘法累加器，所述乘法累加器具有作为输入的图像序列和延迟图像序列，以及作为输出的互相关系数的初始序列，以及所述每个特征曲线生成器具有差分器，所述差分器具有作为输入的所述互相关系数的初始序列，以及作为输出的特征曲线。

13.如权利要求11中所述的测量系统，进一步包括显示器，其具有作为输入的来自所述处理系统的时间帧偏移值。

14.如权利要求13中所述的测量系统，其中，当由所述处理系统更新所述时间帧偏移值时，在显示器上加亮所述时间帧偏移值，并且否则在显示器上以背景方式显示所述时间帧偏移值。

15.如权利要求11中所述的测量系统，其中所述时间特征曲线生成器包括：

滤波器/交织器，其具有作为输入的左和右图像序列，以及具有作为输出的交织图像序列流；

帧/场延迟，其具有作为输入的所述交织图像序列流，以及具有作为输出的延迟交织图像序列流；

修改的乘法累加器，其具有作为输入的所述交织图像序列流和所述延迟交织图像序列流，以及作为输出的初始的左和右互相关系数；以及

一对差分器，一个差分器具有作为输入的左互相关系数和作为输出的左特征曲线，以及另一个差分器具有作为输入的右互相关系数和作为输出的右特征曲线。

16.如权利要求15中所述的测量系统，其中所述滤波器/交织器包括：

单独的低通滤波器，一个低通滤波器用于对左图像序列进行滤波，以及另一个低通滤波器用于对右图像序列进行滤波，以用于产生左和右滤波图像序列；

装置，用于对左和右滤波图像序列进行交织，以形成单个数据流；以及

高通滤波器，用于对所述单个数据流进行滤波，以产生交织图像序列流。

17.如权利要求15中所述的测量系统，其中所述滤波器/交织器包括多相交织器有限脉冲响应（FIR）滤波器，其具有作为输入的左和右图像序列，以及具有作为输出的交织图像序列流，以用于输入到所述帧/场延迟。