CN102325261A

CN102325261A - 立体视频采集合成系统的视间视频数据消抖同步方法

Info

Publication number: CN102325261A
Application number: CN201110271122A
Authority: CN
Inventors: 周军; 黎之乐; 王兴东; 王树红
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2011-09-14
Filing date: 2011-09-14
Publication date: 2012-01-18

Abstract

本发明公开一种立体视频采集合成系统的视间视频数据消抖同步方法，首先对输入的两路高清视频数据进行识别，判断其是否是有效视频数据，并计算其延时信息。在侦测到有效输入之后，将其存入数据缓冲区。二级缓冲调度策略以负反馈为原理，可以实现缓冲区容量的动态调节。最后从数据缓冲里读取同步后的立体视频数据。本发明能够实现两路立体视频数据的、完全的、稳定的帧同步，且同步之后，在信号连接稳定的前提条件下，不会因为时钟抖动和传输链路的干扰导致失步；能够自动识别两路立体视频数据信号的先后到达顺序；不会破坏高清视频数据的组成格式。该视间视频数据消抖同步方案的所有功能均在 FPGA 内实现。

Description

立体视频采集合成系统的视间视频数据消抖同步方法

技术领域

本发明涉及的是一种立体视频采集合成系统，具体是一种针对双路立体视频输入并合成同步帧格式数据时的视间视频数据消抖同步实现方法。

背景技术

目前，双路立体视频在编码、传输时普遍采用帧同步的并行（Side-by-Side, SbS）或上下（Top-and-Bottom, TaB）排列格式，其中并行格式是当前立体电视主流采用的立体视频格式。

对于双路立体视频的直播拍摄等应用场合来说，需要有能够对双路摄像机输出的视频进行实时的同步采集并合成所指定的同步帧格式设备，这样的设备在对双视高清立体视频进行采集并合成同步帧格式时，需要输入的双路高清立体视频信号处于完全严格的同步状态。在实际应用过程中，即使是使用了同步时钟发生器同步双摄像机的视频采样时钟，由于存在时钟抖动、数据传输过程中的不确定性、两个摄像机本身的控制响应差异等因素，双路摄像机输出的视频数据到采集设备接口上还是会存在着不确定先后的数据延时。这种不稳定的视频数据延时如不加以处理，会对双路立体视频的帧同步合成设备工作状态造成极大的破坏性后果，将直接导致双路立体视频合成设备输出的图像出现像素点错位、色彩偏差等后果，甚至会出现无法输出正确合成的双路立体视频的现象，导致立体视频采用合成设备不能正常工作。

发明内容

本发明的目的在于为了克服双路立体视频数据的帧同步技术在立体视频采集合成系统上的不足，提出了一种基于FPGA的、用于双路高清立体视频采集合成系统的视间视频数据消抖同步方案，该方案能够实现两路立体视频数据的、完全的、稳定的帧同步，且同步之后，在信号连接稳定的前提条件下，不会因为时钟抖动和传输链路的干扰导致失步。

为实现上述的目的，本发明采用以下技术方案：所述的立体视频采集合成系统的视间视频数据消抖同步方法，首先对输入的两路高清视频数据进行识别，判断其是否是有效视频数据，并计算其延时信息。在侦测到有效输入之后，将其存入数据缓冲区。采用以负反馈为原理的二级缓冲调度策略，实现缓冲区容量的动态调节，以确保二级缓冲区不会因为传输过程中的一些不确定的延时而产生空满，从而使同步功能失效或是产生数据不正确的视频格式。最后使用一个抖动低、稳定的时钟从数据缓冲里读取同步后的立体视频数据。

本发明上述方法具体包括以下步骤：

第一步：双路输入立体视频数据识别以及延时测量。有效输入视频数据识别是通过视频格式甄别来实现的。依据SMPTE标准规定，10bit十六进制序列3FF、000、000、XYZ是有效视频数据行首、行末的指示序列，3FF、000、000为固定的前导字，视频数据行首行末指示、行号等信息则包含在XYZ中。视频数据识别模块在扫描到有效的、正确的视频帧格式后才认为输入的视频数据有效，输入视频有效的条件包括前导字正确、行号连续、有效视频个数符合标准规定。延时测量则以帧首第一行视频数据为基准，先检测到第一行视频数据的那一路视频数据被认为是先到数据。先到视频数据到达后开始计算视间视频延时时钟数，即第二路视频数据与第一路视频到达的时间差。

第二步：双路输入视频数据缓存。当两路视频接收通道接收到有效的视频数据后，将两路数据存入FPGA片内的存储空间。存储器件由FPGA内部的DRAM实现。

第三步：二级缓存区动态调节策略。为应对视频数据传输过程中的各种多样化的数据抖动等问题，考虑到静态的一级缓存区调节策略虽然简单，但是尚缺乏良好的适应性，因此设定一种依据缓冲区的空满情况动态调节读写的二级缓冲策略，以保证即使在输入信号的延时发生改变，或者因为时钟抖动的累积造成数据延时后，该方法依旧能够保证视间帧数据的同步性。二级调节策略本质上是一种负反馈，假定数据接收缓冲为前级缓冲，数据同步缓冲为后级缓冲。后级缓冲区使用数据传输时钟一倍的时钟速率进行缓存作业，并依据数据缓冲区的空满情况动态地调节同步缓冲区的读写状态，从而保证了系统能应对视频数据传输过程中的各种多样化的数据抖动等问题。系统能容忍的最大的视频帧延时动态调节策略设定，一般设定为同步缓冲区容量的一半比较合适。

第四步：帧间合成立体视频的同步数据输出。同步数据输出时，需要使用稳定性、失真度等指标较好的时钟同步读出数据输出缓冲区内已经同步好的视频数据。

本发明针对双路立体视频同步采集合成系统在对双视点高清立体视频信号进行同步采集与合成时，双视高清立体视频信号不能完全处于严格视间帧同步状态的情况，提出了一种基于FPGA硬件环境实现的双视高清视频数据消抖同步方法。本发明方案能够实现两路立体视频数据的、完全的、稳定的帧同步，且同步之后，在信号连接稳定的前提条件下，不会因为时钟抖动和传输链路的干扰导致失步；能够自动识别两路立体视频数据信号的先后到达顺序；该方案不会破坏高清视频数据的组成格式(包括音频数据等辅助非视频数据)。该视间视频数据消抖同步方案的所有功能均在FPGA内实现，不使用任何外部器件，这样的设计保证了可实现系统的集成度。

附图说明

图1 为本发明实施例的流程图；

图2为本发明实施例二级缓冲区动态调节策略示意图。

具体的实施方式

下面对本发明的实施例作详细说明，本实施例给出了本发明技术方案详细的实施方式和具体的操作过程。

以双路立体视频采集合成系统中的视间视步数据同步采集系统为例，具体的实施流程如图1所示：

第一步，视频数据识别。在立体视频采集合成系统里，输入的两路立体视频数据是经过外部GenLock时钟预同步控制的两台摄像机输出的视频信号，因此理论上输入的两路视频数据是帧数据同步的，但实际由于传输过程的不确定性、时钟抖动、摄像机同步成像控制时延差异等各种原因，两路立体视频数据往往并不是高度帧数据同步的，存在一定的延时，且这样的延时是随机的、无法确定的。视频数据识别步骤的主要目的是获取当前输入的两路视频数据间的相对延时关系，为后续的模块提供相应的视间帧同步控制信息。

第二步，双路输入视频数据缓存。在立体视频采集合成系统里，双路输入视频的格式为1920*1080*50i，考虑到FPGA内部存储单元容量的限制，设定缓存区的容量为能够存储4行视频数据，也就是4*1920*20bit。缓存区由FPGA内部的DRAM实现。双路立体视频采集合成系统内同步缓存区动态调节逻辑也是在缓存区的存储单元是DRAM的基础上实现的，但并不限于DRAM。

第三步，二级缓存区动态调节策略。为应对视频数据传输过程中的各种多样化的数据抖动等问题，考虑到静态的一级缓存区调节策略虽然简单但是尚缺乏良好的适应性，因此设定一种会依据缓冲区的空满情况动态调节读写的二级缓冲策略，以保证即使在输入信号的延时发生改变，或者因为时钟抖动的累积造成数据延时后，该方法依旧能够保证视间帧数据的同步性。如图2所示，二级调节策略本质上是一种负反馈，假定数据接收缓冲为前级缓冲，数据同步缓冲为后级缓冲。后级缓冲区使用数据传输时钟一倍的时钟速率进行缓存作业，并依据数据缓冲区的空满情况动态的调节同步缓冲区的读写状态，从而保证了系统能应对视频数据传输过程中的各种多样化的数据抖动等问题。在立体视频同步采集系统里，二级缓冲的大小设定为恰能容纳2行1920*1080*50i视频数据，即2*1920*20bit，同样由FPGA内部的DRAM实现。系统能容忍的最大的视频帧延时动态调节策略设定，在立体视频同步采集系统里，系统能容忍的最大的视频帧延时为1920个时钟周期。

第四步：帧间合成立体视频的同步数据输出

已立体视频格式合成的立体视频数据同步数据输出时，需要使用稳定性、失真度等指标较好的时钟同步读出合成数据缓冲区内已经同步好的视频数据。在立体视频采集合成系统中，同步数据输出本质上是利用一个74.25MHz的稳定性好、无抖动的视频时钟读取缓存区内每20bit一单元的视频数据。

从上述实施例可以看出，本发明能够实现两路立体视频数据的、完全的、稳定的帧同步，且同步之后，在信号连接稳定的前提条件下，不会因为时钟抖动和传输链路的干扰导致失步；能够自动识别两路立体视频数据信号的先后到达顺序；不会破坏高清视频数据的组成格式。该视间视频数据消抖同步方案的所有功能均在FPGA内实现。

以上实施例详细显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种立体视频采集合成系统的视间视频数据消抖同步方法，其特征在于:首先对输入的两路高清视频数据进行识别，判断其是否是有效视频数据，并计算其延时信息，在侦测到有效输入之后，将其存入数据缓冲区；采用以负反馈为原理的二级缓冲调度策略，依据缓冲区的空满情况动态调节读写，实现缓冲区容量的动态调节；最后从数据缓冲里读取同步后的立体视频数据。

2.根据权利要求1所述的立体视频采集合成系统的视间视频数据消抖同步方法，其特征在于:所述方法包括以下步骤：

第一步：双路输入立体视频数据识别以及延时测量：依据视频帧数据定义自动识别两路输入是否为有效输入、以及输入的视频格式；同时通过对帧首到达时间的先后顺序的测量来确定两路视频之间的延时差；

第二步：双路输入视频数据缓存：当两路视频接收通道接收到有效的视频数据后，将两路数据存入FPGA片内的存储空间；

第三步：二级缓存区动态调节策略：设定依据缓冲区的空满情况动态调节读写的二级缓冲策略，二级调节策略是一种负反馈，即假定数据接收缓冲为前级缓冲，数据同步缓冲为后级缓冲，后级缓冲区使用数据传输时钟一倍的时钟速率进行缓存作业，并依据数据缓冲区的空满情况动态地调节同步缓冲区的读写状态，从而保证系统能应对视频数据传输过程中的各种多样化的数据抖动；

第四步：帧间合成立体视频的同步数据输出。

3.如权利要求2所述的视频数据识别以及延时测量方法，其特征在于：所述有效输入视频数据识别是通过视频格式甄别来实现的，视频数据识别模块在扫描到有效的、正确的视频帧格式后才认为输入的视频数据有效，输入视频有效的条件包括前导字正确、行号连续、有效视频个数符合标准规定。

4.如权利要求2所述的视频数据识别以及延时测量方法，其特征在于：所述延时测量则以帧首第一行视频数据为基准，先检测到第一行视频数据的那一路视频数据被认为是先到数据；先到视频数据到达后开始计算视间视频延时时钟数，即第二路视频数据与第一路视频到达的时间差。

5.如权利要求1或2所述的视频数据识别以及延时测量方法，其特征在于：系统能容忍的最大的视频帧延时动态调节策略设定，设定为同步缓冲区容量的一半。

6.如权利要求1或2所述的视频数据识别以及延时测量方法，其特征在于：所述同步数据输出时，使用抖动低、稳定的的时钟同步读出数据输出缓冲区内已经同步好的视频数据。