CN103957344A - 多摄像装置的视频同步方法和系统 - Google Patents

Abstract

本发明提供一种多摄像装置的视频同步方法，包括如下步骤：视频帧时间标识模块和视频帧同步调节模块进行时钟同步；视频帧同步调节模块向每个摄像装置输出驱动信号，其中，驱动信号控制摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；视频帧时间标识模块接收摄像装置采集的视频信号，对视频信号中每一帧图像添加时间标识；视频帧同步调节模块根据时间标识判断摄像装置的视频信号是否同步，若不同步，则通过驱动信号调整摄像装置对视频信号的采样频率。本发明还提供一种多摄像装置的视频同步系统，能实时对多摄像装置的视频信号进行同步，其处理过程简单快速，能消除不同步视频数据的累积导致的信号阻塞。

Description

多摄像装置的视频同步方法和系统

技术领域

本发明涉及视频处理技术领域，特别是涉及一种多摄像装置的视频同步方法，以及一种多摄像装置的视频同步系统。

背景技术

视频信息在日常生活中对信息的表达起着重要的作用，特别是随着网络技术的发展，视频技术越来越多的涉及我们生活的各个邻域，譬如，视频会议，视频电话，监控等等。由于普通摄像机不能拍摄下多方位的图像，观看视频的视觉范围受到限制。

一直以来，对图像信息的获取主要来源于单摄像机的捕获以及基于图形学的图形图像虚拟生成技术。但是，随着图像获取相关学科的发展及新技术需求的推动，传统的单摄像机采集形式不能满足人眼深度感、立体感以及对对象的全方位的认识，而传统图形学的虚拟绘制技术受到复杂度、真实感的局限，无法有效地对复杂自然世界媒体的信息进行获取与表现。为此，提出了基于多摄像机全景拼接图像的实时获取及重建技术，其不仅能够捕获场景与对象的几何结构信息、纹理信息和运动信息，还能够获取场景与对象表面的反射属性及环境光变化。通常，所搭建的多摄像机全景采集系统的各个视角摄像机需要同步采集以保证处理结果的准确性。

现有的高清智能摄像机采用了分布式控制的方式，多摄像机全景采集系统的同步性的实现主要有两种方式，一种是利用使用摄像机的应用接口程序，使用软件实现同步；另一种是利用可编程摄像机的外触发功能，利用硬件产生外触发信号实现同步。

传统的采用软件将多路视频进行拼接时，因系统缺乏调整机制，导致不同步的图像信号累积，这种图像累积导致实时图像信号的延时，最终影响整个系统性能。使用硬件产生外触发信号实现同步的方式，无法确保每一帧图像的同步性；传统技术的这些同步方式均未能保证多摄像机全景采集系统能同步采集所需的图像信号，满足系统拼接处理结果的准确性。

发明内容

基于此，本发明提供一种多摄像装置的视频同步方法及系统，能实时对多摄像装置的视频信号进行同步。

一种多摄像装置的视频同步方法，包括如下步骤：

视频帧时间标识模块和视频帧同步调节模块进行时钟同步；

所述视频帧同步调节模块向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

所述视频帧时间标识模块接收所述摄像装置采集的视频信号，对所述视频信号中每一帧图像添加时间标识；

所述视频帧同步调节模块根据所述时间标识判断所述摄像装置的视频信号是否同步，若不同步，则通过所述驱动信号调整所述摄像装置对所述视频信号的采样频率。

一种多摄像装置的视频同步系统，包括摄像装置、视频帧时间标识模块、视频帧同步调节模块；

所述视频帧时间标识模块分别连接所述摄像装置的图像数据接口，所述视频帧同步调节模块连接所述视频帧时间标识模块及所述摄像装置；

所述视频帧时间标识模块和所述视频帧同步调节模块用于在初始化时进行时钟同步；

所述视频帧同步调节模块用于向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

所述视频帧时间标识模块用于接收所述摄像装置采集的视频信号，对所述视频信号中每一帧图像添加时间标识；

所述视频帧同步调节模块用于根据所述时间标识判断所述摄像装置的视频信号是否同步，若不同步，则输出所述驱动信号调整所述摄像装置对所述视频信号的采样频率。

上述多摄像装置的视频同步方法和系统，通过输出驱动信号控制摄像装置对视频信号的采样频率，并实时对视频信号中图像添加时间标识，再通过各个摄像装置视频图像数据的时间标识值判断各个摄像装置视频图像采集的同步性；当不同步时，通过驱动信号调整出现提前或滞后的所述摄像装置对所述视频信号的采样频率的大小，从而保证多摄像装置的视频同步；本发明处理过程简单快速，能消除不同步视频数据的累积导致的信号阻塞。

附图说明

图1为本发明多摄像装置的视频同步方法在一实施例中的流程示意图。

图2为本发明多摄像装置的视频同步方法在另一实施例中的流程示意图。

图3为本发明多摄像装置的视频同步方法在另一实施例中的流程示意图。

图4为本发明多摄像装置的视频同步系统在一实施例中的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细说明，但本发明的实施方式不限于此。

如图1所示，是本发明多摄像装置的视频同步方法，包括如下步骤：

S11、视频帧时间标识模块和视频帧同步调节模块进行时钟同步；

S12、所述视频帧同步调节模块向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

S13、所述视频帧时间标识模块接收摄像装置采集的视频信号，对所述视频信号中每一帧图像添加时间标识

S14、所述视频帧同步调节模块根据所述时间标识判断所述摄像装置的视频信号是否同步，若不同步，则通过所述驱动信号调整所述摄像装置对所述视频信号的采样频率；

本实施例中，摄像装置采集视频信号，可通过外部触发信号控制摄像装置开启，摄像装置拍摄视频，实时接收摄像装置采集到的视频信号；视频信号中包括一帧帧的图像；

视频帧时间标识模块和视频帧同步调节模块在开始工作时需进行初始化步骤，即两个模块进行时钟同步；之后视频帧同步调节模块向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

摄像装置在接收到驱动信号的触发后采集视频信号，输出至视频帧时间标识模块，视频帧时间标识模块接着对视频信号中的每一帧图像添加时间标识；视频帧同步调节模块获得多个摄像装置输出的已添加时间标识的视频信号，对各路视频信号，获得每路视频信号当前一帧图像中的时间标识；对比当前各路视频信号中图像的时间标识，从而可判断各个摄像装置的视频信号是否同步；若不同步，则通过输出到摄像装置的驱动信号调整所述摄像装置对所述视频信号的采样频率。

具体的，为了进一步加快同步判断速度，如图2所示，视频帧同步调节模块根据所述时间标识判断所述摄像装置的视频信号是否同步的步骤可包括：

S21、判断当前各个所述摄像装置的视频信号中图像的时间标识是否相同；

若相同，转到步骤S22、判断所述摄像装置的视频信号同步；

若不同，转到步骤S23、计算所述摄像装置的视频信号中的时间标识与预设的标准摄像装置的视频信号中的时间标识的差值，判断两者差值是否在预设的同步精度范围内；

若是，转到步骤S22、判断所述摄像装置的视频信号同步；

若否，转到步骤S24、判断所述摄像装置的视频信号不同步；

在本实施例中，判断所述摄像装置的视频信号是否同步可通过判断每一路视频信号的时间标识是否一致，或者时间标识差值是否在预设的同步精度范围内；具体的，若各路视频信号的时间标识相同，则判断各个摄像装置当前采集的视频信号同步；若不一致，则可进一步判断是否在允许的同步精度范围内；其中，可预设其中一个摄像装置为标准摄像装置，其他各个摄像装置的视频信号中的时间标识都与标准摄像装置的视频信号中的时间标识对比，计算两者的差值，根据该差值判断是否在预设的同步精度范围内；若在同步精度范围内，则判断所述摄像装置的视频信号同步；若超过同步精度范围，则判断所述摄像装置的视频信号不同步。

当判断摄像装置的视频信号不同步时，需要对摄像装置的采样频率进行调整，具体的，可根据预设的步进值通过所述驱动信号调整所述摄像装置的采样频率；通过预设的步进值对所述摄像装置的采样频率进行微调，可保证摄像装置实现同步。

在一较佳实施例中，所述时间标识为系统时间码，系统时间码为预设的系统同步时钟计算形成的带时间标识的数字量；时间标识也可为实时时间；

其中，添加所述时间标识时，视频帧时间标识模块可计算一帧视频的数据量，然后在视频帧的尾部添加时间标识，最后发回到视频帧同步调节模块。

如图3所示，示出了本实施例视频帧同步调节模块根据预设的步进值通过所述驱动信号调整所述摄像装置的采样频率的流程示意图，包括:

S31、计算所述摄像装置的视频信号中的时间标识与预设的标准摄像装置的视频信号中的时间标识的差值；

S32、判断所述差值是否在预设的同步精度范围内；

S33、若否，根据预设的步进值通过所述驱动信号调整所述摄像装置的采样频率，转至步骤S31；

摄像装置视频数据的采样频率通过输出驱动信号来控制，两者之间成正比关系，即驱动信号的频率越大，摄像装置的采样频率越大，反之亦然。

例如，系统在T0时刻，产生四路同步且大小相等的驱动信号分别作用于四台摄像装置中，每台摄像装置产生的视频数据通过各自的视频帧时间标识模块后，产生四个时间标识(或系统时间码)分别是T1、T2、T3、T4，以第一通道的摄像装置为预设的标准摄像装置，即有：

T2-T1＝ΔT1；

T3-T1＝ΔT2；

T4-T1＝ΔT3；

假设第三通道和第四通道同步于第一通道，而第二通道不同步于第一通道，并且滞后于第一通道；则有ΔT1＞0，ΔT2≈ΔT3≈0；

计算ΔT1的数值，调节输出到第二通道的摄像装置的驱动信号的频率大小f1，每次增加Δf1(单位增量，即所述预设的步进值)；持续进行视频信号的采集及时间标识的添加，对接收到的下一帧图像，即是调整了驱动信号的频率大小后获得的图像，再次对比产生的ΔT1’是否满足ΔT1’≈0，如果不满足上述条件，系统继续增加Δf1，直到满足上述条件，从而达到视频信号同步的目的。

如图4所示，是本发明一种多摄像装置的视频同步系统的结构示意图，本实施例以摄像装置为4台、视频帧时间标识模块为4个为例进行说明，本系统包括摄像装置(411～414)、视频帧时间标识模块(421～424)、视频帧同步调节模块431；

所述视频帧时间标识模块(421～424)分别连接摄像装置(411～414)的图像数据接口，所述视频帧同步调节模块431连接所述视频帧时间标识模块(421～424)及所述摄像装置(411～414)；

所述视频帧时间标识模块和所述视频帧同步调节模块用于在初始化时进行时钟同步；

所述视频帧同步调节模块用于向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

所述视频帧时间标识模块用于接收摄像装置(411～414)采集的视频信号，对所述视频信号中每一帧图像添加时间标识；

所述视频帧同步调节模块用于根据所述时间标识判断所述摄像装置(411～414)的视频信号是否同步；若不同步，则输出驱动信号调整所述摄像装置(411～414)对所述视频信号的采样频率。

本实施例可包括多台摄像装置，如图4所示，以4台摄像装置为例进行说明；各台摄像装置(411～414)的图像数据接口都连接一个视频帧时间标识模块(421～424)，摄像装置(411～414)采集视频信号，可通过驱动信号触发控制摄像装置开启，摄像装置拍摄视频，实时将采集到的视频信号输出到视频帧时间标识模块；

系统在初始化时，视频帧时间标识模块和视频帧同步调节模块需进行初始化步骤，两个模块进行时钟同步；之后视频帧同步调节模块向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

摄像装置在接收到驱动信号的触发后采集视频信号，输出至视频帧时间标识模块，视频信号中包括一帧帧的图像，视频帧时间标识模块(421～424)对输入的视频信号中的每一帧图像都添加时间标识后输出；视频帧同步调节模块431与各个视频帧时间标识模块(421～424)及摄像装置(411～414)连接，视频帧同步调节模块(421～424)接收到多路的视频信号，读取各路视频信号当前一帧图像的时间标识，对比当前各路视频信号中图像的时间标识，从而可判断各个摄像装置(411～414)的视频信号是否同步；若不同步，则通过输出到摄像装置(411～414)的驱动信号调整所述摄像装置(411～414)对所述视频信号的采样频率。

具体的，为了进一步加快同步判断速度，所述视频帧同步调节模块(421～424)还可用于：判断当前各个摄像装置(411～414)的视频信号中图像的时间标识是否相同；若相同，则判断所述摄像装置(411～414)的视频信号同步；若不同，计算所述摄像装置(411～414)的视频信号中的时间标识与预设的标准摄像装置的视频信号中的时间标识的差值，判断两者差值是否在预设的同步精度范围内；若是，则判断所述摄像装置(411～414)的视频信号同步；若否，则判断所述摄像装置(411～414)的视频信号不同步。

本实施例中，判断所述摄像装置(411～414)的视频信号是否同步可通过判断每一路视频信号的时间标识是否一致，或者时间标识差值是否在预设的同步精度范围内；具体的，若各路视频信号的时间标识相同，则判断各个摄像装置(411～414)当前采集的视频信号同步；若不一致，则可进一步判断是否在允许的同步精度范围内；其中，可预设其中一个摄像装置为标准摄像装置，其他各个摄像装置的视频信号中的时间标识都与标准摄像装置的视频信号中的时间标识对比，计算两者的差值，根据该差值判断是否在预设的同步精度范围内；若在同步精度范围内，则判断所述摄像装置的视频信号同步；若超过同步精度范围，则判断所述摄像装置的视频信号不同步。

当判断摄像装置的视频信号不同步时，需要对摄像装置的采样频率进行调整，具体的，所述视频帧同步调节模块还可用于：根据预设的步进值通过所述驱动信号调整所述摄像装置的采样频率；通过预设的步进值对所述摄像装置的采样频率进行微调，可保证摄像装置实现同步。

接下来再通过一实施例阐述上述多摄像装置的视频同步系统的运行过程：

(1)系统进行初始化设置，摄像装置、视频帧时间标识模块、视频帧同步调节模块初始化：将所述的视频帧同步模块的驱动信号进行时钟同步设置；所述视频帧时间标识模块的时间标识进行时钟同步设置；预先设定某一通道的摄像装置为标准摄像装置。

(2)视频帧同步调节模块同时产生四路同步驱动信号，所述每台摄像装置接收到驱动信号的触发，采集视频图像数据，每通道一路视频数据，四通道共四路视频数据；

(3)采集到的视频图像数据输入到视频帧时间标识模块，视频帧时间标识模块对所采集的视频图像数据中的每帧图像添加一个实时的时间标识；

(4)所述添加时间标识的视频图像数据输入到视频帧同步调节模块，视频同步调节模块根据接收到的来自四个通道的带时间标识的视频图像数据，判断所述时间标识的是否一致或在系统允许的同步精度范围内，若一致或在系统允许的同步精度范围内，表示多摄像装置视频采集系统同步；若不一致并且不在系统允许的同步精度范围内，则表示多摄像装置视频采集系统系统不同步；

(5)当多摄像装置视频采集系统同步，则将四通道的同步视频数据输出，用于进行多摄像装置全景视频数据处理，然后依次循环步骤(2)、步骤(3)、步骤(4)；

(6)当摄像装置的视频信号不同步时，则判断来自四个通道的带时间标识(或系统时间码)的视频图像数据的时间标识与指定通道的标准摄像装置的时间标识对比，视频帧同步调节模块通过计算每一通道与指定通道的标准摄像装置的时间标识差值，获取每一通道相对于标准摄像装置是提前或滞后，通过调节视频帧同步调节模块的驱动信号的频率的大小来调节出现提前或滞后的通道的摄像装置的图像采样频率的大小；然后依次进行步骤(2)、步骤(3)、步骤(4)，步骤(6)直到系统同步，则进入步骤(5)。

本发明多摄像装置的视频同步方法和系统，通过实时对视频信号中图像添加时间标识，通过各个摄像装置视频图像数据的时间标识值判断各个摄像装置视频图像采集的同步性；当不同步时，通过驱动信号调整出现提前或滞后的所述摄像装置对所述视频信号的采样频率的大小，从而保证多摄像装置的视频同步；本发明处理过程简单快速，能消除不同步视频数据的累积导致的信号阻塞。

本发明通过实时对视频信号中图像添加时间标识，通过各个摄像装置视频图像数据的时间标识值判断各个摄像装置视频图像采集的同步性，采用这种方式可根据需要设置不同级别的系统同步性精度，从而保证多摄像头视频图像采集系统的不同步误差控制在合适的精度范围内，保证后续进行全景视频拼接时的精度。。

本发明通过视频帧同步调节模块的反馈调节机制，通过接收到的多摄像装置的视频图像数据的时间标识，并计算差值，量化提前或滞后的时间量，通过控制摄像装置的驱动信号的频率大小来调整出现提前或滞后的通道的摄像装置的图像采样频率的大小，从而保证多摄像装置的视频同步，既保证了后续视频拼接时视频信号的同步准确率，也消除因不同步数据的累积导致信号阻塞等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种多摄像装置的视频同步方法，其特征在于，包括如下步骤：

视频帧时间标识模块和视频帧同步调节模块进行时钟同步；

所述视频帧同步调节模块向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

所述视频帧时间标识模块接收所述摄像装置采集的视频信号，对所述视频信号中每一帧图像添加时间标识；

所述视频帧同步调节模块根据所述时间标识判断所述摄像装置的视频信号是否同步，若不同步，则通过所述驱动信号调整所述摄像装置对所述视频信号的采样频率。

2.根据权利要求1所述的多摄像装置的视频同步方法，其特征在于，所述视频帧同步调节模块根据所述时间标识判断所述摄像装置的视频信号是否同步的步骤包括：

判断当前各个所述摄像装置的视频信号中图像的时间标识是否相同；

若相同，则判断所述摄像装置的视频信号同步；若不同，计算所述摄像装置的视频信号中的时间标识与预设的标准摄像装置的视频信号中的时间标识的差值，判断两者差值是否在预设的同步精度范围内；

若是，则判断所述摄像装置的视频信号同步；若否，则判断所述摄像装置的视频信号不同步。

3.根据权利要求2所述的多摄像装置的视频同步方法，其特征在于，所述视频帧同步调节模块通过驱动信号调整所述摄像装置对所述视频信号的采样频率的步骤包括：根据预设的步进值通过所述驱动信号调整所述摄像装置的采样频率。

4.根据权利要求1所述的多摄像装置的视频同步方法，其特征在于，所述时间标识为系统时间码或实时时间。

5.一种多摄像装置的视频同步系统，其特征在于，包括摄像装置、视频帧时间标识模块、视频帧同步调节模块；

所述视频帧时间标识模块分别连接所述摄像装置的图像数据接口，所述视频帧同步调节模块连接所述视频帧时间标识模块及所述摄像装置；

所述视频帧时间标识模块和所述视频帧同步调节模块用于在初始化时进行时钟同步；

所述视频帧同步调节模块用于向每个摄像装置输出驱动信号，其中，所述驱动信号控制所述摄像装置对视频信号的采样频率，输出至各个摄像装置的驱动信号为已进行时钟同步的驱动信号；

所述视频帧时间标识模块用于接收所述摄像装置采集的视频信号，对所述视频信号中每一帧图像添加时间标识；

所述视频帧同步调节模块用于根据所述时间标识判断所述摄像装置的视频信号是否同步，若不同步，则输出所述驱动信号调整所述摄像装置对所述视频信号的采样频率。

6.根据权利要求5所述的多摄像装置的视频同步系统，其特征在于，所述视频帧同步调节模块还用于：判断当前各个所述摄像装置的视频信号中图像的时间标识是否相同；若相同，则所述摄像装置的视频信号同步；若不同，计算所述摄像装置的视频信号中的时间标识与预设的标准摄像装置的视频信号中的时间标识的差值，判断两者差值是否在预设的同步精度范围内；若是，则判断所述摄像装置的视频信号同步；若否，则判断所述摄像装置的视频信号不同步。

7.根据权利要求5所述的多摄像装置的视频同步系统，其特征在于，所述视频帧同步调节模块还用于：输出所述驱动信号并根据预设的步进值调整所述摄像装置的采样频率。

8.根据权利要求5所述的多摄像装置的视频同步系统，其特征在于，所述时间标识为系统时间码或实时时间。