CN104717426B - 一种基于外部传感器的多摄像机视频同步装置及方法 - Google Patents

Abstract

本发明提供一种基于外部传感器的多摄像机视频同步装置及方法。该装置包括图像采集组件、偏移量求取模块、视频同步模块，图像采集组件包括多个图像采集单元；图像采集单元包括摄像机、传感器组件、数据整合模块及数据存储模块；传感器组件包括一个或者多个传感器；多摄像机视频同步方法，包括步骤：图像采集及环境采样、建立帧对应关系、数据存储、偏移量求取、视频同步。本发明提供的多摄像机视频同步装置及方法，无需对特征点进行检测和跟踪，且对摄像机的摆放和分布没有显著要求，不需要通过精度要求高、实施困难、运算复杂的特征点检测和跟踪算法来进行，简单有效的解决了多摄像机视频丢帧、错帧、及摄像机视频不同步等问题。

Description

一种基于外部传感器的多摄像机视频同步装置及方法

技术领域

本发明涉及摄像机视频同步领域，特别涉及一种通过标记外部传感器信号，实现多路摄像机视频同步的装置及方法。

在计算机视觉尤其是全景成像系统中，为了获得较大视角图像、检测运动物体和构建物体三维信息，人们往往需要多台摄像机协同工作。在实际的多摄像机应用中，一旦摄像机出现丢帧或设备拍摄不一致等问题，轻则会带来匹配误差影响检测、拼接质量，重则产生错误结果，所以各摄像机间的视频同步是一个关键步骤。现阶段常见的多摄像机同步方法有以下两类：

（一）摄像机一体化。在多摄像机系统中，各摄像机采用同一块处理芯片，根据该芯片发出的时钟信号各摄像机进行同步采集。也可采用高精度同步信号发生器，在外触发信号的驱动下各摄像机同步工作。这类方法往往要求摄像机的位置相对集中，如果摄像机位置较远或者相对分散，考虑到中间导线的传输误差，该方法往往不能满足实际要求。

（二）基于摄像机图像内容的特征匹配。一种方法是获取目标特征点运动过程中，第一摄像机和第二摄像机拍摄得到的位置信息，包括第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列。根据第一特征点位置序列以及单应矩阵，得到目标特征点的第二特征点估计位置序列，由第二特征点估计位置序列和第二特征点位置的序列差异值确定帧同步位置。另一种方法是在两个摄像机图像中分别检测运动物体的运动信息，通过设置阈值分别建立事件发生序列，利用两个事件序列相关性来帮助寻找两段视频序列中的对应帧, 通过全局投票的方法寻求最优帧偏移量。

这类方法大多利用摄像机之间的特征点匹配来建立视频中的单组对应帧的对应关系，但该方法以精度要求高、实施困难的对应特征点检测和跟踪为基础, 这大大地限制了它们的运行速度和实用价值。

发明内容

为解决上述问题，本发明提供一种基于外部传感器的多摄像机视频同步装置及方法。

具体的；该装置包括图像采集模块、偏移量求取模块、视频同步模块；图像采集模块包括多个图像采集单元；图像采集单元包括摄像机；图像采集单元还包括传感器组件、数据整合模块及数据存储模块；传感器组件包括一个或者多个传感器；图像采集模块连接至偏移量求取模块及视频同步模块，偏移量求取模块还与视频同步模块连接；图像采集单元中摄像机和传感器组件连接至数据整合模块，数据整合模块连接至数据存储模块。

优选的，在车载系统等运动场景，所述传感器可采用微机械加速度传感器。

优选的，在多摄像机监视系统等静态场景，所述传感器可采用微机械声学传感器。

优选的，所述传感器可采用微机械陀螺。

基于外部传感器的多摄像机视频同步方法，包括步骤：

图像采集及环境采样：所述图像采集模块中，各图像采集单元在控制信号的控制下，控制摄像机与传感器组件以一定频率分别进行图像视频的采集及环境采样，并将摄像机采集到的图像帧及传感器组件对环境采样的采样点输入对应的数据整合模块；

建立帧对应关系；数据整合模块将同一采样时刻摄像机采集得到的图像帧和传感器组件采集到的采样点确定为一种帧对应关系；

数据存储；将摄像机采集到的图像帧与传感器采样点的帧对应关系连同传感器采样点序列一起存储在数据存储模块中，在计算需要时取出。

偏移量求取；所述偏移量求取模块从数据存储模块中取出不同图像采集单元中的传感器采样点序列，根据序列间的相关性，求取各个图像采集单元中传感器采样点序列间的偏移量，并将偏移量输入视频同步单元；

视频同步；所述视频同步单元收到不同图像采集单元中传感器的采样点序列间的偏移量时，从数据存储模块中取出不同图像采集单元中的摄像机采集到的图像帧序列及同一图像采集单元内摄像机采集得到的图像帧和传感器采样点的对应关系，计算出各个图像采集单元内摄像机图像帧的偏移关系，并根据图像帧的偏移关系对各个图像采集单元内的摄像机视频进行同步。

作为视频同步的一种方法，视频同步模块根据图像帧的偏移关系，通过控制数据整合模块，在图像采集及环境采样时直接配准相关摄像机当前采集到的图像帧，对各个图像采集单元内的摄像机视频进行同步。

作为视频同步的另一种方法，视频同步模块在图像采集及环境采样结束之后，根据各摄像机图像帧序列间的偏移关系，重新配准各摄像机视频中不同步的图像帧，对各个图像采集单元内的摄像机视频进行同步。

本发明提供的多摄像机视频同步装置及方法，无需对特征点进行检测和跟踪，且对摄像机的摆放和分布没有显著要求，不需要通过精度要求高、实施困难、运算复杂的特征点检测和跟踪算法来进行，简单有效的解决了多摄像机视频丢帧、错帧、及摄像机视频不同步等问题。

附图说明

图1是车载系统多摄像机视频同步装置结构示意图。

图2是同一图像采集单元内摄像机图像帧和传感器采样点的对应关系示意图。

图3是不同图像采集单元中传感器1采样序列示意图。

图4是不同图像采集单元中传感器2采样序列示意图。

图5是不同图像采集单元中传感器1和传感器2的采样序列间的偏移量求取示意图。

具体实施方式

为便于本领域技术人员更好的理解本发明，下面结合附图对本发明的具体实施方式作进一步的说明。

在图1所示实施例中，该装置包括图像采集模块1、偏移量求取模块2、视频同步模块3，图像采集模块包括第一图像采集单元11、第二图像采集单元12；第一图像采集单元包括第一摄像机111，还包括第一传感器组件112、第一数据整合模块113及第一数据存储模块114；第二图像采集单元包括第二摄像机121，还包括第二传感器组件122、第二数据整合模块123及第二数据存储模块124；每个传感器组件包括多个微机械加速度传感器；

图像采集模块1连接至偏移量求取模块2及视频同步模块3，偏移量求取模块2还与视频同步模块3连接。第一图像采集单元11中，第一摄像机111和第一传感器组件112连接至第一数据整合模块113，第一数据整合模块113连接至第一数据存储模块114。第二图像采集单元12中，第二摄像机121和第二传感器组件122连接至第二数据整合模块123，第二数据整合模块123连接至第二数据存储模块124。

图像采集模块1中，第一图像采集单元11及第二图像采集单元12在控制信号的控制下，分别控制第一摄像机111、第一传感器组件112及第二摄像机121、第二传感器组件122，以一定频率分别进行图像视频的采集及车载系统加速度的周期采样，并将第一摄像机111采集到的图像帧及第一传感器组件112对车载系统加速度采样的采样点输入第一数据整合模块113，第二摄像机121采集到的图像帧及第二传感器组件122对车载系统加速度采样的采样点输入第二数据整合模块123；

第一数据整合模块113将同一采样时刻第一摄像机111采集得到的图像帧和第一传感器组件112微机械加速度传感器采集到的采样点确定为帧对应关系，并将该帧对应关系连同第一传感器组件112微机械加速度传感器采集到的采样点序列一起存储在第一数据存储模块114中，在计算需要时取出。与此同时第二数据整合模块123将同一采样时刻第二摄像机121采集的图像帧和第二传感器组件122微机械加速度传感器采集到的采样点确定为帧对应关系，并将该帧对应关系连同第二传感器组件122微机械加速度传感器采集到的采样点序列一起存储在第二数据存储模块124中，在计算需要时取出。通过建立帧对应关系每一个采样时刻摄像机采集到的图像帧都有同一时刻传感器组件的采样点与其对应。

偏移量求取模块2分别从第一数据存储模块114和第二数据存储模块124中取出第一图像采集单元11和第二图像采集单元12的传感器采样点序列，根据序列间的相关性，求取第一图像采集单元11和第二图像采集单元12的传感器采样点序列间的偏移量，并将偏移量输入视频同步单元3；

视频同步单元3收到第一图像采集单元11和第二图像采集单元12中传感器的采样点序列间的偏移量时，分别从第一数据存储模块114和第二数据存储模块124中取出第一图像采集单元11和第二图像采集单元12中摄像机采集到的图像帧序列及同一图像采集单元内摄像机采集得到的图像帧和传感器采样点的帧对应关系，计算出第一图像采集单元11和第二图像采集单元12内摄像机图像帧的偏移关系，并根据图像帧的偏移关系对第一图像采集单元11和第二图像采集单元12内的摄像机视频进行同步。

作为视频同步的一种优选的方法，视频同步模块3根据第一摄像机111和第二摄像机121图像帧序列间的偏移关系，通过控制第一数据整合模块113和第二数据整合模块123，在图像采集及车载系统加速度采样时直接配准相关摄像机当前采集到的图像帧，对各个图像采集单元内的摄像机视频进行同步。具体的可以以第一摄像机111采集得到的图像帧序列为基准，重复或剔除第二摄像机121图像帧序列中的部分不同步的图像帧，以实现第一摄像机111和第二摄像机121视频的实时同步。

以上为本发明的具体实现方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些显而易见的替换形式均属于本发明的保护范围。

Claims (7)

1.一种基于外部传感器的多摄像机视频同步方法，其特征在于，基于图像采集模块、偏移量求取模块、视频同步模块；所述图像采集模块包括多个图像采集单元；所述图像采集单元包括摄像机，包括步骤：

图像采集及环境采样；所述图像采集模块中，各图像采集单元在控制信号的控制下，控制摄像机与传感器组件以一定频率分别进行图像视频的采集及环境采样，并将摄像机采集到的图像帧及传感器组件对环境采样的采样点输入对应的数据整合模块；

建立帧对应关系；数据整合模块将同一采样时刻摄像机采集得到的图像帧和传感器组件采集到的采样点确定为一种帧对应关系；

数据存储；将摄像机采集到的图像帧与传感器采样点的帧对应关系连同传感器采样点序列一起存储在数据存储模块中，在计算需要时取出；

偏移量求取；所述偏移量求取模块从数据存储模块中取出不同图像采集单元中的传感器采样点序列，根据序列间的相关性，求取各个图像采集单元中传感器采样点序列间的偏移量，并将偏移量输入视频同步单元；

视频同步；所述视频同步单元收到不同图像采集单元中传感器的采样点序列间的偏移量时，从数据存储模块中取出不同图像采集单元中的摄像机采集到的图像帧序列及同一图像采集单元内摄像机采集得到的图像帧和传感器采样点的对应关系，计算出各个图像采集单元内摄像机图像帧的偏移关系，并根据图像帧的偏移关系对各个图像采集单元内的摄像机视频进行同步。

2.依据权利要求1所述基于外部传感器的多摄像机视频同步方法，其特征在于：在视频同步时，所述视频同步模块根据图像帧的偏移关系，通过控制数据整合模块，在图像采集及环境采样时直接配准相关摄像机当前采集到的图像帧，对各个图像采集单元内的摄像机视频进行同步。

3.依据权利要求1所述基于外部传感器的多摄像机视频同步方法，其特征在于：在视频同步时，所述视频同步模块在图像采集及环境采样结束之后，根据各摄像机图像帧序列间的偏移关系，重新配准各摄像机视频中不同步的图像帧，对各个图像采集单元内的摄像机视频进行同步。

4.一种采用了权利要求1所述的基于外部传感器的多摄像机视频同步方法的多摄像机视频同步装置，其特征在于：所述图像采集单元还包括传感器组件、数据整合模块及数据存储模块；所述传感器组件包括一个或者多个传感器；所述图像采集模块连接至偏移量求取模块及视频同步模块，偏移量求取模块还与视频同步模块连接；所述图像采集单元中摄像机和传感器组件连接至数据整合模块，数据整合模块连接至数据存储模块。

5.依据权利要求4所述基于外部传感器的多摄像机视频同步装置，其特征在于：在车载系统中，所述传感器可采用微机械加速度传感器。

6.依据权利要求4所述基于外部传感器的多摄像机视频同步装置，其特征在于：在多摄像机监视系统中，所述传感器可采用微机械声学传感器。

7.依据权利要求4所述基于外部传感器的多摄像机视频同步装置，其特征在于：所述传感器可采用微机械陀螺。