CN104063867A - 一种多摄像机视频同步方法和装置 - Google Patents

Abstract

本发明提供一种多摄像机视频同步方法和装置，其中方法包括：获取在目标特征点的运动过程中，第一摄像机和第二摄像机拍摄得到的位置信息，包括第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；第一特征点位置序列包括目标特征点的第一位置信息；第二特征点位置序列包括目标特征点的第二位置信息；根据第一特征点位置序列以及单应矩阵，得到目标特征点的第二特征点估计位置序列；根据第二特征点估计位置序列和第二特征点位置序列得到序列差异值；在序列差异值符合预设的同步条件时，确定第一摄像机和第二摄像机的帧同步位置。本发明实现了各摄像机之间的图像同步。

Description

一种多摄像机视频同步方法和装置

技术领域

本发明涉及视频监控领域，特别涉及一种多摄像机视频同步方法和装置。

背景技术

在视频监控领域，对于某一被测场景，有时需要采用双目摄像系统或者多目摄像系统来获取该被测场景中的目标被测物的三维坐标信息，以双目摄像系统为例，该双目摄像系统包括两个摄像机，各摄像机分别对目标被测物拍摄图像，双目摄像系统会综合根据各摄像机采集的图像，通过获取视差图像和深度图像等处理来得到该目标被测物的三维坐标信息。在上述过程中，双目摄像系统中的各摄像机需要保证图像同步，才能进行后面的获取视差图像等处理；而各摄像机的图像同步指的是，各摄像机采集的图像是同一物体在同一时间的图像，即各摄像机保证所获取的图像目标的一致性。同理，多目摄像系统中的各摄像机之间也需要保证图像同步。

现有技术中，为了满足上述的摄像机图像同步的要求，通常会将双目摄像系统中的各摄像机一体化制造，比如，将两个摄像机采用同一处理芯片，这样可以根据该芯片所发出的时钟信号进行拍摄，以保证摄像机之间的同步。但是，这种方式中两个摄像机之间的距离受到限制，实际实施中，如果根据实际拍摄需要，采用将摄像机的位置分散，比如各摄像机的间距较大，这种情况下当前尚没有如何保证各摄像机的图像同步的方法，导致无法满足实际拍摄需要。

发明内容

有鉴于此，本发明提供一种多摄像机视频同步方法和装置，以实现各摄像机之间的图像同步。

具体地，本发明是通过如下技术方案实现的：

第一方面，提供一种多摄像机视频同步方法，包括：

获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；

将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；

根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；

在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应。

结合第一方面，在第一种可能的实现方式中，所述根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列；

所述根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列；

所述根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；

所述根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述序列差异值符合预设的同步条件，包括：所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值；或者，所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值。

结合第一方面，在第三种可能的实现方式中，所述在所述序列差异值不符合所述预设的同步条件时，将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应，包括：若所述序列差异值不符合所述预设的同步条件，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。

结合第一方面，在第四种可能的实现方式中，所述获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，之前还包括：获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零；根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。

第二方面，提供一种多摄像机视频同步装置，包括：

信息接收单元，用于获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；

信息处理单元，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；

差异求取单元，用于根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；

同步确定单元，用于在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则指示所述信息处理单元将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后依照帧顺序建立帧对应。

结合第二方面，在第一种可能的实现方式中，所述信息处理单元，在根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列；

在根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列；

所述差异求取单元，具体用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；或者，对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述同步确定单元，具体用于：在所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值时，确定所述序列差异值符合预设的同步条件；或者，在所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值时，确定所述序列差异值符合预设的同步条件。

结合第二方面，在第三种可能的实现方式中，所述信息处理单元，在将所述预设数量的第一图像帧和第二图像帧进行移动，并在移动后依照帧顺序建立帧对应时，具体用于：在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。

结合第二方面，在第四种可能的实现方式中，所述信息接收单元，还用于获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零；所述信息处理单元，还用于根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。

本发明实施例提供的多摄像机视频同步方法和装置，通过获取各摄像机分别拍摄得到的目标特征点的位置信息，并利用单应矩阵得到估计的位置信息，并与实际的位置信息比较得到序列差异值，当该序列差异值满足预设的同步条件时，则表明确定了各摄像机图像之间的帧同步位置，通过该方法实现了各摄像机之间的图像同步。

附图说明

图1为本发明实施例提供的多摄像机视频同步方法的一种可选应用场景；

图2为本发明实施例提供的多摄像机视频同步方法中的摄像机成像坐标关系图；

图3为本发明实施例提供的多摄像机视频同步方法中应用的棋盘标定图；

图4为本发明实施例提供的多摄像机视频同步方法中的摄像机同步装置与摄像机连接示意图；

图5为本发明实施例提供的一种多摄像机视频同步方法的流程示意图；

图6为本发明实施例提供的多摄像机视频同步方法中的特征点移动轨迹示意图；

图7为本发明实施例提供的多摄像机视频同步方法中的帧对应示意图一；

图8为本发明实施例提供的多摄像机视频同步方法中的差异计算示意图；

图9为本发明实施例提供的多摄像机视频同步方法中的帧对应示意图二；

图10为本发明实施例提供的多摄像机视频同步装置的结构示意图；

图11为本发明实施例提供的多摄像机视频同步装置的实体结构图。

具体实施方式

本发明实施例提供的多摄像机视频同步方法，可以应用于两台独立摄像机的图像同步；图1举例了一种可选的应用场景：假设需要对某一会议室的布置进行拍摄，安装了两台独立的摄像机，并且这两台独立摄像机间距较远，一台摄像机11放置在会议室左侧，另一台摄像机12放置在会议室右侧；由这两台摄像机组成的双目摄像系统，这两台摄像机不能进行同步拍摄(例如，可能相差(1000/25)ms)，后期对于这两台摄像机拍摄出来的视频图像，需要进行同步处理，在图像同步之后再求取视差图和深度图以及三维重构等。

这里所述的图像同步的意思是，各摄像机保证所获取的图像目标的一致性，举个例子来说明“图像同步”的含义：假设摄像机11和摄像机12都对某个运动过程进行了拍摄，对于摄像机11来说，其第100帧对应的是该运动过程的起始点，即从第100帧开始对该运动进行拍摄(100帧之前的图像是其他图像)；对于摄像机12来说，其第120帧对应的是该运动过程的起始点，即摄像机12从第120帧开始对该运动进行拍摄。那么，后续在专门针对这个运动过程分析时需要知道，摄像机11的第100帧与摄像机12的第120帧开始同步，直至运动过程结束。由此可见，摄像机11和摄像机12的图像帧如果同步，两者相差20帧；以此类推，摄像机11的第108帧与摄像机12的第128帧是同步的。所以，本发明实施例中所说的，对两台摄像机进行图像同步，其实可以理解为，要找到两台摄像机的图像同时刻位置，两台摄像机采集的图像序列的同时刻相差多少帧。

结合图1，本发明实施例提供的多摄像机视频同步方法，也即是要找到摄像机11和摄像机12的同步位置。当然，本发明实施例的方法不仅可以应用于双目摄像系统，也可以应用于多目摄像系统中的两两摄像机之间的图像同步。下面将详细描述本发明实施例的多摄像机视频同步方法：

首先，在本发明实施例的多摄像机视频同步方法中，使用了一个重要概念，即“单应矩阵”，该单应矩阵用于表示需要进行图像同步的两台摄像机对同一目标物体在同一时刻所摄取的位置坐标之间的转换关系。这里先对该单应矩阵的原理、以及计算方法进行简单说明，由于单应矩阵的计算是常规技术，所以本实施例只做简单介绍：

图2所示为一个摄像机成像时的坐标关系图，其中，(X,Y,Z)为世界坐标系，(u,v,w)为镜头坐标系，(x,y)为图像像素坐标系。由于摄像机镜头为凸透镜，成像时为倒立成像，为分析方便起见，此处取成像的镜像。假设[X,Y,Z,1]^T为空间中世界坐标系的一个三维点的坐标，该坐标用齐次坐标表示；并假设[x,y,1]^T为该三维点成像在图像像素坐标系中的像点的二维像素坐标，该二维像素坐标也用齐次坐标表示。那么，用于表示该三维点从世界坐标系的坐标投影(或者称为变换)到图像像素坐标系的转换关系的矩阵称为投影矩阵为M_3×4，该投影矩阵与上述的两个坐标系中的坐标之间的关系可以参见如下的公式(1)：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M_{3\×4}\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]...\left(1\right)$

在本实施例中，可以在两台摄像机的重叠成像区域设置一个公共平面，世界坐标系可以特殊选定，世界坐标系的XY平面位于该公共平面上，同时世界坐标系的Z轴为公共平面法向，则公共平面上所有点的世界坐标系的Z坐标值为零。经过这样设置，上述的公式(1)中的投影矩阵就变成了M_3×3，如式(2)所示：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{14}\\ m_{21}& m_{22}& m_{24}\\ m_{31}& m_{32}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=M_{3\×3}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]...\left(2\right)$

同时，在公共平面上寻找一些特征点，可以称为目标特征点，这些目标特征点要便于在图像中单独检测和标记，即要易于从图像中识别出来；比如，某个摄像机对公共平面拍摄得到了该平面的图像，那么上述所设置的目标特征点要求是易于从这个平面的图像中检测识别出来，这样才能进一步得到该目标特征点的位置信息即特征点坐标。为了实现上述的方便识别，比如可以选择常用于摄像机标定的棋盘图，参见图3，并将该棋盘图上的黑块和白块的交点设置为目标特征点，比如图3中示出的其中两个目标特征点f1和f2。

经过上述公式(2)的变换后，对于世界坐标系中的上述公共平面上的某一个目标特征点[X,Y,1]^T来说，该目标特征点在两台摄像机对应的图像像素坐标系中的位置坐标的关系如下：

$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]={\mathrm{ML}}_{3\×3}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]...\left(3\right)$

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]={\mathrm{MR}}_{3\×3}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]...\left(4\right)$

其中，在上述的公式(3)和(4)中，ML_3×3可以是双目摄像系统中的其中一台摄像机的投影矩阵，MR_3×3为另一台摄像机的投影矩阵；[x₁,y₁,1]^T是上述的一台摄像机的图像像素坐标系的坐标，相当于该摄像机成像后的图像中的目标坐标点的坐标，[x₂,y₂,1]^T是上述的另一台摄像机的图像像素坐标系的坐标。

那么，由上述的公式(3)和(4)可以得到公式(5)和公式(6)：

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]={\mathrm{ML}}^{-1}\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]={\mathrm{MR}}^{-1}\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]...\left(5\right)$

$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=H_{3\×3}\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]...\left(6\right)$

从上面的公式可以看到，对于公共平面上的某一个目标特征点，如果分别由两台摄像机对该公共平面拍摄图像，那么这两台摄像机分别拍摄的图像中，目标特征点在图像中的位置坐标之间是存在关系的，即公式(6)中的转换关系，公式(6)中的表示两者转换关系的矩阵称为单应矩阵，如果将该单应矩阵用H_3×3表示，该矩阵只有8个自由度，可以令h₃₃＝1，则只要确定其他的七个参数就可以唯一确定矩阵H。假设已知该单应矩阵H，并且已知[x₂,y₂,1]^T，则可依式(6)得[x₁,y₁,1]^T：

$\begin{array}{c}{x}_1=\frac{h_{11}{x}_2+h_{12}{y}_2+h_{13}}{h_{13}+h_{32}+1}\\ y_1=\frac{h_{21}{x}_2+h_{22}{y}_2+h_{23}}{h_{31}+h_{32}+1}\end{array}...\left(7\right)$

综上，只要知道上述的“单应矩阵”，并且已知目标特征点在其中一个摄像机所得到的图像中的位置坐标，就可以根据上述公式(7)，得到该目标特征点在另一个摄像机所得到的图像中的位置坐标；当然，前提是这两个摄像机的所述图像均是对于该目标特征点在同一位置和同一时刻的成像。

本实施例中，为了得到单应矩阵，可以将图3中所示的棋盘图的平面处于静止状态，并采用需要进行图像同步的两台摄像机比如图1中所示的摄像机11和摄像机12，分别采集该棋盘图的图像，并检测识别出公共平面上的各目标特征点(比如图3中所示f1和f2)的位置坐标(相当于在图像像素坐标系中的坐标)，根据公式(6)，知道了两台摄像机采集的位置坐标，就可以计算出单应矩阵。具体实施中，例如可以采用PANSAC(随机抽样一致算法)来求得单应矩阵。此外，需要说明的是，由于需要确定单应矩阵中的至少七个参数，所以选取的目标特征点的数量至少为七个。需要注意的是，上述的特征点位置坐标是采集的原始图像经过对镜头径向失真和切向失真进行图像矫正、相机标定以及双目校正(rectified)得到的图像中的位置坐标。在下面所述的各实施例中，涉及到的求取“单应矩阵”的步骤中均做如上处理。

然后，在上述说明了“单应矩阵”的基础上，如下介绍如何结合单应矩阵估计两台摄像机之间的图像同步关系。仍然参见图1，如果要获取摄像机11和摄像机12之间的图像同步关系，实际需要另外一台设备即摄像机同步装置的参与，该摄像机同步装置与这两台摄像机之间的关系可以参见图4，在图4中，摄像机11和摄像机12可以向摄像机同步装置13发送一些信息，该摄像机同步装置13可以根据这些信息对两台摄像机的图像信息进行处理，并进行摄像机的图像同步、求取视差图、三维重构等工作，具体传递哪些信息及如何处理，下面将详细说明。

图5示出了一种可选的多摄像机视频同步方法，该方法可以是由上述的摄像机同步装置13执行，需要说明的是，具体实施中，同步方法不一定是按照如下的顺序执行的，也不一定需要执行如下所述的全部步骤，这里所述的仅是以一种可选的方式；相关步骤的变通说明会在实施例中描述。如图5所示，该方法可以包括：

501、获取目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息；

该步骤主要是为了计算单应矩阵，由上面对于单应矩阵的说明可以知道，如果要计算单应矩阵，是需要获取目标特征点在公共平面处于静止状态，第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息的。这里的目标特征点是在公共平面上设置的特征点，该目标特征点的数量为至少七个。

本步骤中，所述的对目标特征点拍摄，需要说明的是，一方面其实具体实施中，摄像机可以是对公共平面拍摄得到平面图像，由于目标特征点是设置在该公共平面上，所以平面图像中也是存在目标特征点的；另一方面，这里可以要求时刻不同步拍摄，由于公共平面处于静止状态，第一摄像机和第二摄像机在任意时刻拍摄的图像坐标均不发生变化。即不同时刻拍摄静止的公共平面，公共平面静止实现空间同步。

上述的初始位置信息，可以将第一摄像机得到的称为第一静止特征点位置，将第二摄像机得到的称为第二静止特征点位置。该第一静止特征点位置和第二静止特征点位置是目标特征点在图像像素坐标系中的坐标。

502、根据初始位置信息，计算得到所述单应矩阵；

其中，根据在501中得到的第一静止特征点位置和第二静止特征点位置，并对图像矫正和图像校正后，计算单应矩阵的步骤，可以参见公式(6)和公式(7)，不再详述。

可选的，上面所述的501和502步骤，是摄像机同步装置需要自己计算单应矩阵，所以需要获取第一摄像机和第二摄像机得到的上述目标特征点的初始位置信息。具体实施中，该初始位置信息可以使摄像机根据拍摄的图像检测目标特征点的位置，并将位置信息发送给摄像机同步装置；或者，还可以是摄像机直接将公共平面处于静止状态时拍摄的目标特征点图像发送给摄像机同步装置，由摄像机同步装置根据图像检测目标特征点的位置。

这两个步骤得到单应矩阵，为后续步骤中使用该单应矩阵做基础。

503、接收所述第一摄像机发送的所述第一特征点位置序列，以及所述第二摄像机发送的所述第二特征点位置序列；

本实施例中，公共平面在静止提供了目标特征点的静止图像后，还要将公共平面绕着该平面上的某一点旋转或者平移，即让公共平面处于运动状态，但是该运动过程要始终保持Z轴为零；其实也可以相当于，公共平面是不动的，始终维持在世界坐标系的XY平面，只是公共平面上的各个目标特征点在该平面上运动。在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的目标特征点拍摄得到位置信息。

并且，将第一摄像机得到的一系列的特征点位置信息称为第一特征点位置序列，将第二摄像机得到的一系列的特征点位置信息称为第二特征点位置序列。第一特征点位置序列包括：在第一摄像机拍摄的视频中，该视频包括了分别对应目标特征点不同运动位置的预设帧数的第一图像帧序列，该第一图像帧序列包括了多个不同的第一图像帧，目标特征点在每一个第一图像帧中的位置坐标称为第一位置信息。举例如下：假设第一摄像机拍摄了包括十个图像帧的视频，那么每一个图像帧称为第一图像帧，并且在每个第一图像帧中都包括了八个目标特征点的位置坐标，对于每一个目标特征点的位置坐标称其为第一位置信息，所有第一图像帧(即十个图像帧)中的所有目标特征点(即每个图像帧都有八个目标特征点)的第一位置信息组成了第一特征点位置序列。

第二特征点位置序列包括：在第二摄像机拍摄的视频中，该视频包括了分别对应目标特征点不同运动位置的预设帧数的第二图像帧序列，该第二图像帧序列包括了多个不同的第二图像帧，目标特征点在每一个第二图像帧中的位置坐标称为第二位置信息。

为了使得该处理过程容易理解，结合图6进行说明，图6示出了世界坐标系的XY平面，并示出了一种可选的目标特征点的移动轨迹(其实也可以理解为公共平面的运动轨迹，平面上的目标特征点会随着平面一起运动)，该轨迹是一个三角形，图6中还用箭头示出了目标特征点的运动方向，是按照s1——s2——s3——s4——s5——s6——s7——s8——s9的顺序形成三角形运动轨迹，其中的s1至s9示出的是运动过程中的几个位置。

结合图6，假设图1中的第一摄像机11和第二摄像机12都对该运动过程进行拍摄，并且，在s1位置，这两台摄像机都拍摄了对应该位置的图像，在s2位置，这两台摄像机也都拍摄了对应该s2位置的图像，在s3位置，这两台摄像机也都拍摄了对应该s3位置的图像，等等，也就是说，对于某一个目标特征点的位置来说，这两台摄像机都拍摄了对应的图像，而对于两台摄像机拍摄的图像来说，这两个图像是对应的同一物体(即同一目标特征点)在同一时刻(相当于同一位置比如s1)的图像，也就是所说的同步拍摄。

那么，由s1至s9的过程第一摄像机11都拍摄了，当然具体实施时拍摄得到的是一系列的图像帧，可以称为第一图像帧序列，每一图像帧中包含有目标特征点在所述的三角形轨迹中的某一个具体的位置比如s1或s2；本实施例可以将目标特征点在每一第一图像帧中的位置信息称为第一位置信息(其实也就是在该图像中的目标特征点在图像像素坐标系的坐标)，上述的一系列的第一图像帧对应的分别是目标特征点的不同运动位置。

如下是位置信息的可选的表示方式：

(f1(x,y)_1L,f2(x,y)_1L,.......,fn(x,y)_1L),(f1(x,y)_2L,f2(x,y)_2L,.......,fn(x,y)_2L)

(f1(x,y)_NL,f2(x,y)_NL,.......,fn(x,y)_NL)

(f1(x,y)_1R,f2(x,y)_1R,.......,fn(x,y)_1R)

(f1(x,y)_2R,f2(x,y)_2R,.......,fn(x,y)_2R)……(f1(x,y)_NR,f2(x,y)_NR,.......fn(x,y)_NR)

上述的位置信息，以fn_NR为例说明，fn表示第n个目标特征点，下标NR表示右摄像机的第N个图像帧(R表示右摄像机例如第二摄像机，L表示左摄像机例如第一摄像机)，可以将右摄像机拍摄的称为第二图像帧，左摄像机拍摄的称为第一图像帧。在上面所列举的位置信息中，既包括了第一摄像机所获得的第一位置信息(即下标为NL的信息，是第一摄像机拍摄的)，也包括了第二摄像机所获得的第二位置信息(即下标为NR的信息，是第二摄像机拍摄的)。形象的说，在公共平面形成图6所示的三角形轨迹的过程中，第一摄像机11拍摄了N张图像，可以称为包括N个第一图像帧的第一图像帧序列，每一个第一图像帧都是对该平面的一次拍照。由于该公共平面上包括至少七个目标特征点，所以在每一个第一图像帧中都能检测识别出每一个目标特征点对应的位置信息，比如f1(x,y)_1L，是第一个第一图像帧中的第一个目标特征点的第一位置信息。

本实施例可以将上述的N个第一图像帧中的所有目标特征点的第一位置信息，称为第一特征点位置序列。同理，第二摄像机得到的第二特征点位置序列包括：在第二摄像机拍摄的分别对应不同运动位置的预设数量的第二图像帧中，目标特征点在每一第二图像帧中的第二位置信息。

此外，还需要说明的是，上述的预设数量的第一图像帧或者预设数量的第二图像帧，所指的预设数量，优选是能够形成运动轨迹的数量，以使得同步的效果更好。比如，在形成图6所示的三角形运动轨迹的过程中，第一摄像机拍摄了10帧，即10个第一图像帧(仅是举例，实际实施中可能会有更多的帧数)，通过这10个第一图像帧组合就可以还原三角形运动轨迹。因为如果形成完整的运动轨迹，在判断两台摄像机的同步位置时，会更加准确的比较，类似于两台摄像机拍摄的图像轨迹是否匹配。

本实施例是以摄像机将检测得到的目标特征点的位置信息发送给摄像机同步装置为例，即摄像机自己拍摄了图像，并且从图像中检测识别出目标特征点的位置，并将位置信息发送给同步装置。

可选的，在具体实施中，还可以是，由摄像机同步装置来根据图像检测目标特征点的位置信息，那么此时，摄像机只需要将其所拍摄得到的视频比如第一图像帧序列或者第二图像帧序列发送给摄像机同步装置，由摄像机同步装置从图像中检测得到位置信息，比如，同步装置接收第一摄像机发送的第一图像帧序列，并从第一图像帧序列检测得到目标特征点的第一特征点位置序列；同步装置接收所述第二摄像机发送的第二图像帧序列，并从第二图像帧序列检测得到目标特征点的第二特征点位置序列。在另一个可选的实施例中，也可以是，同步装置接收第一摄像机发送的第一特征点位置序列，并且接收第二摄像机发送的第二图像帧序列，同步装置从第二图像帧序列检测得到目标特征点的第二特征点位置序列。

504、将预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；

本步骤中，所选择的第一图像帧和第二图像帧的数量相等，结合图7说明该步骤。如图7所示，从第一摄像机拍摄的第一图像帧序列(该序列包括预设数量的第一图像帧)中选取第1帧至第10帧，从第二摄像机拍摄的第二图像帧序列(该序列包括预设数量的第二图像帧)中也选择第1帧至第10帧，并依照帧顺序建立帧对应；这里所述的依照帧顺序建立帧对应指的是，第一摄像机的第1帧与第二摄像机的第1帧对应(图7中的双向箭头所示)，第一摄像机的第2帧与第二摄像机的第2帧对应，依次类推。

505、根据其中一个图像的位置信息，估计得到另一个图像的估计位置信息；

具体的，本步骤可以根据第二特征点位置序列以及单应矩阵，得到目标特征点在第一图像帧对应的第一特征点估计位置序列。比如，对于分别对应的每一对第一图像帧和第二图像帧，根据目标特征点的第二位置信息以及单应矩阵，得到目标特征点在第一图像帧对应的第一估计位置信息。

仍然结合图7所示，尽管已经得到了目标特征点在图像中的实际位置，即上述的第一位置信息或者第二位置信息，但是本实施例还是要根据单应矩阵，由其中一个摄像机得到的位置信息来估计另一个摄像机的估计位置信息，这是为了后续步骤中将估计位置信息与实际得到的位置信息进行比较，并寻求两者差异的最小化来得到同步位置。比如对于图6中的s3位置，第一摄像机的第3帧得到的图像通过检测可以得到该s3的第一位置信息，第二摄像机的第3帧得到的图像通过检测也得到了该s3的第二位置信息，本步骤中，要根据第二摄像机的第3帧得到的第二位置信息、以及单应矩阵进行估计计算，得到该s3位置的目标特征点在第一摄像机的第3帧对应的位置，称为第一估计位置信息。

具体如何由第二位置信息和单应矩阵进行估计计算得到第一估计位置信息，可以参见前面所述的公式(6)或者公式(7)，不再详述。对于每一图像帧，都可以按照这种方式进行估算，那么在图7中的10个帧，会得到一系列的第一估计位置信息；并且，每一帧中目标特征点的数量有多个，在估计时需要每个目标特征点依次估计；比如，每一帧中有7个目标特征点，那么根据上面所述的第二摄像机的第3帧中的目标特征点D1的第二位置信息，估计第一摄像机的第3帧中该D1对应的第一估计位置信息；根据第二摄像机的第3帧中的目标特征点D2的第二位置信息，估计第一摄像机的第3帧中该D2对应的第一估计位置信息。图7中的10个帧全部估计完成得到的是第一特征点估计位置序列，参见如下所示：

$(f1{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{1L},f2{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{1L},.......,\mathrm{fn}{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{1L})$

$(f1{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{2L},f2{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{2L},.......,\mathrm{fn}{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{2L})......$

$(f1{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{\mathrm{NL}},f2{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{\mathrm{NL}},.......,\mathrm{fn}{(\stackrel{\‾}{x},\stackrel{\‾}{y})}_{\mathrm{NL}})$

同理，也可以根据第一特征点位置序列以及单应矩阵，得到目标特征点在第二图像帧对应的第二特征点估计位置序列。比如，对于分别对应的每一对第一图像帧和第二图像帧，根据目标特征点的第一位置信息以及单应矩阵，得到目标特征点在第二图像帧对应的第二估计位置信息，预设数量的第二图像帧中的各第二图像帧分别对应的第二估计位置信息，组成第二特征点估计位置序列。

506、根据实际的位置信息、以及估计位置信息，得到序列差异值；

可选的，本步骤中，可以根据第一特征点估计位置序列和第一特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；具体的，对于分别对应的每一对第一图像帧和第二图像帧，根据第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

上述过程可以用下面的公式表示：

${\mathrm{Error}}_N=\underset{n}{\mathrm{\Σ}}[{\mathrm{fn}}_{\mathrm{NL}}(x,y)-{\mathrm{fn}}_{\mathrm{NL}}(\stackrel{\‾}{x},\stackrel{\‾}{y})]...\left(8\right)$

$\mathrm{Error}=\underset{N}{\mathrm{\Σ}}{\mathrm{Error}}_N=\underset{N}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}[{\mathrm{fn}}_{\mathrm{NL}}(x,y)-{\mathrm{fn}}_{\mathrm{NL}}(\stackrel{\‾}{x},\stackrel{\‾}{y})]...\left(9\right)$

其中，Error_N表示第N帧的位置差异称为帧差异值，n表示第n个目标特征点，N表示图像帧的个数。仍以图7为例，并结合图8说明：假设有七个目标特征点，10个图像帧。对于第1帧来说，根据第一摄像机得到的第1帧中某个目标特征点的第一位置信息、以及单应矩阵，可以估计得到第二摄像机得到的第1帧中对应的该目标特征点的第二估计位置信息；对于该目标特征点来说，根据实际的第二位置信息、以及第二估计位置信息，可以得到该特征点对应的点差异(相当于该特征点的实际坐标和估计坐标的误差)，比如图8中所示的C1；同样的方式，可以得到每一个目标特征点的点差异，C2、C3……C7，将这些特征点的点差异相加，得到就是帧差异值，如公式(8)。每一个图像帧，都可以按照该方法得到对应的帧差异值，如图8中所示的Y1、Y2….Y10，将这些帧差异值求和得到序列差异值，如公式(9)。

同理，本步骤还可以根据第二特征点估计位置序列和第二特征点位置序列，得到序列差异值；具体包括：对于分别对应的每一对第一图像帧和第二图像帧，根据第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值。

507、判断序列差异值是否符合预设的同步条件；

本实施例中，可以对于每一帧的帧差异值设置帧阈值，对序列差异值设置序列阈值。可选的，这里所述的预设的同步条件，可以是：序列差异值小于预设的序列阈值，并且，每一帧的帧差异值小于帧阈值。或者，该同步条件还可以是，序列差异值小于预设的序列阈值，但是有部分帧的帧差异值大于或等于帧阈值，称为异常帧，而这部分异常帧的数量小于数量阈值，比如可以设定一个比例，要求异常帧的数量不能大于序列总帧数的10％。当然具体实施中，还可以设置其他同步条件，不再列举。

如果经过判断满足上述的同步条件，说明已经找到了同步位置，比如图7或图8中的10个图像帧的序列，如果序列差异值满足上述同步条件，说明第一摄像机和第二摄像机拍摄的这10帧图像分别得到的轨迹都是三角形，而且轨迹是匹配的，找到了第一摄像机和第二摄像机的同步位置，则继续执行508。

否则，如果经过判断不满足上述的同步条件，则返回执行504，此时是将预设数量的第一图像帧或者第二图像帧进行移动，该移动例如是依照帧顺序向后滑动一帧，并建立滑动后的帧对应；当然本实施例不对滑动的帧数进行限制，比如还可以滑动两帧等。比如，如果图8中经过计算发现不满足同步条件，10帧的序列差异值大于序列阈值，则可以将第二摄像机所选择的10帧向后滑动一帧，参见图9，经过滑动后，第二摄像头的第1帧与第一摄像头的第2帧对应，第二摄像头的第2帧与第一摄像头的第3帧对应，依次类推；并重新执行上述的差异计算过程。此时，第一摄像头选择的10个帧相当于从第2帧至第11帧，第二摄像头选择的10个帧相当于从第1帧至第10帧。

508、确定第一摄像机图像和第二摄像机图像的帧同步位置。

比如，以图9为例，假设经过滑动一帧后，满足预设的同步条件，则第一图像帧序列的起始帧位置是第2帧，第二图像帧序列的起始帧位置是第1帧，确定如果第一摄像机和第二摄像机保持图像同步，二者的帧位置相差一帧。

本实施例的多摄像机视频同步方法，通过采集公共平面中的目标特征点的实际位置信息，并根据单应矩阵估计得到估计位置信息，结合实际位置信息和估计位置信息之间的差异值来确定两台摄像机的图像同步位置，实现了摄像机图像的同步。

本发明实施例还提供了一种多摄像机视频同步装置，该装置可以参见图4，实际实施中，该装置可以是软件实现，该软件可以是装载并运行在某台服务器上，由服务器采集摄像机提供的信息，并运行该软件实现摄像机同步位置的确定。如下的图10提供了该摄像机同步装置的结构，本实施例仅简单描述该装置的结构，其具体的工作原理可以结合参见方法实施例。

如图10所示，该装置可以包括：信息接收单元1001、信息处理单元1002、差异求取单元1003和同步确定单元1004；其中，

信息接收单元1001，用于获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；

信息处理单元1002，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；

差异求取单元1003，用于根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；

同步确定单元1004，用于在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则指示所述信息处理单元将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后依照帧顺序建立帧对应。

可选的，所述信息处理单元1002，在根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列；

在根据所述第二特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列；

所述差异求取单元1003，具体用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；或者，对于分别对应的每一对所述第一图像帧和第二图像帧，根据第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

可选的，所述同步确定单元1004，具体用于：在所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值时，确定所述序列差异值符合预设的同步条件；或者，在所述序列差异值小于预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值时，确定所述序列差异值符合预设的同步条件。

可选的，所述信息处理单元1002，在将所述预设数量的第一图像帧和第二图像帧进行移动，并在移动后依照帧顺序建立帧对应时，具体用于：在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。

可选的，所述信息接收单元1001，还用于获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零；

所述信息处理单元1002，还用于根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。

图11为本发明实施例提供的多摄像机视频同步装置的实体结构图，本实施例仅简单描述该装置的结构，其具体的工作原理可以结合参见方法实施例，如图11所示，该装置可能是包含计算能力的主机服务器，或者是个人计算机，或者是可携带的便携式计算机或终端等，该装置可以包括：处理器1101、通信接口1102、存储器1103和总线1104；其中，处理器1101、通信接口1102、存储器1103通过总线1104完成相互间的通信。

通信接口1102，用于与网元通信，获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息。

处理器1101，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；在所述序列差异值符合预设的同步条件时，则根据所述预设数量的第一图像帧和第二图像帧的起始帧位置，确定第一摄像机图像和第二摄像机图像的帧同步位置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种多摄像机视频同步方法，其特征在于，包括：

获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；

将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；

根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；

在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列；

所述根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列；

所述根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；

所述根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

3.根据权利要求2所述的方法，其特征在于，所述序列差异值符合预设的同步条件，包括：

所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值；

或者，所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值。

4.根据权利要求1所述的方法，其特征在于，所述在所述序列差异值不符合所述预设的同步条件时，将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应，包括：

若所述序列差异值不符合所述预设的同步条件，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。

5.根据权利要求1所述的方法，其特征在于，所述获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，之前还包括：

获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零；

根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。

6.一种多摄像机视频同步装置，其特征在于，包括：

信息接收单元，用于获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；

信息处理单元，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列；

差异求取单元，用于根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；

同步确定单元，用于在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则指示所述信息处理单元将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后依照帧顺序建立帧对应。

7.根据权利要求6所述的装置，其特征在于，

所述信息处理单元，在根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列；

在根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列；

所述差异求取单元，具体用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；或者，对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和，得到所述序列差异值。

8.根据权利要求7所述的装置，其特征在于，

所述同步确定单元，具体用于：在所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值时，确定所述序列差异值符合预设的同步条件；或者，在所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值时，确定所述序列差异值符合预设的同步条件。

9.根据权利要求6所述的装置，其特征在于，

所述信息处理单元，在将所述预设数量的第一图像帧和第二图像帧进行移动，并在移动后依照帧顺序建立帧对应时，具体用于：在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。

10.根据权利要求6所述的装置，其特征在于，

所述信息接收单元，还用于获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零；

所述信息处理单元，还用于根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。