CN113395410A - 应用于多目相机的视频同步方法 - Google Patents

Abstract

本发明公开了一应用于多目相机的视频同步方法，所述多目相机包括第一数据获取设备和第二数据获取设备。所述方法包括步骤：获取由所述第一数据获取设备在特定时间段内采集的第一视频数据和由所述第二数据获取设备在该特定时间段内采集的第二视频数据，所述第一视频数据和所述第二视频数据包括一系列图像帧；以及，波形同步所述第一视频数据和所述第二视频数据。这样，在通过硬件设备对所述第一视频数据和所述第二视频数据进行波形同步。

Description

应用于多目相机的视频同步方法

本申请是中国申请号为201711346530.1、发明名称为“应用于多目相机的视频同步方法”的专利申请的分案申请。

技术领域

本发明涉及一视频技术领域，尤其涉及一适用于多目相机的视频同步方法，所述视频同步方法同步至少两数据获取设备在同一时刻获取的视频数据，从而提高融合视频的视频质量。

背景技术

随着摄像领域的不断发展，通过单一摄像头获取图像或视频数据的方式已经不足以满足市场需求了。或者说，单一摄像头已经不能满足一些特殊场景的拍摄需求了。越来越多的应用场景都需要两个，三个甚至多个摄像头同时工作，同时获取数据，并对这些数据进行综合处理。为了满足这些特殊场景的需求，多目相机得到了越来越多的关注，多目相机指的是同时包括多个摄像头或多个相机的设备，比如双目，TOF相机，全景相机在广义程度上都可被认为是多目相机。

多目相机在很多技术领域都有广泛的应用，以多目相机被应用于机器视觉技术为例，机器视觉在人类生活中已经扮演着越来越重要的角色。类似航拍无人机的自动跟踪及避障，AR(Augmented Reality)，VR(Virtual Reality)，ADAS(Advanced Driver AssistantSystem)及SLAM(Simultaneous Localization And Mapping)等领域都需要用到这项技术，在机器视觉中必不可少的功能就是深度感知。而与深度感知相关的双目、结构光或TOF等技术的典型应用中，一般都需要动用到多个相机。或者以多目相机被应用于全景拍摄为例，全景拍摄往往也需要多个相机同时获取同一场景不同角度的数据，并对这些数据进行拼接处理，从而得到满足视觉需求的全景图像。在这些场景中都无可避免地需要应用到多目相机。

在多目相机的实际应用中，多目相机的多个数据获取设备获取同一时刻同一场景的数据，当然，不同数据获取设备可获取相同的数据，也可获取不同的数据，随后多目相机或者其他数据处理设备对这些数据进行融合处理，并得到满足实际需求的图像或视频数据。在多目相机的数据处理过程中，非常重要的一步就是同步处理获取得到的数据，具体而言，同步处理的过程就是同步多个数据获取设备获取的数据，以得到同一时刻的融合数据。

然而由于多目相机中的多个数据获取设备彼此之间可能存在时延，时钟设置不一致等问题，而导致目前多目相机的数据融合效果并不尽如人意，从而限制了多目相机的普及应用。特别是当多目相机被应用于拍摄视频时，不同视频数据的融合问题更为突出。具体而言，多个数据获取设备获取同一时间段的同一场景的视频数据，在视频数据的融合过程中，需要对应每一个时间点不同数据获取设备获取的帧数据，而一旦某些帧数据发生错位或者丢失时，将极大程度地影响最终的视频质量。举例来说，由于视频同步方法的缺陷，一个数据获取设备获取的第一帧数据可能会对应于另一个数据获取设备获取的第二帧数据，这样得到的融合数据会偏移实际场景。

在一些现有技术中，选择牺牲不同步的视频数据的方式来保证得到同步的融合视频。具体而言，在一些现有技术的视频处理过程中，只截取一部分被同步的视频数据，而抛弃不被同步的视频数据，这种方式大大地浪费了视频数据的利用率。在另一些现有技术中，选择降低视频数据质量的方式来得到视频，这种方式极大程度地影响了融合视频的观赏质量以及后续的数据利用。

综上所述，由于多目相机中的不同数据获取设备的工作性能，相机参数都不尽相同，如果保证不同数据获取设备获取的数据被同步依旧是多目相机的视频同步过程中亟待解决的问题。

发明内容

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法同步至少两数据获取设备分别获取的视频数据，以提高融合视频的视频质量。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法同步至少两数据获取设备在同一时刻获取的视频数据，从而提高融合视频的视频质量。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法解决由于不同数据获取设备彼此之间存在的时延而引起的视频质量的损失，换言之，所述视频同步方法弥补不同数据获取设备在获取视频数据时存在的偏差。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法结合硬件同步以及软件同步的方式，进一步地提高或优化数据同步的精度，以此方式提高同步数据的质量。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法同时同步不同视频数据的波形以及时间帧，从而得到高精度以及高同步率的同步数据。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法通过软件同步的方式同步不同视频数据的时间帧，换言之，所述视频同步方法可在嵌入式端完成视频同步，从而优化多目相机在嵌入式端的实际应用。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法可被适用于多类型的多目相机，换言之，所述视频同步方法的应用范围广。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法可使得所述多目相机最终得到高精度高同步率的视频，从而提高了用户的使用体验度，并且提高了视频数据的后续利用率。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法提高了视频的实时性，即所述视频同步方法可解决视频在播放时的延时，卡顿等问题。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法的视频同步精度可根据实际需要调节，即所述视频数据的同步精度可控。

本发明的目的在于提供一应用于多目相机的视频同步方法，其中，所述视频同步方法不影响视频数据质量，换言之，所述视频同步方法可保证所述视频数据的完整性。

为了实现以上任一发明目的，本发明提供一应用于多目相机的视频同步方法，其中所述多目相机包括至少一第一数据获取设备以及至少一第二数据获取设备，包括以下步骤：

S1：获取至少一第一视频数据以及至少一第二视频数据，其中所述第一数据获取设备得到所述第一视频数据，所述第二数据获取设备获取所述第二视频数据；

S2：至少一硬件同步设备波形同步所述第一视频数据以及所述第二视频数据；以及

S3：至少一软件同步设备时间戳同步所述第一视频数据以及所述第二视频数据，以得到至少一同步数据。

在一些实施例中，其中，所述视频同步方法进一步包括以下步骤：

S4：所述软件同步设备帧掩码所述第一视频数据以及所述的第二视频数据。

在一些实施例中，其中，所述视频同步方法进一步包括以下步骤：

S5：至少一融合单元融合所述同步数据为至少一融合数据。

在一些实施例中，其中，所述步骤S2进一步包括以下步骤：

S21：所述硬件同步设备识别所述第一视频数据以及所述第二视频数据，其中所述第一视频数据被显示为一第一视频波形，所述第二视频数据被显示为一第二视频波形；以及

S22：一波形同步模块波形同步所述第一视频波形以及所述第二视频波形。

在一些实施例中，其中，所述步骤S3进一步包括以下步骤：

S31：至少一时间戳标记模块分别标记所述第一视频数据为一第一时间标记，标记所述第二视频数据为一第二时间标记；以及

S32：依据所述第一时间标记以及所述第二时间标记，至少一时间戳同步模块时间戳同步所述第一视频数据以及所述第二视频数据。

在一些实施例中，其中，所述步骤S32进一步包括以下步骤：

S321：所述时间戳同步模块获取至少一阈值；

S322：所述时间戳同步模块获取所述第一视频数据的一特定图像帧以及所述第二视频数据的一特定图像帧对应的一时间戳差异；以及

S323：比对所述阈值以及所述时间戳差异，当所述时间戳差异满足所述阈值时，所述特定图像帧被同步，当所述时间戳差异不满足所述阈值时，等待计算下一图像帧，直到所述第一视频数据的所述特定图像帧与所述第二视频数据的所述特定图像帧满足所述阈值。

在一些实施例中，其中，所述步骤S4进一步包括以下步骤：

S41：至少一掩码标记子模块分别标记所述第一视频数据为一第一帧掩码，标记所述第二视频数据为一第二帧掩码；以及

S42：至少一掩码比对子模块比对所述第一帧掩码以及所述第二帧掩码，以等待至所述第一帧掩码以及所述第二掩码满足一融合标准。

根据本发明的另一方面，本发明提供一多目相机，其特征在于，应用以上任一所述的视频同步方法同步视频数据。依本发明的另一个方面，本发明进一步提供一视频同步方法，其中所述同步方法包括如下步骤：

(a)同步一第一视频数据的波形和一第二视频数据的波形；

(b)同步所述第一视频数据的时间戳和所述第二视频数据的时间戳，以得到一同步数据；以及

(c)融合所述同步数据，以得到一融合数据，从而同步所述第一视频数据和所述第二视频数据。

根据本发明的一个实施例，在所述步骤(c)之前进一步包括步骤：

(d)帧掩码所述第一视频数据和所述第二视频数据。

根据本发明的一个实施例，在所述步骤(a)中进一步包括步骤：

(a.1)识别所述第一视频数据的波形和所述第二视频数据的波形；和

(a.2)同步被识别的所述第一视频数据的波形和所述第二视频数据的波形。

根据本发明的一个实施例，在所述步骤(b)中进一步包括步骤：

(b.1)标记所述第一视频数据的一第一时间标记和所述第二视频数据的一第二时间标记；和

(b.2)基于所述第一视频数据的所述第一时间标记和所述第二视频数据的所述第二时间标记同步所述第一视频数据的时间戳和所述第二视频数据的时间戳，以得到所述同步数据。

附图说明

图1是根据本发明的一实施例的一多目相机的实际应用图，所述多目相机被应用于获取一目标对象的视频或图像数据。

图2是根据本发明的一实施例的视频同步方法被应用于所述多目相机的效果示意图。

图3是跟根据本发明的上述实施例的所述视频同步方法被应用于所述多目相机的工作示意图。

图4是根据本发明的上述实施例的所述视频同步方法的一硬件同步过程的工作示意图。

图5是基于图4的根据本发明的上述实施例的所述硬件同步过程的工作效果图。

图6是根据本发明的上述实施例的所述视频同步方法的一软件同步过程的工作示意图。

图7是根据本发明的上述实施例的所述视频同步方法的一时间戳标记过程的工作示意图。

图8是基于图7的根据本发明的上述实施例的所述时间戳标记过程的工作效果图。

图9是根据本发明的上述实施例的所述视频同步方法的一时间戳比对过程的工作示意图。

图10是基于图9的根据本发明的上述实施例的所述时间戳比对过程的工作效果示意图。

图11是根据本发明的上述实施例的一等效实施例的视频同步方法的工作框图示意图。

图12是基于图11的根据本发明的上述等效实施例的所述视频同步方法的帧掩码过程的工作示意图。

图13是根据本发明的上述实施例的所述视频同步方法的数据流向示意图。

图14是根据本发明的上述实施例的上述等效实施例的所述视频同步方法的束流向示意图。

图15到图20是根据本发明的上述实施例的所述视频同步方法的流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

如图1所示，一多目相机10被应用于获取至少一目标对象O的视频或图像数据，在这里特别值得一提的是，所述多目相机10指的是同时包括多个摄像头或多个相机的设备。具体而言，当同一相机包括多个摄像头时，比如市面上常见的全景相机，该多摄像头相机可被定义为所述多目相机10。或者，当多个单独的相机同时用于获取同一时刻同一场景的数据时，比如获取深度信息的TOF相机，该多相机的组合设备也可被定义为所述多目相机10。熟悉该项技术的人应该明白，本发明所指代的所述多目相机10的类型和种类并不受限制。

所述多目相机10包括至少两数据获取设备，在本发明的实施例中，将以所述多目相机10只包括两数据获取设备为例进行说明，但熟悉该项技术的人应该明白，所述多目相机10的所述数据获取设备的数量并不受本发明的限制，所述多目相机10可包括两个，三个，甚至更多个数据获取设备。

在本发明的实施例中，以所述多目相机10只包括两个数据获取设备为例进行进一步的说明，但是本领域技术人员应当理解的是，在接下来的描述中以所述多目相机10仅包括两个数据获取设备为例来对本发明的内容进行揭露和阐述，其并不应被视为对本发明的内容和范围的限制。换言之，在其他的实施例中，所述多目相机10的数据获取设备的数量可以是两个以上，例如三个、四个、五个等。

参考附图1，所述多目相机10包括一第一数据获取设备11以及一第二数据获取设备12，所述第一数据获取设备11和所述第二数据获取设备12能够分别拍摄所述目标对象O的图像或视频数据。优选地，所述第一数据获取设备11以及所述第二数据获取设备12在同一时刻拍摄所述目标对象O的图像或视频数据。众所周知，视频由一系列单独的图像帧以一定的速率播放得到，故在本发明的实施例中，将以所述多目相机10被适用于获取所述目标对象O的视频数据为例进行说明，但熟悉该项技术的人应该明白，所述多目相机10也可利用本发明的视频同步方法获取图像数据，本发明在这方面不受限制。

所述第一数据获取设备11以及所述第二数据获取设备12可被实施为摄像头，也可被实施为相机，或者摄像头与相机的组合。当所述多目相机10被适用于获取所述目标对象O的所述视频数据时，所述第一数据获取设备11以及所述第二数据获取设备12获取所述目标对象O在同一时间段内的视频数据，这些单独的视频数据被同步或被融合后，从而得到满足实际需要的所述目标对象O的视频数据。

特别值得一提的是，所述第一数据获取设备11以及所述第二数据获取设备12可获取关于所述目标对象O相同的视频数据，也可获取关于所述目标对象O不同的视频数据。具体而言，当所述多目相机10被实施一全景相机时，所述第一数据获取设备11以及所述第二数据获取设备12获取关于所述目标对象O的不同的视频数据，一数据处理设备或者所述多目相机10对这些单独的视频数据进行同步后并融合拼接，继而得到所述目标对象O的全景视频。当所述多目相机10被实施为一深度相机时，所述第一数据获取设备11以及所述第二数据获取设备12获取关于所述目标对象O的相同的视频数据。即，所述第一数据获取设备11以及所述第二数据获取设备12只需要同时满足在同一时间段获取所述目标对象O的视频数据即可，而关于所述视频数据的类型和种类并无限制。

当所述第一数据获取设备11以及所述第二数据获取设备12获取所述目标对象O的视频数据后，所述多目相机10或者所述数据处理设备处理这些数据而得到满足实际需求的最终数据。值得一提的是，不论所述第一数据获取设备11以及所述第二数据获取设备12获取的视频数据的类型相同或不同，这些视频数据都需要进行同步处理，而得到至少一同步数据S。

为了优化所述多目相机10的数据同步过程，本发明提供一应用于所述多目相机10的视频同步方法，所述视频同步方法可同步至少两数据获取设备分别获取的视频数据，从而提高所述同步数据S的数据质量。优选地，所述视频同步方法可同步至少两数据获取设备在同一时刻分别获取的视频数据，以进一步提高所述同步数据S的数据质量。值得一提的是，所述视频同步方法同时同步不同视频数据的波形以及时间帧，从而得到高精度以及高同步率的所述同步数据S。

如图2所示，当所述多目相机10被实施为一双目相机或者一全景相机时，所述第一数据获取设备11获取所述目标对象O一特定角度的视频数据，所述第二数据获取设备12获取所述目标对象O的另一特定角度的视频数据，两个视频数据被拼接融合后，得到所述目标对象O的全景视频。以一特定时刻为例，所述第一数据获取设备11获取所述目标对象O的一特定图像帧，所述第二数据获取设备12获取所述目标对象O的另一特定图像帧，所述视频同步方法同步该特定时刻下两个数据获取设备各自获取的特定图像帧，从而得到高精度高同步率的同步图像帧，多帧此类型的同步图像组合形成所述目标对象O的一同步视频。

具体而言，如图3所示，当所述多目相机10被应用于获取所述目标对象O在一特定时间段内的视频数据时，所述第一数据获取设备11在该特定时间段内获取所述目标对象O的一第一视频数据T1，所述第二数据获取设备12在该特定时间段内获取所述目标对象O的一第二视频数据T2，其中所述第一视频数据T1以及所述第二视频数据T2包括该目标对象O的相关数据。特别值得一提的是，所述第一视频数据T1以及所述第二视频数据T2都是由一系列独立的图像帧数据组成，通常来说，当视频的帧速率大于24帧，人眼是感觉不到图像的卡顿，即人眼看到的是一段流场的视频而不是一张张卡顿的图像。

所述第一视频数据T1以及所述第二视频数据T2经过一硬件同步单元30，所述硬件同步单元30同步所述第一视频数据T1以及所述第二视频数据T2的波形。或者说，所述硬件同步单元30波形同步所述第一视频数据T1以及所述第二视频数据T2。

被波形同步后的所述第一视频数据T1以及所述第二视频数据T2再经过一软件同步单元40，所述软件同步单元40同步所述第一视频数据T1以及所述第二视频数据T2的时间戳。或者说，所述软件同步单元40时间戳同步所述第一视频数据T1以及所述第二视频数据T2。

综上所述，所述视频同步方法同时同步所述第一视频数据T1以及所述第二视频数据T2的波形以及时间戳，从而得到所述同步数据S。值得一提的是，被波形同步以及被时间戳同步的所述同步数据S也是由一系列图像帧组成，其中所述同步数据S中的每一图像帧被实施为该时间点被同步的一一号图像帧以及一二号图像帧的同步组合，其中所述一号图像指的是所述第一数据获取设备11在该时间点获取的图像帧，所述二号图像指的是所述第二数据获取设备12在该时间点获取的图像帧。以此类推，所帧所述被同步的图像帧组成所述同步数据S，用户可得到高精度高同步率的所述同步数据S。

具体而言，如图4所示，所述第一视频数据T1以及所述第二视频数据T2被波形同步，或者所述，所述视频同步方法在获取所述第一视频数据T1以及所述第二视频数据T2后，波形同步所述第一视频数据T1以及所述第二视频数据T2。

以所述第一视频数据T1为例进行说明，所述第一视频数据T1包括所述目标对象O在该时间段内的视频数据，然而由于视频是由一系列单独的图像帧快速播放呈现的，所述第一视频数据T1包括一系列独立的图像帧数据。在硬件中，所述第一视频数据T1以一第一视频波形B1的形式被呈现，所述第一视频波形B1中的每一图像帧数据被呈现为一个个独立的波峰。举例来说，当所述第一数据获取设备11的帧速率被设置为25帧/秒时，所述第一视频数据TA在一秒显示所述目标对象O的25张图像帧，则所述第一视频波形B1中在一秒时间内显示25个波峰，其中每一个波峰对应一张图像帧。

与所述第一视频数据T1相类似地，所述第二视频数据T2在硬件中以第二视频波形B2的形式被呈现，所述第二视频波形B2中的每一图像帧数据被呈现为一个个独立的波峰。值得注意的是，所述第一数据获取设备11以及所述第二数据获取设备12的帧速率优选被设置为相同参数，即当所述第一数据获取设备11的视频帧速率被设置为25帧/秒时，所述第二数据获取设备12的视频帧速率也被设置为25帧/秒。

所述硬件同步设备30进一步包括一波形同步模块31，所述波形同步模块31波形同步所述第一视频波形B1以及所述第二视频波形B2，如图5所示，所述第一视频波形B1的每一个波峰对应于所述第二视频波形B2的每一个波峰，以此方式达到所述第一视频数据T1以及所述第二视频数据T2的波形同步。

但值得一提的是，所述硬件同步设备30并不同步所述第一视频数据T1以及所述第二视频数据T2的时间帧，具体而言，当所述第一视频波形B1同步于所述第二视频波形B2时，所述第一视频波形B1的波峰对应的时间帧并不一一对应于所述第二视频波形B2的波峰对应的时间帧。举例来说，被波形同步后的视频数据可能会存在所述第一视频数据T1的第一帧对应于所述第二视频数据T2的第三帧的情况。

为了解决该问题，所述第一视频数据T1以及所述第二视频数据T2进一步经过所述软件同步设备40，所述软件同步设备40时间戳同步所述第一视频数据T1以及所述第二视频数据T2。或者说，所述第一视频数据T1以及所述第二视频数据T2在所述视频同步方法中被时间戳同步。

具体而言，如图6所示，所述软件同步设备40进一步包括一时间戳标记模块41，以及一时间戳同步模块42，其中所述时间戳标记模块41标记所述第一视频数据T1以及所述第二视频数据T2的时间戳，所述时间戳同步模块42同步所述第一视频数据T1以及所述第二视频数据T2的每一对应的图像帧的时间戳，从而得到满足实际需求的所述同步数据S。

换言之，所述视频同步方法中的所述软件同步过程进一步包括一时间戳标记过程，以及一时间戳同步过程，所述第一视频数据T1以及所述第二视频数据T2经过所述软件同步后得到同时被时间戳同步以及被波形同步的所述同步数据S。

如图7所示，所述第一视频数据T1以及所述第二视频数据T2被时间戳标记。具体而言，所述第一图像数据T1经所述时间戳标记模块41被时间戳标记，以得到一第一时间标记M1，所述第二图像数据T2经所述时间戳标记模块41被时间戳标记，以得到一第二时间标记M2。或者说，所述时间戳标记模块41分别获取所述第一视频数据T1以及所述第二视频数据T2，并分别标记所述第一视频数据T1以及所述第二视频数据T2。

以所述第一视频数据T1被时间戳标记为例进行说明，由上可知，所述第一视频数据T1以所述第一视频波形B1的形式被呈现，并且所述第一视频波形B1中的每一个峰值指代一独立的图像帧。然而，每一图像帧对应于一特定时间点，或者说，所述第一视频波形B1中的每一个峰值对应于一特定时间点。故所述时间戳标记模块41标记所述第一视频波形B1中每一个峰值对应的时间点，从而确定每个单独的图像帧对应的时间点。

举例来说，假设所述第一数据获取设备11在一特定时间段获取30张图像帧为例，值得一提的是，所述时间戳标记模块41参考北京时间或者系统的特定时间标准对所述第一视频数据T1进行时间戳标记，假设第一图像帧对应于时间0ms，第二图像帧对应于时间32ms，第三图像帧对应于时间42ms，第30图像帧对应于时间90ms。以此类推，每一图像帧将对应于一具体的时间点。值得一提的是，所述第一数据获取设备11并不一定要均匀地获取每一图像帧，即彼此相邻的图像帧之间的时间间隔并不完全一致。

相类似地，所述第二视频数据T2的所述第二视频波形B2也通过所述时间戳标记模块41被标记。值得一提的是，所述时间戳标记模块41以相同的时间标准时间戳标记所述第二视频数据T2，故所述第二视频波形B2中的每一个波峰也对应于一特定时间点，故所述时间戳标记模块41标记所述第二视频波形B2中每一个峰值对应的时间点，每一图像帧将对应于一具体的时间点。

举例来说，假设所述第二数据获取设备12也以该特定时间段获取30图像帧为例，但由于所述第二数据获取设备12可能会存在拍摄延迟等问题，此时所述第二数据获取设备12以及所述第一数据获取设备11得到的图像帧的时间并不完全一致，比如，所述第一图像帧对应于0ms，第二图像帧对应于时间20ms，第30图像帧对应于时间30ms，以此类推，每一图像帧将对应于一具体的时间点。与上相同的是，所述第二数据获取设备12并不一定要均匀地获取每一图像帧，即彼此相邻的图像帧之间的时间间隔并不完全一致。当然，以上举例情况仅仅作为举例说明，而不作为本发明的限制。

但值得注意的是，所述第一数据获取设备11以及所述第二数据获取设备12被设置在同一时间点开始获取所述目标对象O的视频数据，或者所述视频同步方法从同一时间点开始同步所述第一视频数据T1以及所述第二视频数据T2。即所述第一视频数据T1的第一图像帧应对应于所述第二视频数据T2的第一图像帧。

综上所述，所述时间戳标记模块41分别标记所述第一视频数据T1以及所述第二视频数据T2，具体而言，所述时间戳标记模块41标记所述第一视频波形B1的每一个波峰对应的时间点，以及标记所述第二视频波形B2的每一个波峰对应的时间点。值得一提的是，所述时间戳标记模块41标记所述第一视频数据T1以及所述第二视频数据T2的时间标准被设置为相同，即，所述时间戳标记模块41以相同的参考时间标准标记所述第一视频数据T1以及所述第二视频数据T2。

如图9和10所示，被波形同步后的第一视频数据T1以及所述第二视频数据T2经过时间戳同步模块42被时间戳同步，此时所述第一视频数据T1经过所述时间戳标记模块41被标记为所述第一时间标记M1，同样地，所述第二视频数据T2被标记为第二时间标记M2，所述时间戳同步模块42依据所述时间戳同步所述第一视频数据T1以及所述第二视频数据T2。特别值得一提的是，所述时间戳同步模块42与所述时间戳标记模块41参照相同的时间标准。

特别值得一提的是，所述时间戳同步模块42联通于一阈值Y，所述阈值Y影响所述同步数据S的同步精度，并且所述阈值Y可根据实际情况被人为设定。具体而言，被波形同步的所述第一视频数据T1以及所述第二视频数据T2的图像帧对应于图像帧，所述时间同步模块43根据所述阈值Y判断该图像帧的时间戳是否满足时间要求。

具体而言，所述第一视频数据T1以及所述第二视频数据T2的每一图像帧对应的时间点可能会存在一定程度的偏差。以所述第一视频数据T1以及所述第二视频数据T2的第二帧为例进行说明，所述第一视频数据T1以及所述第二视频数据T2的第二帧之间存在一时间戳差异C，所述时间戳同步模块42比对所述时间戳差异C与所述阈值Y，当所述时间戳差异C不满足所述阈值Y时，该帧数据被放弃，从而比对第一视频数据T1的第二帧与所述第二视频数据T2的第三帧对应的时间戳，当所述时间戳差异C满足所述阈值Y时，该帧数据满足同步要求，则所述第一视频数据T1的第二帧和所述第二视频数据T2的第三帧被同步作为所述同步数据S的第二帧。以此类推，所述时间戳同步模块42同步每一帧数据，以得到所述同步数据S。

举例来说，当所述阈值Y被设置为5mm时，此时表示两帧的所述时间戳差异C需小于5mm。此时所述时间戳同步模块42检测到所述第一视频数据T1的第二帧对应的时间点为32ms，所述第二视频数据T2的第二帧对应的时间点为20ms，则该两帧对应的时间戳差异C不满足阈值要求。则所述第二视频数据TD的所述第二帧被抛弃。所述时间戳同步模块42再检测所述第二视频数据T2的所述第三帧对应的时间点为30ms，此时，该两帧对应的时间戳差异C满足阈值要求，则所述第一视频数据T1的所述第二图像帧与所述第二视频数据T2的所述第三图像帧被同步，成为所述同步数据S的第二图像帧。

值得一提的是，所述时间戳同步模块42可以所述第一视频数据T1作为基础，选择同步所述第二视频数据T2，也可以所述第二视频数据T2为基础，选择同步所述第一视频数据T1，本发明在这方面并不受限制。

综上所述，所述第一视频数据T1以及所述第二视频数据T2通过所述硬件同步被波形同步，再经过所述软件同步被时间戳同步，以得到所述同步数据S。值得一提的是，所述软件同步可被实施在至少一嵌入式端完成，所述嵌入式端可被实施为一手机，一电脑或其他电子处理设备等等，从而使得所述多目相机在所述嵌入式端中也可得到良好的应用。即所述多目相机10的视频同步方法可在所述嵌入式端完成。

另外，值得一提的是，所述多目相机10的多个数据获取设备获取的视频数据往往需要被融合后使用，比如当所述多目相机10被实施为一全景相机时，所述全景相机需要融合同一时刻不同角度得到的视频数据，才可得到关于所述目标对象O的全景数据。当所述多目相机10被实施为一深度相机时，所述深度相机融合同一时刻同一角度获取的视频数据，得到关于所述目标对象O的深度数据。

在本发明的上述实施例的一等效实施例中，所述软件同步单元40进一步包括一帧掩码模块44，所述帧掩码模块44被适用于判断所述第一视频数据T1以及所述第二视频数据T2是否满足融合标准。

具体而言，所述帧掩码模块44进一步包括一掩码标记子模块441以及一掩码比对子模块442，其中所述掩码比对子模块442通信地连接于所述掩码标记子模块441，其中所述掩码标记子模块441分别标记所述第一视频数据T1以及所述第二视频数据T2，所述掩码比对子模块442比对所述第一视频数据T1以及所述第二视频数据T2的掩码是否满足融合标准。

所述掩码标记子模块441标记所述第一视频数据T1为一系列第一帧掩码Y1，标记所述第二视频数据T2为一系列第二帧掩码Y2，所述第一帧掩码Y1可实施为每一图像帧的位数情况，所述第二帧掩码Y2可实施为每一图像帧的位数情况。

被标记后的所述第一帧掩码Y1以及所述第二帧掩码Y2被所述掩码比对子模块442比对判断，当所述第一帧掩码Y1与所述第二帧掩码Y2满足融合标准时，所述第一视频数据T1以及所述第二视频数据T2被传送给所述时间戳同步模块42被时间戳同步。当所述第一帧掩码Y1与所述第二帧掩码Y2不满足融合标准时，所述掩码比对子模块442继续等待，等待至所述第一帧掩码Y1以及所述第二帧掩码Y2满足融合标准。

举例来说，例如所述第一视频数据T1的所述第一帧掩码Y1为bit1，所述第一视频数据T2的所述第二帧掩码Y2为bit2，按照计算机的位或计算，所述同步数据S的帧掩码应该是(bit1丨bit2)，若当前的所述第一帧掩码Y1以及所述第二帧掩码Y2不满足此条件时，则继续等待。

值得一提的是，在本发明的一实施例中，所述帧掩码模块44通信地连接于所述时间戳同步模块42，所述视频数据的帧掩码先被判断后再进行时间戳同步。在本发明的另一实施例中，所述视频数据可先被时间戳同步后再进行帧掩码判断。熟悉该项技术的人应该明白，本发明在这方面并不受限制。

另外，如图11所示，一融合单元50通信地连接于所述时间戳同步模块42，以融合所述同步数据S以得到一融合数据R。当所述多目相机10被实施为一全景相机时，所述融合数据R可表示被融合后的全景视频。当所述多目相机被实施为一深度相机时，所述融合数据R可表示被融合后的深度视频。当然，所述多目相机10可被实施为其他多类型的相机，本发明在这方面并不受限制。本发明的所述视频同步方法可被适用于多类型的多目相机，特别可被适用于一多波段多目相机。

综上所述，本发明提供一视频同步方法，所述视频同步方法特别适用于一多目相机10，以所述多目相机10包括一第一数据获取设备11以及一第二数据获取设备12为例进行说明，所述多目相机10在一特定时间段获取至少一目标对象O的视频数据，包括以下步骤：

S1：获取一第一视频数据T1以及一第二视频数据T2，其中所述第一数据获取设备11得到所述第一视频数据T1，所述第二数据获取设备12获取所述第二视频数据T2；

S2：至少一硬件同步设备30波形同步所述第一视频数据T1以及所述第二视频数据T2；以及

S3：至少一软件同步设备40时间戳同步所述第一视频数据T1以及所述第二视频数据T2，以得到至少一同步数据S。

值得一提的是，所述视频同步方法进一步包括以下步骤：

S4：所述软件同步设备40帧掩码所述第一视频数据T1以及所述的第二视频数据T2。

所述视频数据的帧掩码过程可在所述时间戳同步过程前完成，也可在所述时间戳同步过程后完成，本发明在这方面不受限制。具体而言，所述多目相机10的多个数据获取设备获取的视频数据往往需要被融合后使用，比如当所述多目相机10被实施为一全景相机时，所述全景相机需要融合同一时刻不同角度得到的视频数据，才可得到关于所述目标对象O的全景数据。当所述多目相机10被实施为一深度相机时，所述深度相机融合同一时刻同一角度获取的视频数据，得到关于所述目标对象O的深度数据。

在本发明的上述实施例的一等效实施例中，所述软件同步单元40进一步包括一帧掩码模块44，所述帧掩码模块44被适用于判断所述第一视频数据T1以及所述第二视频数据T2是否满足融合标准。具体而言，所述帧掩码模块44进一步包括一掩码标记子模块441以及一掩码比对子模块442，其中所述掩码比对子模块442通信地连接于所述掩码标记子模块441，其中所述掩码标记子模块441分别标记所述第一视频数据T1为一系列的第一帧掩码Y1，标记所述第二视频数据T2为一系列的第二帧掩码Y2，所述掩码比对子模块442比对所述第一帧掩码Y1以及所述第二帧掩码Y2是否满足融合标准。所述第一帧掩码Y1可实施为每一图像帧的位数情况，所述第二帧掩码Y2可实施为每一图像帧的位数情况。

另外，一融合单元50通信地连接于所述软件同步设备40，以融合所述同步数据S以得到一融合数据R。当所述多目相机10被实施为一全景相机时，所述融合数据R可表示被融合后的全景视频。当所述多目相机被实施为一深度相机时，所述融合数据R可表示被融合后的深度视频。当然，所述多目相机10可被实施为其他多类型的相机，本发明在这方面并不受限制。本发明的所述视频同步方法可被适用于多类型的多目相机，特别可被适用于一多波段多目相机。

换言之，所述视频同步方法进一步包括以下步骤：

S5：至少一融合单元50融合所述同步数据T为一融合数据R。

具体而言，所述步骤S4，即所述帧掩码过程进一步包括以下步骤：

S41：至少一掩码标记子模块441分别标记所述第一视频数据T1为一第一帧掩码Y1，标记所述第二视频数据T2为一第二帧掩码Y2；以及

S42：至少一掩码比对子模块442比对所述第一帧掩码Y1以及所述第二帧掩码Y2，以等待至所述第一帧掩码Y1以及所述第二掩码Y2满足一融合标准。

另外，所述波形同步过程进一步包括以下步骤：

S21：所述硬件同步设备30识别所述第一视频数据T1以及所述第二视频数据T2，其中所述第一视频数据T1被显示为一第一视频波形B1，所述第二视频数据T2被显示为一第二视频波形B2；以及

S22：一波形同步模块31波形同步所述第一视频波形B1以及所述第二视频波形B2。

具体而言，以所述第一视频数据T1为例进行说明，所述第一视频数据T1包括所述目标对象O在该时间段内的视频数据，述第一视频数据T1包括一系列独立的图像帧数据。在硬件同步设备30中，所述第一视频数据T1以一第一视频波形B1的形式被呈现，所述第一视频波形B1中的每一图像帧数据被呈现为一个个独立的波峰。与所述第一视频数据T1相类似地，所述第二视频数据T2在硬件中以第二视频波形B2的形式被呈现，所述第二视频波形B2中的每一图像帧数据被呈现为一个个独立的波峰。

值得注意的是，所述第一数据获取设备11以及所述第二数据获取设备12的帧速率优选被设置为相同参数。被波形同步后的所述第一视频数据T1以及所述第二视频数据T2的每一个波峰彼此对应。

另外，所述时间戳同步过程进一步包括以下步骤：

S31：至少一时间戳标记模块41分别标记所述第一视频数据T1为一第一时间标记M1，标记所述第二视频数据T2为一第二时间标记M2；

S32：依据所述第一时间标记M1以及所述第二时间标记M2，至少一时间戳同步模块42时间戳同步所述第一视频数据T1以及所述第二视频数据T2。

其中所述时间戳标记模块41标记所述第一视频数据T1以及所述第二视频数据T2的时间戳，所述时间戳同步模块42同步所述第一视频数据T1以及所述第二视频数据T2的每一对应的图像帧的时间戳，从而得到满足实际需求的所述同步数据S。

在步骤S31中，所述第一视频数据T1以及所述第二视频数据T2被时间戳标记。具体而言，所述第一图像数据T1经所述时间戳标记模块41被时间戳标记，以得到所述第一时间标记M1，所述第二图像数据T2经所述时间戳标记模块41被时间戳标记，以得到所述第二时间标记M2。

以所述第一视频数据T1被时间戳标记为例进行说明，由上可知，所述第一视频数据T1以所述第一视频波形B1的形式被呈现，并且所述第一视频波形B1中的每一个峰值指代一独立的图像帧。然而，每一图像帧对应于一特定时间点，或者说，所述第一视频波形B1中的每一个峰值对应于一特定时间点。故所述时间戳标记模块41标记所述第一视频波形B1中每一个峰值对应的时间点，从而确定每个单独的图像帧对应的时间点。

根据本发明的一方面，所述步骤S32进一步包括以下步骤：

S321：所述时间戳同步模块42获取至少一阈值Y；

S322：所述时间戳同步模块42获取所述第一视频数据T1的一特定图像帧以及所述第二视频数据T2的一特定图像帧对应的一时间戳差异C；以及

S323：比对所述阈值Y以及所述时间戳差异C，当所述时间戳差异C满足所述阈值Y时，所述特定图像帧被同步，当所述时间戳差异C不满足所述阈值Y时，等待计算下一图像帧，直到所述第一视频数据T1的所述特定图像帧与所述第二视频数据T2的所述特定图像帧满足所述阈值Y。

具体而言，被波形同步后的第一视频数据T1以及所述第二视频数据T2经过时间戳同步模块42被时间戳同步，特别值得一提的是，所述时间戳同步模块42与所述时间戳标记模块41参照相同的时间标准。

另外，所述阈值Y影响所述同步数据S的同步精度，并且所述阈值Y可根据实际情况被人为设定。具体而言，被波形同步的所述第一视频数据T1以及所述第二视频数据T2的图像帧对应于图像帧，然而并不是每一帧对应的时间戳标记完全相同，所述时间戳同步模块42根据所述阈值Y判断该图像帧的时间戳是否满足时间要求。

值得一提的是，所述时间戳同步模块42可以所述第一视频数据T1作为基础，选择同步所述第二视频数据T2，也可以所述第二视频数据T2为基础，选择同步所述第一视频数据T1，本发明在这方面并不受限制。

值得一提的是，当所述时间戳同步模块42以所述第一视频数据T1为基础时，所述步骤S323当中，所述时间戳同步模块42以所述第一视频数据T1的一特定帧为基础，比对所述第二视频数据T2的一特定帧是否满足所述阈值Y要求。当所述第二视频数据T2的该特定帧不满足所述阈值Y要求时，计算所述第二视频数据T2的下一图像帧，直到所述第一视频数据T1与所述第二视频数据T2该帧对应的所述时间戳差异C满足所述阈值Y要求。

综上所述，所述多目相机10的视频数据通过所述视频同步方法被同步，其中所述多目相机10可被实施为摄像头，也可被实施为相机，或者摄像头与相机的组合，即所述视频同步方法可被适用于多类型的多目相机10，本发明在方面并不受限制。

依本发明的另一个方面，本发明进一步提供一视频同步方法，其中所述同步方法包括如下步骤：

(a)同步一第一视频数据T1的波形和一第二视频数据T2的波形；

(b)同步所述第一视频数据T1的时间戳和所述第二视频数据T2的时间戳，以得到一同步数据S；以及

(c)融合所述同步数据，以得到一融合数据R，从而同步所述第一视频数据T1和所述第二视频数据T2。

优选地，在所述步骤(c)之前进一步包括步骤：

(d)帧掩码所述第一视频数据T1和所述第二视频数据T2。

进一步地，在所述步骤(a)中进一步包括步骤：

(a.1)识别所述第一视频数据T1的波形和所述第二视频数据T2的波形；和

(a.2)同步被识别的所述第一视频数据T1的波形和所述第二视频数据T2的波形。

进一步地，在所述步骤(b)中进一步包括步骤：

(b.1)标记所述第一视频数据T1的一第一时间标记M1和所述第二视频数据T2的一第二时间标记M2；和

(b.2)基于所述第一视频数据T1的所述第一时间标记M1和所述第二视频数据T2的所述第二时间标记M2同步所述第一视频数据T1的时间戳和所述第二视频数据T2的时间戳，以得到所述同步数据S。

另外，本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种应用于多目相机的视频同步方法，所述多目相机包括第一数据获取设备和第二数据获取设备，其特征在于，包括：

获取由所述第一数据获取设备在特定时间段内采集的第一视频数据和由所述第二数据获取设备在该特定时间段内采集的第二视频数据，所述第一视频数据和所述第二视频数据包括一系列图像帧；以及

波形同步所述第一视频数据和所述第二视频数据。

2.根据权利要求1所述的应用于多目相机的视频同步方法，其中，波形同步所述第一视频数据和所述第二视频数据，包括：

通过硬件同步设备分别对所述第一视频数据和所述第二视频数据中的各个图像帧进行波形解析，以将所述第一视频数据以第一视频波形表示和将所述第二视频数据以第二视频波形表示，其中，在所述第一视频波形中所述第一视频数据的每一图像帧以一个独立的波峰表示，在所述第二视频波形中所述第二视频数据的每一图像帧以一个独立的波峰表示；以及

波形同步所述第一视频波形以及所述第二视频波形，以使得所述第一视频波形中的各个波峰对应于所述第二视频波形中的各个波峰。

3.根据权利要求2所述的应用于多目相机的视频同步方法，其中，所述第一数据获取设备的帧速率与所述第二数据获取设备的帧速率相同。

4.根据权利要求1所述的应用于多目相机的视频同步方法，进一步包括：时间戳同步经波形同步后的所述第一视频数据和所述第二视频数据。

5.根据权利要求4所述的应用于多目相机的视频同步方法，其中，时间戳同步所述第一视频数据和所述第二视频数据，包括：

分别以第一时间标记标记所述第一视频数据的每一图像帧和以第二时间标记标记所述第二视频数据的每一图像帧；以及

基于所述第一时间标记和所述第二时间标记，同步所述第一视频数据和所述第二视频数据中的一系列图像帧。

6.根据权利要求5所述的应用于多目相机的视频同步方法，其中，基于所述第一时间标记和所述第二时间标记，同步所述第一视频数据和所述第二视频数据中的一系列图像帧，包括：

获取至少一阈值Y；

获取所述第一视频数据的特定图像帧以及所述第二视频数据的图像帧之间的时间戳差异；以及

比对所述阈值和所述时间戳差异，以使得当所述时间戳差异小于等于所述阈值时，所述第一视频数据的图像帧和所述第二视频数据的对应图像帧被同步；以及，当所述时间戳差异大于所述阈值时，等待所述第一视频数据或所述第二视频数据的下一图像帧，直到所述第一视频数据的图像帧与所述第二视频数据的图像帧之间的时间戳差异小于等于所述阈值。

7.根据权利要求6所述的应用于多目相机的视频同步方法，其中，所述阈值基于实际情况被人为地设定。

8.根据权利要求4所述的应用于多目相机的视频同步方法，进一步包括：

帧掩码经时间戳同步后的所述第一视频数据和所述第二视频数据以确定所述第一视频数据和所述第二视频数据中各个图像帧是否满足融合标准；以及

融合经帧掩码后的所述第一视频数据和所述第二视频数据，以获得融合数据。

9.根据权利要求8所述的应用于多目相机的视频同步方法，其中，帧掩码经时间戳同步后的所述第一视频数据和所述第二视频数据以确定所述第一视频数据和所述第二视频数据中各个图像帧之间是否满足融合标准，包括：

分别以第一帧掩码标记所述第一视频数据的每一图像帧和以第二帧掩码标记所述第二视频数据的每一图像帧，其中，所述第一帧掩码为所述第一视频数据的各个图像帧的位数情况，所述第二帧掩码为所述第二视频数据的各个图像帧的位数情况；以及

逐一比对所述第一帧掩码和所述第二帧掩码以等待至所述第一帧掩码以及所述第二帧掩码满足所述融合标准，其中，所述融合标准为所述第一帧掩码和所述第二帧掩码的位或计算结果为预设值。

10.根据权利要求1所述的应用于多目相机的视频同步方法，其中，所述多目相机为全景相机或深度相机。

Images