CN110740251A - 一种多相机同步取流方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种多相机同步取流方法、装置及系统。其中，方法包括：确定帧率相等的多个相机的当前帧号是否相等，所述多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；如果所述多个相机的当前帧号不相等，控制所述多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中所述最大帧号为所述多个相机的当前帧号中的最大值。可以通过比对当前帧号，确定是否有相机丢帧，在有相机丢帧的情况下，控制其他没有丢帧的相机主动丢弃视频帧，提高了同一时刻获取到的视频帧是多个相机同一时刻采集的视频帧概率。

Description

一种多相机同步取流方法、装置及系统

技术领域

本发明涉及工业相机应用软件技术领域，特别是涉及一种多相机同步取流方法、装置及系统。

背景技术

单个相机采集到的视频流中所包括的图像信息往往有限，为了获取更多的图像信息，可以利用多个相机同时采集视频流，并综合这多个相机采集到的视频流中的图像信息。但是综合多个相机采集到的视频流中的图像信息的前提条件是，需要在时域上同步这多个相机采集到的视频流。

现有技术中，可以是利用一个取流设备，从多个帧率相等的相机中按照视频帧的时间先后顺序，逐帧地获取视频帧，并认为同一时刻获取到的视频帧为这多个相机在同一时刻采集到的视频帧。

但是，由于相机内部数据传输效率较低或者相机处理器负载压力过高等特殊原因，在上述过程中某一个相机可能丢失部分时间节点上的视频帧，而其他相机可能并没有丢失这些时间节点上的视频帧，因此在这些时间节点上，这多个相机无法实现同步，导致同一时刻获取到的视频帧也可能是这多个相机在不同时刻采集到的。

发明内容

本发明实施例的目的在于提供一种多相机同步取流方法，以实现提高了获取得到的视频帧是多个相机同一时刻采集的概率。具体技术方案如下：

在本发明实施例的第一方面，提供了一种多相机同步取流方法，所述方法包括：

确定帧率相等的多个相机的当前帧号是否相等，所述多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

如果所述多个相机的当前帧号不相等，控制所述多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中所述最大帧号为所述多个相机的当前帧号中的最大值。

结合第一方面，在第一种可能的实现方式中，在所述确定帧率相等的多个相机的当前帧号是否相等之前，所述方法还包括：

获取帧率相等的多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号相等，获取所述多个相机最新采集到的视频帧。

结合第一方面，在第二种可能的实现方式中，在所述确定帧率相等的多个相机的当前帧号是否相等之前，所述方法还包括：

获取帧率相等的多个相机最新采集到的视频帧以及所述多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号相等，保留从所述多个相机获取到的视频帧。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述确定帧率相等的的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

结合第一方面，在第四种可能的实现方式中，所述确定帧率相等的多个相机的当前帧号是否相等，包括：

每当帧率相等的多个相机中存在采集到新的视频帧的相机后，确定所述多个相机的当前帧号是否相等。

在本发明实施例的第二方面，提供了一种多相机同步取流装置，所述装置包括：

帧号判断模块，用于确定帧率相等的多个相机的当前帧号是否相等，所述多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

回调控制模块，用于如果所述多个相机的当前帧号相等，获取所述多个相机最新采集到的视频帧；如果所述多个相机的当前帧号不相等，控制所述多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中所述最大帧号为所述多个相机的当前帧号中的最大值。

结合第二方面，在第一种可能的实现方式中，所述帧号判断模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之前，获取帧率相等的多个相机的当前帧号；

所述回调控制模块，还用于在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号相等，获取所述多个相机最新采集到的视频帧。

结合第二方面，在第二种可能的实现方式中，所述回调控制模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之前，获取帧率相等的多个相机最新采集到的视频帧以及所述多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号相等，保留从所述多个相机获取到的视频帧。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述回调控制模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

结合第二方面，在第四种可能的实现方式中，所述帧号判断模块具体用于每当帧率相等的多个相机存在采集到新的视频帧的相机后，确定所述多个相机的当前帧号是否相等。

在本发明实施例提供的第三方面，提供了一种多相机同步取流系统，所述系统包括：

多个相机，用于采集视频帧，所述多个相机的帧率相等；

取流设备，用于按照权利要求1-4中任一所述的方法步骤，从所述多个相机中获取视频流。

结合第三方面，在第一种可能的实现方式中，所述多个相机包括一个连续模式的相机，所述多个相机中除所述连续模式的相机外的相机为硬触发模式的相机；所述连续模式的相机通过总线与所有硬触发模式的相机电连接；

每当所述连续模式的相机采集新的视频帧时，通过所述总线向所有硬触发模式的相机发送触发信号，所述触发信号用于控制硬触发模式的相机采集新的视频帧。

结合第三方面，在第二种可能的实现方式中，所述多个相机中的每个相机在采集到新的视频帧后，在接收到所述取流设备针对该相机发送的控制指令之前，停止采集新的视频帧。

结合第三方面的第二可能的实现方式，在第三种可能的实现方式中，所述取流设备具体用于在确定所述多个相机的当前帧号不相等后，向所述多个相机中当前帧号小于最大帧号的相机发送控制指令；

所述多个相机中接收到所述控制指令的相机，还用于根据所述控制指令，采集新的视频帧。

在本发明实施例的第四方面，提供了一种取流设备，所述取流设备包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的多相机同步取流方法。

在本发明实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的多相机同步取流方法。

本发明实施例提供的一种多相机同步取流方法、装置、系统及电子设备，可以通过比对当前帧号，确定是否有相机存在丢帧，在有相机出现丢帧的情况下，控制其他没有丢帧的相机主动丢弃视频帧，提高了同一时刻获取得到的视频帧是多个相机同一时刻采集的视频帧概率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的多相机同步取流方法的一种流程示意图；

图2a为本发明实施例提供的多相机同步取流方法的另一种流程示意图；

图2b为本发明实施例提供的多相机同步取流方法的另一种流程示意图；

图3为本发明实施例提供的多相机同步取流方法的另一种流程示意图；

图4为本发明实施例提供的多相机同步取流方法的另一种流程示意图；

图5为本发明实施例提供的多相机同步取流装置的一种结构示意图；

图6a为本发明实施例提供的多相机同步取流系统的一种结构示意图；

图6b为本发明实施例提供的多相机同步取流系统的另一种结构示意图；

图7为本发明实施例提供的取流设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1所示为本发明实施例提供的多相机同步取流方法的一种流程示意图，可以包括：

S101，确定用于采集视频流的多个相机的当前帧号是否相等，多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号。

其中，多个相机的帧率相等。多个相机中的每个相机均有各自的当前帧号，多个相机的当前帧号相等是指，多个相机中每个相机的当前帧号均相等。当前帧号可以是以数字的形式表示的。一个相机最新采集到的视频帧是指该相机采集到的视频帧中，采集时间距离当前时刻最近的视频帧，假设一个相机最新采集到的视频帧为该相机采集到的视频流中的第i个视频帧，则该相机的当前帧号可以是i+j，其中j可以是任意预设的整数，示例性的，j可以是0或者-1，在j＝0的情况下，如果一个相机最新采集到的视频帧为该相机采集到的视频流的第1个视频帧，则该相机的当前帧号为1。

可以理解的是，虽然多个相机可以被设计在同一时刻采集视频帧，但是如果其中一个相机因为特殊原因，例如处理器的负载压力较大，可能无法及时处理该相机图像传感器获取的视频数据以得到相应的视频帧，当图像传感器向处理器发送新的视频数据时，由于相机内部缓存空间不足，该相机可能会丢弃原先尚未处理完成的视频数据，即该相机丢失了与这部分尚未处理完成的视频数据对应的视频帧，导致该相机采集到的当前帧号的变化不连续，例如该相机第一次采集到视频帧时当前帧号为1，第二次采集到视频帧时当前帧号可能为3，而正常的相机应当是第一次采集到视频帧时当前帧号为1，第二次采集到视频帧时当前帧号为2，因此当相机的当前帧号相较于其他相机较大时，说明该相机可能发生了丢帧。

S102，如果多个相机的当前帧号不相等，控制多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中最大帧号为多个相机的当前帧号中的最大值。

示例性的，假设一共有三个相机，分别记为相机A、相机B、相机C，其中相机A的当前帧号为2，相机B的当前帧号为2，相机C的当前帧号为3，在这种情况下最大帧号为3，控制相机A和相机B采集新的视频帧。可以理解的是，当一个相机采集到新的视频帧后，由于新采集到的视频帧在该相机采集到的视频流中的序号与之前的视频帧不同，因此该相机的当前帧号会发生变化。相机C可能是因为负载过高或者获取堵塞等原因出现视频帧丢失，例如相机C采集到的视频流中序号为2的视频帧丢失，可能会造成该例子中相机C的当前帧号偏大的情况。

在一些情况下，相机C也可能一次性丢失多个视频帧，即使按照上述步骤处理后，相机A、相机B和相机C的当前帧号仍然可能不一致，如果直接获取仍然可能造成取流的不同步，为了应对这些情况下，可以在执行完成S102后重新返回执行S101，直至相机A、相机B以及相机C的当前帧号一致为止。

为方便讨论假设一个相机的当前帧号等于该相机最新采集到的视频帧在该相机采集到的视频流中的序号，并假设相机A、相机B及相机C默认为每间隔10ms采集一次视频帧，下面以一个具体的情况为例对本方案进行示例性的描述：

在t＝10ms时刻，相机A、相机B和相机C均开始采集各自的第一个视频帧，并且相机A、相机B、相机C的采集过程均不存在异常，此时相机A、相机B和相机C的当前帧号均为1，获取这三个相机各自采集到的第一个视频帧。在t＝20ms时刻，相机A、相机B、相机C开始采集各自的第二个视频帧，假设相机A、相机B的采集过程不存在异常，而相机C由于相机C的处理器运算压力过大没有正常采集到第二个视频帧，此时相机C尚不存在当前帧号，因此无法执行步骤S101，在t＝30ms时刻，相机C正常采集到第三个视频帧，而相机A、相机B由于之前已经正常采集到新的视频帧，并且没有被取流，因此当前帧号仍然为2，而相机C此时的当前帧号为3，控制相机A和相机B重新采集新的视频帧，假设比较帧号以及控制相机A、相机B重新采集新的视频帧的过程花费的时间为d，则在t＝30ms+d时刻，这三个相机的当前帧号均为3，可以获取这三个相机最新采集到的视频帧，可见在本方案中当相机C出现丢帧时，从相机A、相机B第二次获取的视频帧和从相机C第二次获取的视频帧之间的视频帧间隔为d。

而如果在t＝20ms时刻，获取相机A和相机B采集到的第二个视频帧，此时相机A和相机B采集到的第二视频帧是从相机A和相机B第二次获取视频帧，而由于相机C采集到的第二个视频帧丢失，所以从相机C第二次获取到的视频帧实际上为相机C采集到的第三个视频帧，相机C是在t＝30ms时刻采集到第三视频帧的，即从相机A和相机B第二次获取的视频帧和从相机C第二次获取的视频之间的视频帧间隔为10ms，并且当相机C多次出现丢帧或者一次丢失多个视频帧时，取流的同步性还会进一步下降。

可见，当d小于相机采集视频帧的默认时间间隔时，选用该实施例进行取流的同步性更高，而该条件的实现往往是较为简单的，目前通过选用合适的硬件，已经可以将d控制在0.5ms以内，只有当帧率高于2000fps时，相机采集视频帧的时间间隔才可以低于0.5ms，因此本实施例可以在绝大部分情况下，减少因相机丢帧造成的取流不同步。

参见图2a，图2a所示为本发明实施例提供的多相机同步取流方法的另一种流程示意图，为了清楚地对本方法进行说明，下面将结合相机以及取流设备进行详细说明，方法可以包括：

S201，多个帧率相等的相机在采集到新的视频帧后，向取流设备发送当前帧号。

可以理解的是，当一个相机采集到新的视频帧后，该相机的当前帧号发生变化。如果一个相机没有出现丢帧，则该相机发送给取流设备的当前帧号理论上是连续的，如果一个相机出现了丢帧，则该相机发送给取流设备的当前帧号是不连续的。

S202，取流设备确定多个相机的当前帧号是否相等，如果多个相机的当前帧号不相等，则执行S203，如果多个相机的当前帧号相等，则执行S205。

在本实施例中，取流设备在接收到所有相机的当前帧号后进而判断多个相机的当前帧号是否相等。

S203，取流设备向多个相机中当前帧号小于最大帧号的相机发送控制指令，该控制指令用于控制相机采集新的视频帧。

S204，多个相机中接收到控制指令的相机，根据所接收到的控制指令，采集新的视频帧。

接收到控制指令的相机根据内存剩余状况，可以是将先丢弃最新采集到的视频帧，再采集新的视频帧，也可以是直接采集新的视频帧。由于接收到控制指令的相机在采集新的视频帧之前，当前帧号小于最大帧号，这些相机在采集到新的视频帧后，当前帧号变大，可能等于最大帧号或者更加接近最大帧号，即多个相机最新采集到的视频帧之间的同步性提高。

S205，取流设备获取多个相机最新采集到的视频帧。

如果多个相机的当前帧号均相等，说明多个相机最新采集到的视频帧是同步的，此时可以直接获取多个相机最新采集到的视频帧，以得到同步视频流。进一步的，在获取到多个相机最新采集到的视频帧后，可以根据用户实际需求进行不同的后处理，如同步播放、图像融合等，本实施例对此不作限制。

进一步的，在一种可选的实施例中，也可以是如图2b所示，每当多个相机中存在采集到新的视频帧的相机后，跳转到S201，在这种情况下，由于没有接收到控制指令的相机并没有采集新的视频帧，因此可以仅是接收到控制指令的相机向取流设备发送当前帧号，选用该实施例，可以通过多次循环，使得在有相机丢失多个视频帧的情况下，仍能保持多个相机取流的同步性。

在另一种可选的实施例中，也可以如图3所示，包括：

S301，取流设备获取多个帧率相等的相机最新采集到的视频帧以及多个相机的当前帧号。

进一步，可以是多个相机中的每个相机，在采集到新的视频帧后，向取流设备发送最新采集到的视频帧以及当前帧号，最新采集到的视频帧和当前帧号可以是同时发送的，也可以分次发送的。

S302，取流设备确定多个相机的当前帧号是否相等，如果多个相机的当前帧号相等，则执行S303，如果多个相机的当前帧号不相等，则执行S304。

如果多个相机的当前帧号相等，则可以确定S301中获取到的多个相机最新采集到的视频帧是同步的。

如果多个相机的当前帧号不相等，在可以认为多个相机中存在丢帧的相机，即可以S301中取流设备获取到的视频帧是不同步的。在本实施例中，取流设备可以进一步拒绝基于S301中获取到的视频帧进行后续步骤，示例性的，假设多个相机是用于从多个角度拍摄监控场景，取流设备被设置用于从多个相机获取到同步视频流，并基于同步视频流对该监控场景进行三维建模，如果取流设备确定多个相机的当前帧号不相等，则可以认为取流设备在S301中获取到的视频帧是不同步的，因此取流设备应该拒绝基于不同步的视频帧进行三维建模，以避免建立出错误的三维模型。取流设备也可以是在确定多个相机的当前帧号不相等后，丢弃S301中所获取到的视频帧。

S303，取流设备保留从多个相机获取到的视频帧。

由于多个相机的当前帧号相等，可以认为S301中取流设备获取到的视频帧是同步的，此时取流设备可以保留这些视频帧以进行后续的处理步骤。示例性的，取流设备在保留从这多个相机获取到的视频帧之后，可以是基于这些视频帧，对监控场景进行三维建模。

进一步的，取流设备对从多个相机获取到的视频帧的保留方式可以根据实际需求进行调整，示例性的，S301中取流设备在从多个相机获取到这多个相机最新采集到的视频帧后，可以是将获取到的视频帧保存在取流设备的缓存中，如果需要较长时间保留这些视频帧，取流设备可以将这些视频帧从缓存中转移至非易失性的存储介质中，如取流设备内置的磁盘。如果只需要较短时间保留这些视频帧，取流设备也可以是一定时间内，拒绝将缓存中用于保存这些视频帧的存储空间分配给其他数据。

S304，取流设备向多个相机中当前帧号小于最大帧号的相机发送控制指令，该控制指令用于控制相机采集新的视频帧。

进一步的，在一种可选的实施例中，也可以如图4所示，包括：

S401，取流设备获取多个帧率相等的相机最新采集到的视频帧以及多个相机的当前帧号。

该步骤与S301相同，可以参见前述关于S103的描述。

S402，取流设备确定多个相机的当前帧号是否相等，如果多个相机的当前帧号不相等，则执行S403，如果多个相机的当前帧号相等，则执行S404。

该步骤与S302相同，可以参见前述关于S302的描述，在此不再赘述。

S403，取流设备保留从多个相机获取到的视频帧。

该步骤与S303相同，可以参见前述关于S303的描述，在此不再赘述。

S404，取流设备丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

示例性的，假设一共有三个相机，分别为相机A、相机B、相机C，这三个相机的当前帧号分别为2、3、3，在S401中取流设备分别从相机A、相机B、相机C处获取了这三个相机各自最新采集到的视频帧，记为视频帧a、视频帧b、视频帧c，则取流设备丢弃从相机A获取到的视频帧a。取流设备丢弃一个视频帧，可以是取流设备从内存和/或外部存储器中删除该视频帧。

S405，取流设备向多个相机中当前帧号小于最大帧号的相机发送控制指令，该控制指令用于控制相机采集新的视频帧。

仍以S404中的例子为例，由于相机A的当前帧号小于最大帧号，因此取流设备向相机A发送控制指令，相机A在该控制指令下采集新的视频帧，记为视频帧d，如果相机A本次正常采集视频帧，则相机A在采集到视频帧d后，当前帧号为3。可见，视频帧d与视频帧b、视频帧c是同步的。

参见图5，图5为本发明实施例提供的一种多相机同步取流装置，可以包括：

帧号判断模块501，用于确定帧率相等的多个相机的当前帧号是否相等，多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

回调控制模块502，用于如果多个相机的当前帧号相等，获取多个相机最新采集到的视频帧；如果多个相机的当前帧号不相等，控制多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中最大帧号为多个相机的当前帧号中的最大值。

进一步的，帧号判断模块501还用于在确定帧率相等的多个相机的当前帧号是否相等之前，获取帧率相等的多个相机的当前帧号；

回调控制模块502，还用于在确定帧率相等的多个相机的当前帧号是否相等之后，如果多个相机的当前帧号相等，获取多个相机最新采集到的视频帧。

进一步的，回调控制模块502还用于在确定帧率相等的多个相机的当前帧号是否相等之前，获取多个相机最新采集到的视频帧；

在确定帧率相等的多个相机的当前帧号是否相等之后，如果多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

进一步的，帧号判断模块501具体用于每当帧率相等的多个相机存在采集到新的视频帧的相机后，确定多个相机的当前帧号是否相等。

参见图6a，图6a所示为本发明实施例提供的一种多相机同步取流系统，可以包括：

帧率相等的多个相机610，这多个相机610用于采集视频帧。

取流设备620，用于按照上述多相机同步取流方法从多个相机301中获取视频流。

取流设备620从一个相机610中获取到视频流是由该相机610采集到的视频帧构成的。该系统可以是一个视频监控系统，多个相机610可以为分别部署于多个不同监控点位的监控摄像机，取流设备620可以为后端服务器，从多个相机610中获取视频流以进行保存或者展示。

进一步的，在一种可选的实施例中，如图6b所示，多个相机610中包括一个连续模式的相机611，多个相机610中除该连续模式的相机611外的相机为硬触发模式612，连续模式的相机611通过总线613与所有硬触发模式的相机612电连接。每当连续模式的相机611采集新的视频帧时，通过总线612向所有硬触发模式的相机612发送触发信号，该触发信号用于控制硬触发模式的相机采集新的视频帧。

其中，连续模式的相机611为可以每间隔预设的时间间隔自发地采集新的视频帧的相机，硬触发模式的相机612不会自发地采集新的视频帧，需要触发信号触发才会采集新的视频帧。该触发信号由连续模式的相机611生成，可以是连续模式的相机611的主芯片在确定开始采集新的视频帧时生成并通过总线613发送至所有硬触发模式的相机612，也可以是连续模式的相机611的主线片在采集新的视频帧的过程中生成并通过总线613发送至所有硬触发模式的相机612。选用该实施例，可以使得多个相机610采集新的视频帧的时刻近似在同一时刻，更有利于保证取流的同步性，并且触发信号由总线613进行传输，相比通过无线网络传输触发信号，更不容易受到外部因素的干扰，相对稳定。

在一种可选的实施例中，多个相机610在采集到新的视频后，在接收到取流设备620针对该相机发送的控制指令之前，停止采集新的视频帧，示例性的，假设一个相机610默认的采集视频帧的间隔为10ms，并且在t＝10ms时，该相机610采集到了新的视频帧，如果在t＝20ms时，该相机610没有接收到取流设备620针对该相机610发送的控制指令，则该相机610在t＝20ms时不会采集新的视频帧。选用该实施例，可以避免相机610因为误触发采集到额外的视频帧，造成当前帧号错乱。

进一步的，取流设备620可以是在确定多个相机610的当前帧号不相等后，向多个相机610中当前帧号小于最大帧号的相机610发送控制指令。对于接收到该控制指令的相机610，可以根据所接收到的控制指令，采集新的视频帧。选用该实施例，可以由取流设备620对多个相机610采集新的视频帧进行统一控制，便于管理。

本发明实施例还提供了一种取流设备，如图7所示，包括，

存储器701，用于存放计算机程序；

处理器702，用于执行存储器701上所存放的程序时，实现如下步骤：

确定帧率相等的多个相机的当前帧号是否相等，多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

如果多个相机的当前帧号不相等，控制多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中最大帧号为多个相机的当前帧号中的最大值。

进一步的，在确定帧率相等的多个相机的当前帧号是否相等之前，方法还包括：

获取帧率相等的多个相机的当前帧号；

在确定帧率相等的多个相机的当前帧号是否相等之后，方法还包括：

如果多个相机的当前帧号相等，获取多个相机最新采集到的视频帧。

进一步的，在确定帧率相等的多个相机的当前帧号是否相等之前，方法还包括：

获取帧率相等的多个相机最新采集到的视频帧以及多个相机的当前帧号；

在确定帧率相等的多个相机的当前帧号是否相等之后，方法还包括：

如果多个相机的当前帧号相等，保留从多个相机获取到的视频帧。

进一步的，在确定帧率相等的的多个相机的当前帧号是否相等之后，方法还包括：

如果多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

进一步的，确定帧率相等的多个相机的当前帧号是否相等，包括：

每当帧率相等的多个相机中存在采集到新的视频帧的相机后，确定多个相机的当前帧号是否相等。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的多相机同步取流方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、取流设备、可读存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种多相机同步取流方法，其特征在于，所述方法包括：

确定帧率相等的多个相机的当前帧号是否相等，所述多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

如果所述多个相机的当前帧号不相等，控制所述多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中所述最大帧号为所述多个相机的当前帧号中的最大值。

2.根据权利要求1所述的方法，其特征在于，在所述确定帧率相等的多个相机的当前帧号是否相等之前，所述方法还包括：

获取帧率相等的多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号相等，获取所述多个相机最新采集到的视频帧。

3.根据权利要求1所述的方法，其特征在于，在所述确定帧率相等的多个相机的当前帧号是否相等之前，所述方法还包括：

获取帧率相等的多个相机最新采集到的视频帧以及所述多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号相等，保留从所述多个相机获取到的视频帧。

4.根据权利要求3所述的方法，其特征在于，在所述确定帧率相等的的多个相机的当前帧号是否相等之后，所述方法还包括：

如果所述多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

5.根据权利要求1所述的方法，其特征在于，所述确定帧率相等的多个相机的当前帧号是否相等，包括：

每当帧率相等的多个相机中存在采集到新的视频帧的相机后，确定所述多个相机的当前帧号是否相等。

6.一种多相机同步取流装置，其特征在于，所述装置包括：

帧号判断模块，用于确定帧率相等的多个相机的当前帧号是否相等，所述多个相机中每个相机的当前帧号用于表示该相机最新采集到的视频帧在该相机采集到的视频流中的序号；

回调控制模块，用于如果所述多个相机的当前帧号不相等，控制所述多个相机中当前帧号小于最大帧号的相机采集新的视频帧，其中所述最大帧号为所述多个相机的当前帧号中的最大值。

7.根据权利要求6所述的装置，其特征在于，所述帧号判断模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之前，获取帧率相等的多个相机的当前帧号；

所述回调控制模块，还用于在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号相等，获取所述多个相机最新采集到的视频帧。

8.根据权利要求6所述的装置，其特征在于，所述回调控制模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之前，获取帧率相等的多个相机最新采集到的视频帧以及所述多个相机的当前帧号；

在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号相等，保留从所述多个相机获取到的视频帧。

9.根据权利要求8所述的装置，其特征在于，所述回调控制模块还用于在所述确定帧率相等的多个相机的当前帧号是否相等之后，如果所述多个相机的当前帧号不相等，丢弃从当前帧号小于最大帧号的相机获取到的视频帧。

10.根据权利要求6所述的装置，其特征在于，所述帧号判断模块具体用于每当帧率相等的多个相机存在采集到新的视频帧的相机后，确定所述多个相机的当前帧号是否相等。

11.一种多相机同步取流系统，其特征在于，所述系统包括：

多个相机，用于采集视频帧，所述多个相机的帧率相等；

取流设备，用于按照权利要求1-5中任一所述的方法步骤，从所述多个相机中获取视频流。

12.根据权利要求11所述的系统，其特征在于，所述多个相机包括一个连续模式的相机，所述多个相机中除所述连续模式的相机外的相机为硬触发模式的相机；所述连续模式的相机通过总线与所有硬触发模式的相机电连接；

每当所述连续模式的相机采集新的视频帧时，通过所述总线向所有硬触发模式的相机发送触发信号，所述触发信号用于控制硬触发模式的相机采集新的视频帧。

13.根据权利要求11所述的系统，其特征在于，所述多个相机中的每个相机在采集到新的视频帧后，在接收到所述取流设备针对该相机发送的控制指令之前，停止采集新的视频帧。

14.根据权利要求13所述的系统，其特征在于，所述取流设备具体用于在确定所述多个相机的当前帧号不相等后，向所述多个相机中当前帧号小于最大帧号的相机发送控制指令；

所述多个相机中接收到所述控制指令的相机，还用于根据所述控制指令，采集新的视频帧。

Images