CN111107248A - 一种多路视频采集的同步系统、方法和采集控制器 - Google Patents

Abstract

本发明实施例提供了一种多路视频采集的同步系统、方法和采集控制器，用以解决现有技术中的无法有效地对同时获取的多路视频进行同步处理的问题。多路视频采集的同步系统包括服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；服务器向每个视频采集卡的采集控制器发送对时指令，对时指令中包括对时时间；每个视频采集卡的采集控制器根据对时时间设置本地时间；每个视频采集卡的采集控制器均根据本地时间和相同的预定采集周期，向所在视频采集卡中的图像传感器发送控制信号，图像传感器根据该控制信号采集图像数据。

Description

一种多路视频采集的同步系统、方法和采集控制器

技术领域

本发明涉及图像处理领域，特别涉及一种多路视频采集的同步系统、方法和采集控制器。

背景技术

目前，在很多应用场景中，需要配置多个成像设备对同一场景获取图像数据。但是这多个成像设备之间由于各自的差异性，会存在时钟误差，导致多个成像设备采集到的图像数据不同步。从而需要对多个成像设备对同一场景获取的多个图像数据进行同步处理。

发明内容

有鉴于此，本发明实施例提供了一种多路视频采集的同步系统、方法和采集控制器，用以解决现有技术中的无法有效地对同时获取的多路视频进行同步处理的问题。

根据本申请实施例的一个方面，提供了一种多路视频采集的同步系统，包括：服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；

图像传感器用于根据来自采集控制器的控制信号采集图像数据；

采集控制器用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；接收图像传感器根据控制信号采集到的图像数据；将接收到的图像数据发送给服务器；

服务器用于向采集控制器发送对时指令，对时指令中包括对时时间；接收来自采集控制器的图像数据。

根据本申请实施例的一个方面，提供了一种采集控制器，该采集控制器位于一个视频采集卡中，该采集控制器包括控制单元和采集单元；

控制单元用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将采集单元接收到的图像数据发送给服务器；

采集单元用于接收图像传感器根据控制信号采集到的图像数据。

根据本申请实施例的一个方面，提供了一种采集控制器，该采集控制器位于一个视频采集卡中，该采集控制器包括一个高级精简指令集机器(Advanced RISC Machine，ARM)和一个现场可编程门阵列(Field－Programmable Gate Array，FPGA)；

ARM用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将FPGA接收到的图像数据发送给服务器；

FPGA用于接收图像传感器根据控制信号采集到的图像数据。

根据本申请实施例的一个方面，提供了一种多路视频采集的同步方法，该方法应用在一个多路视频采集系统中，该系统包括服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；每个视频采集卡中的采集控制器执行如下处理：

接收来自服务器的对时指令，对时指令中包括对时时间；

根据对时时间设置采集控制器的本地时间；

根据本地时间和预定采集周期，向图像传感器发送控制信号；

接收图像传感器根据控制信号采集到的图像数据，将接收到的图像数据发送给服务器。

在本申请实施例中，多路视频采集的同步系统包括服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；服务器向每个视频采集卡的采集控制器发送对时指令，对时指令中包括对时时间；每个视频采集卡的采集控制器根据对时时间设置本地时间，从而多个视频采集卡设置为一致的本地时间；并且，每个视频采集卡的采集控制器均根据本地时间和相同的预定采集周期，向所在视频采集卡中的图像传感器发送控制信号，图像传感器根据该控制信号采集图像数据，从而多个视频采集卡的图像传感器在一致的时间采集图像数据，将采集到的数据通过采集控制器发送给服务器，能够实现多路视频采集的同步处理。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1a为本申请实施例提供的多路视频采集的同步系统的结构示意图；

图1b为图1a中视频采集卡的结构示意图；

图2为本发明实施例提供的多路视频采集的同步方法的处理流程图；

图3a为根据本申请实施例提供一个示例中的控制信号时序图；

图3b为根据本申请实施例提供另一个示例中的控制信号时序图；

图4为本发明实施例提供的多路视频采集的同步方法的另一个处理流程图；

图5a为根据本申请实施例提供另一个示例中的控制信号时序图；

图5b为根据本申请实施例提供另一个示例中的控制信号时序图；

图6为本申请实施例提供的采集控制器的结构示意图；

图7为本申请实施例提供的采集控制器的另一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

目前在很多应用场景中，例如自动驾驶，通常会配置多个成像设备对同一场景获取图像数据，这多个成像设备将获取多路视频图像数据，对这多路视频数据进行同步处理之后，这多路视频数据才能得到有效的使用。

本申请实施例提供了一种多路视频采集的同步系统、方法和采集控制器，用以实现对多路视频采集卡采集到的多路视频数据进行同步处理。在本申请实施例中，该同步系统包括服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；服务器向每个视频采集卡的采集控制器发送对时指令，对时指令中包括对时时间；每个视频采集卡的采集控制器根据对时时间设置本地时间，从而多个视频采集卡设置为大致一致的本地时间；并且，每个视频采集卡的采集控制器均根据本地时间和相同的预定采集周期，向所在视频采集卡中的图像传感器发送控制信号，图像传感器根据该控制信号采集图像数据，从而多个视频采集卡的图像传感器在大致一致的时间采集图像数据，将采集到的数据通过采集控制器发送给服务器，能够实现多路视频采集的同步处理。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

本申请实施例一方面提供了一种多路视频采集的同步系统，如图1a所示，该系统包括：服务器1和多个视频采集卡2。视频采集卡2可以实现视频图像数据的采集、处理和传输，服务器1对每个视频采集卡2进行对时控制，并获取视频采集卡2采集到的视频图像数据。服务器1和视频采集卡2之间可以通过多种方式进行连接，例如通过千兆有线网进行连接，本申请实施例不对具体的连接方式进行限定，在具体的应用场景中可以根据应用需求进行具体设置。

多个视频采集卡2可以是相同配置或者相似配置的视频采集卡。如图1b所示，每个视频采集卡2包括一个采集控制器21和一个模组22，模组22包括镜头221和图像传感器222。采集控制器21根据服务器1的控制和预定的采集周期，对图像传感器222采集图像数据的采集处理进行同步控制，使得多个视频采集卡2在大致相同的时间进行图像数据采集，从而获得同步的多路视频图像数据。

具体地，图像传感器222用于根据来自采集控制器的控制信号采集图像数据；

采集控制器21用于接收来自服务器1的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器21的本地时间；根据本地时间和预定采集周期，向图像传感器222发送控制信号；接收图像传感器222根据控制信号采集到的图像数据；将接收到的图像数据发送给服务器1；

服务器1用于向采集控制器21发送对时指令，对时指令中包括对时时间；接收来自采集控制器21的图像数据。

下面具体对采集控制器21的工作原理进行说明。

图2中示出了本申请实施例提供的多路视频采集的同步方法，也即图1中采集控制器21的工作原理，包括：

步骤201、采集控制器接收来自服务器的对时指令，对时指令中包括对时时间；

其中，对时时间可以是服务器的本地时间，服务器将该时间作为对时时间发送给采集控制器；

在另一种情况中，该对时时间也可以是一个来自服务器外部的时间，例如，在自动驾驶的场景中，图1a中的服务器可以是用于图像处理的服务器，在该场景中还包括自动驾驶控制平台，该对时时间可以是自动驾驶控制平台的本地时间，自动驾驶控制平台将该时间作为对时时间发送给服务器，服务器根据该对时时间设置服务器的本地时间，并将该对时时间发送给各视频采集卡中的采集控制器；

在具体的应用场景中还可以包括其它的情况，本申请这里不做具体限定。

步骤203、根据对时时间设置采集控制器的本地时间；

本申请实施例中提供了如下两种方式进行多个采集控制器的本地时间同步：

对时方式一、采集控制器将对时时间直接设置为本地时间；

对时方式二、采集控制器确定对时时间与接收到对时指令时的本地时间之间的差值，判断该差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

通过上述方式，可以将多个采集控制器的本地时间设置为大致一致的时间。

本申请实施例只列举了上述两种方式，但是并不限定于上述两种方式，在具体的应用场景中可以根据应用需求进行具体设置。

步骤205、根据本地时间和预定采集周期，向图像传感器发送控制信号；

本申请实施例提供了如下两种发送控制信号的方式：

控制方式一、可以基于本地时间，以预定的采集周期向图像传感器发送控制信号。

例如，在采集控制器对本地时间进行设置后，即可根据预定的采集周期向图像传感器发送控制信号。

在一个示例中，如图3a所示，三个视频采集卡C1、C2和C3上的采集控制器对发送控制信号的时间进行确定，在第一个采集周期内，在三个视频采集卡C1、C2和C3上的采集控制器设置完成了本地时间的时刻T1，对预定的采集周期的时长T2进行计时，在T＝T1+T2的时刻向图像传感器发送控制信号Sc；在第二个采集周期内，在第二个采集周期的起点也即在T＝T1+T2的时刻对采集周期的时长T2进行计时，在T2计时到时的时刻T＝T1+T2+T2对图像传感器发送下一个控制信号Sc；后续的视频采集过程中发送控制信号的时序以此类推，这里不再赘述。

其中，预定的采集周期对于多个视频采集卡中而言是相同的。

控制方式二、可以确定本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

在一些应用场景中，每个视频采集卡上的采集控制器对于每个采集周期的视频采集所确定的曝光控制时间有可能均不一样，曝光控制时间用于控制图像传感器的成像时间，也即对曝光控制时间进行计时，在计时到来的时刻控制图像传感器捕捉图像。

在本申请实施例提供的控制方式二中，在确定向图像传感器发送控制信号的时序时，需要考虑曝光控制时间，多个图像采集卡上的采集控制器分别对各自的曝光控制时间进行确定，并在每个采集周期内根据曝光控制时间来控制向图像传感器发送控制信号的时刻，使得多个图像采集卡上的图像传感器在大致一致的时间捕捉获取到图像数据。其中，采集控制器确定本地曝光控制时间的处理，可以使用本申请之前的确定方法或者本申请之后的确定方法，本申请这里不做具体限定。

具体地，在采集控制器对本地时间进行设置后，基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间，在该时间计时到来时，向图像传感器发送控制信号。

在一个示例中，在采集控制器设置完成了本地时间的时刻T1，也即在第一个采集周期的起点，对预定的采集周期的时长T2和本地曝光控制时间Te的差值进行计时，也即对T2-Te的值进行计时，在T2-Te的值计时到时的时刻T＝T1+T2-Te对图像传感器发送控制信号Sc；在第二个采集周期的起点T＝T1+T2的时刻对T2-Te的值计时，在计时到时的时刻T＝T1+T2+(T2-Te)对图像传感器发送下一个控制信号Sc；后续的视频采集过程中发送控制信号的时序以此类推，这里不再赘述。

图3b示出了三个视频采集卡C1、C2和C3上的采集控制器对发送控制信号进行计时的时序图，这三个视频采集卡在进行对时操作后，将本地时间均设置为T1，预定的采集周期的时长是相同的T2，对于第一次视频采集，也即在第一个采集周期内，视频采集卡C1确定的曝光控制时间为Te11，视频采集卡C2确定的曝光控制时间为Te21，视频采集卡C3确定的曝光控制时间为Te31；在第一个采集周期的起点T＝T1的时刻，第一视频采集卡C1对T2-Te11的差值进行计时，第二视频采集卡C2对T2-Te21的差值进行计时，第三视频采集卡C3对T2-Te31的差值进行计时，第一视频采集卡C1在计时到时的时刻TC1＝T1+(T2-Te11)向其中的图像传感器发送控制信号Sc1，第二视频采集卡C2在计时到时的时刻TC2＝T1+(T2-Te21)向其中的图像传感器发送控制信号Sc2，第三视频采集卡C3在计时到时的时刻TC3＝T1+(T2-Te31)向其中的图像传感器发送控制信号Sc3；

对于第二次视频采集，也即在第二个采集周期内，视频采集卡C1确定的曝光控制时间为Te12，视频采集卡C2确定的曝光控制时间为Te22，视频采集卡C3确定的曝光控制时间为Te32；在第二个采集周期的起点T＝T1+T2的时刻，第一视频采集卡C1对T2-Te12的差值进行计时，第二视频采集卡C2对T2-Te22的差值进行计时，第三视频采集卡C3对T2-Te32的差值进行计时，第一视频采集卡C1在计时到时的时刻TC1＝T1+T2+(T2-Te12)向其中的图像传感器发送控制信号Sc1，第二视频采集卡C2在计时到时的时刻TC2＝T1+T2+(T2-Te22)向其中的图像传感器发送控制信号Sc2，第三视频采集卡C3在计时到时的时刻TC3＝T1+T2+(T2-Te32)向其中的图像传感器发送控制信号Sc3。后续的视频采集过程以此类推，这里不再赘述。

通过上述控制方式二，在相同的本地时间的基础上，在每个采集周期内根据预定的采集周期的时长和本地曝光控制时间的差值，来控制向图像传感器发送控制信号的时刻，能够实现多个视频采集卡在大致相同的时间进行图像数据采集，从而实现多视频采集卡同步采集图像数据。

通过上述控制方式一或者控制方式二，各个视频采集卡中的采集控制器在进行了本地时间同步之后，能够控制各视频传感器在大致相同的时刻采集图像数据。

在其他的一些实施例中，如图4所示，在步骤205还可以实施为步骤205’：

步骤205’、采集控制器还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

采集控制器在设置了本地时间后，在发送第一次控制信号的处理过程中，对一个预定的控制时间进行计时，在该控制时间计时到时的时刻，也即该控制时间对应的本地时间的时刻，向图像传感器发送控制信号；在发送后续的控制信号的处理过程中，可以使用上述步骤205中的控制方式一或控制方式二来进行处理。步骤205’包括如下的控制方式三和控制方式四。

控制方式三、基于对时后的本地时间，在发送第一次控制信号的过程中，对一个预定的控制时间进行计时，在该控制时间计时到时的时刻，向图像传感器发送控制信号；在发送后续的控制信号的过程中，以预定的采集周期向图像传感器发送控制信号。

在一个示例中，在采集控制器设置完成了本地时间的时刻T1，也即在第一个采集周期的起点，对预定的控制时间Tx进行计时，在计时到时的时刻T＝T1+Tx向图像传感器发送控制信号Sc；在第二个采集周期的起点T＝T1+Tx，对采集周期的时长T2进行计时，在计时到时的时刻T＝T1+Tx+T2向图像传感器发送控制信号Sc；在第三个采集周期的起点T＝T1+Tx+T2，对采集周期的时长T2进行计时，在计时到时的时刻T＝T1+Tx+T2+T2向图像传感器发送控制信号Sc；后续的视频采集过程中发送控制信号的时序以此类推，这里不再赘述。

图5a中示出了三个视频采集卡C1、C2和C3上的采集控制器实施步骤205’发送控制信号的时序图。

三个视频采集卡C1、C2和C3在进行对时操作后，将本地时间均设置为T1，预定的控制时间是Tx，预定的采集周期为T2。第一次视频采集，在第一个采集周期的起点T1对控制时间Tx进行计时，视频采集卡C1、C2和C3均在在Tx计时到时的时刻T＝T1+Tx的时间发送控制信号Sc；第二次视频采集，在第二个采集周期的起点T＝T1+Tx对T2进行计时，视频采集卡C1、C2和C3均在T2计时到时的时刻T＝T1+Tx+T2的时间发送控制信号Sc；第三次视频采集在第二次视频采集发送控制信号的基础上对T2进行计时，也即在T＝T1+Tx+T2+T2的时间发送控制信号Sc；后续的视频采集过程中发送控制信号的时序以此类推，这里不再赘述。

控制方式四、基于对时后的本地时间，在发送第一次控制信号的过程中，对一个预定的控制时间进行计时，在该控制时间计时到时的时刻，向图像传感器发送控制信号；在发送后续的控制信号的过程中，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，向图像传感器发送控制信号。

在一个示例中，在发送第一控制信号的过程中，在采集控制器设置完成了本地时间的时刻T1，也即在第一个采集周期的起点T1，对预定的控制时间Tx进行计时，在计时到时的时刻T＝T1+Tx向图像传感器发送控制信号Sc；在发送后续控制信号的过程中，在每个采集周期中，对预定的采集周期T2和本地曝光控制时间Te的差值进行计时，也即，对T2-Te的值进行计时，在第二个采集周期中的T2-Te的值计时到时的时刻T＝T1+Tx+(T2-Te)对图像传感器发送控制信号Sc；在第三个采集周期内，在第三个采集周期的起点T＝T1+Tx+T2的时刻T2-Te的值计时，在计时到时的时刻T＝T1+Tx+T2+(T2-Te)对图像传感器发送下一个控制信号Sc；后续的视频采集过程中发送控制信号的时序以此类推，这里不再赘述。

图5b中示出了示出了三个视频采集卡C1、C2和C3上的采集控制器实施控制方式四发送控制信号的时序图。

三个视频采集卡C1、C2和C3在进行对时操作后，将本地时间均设置为T1，预定的控制时间是Tx，预定的采集周期为T2。对于第一次视频采集，视频采集卡C1、C2和C3均在T＝T1+Tx的时间发送控制信号Sc1、Sc2、Sc3；

对于第二次视频采集，视频采集卡C1确定的曝光控制时间为Te11，视频采集卡C2确定的曝光控制时间为Te21，视频采集卡C3确定的曝光控制时间为Te31；在第二个采集周期内，在第二个采集周期的起点T＝T1+Tx时刻，第一视频采集卡C1对T2-Te11的差值进行计时，第二视频采集卡C2对T2-Te21的差值进行计时，第三视频采集卡C3对T2-Te31的差值进行计时，第一视频采集卡C1在计时到时的时刻TC1＝T1+Tx+(T2-Te11)向其中的图像传感器发送控制信号Sc1，第二视频采集卡C2在计时到时的时刻TC2＝T1+Tx+(T2-Te21)向其中的图像传感器发送控制信号Sc2，第三视频采集卡C3在计时到时的时刻TC3＝T1+Tx+(T2-Te31)向其中的图像传感器发送控制信号Sc3；

对于第三次视频采集，视频采集卡C1确定的曝光控制时间为Te12，视频采集卡C2确定的曝光控制时间为Te22，视频采集卡C3确定的曝光控制时间为Te32；在第三个采集周期内，在第三个采集周期的起点T＝T1+Tx+T2的时刻，第一视频采集卡C1对T2-Te12的差值进行计时，第二视频采集卡C2对T2-Te22的差值进行计时，第三视频采集卡C3对T2-Te32的差值进行计时，第一视频采集卡C1在计时到时的时刻TC1＝T1+Tx+T2+(T2-Te12)向其中的图像传感器发送控制信号Sc1，第二视频采集卡C2在计时到时的时刻TC2＝T1+Tx+T2+(T2-Te22)向其中的图像传感器发送控制信号Sc2，第三视频采集卡C3在计时到时的时刻TC3＝T1+Tx+T2+(T2-Te32)向其中的图像传感器发送控制信号Sc3。后续的视频采集过程以此类推，这里不再赘述。

在步骤205’中，通过对预定的控制时间进行计时，可以进一步使得多个采集控制器之间对发送第一次控制信号的时间进行同步。

步骤207、接收图像传感器根据控制信号采集的图像数据，将接收到的图像数据发送给服务器。通过上述处理过程，可以实现多个视频采集卡进行同步视频采集，从而满足采集多路视频数据的同步需求。

在图2或图4所示方法的基础上，根据上述实施例，在一些应用场景中，根据图像传感器的具体属性，在采集控制器接收对时指令之前，也即在视频采集卡上电之后，采集控制器可以将图像传感器的同步方式设置为外部同步模式，则，采集控制器发送给图像传感器的控制信号可以是图像传感器的外部同步信号，上述的预定的采集周期可以是图像传感器的帧同步时序。

根据图1所示的系统及其工作原理，服务器向每个视频采集卡的采集控制器发送对时指令，对时指令中包括对时时间，每个视频采集卡的采集控制器根据对时时间设置本地时间，从而多个视频采集卡设置为一致的本地时间；并且，每个视频采集卡的采集控制器均根据本地时间和相同的预定采集周期，向所在视频采集卡中的图像传感器发送控制信号，图像传感器根据该控制信号采集图像数据，从而多个视频采集卡的图像传感器在一致的时间采集图像数据，将采集到的数据通过采集控制器发送给服务器，能够实现多路视频采集的同步处理。

基于相同的发明构思，本申请实施例还提供了一种采集控制器。

图6中示出了本申请实施例提供的采集控制器的结构，该采集控制器位于一个视频采集卡中，该采集控制器包括控制单元61和采集单元62。

控制单元61用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将采集单元接收到的图像数据发送给服务器；

采集单元62用于接收图像传感器根据控制信号采集到的图像数据。

在一些实施例中，控制单元61根据对时时间设置采集控制器的本地时间，包括：将对时时间直接设置为本地时间；或者，判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

在一些实施例中，控制单元61还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

在上述实施例中，进一步地，采集单元62还用于确定本地曝光控制时间；则，控制单元61根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，获取采集单元62确定的本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。具体地，控制单元61基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

在上述实施例中，采集单元62还用于将接收到的图像数据和确定的本地曝光控制时间存储在采集单元的共享内存中；控制单元61还用于从采集单元62的共享内存中获取采集单元接收到的图像数据；从采集单元62的共享内存中获取本地曝光控制时间。

根据上述实施例，在一些应用场景中，根据图像传感器的具体属性，控制单元还用于将图像传感器的同步模式设置为外部同步模式；控制信号包括外部同步信号；预定的采集周期包括图像传感器的帧同步时序。

通过如图6所示的采集控制器，控制单元根据来自服务器的对时指令设置本地时间，能够将本地时间设置为服务器要求的时间，并且根据预定的采集周期对图像传感器发送控制信号，使得图像传感器根据控制信号进行图像采集，采集单元接收图像传感器根据控制信号采集到的视频图像数据，控制单元将采集单元接收到的图像数据发送给服务器。在视频采集系统配置有多个视频采集卡，每个视频采集卡配置如图6所示的采集控制器时，能够实现多路视频的同步采集。

图6所示的采集控制器能够通过多种硬件装置得到实现。例如可以通过如下图7所示采集控制器的来实现，还可以通过其它的硬件结构来实现，在具体的应用场景中，可以根据不同的场景条件和要求来具体的设置实现图6所示装置的硬件结构，本申请这里不做一一列举。

图7示出了本申请实施例提供的一种采集控制器的结构，该采集控制器位于一个视频采集卡中，该采集控制器包括一个ARM 71和一个FPGA7 2；

ARM 71用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将FPGA 72接收到的图像数据发送给服务器；

FPGA 72用于接收图像传感器根据控制信号采集到的图像数据。

在一些实施例中，ARM 71根据对时时间设置采集控制器的本地时间，包括：将对时时间直接设置为本地时间；或者，判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。在具体应用场景中，ARM 71可以将本地的实时时钟(Real Time Clock，RTC)的时间设置为对时时间。

在一些实施例中，ARM 71还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

在上述实施例中，FPGA 72还用于确定本地曝光控制时间。ARM 71根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，获取FPGA 72确定的本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

在上述实施例中，ARM 71基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号，包括：ARM 71基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

在上述实施例中，FPGA 72还用于将接收到的图像数据和确定的本地曝光控制时间存储在FPGA 72的共享内存中。ARM 71还用于从FPGA 72的共享内存中获取FPGA 72接收到的图像数据；从FPGA 72的共享内存中获取本地曝光控制时间。FPGA 72将确定的曝光控制时间和接收到的图像数据存储在FPGA 72的共享内存中，能够实现与ARM 71进行数据共享和读取。

根据上述实施例，在一些的应用场景中，根据图像传感器的具体属性，ARM71还可以将图像传感器的同步模式设置为外部同步模式，在一些应用场景中，通过将图像传感器设置为外同步模式，可以使图像传感器进入standby模式。ARM 71可以将外同步信号作为控制信号进行发送，并且，在ARM 71向图像传感器发送第一次外同步信号后，图像传感器进入active状态，并采集输出图像数据。ARM 71还可以将图像传感器的帧同步时序作为预定的采集周期。

通过如图7所示的采集控制器，ARM根据来自服务器的对时指令设置本地时间，能够将本地时间设置为服务器要求的时间，并且根据预定的采集周期对图像传感器发送控制信号，使得图像传感器根据控制信号进行图像采集，FPGA模块接收图像传感器采集到的图像，ARM将FPGA采集到的图像数据发送给服务器。在视频采集系统配置有多个视频采集卡，每个视频采集卡配置如图7所示的采集控制器时，能够实现多路视频的同步采集。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (26)

1.一种多路视频采集的同步系统，其特征在于，包括：服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；

图像传感器用于根据来自采集控制器的控制信号采集图像数据；

采集控制器用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；接收图像传感器根据控制信号采集到的图像数据；将接收到的图像数据发送给服务器；

服务器用于向采集控制器发送对时指令，对时指令中包括对时时间；接收来自采集控制器的图像数据。

2.根据权利要求1所述的系统，其特征在于，采集控制器根据对时时间设置采集控制器的本地时间，包括：

将对时时间直接设置为本地时间；或者，

判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

3.根据权利要求1所述的系统，其特征在于，采集控制器还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；

根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

4.根据权利要求1或3所述的系统，其特征在于，采集控制器根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：

基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，

确定本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

5.根据权利要求4所述的系统，其特征在于，采集控制器基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号，包括：

基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；

在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

6.根据权利要求1所述的系统，其特征在于，采集控制器还用于将图像传感器的同步模式设置为外部同步模式；

控制信号包括图像传感器的外部同步信号；

预定的采集周期包括图像传感器的帧同步时序。

7.一种采集控制器，其特征在于，该采集控制器位于一个视频采集卡中，该采集控制器包括控制单元和采集单元；

控制单元用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将采集单元接收到的图像数据发送给服务器；

采集单元用于接收图像传感器根据控制信号采集到的图像数据。

8.根据权利要求7所述的采集控制器，其特征在于，控制单元根据对时时间设置采集控制器的本地时间，包括：

将对时时间直接设置为本地时间；或者，

判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

9.根据权利要求7所述的采集控制器，其特征在于，控制单元还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；

根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

10.根据权利要求7或者9的采集控制器，其特征在于，采集单元还用于确定本地曝光控制时间；

控制单元根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：

基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，

获取采集单元确定的本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

11.根据权利要求10所述的采集控制器，其特征在于，控制单元基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号，包括：

控制单元基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；

在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

12.根据权利要求10所述的采集控制器，其特征在于，采集单元还用于将接收到的图像数据和确定的本地曝光控制时间存储在采集单元的共享内存中；

控制单元还用于从采集单元的共享内存中获取采集单元接收到的图像数据；

控制单元获取采集单元确定的本地曝光控制时间，包括：从采集单元的共享内存中获取本地曝光控制时间。

13.根据权利要求7所述的采集控制器，其特征在于，控制单元还用于将图像传感器的同步模式设置为外部同步模式；

控制信号包括图像传感器的外部同步信号；

预定的采集周期包括图像传感器的帧同步时序。

14.一种采集控制器，其特征在于，该采集控制器位于一个视频采集卡中，该采集控制器包括一个高级精简指令集机器ARM和一个现场可编程门阵列FPGA；

ARM用于接收来自服务器的对时指令，对时指令中包括对时时间；根据对时时间设置采集控制器的本地时间；根据本地时间和预定采集周期，向图像传感器发送控制信号；将FPGA接收到的图像数据发送给服务器；

FPGA用于接收图像传感器根据控制信号采集到的图像数据。

15.根据权利要求14所述的采集控制器，其特征在于，ARM根据对时时间设置采集控制器的本地时间，包括：

将对时时间直接设置为本地时间；或者，

判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

16.根据权利要求14所述的采集控制器，其特征在于，ARM还用于在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；

根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

17.根据权利要求14或者16所述的采集控制器，其特征在于，FPGA还用于确定本地曝光控制时间；

ARM根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：

基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，

获取FPGA确定的本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

18.根据权利要求17所述的采集控制器，其特征在于，ARM基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号，包括：

ARM基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；

在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

19.根据权利要求17所述的采集控制器，其特征在于，FPGA还用于将接收到的图像数据和确定的本地曝光控制时间存储在FPGA的共享内存中；

ARM还用于从FPGA的共享内存中获取FPGA接收到的图像数据；

ARM获取FPGA确定的本地曝光控制时间，包括：从FPGA的共享内存中获取本地曝光控制时间。

20.根据权利要求14所述的采集控制器，其特征在于，ARM还用于将图像传感器的同步模式设置为外部同步模式；

控制信号包括图像传感器的外部同步信号；

预定的采集周期包括图像传感器的帧同步时序。

21.一种多路视频采集的同步方法，其特征在于，该方法应用在一个多路视频采集系统中，该系统包括服务器和多个视频采集卡，每个视频采集卡包括一个采集控制器和一个模组，模组包括镜头和图像传感器；每个视频采集卡中的采集控制器执行如下处理：

接收来自服务器的对时指令，对时指令中包括对时时间；

根据对时时间设置采集控制器的本地时间；

根据本地时间和预定采集周期，向图像传感器发送控制信号；

接收图像传感器根据控制信号采集到的图像数据，将接收到的图像数据发送给服务器。

22.根据权利要求21所述的方法，其特征在于，采集控制器根据对时时间设置采集控制器的本地时间，包括：

将对时时间直接设置为本地时间；或者，

判断对时时间与接收到对时指令时的本地时间之间的差值是否在预定的时间差范围内，在判断在预定的时间差范围内的情况下，保持本地时间，在判断超过预定的时间差范围的情况下，将对时时间设置为本地时间。

23.根据权利要求21所述的方法，其特征在于，还包括：

采集控制器在设置采集控制器的本地时间后，在预定的控制时间向图像传感器发送第一次控制信号；

根据预定的控制时间对应的本地时间，和预定的采集周期向图像传感器发送后续的控制信号。

24.根据权利要求21或者23所述的方法，其特征在于，采集控制器根据本地时间和预定采集周期，向图像传感器发送控制信号，包括：

基于本地时间，以预定的采集周期向图像传感器发送控制信号；或者，

确定本地曝光控制时间；基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号。

25.根据权利要求24所述的方法，其特征在于，采集控制器基于本地时间，根据预定的采集周期和本地曝光控制时间，向图像传感器发送控制信号，包括：

基于本地时间，在一个采集周期内，根据预定的采集周期的时长和本地曝光控制时间的差值，确定向图像传感器发送控制信号的时间；

在确定的发送控制信号的时间到来时，向图像传感器发送控制信号。

26.根据权利要求21所述的方法，其特征在于，还包括：

采集控制器将图像传感器的同步模式设置为外部同步模式；

控制信号包括图像传感器的外部同步信号；

预定的采集周期包括图像传感器的帧同步时序。

Images