CN115379068A

CN115379068A - 一种多摄像头同步方法及装置

Info

Publication number: CN115379068A
Application number: CN202210828913.7A
Authority: CN
Inventors: 萨希吉·苏莱曼
Original assignee: Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Current assignee: Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority date: 2022-07-15
Filing date: 2022-07-15
Publication date: 2022-11-22

Abstract

本发明涉及一种多摄像头同步方法，包括：发射光源，在多个摄像头的视野范围内同时产生点亮区域；获取摄像头首次出现点亮区域的帧，计算从该帧到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头的传输延迟；利用传输延迟对摄像头的输出信号进行校准，使多个摄像头的输出信号在时间上同步。本发明可以在视频传输时保持多个摄像头的传输信号在时间上快速同步，有助于提高算法的性能。

Description

一种多摄像头同步方法及装置

技术领域

本发明涉及摄像装置技术领域，具体而言，涉及一种多摄像头同步方法及装置。

背景技术

随着图像技术的不断发展，在涉及视频图像分析或者视频监控的诸多领域中，都有需要利用摄像头采集图像并对摄像头采集到的图像进行处理。如，汽车中的高级驾驶辅助需要使用多个摄像头，以分析驾驶环境。

然而，多个摄像头在视频输出至信号处理单元时，容易因硬件或软件等原因出现延迟或空间错位，造成多个摄像头的输出信号在时间和空间上不同步，当自动驾驶等算法调用多个摄像头图像时，不同步的情况使得相同的图像内容出现在不同帧或者相同帧下，相同的内容出现在不同像素位置，因而需要额外的运算量来处理时间和空间不同步的问题，导致运算时间延长，降低了后续视频信号算法的性能。

发明内容

本发明的目的在于提供一种多摄像头同步方法及装置，可以在视频输出时保持多个摄像头的输出信号在时间上和空间上快速同步，有助于提高算法的性能。

第一方面，本申请提供一种多摄像头同步方法，包括：

发射光源，在多个摄像头的视野范围内同时产生点亮区域；

获取摄像头首次出现点亮区域的帧，计算从该帧到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头的传输延迟；

利用传输延迟对摄像头的输出信号进行校准，使多个摄像头的输出信号在时间上同步。

在一些实施例中，利用传输延迟对摄像头的输出信号进行校准，使多个摄像头的输出信号在时间上同步，具体包括：

选择传输延迟最大的摄像头，定义该摄像头为标准摄像头，其他摄像头为同步摄像头，将标准摄像头的传输延迟与同步摄像头的传输延迟比较得到延迟时间差；

通过时延的方式延长同步摄像头输出信号的传输时间，延长的时间与所述延迟时间差相等，使得同步摄像头的传输延迟等于标准摄像头的传输延迟。

在一些实施例中，在所述发射光源，同时在多个摄像头的视野范围内产生点亮区域前，还包括：

判断多个摄像头的视野范围是否存在重叠区域；

若存在重叠区域，将所述光源发射至重叠区域，以在重叠区域内产生点亮区域。

在一些实施例中，具有重叠区域的多个摄像头共用点亮区域，根据点亮区域在摄像头图像中的位置，确定各个摄像头图像的位置关系，以实现多个摄像头的空间同步。

在一些实施例中，所述光源以预设的频率发射或通过手动控制发射。

在一些实施例中，所述光源为平行光束。

第二方面，本申请提供一种摄像系统，包括：

至少两个摄像头；

光源发射单元，用于发射光源，在多个摄像头的视野范围内同时产生点亮区域；

信息处理单元，用于处理摄像头获取的图像信息；

计算单元，获取摄像头首次出现点亮区域的帧，计算从该帧图像到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头的传输延迟；以及

同步单元，用于利用传输延迟对摄像头的输出信号进行校准，使多个摄像头的输出信号在时间上同步，同时利用点亮区域的位置差异调节摄像头的输出信号在空间上的平移，使多个摄像头的输出信号在空间上同步。

第三方面，本申请提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上述的方法。

第四方面，本申请提供一种存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述的方法。

与现有技术相比，本发明的有益效果是：通过在多个摄像头的视野范围内同时产生点亮区域，使得多个摄像头能够以点亮区域出现时间为基准调节摄像头的输出，从而保证多个摄像头的输出在时间上同步，有效提高视频输出的一致性，进而提高视觉技术算法的性能。通过对点亮区域的位置进行识别，还能够使具有重叠区域的摄像头在空间上的同步，进一步提高摄像系统的同步性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的而上述以及其他目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1为本发明实施例的多摄像头同步方法的流程图。

图2为本发明实施例的摄像系统的结构框图。

图3为本发明另一施例的摄像系统的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1是本申请实施例示出的多摄像头100同步方法的流程图。

请参考图1，一较佳实施例中，本发明的多摄像头100同步方法主要包括：

S1、发射光源，在多个摄像头100的视野范围内同时产生点亮区域。

其中，本步骤中的光源通过光源发射单元200产生，光源发射单元200采用现有的发光装置，光源优选为平行光束。可以理解的，点亮区域是指光源发射单元200发出的光线照射在物体上产生的亮区，当采用窄光束时，点亮区域为光源照射产生的亮点，在一些可能的实施例中，点亮区域也可以是光束本身。

S2、获取摄像头100首次出现点亮区域的帧，计算从该帧到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头100的传输延迟。

需要说明的是，当算法调用摄像头100视频数据时，因硬件或软件的原因，每个摄像头100输出信号至算法的时间可能出现不同的延迟，导致输出的视频数据在传输时间戳上不同步。在本步骤中，摄像头100实时获取视野范围内的图像，当光源发出后，视野范围内产生点亮区域，算法调用摄像头100图像时，以获取到首次出现点亮区域的帧为传输时间，以光源发射装置发出光源的时间为发射时间，将传输时间减去发射时间，即可得出传输延迟。通过上述方式，计算出摄像系统中每个摄像头100的传输延迟。

S3、利用传输延迟对摄像头100的输出信号进行校准，使多个摄像头100的输出信号在时间上同步。

在一些实施例中，本步骤具体包括：选择传输延迟最大的摄像头100，定义该摄像头100为标准摄像头，其他摄像头100为同步摄像头，将标准摄像头的传输延迟与同步摄像头的传输延迟比较得到延迟时间差；通过时延的方式延长同步摄像头输出信号的传输时间，延长的时间与所述延迟时间差相等，使得同步摄像头的传输延迟等于标准摄像头的传输延迟。

具体的，在步骤S2计算得到每个摄像头的传输延迟后，选取传输延迟最大的摄像头，定义该摄像头为标准摄像头，其他摄像头为同步摄像头。将标准摄像头的传输延迟作为标准传输延迟，逐一将同步摄像头的传输延迟减去标准传输延迟得到每个同步摄像头的延迟时间差。当算法调用同步摄像头的图像数据时，在同步摄像头传输图像时通过时延的方式延长其输出信号的传输时间，延长的时间与延迟时间差相等，使得同步摄像头的传输时间与光源发射的时间差等于传输延迟最大的时间，即同步摄像头的传输延迟与标准摄像头的传输延迟相等，以此实现多个摄像头的时间同步。

在一些实施例中，在步骤S1前，还包括步骤：判断多个摄像头100的视野范围是否存在重叠区域；若存在重叠区域，将所述光源发射至重叠区域。

需要说明的是，视野范围即摄像头100的视场角（FOV），在一些实施例中，多个摄像头100的视野范围不具有重叠区域，对此可设置多个光源发射单元200，每个光源发射单元200与摄像头100一一对应设置，运行时，多个光源发射单元200同时发射光源，以保证多个摄像头100能够同时捕获光源。在另一些实施例中，摄像头100的视野范围重叠形成重叠区域，对具有重叠区域的至少两个摄像头100，可设置单独的光源发射装置，上述至少两个摄像头100共用该光源发射装置，当该光源发射装置发出光源后，上述至少两个摄像头100可同时捕获光源。

进一步的，还包括：具有重叠区域的多个摄像头100共用点亮区域，根据点亮区域在摄像头100图像中的位置，确定各个摄像头100图像的位置关系，以实现多个摄像头100的空间同步。

需要说明的是，立体相机是一种通过多个摄像头100配合组成的立体影像系统，该系统需要多台摄像机都能捕捉到场景中的一个标准点，通过该标准点构建立体场景图像。当光源在摄像头100的视野范围产生点亮区域，该点亮区域可作为标准点，通过算法获取带有标准点的帧，即可快速地实现空间同步，从而有助于构建更好的立体场景图像。

在一些实施例中，所述光源以预设的频率发射。

具体的，可通过快速打开和关闭光源发射单元200，使得光源呈周期性发射，算法在调用摄像头100影响时，可持续地通过点亮区域的出现时间调节各个摄像头100的传输时间，从而使摄像头100持续保持时间同步。

请参考图2和图3，本申请提供一种摄像系统，包括：至少两个摄像头100；光源发射单元200，用于发射光源，在多个摄像头100的视野范围内同时产生点亮区域；信息处理单元，用于处理摄像头获取的图像信息；计算单元300，用于获取摄像头100首次出现点亮区域的帧，计算从该帧图像到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头100的传输延迟；以及同步单元400，用于利用传输延迟对摄像头100的输出信号进行校准，使多个摄像头100的输出信号在时间上同步，同时利用点亮区域的位置差异调节摄像头100的输出信号在空间上的平移，使多个摄像头100的输出信号在空间上同步。

其中，发信号发射单元的数量可根据摄像头100的视野范围决定。具体的，当多个摄像头100的视野范围不具有重叠区域，对此可设置多个光源发射单元200，每个光源发射单元200与摄像头100一一对应设置。当摄像头100的视野范围重叠形成重叠区域，对具有重叠区域的至少两个摄像头100，可设置单独的光源发射装置，上述至少两个摄像头100共用该光源发射装置。

本申请提供一种终端设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上述的方法。

本申请提供一种存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述的方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多摄像头同步方法，其特征在于，包括：

发射光源，在多个摄像头的视野范围内同时产生点亮区域；

2.根据权利要求1所述的多摄像头同步方法，其特征在于，利用传输延迟对摄像头的输出信号进行校准，使多个摄像头的输出信号在时间上同步，具体包括：

3.根据权利要求1所述的多摄像头同步方法，其特征在于，在所述发射光源，同时在多个摄像头的视野范围内产生点亮区域前，还包括：

判断多个摄像头的视野范围是否存在重叠区域；

4.根据权利要求3所述的多摄像头同步方法，其特征在于，具有重叠区域的多个摄像头共用点亮区域，根据点亮区域在摄像头图像中的位置，确定各个摄像头图像的位置关系，以实现多个摄像头的空间同步。

5.根据权利要求1所述的多摄像头同步方法，其特征在于，所述光源以预设的频率发射或通过手动控制发射。

6.根据权利要求1所述的多摄像头同步方法，其特征在于，所述光源为平行光束。

7.一种摄像系统，其特征在于，包括：

至少两个摄像头；

信息处理单元，用于处理摄像头获取的图像信息；

计算单元，获取摄像头首次出现点亮区域的帧，计算从该帧到信息处理单元的传输时间，将该帧的传输时间与光源的发射时间比较，得出摄像头的传输延迟；以及

8.一种终端设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的方法。

9.一种存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的方法。