CN115866154A - 车载多摄像头系统的时延测量方法、装置、系统及汽车 - Google Patents

Abstract

本申请提供了一种车载多摄像头系统的时延测量方法、装置、系统及汽车，方法包括：当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；其中，每一个摄像头与图像处理装置具有对应的物理传输通道，探测装置连接至每一个物理传输通道；当确定任一摄像头对应的图像帧同步信息传输至探测装置，将计数器的当前计数值进行记录，得到图像帧同步信息对应的周期计数值；当图像帧同步信息传输至探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，所述中央处理器读取所述周期计数值，基于周期计数值对至少两个摄像头进行图像同步处理，通过上述处理，能够使图像处理得到更快速、更同步的响应。

Description

车载多摄像头系统的时延测量方法、装置、系统及汽车

技术领域

本申请涉及图像处理技术领域，尤其涉及一种车载多摄像头系统的时延测量方法、装置、系统及汽车。

背景技术

自动驾驶系统包含高级辅助驾驶功能及特定场景下的自动驾驶解决方案。而自动驾驶解决方案要求较多的摄像头设备接入到的中央计算单元中。摄像头设备作为感知系统的核心组件，在以图像算法为核心的自动驾驶系统中扮演举足轻重的作用。

在实际应用中，在多个摄像头之间，由于不同型号、不同类型的硬件等通常存在启动时间、采样时延、图像数据的转换时延、接口匹配和传输路径时延等干扰因素的影响，图像处理装置接收到的图像往往需要经过时间同步才可以在计算单元中和别的传感设备的数据进行融合。尤其对于一些图像时间敏感的算法，例如图像感知的融合算法，多个摄像头的时延问题会直接影响不同传感器之间图像输出显示的延迟和质量。

针对该问题的处理，在硬件同步方案中，需要芯片和外部硬件的配合，往往需要占用更多的硬件资源，即使硬件上能实现严格同步，也不能免去软同步的过程，造成开发资源上的浪费；而软件同步方案，由于多摄像头系统在校订过程中时间延迟难以计算和测量，也会拉长开发的周期。

发明内容

本申请实施例提供了一种车载多摄像头系统的时延测量方法、装置、系统及汽车，以至少解决现有技术中存在的以上技术问题。

根据本申请实施例的第一方面，提供了一种车载多摄像头系统的时延测量方法，所述方法包括：当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；其中，每一个摄像头与图像处理装置具有对应的物理传输通道，所述探测装置连接至每一个物理传输通道；当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，所述中央处理器读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

在一可实施方式中，所述探测装置包括与每一个物理传输通道对应的检测单元，对应的，所述确定任一摄像头对应的图像帧同步信息传输至所述探测装置，包括：通过所述检测单元对来自摄像头的所述图像帧同步信息进行检测，确定所述图像帧同步信息是否传输至所述检测单元。

在一可实施方式中，在同一帧图像帧同步信息中，包括如下信息至少之一：像素时钟信号、垂直同步信号、水平同步信号、输入有效数据、像素数据；对应的，与所述同一帧图像帧同步信息对应的周期计数值包括如下计数值至少之一：对应所述像素时钟信号的第一计数值、对应所述垂直同步信号的第二计数值、对应的所述水平同步信号的第三计数值、对应所述输入有效数据的第四计数值、对应所述像素数据的第五计数值。

在一可实施方式中，所述探测装置还包括与所述检测单元对应的计数器，对应的，所述通过探测装置控制计数器对指定时钟的时钟周期进行计数，包括：基于影像采集指令将所述至少两个摄像头对应的计数器确定为目标计数器；通过所述探测装置控制所述目标计数器同时使能，并使所述目标计数器对同一指定时钟的时钟周期进行计数；所述当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值，包括：当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值存储至对应的寄存器，得到所述周期计数值。

在一可实施方式中，所述中断上报中央处理器之后，所述方法还包括：基于所述指定时钟的周期时长，对所述周期计数值进行硬件计算，得到绝对时间信息和相对时间信息；其中，所述绝对时间信息用于表征每一帧图像帧同步信息传输至所述探测装置的时长数据，所述相对时间信息用于表征前后两帧图像帧同步信息传输至所述探测装置的时差数据。

在一可实施方式中，将所述周期计数值中断上报中央处理器，基于所述周期计数值对所述至少两个摄像头进行图像同步处理，包括：将所述周期计数值中断上报中央处理器，使第一目标软件获取同步通知；通过第二目标软件基于所述周期计数值对所述至少两个摄像头进行图像同步处理，并使所述计数器停止计数；其中，所述第一目标软件和所述第二目标软件为相同或不同软件。

在一可实施方式中，所述方法还包括：基于所述周期计数值确定所述中央处理器的图像处理数据。

根据本申请实施例的第二方面，提供了一种车载多摄像头系统的时延测量装置，所述装置应用于探测装置，所述探测装置用于连接至每一个物理传输通道，所述物理传输通道设置在每一个摄像头与图像处理装置之间，所述探测装置包括：计数模块，用于当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；记录模块，用于当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；上报模块，用于当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，供所述中央处理器读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

在一可实施方式中，所述探测装置包括与每一个物理传输通道对应的检测单元，对应的，所述记录模块，还用于通过所述检测单元对来自摄像头的所述图像帧同步信息进行检测，确定所述图像帧同步信息是否传输至所述检测单元。

在一可实施方式中，所述探测装置还包括与所述检测单元对应的计数器，对应的，所述计数模块，包括：确定子模块，用于基于影像采集指令将所述至少两个摄像头对应的计数器确定为目标计数器；使能子模块，用于通过所述探测装置控制所述目标计数器同时使能，并使所述目标计数器对同一指定时钟的时钟周期进行计数。

在一可实施方式中，所述记录模块，包括：存储子模块，用于将所述计数器的当前计数值存储至对应的寄存器，得到所述周期计数值；计算子模块，用于基于所述指定时钟的周期时长，对所述周期计数值进行硬件计算，得到绝对时间信息和相对时间信息；其中，所述绝对时间信息用于表征每一帧图像帧同步信息传输至所述探测装置的时长数据，所述相对时间信息用于表征前后两帧图像帧同步信息传输至所述探测装置的时差数据。

在一可实施方式中，所述上报模块，还用于将所述周期计数值中断上报中央处理器，使第一目标软件获取同步通知；通过第二目标软件基于所述周期计数值对所述至少两个摄像头进行图像同步处理，并使所述计数器停止计数；其中，所述第一目标软件和所述第二目标软件为相同或不同软件。

根据本申请实施例的第三方面，提供了一种车载多摄像头系统的时延测量系统，所述系统包括：车载多摄像头系统、探测装置、图像处理装置和中央处理器；每一个摄像头与图像处理装置具有对应的物理传输通道，所述探测装置连接至每一个物理传输通道；所述车载多摄像头系统，用于获取影像采集指令，基于所述影像采集指令进行影像采集；所述探测装置，用于当至少两个摄像头获取影像采集指令的情况下，控制计数器对指定时钟的时钟周期进行计数；当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器；所述中央处理器，用于读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

根据本申请的第四方面，提供了一种汽车，所述汽车包括车载多摄像头系统；所述汽车通过本申请所述的方法对车载多摄像头系统进行时延测量。

根据本申请的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。

根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请所述的方法。

本申请实施例提供的一种车载多摄像头系统的时延测量方法、装置、系统及汽车，利用探测装置检测至少两个摄像头对应的物理传输通道进行检测，并通过计数器记录物理传输通道中的图像帧同步信息对应的周期计数值，使中央处理器可以利用周期计数值实现摄像头采集图像的同步，进而能够使图像处理得到更快速、更同步的响应。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本申请实施例一种车载多摄像头系统的时延测量方法的实现流程示意图；

图2示出了一种车载多摄像头系统的时延测量系统的实施流程示意图；

图3示出了本申请实施例一种车载多摄像头系统的时延测量装置的实现模块示意图；

图4示出了本申请实施例一种车载多摄像头系统的时延测量系统的实现装置示意图；

图5示出了本申请实施例一种电子设备的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请实施例一种车载多摄像头系统的时延测量方法的实现流程示意图。

参见图1，根据本申请实施例的第一方面，提供了一种车载多摄像头系统的时延测量方法，方法包括：操作101，当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；其中，每一个摄像头与图像处理装置具有对应的物理传输通道，探测装置连接至每一个物理传输通道；操作102，当确定任一摄像头对应的图像帧同步信息传输至探测装置，将计数器的当前计数值进行记录，得到图像帧同步信息对应的周期计数值；操作103，当图像帧同步信息传输至探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，中央处理器读取所述周期计数值，基于周期计数值对至少两个摄像头进行图像同步处理。

本申请实施例提供的一种车载多摄像头系统的时延测量方法，当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数，并记录来自任一车载摄像头的图像帧同步信息对应指定时钟的周期计数值，从而以指定时钟的时钟周期为依据，在基于探测装置中断上报时，中央处理器读取周期计数值，并基于周期计数值对车载摄像头之间的采集图像进行同步处理。

本申请实施例提供的方法适用于车载多摄像头系统，车载多摄像头系统可以设置于汽车上，以用于实现智能驾驶方案及辅助驾驶方案的至少一种。在车载多摄像头系统中，包含至少两个车载摄像头，同一车载多摄像头系统中的车载摄像头的型号、厂家、芯片等可以不一致，进而当车载摄像头在进行影像采集时，对应的图像传感器芯片（ComplementaryMetal Oxide Semiconductor，CMOS）启动时间、CMOS采样时延、图像数据的转换时延、接口匹配时延、传输路径时延等会出现不一致的情况。基于此，车载多摄像头系统的不同的摄像头将采集图像传输至图像处理装置的时间通常是不一致。

在本方法操作101中，当中央处理器获取用户指令时，若用户指令为与影像采集相关的指令，中央处理器可以生成对应的影像采集指令，以指示车载多摄像头系统进行图像和视频的采集。与影像采集相关的指令包括但不限于：倒车指令、停车指令、启动指令、辅助驾驶指令、自动驾驶指令等。

在本方法中，针对不同的用户指令，中央处理器可以确定不同数量和不同位置的摄像头进行影像采集。例如，当中央处理器获取来自用户的自动行驶指令时，中央处理器可以指示车载多摄像头系统的所有摄像头进行图像或视频采集；当中央处理器获取来自用户的倒车指令时，中央处理器可以指示车载多摄像头系统中位于车体后方和车体侧边的摄像头进行图像和视频的采集。

在中央处理器指示至少两个摄像头进行影像采集时，中央处理器可以通过软件使能探测装置，使探测装置计数器对指定时钟的时钟周期进行计数。每一个摄像头与图像处理装置之间均设置有物理传输通道，摄像头通过物理传输通道将采集图像对应的图像数据和图像帧同步信息传输至图像处理装置。本申请实施例将探测装置连接至每一个物理传输通道，以使探测装置能够准确检测到通过物理传输通道的图像帧同步信息。且通过计数器对指定时钟的时钟周期进行计数，能够保证不同物理传输通道的图像帧同步信息对应的周期计数值均能以指定时钟为基准，有助于在后续操作中对采集图像的同步处理。

其中，计数器为具有自运转的计数器，指定时钟可以选择为中央处理器或图像处理装置中的系统时钟，系统时钟选为时钟的启动时间早于摄像头启动时间、不易被修改，且比较稳定的时钟。指定时钟可以选为中央处理器或图像处理装置中的基准时钟，通过自运转的计数器对系统时钟的周期数进行计数。

在本方法操作102中，探测装置为硬件，利用探测装置探测通过物理传输通道的图像帧同步信息，实现了在图像采集过程中，通过硬件探测，对关键参数进行汲取的目的。在摄像头获取影像采集指令之后，摄像头启动并开始进行影像采集，对应的，探测装置使能对物理传输通道的图像帧同步信息进行探测并启动计数器对指定时钟的时钟周期进行计数。本方法的探测装置可以对每一条物理传输通道的图像帧同步信息进行探测；也可以基于影像采集指令，对获取影像采集指令的摄像头对应的物理传输通道进行探测。当图像帧同步信息传输经过探测装置时，探测装置就可以探测到并通过计数器对当前计数值进行记录，将记录的计数值与图像帧同步信息和物理传输通道进行对应，可以得到与图像帧同步信息对应的周期计数值。

为方便理解，以下进行举例一种实施场景，该实施场景中，摄像头1和摄像头2基于影像采集指令进行影像采集，并将采集的采集图像通过物理传输通道传输至图像处理装置，探测装置与摄像头1的物理传输通道连接，并与摄像头2的物理传输通道连接。当摄像头1的第一帧图像帧同步信息经过探测装置在物理传输通道上的连接位置，探测装置探测到图像帧同步信息并通过计数器记录与摄像头1的第一帧图像帧同步信息对应的周期计数值，当摄像头1的第二帧图像帧同步信息经过探测装置在物理传输通道上的连接位置，探测装置探测到图像帧同步信息并通过计数器记录与摄像头1的第二帧图像帧同步信息对应的周期计数值。需要理解的是，同一帧图像帧同步信息包含多种类型的信息，且同一帧图像帧同步信息中的多种类型的信息的传输时间也会存在差异，基于此，探测装置可以通过计数器记录与每一种类型对应的周期计数值。以此类推，探测装置还可以记录与摄像头1对应的第三帧图像帧同步信息等，以下不做赘述。对应的，探测装置可以通过与摄像头2对应的物理传输通道的连接位置探测到摄像头2传输的第一帧图像帧同步信息、第二帧图像帧同步信息、第三帧图像帧同步信息等，并记录对应的周期计数值。

在本方法操作103中，目标帧数可以设置为一帧或大于一帧，具体可以根据后续操作的目的及需求进行确定。例如：当需要确定摄像头启动时间的情况下，目标帧数可以为一帧；当需要确定检测摄像头帧与帧之间的传输时间间隔的情况下，目标帧数可以为2帧或2帧以上；当需要确定摄像头帧与帧之间的平均传输时间间隔的情况下，目标帧数可以为3帧或3帧以上。

在本申请实施例中，目标帧数设置为三帧，当探测装置探测到第三帧图像帧同步信息的情况下，将前两帧的周期计数值中断上报中央处理器，使中央处理器基于前两帧的周期计数值执行对应的图像同步操作。在本方法中，中央处理器可以通过前两帧的周期计数值对摄像头进行同步处理，以实现图像同步，也可以直接对图像进行同步处理。

本申请实施例提供的时延测量方法可以在摄像头启动时进行测量，也可以在后续摄像头采集图像的过程中，周期性或实时测量以进行周期性或实时的图像同步。

应用本方法，能够在摄像头匹配校准阶段，针对不同厂家、不同品类的摄像头的图像，进行批量的时间同步校准，适用于多摄像头的复杂系统。后续还可以配合对应的应用软件，在传感器融合场景下，进行多摄像头系统的实时校正，从而有利于后续的图像处理，还可以指导硬件驱动程序，通过甄别目标帧数的周期计数值，改进摄像头的初始化流程及启动设置。通过上述后续处理，能够使图像处理得到更快速、更同步的响应，达到系统性能方案的优化。

在一可实施方式中，在同一帧图像帧同步信息中，包括如下信息至少之一：像素时钟信号（pixclk）、垂直同步信号（vsync）、水平同步信号（hsync）、输入有效数据（data_en）、像素数据（pixdata）；通过探测装置对上述关键帧信息进行鉴别提取、并记录对应的周期计数值，以通过周期计数值复现每一个物理传输通道中的图像同步信息中每一种关键帧信息。

对应的，与同一帧图像帧同步信息对应的周期计数值包括如下计数值至少之一：对应像素时钟信号的第一计数值、对应垂直同步信号的第二计数值、对应的水平同步信号的第三计数值、对应输入有效数据的第四计数值、对应像素数据的第五计数值。

在同一帧图像帧同步信息中，上述关键帧信息的计数值通常是不同的，因此需要对图像帧同步信息中的每一种关键帧信息都进行周期计数值的记录，同一帧图像帧同步信息会记录多个周期计数值，同一帧图像帧同步信息中的每一种关键帧信息都对应有不同的周期计数值。

在一可实施方式中，探测装置包括与每一个物理传输通道对应的检测单元，对应的，操作102，确定任一摄像头对应的图像帧同步信息传输至探测装置，包括：通过检测单元对来自摄像头的图像帧同步信息进行检测，确定图像帧同步信息是否传输至检测单元。

探测装置包括探测开关和多个探测单元，探测开关用于控制多个探测单元，探测单元的数量可以与车载多摄像头系统的摄像头数量保持一致，以保证每一个传输通道上均设置有一个探测单元。通过确定图像帧同步信息是否传输经过探测单元，可以准确地探测对应的物理传输通道的图像帧同步信息传输情况。

在一可实施方式中，探测装置还包括与检测单元对应的计数器，对应的，操作101，通过探测装置控制计数器对指定时钟的时钟周期进行计数，包括：首先，基于影像采集指令将至少两个摄像头对应的计数器确定为目标计数器；然后，通过探测装置控制目标计数器同时使能，并使目标计数器对同一指定时钟的时钟周期进行计数。

基于探测装置包括多个探测单元，为了对每一个物理传输通道的周期计数值进行区分，保证周期计数值的准确性，本申请实施例每一个探测单元均配置一个计数器，使每一个物理传输通道均配置有探测单元和对应的计数器。且为了保证不同物理传输通道的计数器的同步性，探测装置可以在同一时刻使能每一个计数器，且使计数器对同一指定时钟的时钟周期进行计数，从而尽可能地减小因为软件配置的时间差导致计数器使能时刻不同步的问题，进而避免周期计数值出现由于软件配置导致的时延干扰问题，保证了硬件在接收端的时间一致性，使中央处理器可以通过目标软件准确地基于周期计数值读取与图像帧同步信息对应的时间戳信息，获取准确的时间误差，保证不同物理传输通道传输的采集图像在后续计算处理中都是统一时刻严格对齐的。其中，时间戳信息是以计数器启动时刻作为绝对零时间进行显示的，即本方法可以将探测开关启动计数器的启动时刻作为绝对零时间，从而确定以此为基准的计数器的时间戳信息。

在一种实施场景下，当至少两个摄像头获取影像采集指令的情况下，使能探测装置启动所有探测单元对应的计数器，对所有物理传输通道进行检测，获取对应的周期计数值。

在另一种实施场景下，使能探测装置时，可以基于影像采集指令，将需要进行图像采集的摄像头确定为对应的目标摄像头，使探测装置基于目标摄像头确定目标传输通道，启动对应的目标计数器，并使目标计数器对同一指定时钟的时钟周期进行计数。从而保证不同物理传输通道的采集图像可以在后续计算处理中能够统一时刻严格对齐。

在一可实施方式中，操作102，将计数器的当前计数值进行记录，得到图像帧同步信息对应的周期计数值，包括：首先，将计数器的当前计数值存储至对应的寄存器，得到周期计数值。

在本方法中，计数器还配置有对应的寄存器，每一个物理传输通道对应的计数器在启动后一直对指定时钟的周期数进行计数；等到第一帧图像帧同步信息传输至探测单元，计数器将当前计数值存储到对应的寄存器组1，并继续计数；直到等到第二帧图像帧同步信息传输至探测单元，计数器将当前计数值存储到对应的寄存器组2，以此类推，以下不做赘述。

在一可实施方式中，操作103，中央处理器读取周期计数值之后，还包括：基于指定时钟的周期时长，对周期计数值进行硬件计算，得到绝对时间信息和相对时间信息；其中，绝对时间信息用于表征每一帧图像帧同步信息传输至探测装置的时长数据，相对时间信息用于表征前后两帧图像帧同步信息传输至探测装置的时差数据。

在本申请实施例中，中央处理器设置有与指定时钟对应的周期时长，可以通过硬件计算，将周期计数值乘以周期时长，得到处理后的周期计数值。处理后的周期计数值包括但不限于图像帧同步信息的绝对时间信息和相对时间信息。其中，绝对时间信息用于表征从计数器开始计时到第一帧图像帧同步信息传输至探测单元的时间，由于计数器使能与摄像头获取影像采集指令同步，绝对时间信息还可以用于表征从摄像头启动至其中一帧摄像头采集图像帧同步信息传输至探测装置的时长数据。例如：绝对时间信息可以为：第一帧图像帧同步信息对应的第一帧绝对时间、第二帧图像帧同步信息对应的第二帧绝对时间、第三帧图像帧同步信息对应的第三帧绝对时间等。如果将每一帧图像帧同步信息对应的绝对时间表征为对应的时间戳，可以通过前后两帧的时间戳相减，得到单帧图像的相对时间信息，相对时间信息用于表征前后两帧图像帧同步信息的时间间隔，如第二帧绝对时间减去第一帧绝对时间，可以得到第一帧和第二帧图像帧同步信息的时差数据。

需要理解的是，基于图像帧同步信息存在多种类型的关键帧信息，中央处理器可以通过硬件计算确定每一种关键帧信息对应的绝对时间信息和相对时间信息。例如：第二帧像素时钟信号减去第一帧像素时钟信号得到针对像素时钟信号的相对时间信息，第二帧垂直同步信号减去第一帧垂直同步信号得到针对垂直同步信号的相对时间信息……以下不做赘述。通过硬件计算，中央处理器还可以获得其他时间相关数据。如此操作，这些有效的信息都通过硬件计算实现，可以中央处理器可以从寄存器中读到周期计数值，经过硬件计算使每个物理传输通道上的图像的时间戳信息都得以复现。

在一可实施方式中，操作103，将周期计数值中断上报中央处理器，基于周期计数值对至少两个摄像头进行图像同步处理，包括：首先，将周期计数值中断上报中央处理器，使第一目标软件获取同步通知；然后，通过第二目标软件基于周期计数值对至少两个摄像头进行图像同步处理，并使计数器停止计数。

当寄存器通过硬件计算得到处理后的周期计数值的情况下，寄存器将处理后的周期计数值中断上报中央处理器。具体的，当探测单元检测到有目标帧数传输至检测单元的情况下，可以将寄存器存储的绝对时间信息和相对时间信息等其他时间相关数据中断上报中央处理器，中央处理器的软件根据绝对时间信息和相对时间信息等其他时间相关数据对至少两个摄像头进行图像同步处理。例如：探测装置中断上报到中央处理器的指定软件，指定软件用于计算相对时间信息和绝对时间信息，并利用相对时间信息和绝对时间信息在驱动软件中，作为校准参数去校准摄像头的启动时间。如此操作，可以通过硬件准确获取车载多摄像头系统的图像帧同步信息的每一帧时间戳信息，无需软件估算，直接基于处理后的周期计数值通过软件进行时间同步校准，使车载多摄像头系统的图像处理过程得到更快速、更同步的响应，达到系统性能方案的优化。

进一步的，在探测装置中断上报处理后的周期计数值时，为防止计数器后续的计时导致的功耗问题，可以通过中断响应以及时通知对应的目标软件，使第二目标软件获取周期计数值进行同步处理，并使第一目标软件关闭计数器的计数功能，或直接关闭探测装置，以节省功耗。

在一可实施方式中，方法还包括：基于周期计数值确定中央处理器的图像处理数据。利用中央处理器的计算能力，本申请实施例还可以根据周期计数值、绝对时间信息、相对时间信息等进行进一步处理测算，获得多种测算结果。如，可以获得两两图像帧之间的空闲时间、中央处理器存取图像的时间、内存读写的带宽、中央处理器的处理频率等，还可以测算车载多摄像头系统是否可以和外界的图像传输频率匹配等，基于上述测算结果，本申请实施例可以对车载多摄像头系统、中央处理器、图像处理装置等其他硬件或软件进行参数调整，以进一步使图像处理得到更快速、更同步的响应，实现系统性能方案的优化。

图2示出了一种车载多摄像头系统的时延测量系统的实施流程示意图。

参见图2，为方便上述实施方式的进一步理解，以下提供一种车载多摄像头系统的时延测量系统，该系统包括多个摄像头，探测装置、中央处理器（CPU）和图像处理芯片（ISPCHIP）。

其中，多个摄像头对应的图像传感器芯片（CMOS）分别为Mipi csi D-phy接口和Csi para接口的其中一种，具体的，分别有n个Mipi csi D-phy接口和m个Csi para接口用于图像传输，其中，n为≥1的正整数，m为≥1的正整数。每一个接口均通过对应接口的物理传输通道连接至图像处理芯片，在每一个物理传输通道上均连接有一套包含探测单元和计数器的计数机制。以对每个物理传输通道上的图像的时间戳信息进行复现。探测开关、多个探测单元和计数器形成探测装置，探测装置与中央处理器连接。

当需要指示多个摄像头进行图像采集时，通过配置软件使能探测开关，探测开关使能，启动多个自转式的计数器，并使计数器参考指定的外部输入时钟来对该时钟进行周期计数。本方法探测开关使能启动多个自传式的计数器的时间点作为计数器的零值点，以此为零坐标，进行计数器的计数。

在计数器数开始计数后，当探测单元探测到对应的物理传输通道中第一帧关键帧同步信息到达探测单元时，将计数器的当前计数值给到内部对应的寄存器组1中，其中，关键帧同步信息为：pixclk、vsync、hsync、data_en、pixdata等。对应寄存器组1记录的计数值为：对应pixclk的第一计数值、对应vsync的第二计数值、对应hsync的第三计数值、对应data_en的第四计数值、对应pixdata的第五计数值。

计数器继续计时，当探测单元探测到对应的物理传输通道中第二帧关键帧同步信息到达探测单元时，将计数器的当前计数值给到内部对应的寄存器组2中，关键帧同步信息与第一帧相同，不做赘述。

寄存器通过记录的与第一帧对应的计数值和与第二帧对应的计数值，在达到目标帧数时，中断上报中央处理器。

中央处理器可以通过硬件计算，乘以与指定的输入时钟对应的周期时长，得到从计数器开始计数到图像帧同步信息到来的绝对时间信息，如果把绝对时间信息设定为图像的时间戳，通过前后两帧绝对时间信息相减，可以得到单帧图像的相对时长信息。进一步的，单帧的相对时长信息可以包括但不限于：垂直后延（Vertical Back Porch，Vbp）的相对时间、垂直前沿（VerticalFront Porch，Vfp）的相对时间、垂直激活（Vactive）的相对时间、水平前廊（Horizontal Front Porch，Hfp）的相对时间、水平后廊（Horizontal BackPorch，Hbp）的相对时间、垂直激活（Hactive）的相对时间等。

通过上述针对单个物理传输通道的计数规则，每个物理传输通道上的图像的时间戳信息都得以复现，为防止计数器无效计数导致芯片功耗增加，计数器的计数功能需要通过使能探测装置进行激活才会开启，且在探测单元探测到前两帧的信息并记录对应的周期计数值之后，可以在第三帧出现的时候提供中断响应以及时通知到中央处理器的目标软件，目标软件可以及时在通知的同时关闭计数器的计数功能或直接关闭探测装置以节省芯片功耗。

对于测算得到的单帧的相对时长信息，还可以根据这些测算的数据真相信息，得出两两图像帧之间的空闲时间。用来估算CPU存取图像的时间，内存读写的带宽，CPU处理的频率等，以进一步优化系统。

图3示出了本申请实施例一种车载多摄像头系统的时延测量装置的实现模块示意图。

参见图3，根据本申请实施例的第二方面，提供了一种车载多摄像头系统的时延测量装置，装置应用于探测装置，探测装置用于连接至每一个物理传输通道，物理传输通道设置在每一个摄像头与图像处理装置之间，探测装置包括：计数模块301，用于当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；记录模块302，用于当确定任一摄像头对应的图像帧同步信息传输至探测装置，将计数器的当前计数值进行记录，得到图像帧同步信息对应的周期计数值；上报模块303，用于当图像帧同步信息传输至探测装置的帧数符合目标帧数的情况下，上报至中央处理器，供中央处理器基于周期计数值对至少两个摄像头进行图像同步处理。

在一可实施方式中，探测装置包括与每一个物理传输通道对应的检测单元，对应的，记录模块302，还用于通过检测单元对来自摄像头的图像帧同步信息进行检测，确定图像帧同步信息是否传输至检测单元。

在一可实施方式中，探测装置还包括与检测单元对应的计数器，对应的，计数模块301，包括：确定子模块3011，用于基于影像采集指令将至少两个摄像头对应的计数器确定为目标计数器；使能子模块3012，用于通过探测装置控制目标计数器同时使能，并使目标计数器对同一指定时钟的时钟周期进行计数。

在一可实施方式中，记录模块302，包括：存储子模块3021，用于将计数器的当前计数值存储至对应的寄存器，得到周期计数值；计算子模块3022，用于基于指定时钟的周期时长，对周期计数值进行硬件计算，得到绝对时间信息和相对时间信息；其中，绝对时间信息用于表征每一帧图像帧同步信息传输至探测装置的时长数据，相对时间信息用于表征前后两帧图像帧同步信息传输至探测装置的时差数据。

在一可实施方式中，上报模块303，还用于将周期计数值中断上报中央处理器，使目标软件获取同步通知；通过目标软件基于周期计数值对至少两个摄像头进行图像同步处理，并使计数器停止计数。

图4示出了本申请实施例一种车载多摄像头系统的时延测量系统的实现装置示意图。

参见图4，根据本申请实施例的第三方面，提供了一种车载多摄像头系统的时延测量系统，系统包括：车载多摄像头系统401、探测装置402、图像处理装置403和中央处理器404；每一个摄像头与图像处理装置403具有对应的物理传输通道，探测装置402连接至每一个物理传输通道；车载多摄像头系统401，用于获取影像采集指令，基于影像采集指令进行影像采集；探测装置402，用于当至少两个摄像头获取影像采集指令的情况下，控制计数器对指定时钟的时钟周期进行计数；当确定任一摄像头对应的图像帧同步信息传输至探测装置，将计数器的当前计数值进行记录，得到图像帧同步信息对应的周期计数值；当图像帧同步信息传输至探测装置的帧数符合目标帧数的情况下，将周期计数值中断上报中央处理器；中央处理器403，用于基于周期计数值对至少两个摄像头进行图像同步处理。

根据本申请的第四方面，提供了一种汽车，汽车包括车载多摄像头系统；汽车通过本申请的方法对车载多摄像头系统进行时延测量。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器（ROM）502中的计算机程序或者从存储单元508加载到随机访问存储器（RAM）503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如一种车载多摄像头系统的时延测量方法。例如，在一些实施例中，一种车载多摄像头系统的时延测量方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的一种车载多摄像头系统的时延测量方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行一种车载多摄像头系统的时延测量方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车载多摄像头系统的时延测量方法，其特征在于，所述方法包括：

当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；其中，每一个摄像头与图像处理装置具有对应的物理传输通道，所述探测装置连接至每一个物理传输通道；

当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；

当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，所述中央处理器读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

2.根据权利要求1所述的方法，其特征在于，所述探测装置包括与每一个物理传输通道对应的检测单元，

对应的，所述确定任一摄像头对应的图像帧同步信息传输至所述探测装置，包括：

通过所述检测单元对来自摄像头的所述图像帧同步信息进行检测，确定所述图像帧同步信息是否传输至所述检测单元。

3.根据权利要求1所述的方法，其特征在于，在同一帧图像帧同步信息中，包括如下信息至少之一：像素时钟信号、垂直同步信号、水平同步信号、输入有效数据、像素数据；

对应的，与所述同一帧图像帧同步信息对应的周期计数值包括如下计数值至少之一：对应所述像素时钟信号的第一计数值、对应所述垂直同步信号的第二计数值、对应的所述水平同步信号的第三计数值、对应所述输入有效数据的第四计数值、对应所述像素数据的第五计数值。

4.根据权利要求2所述的方法，其特征在于，所述探测装置还包括与所述检测单元对应的计数器，

对应的，所述通过探测装置控制计数器对指定时钟的时钟周期进行计数，包括：

基于影像采集指令将所述至少两个摄像头对应的计数器确定为目标计数器；

通过所述探测装置控制所述目标计数器同时使能，并使所述目标计数器对同一指定时钟的时钟周期进行计数；

所述当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值，包括：

当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值存储至对应的寄存器，得到所述周期计数值。

5.根据权利要求1所述的方法，其特征在于，所述中断上报中央处理器之后，所述方法还包括：

基于所述指定时钟的周期时长，对所述周期计数值进行硬件计算，得到绝对时间信息和相对时间信息；

其中，所述绝对时间信息用于表征每一帧图像帧同步信息传输至所述探测装置的时长数据，所述相对时间信息用于表征前后两帧图像帧同步信息传输至所述探测装置的时差数据。

6.根据权利要求1所述的方法，其特征在于，所述基于所述周期计数值对所述至少两个摄像头进行图像同步处理，包括：

将所述周期计数值中断上报中央处理器，使第一目标软件获取同步通知；

通过第二目标软件基于所述周期计数值对所述至少两个摄像头进行图像同步处理，并使所述计数器停止计数；

其中，所述第一目标软件和所述第二目标软件为相同或不同软件。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述周期计数值确定所述中央处理器的图像处理数据。

8.一种车载多摄像头系统的时延测量装置，其特征在于，所述装置应用于探测装置，所述探测装置用于连接至每一个物理传输通道，所述物理传输通道设置在每一个摄像头与图像处理装置之间，所述探测装置包括：

计数模块，用于当至少两个摄像头获取影像采集指令的情况下，通过探测装置控制计数器对指定时钟的时钟周期进行计数；

记录模块，用于当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；

上报模块，用于当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器，供所述中央处理器读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

9.一种车载多摄像头系统的时延测量系统，其特征在于，所述系统包括：车载多摄像头系统、探测装置、图像处理装置和中央处理器；每一个摄像头与图像处理装置具有对应的物理传输通道，所述探测装置连接至每一个物理传输通道；

所述车载多摄像头系统，用于获取影像采集指令，基于所述影像采集指令进行影像采集；

所述探测装置，用于当至少两个摄像头获取影像采集指令的情况下，控制计数器对指定时钟的时钟周期进行计数；当确定任一摄像头对应的图像帧同步信息传输至所述探测装置，将所述计数器的当前计数值进行记录，得到所述图像帧同步信息对应的周期计数值；当所述图像帧同步信息传输至所述探测装置的帧数符合目标帧数的情况下，中断上报中央处理器；

所述中央处理器，用于读取所述周期计数值，基于所述周期计数值对所述至少两个摄像头进行图像同步处理。

10.一种汽车，其特征在于，所述汽车包括车载多摄像头系统；所述汽车通过权利要求1~7任一项所述的方法对车载多摄像头系统进行时延测量。

Images