CN113014812A - 一种摄像头与激光雷达时间同步控制系统 - Google Patents

Abstract

本发明公开了一种摄像头与激光雷达时间同步控制系统，包括摄像头、激光雷达和FPGA，FPGA设有图像采集模块、时钟模块和信号延迟模块，其中：时钟模块用于接收激光雷达输出的激光雷达时钟，将激光雷达时钟作为摄像头的工作时钟；信号延迟模块包括延迟单元和异步FIFO单元，延迟单元用于接收摄像头输出的场同步信号并在延迟预设间隔后将场同步信号转发至异步FIFO单元，异步FIFO单元根据场同步信号产生帧同步信号，帧同步信号用于唤醒激光雷达进入工作状态；图像采集模块用于接收摄像头采集的图像数据。本发明低成本实现了摄像头与激光雷达之间的高精度时钟、帧率同步。

Description

一种摄像头与激光雷达时间同步控制系统

技术领域

本申请属于感知设备同步控制技术领域，具体涉及一种摄像头与激光雷达时间同步控制系统。

背景技术

感知设备作为车路协同系统的重要组成部分，主要包括摄像头、激光雷达、毫米波雷达、姿态位置传感器、惯性导航传感器等，这些传感器共同为车路协同系统提供多维度的感知数据，保证车路协同系统的正常工作。

当前各感知设备协同工作的主要的技术实现途径是：各传感器独立工作，并接收GPS秒脉冲信号，根据接收到的GPS秒脉冲信号将感知数据打上时间戳，并将时间戳随着感知数据发送到计算单元。计算单元根据时间戳信息及各传感器之间的时间差进行补偿，从而实现各传感器之间的时间同步。在此基础上完成多传感器数据融合，目标处理和应用场景算法，从而实现车路协同系统完整的解决方案。

但是由于摄像头、毫米波雷达、激光雷达、IMU等内部各有独立的时钟晶振，譬如摄像头会采用24MHz的晶振，激光雷达采用1MHz的晶振，而毫米波雷达使用2.6MHz的晶振。各传感器接收到的GPS秒脉冲信号是一致的，但由于各传感器内部频率不一致因而输出的感知数据带的时间戳信息误差就比较大，显而易见的是在各环境条件一致的情况下晶振频率较高的时间戳信息误差较小，晶振频率较低的时间戳信息误差较大。同时由于各晶振之间的精度不一致，导致了同一个传感器内部的时间戳信息与晶振自身的性能相关，随着环境条件的改变，从而造成时间戳信息变化比较明显。另外，高精度的晶振将会造成较高的器件成本。

另外，现有摄像头与激光雷达各传感器有各自独立的探测空间，空间同步时主要依据各自独立的安装位置，然后转换到同一个坐标系中，所述坐标变换的过程随着各传感器的安装位置不同而要进行不同的标定，并且由于各传感器的FOV一般不一致，且对应的空间不同，在进行空间同步的过程中，无可避免的需要进行空间裁剪，降低了数据的有效利用率。

发明内容

本申请的目的在于提供一种摄像头与激光雷达时间同步控制系统，低成本实现了摄像头与激光雷达之间的高精度时钟、帧率同步。

为实现上述目的，本申请所采取的技术方案为：

一种摄像头与激光雷达时间同步控制系统，所述摄像头与激光雷达时空同步控制系统包括摄像头、激光雷达和FPGA，所述FPGA设有图像采集模块、时钟模块和信号延迟模块，其中：

所述时钟模块，用于接收所述激光雷达输出的激光雷达时钟，将所述激光雷达时钟作为所述摄像头的工作时钟；

所述信号延迟模块包括延迟单元和异步FIFO单元，所述延迟单元用于接收所述摄像头输出的场同步信号并在延迟预设间隔后将场同步信号转发至所述异步FIFO单元，所述异步FIFO单元根据所述场同步信号产生帧同步信号，所述帧同步信号用于唤醒激光雷达进入工作状态；

所述图像采集模块，用于接收摄像头采集的图像数据。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述延迟单元的工作时钟与摄像头的像素时钟相同。

作为优选，所述延迟单元延迟的预设间隔设置如下：

令摄像头输出场同步信号至曝光之间的时间间隔为T_l，激光雷达识别到所述帧同步信号至曝光之间的时间间隔为T_s，延迟单元的时钟周期为t；

则设置延迟单元延迟的预设间隔为t×int((T_l-T_s)÷t)。

作为优选，所述异步FIFO单元根据所述场同步信号产生帧同步信号，包括：

设置所述异步FIFO单元的读时钟为激光雷达输出的激光雷达时钟，写时钟为摄像头的像素时钟；

当异步FIFO单元收到延迟单元发送的所述场同步信号后，以写时钟写入数据，并将FIFO空标志位拉低，所述异步FIFO单元的FIFO空标志位拉低后的低电平信号作为帧同步信号，激光雷达识别到异步FIFO单元的FIFO空标志位为低时即唤醒进入工作状态。

作为优选，所述摄像头与雷达时间同步控制系统还包括一个镜头以及分光镜；

所述镜头作为摄像头和雷达的共用镜头；

所述分光镜设置在镜头后方并将镜头接收的光束分光后分别输入至摄像头和雷达。

作为优选，所述分光镜与摄像头之间设有滤光片，所述分光镜与雷达之间设有滤光片。

本申请提供的摄像头与激光雷达时间同步控制系统，实现了激光雷达和摄像头之间的纳秒级时间同步；实现了激光雷达和摄像头之间的帧率一致；系统整体无需摄像头专门配备时钟晶振，降低了成本；系统整体仅需激光雷达内部的晶振，系统时钟来源单一，时钟漂移补偿方式单一，有效降低时钟误差。

附图说明

图1为本申请的摄像头与激光雷达时间同步控制系统的结构示意图；

图2为本申请FPGA中信号延迟模块的结构示意图；

图3为本申请摄像头和激光雷达信号同步的一种信号显示示意图；

图4为本申请摄像头与激光雷达时间同步控制系统中空间同步示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供一种摄像头与激光雷达时间同步控制系统，用于实现摄像头与激光雷达的高精度时钟同步，完成对目标物体进行同步曝光，解决了现有技术中由于晶振频率不同带来的时间戳信息误差无法克服的问题，同时也省去了后期对不同感知设备输出的数据进行时间同步的操作。

需要说明的是，本申请以摄像头和激光雷达为例进行时间同步说明，在其他实施例中，将摄像头和激光雷达中的一者或两者对应替换，即可得到其他感知设备之间的时间同步方案。

如图1所示，本实施例的摄像头与激光雷达时空同步控制系统包括摄像头、激光雷达和FPGA，FPGA设有图像采集模块、时钟模块和信号延迟模块。其中摄像头(模组)介入FPGA，激光雷达通过一个时钟线和一个帧同步信号线与FPGA的IO口相连。摄像头与FPGA的IO口相连，其中连接信号包括为摄像头提供时钟的时钟信号线，以及基于I2C接口的摄像头的驱动配置接口，图像采集接口(包括摄像头像素时钟、摄像头像素数据总线)，摄像头的行同步信号，摄像头的场同步信号。

其中激光雷达对应信号线的接口为时钟线接口和帧同步信号接口，摄像头对应信号线的接口为时钟信号接口、像素时钟接口、像素数据总线接口、行同步信号接口、场同步信号接口。FPGA的时钟模块的输入接口与激光雷达的时钟线接口连接、输出接口与摄像头的时钟信号接口连接，FPGA的信号延迟模块的输入接口与摄像头的场同步信号接口连接、输出接口与雷达的帧同步信号接口连接，FPGA的图像采集模块的输入接口与像素时钟接口、像素数据总线接口、行同步信号接口连接。

基于上述连接本实施例进行摄像头和激光雷达时间同步控制时FPGA主要实现以下操作：

时钟模块，由FPGA的时钟混合管理单元构成，用于接收激光雷达输出的激光雷达时钟，将所述激光雷达时钟作为所述摄像头的工作时钟。

本申请整个系统均以激光雷达的时钟作为唯一时钟来源，避免了多时钟之间存在的时钟误差。容易理解的是，若摄像头的工作时钟与激光雷达的时钟同频率，则时钟模块收到激光雷达时钟后即向摄像头输出时钟信号，若摄像头的工作时钟与激光雷达的时钟不同频，则时钟模块需要在接收到激光雷达时钟后转换至摄像头的时钟频率向摄像头输出时钟信号，例如激光雷达的时钟频率为50MHz，而摄像头的时钟频率为25MHz，则时钟模块在两次接收到激光雷达时钟后向摄像头输出一次时钟信号。

FPGA中的信号延迟模块主要实现了对场同步信号的延迟处理，并生成雷达帧同步信号作为雷达的同步触发信号。

如图2所示，信号延迟模块包括了延迟单元和异步FIFO单元，其中延迟单元用于接收摄像头输出的场同步信号，场同步信号是摄像头一帧数据的结束标志，也即下一帧数据的开启标志。将场同步信号的上升沿作为同步起始时刻，此后摄像头将开启下一帧的曝光成图，同时控制激光雷达也启动一帧点云数据的感知，从而实现两者的同步曝光。

由于摄像头和激光雷达内部的固定延时是不一致的，在实际使用时要控制摄像头和激光雷达能在同一时刻对目标物体进行曝光，即需要根据实际的标定调节激光雷达的启动时刻。因此本实施例将接收的场同步信号先经过FPGA内部的延迟单元，延迟单元的工作时钟即摄像头的像素时钟，而激光雷达的时钟与摄像头的像素时钟为同源但不同频时钟。因此需要将输入信号(场同步信号)与输出信号(雷达的帧同步信号)之间进行跨时钟域同步，增加一级异步FIFO单元，即延迟单元在延迟预设间隔后将场同步信号转发至异步FIFO单元，异步FIFO单元根据场同步信号产生帧同步信号，用以实现摄像头和激光雷达之间的帧率同步。

本实施例中设置延迟单元主要为了控制摄像头和激光雷达两者能够实现同步曝光，因此延迟单元转发场同步信号时延迟的预设间隔需根据实际使用情况进行标定。针对本实施例中的摄像头和激光雷达，可知摄像头在输出场同步信号后经过固定延时即开启曝光，而激光雷达在收到帧同步信号后才被唤醒工作，被唤醒后同样经过固定延时开启曝光，因此在标定得到摄像头和激光雷达的固定延时后，即可得到延时单元具有延迟的预设间隔，本实施例中预设间隔设置的一种方式如下：

令摄像头输出场同步信号至曝光之间的时间间隔为T_l，激光雷达识别到帧同步信号至曝光之间的时间间隔为T_s，延迟单元的时钟周期为t；则设置延迟单元延迟的预设间隔为t×int((T_l-T_s)÷t)。

在设置有效的预设间隔后，延迟单元收到摄像头发出的场同步信号后，延迟预设间隔将场同步信号转发至异步FIFO单元，从而控制摄像头和激光雷达之间的曝光开始时间同步，而为了激光雷达能够及时识别到场同步信号的到来，本实施例中设置异步FIFO单元的读时钟为激光雷达输出的激光雷达时钟，写时钟为摄像头的像素时钟，其中摄像头的像素时钟的频率大于激光雷达输出的激光雷达时钟。异步FIFO单元有两个端口，其中一个端口用于写入数据，一个端口用于读出数据。异步FIFO单元本身是有空、满等状态标志信号，当异步FIFO单元中没有任何数据时，FIFO空标志位置高，当异步FIFO单元中写入一个数据时，FIFO空标志位拉低，

由于本实施例激光雷达识别异步FIFO单元的FIFO空标志位的状态来判断是否得到帧同步信号，因此本实施例中的异步FIFO单元以一个高频率时钟写入，以便于最大程度降低摄像头和激光雷达之间同步曝光的误差。当异步FIFO单元收到延迟单元发送的场同步信号后，以写时钟写入数据，并将FIFO空标志位拉低，异步FIFO单元的FIFO空标志位拉低后的低电平信号作为帧同步信号，激光雷达识别到异步FIFO单元的FIFO空标志位为低时即唤醒进入工作状态，在激光雷达采集到一定数量的点云数据之后，进入休眠模式，等待下一次唤醒操作。为了保证系统的正常循环运行，激光雷达识别到帧同步信号后同时启动FIFO的读操作一次以清空异步FIFO单元中的数据，将FIFO空标志位置高。

本实施例以激光雷达时钟作为唯一时钟来源，有效降低了时钟误差，并且基于延迟单元和异步FIFO单元控制激光雷达和摄像头同步曝光，以实现两者时钟、帧率的高精度同步。如图3所示，图中实线为摄像头的场同步信号(作为输入信号)，虚线为异步FIFO单元生成的帧同步信号(作为输出信号)，其中输出信号与输入信号之间的时间差(图中箭头所指位置)可以通过延迟单元进行调节，调节精度与摄像头的像素时钟频率及其抖动相关。譬如56MHz的像素读出时钟即为～20ns的时钟同步精度。

FPGA中的图像采集模块，用于接收摄像头采集的图像数据。

在本申请提供的时间同步方案中，同步解决了摄像头和激光雷达之间的时钟与帧率一致的问题。

在上述时间同步的基础上，在另一实施例中增加空间同步，以得到摄像头和雷达的时空同步方案，在空间同步中主要涉及一个镜头以及分光镜。

如图4所示，镜头作为摄像头和雷达的共用镜头；分光镜设置在镜头后方并将镜头接收的光束分光后分别输入至摄像头和雷达。

在实际应用中，分光镜的分光比列可设置为任意比例。譬如50:50，40:60，90:10，80:20，等一系列常见的固定分光比例。当然由于摄像头和激光雷达对输入光强信号的感光能力不同，因此可以选择一个合适的分光比例，使得激光雷达和摄像头具有相同距离探测能力。譬如激光雷达可测量50米的距离，通过调整分光镜的分光比例，使得摄像头也可以测量50米的探测距离。

为了提高雷达和摄像头的成像效果，在另一个实施例中，分光镜与摄像头之间设有滤光片，分光镜与雷达之间设有滤光片。由镜头进入的光线经过分光镜之后分成两束，一束经过滤光片之后进入雷达，另一束经过滤光片之后进入摄像头，其中滤光片选择与摄像头和雷达工作波段一致。

在本申请的时间同步方案或时空同步方案中，雷达以激光雷达为例，摄像头与激光雷达可选的有以下几种曝光情况：

摄像头与激光雷达均处于全局曝光模式，激光雷达和摄像头全局同步。

摄像头工作于卷帘曝光模式，激光雷达工作于一维线性扫描方式，激光雷达和摄像头实现一维同步。

摄像头工作于区域曝光模式，激光雷达工作于二维扫描方式，激光雷达和摄像头实现二维线性同步。

本申请提供的时空同步方案，在摄像头和雷达时钟和帧率高精度同步的基础上，仅需一个镜头即可实现激光雷达和摄像头空间同步，避免了复杂的空间坐标变换，以及不同视场角带来的图像裁剪工作。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种摄像头与激光雷达时间同步控制系统，其特征在于，所述摄像头与激光雷达时空同步控制系统包括摄像头、激光雷达和FPGA，所述FPGA设有图像采集模块、时钟模块和信号延迟模块，其中：

所述时钟模块，用于接收所述激光雷达输出的激光雷达时钟，将所述激光雷达时钟作为所述摄像头的工作时钟；

所述信号延迟模块包括延迟单元和异步FIFO单元，所述延迟单元用于接收所述摄像头输出的场同步信号并在延迟预设间隔后将场同步信号转发至所述异步FIFO单元，所述异步FIFO单元根据所述场同步信号产生帧同步信号，所述帧同步信号用于唤醒激光雷达进入工作状态；

所述图像采集模块，用于接收摄像头采集的图像数据。

2.如权利要求1所述的摄像头与激光雷达时间同步控制系统，其特征在于，所述延迟单元的工作时钟与摄像头的像素时钟相同。

3.如权利要求1所述的摄像头与激光雷达时间同步控制系统，其特征在于，所述延迟单元延迟的预设间隔设置如下：

令摄像头输出场同步信号至曝光之间的时间间隔为T_l，激光雷达识别到所述帧同步信号至曝光之间的时间间隔为T_s，延迟单元的时钟周期为t；

则设置延迟单元延迟的预设间隔为t×int((T_l-T_s)÷t)。

4.如权利要求1所述的摄像头与激光雷达时间同步控制系统，其特征在于，所述异步FIFO单元根据所述场同步信号产生帧同步信号，包括：

设置所述异步FIFO单元的读时钟为激光雷达输出的激光雷达时钟，写时钟为摄像头的像素时钟；

当异步FIFO单元收到延迟单元发送的所述场同步信号后，以写时钟写入数据，并将FIFO空标志位拉低，所述异步FIFO单元的FIFO空标志位拉低后的低电平信号作为帧同步信号，激光雷达识别到异步FIFO单元的FIFO空标志位为低时即唤醒进入工作状态。

5.如权利要求1所述的摄像头与激光雷达时间同步控制系统，其特征在于，所述摄像头与雷达时间同步控制系统还包括一个镜头以及分光镜；

所述镜头作为摄像头和激光雷达的共用镜头；

所述分光镜设置在镜头后方并将镜头接收的光束分光后分别输入至摄像头和激光雷达。

6.如权利要求5所述的摄像头与激光雷达时间同步控制系统，其特征在于，所述分光镜与摄像头之间设有滤光片，所述分光镜与激光雷达之间设有滤光片。

Images