CN113985389A - 一种时间同步校准装置、自动识别路径设备、方法及介质 - Google Patents

Abstract

本申请公开了一种时间同步校准装置、自动识别路径设备、方法及介质，涉及自动驾驶和机器人领域。该装置包括：感光管、控制器、多个LED；控制器与感光管连接，用于接收感光管发出的触发信号并触发图像传感器曝光；其中，接收到触发信号的时刻作为触发时刻；控制器与各LED连接，用于在触发时刻后触发LED发光并获取图像传感器捕捉到当前图像时对应的LED的发光时刻，将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准。由于图像传感器接收到触发信号以及在曝光过程中存在延时，该装置通过对延时时间进行计算，若再使用该图像传感器时，补偿延时时间即可实现时间同步校准，提高了时间同步的准确性。

Description

一种时间同步校准装置、自动识别路径设备、方法及介质

技术领域

本申请涉及自动驾驶和机器人领域，特别是涉及一种时间同步校准装置、自动识别路径设备、方法及介质。

背景技术

在自动驾驶和机器人领域，感知域不同类型的传感器数据融合逐渐成为研究和应用的热点，多种传感器采集信息的时间同步是多模态数据融合的前提。多模态数据融合的优势在于实现对外界环境感知信息的互补，例如：自动驾驶和机器人领域中的激光雷达和图像传感器，实现了深度信息和纹理信息的互补等。

目前，使用软件方法实现激光雷达和图像传感器的时间同步，主要是应用算法和传感器数据的统计规律对多种传感器采样数据的时间偏差进行估计和优化。如使用直接插值法是简单判断图像传感器时间戳与激光雷达数据时间戳的时间差，选择时间差最小的一帧数据为有效帧，并且曝光时刻为开始获取有效帧的时刻。由于该方法对时间偏差进行估计和优化，因此使用软件方法实现激光雷达和图像传感器的时间同步不准确。

由此可见，如何提高时间同步的准确性，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种时间同步校准装置、自动识别路径设备、方法及介质，用于提高时间同步的准确性。

为解决上述技术问题，本申请提供一种时间同步校准装置，包括：感光管、控制器、多个LED；

所述感光管设置于激光雷达处，用于当所述激光雷达的激光束扫描到目标时发出触发信号；

所述控制器与所述感光管连接，用于接收所述触发信号并触发图像传感器曝光；其中，接收到所述触发信号的时刻作为触发时刻；

所述控制器与各所述LED连接，用于在所述触发时刻后触发所述LED发光并获取所述图像传感器捕捉到当前图像时对应的LED的发光时刻，将所述发光时刻与所述触发时刻的差值作为所述图像传感器的触发延时时间以进行时间同步校准。

优选地，所述LED发光的时间间隔等于所述图像传感器捕捉到一帧图像的时间间隔。

优选地，所述控制器提供的电压超过的所述LED工作时的电压阈值，还包括：LED驱动电路；

所述LED驱动电路与所述LED连接，其中，所述LED驱动电路的个数与所述LED的个数相同。

优选地，还包括：记录各环境亮度对应的各所述触发延时时间以便于根据当前环境亮度获取与当前环境亮度对应的所述触发延时时间。

优选地，所述控制器为CPLD控制器。

为解决上述技术问题，本申请还提供一种自动识别路径的设备，包括上所述的时间同步校准装置。

优选地，所述自动识别路径的设备为机器人或自动驾驶车辆。

为解决上述技术问题，本申请还提供一种时间同步校准方法，应用于上述的时间同步校准装置，该方法包括：

接收触发信号并触发图像传感器曝光；其中，接收到所述触发信号的时刻作为触发时刻；

在所述触发时刻后触发LED发光并获取所述图像传感器捕捉到当前图像时对应的LED的发光时刻；

将所述发光时刻与所述触发时刻的差值作为所述图像传感器的触发延时时间以进行时间同步校准。

为解决上述技术问题，本申请还提供一种时间同步校准装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述的时间同步校准方法的步骤。

为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的时间同步校准方法的步骤。

本申请所提供的时间同步校准装置，包括：感光管、控制器、多个LED；感光管设置于激光雷达处，用于当激光雷达的激光束扫描到物体时发出触发信号；控制器与感光管连接，用于接收触发信号并触发图像传感器曝光；其中，接收到触发信号的时刻作为触发时刻；控制器与各LED连接，用于在触发时刻后触发LED发光并获取图像传感器捕捉到当前图像时对应的LED的发光时刻，将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准。若图像传感器不存在延时，则图像传感器在触发时刻进行曝光，但实际上，图像传感器接收到控制器的触发信号时存在延时，并且当图像传感器接收到触发信号后开始曝光，在曝光过程中，曝光时间也存在延时。该装置通过对图像传感器的触发延时时间进行计算，当再次使用该图像传感器进行曝光时，补偿触发延时时间即可实现激光雷达与图像传感器的时间同步，提高了时间同步的准确性。

此外，本申请还提供一种自动识别路径的设备以及一种时间同步校准方法，具有上述提到的时间同步校准的装置相同的有益效果。

另外，本申请还提供一种时间同步校准的装置以及计算机可读存储介质，具有上述提到的时间同步校准的方法相同的有益效果。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例提供的一种时间同步校准装置的结构图；

图2是自动驾驶图像传感器传输链路的结构图；

图3为图像传感器的最佳数据采集点与最佳曝光点的示意图；

图4为本实施例提供的时间同步校准方法的流程图；

图5为本申请一实施例提供的时间同步校准装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的核心是提供一种时间同步校准装置、自动识别路径设备、方法及介质，用于提高激光雷达与图像传感器时间同步的准确性。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

需要说明的是，在自动驾驶和机器人领域，应用激光雷达可以获得目标的深度信息，应用图像传感器可以获得目标的纹理信息，通过将深度信息和纹理信息进行融合识别出目标，从而避开目标行驶。而将不同传感器获得的信息进行融合，首先要实现不同传感器采集信息的时间同步，因此，在自动驾驶和机器人领域，要实现激光雷达和图像传感器采集信息的时间同步。若图像传感器不存在延时，则图像传感器在触发时刻进行曝光，但实际上，图像传感器接收到控制器的触发信号时存在延时，并且当图像传感器接收到触发信号后开始曝光，在曝光过程中，曝光时间也存在延时，因此本申请通过对图像传感器的触发延时时间进行标定，最终实现激光雷达和图像传感器的时间同步校准。

图1为本实施例提供的一种时间同步校准装置的结构图。下面对图1所示的时间同步校准装置的结构进行说明。该装置包括：感光管1、控制器2、多个LED3；感光管1设置于激光雷达4处，用于当激光雷达4的激光束扫描到目标时发出触发信号；控制器2与感光管1连接，用于接收触发信号并触发图像传感器5曝光；其中，接收到触发信号的时刻作为触发时刻；控制器2与各LED连接，用于在触发时刻后触发LED3发光并获取图像传感器5捕捉到当前图像时对应的LED的发光时刻，将发光时刻与触发时刻的差值作为图像传感器5的触发延时时间以进行时间同步校准。

激光雷达4是一种综合的光探测与测量系统，工作在从红外到紫外光谱段的雷达系统，一般是发射905nm(目前商业应用较多)或1550nm的激光，通过发射和接收激光束，分析激光遇到目标对象后的折返时间，计算出目标的距离(深度信息)。目前常见的有16线、32线、64线激光雷达4，激光雷达4线束越多，测量精度越高，安全性越高，多束激光线同时发射，并配合激光雷达4的旋转便得到了激光雷达4的点云图，点云图可以反应真实世界目标的形状、姿态信息，但是缺少纹理信息。

图像传感器5获得的图像是对真实世界的目标离散化后的表达，缺少目标的真实尺寸，因此为了清晰地对目标进行识别，需要将激光雷达4得到的深度信息与图像传感器5得到的纹理信息进行融合，才能准确地识别出目标。要将激光雷达4得到的深度信息与图像传感器5得到的纹理信息进行融合，首先要保证激光雷达4和图像传感器5采集目标信息的时间同步。

感光管1是激光通信中使用的光敏元件，一般作为激光雷达4接收器，激光发出的光束经过光学透镜校准，被感光管1接受，感光管1接受光照后，随光强的不同会产生相应强度的光生电流，电流经过大器放大输出电信号。本申请中使用的是雪崩光电二极管(Avalanche Photon Diode，APD)。雪崩光电二极管是一种P-N结型的光检测二极管，其中利用了载流子的雪崩倍增效应来放大光电信号以提高检测的灵敏度。另外，激光雷达4的激光波长通常使用905nm或1550nm的波长，以905nm波长近红外激光为主的激光器件相对成熟，成本较低，最大探测距离限制在150米左右，而1550nm红外激光可以实现远距离探测，最大探测距离可以达到1000米以上，特殊场景下可以达到数公里，因此在实施中，根据激光雷达4的波长为905nm或1550nm，可以选择905nm或1550nm的感光管1。需要说明的是，图1中为了测试的方便，将激光雷达4的感光管1单独拿出来使用。激光雷达4的激光束在旋转γ角度时到扫描到目标，此时感光管1发出触发信号。

控制器2接收触发信号并在接收到触发信号的时刻触发图像传感器5曝光，假设接收到触发信号的时刻为t0时刻，若图像传感器5不存在延时，则图像传感器5在触发时刻进行曝光，但实际上，图像传感器5接收到控制器2的触发信号时存在延时，并且当图像传感器5接收到触发信号后开始曝光，在曝光过程中，曝光时间也存在延时。在实施中，通过依次触发多个LED3，并获取图像传感器5捕捉到当前图像时对应的LED的发光时刻，如最后捕捉到第三个LED亮，则第三个LED的发光时刻就是图像传感器5捕捉到当前图像的时刻。每个LED的亮灯时刻是提前设置的，当要获取图像传感器5捕捉到当前图像时对应的LED的发光时刻，控制器2可以直接读取对应LED的亮灯时刻，也可以当相邻LED的发光时间间隔相同时，若知道第一个LED的亮灯时刻为t1，则后面的LED的亮灯时刻可以依次为t1+Δt，t1+2Δt……t1+nΔt。需要说明的是，LED的个数是根据多次试验得出来的，具体的LED的个数不作限定，可以根据实际情况设定，只要能将图像传感器5捕捉到当前图像这个事件包括在里边即可，若LED的个数比较少时，则不足以将图像传感器5捕捉到当前图像这个事件包括在里边，因此就可以通过继续增加LED的个数来确保图像传感器5能够捕捉到当前图像这个事件。另外，要保证LED的亮灭完全接上，否则捕捉到的图像大部分都是不亮的图像，因此，每个LED都可以正常工作。

控制器2获取到一个触发边沿时刻，在时钟信号的上升沿或者下降沿触发多个LED3灯亮。控制器2可以采用复杂可编程逻辑器件(Complex Programmable logic device，CPLD)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、或数字信号处理(Digital Signal Processing，DSP)等，此处不作限定，由于CPLD控制器2的分频计时准确，并且CPLD成本低，因此，作为优选地实施方式可以选择CPLD控制器2。当控制器2接收触发信号并触发图像传感器5曝光，其中，接收到触发信号的时刻作为触发时刻t0，假设触发每个LED发光的时刻依次为t1～tn，控制器2与各LED3连接，用于在触发时刻后触发LED发光并获取图像传感器5捕捉到当前图像时对应的LED的发光时刻tn，则图像传感器5的触发延时时间为tn-t0，如图像传感器5捕捉到当前图像时第三个LED亮，则延时时间为t3-t0，然后根据图像传感器5的触发延时时间以进行时间同步校准，当再次使用该图像传感器5进行曝光时，补偿触发延时时间即可实现激光雷达4与图像传感器5的时间同步。

需要说明的是，控制器2和感光管1连接并不是将控制器2和感光管1直接连接，而是在控制器2与感光管1之间通过信号调理电路6连接，由于控制器2只能识别数字信号，因此，需要通过信号调理电路6将电信号转化为数字信号，这样才能被控制器2识别；控制器2与多个LED3之间也可以不直接连接，当控制器2提供的电压可以使多个LED3正常工作时，则控制器2直接连接多个LED3，为多个LED3提供工作电压并控制多个LED3的亮灭；当控制器2提供的电压大于LED工作时的电压阈值，则需要在控制器2和多个LED3之间设置LED驱动电路7，达到降压的作用，保证每个LED都能正常工作；本实施例获得的延时时间只适应于当前环境，这是由于亮场景下图像传感器5的曝光时间短，而暗场景下图像传感器5的曝光时间长，因此导致触发延时时间不同，当检测到当前环境的亮度改变时，重新获取触发延时时间。另外，由于不同图像传感器5的曝光时间存在差异，因此，当传感器种类改变时，也需要重新获取触发延时时间。

本实施例所提供的时间同步校准装置，包括：感光管、控制器、多个LED；感光管设置于激光雷达处，用于当激光雷达的激光束扫描到物体时发出触发信号；控制器与感光管连接，用于接收触发信号并触发图像传感器曝光；其中，接收到触发信号的时刻作为触发时刻；控制器与各LED连接，用于在触发时刻后触发LED发光并获取图像传感器捕捉到当前图像时对应的LED的发光时刻，将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准。若图像传感器不存在延时，则图像传感器在触发时刻进行曝光，但实际上，图像传感器接收到控制器的触发信号时存在延时，并且当图像传感器接收到触发信号后开始曝光，在曝光过程中，曝光时间也存在延时。该装置通过对图像传感器的触发延时时间进行计算，当再次使用该图像传感器进行曝光时，补偿触发延时时间即可实现激光雷达与图像传感器的时间同步，提高了时间同步的准确性。

在上述实施例的基础上，LED的发光时间间隔可以相同也可以不同，作为优选地实施方式，可以设置LED的发光时间间隔相同。为了比较准确地获取图像传感器5得到当前图像的时刻，则需要设置合适的LED的发光时间间隔。作为优选地实施方式，LED的发光时间间隔等于图像传感器5捕捉到一帧图像的时间间隔。

在实施中，当LED的发光时间间隔小于图像传感器5捕捉到一帧图像的时间间隔时，不足以使图像传感器5捕捉到一帧图像，因此不能使LED的发光时间间隔小于图像传感器5捕捉到一帧图像的时间间隔；当LED的发光时间间隔大于图像传感器5捕捉到一帧图像的时间间隔时，如提前知道图像传感器5会在1S内曝光，图像传感器5捕捉到一帧图像的时间为0.1S，则可以设置4个LED，其中每个LED的发光时间间隔为0.25S；也可以设置10个灯，其中每个LED的发光时间间隔为0.1S，若设置4个LED，则需要多次测试才能准确地获取图像传感器5捕捉到当前图像的时刻，最终增加试验量，浪费人力、时间等；若设置10个LED，由于时间间隔被细分，因此可以根据具体的LED的发光情况准确地获取图像传感器5捕捉到当前图像的时刻，测试次数相比于设置4个LED时测试次数有所减少。

本实施例所提供的LED的发光时间间隔等于图像传感器捕捉到一帧图像的时间间隔，一方面，可以避免当LED的发光时间间隔小于图像传感器捕捉到一帧图像的时间间隔，无法捕捉到一帧图像的情况的发生；另一方面，可以减少测试的次数，并且可以准确地获取图像传感器捕捉到当前图像的时刻，从而提高时间同步校准的准确性。

上述实施例中，当控制器2提供的电压可以使LED正常工作时，则控制器2直接连接LED，为LED提供工作电压并控制LED的亮灭；当控制器2提供的电压大于LED工作时的电压阈值，此时，若控制器2直接为LED提供工作电压，则LED可能被烧坏，最终可能会影响图像传感器5捕捉到当前图像时刻的获取，从而会影响时间校准。因此，作为优选地实施方式，控制器2提供的电压大于LED工作时的电压阈值，还包括：LED驱动电路7；LED驱动电路7与LED连接，其中，LED驱动电路7的个数与LED的个数相同。

每个LED驱动电路7驱动一个LED，当控制器2提供的电压超过大于LED工作时的电压阈值时，通过LED驱动电路7将交流电压转换为恒流电源，并同时完成与LED的电压和电流的匹配。

本实施例所提供的当控制器提供的电压大于LED工作时的电压阈值，还包括LED驱动电路，该LED驱动电路可以保证LED不会被烧坏，从而可以获取到图像传感器捕捉到当前图像的时刻以及延时时间，最终根据延时时间实现时间校准。

由于图像传感器5的曝光时间受环境亮度的影响，当环境亮度较高时，图像传感器5曝光时间短，当环境亮度较暗时，图像传感器5曝光时间长。因此环境亮度改变时，图像传感器5获取到当前图像的时刻也会发生变化，相应地图像传感器5的触发延时时间也会变化，因此，作为优选地实施方式，可以记录各环境亮度对应的各触发延时时间以便于根据当前环境亮度获取与当前环境亮度对应的触发延时时间。

图像传感器5的曝光时间受环境亮度的影响，通常情况下，图像传感器5在亮的环境下的曝光时间比较短，因此最终得到的触发延时时间比较短；图像传感器5在暗的环境下的曝光时间比较长，因此最终得到的触发延时时间比较长；如当亮环境下得到的延时是0.2S，则暗环境得到的延时比0.2S长，此处指的是使用的是同一图像传感器5。除了亮场景、暗场景这种亮度均匀的环境，还会出现如隧道口这种明暗差异大的场景，此时，根据图像处理器的不同曝光策略，如获取高动态范围图像，如通过拍摄不同曝光长度的图像，最终得到一张高动态范围图像，图像传感器5的延时时间就是得到这张高动态范围图像的时刻与触发时刻的差值，此时这种明暗差异大的场景的延时时间也会之前计算的延时时间不同。因此，记录各环境亮度对应的各触发延时时间以便于根据当前环境亮度获取与当前环境亮度对应的触发延时时间。

本实施例所提供的记录各环境亮度对应的各触发延时时间以便于根据当前环境亮度获取与当前环境亮度对应的触发延时时间。当环境亮度变化时，就选择与当前环境亮度对应的触发延时时间，防止在亮环境时使用暗环境的延时时间，或者在暗环境时使用亮环境的延时时间，导致时间同步校准不准确。

在上述实施例的基础上，控制器2的类型不作限定，可以是采用CPLD控制器、FPGA控制器、或DSP控制器等，作为优选地实施方式，控制器2为CPLD控制器。

本实施例所提供的控制器为CPLD控制器，CPLD控制器主要由逻辑块、可编程互连通道和I/O块三部分构成，CPLD控制LED是通过CPLD控制器的I/O驱动LED，CPLD控制器获取到一个触发边沿时刻，在时钟信号的上升沿或者下降沿触发多个LED灯亮，按照自己的时钟延时Δt，2Δt，3Δt……nΔt，很容易分频计时，而且计时很准确，因此使用CPLD控制器可以提高时间校准的准确性。

在上述实施例的基础上，本实施例还提供一种自动识别路径的设备，包括上述的时间同步校准装置，具有与上述时间同步校准装置相同的有益效果，此处不再赘述。

在实施中，自动识别路径的设备为机器人或自动驾驶车辆。通过在机器人或自动驾驶车辆中安装激光雷达和图像传感器，获取目标的深度信息和纹理信息的互补，最终识别出目标，然后根据目标来确定机器人或自动驾驶车辆的路径。以下以激光雷达和图像传感器在自动驾驶车辆中的应用为例进行详细说明。

在自动驾驶车辆中，在实际中，自动驾驶车辆上不仅仅需要安装一个激光雷达和图像传感器，而是在车辆的四周安装多个激光雷达和图像传感器来360度无死角来检测路况或环境，通过视觉传感器的图像识别技术对周边环境进行感知。在自动驾驶中，通过激光雷达和图像传感器，除了可以知道在什么位置存在什么物体或行人之外，进而向车辆发出减速刹车等指令来避免事故这一功能之外，能够理解当前的驾驶场景，并学会处理突发事件，当遇到行人或障碍物时，自动避开行人或障碍物，自动识别路径。

对于图像传感器，一般认为这种单向触发类型传感器可以实时进行触发，但是在自动驾驶领域应用中，传统MIPI接口的图像传感器受限于信号完整性要求，极限传输距离约0.3m，不满足长距离和复杂电磁环境传输要求。图2是自动驾驶图像传感器传输链路的结构图。在图2中图像采集控制单元的触发信号并非直接触发CMOS传感器，是通过解串器与串化器之间的控制报文实现的，其触发命令的传输存在时间延迟，这是由其传输链路长度和传输链路的架构决定的。例如自动驾驶卡车的图像传感器同轴线缆长度可达8～10m，不同于图像传感器直接触发控制，传输存在时间延迟。

图像传感器的传输存在延迟，可以应用上述的时间同步校准装置对激光雷达和图像传感器进行时间同步校准。图3为图像传感器的最佳数据采集点与最佳曝光点的示意图。如图3所示，激光雷达在旋转γ时扫描到物体，当激光雷达的感知框架在扫描图中θ区域(物体)时，期望获得鱼眼图像传感器的图像数据，此时图像传感器的最佳采集点在扫描θ区域中角度的θ/2位置，最佳曝光点在γ与θ/2之间。若最佳曝光点在图中右侧虚线外，此时还没检测到物体就开始曝光，从而捕捉不到物体，若最佳曝光点在图中θ/2位置，此时车辆可能走了，从而捕捉的不是整个物体或者捕捉不到物体，因此图像传感器的最佳曝光点在γ与θ/2之间。

本实施例所提供的自动识别路径的设备为机器人或自动驾驶车辆，包括上述的时间同步校准装置。由于图像传感器存在延时，通过时间同步校准装置，使得通过激光雷达和图像传感器，能够准确地知道在什么位置存在什么物体或行人之外，进而向车辆发出减速刹车等指令来避免事故这一功能之外，能够理解当前的驾驶场景，并且自动识别路径。

在上述实施例的基础上，本实施例还提供一种时间同步校准方法，应用于上述的时间同步校准装置，图4为本实施例提供的时间同步校准方法的流程图。该方法包括：该方法包括：

S10：接收触发信号并触发图像传感器曝光；其中，接收到触发信号的时刻作为触发时刻。

该触发信号是当激光雷达的激光束扫描到目标时，感光管发出的，其中，感光管一般作为激光雷达的接收器，当感光管发出触发信号后，经信号调理电路，控制器接收到该触发信号，并且在接收到触发信号的时刻触发图像传感器曝光。

S11：在触发时刻后触发LED发光并获取图像传感器捕捉到当前图像时对应的LED的发光时刻。

在触发时刻后控制器依次触发LED发光，触发LED发光的时间间隔相等，并且LED的亮灭要完全接上，若LED的个数为n，则LED的发光时刻依次记为t1-tn。然后获取图像传感器捕捉到当前图像时对应的LED的发光时刻，如当图像传感器捕捉到当前图像时第三个LED亮，则第三个LED的发光时刻即为获取图像传感器捕捉到当前图像时对应的LED的发光时刻。

S12：将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准。

在上述步骤中分别获取到触发时刻以及发光时刻，触发时刻是触发图像传感器曝光的时刻，发光时刻代表图像传感器捕捉到当前图像的时刻，因此，发光时刻与触发时刻的差值就是图像传感器的出发延时时间，根据延时时间，当环境亮度相同时，补偿该延时时间即可实现激光雷达与图像传感器的时间同步校准。

本实施例提供的时间同步校准方法，应用于上述提到的时间同步校准装置，首先在触发时刻后触发LED发光并获取图像传感器捕捉到当前图像时对应的LED的发光时刻，然后将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准，最后将发光时刻与触发时刻的差值作为图像传感器的触发延时时间以进行时间同步校准。该时间同步校准方法通过对延时时间进行标定，然后根据延时时间对激光雷达与图像传感器进行时间同步校准，提高了时间同步的准确性。

在上述实施例中，对于时间同步校准方法进行了详细描述，本申请还提供时间同步校准装置对应的实施例。

图5为本申请一实施例提供的时间同步校准装置的结构图。本实施例基于硬件角度，如图5所示，时间同步校准装置包括：

存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的时间同步校准的方法的步骤。

本实施例提供的时间同步校准装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的时间同步校准方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述时间同步校准方法所涉及到的数据等等。

在一些实施例中，时间同步校准装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图5中示出的结构并不构成对时间同步校准装置的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的时间同步校准装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：时间同步校准方法，效果同上。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请提供的计算机可读存储介质包括上述提到的时间同步校准方法，效果同上。

以上对本申请所提供的时间同步校准装置、自动识别路径设备、方法及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种时间同步校准装置，其特征在于，包括：感光管、控制器、多个LED；

所述感光管设置于激光雷达处，用于当所述激光雷达的激光束扫描到目标时发出触发信号；

所述控制器与所述感光管连接，用于接收所述触发信号并触发图像传感器曝光；其中，接收到所述触发信号的时刻作为触发时刻；

所述控制器与各所述LED连接，用于在所述触发时刻后触发所述LED发光并获取所述图像传感器捕捉到当前图像时对应的LED的发光时刻，将所述发光时刻与所述触发时刻的差值作为所述图像传感器的触发延时时间以进行时间同步校准。

2.根据权利要求1所述的时间同步校准装置，其特征在于，所述LED发光的时间间隔等于所述图像传感器捕捉到一帧图像的时间间隔。

3.根据权利要求2所述的时间同步校准装置，其特征在于，所述控制器提供的电压超过的所述LED工作时的电压阈值，还包括：LED驱动电路；

所述LED驱动电路与所述LED连接，其中，所述LED驱动电路的个数与所述LED的个数相同。

4.根据权利要求1所述的时间同步校准装置，其特征在于，还包括：

记录各环境亮度对应的各所述触发延时时间以便于根据当前环境亮度获取与当前环境亮度对应的所述触发延时时间。

5.根据权利要求1所述的时间同步校准装置，其特征在于，所述控制器为CPLD控制器。

6.一种自动识别路径的设备，其特征在于，包括权利要求1至5任意一项所述的时间同步校准装置。

7.根据权利要求6所述的自动识别路径的设备，其特征在于，所述自动识别路径的设备为机器人或自动驾驶车辆。

8.一种时间同步校准方法，其特征在于，应用于权利要求1至5任意一项所述的时间同步校准装置，该方法包括：

接收触发信号并触发图像传感器曝光；其中，接收到所述触发信号的时刻作为触发时刻；

在所述触发时刻后触发LED发光并获取所述图像传感器捕捉到当前图像时对应的LED的发光时刻；

将所述发光时刻与所述触发时刻的差值作为所述图像传感器的触发延时时间以进行时间同步校准。

9.一种时间同步校准装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求8所述的时间同步校准方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述的时间同步校准方法的步骤。

Images