CN111435162B - 激光雷达与相机同步方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种激光雷达与相机同步方法、装置、设备和存储介质。该激光雷达与相机同步方法包括：获取激光雷达实时扫描过程中的扫描角度和扫描角度的时间戳；根据时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；根据扫描角度和触发角度，从至少两个相机中确定待与激光雷达同步的目标相机，以在触发角度触发目标相机开始执行获取图像数据的操作，以使得目标相机在激光雷达扫描至目标相机的安装角度时同步获取到图像数据。实现提高激光雷达与相机同步的准确度，最大化激光雷达与多个相机的融合视野。

Description

激光雷达与相机同步方法、装置、设备和存储介质

技术领域

本发明实施例涉及测绘技术领域，尤其涉及一种激光雷达与相机同步方法、装置、设备和存储介质。

背景技术

在测绘领域，激光雷达测绘作为新型的三维测量技术越来越受到关注。多线机械式激光雷达是一种集激光扫描与定位定姿系统于一身的测量设备，可以高度精确地定位激光束打在物体上的光斑，可以准确地计算出每一个地面光斑的三维坐标。但是激光雷达数据，缺乏RGB图像的原始分辨率以及高效的阵列结构。

目前，为了弥补激光雷达得到点云数据结构单一的缺点，将激光雷达与相机进行联合使用，构建彩色点云模型。然而，常规相机不支持与激光雷达时钟同步，造成激光雷达获取点云与相机获取像素点的时间不同步。对应的解决方法是对激光雷达和相机进行联合标定，获取两者之间的旋转矩阵与平移向量，将两者坐标系统一到同一个坐标系下。

但是，这种方法仅仅是对两个传感器的相对误差进行确定，而并没考虑更多等因素，因此会导致激光雷达与相机之间无法精准同步。

发明内容

本发明实施例提供一种激光雷达与相机同步方法、装置、设备和存储介质，实现提高激光雷达与相机同步的准确度。

第一方面，本发明实施例提供了一种激光雷达与相机同步方法，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；

根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。

第二方面，本发明实施例还提供了一种激光雷达与相机同步方法，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机；

根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度；

在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据；以及

在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

第三方面，本发明实施例还提供了一种测绘系统，包括：

激光雷达，用于对目标区域进行扫描以获取点云数据，根据所述点云数据确定扫描当前帧点云数据时的扫描角度和时间戳；

至少两个相机，分别设置于所述激光雷达的不同方位，以获取图像数据；以及

控制设备，分别与所述激光雷达和各相机连接；所述控制设备包括存储装置和一个或多个处理器；所述存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的激光雷达与相机同步方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的激光雷达与相机同步方法。

本发明实施例基于在激光雷达获取扫描角度的同时，对多个相机的触发角度进行确定，实现对相机动态延迟情况的确定；根据激光雷达的扫描角度以及相机的触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，从而在所述激光雷达位于触发角度时触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据，从而实现相机和激光雷达的精准同步，能够提高扫描角度与相机获取图像的匹配度，最大化激光雷达与多个相机的融合视野。

附图说明

图1是本发明实施例一中的激光雷达与相机同步方法的流程图；

图2(a)是本发明实施例二中的激光雷达与相机同步方法的流程图；

图2(b)是激光雷达与多相机的相对位姿俯视图；

图3是本发明实施例三中的激光雷达与相机同步方法的流程图；

图4是本发明实施例四中的激光雷达与相机同步装置的结构示意图；

图5是本发明实施例五中的激光雷达与相机同步装置的结构示意图；

图6是本发明实施例六中测绘系统的结构示意图；

图7是本发明实施例七中的设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的激光雷达与相机同步方法的流程图，本实施例可适用于解决多线机械式激光雷达与多个相机结合使用时的同步情况。该方法可以由激光雷达与相机同步装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在设备中，例如设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：

步骤101、获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳。

其中，激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统，在本发明实施例中，为了在测绘领域对自然环境要素或者地表人工设施的形状、大小、空间位置及其属性等进行测定，使用激光雷达获取点云数据。可选的，使用多线机械式激光雷达获取数据，根据多线机械式激光雷达的工作特点，机械式激光雷达与多个相机可采用硬件触发方法进行同步，便于根据激光雷达的信息实现对相机的触发控制，进而实现激光雷达的点云数据的获取与所述相机的图像数据获取同步，扫描角度是指激光雷达的旋转角度值。

具体的，激光雷达是旋转扫描设备，其旋转角度值是在不断变化的，并且在旋转过程中激光雷达不断获取点云数据。激光雷达确定获取到点云数据的旋转角度值，作为扫描角度；并确定获取到该点云数据的时间戳，作为扫描角度的时间戳。实现了对激光雷达旋转一圈过程中获取到点云的不同点的时间戳的确定。

可选的，获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳，包括：

获取激光雷达扫描过程中的输出数据包；

对所述输出数据包进行解析，确定数据包中的扫描角度和所述输出数据包的时间戳。

其中，输出数据包是指激光雷达在旋转过程中每隔一定角度值输出的数据，也即激光雷达每完成一帧扫描所获得的点云数据，每个数据包中记录了激光雷达获取反射点云数据时的角度信息。

示例性的，激光雷达工作频率为10赫兹，每100毫秒旋转一圈，一圈中每间隔2.16度输出一个数据包，一圈大约有166个数据包，相当于每0.6毫秒就有一个数据包输出。每个数据包中记录了激光雷达获取反射点云时的角度，解析程序监测每个数据包中的角度值，作为扫描角度，以及该数据包的获取时间作为时间戳。

步骤102、根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度。

其中，激光雷达的属性信息是指激光雷达在旋转过程中与旋转速度有关的信息。激光雷达与至少两个相机的联合标定信息是指预先为激光雷达与每个相机进行联合标定，得到真实安装角度：即两传感器之间的相对偏航角，以消除相机与激光雷达的安装角度之间的误差。该相对偏航角通过联合标定程序进行确定，在本发明实施例中不作限定。触发角度是指实际需要触发相机开始执行图像数据获取操作的角度。触发角度和相机相对于激光雷达的相对偏航角之间的偏差用于修正由于相机在执行拍照操作过程中由于从触发到实际获取到图像数据之间的时延，从而确保激光雷达的点云数据获取与相机的图像数据获取同步，这种同步精度可以达到毫秒级。

具体的，在相机的实际工作过程中，根据激光雷达的实时旋转角度值对应的时间戳，并且根据激光雷达的属性信息确定其在旋转过程中单位旋转角度，根据该时间戳以及至少两个相机的属性信息确定至少两个相机的瞬时曝光时间，以及通过联合标定程序确定的激光雷达与相机之间的相对偏航角，根据上述信息确定相机在拍摄单帧图像时由于内部芯片的自动曝光时间控制算法带来的拍摄角度误差，进而将至少两个相机的安装角度减去相应的拍摄角度误差后作为各自的触发角度。由于触发角度的确定是根据激光雷达获取点云对应的时间戳确定，且对由于相机的瞬时曝光时间所带来的角度偏差进行了修正，从而实现了对相机实际触发角度的确定，也即触发角度。因此，当激光雷达扫描至相机所在的安装角度时，相机完成曝光进行图像数据的获取，进而能够确保激光雷达的点云数据获取与相机的图像数据获取同步，由于数据包的获取是毫秒级的，从而能够确保采用上述同步方法能够实现的同步精度可以达到毫秒级。

可选的，所述激光雷达的属性信息至少包括激光雷达的工作频率；所述联合标定信息至少包括相对偏航角；至少两个相机的属性信息包括相机的自动曝光时间控制算法；

相应地，根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度，包括：

根据所述时间戳和所述相机的自动曝光时间控制算法，确定至少两个相机的瞬时曝光时间；

根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度。

其中，工作频率是指单位时间内激光雷达旋转的圈数，也即水平扫描频率，根据工作频率可以确定激光雷达旋转一圈所需要的时间，进而可以确定激光雷达在每个单位时间内所旋转的角度，也即单位旋转角度。例如，激光雷达的工作频率为10Hz，则激光雷达旋转一圈所需要的时间为100ms，相应的激光雷达在1ms内旋转的角度为(360°/100ms)，也即3.6°，其单位旋转角度为3.6°。相对偏航角是指对两个传感器，即激光雷达和相机，进行联合标定时获取到两者之间的旋转矩阵和平移向量，将两者统一到同一坐标系后获取到两个传感器的相对安装角度即为相对偏航角。

具体的，由于相机从被触发(也即收到图像数据获取指令的时候)到实际完成单帧图像数据的获取，需要经过自动曝光，自动曝光时间会给相机的实际拍摄角度带来一定的误差，因此需要实时获取相机的瞬间曝光时间，将其转换成角度值，提前触发相机，使实际拍摄角度与相机的实际安装角度尽可能重合，提前触发相机的角度即为触发角度。在本实施例中，相机自己有自动曝光时间控制算法，会调整每帧的曝光时间，因此根据激光雷达获取点云数据的时间戳，即可根据各相机自己的自动曝光时间控制算法确定在当前时间下各相机的瞬时曝光时间，瞬时曝光时间反映了在当前时间下相机由于自动曝光导致的拍摄的延迟时间。根据时间戳以及各相机的自动曝光时间控制算法实时获取相机的瞬时曝光时间，再根据激光雷达的工作频率以及激光雷达与相机的相对偏航角分别确定所有相机的触发角度。

通过在激光雷达获取数据包时将相机的瞬时曝光时间转换为相机的触发角度，实现对相机实际拍摄角度误差的确定，进而对该误差进行修正后确定实际的触发角度也即触发角度，进而提高相机与激光雷达的同步准确度。由于数据包的获取间隔可以达到毫秒级，比如以水平扫描频率为10Hz的激光雷达为例，其每间隔2.16度输出一个数据包，也即相当于每0.6毫秒就会有一个数据包的输出，相当于每间隔0.6毫秒就会执行一次激光雷达和相机的同步判断，进而确保采用这种方法的同步精度可以达到毫秒级。可以理解，随着激光雷达的水平角度分辨率的减小，数据包的输出间隔会更加小，其同步精度也会更加准确。

步骤103、根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。

具体的，根据所述扫描角度和触发角度，确定激光雷达与相机之间的角度差，若存在任一相机的触发角度与激光雷达的扫描角度接近，二者角度的差值绝对值小于或等于角度阈值，则将该相机确定为目标相机，即在此刻触发该目标相机开始执行拍照操作，也即当激光雷达扫描至触发角度时触发目标相机开始执行拍照操作，目标相机被触发后进入自动曝光，自动曝光完成后获取图像数据，与此同时激光雷达经过目标相机自动曝光的时间刚好扫描至目标相机的安装角度，从而确保在时刻下以及该角度下，目标相机获取的图像数据与激光雷达获取到的点云数据是同步的。可选的，相机可以通过硬件线控触发拍照，实时检测激光雷达的旋转角度值，结合相机由于自动曝光导致的自身延迟角度，确定相机的触发角度，并触发相机的拍照。

通过根据相机自动曝光的工作特点，在确定相机与激光雷达之间的相对偏航角角度情况下，加入根据瞬时曝光时间确定的触发角度的判断依据，即加入动态角度修正机制，实现了激光雷达与相机之间的完全帧同步，实现毫米级同步。

本发明实施例基于在激光雷达获取扫描角度的同时，对多个相机的触发角度进行确定，实现对相机动态延迟情况的确定；根据激光雷达的扫描角度以及相机的触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，从而在所述激光雷达位于触发角度时触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据，从而实现相机和激光雷达的精准同步，能够提高扫描角度与相机获取图像的匹配度，最大化激光雷达与多个相机的融合视野。

实施例二

图2(a)是本发明实施例二中的激光雷达与相机同步方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2(a)所示，所述方法包括：

步骤201、获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳。

步骤202、根据所述时间戳和至少两个相机的自动曝光时间控制算法，确定至少两个相机的瞬时曝光时间。

在触发相机实际拍照时，由于相机内部工作原理，导致相机拍摄会存在延时，例如相机内部芯片会有自动曝光时间控制算法，使得相机的实际拍摄角度会比实际安装角度大，存在角度上的误差。因此，为了实现激光雷达获取点云数据与相机拍摄图像的完全同步性，需要实时获取相机的瞬时曝光时间，将其转换为角度值，提前触发相机，使实际拍摄角度与实际安装角度尽可能重合，减小相机与激光雷达的同步误差时间。

步骤203、根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度。

具体的，根据相机的瞬时曝光时间确定触发角度需要结合激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，通过一定的计算机制实现对相机的触发角度的确定。

可选的，根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度，包括：

根据激光雷达的工作频率，确定激光雷达单位时间扫描的单位角度值；

根据如下公式确定至少两个相机的触发角度：α＝ψ-τ×θ；

其中，α为任一相机的触发角度，ψ为激光雷达与该相机的相对偏航角，τ为该相机的瞬时曝光时间，θ为所述单位角度值。

具体的，激光雷达的工作频率是激光雷达在单位时间(例如1秒)内的旋转圈数，能够反映激光雷达在扫描一圈所需要的时间，单位角度值是指在激光雷达在工作频率下每个单位时间(例如每1毫秒)的旋转角度。示例性的，对于工作频率为10赫兹的激光雷达，其旋转一圈的时间为100毫秒，则每毫秒旋转的角度值为360度除以100毫秒。则相机由于自动曝光所导致的角度延迟就等于自动曝光时间乘以激光雷达的单位角度值，也即在自动曝光时间内激光雷达旋转的角度。则任一相机的触发角度为激光雷达与该相机的相对偏航角与角度延迟的差，该差值反映了在对相机进行联合标定后确定的相对偏航角基础上考虑了因相机自身原因造成的延迟差。示例性的，在上述示例的基础上，对于工作频率为10赫兹的激光雷达，其每隔2.16度输出一个点云数据包，如图2(b)所示，α为一号相机的实际安装角度，α’为因曝光造成的实际拍摄角度，为了保证实际拍摄角度与实际安装角度尽可能重合，因此需要消除α’-α的角度差，提前触发相机，也即在激光雷达扫描至相机实际安装角度之前触发相机，进而减小相机与激光雷达的同步误差时间。对于图2(b)中激光雷达共连接了三个相机，则分别根据三个相机在时间戳下的瞬时曝光时间确定各自的触发角度。

步骤204、确定所述扫描角度和触发角度之间的差值绝对值。

具体的，确定激光雷达数据解析得到的当前数据包中的角度，并根据每个相机的触发角度分别求与扫描角度的差值绝对值。示例性的，对于连接了三个相机的激光雷达，三个相机相对于激光雷达的相对偏航角度分别是80度、160度以及240度，也即其实际安装角度可以参照图2(b)所示。图2(b)中显示的相机实际拍摄角度是指没有执行本申请中的同步方法下的实际拍摄角度，其余实际安装角度之间存在一个延时角度偏差。本申请中，会对该延时角度偏差进行修正，从而确保相机的实际拍摄角度与安装角度相统一，以实现与激光雷达的同步。

获取到的数据包的时间戳，且其扫描角度为79度，根据数据包获取的时间戳以及扫描角度可以确定出来三个相机的在该数据包的时间戳下的触发角度分别为79.8度、159.8度以及239.8度，则确定的扫描角度和触发角度之间差值绝对值分别为：一号相机为0.8度、二号相机为80.8度以及三号相机为160.8度。

步骤205、在所述任一相机的差值绝对值小于或等于角度阈值时，确定该相机为目标相机；所述角度阈值根据所述激光雷达的水平角度分辨率确定。

其中，角度阈值是指根据激光雷达的属性确定激光雷达与相机同步所允许的角度误差值。示例性的，对于工作频率为10赫兹的激光雷达，激光雷达每间隔2.16度输出一个数据包，也即激光雷达的水平角度分辨率可以达到2.16度，则其角度阈值可设置为2.16度。可选地，角度阈值等于激光雷达的水平角度分辨率。在其他的实施例中，该角度阈值也可以在激光雷达的水平角度分辨率的预设偏差范围内，比如小于两倍的水平角度分辨率且大于二分之一的角度分辨率。

具体的，若与激光雷达连接的所有相机中存在某一相机的差值绝对值小于角度阈值，则说明该相机是需要与激光雷达在进行同步的，确定该相机为目标相机，并触发该相机开始执行拍照操作，以确保相机在激光雷达扫描至相机的安装角度时同步获取一帧图像数据，该图像数据与激光雷达在相机的安装角度获取的点云数据同步，从而能够利用目标相机获取得到的图像数据对点云数据进行点云着色，提高对周围环境确定的准确性。示例性的，在上述示例的基础上，角度阈值为2.16度，则确定一号相机为目标相机，控制一号相机拍照获取图像数据。

可选的，所述方法还包括：

在各相机的差值绝对值均大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

示例性的，在上述示例的基础上，若获取到的激光雷达的扫描角度为50度，则其与任何一个相机的差值绝对值都不在角度阈值范围内，则不会产生目标相机，重新对新一帧的点云数据(也即新的数据包)进行分析处理，也即返回执行步骤201及其后续步骤。

通过激光雷达与多相机进行同步，对周围环境进行扫描探测，激光雷达可通过步进电机进行控制整体旋转，激光雷达可实现360度全方位范围内环境扫描探测，多个相机的视野与激光雷达视野重合，可以输出尽可能多的彩色点云。因此保证激光雷达获取点云数据与相机拍摄图像之间的同步性，可以提高输出彩色点云的准确性。本发明实施例可用于测绘用途，兼顾相机与激光雷达的优点，白天可以输出彩色点云，在黑夜也可以输出带强度的点云，可以全天候进行测绘。并且对于本发明实施例中激光雷达可与任意接口的相机进行组合使用，提高相机的通用性。本发明实施例也可应用在车载测绘，背包型便携测绘等多种移动平台以及安防监控对运动目标的监测。

本发明实施例基于在激光雷达获取扫描角度的同时，对多个相机的触发角度进行确定，实现对相机动态延迟状态的确定；根据扫描角度和触发角度之间差值绝对值与角度阈值的比较，确定在获取扫描角度的当前时刻与激光雷达处于同步的目标相机，实现激光雷达与相机的同步，提高扫描角度与相机获取图像的匹配度，最大化激光雷达与多个相机的融合视野。

实施例三

图3是本发明实施例三中的激光雷达与相机同步方法的流程图，本实施例可适用于解决多线机械式激光雷达与多个相机结合使用时的同步情况。该方法可以由激光雷达与相机同步装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在设备中，例如设备可以是后台服务器等具有通信和计算能力的设备。如图3所示，该方法具体包括：

步骤301、获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳。

步骤302、根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机。

根据激光雷达当前的扫描角度，以及激光雷达与所有相机的联合标定信息确定的所有相机的安装角度，预先确定一个目标相机，该目标相机距离激光雷达的当前扫描角度最近。

根据扫描角度以及联合标定信息提前确定目标相机，便于提高激光雷达与相机的同步效率。只需要确定目标相机的触发角度，不需要关注其他非目标相机的触发角度，减少后续同步确定过程中的步骤，提高同步效率。

可选的，所述根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机，包括：

所述联合标定信息至少包括相对偏航角；

将相对偏航角与所述扫描角度的差值绝对值最小的相机确定为目标相机；或者将前一次触发的相机所相邻的下一相机作为目标相机。

通过联合标定程序确定的激光雷达与相机之间的相对偏航角，从而对相机的安装角度进行确定，并确定相机的相对偏航角与扫描角度的差值绝对值最小的相机为目标相机，目标相机表示了激光雷达在旋转过程中即将接近的相机。或者将与激光雷达完成同步动作的相机的相邻下一相机作为目标相机，从前一次触发的相机到该目标相机的方向与激光雷达的旋转方向一致。

步骤303、根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度。

步骤304、在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。

步骤305、在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

确定目标相机后，若该目标相机的触发角度与扫描角度的差值绝对值小于等于角度阈值，说明该目标相机在该扫描角度的时刻下达到触发时机，并且在该触发时机下获取到的图像数据与激光雷达在该时刻获取到的点云数据是同步的。

若该目标相机的触发角度与扫描角度的差值绝对值大于角度阈值，说明在该时刻不是触发时机，需要继续执行获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤，直至确定存在某时刻激光雷达获取到的扫描角度与触发角度之间的差值绝对值小于等于角度阈值。

并且在本发明实施例中未详细说明的步骤可参考上述实施例，在此不作赘述。

本发明实施例基于激光雷达的扫描角度以及相机的安装角度预先确定即将与激光雷达达到同步的目标相机，直接判断目标相机的触发角度，根据对目标相机的触发角度与扫描角度的判断，确定同步时机，进而触发该目标相机，以实现激光雷达与相机在相机安装角度的数据同步。本发明实施例通过预先确定目标相机，避免需要对激光雷达连接的所有相机的触发角度进行确定，节省了同步确定的步骤，提高同步效率。

实施例四

图4是本发明实施例四中的激光雷达与相机同步装置的结构示意图，本实施例可适用于解决多线机械式激光雷达与多个相机结合使用时的同步情况。如图4所示，该装置包括：

扫描角度获取模块410，用于获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

触发角度确定模块420，根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；

目标相机确定模块430，根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。

本发明实施例基于在激光雷达获取扫描角度的同时，对多个相机的触发角度进行确定，实现对相机动态延迟情况的确定；根据激光雷达的扫描角度以及相机的触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，从而在所述激光雷达位于触发角度时触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据，从而实现相机和激光雷达的精准同步，能够提高扫描角度与相机获取图像的匹配度，最大化激光雷达与多个相机的融合视野。

可选的，所述激光雷达的属性信息至少包括激光雷达的工作频率；所述联合标定信息至少包括相对偏航角；至少两个相机的属性信息包括相机的自动曝光时间控制算法；

相应地，触发角度确定模块420，包括：

瞬时曝光时间确定单元，根据所述时间戳和至少两个相机的自动曝光时间控制算法，确定至少两个相机的瞬时曝光时间；

触发角度确定单元，用于根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度。

可选的，触发角度确定单元，具体用于：

根据激光雷达的工作频率，确定激光雷达单位时间扫描的单位角度值；

根据如下公式确定至少两个相机的触发角度：α＝ψ-τ×θ；

其中，α为任一相机的触发角度，ψ为激光雷达与该相机的相对偏航角，τ为该相机的瞬时曝光时间，θ为所述单位角度值。

可选的，扫描角度获取模块410，具体用于：

获取激光雷达扫描过程中的输出数据包；

对所述输出数据包进行解析，确定数据包中的扫描角度和所述输出数据包的时间戳。

可选的，目标相机确定模块430，具体用于：

确定所述扫描角度和触发角度之间的差值绝对值；

在所述任一相机的差值绝对值小于或等于角度阈值时，确定该相机为目标相机；所述角度阈值根据所述激光雷达的水平角度分辨率确定。

可选的，所述装置还包括目标相机未确定模块，具体用于：

在各相机的差值绝对值均大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

本发明实施例所提供的激光雷达与相机同步装置可执行本发明任意实施例所提供的激光雷达与相机同步方法，具备执行激光雷达与相机同步方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五中的激光雷达与相机同步装置的结构示意图，本实施例可适用于解决多线机械式激光雷达与多个相机结合使用时的同步情况。如图5所示，该装置包括：

扫描角度获取模块510，用于获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳。

目标相机确定模块520，用于根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机。

触发角度确定模块530，用于根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度。

角度阈值条件满足模块540，用于在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。

角度阈值条件不满足模块550，用于在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

本发明实施例基于在激光雷达获取扫描角度的同时，对多个相机的触发角度进行确定，实现对相机动态延迟状态的确定；根据激光雷达的扫描角度以及相机的触发角度，确定在获取扫描角度的当前时刻与激光雷达处于同步的目标相机，实现激光雷达与相机的同步，提高扫描角度与相机获取图像的匹配度，最大化激光雷达与多个相机的融合视野。

可选的，目标相机确定模块520，具体用于：

所述联合标定信息至少包括相对偏航角；

将相对偏航角与所述扫描角度的差值绝对值最小的相机确定为目标相机；或者将前一次触发的相机所相邻的下一相机作为目标相机。

本发明实施例所提供的激光雷达与相机同步装置可执行本发明任意实施例所提供的激光雷达与相机同步方法，具备执行激光雷达与相机同步方法相应的功能模块和有益效果。

实施例六

图6是本发明实施例六提供的一种测绘系统的结构示意图。图6显示的各设备仅仅是一个示例，并且图中模糊的地方与本方案技术细节无关，不应对本发明实施例的功能和使用范围带来任何限制。其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的激光雷达与相机同步方法，包括：

激光雷达，用于对目标区域进行扫描以获取点云数据，根据所述点云数据确定扫描当前帧点云数据时的扫描角度和时间戳；如图6中标号1所示为激光雷达。

至少两个相机，分别设置于所述激光雷达的不同方位，以获取图像数据；如图6中标号3所示为连接的三个相机。以及

控制设备，分别与所述激光雷达和各相机连接；如图6中标号2所示为控制设备。所述控制设备包括存储装置和一个或多个处理器；所述存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的激光雷达与相机同步方法。

实施例七

图7是本发明实施例七提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备12的框图。图7显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的激光雷达与相机同步方法，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；

根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。或

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机；

根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度；

在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据；以及

在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

实施例八

本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的激光雷达与相机同步方法，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；

根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据。或

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机；

根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度；

在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据；以及

在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种激光雷达与相机同步方法，其特征在于，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度；

所述触发角度是动态修正的；

根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，以在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据;

所述激光雷达的属性信息至少包括激光雷达的工作频率；所述联合标定信息至少包括相对偏航角；至少两个相机的属性信息包括相机的自动曝光时间控制算法；

相应地，根据所述时间戳、激光雷达的属性信息，至少两个相机的属性信息以及激光雷达与至少两个相机的联合标定信息，确定至少两个相机的触发角度，包括：

根据所述时间戳和至少两个相机的自动曝光时间控制算法，确定至少两个相机的瞬时曝光时间；

根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度。

2.根据权利要求1所述的方法，其特征在于，根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与至少两个相机的相对偏航角，确定至少两个相机的触发角度，包括：

根据激光雷达的工作频率，确定激光雷达单位时间扫描的单位角度值；

根据如下公式确定至少两个相机的触发角度：

；

其中，

为任一相机的触发角度，

为激光雷达与该相机的相对偏航角，

为该相机的瞬时曝光时间，

为所述单位角度值。

3.根据权利要求1所述的方法，其特征在于，获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳，包括：

获取激光雷达扫描过程中的输出数据包；

对所述输出数据包进行解析，确定数据包中的扫描角度和所述输出数据包的时间戳。

4.根据权利要求1所述的方法，其特征在于，根据所述扫描角度和触发角度，从所述至少两个相机中确定待与所述激光雷达同步的目标相机，包括：

确定所述扫描角度和触发角度之间的差值绝对值；

在任一相机的差值绝对值小于或等于角度阈值时，确定该相机为目标相机；所述角度阈值根据所述激光雷达的水平角度分辨率确定。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在各相机的差值绝对值均大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤。

6.一种激光雷达与相机同步方法，其特征在于，包括：

获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳；

根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机；

根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达与所述相机的联合标定信息，确定所述目标相机的触发角度；

在所述扫描角度和触发角度之间的差值绝对值小于或等于角度阈值时，在所述触发角度触发所述目标相机开始执行获取图像数据的操作，以使得所述目标相机在所述激光雷达扫描至所述目标相机的安装角度时同步获取到图像数据；以及

在所述扫描角度和触发角度之间的差值绝对值大于所述角度阈值时，返回执行所述获取激光雷达实时扫描过程中的扫描角度和所述扫描角度的时间戳的步骤；

所述激光雷达的属性信息至少包括激光雷达的工作频率；目标相机的属性信息包括相机的自动曝光时间控制算法；

相应地，根据所述时间戳、激光雷达的属性信息，目标相机的属性信息以及激光雷达所述相机的联合标定信息，确定目标相机的触发角度，包括：

根据所述时间戳和相机的自动曝光时间控制算法，确定相机的瞬时曝光时间；

根据所述瞬时曝光时间、激光雷达的工作频率，以及激光雷达与所述相机的相对偏航角，确定目标相机的触发角度；

所述触发角度是动态修正的。

7.根据权利要求6所述的方法，其特征在于，所述根据所述扫描角度、激光雷达与至少两个相机的联合标定信息确定目标相机，包括：

所述联合标定信息至少包括相对偏航角；

将相对偏航角与所述扫描角度的差值绝对值最小的相机确定为目标相机；或者将前一次触发的相机所相邻的下一相机作为目标相机。

8.一种测绘系统，其特征在于，包括：

激光雷达，用于对目标区域进行扫描以获取点云数据，根据所述点云数据确定扫描当前帧点云数据时的扫描角度和时间戳；

至少两个相机，分别设置于所述激光雷达的不同方位，以获取图像数据；以及

控制设备，分别与所述激光雷达和各相机连接；所述控制设备包括存储装置和一个或多个处理器；所述存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的激光雷达与相机同步方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的激光雷达与相机同步方法。

Images