CN114509776B - 硬件级图像融合系统的同步测量装置、方法、设备及介质 - Google Patents

Abstract

本公开涉及硬件级图像融合系统的同步测量装置、方法、设备及介质，该装置包括：沿第一方向呈阶梯状排列的标定块；发光元件，对应设置于每个标定块的阶梯面侧；发光元件各不相同，且均设置为按照预设频率发光；装置设置为沿第二方向平动或者绕第二方向转动，第二方向平行于硬件级图像融合系统的光轴方向，第一方向与第二方向垂直。由此，通过采集该装置运动过程中的信息，并结合结果参数和运动参数进行计算，可确定时间同步精度和空间同步精度，从而能够实现时间同步测量和空间同步测量。

Description

硬件级图像融合系统的同步测量装置、方法、设备及介质

技术领域

本公开涉及光电测量技术领域，尤其涉及一种硬件级图像融合系统的同步测量装置、方法、设备及介质。

背景技术

随着人工智能、通信技术（如5G）的普及，加速了自动驾驶和智能交通的发展。激光雷达作为三维环境感知的重要信息源头，是实现自动驾驶、车路协同、交通运输安全、高效及绿色发展愿景的重要保障。当前，多种技术体制异彩纷争、新产品层出不穷，激光雷达的研究与应用进入了高速发展期。

在自动驾驶和智能交通中，激光雷达与图像是环境感知中必不可少的环节，激光雷达可以提供距离信息但缺少环境细节，图像可以展现环境细节但是缺少距离信息，激光雷达与图像的融合是必然的趋势。数据融合系统中一核心的技术是攻克系统时间同步与空间同步的问题。相关技术中，通常只能够实现时间同步的测量，无法同时测量时间同步和空间同步，且测量装置本身相对复杂，信号延迟较严重，导致测量精度较差。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种硬件级图像融合系统的同步测量装置、方法、设备及介质。

本公开提供了一种硬件级图像融合系统的同步测量装置，包括：

沿第一方向呈阶梯状排列的标定块；

发光元件，对应设置于每个标定块的阶梯面侧；所述发光元件各不相同，且均设置为按照预设频率发光；

所述装置设置为沿第二方向平动或者绕第二方向转动，所述第二方向平行于硬件级图像融合系统的光轴方向，所述第一方向与所述第二方向垂直。

可选地，所述标定块为立方块，所述立方块的边长a满足：4cm≤a≤10cm；

单个阶梯的高度b满足：2cm≤a≤4cm。

可选地，不同阶梯面侧的所述发光元件的发光颜色各不相同；

和/或，不同阶梯面侧的所述发光元件的出光图案各不相同。

可选地，该装置还包括：

旋转固定件，设置为允许所述装置平动或转动；

在所述旋转固定件的相对两侧对称设置阶梯状排列的标定块以及对应的所述发光元件。

本公开还提供了一种基于上述任一种装置的硬件级图像融合系统的同步测量方法，该方法包括：

控制所述装置的阶梯面朝向待测量系统，且所述测量装置沿第二方向平动或者绕第二方向转动；

在所述测量装置运动过程中，控制所述发光元件按照预设时间间隔分别发光预设时长；

利用待测量系统同步采集图像数据与点云数据；

基于所述图像数据和所述点云数据，确定所述待测量系统的时间同步精度和空间同步精度。

可选地，所述测量装置的平动速率v满足：v=L/t；

其中，L代表单个阶梯的高度，t代表发光元件的发光时间间隔；

确定所述待测量系统的时间同步精度，包括：

基于相邻两个阶梯面侧的发光元件发光时的图像数据以及点云数据，确定相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第一距离差；

基于所述第一距离差，结合所述测量装置的平动速率，确定待测量系统的时间同步精度。

可选地，所述测量装置的转速n满足：2r/s≤n≤10r/s；

确定所述待测量系统的空间同步精度，包括：

基于不同阶梯面侧的发光元件依次发光时对应的图像信息和点云信息，确定每相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第二距离差；

基于所述第二距离差，结合所述测量装置中的单个阶梯的高度，确定待测量系统的空间同步精度。

本公开还提供了一种硬件级图像融合系统的同步测量装置，包括：

运动控制模块，设置为控制所述装置的阶梯面朝向待测量系统，且所述测量装置沿第二方向平动或者绕第二方向转动；

发光控制模块，设置为在所述测量装置运动过程中，控制所述发光元件按照预设时间间隔分别发光预设时长；

数据获取模块，设置为利用待测量系统同步采集图像数据与点云数据；

精度确定模块，设置为基于所述图像数据和所述点云数据，确定所述待测量系统的时间同步精度和空间同步精度。

本公开还提供了一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行上述任一种方法的步骤。

本公开还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行上述任一种方法的步骤。

本公开提供的技术方案与现有技术相比具有如下优点：

本公开提供的硬件级图像融合系统的同步测量装置，该装置包括沿第一方向呈阶梯状排列的标定块；发光元件，对应设置于每个标定块的阶梯面侧；发光元件各不相同，且均设置为按照预设频率发光；装置设置为沿第二方向平动或者绕第二方向转动，第二方向平行于硬件级图像融合系统的光轴方向，第一方向与第二方向垂直。由此，提供了一种针对硬件级图像融合系统的时间同步和空间同步测量装置；通过设置阶梯状结构受控运动，获取运动过程中的图像信息和点云信息，以结合该测量装置的结构参数以及运动参数进行计算，确定时间同步精度和空间同步精度，实现时空同步测量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为相关技术中的同步原理示意图；

图2为相关技术中的一种硬件级图像融合系统的结构示意图；

图3为相关技术中的一种时间同步的信号传输流程示意图；

图4为相关技术中的一种时间同步系统的结构示意图；

图5为本公开实施例提供的一种测量装置的结构示意图；

图6为本公开实施例提供的一种测量方法的流程示意图；

图7为本公开实施例提供的一种测量装置与图像融合系统的相对位置关系示意图；

图8为本公开实施例提供的测量装置的一种运动状态示意图；

图9为本公开实施例提供的测量装置的另一种运动状态示意图；

图10为本公开实施例提供的一种测量装置的结构示意图；

图11为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

首先，结合图1-图4，对相关技术中的同步系统及同步测量方案进行说明。

激光雷达与图像的数据融合系统中一核心的技术是攻克系统时间同步和空间同步的问题。其中，空间同步指将基于不同传感器坐标系的测量值转换到同一个坐标系下，如要实现激光点云和图像融合，需要建立精确的三维世界坐标系、雷达坐标系、相机坐标系等之间的坐标转换关系。时间同步指统一的外部时钟源给各传感器提供相同的基准时间，各传感器再根据已经校准后的各自时间为采集的不同类别数据加上时间戳信息，从而实现所有传感器时间戳同步。

激光点云和图像融合的传统方式是数据后融合，如图1中的同步方案1（虚线上部分所示），即：硬件分别触发雷达发送模组和图像探测模组，随即激光模拟前端和图像模拟前端分别获得点云数据和图像数据，再分别经激光信号处理模块和图像信号处理模块，得到带有时间戳的点云数据和图像数据。这些数据再经路由器或者交换机传输至上位机，经感知和融合处理算法处理实现点云和图像的融合。图1中还示出了一种硬件级前融合系统的同步方案，即同步方案2（虚线下部分所示），即：由外部时钟源同时触发雷达发射模组和图像探测模组，实现数据获取层面时间对准，同时，由于图像融合激光的雷达探测系统设计和机械加工精度保证了点云数据与图像数据的测量值在同一个坐标系下，且保证了同一时刻激光和图像测到同一个物体。这样，激光模拟前端和图像模拟前端分别得到的点云数据和图像数据再分别经过对应的信号处理模块，得到带有时间戳或时间序列顺序的结构化点云和图像数据，进而实现点云和图像的时间同步。

上述同步方案1中，当环境融合感知方案采用分离传感器（即激光雷达和图像）进行数据后融合时，是通过算法对不同传感器的数据进行时间和空间上的标定与匹配，但后融合时空同步精度难以达到要求，并且融合图像模糊通信数据量大、易受噪声数据影响、处理数据量大且对AI芯片算力要求极高。

针对其所提出的同步方案2中，一方面利用外部时钟源实现同步触发，另一方面利用激光和图像共光路光学系统，如图2所以，由此保证了激光雷达与相机的空间对偶关系，因而不需要额外的融合感知算法处理就可以将不同传感器坐标系的测量值转换到同一个坐标系中，实现了激光雷达和图像的硬件级融合，在一定程度上解决了多传感器数据难以同步的痛点。但是，相关技术中，还没有针对硬件级融合系统的时间同步与空间同步的测量方案。

相关技术中的同步测量方案及其可适用的系统结构举例如图3和图4所示。如图3和图4，示出了一种车载移动激光雷达测量系统时间同步方法，其适用的移动激光雷达测量系统可包括激光雷达、全景相机、时间同步装置等等结构；其中，时间同步装置包括单片机和CAN控制器，时间同步测量方法包括以下步骤：步骤一、单片机接收时间信号并转换成时间戳，同时单片机接收秒脉冲信号，并根据秒脉冲信号采用上升沿触发方式将时间戳在上升沿时刻以数字信号发送；步骤二、CAN控制器接收该数字信号并通过CAN总线传输至激光雷达和全景相机，以使激光雷达和全景相机在同一瞬时时刻做出响应。基于此，最终可通过对比时间戳来判断时间精度。但是，该方法只能测点云数据与图像数据的时间同步，无法同时测量时间同步与空间同步，且系统本身相对复杂并具有一定的时间延迟，测量精度无法达到微秒级要求。

针对此，本公开实施例提出针对硬件级图像融合系统的同步测量装置和方法，以实现时间同步和空间同步测量。示例地，硬件级的图像融合系统如图2所示，其中激光雷达和图像的硬件级融合式系统主要利用共光路系统同步实现时间同步与空间同步，具体地：该系统包括激光发射模组1、分光模组2、光电探测模组3以及图像探测模组4，光电探测模组3和图像探测模组4分设于分光模组2的两侧；激光发射模组1用于向待探测区域发射激光信号；分光模组2用于将待探测区域中的物体反射的回波信号分束为第一信号和第二信号。由此，将光电探测模组3和图像探测模组4耦合到同一个雷达探测系统中，可以免去繁琐的位置转换关系，时间同步精度可以达到微秒级，进而无需增加额外算力即可完成图像和点云的目标识别及融合。该系统还包括聚焦透镜组5，该聚焦透镜组5设置在分光模组2之前，以将聚焦之后的回波信号照射到分光模组2上。

下面结合附图，对本公开实施例提供的同步测量装置（可简称为“测量装置”或“装置”）和方法进行示例性说明。

在一些实施例中，图5为本公开实施例提供的一种测量装置的结构示意图。参照图5，该测量装置10包括：沿第一方向X呈阶梯状排列的标定块110；发光元件120，对应设置于每个标定块110的阶梯面侧；发光元件120各不相同，且均设置为按照预设频率发光；装置设置为沿第二方向Y平动或者绕第二方向Y转动，第二方向Y平行于硬件级图像融合系统的光轴方向，第一方向X与第二方向Y垂直。示例性地，第一方向X、第二方向Y和第三方向Z两两相互垂直，用于限定三维立体空间。

具体地，各标定块110沿第一方向X排列，且相邻标定块110之间在第二方向Y上错开，以构成阶梯面；对应方法中可结合该阶梯状的结构实现同步测量，后文中说明。

进一步地，在每个阶梯面侧均可设置发光元件120，发光元件120可固定于标定块110的阶梯面的表面，或者可在标定块110的标定面一侧嵌入对应标定块110中，在此不限定。

同时，通过设置发光元件120各不相同，使得每个发光元件120均可与其他发光元件120区分开，由此，每个发光元件120都是一个可基于其自身的独特性而被识别（即辨识）的结构元件；对应方法中可结合该发光元件的可识别性实现同步测量，后文中说明。

并且，发光元件120的发光预设频率可基于待测量系统的时间同步需求设置，例如待测量系统的时间同步需求为2ms，则发光元件120的闪烁间隔为2ms。

在上述结构的基础上，该设置有发光元件的阶梯状结构还可受控运动，例如可沿第二方向Y平动，以基于该平动过程中获取到的图像信息和点云信息实现时间同步测试，再如可绕第二方向Y转动，以基于该转动过程中获取到的图像信息和点云信息实现空间同步测试，具体地，结合获取到的图像信息和点云信息进行数据处理，并结合该同步测量装置的结构参数以及运动参数进行计算，确定时间同步精度和空间同步精度，具体流程步骤在后文中详述。

由此，基于该可平动和转动的阶梯式同步测量装置，可实现时间同步测量和空间同步测量。

下面结合图5，对该测量装置的结构参数进行示例性说明。

在一些实施例中，标定块110为立方块，立方块的边长a满足：4cm≤a≤10cm；单个阶梯的高度b满足：2cm≤a≤4cm。

本实施例中，通过设置标定块110的形状为立方块，可使标定块的结构简单，该测量装置整体的空间形状简单且规则，降低设计和制作难度。能够理解的是，该测量装置可由独立的立方块组合而成，或者按照预设的形状一体成型，在此不限定。

示例地，立方块的边长a对应于立方块在第一方向X上的长度。该立方块的边长a可为4cm、10cm、6.5cm、8.7cm、5cm、9cm、5cm~6cm或者其他距离值或者距离范围，在此不限定。

示例性地，单个阶梯的高度b对应于相邻两个发光元件之间的垂直距离，即在第一方向X上的距离。该单个阶梯的高度b可为2cm、4cm、3cm、2.8cm、3.6cm、2cm~3cm或者其他高度值或者高度范围值，在此不限定。

具体地，针对激光雷达和图像的硬件级融合式传感系统（即硬件级图像融合系统，待测量系统），当其距离分辨率为2cm时，不同立方块之间具有一个高度差，该高度差对应单个阶梯的高度。因此，通过设置立方块的边长不能过小，以满足阶梯高度要求，以及满足测量结构的整体稳固性要求；同时，设置立方块的边长不能过大，在满足同步测量需求的同时，使得测量装置整体仍具有一定的便携性，且便于控制，易于实现同步测量的整体过程。

在其他实施方式中，标定块110的形状还可为长方体或其他立体形状，在确保相邻发光元件之间的高度差的前提下，可基于测量装置的需求设置标定块的形状，在此不限定。

能够理解的是，标定块100的形状为标定块的外部轮廓形状，其内部可为实心结构，也可为空心结构，当将其设置为空心结构时，还可减少测量装置的整体重量，从而提升操作便捷性。

在一些实施例中，不同阶梯面侧的发光元件120的发光颜色各不相同；和/或，不同阶梯面侧的发光元件120的出光图案各不相同。

如此设置，可使得每个发光元件120各不相同，可识别性强，便于实现时间同步测量和空间同步测量。

示例性地，结合图5，当单侧发光元件120的数量为4个时，可设置四种不同的发光颜色，例如分别为绿色、黄色、蓝色和红色，或者为四种其他不同的颜色，在此不限定。并且/或者，还可设置各不同发光元件120的出光图案各不相同，例如设置四种不同的出光图案，例如分别为圆形、椭圆形、三角形和正方形，或者为四种其他不同的出光图案，在此不限定。

示例性地，发光元件120为发光二极管（light-emitting diode，LED）。

或者，发光元件120还可为其他类型的具有发光功能的结构部件，在此不限定。

在一些实施例中，继续参照图5，该装置10还可包括：旋转固定件130，设置为允许装置平动或转动；在旋转固定件130的相对两侧对称设置阶梯状排列的标定块110以及对应的发光元件120。

其中，旋转固定件130用于支撑标定块110构成的阶梯状结构，并允许其运动，包括允许阶梯状结构平动和转动。

示例性地，旋转固定件130可为旋转杆，旋转杆的延伸方向平行于第二方向Y，位于旋转杆两侧的阶梯状结构可以旋转杆为轴，绕轴360度旋转。或者，旋转固定件130还可替换为定位球，对应的，两侧的阶梯状结构可绕定位球在各个方向任意旋转。

本实施例中，在旋转固定件130的两侧对称设置阶梯状结构，使得旋转固定件130的相对两侧受力均匀性较好，便于实现测量方法中的运动控制，减少磨损，延长使用寿命。

在其他实施方式中，还可仅在旋转固定件130的一侧设置阶梯状结构，以在实现时空同步测量的同时，简化测量装置的结构，提升便携性和可操作性。

本公开实施例提供的硬件级融合系统的同步测量装置，即时间同步与空间同步的测量装置采用旋转阶梯状结构，该装置的中间可为旋转固定件，在旋转定位件的相对两侧设置阶梯状的立方块，相邻立方块的阶梯面之间的距离小于单个立方块的边长；两侧立方块的阶梯面分别设置发光元件，发光元件各不相同，且其闪烁频率可以基于同步测量需求调节；通过设置该阶梯状结构受控运动，获取运动过程中的图像信息和点云信息，并结合该测量装置的结构参数以及运动参数进行计算，确定时间同步精度和空间同步精度，如此实现时空同步测量。

本公开实施例还提供了一种基于上述任一种装置的硬件级图像融合系统的同步测量方法。

示例性地，图6为本公开实施例提供的一种测量方法的流程示意图。参照图6，该方法可包括如下步骤：

S201、控制装置的阶梯面朝向待测量系统，且测量装置沿第二方向平动或者绕第二方向转动。

其中，同步测量装置的阶梯面为其具有可辨识标识的表面，可辨识标识例如可包括各不相同的发光元件以及相邻的不同发光元件之间的距离（即单个阶梯的高度）。由此，将该装置的阶梯面朝向待测量系统，如图7所示，可利用待测量系统采集到可辨识标识关联的特征参数，以便后续结合平动和转动的运动参数，确定时空测量精度。

S202、在测量装置运动过程中，控制发光元件按照预设时间间隔分别发光预设时长。

结合上文，该步骤中，在同步测量装置平动或转动的过程中，控制发光元件，例如LED灯按照预设频率闪烁，即按照预设时间间隔分别发光，且发光时长为预设时长。

示例性的，为了便于简化后续数据处理过程，该预设时间间隔可为系统时间分辨率的整数倍，可选的，该发光预设时长小于时间间隔，以使各发光元件分别闪烁，且发光时间不交叠，即同一时刻下只有具有相同可辨识标识的发光元件发光。

S203、利用待测量系统同步采集图像数据与点云数据。

结合上文，该步骤中，在控制同步测量装置运动及发光元件同步发光的同时，利用待测量系统中的传感器和相机分别采集点云数据和图像数据，从而得到图像信息和点云信息。

S204、基于图像数据和点云数据，确定待测量系统的时间同步精度和空间同步精度。

具体地，基于图像数据和点云数据，识别阶梯状结构的可辨识特征，进一步结合结构参数和运动参数，即可确定带测量系统的时间同步精度和空间同步精度。

示例性的，针对硬件级图像融合系统的时间同步与空间同步的测量装置采用旋转阶梯式结构，其中间为旋转杆，两侧为阶梯式的立方块，立方块的大小可为4cm×4cm×4cm，相邻立方块的上表面（即阶梯面）之间的距离为2cm；两侧的立方块上表面分别装有绿色、黄色、蓝色和红色的LED灯，LED灯的高度可为1cm，且LED灯的闪烁频率可以根据同步测量方法的需求调节。

在一些实施例中，测量装置的平动速率v满足：v=L/t；

其中，L代表单个阶梯的高度，t代表发光元件的发光时间间隔；

确定待测量系统的时间同步精度，包括：

基于相邻两个阶梯面侧的发光元件发光时的图像数据以及点云数据，确定相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第一距离差；

基于第一距离差，结合测量装置的平动速率，确定待测量系统的时间同步精度。

如此，实现时间同步测量。

具体的，将硬件级图像融合系统正对时空同步测量装置，即时空同步测量装置放置于待测量系统的扫描区域内，且阶梯面正对系统，以便实现数据采集。示例地：结合图5、图7和图8，时空同步测量装置以10m/s的速率沿垂直于纸面且远离系统方向平动，即沿第二方向Y的正方向运动；以旋转杆为中心，在旋转杆的两侧，沿第一方向X的正方向和负方向，发光元件（例如LED）以间隔2ms的频次由里向外依次发光，且每次发光时长为200µs。开启硬件级融合式雷达系统（即硬件级图像融合系统），同步获取图像数据与点云数据。分别获取绿色LED、黄色LED相邻闪烁时的图像，通过上位机软件查看图像绿色发光点对应的点云距离信息，若对应的距离差为2cm，则说明传感器和相机在时间上同步采集到数据，由此说明硬件级图像融合式系统满足时间同步精度为2ms。

需要说明的是，平动速率与待测量系统的时间同步精度相关。具体的，距离差=平动速率×时间同步精度（即LED发光时间间隔），且距离差必须大于系统距离分辨率，以确保待测量系统可准确分辨相邻两次的采集数据。

在一些实施例中，测量装置的转速n满足：2r/s≤n≤10r/s；

确定待测量系统的空间同步精度，包括：

基于不同阶梯面侧的发光元件依次发光时对应的图像信息和点云信息，确定每相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第二距离差；

基于第二距离差，结合测量装置中的单个阶梯的高度，确定待测量系统的空间同步精度。

如此，实现空间同步测量。

具体的，将硬件级图像融合系统正对时空同步测量装置，即时空同步测量装置放置于待测量系统的扫描区域内，且阶梯面正对系统，以便实现数据采集。示例地：结合图5、图7和图9，时空同步测量装置以5r/s的转速绕第二方向Y顺时针（或逆时针）旋转，以旋转杆为中心，在旋转杆的两侧，沿第一方向X的正方向和负方向，发光元件（例如LED）以间隔1s的频次由里向外依次发光，每次发光时长为200µs。开启硬件级融合式雷达系统，同步获取图像数据与点云数据。分别获取绿色LED、黄色LED、蓝色LED、红色LED闪烁时的图像，通过上位机软件查看图像发光点对应的点云距离信息，若对应的距离以2cm的大小递减，则说明传感器和相机在空间上同步采集到数据，从而说明硬件级图像融合式系统满足空间同步要求。

需要说明的是，2cm是相邻的不同LED灯之间的高度差，与待测量系统的距离分辨率相近。利用不同时刻的图像体现对应于不同LED灯闪烁的画面，且利用不同时刻的点云体现在不同LED灯闪烁状态下对应的距离信息。

本公开实施例提出针对硬件级图像融合系统的时间同步与空间同步的简易测量装置和方法，通过移动阶梯状闪烁LED测量结构，能够更加直观和便捷地测量硬件级图像融合系统的高时间同步精度，不再依赖时间戳信息；通过旋转阶梯状闪烁LED测量结构，能够有效测量硬件级图像融合系统空间同步精度；从而实现时间同步和空间同步的精度测量。

基于同一发明构思，本公开实施例还提供了一种硬件级图像融合系统的同步测量装置，用于执行上述任一种方法的步骤，实现对应的技术效果。

示例性地，图10为本公开实施例提供的一种硬件级图像融合系统的同步测量装置的结构示意图。参照图10，该装置可包括：运动控制模块401，设置为控制装置的阶梯面朝向待测量系统，且测量装置沿第二方向平动或者绕第二方向转动；发光控制模块402，设置为在测量装置运动过程中，控制发光元件按照预设时间间隔分别发光预设时长；数据获取模块403，设置为利用待测量系统同步采集图像数据与点云数据；精度确定模块404，设置为基于图像数据和点云数据，确定待测量系统的时间同步精度和空间同步精度。

在一些实施例中，精度确定模块，具体用于：基于相邻两个阶梯面侧的发光元件发光时的图像数据以及点云数据，确定相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第一距离差；基于第一距离差，结合测量装置的平动速率，确定待测量系统的时间同步精度。

在一些实施例中，精度确定模块，具体还用于：基于不同阶梯面侧的发光元件依次发光时对应的图像信息和点云信息，确定每相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第二距离差；基于第二距离差，结合测量装置中的单个阶梯的高度，确定待测量系统的空间同步精度。

以上实施例公开的硬件级图像融合系统的同步测量装置能够执行以上各实施例公开的硬件级图像融合系统的同步测量方法，具有相同或相应的有益效果，为避免重复，在此不再赘述。

本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述实施方式提供的任一种方法的步骤，具有相同或相应的有益效果。

示例性地，程序或指令使计算机执行一种硬件级图像融合系统的同步测量方法，该方法包括：

控制装置的阶梯面朝向待测量系统，且测量装置沿第二方向平动或者绕第二方向转动；

在测量装置运动过程中，控制发光元件按照预设时间间隔分别发光预设时长；

利用待测量系统同步采集图像数据与点云数据；

基于图像数据和点云数据，确定待测量系统的时间同步精度和空间同步精度。

在一些实施例中，该计算机可执行指令在由计算机处理器执行时还可以用于执行本公开实施例所提供的上述任意硬件级图像融合系统的同步测量方法的技术方案，具有相同或相应的有益效果。

本公开实施例还提供了一种电子设备，其特征在于，包括：处理器和存储器；处理器通过调用存储器存储的程序或指令，用于执行上述实施方式提供的任一种方法的步骤，具有相同或相应的有益效果。

图11为本公开实施例提供的电子设备的硬件结构示意图。如图11所示，电子设备包括一个或多个处理器301和存储器302。

处理器301可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器302可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器301可以运行所述程序指令，以实现上文所述的本公开的实施例的车门控制方法，和/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置303和输出装置304，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

此外，该输入装置303还可以包括例如键盘、鼠标等等。

该输出装置304可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置304可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件，在此不限定。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种硬件级图像融合系统的同步测量装置，其特征在于，包括：

沿第一方向呈阶梯状排列的标定块；

发光元件，对应设置于每个标定块的阶梯面侧；所述发光元件各不相同，且均设置为按照预设频率发光；

所述装置设置为沿第二方向平动或者绕第二方向转动，所述第二方向平行于硬件级图像融合系统的光轴方向，所述第一方向与所述第二方向垂直；

所述装置用于针对硬件级图像融合系统进行时间同步测量和空间同步测量；所述硬件级图像融合系统中，激光雷达和图像采用共光路光学系统，并基于外部时钟源实现同步触发。

2.根据权利要求1所述的装置，其特征在于，所述标定块为立方块，所述立方块的边长a满足：4cm≤a≤10cm；

单个阶梯的高度b满足：2cm≤b≤4cm。

3.根据权利要求1或2所述的装置，其特征在于，不同阶梯面侧的所述发光元件的发光颜色各不相同；

和/或，不同阶梯面侧的所述发光元件的出光图案各不相同。

4.根据权利要求1所述的装置，其特征在于，还包括：

旋转固定件，设置为允许所述装置平动或转动；

在所述旋转固定件的相对两侧对称设置阶梯状排列的标定块以及对应的所述发光元件。

5.一种基于权利要求1-4任一项所述的装置的硬件级图像融合系统的同步测量方法，其特征在于，包括：

控制所述标定块的阶梯面朝向待测量系统，且所述装置沿第二方向平动或者绕第二方向转动；

在所述装置运动过程中，控制所述发光元件按照预设时间间隔分别发光预设时长；

利用待测量系统同步采集图像数据与点云数据；

基于所述图像数据和所述点云数据，确定所述待测量系统的时间同步精度和空间同步精度；

所述方法用于针对硬件级图像融合系统进行时间同步测量和空间同步测量；所述硬件级图像融合系统中，激光雷达和图像采用共光路光学系统，并基于外部时钟源实现同步触发。

6.根据权利要求5所述的方法，其特征在于，所述装置的平动速率v满足：v=L/t；

其中，L代表单个阶梯的高度，t代表发光元件的发光时间间隔；

确定所述待测量系统的时间同步精度，包括：

基于相邻两个阶梯面侧的发光元件发光时的图像数据以及点云数据，确定相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第一距离差；

基于所述第一距离差，结合所述装置的平动速率，确定待测量系统的时间同步精度。

7.根据权利要求5所述的方法，其特征在于，所述装置的转速n满足：2r/s≤n≤10r/s；

确定所述待测量系统的空间同步精度，包括：

基于不同阶梯面侧的发光元件依次发光时对应的图像信息和点云信息，确定每相邻两幅图像中发光元件对应的点云所确定的位置沿第二方向的第二距离差；

基于所述第二距离差，结合所述装置中的单个阶梯的高度，确定待测量系统的空间同步精度。

8.一种硬件级图像融合系统的同步测量装置，其特征在于，包括：

标定块和发光元件；所述标定块沿第一方向呈阶梯状排列，所述发光元件对应设置于每个标定块的阶梯面侧；所述发光元件各不相同，且均设置为按照预设频率发光；第二方向平行于硬件级图像融合系统的光轴方向，所述第一方向与所述第二方向垂直；

运动控制模块，设置为控制所述标定块的阶梯面朝向待测量系统，且所述装置沿第二方向平动或者绕第二方向转动；

发光控制模块，设置为在所述装置运动过程中，控制所述发光元件按照预设时间间隔分别发光预设时长；

数据获取模块，设置为利用待测量系统同步采集图像数据与点云数据；

精度确定模块，设置为基于所述图像数据和所述点云数据，确定所述待测量系统的时间同步精度和空间同步精度；

所述装置用于针对硬件级图像融合系统进行时间同步测量和空间同步测量；所述硬件级图像融合系统中，激光雷达和图像采用共光路光学系统，并基于外部时钟源实现同步触发。

9.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求5至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求5至7任一项所述方法的步骤。

Images