CN116872951A - 多传感器数据对齐方法、装置和存储介质及电子装置 - Google Patents

Abstract

本申请公开了一种多传感器数据对齐方法、装置和存储介质及电子装置，该方法包括：接收车载设备发送的多个传感器数据包；在确定多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与第一传感器数据包关联的至少一个第二传感器数据包；利用第二传感器数据包对第一传感器数据包中丢失的数据进行数据恢复；对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。本申请解决了相关技术中由于数据丢包所导致的多传感器数据无法对齐的技术问题。

Description

多传感器数据对齐方法、装置和存储介质及电子装置

技术领域

本申请涉及智能驾驶领域，具体而言，涉及一种多传感器数据对齐方法、装置和存储介质及电子装置。

背景技术

近年来，汽车高级驾驶辅助系统（Advanced Driver Assistance Systems，简称ADAS）的装车率正在快速增长，其功能实现主要集中在L2-L3级自动驾驶。为了实现上述高级假设辅助系统的相关功能，在单车感知系统中，往往需要使用一定数量（往往至少五个）的摄像头。以及，为了实现相关自动驾驶算法的数据闭环链路，需要将车机端采集的时序感知数据在前端进行绘制，并与摄像头拍摄的视频图像数据来进行对比，从而更好地验证自动驾驶算法的准确性。

然而，从车机端上传至云端的多传感器数据，普遍存在由于传输网络不稳定而带来的传输数据持续丢包问题，导致云端接收的信息存在一定的缺失，并且在数据丢包/信息缺失的情况下无法完成对车机端上传的多传感数据进行数据对齐。也即，现有技术中存在由于数据丢包所导致的多传感器数据无法对齐的问题。

发明内容

本申请实施例提供了一种多传感器数据对齐方法、装置和存储介质及电子装置，以至少解决相关技术中存在由于数据丢包所导致的多传感器数据无法对齐的技术问题。

根据本申请实施例的一个方面，提供了一种多传感器数据对齐方法，包括：接收车载设备发送的多个传感器数据包，其中，每个上述传感器数据包中携带有上述车载设备所在车辆内至少两个车载传感器采集到的数据；在确定上述多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于上述车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与上述第一传感器数据包关联的至少一个第二传感器数据包，其中，具有上述采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；利用上述第二传感器数据包对上述第一传感器数据包中丢失的数据进行数据恢复；对执行数据恢复后的上述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

根据本申请实施例的另一个方面，提供了一种多传感器数据对齐方法，包括：获取车辆内配置的多个车载传感器各自采集到的数据；对上述车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个上述传感器组中的车载传感器之间具有采集范畴时空重合关系，上述采集范畴时空重合关系指示上述车载传感器所采集到的数据之间存在内容重叠；将上述多个传感器数据包上传云端服务器，其中，上述云端服务器将根据上述采集范畴时空重合关系对上述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

根据本申请实施例的又一方面，还提供了一种多传感器数据对齐装置，包括：接收单元，用于接收车载设备发送的多个传感器数据包，其中，每个上述传感器数据包中携带有上述车载设备所在车辆内至少两个车载传感器采集到的数据；确定单元，用于在确定上述多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于上述车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与上述第一传感器数据包关联的至少一个第二传感器数据包，其中，具有上述采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；恢复单元，用于利用上述第二传感器数据包对上述第一传感器数据包中丢失的数据进行数据恢复；对齐单元，用于对执行数据恢复后的上述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

作为一种可选的方案，第一确定模块，用于确定上述第一传感器数据包中出现数据丢失的对象传感器；第二确定模块，用于从上述多个车载传感器中确定出与上述对象传感器具有上述采集范畴时空重合关系的上述目标传感器；第三确定模块，用于从上述已接收的传感器数据包，将携带有上述目标传感器采集到的数据的传感器数据包确定为上述第二传感器数据包。

作为一种可选的方案，上述恢复单元包括：第一获取模块，用于从上述第二传感器数据包中获取上述目标传感器采集到的目标数据；恢复模块，用于利用上述目标数据对上述对象传感器所丢失的数据进行补全恢复。

作为一种可选的方案，还包括：校验模块，用于在上述接收车载设备发送的多个传感器数据包之后，对上述多个传感器数据包依次进行完整性校验；第四确定模块，用于在上述接收车载设备发送的多个传感器数据包之后，在至少一个上述传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定上述至少一个上述传感器数据包为出现数据丢失的上述第一传感器数据包。

作为一种可选的方案，上述对齐单元包括：提取模块，用于从执行数据恢复后的上述多个传感器数据包中提取上述车辆感知数据和上述视频图像数据；第五确定模块，用于从上述车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从上述视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳；构建模块，用于根据对上述采集时间戳与上述播放时间戳进行比对后得到的比对结果，构建数据索引数组，其中，上述数据索引数组中记录有已实现对齐的多个数据对，在同一个数据对中的感知数据的采集时间戳与视频图像帧的播放时间戳之间的时间戳距离小于目标阈值。

作为一种可选的方案，上述提取模块包括：解析子模块，用于对完成数据恢复的上述多个传感器数据包进行数据解析，得到上述车辆在N个周期内采集到的N个视觉感知数据集，其中，第i个上述视觉感知数据集中包括第i个周期内采集到的自车运动状态数据、上述车辆感知数据和上述视频图像数据，i为大于等于1且小于等于N的自然数；清洗子模块，用于对上述N个视觉感知数据集进行数据清洗，以去除携带有错误时间戳的数据，其中，上述错误时间戳为超出一个传感器数据包对应采集时间段的时间戳；第一获取子模块，用于从完成数据清洗后的上述N个视觉感知数据集中，获取上述车辆感知数据和上述视频图像数据。

作为一种可选的方案，上述第五确定模块包括：提取子模块，用于从上述车辆感知数据中提取每一条感知数据采集时记录的上述采集时间戳；确定子模块，用于基于上述视频图像数据的播放帧率和上述视频图像数据中第一帧视频图像帧的播放时间戳，从上述视频图像数据中确定出视频图像帧序列内各个视频图像帧各自对应的播放时间戳。

作为一种可选的方案，上述构建模块包括：执行子模块，用于重复执行以下步骤，直至遍历全部的上述播放时间戳：创建子模块，用于为当前播放时间戳创建当前索引数组；第二获取子模块，用于依次从各个上述采集时间戳中获取当前采集时间戳；添加子模块，用于在上述当前采集时间戳与上述当前播放时间戳之间的时间戳距离小于上述目标阈值的情况下，将上述当前采集时间戳对应的当前感知数据添加到与上述当前播放时间戳对应的上述当前索引数组中，将上述当前感知数据和上述当前视频图像帧确定为属于同一个数据对；第三获取子模块，用于在上述当前采集时间戳与上述当前播放时间戳之间的时间戳距离大于上述目标阈值的情况下，获取下一个采集时间戳作为上述当前采集时间戳。

作为一种可选的方案，上述添加子模块包括：添加子单元，用于在上述当前索引数组指示为空的情况下，将上述当前采集时间戳对应的当前感知数据添加到上述当前索引数组中；替换子单元，用于在上述当前索引数组指示为非空的情况下，利用上述当前采集时间戳对应的当前感知数据替换上述当前索引数组中已存在的感知数据。

作为一种可选的方案，还包括：插入模块，用于在各个上述采集时间戳与上述当前播放时间戳之间的时间戳距离均大于上述目标阈值的情况下，将无效索引插入上述当前索引数组中。

作为一种可选的方案，还包括：标定模块，用于在上述接收车载设备发送的多个传感器数据包之前，上述车载设备上述车辆内的多个车载传感器参考同一时钟源进行时间同步标定处理，其中，上述多个传感器采集数据所生成的时间戳将具有上述时钟源所提供的相同的基准时间。

作为一种可选的方案，还包括：第二获取模块，用于在上述接收车载设备发送的多个传感器数据包之前，上述车载设备获取上述车辆内配置的上述多个车载传感器的空间布局信息以及采集时间段信息；第六确定模块，用于在上述接收车载设备发送的多个传感器数据包之前，基于上述空间布局信息和上述采集时间段信息，上述车载设备确定出具有上述采集范畴时空重合关系的传感器组，其中，上述传感器组中包括至少两个车载传感器；分包模块，用于在上述接收车载设备发送的多个传感器数据包之前，在获取到各个车载传感器采集到的数据的情况下，上述车载设备对上述车载传感器采集到的数据进行分包处理，得到上述多个传感器数据包，其中，属于同一个上述传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中。

根据本申请实施例的又一方面，还提供了一种多传感器数据对齐装置，包括：获取单元，用于获取车辆内配置的多个车载传感器各自采集到的数据；分包单元，用于对上述车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个上述传感器组中的车载传感器之间具有采集范畴时空重合关系，上述采集范畴时空重合关系指示上述车载传感器所采集到的数据之间存在内容重叠；上传单元，用于将上述多个传感器数据包上传云端服务器，其中，上述云端服务器将根据上述采集范畴时空重合关系对上述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

作为一种可选的方案，上述分包单元包括：第三获取模块，用于获取上述多个车载传感器的空间布局信息以及采集时间段信息；第七确定模块，用于基于上述空间布局信息和上述采集时间段信息，上述车载设备确定出具有上述采集范畴时空重合关系的传感器组，其中，上述传感器组中包括至少两个车载传感器；分配模块，用于将上述车载传感器采集到的数据均匀分配至各个传感器数据包中，得到上述多个传感器数据包。

作为一种可选的方案，上述分配模块包括：第四获取子模块，用于在第k-1个车载传感器将采集到的数据分配到第j个传感器数据包的情况下，获取第k个车载传感器将采集到的数据，其中，k为大于等于1且小于等于M的自然数，M为车载传感器的数量，j为大于等于且小于等于P的自然数，P为传感器数据包的数量；第一分配子模块，用于在上述第k-1个车载传感器与上述第k个车载传感器为属于同一个上述传感器组的情况下，将上述第k个车载传感器将采集到的数据分配到第j+1个传感器数据包中；第二分配子模块，用于在上述第k-1个车载传感器与上述第k个车载传感器并非属于同一个上述传感器组的情况下，将上述第k个车载传感器将采集到的数据分配到上述第j个传感器数据包中。

根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上多传感器数据对齐方法。

根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的多传感器数据对齐方法。

在本申请实施例中，在检测到车载设备发送的传感器数据包中存在出现数据丢失的第一传感器数据包的情况下，根据预先配置的传感器之间的采集范畴时空重合关系确定出数据丢失的传感器数据包关联的第二传感器数据包，并利用第二传感器数据包对第一传感器数据包所丢失的数据进行数据恢复，进而基于数据恢复后的传感器数据包进行数据对齐处理。通过上述采集范畴时空重合关系，及时对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果，解决了由于数据丢包所导致的多传感器数据无法对齐的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种多传感器数据对齐方法的硬件环境示意图；

图2是根据本申请实施例的一种可选的多传感器数据对齐方法的流程的示意图；

图3是根据本申请实施例的一种可选的多传感器数据上传分包策略的示意图；

图4是根据本申请实施例的一种可选的多传感器数据覆盖配置的示意图；

图5是根据本申请实施例的一种可选的多传感器数据对齐方法的示意图；

图6是根据本申请实施例的一种可选的构建数组索引组的循环体流程的示意图；

图7是根据本申请实施例的一种可选的多传感器数据对齐方法的流程的示意图；

图8是根据本申请实施例的一种可选的面向车机端和云端的数据对齐处理流程的示意图；

图9是根据本申请实施例的一种可选的数据恢复处理流程的示意图；

图10是根据本申请实施例的一种可选的数据对齐后的索引数组多传感器数据对齐方法的示意图；

图11是根据本申请实施例的一种可选的多数据对齐的算法流程的示意图；

图12是根据本申请实施例的一种可选的数据字段定义的示意图；

图13是根据本申请实施例的一种可选的数据字段定义的示意图；

图14是根据本申请实施例的一种可选的多传感器数据对齐系统的示意图；

图15是根据本申请实施例的一种可选的数据对齐操作应用界面的示意图；

图16是根据本申请实施例的一种可选的数据可视化界面的示意图；

图17是根据本发明实施例的一种可选的信息处理装置的示意图；

图18是根据本发明实施例的另一种可选的信息处理装置的示意图；

图19是根据本发明实施例的一种可选的电子装置的结构示意图。

图20是根据本发明实施例的另一种可选的电子装置的结构示意图。

所述附图不一定是按比例的，并且可呈现如本文公开的本申请的各种优选特征的略微简化的表示，包括例如具体尺寸、定向、位置和形状。与此类特征相关联的细节将部分由特定预期应用和使用环境确定。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

附图呈简化形式，并且不是精确按比例的。为了方便和清楚目的，可相对于附图使用方向属于，例如，纵向、横向、顶部、底部、左、右、上、之上、上方、之下、后方和前方。这些以及类似方向属于不应被视为限制本申请的范围。此外，如本文示出和描述的，可在缺少本文未具体公开的元件的情况下实践本公开。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如本文使用的，术语“系统”指的是机械和电气硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，其单独地或组合地提供所描述的功能性。这可包括但不限于专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或组）、包含软件或固件指令的存储器、组合逻辑电路和/或其它部件。

可选地，作为一种可选的实施方式，多传感器数据对齐方法可以但不限于应用在一种交通工具的多传感器数据的云端对齐场景中，其中，图1示出了交通工具101的侧视图，交通工具101被设置在行进表面113上，并且能够横穿行进表面113。交通工具101包括交通工具机载导航系统103、数字化道路地图104的存储器102、空间监测系统117、交通工具控制器109、 GPS(全球定位系统)传感器110、 HMI (人/机界面)装置111，还包括自主控制器112和远程信息处理控制器114。

在一个实施例中，空间监测系统117包括：一个或多个空间传感器和系统，被布置成监测交通工具101前方的可视区域105，以及空间监测控制器118；可视区域105的空间传感器例如包括激光雷达传感器106、雷达传感器107、摄像头108等等。空间传感器可以监测全部或部分可视区域105，以检测接近远程对象。空间监测控制器118基于来自空间传感器的数据输入而生成可视区域105的数字表示。空间监测控制器118可评估来自空间传感器的输入，以鉴于每个接近远程对象而确定交通工具101的线性范围、相对速度和轨迹。空间传感器可位于交通工具101上的各种位置处。空间传感器的放置允许空间监测控制器118监测交通流量。交通工具空间监测系统117的空间传感器可包括对象定位感测装置，对象定位感测装置包括范围传感器，其依赖于例如多普勒效应测量的效应，以定位前方对象。

摄像头108有利地被安装和定位在交通工具101上处于允许捕获可视区域105的图像的位置中，其中，可视区域105的至少部分包括在交通工具101前方并且包括交通工具101的轨迹的行进表面113的部分。可视区域105还可包括周围环境。还可采用其它摄像头，例如，包括被设置在交通工具101的后部分或侧部分上的第二摄像头，以监测交通工具101的后方以及交通工具101的右侧或左侧中的一个。

自主控制器112被配置成实施自主驾驶或高级驾驶员辅助系统(ADAS)交通工具功能性。此类功能性可包括能够提供一定驾驶自动化水平的交通工具机载控制系统。驾驶自动化可包括一系列动态驾驶和交通工具操作。驾驶自动化可包括涉及单个交通工具功能（例如，转向、加速和/或制动）的某种水平的自动控制或干预。

操作者控制件可被包括在交通工具101的乘客舱中，并且通过非限制性示例的方式可包括方向盘、加速器踏板、制动踏板和操作者输入装置，所述操作者输入装置是HMI装置111的元件。操作者控制件使得交通工具操作者能够与运行的交通工具101交互，并且指导交通工具101的操作，以提供乘客运输。

HMI装置111提供人机交互，用于指导信息娱乐系统、GPS (全球定位系统)传感器110、机载导航系统103和类似的操作的目的，并且包括控制器。HMI装置111监测操作者请求，并且向操作者提供交通工具系统的状态、服务和维护信息。HMI装置111与多个操作者界面装置通信，和/或控制多个操作者界面装置的操作。HMI装置111还可与一个或多个装置通信，所述一个或多个装置监测与交通工具操作者相关联的生物特征数据。为了描述的简单性，HMI装置111被描绘为单一装置，但是在本文描述的系统的实施例中，可被配置为多个控制器和相关联的感测装置。

机载导航系统103采用数字化道路地图104，用于向交通工具操作者提供导航支持和信息的目的。自主控制器112采用数字化道路地图104，用于控制自主交通工具操作或ADAS交通工具功能的目的。

交通工具101可包括远程信息处理控制器114，远程信息处理控制器114包括能够进行交通工具外通信（包括与具有无线和有线通信能力的通信网络115通信）的无线远程信息处理通信系统。无线远程信息处理通信系统能够与手持装置短程无线通信。在一个实施例中，手持装置包括软件应用，软件应用包括无线协议，以与远程信息处理控制器114通信，并且手持装置执行交通工具外通信，包括经由通信网络115与非机载服务器116通信。

如本文使用的，术语‘动态’和‘动态地’描述了实时执行的步骤或过程，并且其特征在于监测或以其它方式确定参数的状态，并且在例程的执行期间或在例程的执行的迭代之间定期或周期性地更新参数的状态。

可选地，作为一种可选的实施方式，如图2所示，多传感器数据对齐方法包括：

S202，接收车载设备发送的多个传感器数据包，其中，每个传感器数据包中携带有车载设备所在车辆内至少两个车载传感器采集到的数据；

S204，在确定多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与第一传感器数据包关联的至少一个第二传感器数据包，其中，具有采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；

S206，利用第二传感器数据包对第一传感器数据包中丢失的数据进行数据恢复；

S208，对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

可选地，在本实施例中，上述多传感器数据对齐方法可以但不限于应用在一种车载设备的车机端多传感器数据云端对齐的场景下。近年来，汽车高级驾驶辅助系统（Advanced Driver Assistance Systems，简称ADAS）的装车率正在快速增长，其功能实现主要集中在L2-L3级自动驾驶。为了实现上述高级假设辅助系统的相关功能，在单车感知系统中，往往需要使用一定数量（往往至少五个）的摄像头。以及，为了实现相关自动驾驶算法的数据闭环链路，需要将车机端采集的时序感知数据在前端进行绘制，并与摄像头拍摄的视频图像数据来进行对比，从而更好地验证自动驾驶算法的准确性。

然而，从车机端上传至云端的多传感器数据，普遍存在由于传输网络不稳定而带来的传输数据持续丢包问题，导致云端接收的信息存在一定的缺失，并且在数据丢包/信息缺失的情况下无法完成对车机端上传的多传感数据进行数据对齐。

可选地，对于上述问题，利用上述多传感器数据对齐方法，在检测到车载设备发送的传感器数据包中存在出现数据丢失的第一传感器数据包的情况下，根据预先配置的传感器之间的采集范畴时空重合关系确定出数据丢失的传感器数据包关联的第二传感器数据包，并利用第二传感器数据包对第一传感器数据包所丢失的数据进行数据恢复，进而基于数据恢复后的传感器数据包进行数据对齐处理。通过上述采集范畴时空重合关系，及时对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果，解决了由于数据丢包所导致的多传感器数据无法对齐的技术问题。

可选地，在本实施例中，车载设备可以但不限于为车辆的车机端模块，可以但不限于用于获取车机端的多个传感器数据包，并将获取到的多个传感器数据包上传/发送至云端服务器，其中，每一个传感器数据包可以但不限于包括至少两个车载传感器采集到的数据。

可选地，在本实施例中，具有采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠。

可选地，在本实施例中，每个传感器数据包中携带有车载设备所在车辆内至少两个车载传感器采集到的数据，可以但不限于用于指示将空间上冗余的传感器数据上传分配到不同的传感器数据包内，以及在每一个传感器数据上传分配传感器数据包的时间段交错，以充分利用传感器数据上传分配到传感器数据包在时间上的冗余性，确保各个车载传感器采集到的数据均匀分布在相邻的传感器数据包内。

举例说明，一种基于上述多传感器数据对齐方法的多传感器数据上传分包策略的示意图，如图3所示，将（空间上冗余的）传感器数据分配到不同的数据上传包内；在每一个数据上传包内的时间段交错，充分利用数据上传包在时间上的冗余性，确保传感器信息均匀分布在相邻的数据上传包内。具体地，在传感器302与传感器301具有上述采集范畴时空重合关系的情况下，在当前T1时刻下，传感器301采集到的数据上传至数据包305，而传感器302采集到的数据由于与传感器301采集到的数据具有一定程度上的重合性，因此将分配至下一时刻T2时刻下的数据包306，如此，在数据包305出现数据丢失的情况下，可以使用数据包306中的相关重合数据进行数据恢复。同理，仍以具有上述采集范畴时空重合关系的传感器301和传感器302为例，在当前T2时刻下，数据包306中至少包括传感器301在T2时刻采集到的数据和传感器302在T1时刻采集到的数据，以及传感器302在T2时刻采集到的数据将分配至下一时刻T3时刻下的数据包307。需要说明的是，对于其他具有上述采集范畴时空重合关系的其他传感器，同样适用于上述策略，如传感器303和传感器302，以及传感器304和传感器303等传感器组合。

进一步举例说明，一种可选的多传感器数据覆盖配置的示意图，如图4所示，其中，工业相机402所采集到的数据（对应虚线不加粗扇形区域）与激光雷达404所采集到的数据（对应虚线加粗扇形区域）和毫米波雷达406所采集到的数据（对应实线加粗扇形区域）互相具有重合区域，指示工业相机402、激光雷达404和毫米波雷达406所采集到的数据之间存在内容重叠。

需要说明的是，为了简洁，图4中所示意的工业相机402只画出了前方的，实际上前后左右工业相机402配置了很多个，使得系统的冗余度更高。可以看出，工业相机402、激光雷达404和毫米波雷达406在空间上采集的数据是有冗余的，基于上述的多传感器数据上传分包策略，可以将同一时刻下工业相机402、激光雷达404和毫米波雷达406三个传感器采集的数据放在不同的上传数据包中，确保冗余数据均匀分布在相邻数据包内。

可选地，在本实施例中，在接收到车载设备发送的多个传感器数据包之后，对多个传感器数据包包括的各个传感器数据包进行完整性校验，在至少一个传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定至少一个传感器数据包为出现数据丢失的第一传感器数据包；以及在各个传感器数据包的数据包标识不缺失且与预设数据包校验信息均一致的情况下，确定多个传感器数据包中不存在数据丢失的传感器数据包。

可选地，在本实施例中，完整性校验可以但不限于包括奇偶校验、循环冗余校验等用于确定传感器数据在数据传输过程中是否有损坏（缺失）的方式，其中，奇偶校验方式可以但不限于用于指示将数据包中的每个字节的二进制位相加，如果结果为奇数，则校验位设置为1；如果结果为偶数，则校验位设置为0。接收方根据接收到的数据包重新计算校验位，然后与接收到的校验位进行比较，如果一致则认为数据包完整，否则认为数据包损坏。循环冗余方式用于指示将数据包看作一个多项式，并使用除法运算得到余数。将余数添加到数据包中作为校验值。接收方根据接收到的数据包重新进行除法运算，然后将得到的余数与接收到的校验值进行比较，如果一致则认为数据包完整，否则认为数据包损坏。

可选地，在本实施例中，在确定出出现数据丢失的第一传感器数据包的情况下，基于多个传感器之间的采集范畴时空重合关系从已接收的多个传感器数据包中确定出与第一传感器数据包关联的第二传感器数据包，并利用第二传感器数据包对第一传感器数据包中丢失或损坏的数据进行数据恢复。

可选地，在本实施例中，每一个传感器数据包可以但不限于包括多个车载传感器采集到的数据。可以理解的是，在确定出第一传感器数据包出现数据丢失的情况下，可以但不限于进一步确定出第一传感器数据包中出现数据丢失的对象传感器，其中，第一传感器数据包中携带有对象传感器采集到的数据和其他传感器采集到的数据。

可选地，在本实施例中，从多个车载传感器中确定出与对象传感器具有采集范畴时空重合关系的目标传感器，将携带有目标传感器采集到的数据的传感器数据包确定为第二传感器数据包，以及从第二传感器数据包中获取目标传感器采集到的目标数据，利用目标数据对对象传感器所丢失的数据进行补全恢复。

可选地，在本实施例中，对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

通过本申请提供的实施例，在检测到车载设备发送的传感器数据包中存在出现数据丢失的第一传感器数据包的情况下，根据预先配置的传感器之间的采集范畴时空重合关系确定出数据丢失的传感器数据包关联的第二传感器数据包，并利用第二传感器数据包对第一传感器数据包所丢失的数据进行数据恢复，进而基于数据恢复后的传感器数据包进行数据对齐处理。通过预先配置的上述采集范畴时空重合关系，及时对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果。

作为一种可选的方案，基于车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与第一传感器数据包关联的至少一个第二传感器数据包包括：

S1，确定第一传感器数据包中出现数据丢失的对象传感器；

S2，从多个车载传感器中确定出与对象传感器具有采集范畴时空重合关系的目标传感器；

S3，从已接收的传感器数据包，将携带有目标传感器采集到的数据的传感器数据包确定为第二传感器数据包。

可选地，在本实施例中，每一个传感器数据包可以但不限于包括多个车载传感器采集到的数据。可以理解的是，在确定出第一传感器数据包出现数据丢失的情况下，可以但不限于进一步确定出第一传感器数据包中出现数据丢失的对象传感器，其中，第一传感器数据包中携带有对象传感器采集到的数据和其他传感器采集到的数据。

可选地，在本实施例中，从多个车载传感器中确定出与对象传感器具有采集范畴时空重合关系的目标传感器，以及从已接收的传感器数据包，将携带有目标传感器采集到的数据的传感器数据包确定为第二传感器数据包。

需要说明的是，上述目标传感器采集到的数据用于对第一传感器数据包中的对象传感器所丢失的数据进行补全恢复。

作为一种可选的方案，利用第二传感器数据包对第一传感器数据包中丢失的数据进行数据恢复包括：

S1，从第二传感器数据包中获取目标传感器采集到的目标数据；

S2，利用目标数据对对象传感器所丢失的数据进行补全恢复。

可选地，在本实施例中，从第二传感器数据包中获取目标传感器采集到的目标数据，利用目标数据对对象传感器所丢失的数据进行补全恢复，以得到执行数据恢复后的多个传感器数据包。

进一步举例说明，如图5所示，一种可选的多传感器数据对齐方法，具体步骤包括：

步骤S502，接收车载设备发送的多个传感器数据包,并对各个传感器数据包进行完整性校验；

步骤S504，判断是否存在出现数据丢失的第一传感器数据包；

步骤S506，在不存在数据丢失的传感器数据包的情况下，对多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理；

步骤S508，在存在数据丢失的传感器数据包的情况下，确定第一传感器数据包中出现数据丢失的对象传感器；

步骤S510，从多个传感器中确定出与对象传感器具有采集范畴时空重合关系的目标传感器；

步骤S512，获取目标传感器采集到的目标数据；

步骤S514，利用目标数据对对象传感器所丢失的数据进行补全恢复；

步骤S516，对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

通过本申请提供的实施例，在检测到车载设备发送的传感器数据包中存在出现数据丢失的第一传感器数据包的情况下，进一步确定具第一传感器数据包中出现数据丢失的具体对象传感器，并获取对象传感器对应的具有上述采集范畴时空重合关系的目标传感器的目标数据，进而使用目标数据及时、精确地对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果。

作为一种可选的方案，在接收车载设备发送的多个传感器数据包之后，还包括：

S1，对多个传感器数据包依次进行完整性校验；

S2，在至少一个传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定至少一个传感器数据包为出现数据丢失的第一传感器数据包。

可选地，在本实施例中，在接收到车载设备发送的多个传感器数据包之后，对多个传感器数据包包括的各个传感器数据包进行完整性校验，在至少一个传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定至少一个传感器数据包为出现数据丢失的第一传感器数据包；以及在各个传感器数据包的数据包标识不缺失且与预设数据包校验信息均一致的情况下，确定多个传感器数据包中不存在数据丢失的传感器数据包。

可选地，在本实施例中，完整性校验可以但不限于包括奇偶校验、循环冗余校验等用于确定传感器数据在数据传输过程中是否有损坏（缺失）的方式，例如，在传感器数据包相关标识缺失或相关MD5摘要不匹配的情况下，即可判定为该穿改期数据包存在数据丢失。

可选地，在本实施例中，奇偶校验方式可以但不限于用于指示将数据包中的每个字节的二进制位相加，如果结果为奇数，则校验位设置为1；如果结果为偶数，则校验位设置为0。接收方根据接收到的数据包重新计算校验位，然后与接收到的校验位进行比较，如果一致则认为数据包完整，否则认为数据包损坏。循环冗余方式用于指示将数据包看作一个多项式，并使用除法运算得到余数。将余数添加到数据包中作为校验值。接收方根据接收到的数据包重新进行除法运算，然后将得到的余数与接收到的校验值进行比较，如果一致则认为数据包完整，否则认为数据包损坏。

作为一种可选的方案，对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理包括：

S1，从执行数据恢复后的多个传感器数据包中提取车辆感知数据和视频图像数据；

S2，从车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳；

S3，根据对采集时间戳与播放时间戳进行比对后得到的比对结果，构建数据索引数组，其中，数据索引数组中记录有已实现对齐的多个数据对，在同一个数据对中的感知数据的采集时间戳与视频图像帧的播放时间戳之间的时间戳距离小于目标阈值。

可选地，在本实施例中，从执行数据恢复后的多个传感器数据包中提取车辆感知数据和视频图像数据，可以但不限于包括对完成数据恢复的多个传感器数据包进行数据解析、数据清洗等处理，以得到车辆在多个周期内采集到的对应多个视觉感知数据集，其中，每一个视觉感知数据集包括数据解析和数据清洗后的自车运动状态数据、车辆感知数据和视频图像数据。

可选地，在本实施例中，获取车辆感知数据中每一条感知数据对应的采集时间戳以及获取视频图像数据中每一帧视频图像帧各自对应的播放时间戳，并对上述每一条感知数据对应的采集时间戳和每一帧视频图像帧各自对应的播放时间戳进行比对，根据比对结果实现感知数据和视频图像帧的对齐，并构建数据索引数组。

可选地，在本实施例中，在当前感知数据的采集时间戳和当前视频图像帧的播放时间戳之间的时间戳距离小于目标阈值的情况下，确定当前感知数据和当前视频帧属于对齐的数据对，其中，数据索引数组中记录有已实现对齐的多个数据对，其中的每一个数据对关联的感知数据的采集时间戳与关联的视频图像帧的播放时间戳之间的时间戳距离小于目标阈值。

通过本申请提供的实施例，对数据恢复后的多个传感器数据包中提取得到的车辆感知数据和视频图像数据进行对齐，以用于后续的播放和可视化，进而达到了避免数据丢包对信息对齐和其他后续处理影响的目的，从而实现提高信息对齐的准确性的技术效果。

作为一种可选的方案，从执行数据恢复后的多个传感器数据包中提取车辆感知数据和视频图像数据包括：

S1，对完成数据恢复的多个传感器数据包进行数据解析，得到车辆在N个周期内采集到的N个视觉感知数据集，其中，第i个视觉感知数据集中包括第i个周期内采集到的自车运动状态数据、车辆感知数据和视频图像数据，i为大于等于1且小于等于N的自然数；

S2，对N个视觉感知数据集进行数据清洗，以去除携带有错误时间戳的数据，其中，错误时间戳为超出一个传感器数据包对应采集时间段的时间戳；

S3，从完成数据清洗后的N个视觉感知数据集中，获取车辆感知数据和视频图像数据。

可选地，在本实施例中，从执行数据恢复后的多个传感器数据包中提取车辆感知数据和视频图像数据，可以但不限于包括对完成数据恢复的多个传感器数据包进行数据解析、数据清洗等处理，以得到车辆在多个周期内采集到的对应多个视觉感知数据集，其中，每一个视觉感知数据集包括数据解析和数据清洗后的自车运动状态数据、车辆感知数据和视频图像数据。

可选地，在本实施例中，自车运动状态数据可以但不限于用于指示车辆行驶过程中采集到的车辆状态信息，可以但不限于包括刹车状态、轮胎压力、横向加速度、纵向加速度、速度、横摆角速度等。

可选地，在本实施例中，车辆感知数据可以但不限于用于指示车辆周围环境的感知信息，包括车辆周围的物体、道路状况、交通标志、交通信号灯等，可以通过各种传感器（如前雷达）获取，还可以但不限于通过对获取的基础感知信息进行融合得到。

可选地，在本实施例中，视频图像数据可以但不限于用于指示车辆在行驶过程中的车道位置和状态信息，可以但不限于为车辆的车道线数据，以提供车辆的车道位置信息、车辆的行驶方向信息、车辆的变道操作信息。

可选地，在本实施例中，数据清洗可以但不限于用于指示将错误时间戳数据过滤，举例说明，以 PackageInfo 数据包名称中带的日期（年月日时分秒）判定为例，由于每个数据包对应的时间跨度为 30 秒，若数据提取时发现时间戳超过 数据包日期~(数据包日期+30s) 这个时间范围，则直接过滤掉。

需要说明的是，从完成数据清洗后的N个视觉感知数据集中，获取车辆感知数据和视频图像数据。

通过本申请提供的实施例，通过对解析得到的数据进行数据清洗以去除携带有错误时间戳的数据，进而达到了保证在数据恢复后的传感器数据包所报告的车辆感知数据和视频图像数据的获取准确性的目的，从而实现了提高数据对齐的准确性的技术效果。

作为一种可选的方案，从车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳包括：

S1，从车辆感知数据中提取每一条感知数据采集时记录的采集时间戳；

S2，基于视频图像数据的播放帧率和视频图像数据中第一帧视频图像帧的播放时间戳，从视频图像数据中确定出视频图像帧序列内各个视频图像帧各自对应的播放时间戳。

可选地，在本实施例中，感知传感器的采集频率是不同的，感知数据的时间戳不同；而视频采集传感器的采集频率是固定的。

可选地，在本实施例中，视频图像数据的帧率是固定的，而感知数据的帧率不固定，因此可以但不限于在感知数据的数量N大于等于视频图像帧的数量M的情况下，从感知数据中找出与每一帧视频图像帧接近的数据，得到M个感知数据，其中，N、M为正整数。

需要说明的是，在感知数据的数量N小于视频图像帧的数量M的情况下，可以但不限于播放获取到的、指定数值的对齐数据（感知数据和图像数据帧），其中指定数值小于等于N；或停止播放上述对齐数据。

进一步举例说明，以第1帧视频图像帧为基准，对于一个固定帧率 f 的视频，可以获取第 i 帧相对于第1帧的时间间隔为 （i*1/f，单位为秒），在一个视觉感知数据集中，每一条数据都有一个时间戳，以此获取每一条数据相对于第一条数据的时间间隔，这样可以得到视频数据每一帧的时间和时序数据每一条的时间，通过两者对比在允许的差范围内来找到和视频帧对应的时序数据。

作为一种可选的方案，根据对采集时间戳与播放时间戳进行比对后得到的比对结果，构建数据索引数组包括：

S1，重复执行以下步骤，直至遍历全部的播放时间戳：

S2，为当前播放时间戳创建当前索引数组；

S3，依次从各个采集时间戳中获取当前采集时间戳；

S4，在当前采集时间戳与当前播放时间戳之间的时间戳距离小于目标阈值的情况下，将当前采集时间戳对应的当前感知数据添加到与当前播放时间戳对应的当前索引数组中，将当前感知数据和当前视频图像帧确定为属于同一个数据对；

S5，在当前采集时间戳与当前播放时间戳之间的时间戳距离大于目标阈值的情况下，获取下一个采集时间戳作为当前采集时间戳。

可选地，在本实施例中，感知传感器的采集频率是不同的，感知数据的时间戳不同；而视频采集传感器的采集频率是固定的。

可选地，在本实施例中，视频图像数据的帧率是固定的，而感知数据的帧率不固定，因此可以但不限于在感知数据的数量N大于等于视频图像帧的数量M的情况下，从感知数据中找出与每一帧视频图像帧接近的数据，得到M个感知数据，其中，N、M为正整数。

进一步举例说明，一种根据对采集时间戳与播放时间戳进行比对后得到的比对结果，构建数据索引数组的循环体流程示意图如图6所示，具体步骤包括：

步骤S602，获取当前播放时间戳，并为当前播放时间戳创建当前索引数组；

步骤S604，从各个采集时间戳中获取当前采集时间戳；

步骤S606，判断当前采集时间戳是否符合预设条件（当前采集时间戳与当前播放时间戳之间的时间戳距离是否小于目标阈值）；

步骤S608，在当前采集时间戳符合预设条件的情况下，将当前采集时间戳对应的当前感知数据添加到当前索引数组，确定数据对，并返回步骤S602，获取下一个新的播放时间戳；

需要说明的是，在当前采集时间戳不符合预设条件的情况下，返回步骤S604，获取下一个新的采集时间戳。

作为一种可选的方案，将当前采集时间戳对应的当前感知数据添加到与当前播放时间戳对应的当前索引数组中包括：

S1，在当前索引数组指示为空的情况下，将当前采集时间戳对应的当前感知数据添加到当前索引数组中；

S2，在当前索引数组指示为非空的情况下，利用当前采集时间戳对应的当前感知数据替换当前索引数组中已存在的感知数据。

可选地，在本实施例中，在当前采集时间戳与当前播放时间戳之间的时间戳距离小于目标阈值的情况下，进一步判断当前索引数组指示是否为空，其中，在当前索引数组指示为空的情况下，将当前采集时间戳对应的当前感知数据添加到当前索引数组中；以及，在当前索引数组指示为非空的情况下，利用当前采集时间戳对应的当前感知数据替换当前索引数组中已存在的感知数据。

通过本申请提供的实施例，通过在当前索引数组指示为空则直接添加当前感知数据以及在当前索引指示为非空则将利用前感知数据替换原感知数据，进而达到了对当前索引数组及时更新的目的，从而整体上实现提高感知数据与视频帧图像的对齐准确性的技术效果。

作为一种可选的方案，上述方法还包括：

S1，在各个采集时间戳与当前播放时间戳之间的时间戳距离均大于目标阈值的情况下，将无效索引插入当前索引数组中。

可选地，在本实施例中，在各个采集时间戳与当前播放时间戳之间的时间戳距离均大于目标阈值的情况下，确定感知数据集合中不存在符合与当前播放时间戳对应的当前视频图像帧对齐的感知数据，进而将无效索引插入当前索引数组中。

通过本申请提供的实施例，在各个采集时间戳与当前播放时间戳之间的时间戳均大于目标阈值的情况下，确定采集时间戳对应的感知数据和播放时间戳对应的视频图像帧无法对应对齐。

作为一种可选的方案，在接收车载设备发送的多个传感器数据包之前，还包括：

S1，车载设备车辆内的多个车载传感器参考同一时钟源进行时间同步标定处理，其中，多个传感器采集数据所生成的时间戳将具有时钟源所提供的相同的基准时间。

可选地，在本实施例中，多个车载传感器参考同一时钟源进行时间同步标定处理，以及多个传感器采集数据所生成的时间戳将具有时钟源所提供的相同的基准时间。

需要说明的是，视觉感知数据基于自动驾驶算法产生，通过时间硬同步进行同步标定，并存储在时序数据库中。上述时间硬同步，可以但不限于用于指示通过唯一的时钟源给各传感器提供相同的基准时间，各传感器根据提供的基准时间校准各自的时钟时间，从硬件上实现时间同步，也即统一时钟源。

作为一种可选的方案，在接收车载设备发送的多个传感器数据包之前，还包括：

S1，车载设备获取车辆内配置的多个车载传感器的空间布局信息以及采集时间段信息；

S2，基于空间布局信息和采集时间段信息，车载设备确定出具有采集范畴时空重合关系的传感器组，其中，传感器组中包括至少两个车载传感器；

S3，在获取到各个车载传感器采集到的数据的情况下，车载设备对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中。

可选地，在本实施例中，车载设备根据多个车载传感器的空间分布信息以及采集时间段信息确定具有采集范畴时空重合关系的传感器组，并在获取到各个车载传感器采集到的数据的情况下，车载设备对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中。

需要说明的是，视觉感知数据基于自动驾驶算法产生，通过时间硬同步进行同步标定，并存储在时序数据库中。以及，时序数据库的每条数据都有一个 timeStamp 时间戳字段（不同时间线的每条数据的时间戳不会重复），通过解析不同日期和车号的数据包可以获取不同传感器在对应时间段的视觉感知数据集。

可选地，作为一种可选的实施方式，如图7所示，多传感器数据对齐方法包括：

S702，获取车辆内配置的多个车载传感器各自采集到的数据；

S704，对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个传感器组中的车载传感器之间具有采集范畴时空重合关系，采集范畴时空重合关系指示车载传感器所采集到的数据之间存在内容重叠；

S706，将多个传感器数据包上传云端服务器，其中，云端服务器将根据采集范畴时空重合关系对多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

可选地，在本实施例中，上述多传感器数据对齐方法可以但不限于应用在一种车载设备的车机端多传感器数据云端对齐的场景下。近年来，汽车高级驾驶辅助系统（Advanced Driver Assistance Systems，简称ADAS）的装车率正在快速增长，其功能实现主要集中在L2-L3级自动驾驶。为了实现上述高级假设辅助系统的相关功能，在单车感知系统中，往往需要使用一定数量（往往至少五个）的摄像头。以及，为了实现相关自动驾驶算法的数据闭环链路，需要将车机端采集的时序感知数据在前端进行绘制，并与摄像头拍摄的视频图像数据来进行对比，从而更好地验证自动驾驶算法的准确性。

然而，从车机端上传至云端的多传感器数据，普遍存在由于传输网络不稳定而带来的传输数据持续丢包问题，导致云端接收的信息存在一定的缺失，并且在数据丢包/信息缺失的情况下无法完成对车机端上传的多传感数据进行数据对齐。

可选地，对于上述问题，利用上述多传感器数据对齐方法，通过将多个传感器各自采集到的数据按照传感器之间的采集范畴时空重合关系进行分包处理，使得具有采集范畴时空重合关系的同一个传感器组的车载传感器所采集到的数据分配在不同的传感器数据包中，并发送至云端服务器以用于后续的数据对齐处理。如此，即使在某一传感器数据包中出现数据丢失的情况下，也能够按照上述采集范畴时空重合关系，利用对应的其他传感器的传感器数据对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果。

可选地，在本实施例中，车载设备可以但不限于为车辆的车机端模块，可以但不限于用于获取车机端的多个传感器数据包，并将获取到的多个传感器数据包上传/发送至云端服务器，其中，每一个传感器数据包可以但不限于包括至少两个车载传感器采集到的数据。

可选地，在本实施例中，每个传感器数据包中携带有车载设备所在车辆内至少两个车载传感器采集到的数据，可以但不限于用于指示将空间上冗余的传感器数据上传分配到不同的传感器数据包内，以及在每一个传感器数据上传分配传感器数据包的时间段交错，以充分利用传感器数据上传分配到传感器数据包在时间上的冗余性，确保多个至少两个车载传感器采集到的数据均匀分布在相邻的传感器数据包内。

通过本申请提供的实施例，通过将多个传感器各自采集到的数据按照传感器之间的采集范畴时空重合关系进行分包处理，使得具有采集范畴时空重合关系的同一个传感器组的车载传感器所采集到的数据分配在不同的传感器数据包中，并发送至云端服务器以用于后续的数据对齐处理。如此，即使在某一传感器数据包中出现数据丢失的情况下，也能够按照上述采集范畴时空重合关系，利用对应的其他传感器的传感器数据对出现数据丢失的传感器数据包进行数据恢复，避免了由于传输网络不稳定导致的传输数据持续丢包的问题，进而达到了保障云端接收的信息完整、全面的目的，从而实现了及时对丢包数据进行数据恢复以保障多传感器数据对齐的正常进行的技术效果。

作为一种可选的方案，对车载传感器采集到的数据进行分包处理，得到多个传感器数据包包括：

S1，获取多个车载传感器的空间布局信息以及采集时间段信息；

S2，基于空间布局信息和采集时间段信息，车载设备确定出具有采集范畴时空重合关系的传感器组，其中，传感器组中包括至少两个车载传感器；

S3，将车载传感器采集到的数据均匀分配至各个传感器数据包中，得到多个传感器数据包。

可选地，在本实施例中，空间布局信息可以但不限于用于指示车辆上安装的多个车载传感器在空间中的位置和方向关系，其中，车载传感器可以但不限于提供车辆周围环境的感知和定位信息。举例说明，车载摄像头通常安装在车辆的前、后、侧面等位置，用于采集车辆周围的图像信息。激光雷达一般安装在车辆的上方，用于测量周围环境的距离和形状。雷达一般安装在车辆的前、后、侧面等位置，用于检测周围物体的距离和速度。

可选地，在本实施例中，采集时间段信息可以但不限于用于指示车辆上安装的多个车载传感器在采集相关信息时关联的时间信息，如采集时间、采集频率等。

需要说明的是，基于空间布局信息和采集时间段信息车载设备确定出具有采集范畴时空重合关系的传感器组，其中，传感器组中包括至少两个车载传感器；将车载传感器采集到的数据均匀分配至各个传感器数据包中，得到多个传感器数据包。

作为一种可选的方案，将车载传感器采集到的数据均匀分配至各个传感器数据包中，得到多个传感器数据包包括：

在第k-1个车载传感器将采集到的数据分配到第j个传感器数据包的情况下，获取第k个车载传感器将采集到的数据，其中，k为大于等于1且小于等于M的自然数，M为车载传感器的数量，j为大于等于且小于等于P的自然数，P为传感器数据包的数量；

在第k-1个车载传感器与第k个车载传感器为属于同一个传感器组的情况下，将第k个车载传感器将采集到的数据分配到第j+1个传感器数据包中；

在第k-1个车载传感器与第k个车载传感器并非属于同一个传感器组的情况下，将第k个车载传感器将采集到的数据分配到第j个传感器数据包中。

可选地，在本实施例中，将（空间上冗余的）传感器数据分配到不同的数据上传包内；在每一个数据上传包内的时间段交错，充分利用数据上传包在时间上的冗余性，确保传感器信息均匀分布在相邻的数据上传包内。

可选地，在本实施例中，在当前时刻的当前车载传感器将采集到的数据分配到当前时刻的当前传感器数据包的情况下，获取并判断当前时刻的其他车载传感器与当前车载传感器是否属于同一个传感器组，其中，在当前时刻 的下一车载传感器与当前车载传感器属于同一个传感器组的情况下，当前时刻的下一车载传感器采集到的数据不分配至当前时刻的当前传感器数据包，而分配至下一时刻的下一传感器数据包；在当前时刻的下一车载传感器与当前车载传感器不属于同一传感器组的情况下，将当前时刻的下一车载传感器采集到的数据分配至当前时刻的当前传感器数据包。

进一步举例说明，如图3所示，一种基于上述多传感器数据对齐方法的多传感器数据上传分包策略示意图，如图3所示，将（空间上冗余的）传感器数据分配到不同的数据上传包内；在每一个数据上传包内的时间段交错，充分利用数据上传包在时间上的冗余性，确保传感器信息均匀分布在相邻的数据上传包内。具体地，在传感器302与传感器301具有上述采集范畴时空重合关系的情况下，在当前T1时刻下，传感器301采集到的数据上传至数据包305，而传感器302采集到的数据由于与传感器301采集到的数据具有一定程度上的重合性，因此将分配至下一时刻T2时刻下的数据包306，如此，在数据包305出现数据丢失的情况下，可以使用数据包306中的相关重合数据进行数据恢复。同理，仍以具有上述采集范畴时空重合关系的传感器301和传感器302为例，在当前T2时刻下，数据包306中至少包括传感器301在T2时刻采集到的数据和传感器302在T1时刻采集到的数据，以及传感器302在T2时刻采集到的数据将分配至下一时刻T3时刻下的数据包307。需要说明的是，对于其他具有上述采集范畴时空重合关系的其他传感器，同样适用于上述策略，如传感器303和传感器302，以及传感器304和传感器303等传感器组合。

作为一种可选的方案，将上述多传感器数据对齐方法应用在一种车机端多传感器数据云端对齐场景下，针对该场景下存在的由于传输网络不稳定而带来的数据丢包问题，提出一种针对性的面向车机端和云端的数据对齐处理流程，示意图如图8所示，具体包括：

（一）车机端部分：

步骤S802-步骤S804：按照多感知传感器上传数据分组/分包策略，对多感知传感器数据时间片段进行分组/分包，以得到待上传的车机端多传感器分包数据；

步骤S806：通过4G和/或5G方式将车机端多传感器分包数据上传至云端。

（二）云端部分

步骤S808：接收车机端上传的多传感器分包数据并进行缓存；

步骤S810：对多传感器分包数据进行完整性检测/校验；

步骤S812-1：在未检测的数据丢包情况下，确定通过完整性校验；

步骤S812-2：在存在数据丢包情况下，基于周边空间冗余信息进行信息补全修复，其中，信息不全修改方式可以但不限于参考上述多传感器数据对齐方法；

步骤S814：进行多感知传感器数据的对齐可视化处理。

具体地，对于上述车机端部分的步骤S802-步骤S804，本实施例可以但不限于提供对应的一种基于多传感器数据上传分包策略，应用如下原则，进行多传感器数据上传分包：尽量将（空间上冗余的）传感器数据分配到不同的数据上传包内；在每一个数据上传包内的时间段交错，尽量充分利用数据上传包在时间上的冗余性，确保传感器信息均匀分布在相邻的数据上传包内。

具体实施例可参考上述图3和图4所示的实施例，此处不再赘述。

进一步，对于上述云端部分的步骤S810和步骤S812（包括步骤S812-1和步骤S812-2），本实施例可以但不限于提供对应的完整性检测方法和信息补全修复方式，其中，完整性检测方法可以但不限于包括：基于车机端数据上传包 ID 及数据摘要（MD5)，检测每一个上传数据包的完整性。针对出现缺失或者不完整上传的数据包（数据包 ID 缺失或者上传数据包MD5 摘要不匹配，即可判定为数据包丢失（或上传失败）。其中，信息补全修复方式包括：针对每次遇到上传失败（丢包或者上传不完整）情况，基于多传感器数据关系图谱模型，在云端从时间及空间维度查找相关联的数据包。基于查找出的（丢失数据包）相关联数据包的传感器数据，根据传感器数据关系模型，在空间及时间维度上恢复丢包的传感器数据。

进一步举例说明，一种基于上述完整性检测方法和信息补全修改方式的数据恢复处理流程如图9所示，具体方法包括：

步骤S902，车机端上传数据接收缓存；

步骤S904，对上传数据进行完整性校验；

步骤S906，在完整性校验指示上传数据存在数据丢包的情况下，查找时间及空间相关联的冗余数据包；

步骤S908，基于冗余数据进行丢包数据的恢复和补齐；

需要说明的是，在上传数据完整性校验指示上传数据完整，或丢包数据恢复补齐完成的情况下，将上传数据发送至云端的全时空传感器数据聚合区域，以进行后续的数据对齐可视化处理。

以及，对于上述步骤S814，本实施例可以但不限于就提供如下一种云端多传感器数据对齐方式，具体包括如下模块：

（1）时间硬同步模块

视觉感知数据基于自动驾驶算法产生，通过时间硬同步进行同步标定，并存储在时序数据库中。其中，时间硬同步用于指示通过唯一的时钟源给各传感器提供相同的基准时间，各传感器根据提供的基准时间校准各自的时钟时间，从硬件上实现时间同步，即统一时钟源，如以 GPS 时间为基准时间 ，采用 PTP/GPTP 时钟同步协议来完成各传感器之间的时间同步。

（2）数据提取和数据清洗模块

时序数据库的每条数据都有一个 timeStamp 时间戳字段（不同时间线的每条数据的时间戳不会重复），通过解析不同日期和车号的数据包可以获取不同的视觉感知数据集。数据集主要包含自车数据（如横向加速度、纵向加速度、速度、横摆角速度）、目标感知数据（如融合、前视觉、前雷达）和车道线数据，通过第三方 Java 类库连接时序数据库进行提取构造，得到 JSON 格式的车端数据；数据清洗主要是将错误的时间戳数据过滤，以PackageInfo 数据包名称中带的日期（年月日时分秒）来判定，例如由于每个数据包对应的时间跨度为 30 秒，若数据提取时发现时间戳超过数据包日期~(数据包日期+30s) 这个时间范围，则直接过滤掉。

（3）感知数据与视频图像数据对齐模块

原始的视频数据帧率为 30 HZ，一定时间范围内视频帧数是一定的。自车数据采集频率为 200 HZ 或者 50 HZ，目标感知数据采集频率为 30 HZ 或者 40 HZ，且有不同程度的数据丢失。对这部分数据，无法做到与视频数据完全对齐，即使降频后也是有误差的，并且数据丢失会导致数据在时间维度的定位更加模糊。

对于该问题，本实施例基于最小误差算法进行数据对齐，以第一帧视频图像帧为基准，对于一个固定帧率 f 的视频，可以获取第 i 帧相对于第一帧的时间间隔为 （i*1/f，单位为秒），在一个视觉感知数据集中，每一条数据都有一个时间戳，以此获取每一条数据相对于第一条数据的时间间隔，这样可以得到视频数据每一帧的时间和时序数据每一条的时间，通过两者对比在允许的差范围内来找到和视频帧对应的时序数据。

进一步举例说明，一种与该感知数据与视频图像数据对齐模块匹配的算法模型，包括：假设前台查看前视觉图像数据，基于 FFmpeg （一种基于 C 语言实现的第三方音视频解析工具包）类库获取视频文件的帧率为 s1 ,帧数为 s2 ，后台获取到目标感知数据共c 条，第一帧数据对应的 time 时间戳为相对起始时间，需要构造一个与 s2 帧图片映射的感知数据索引数组，目的是将这 c 条数据的索引放在索引数组中。

首先在外层构造一个基数为 s2（如900）的循环体，外层索引为 m（自变量取自）（0<=m<s2 ） 时，内层初始化一个布尔变量 bool 为 false，并遍历这 c 条（感知数据的数量）数据，当内层索引为 n （取自0至c的自变量）时，对应的时间为 t，设置一个自定义误差时间为 w ，若|(△ * m) – t| < w （△ = 1/30s），则设置 bool 为 true 并将索引 n 加入到索引数组中。在内层循环每次完成后，判断 bool 变量值，如果为 false 则向索引数组添加空数据索引。

进一步举例说明，如图10的一种可选的数据对齐后的索引数组中的第一区域1002所示，对于一个 30s 的前视觉视频文件（帧率为 30 HZ），可以获取第 i 帧图像的相对时间为 i*1/30（单位为秒）；又如图10的一种可选的数据对齐后的索引数组中的第二区域1004所示，对于一个 30s 时间跨度的时序前雷达感知数据包（容量为 455），获取其每一条数据的时间戳,；以及，如图10的一种可选的数据对齐后的索引数组中的第三区域1006所示，根据时间戳并利用最小误差算法将第一区域1002的每一条数据映射结合第二区域1004进行映射，若在误差范围 0.01s 内映射不上，则插入无效索引（-1），映射后的索引数组（容量为 1000，与视频数据帧数一致），可以明显看出，第2、4、6、8、10帧图像数据（第一区域1002）无法和感知数据（第二区域1004）对应起来。

进一步举例说明，一种用于实现上述数据对齐的算法流程的示意图如图11所示，包括构造索引数组操作、构造循环体操作、判断时间戳误差操作、添加感知数据索引或无效索引等操作。

（4）构造 JSON 数据集模块（供前端可视化）

基于 Java API 进行数据封装，对于自车数据，直接获取一个数据包中的全量数据（包括横向加速度、纵向加速度、速度、横摆角速度），基于算法对齐后得到索引数组。

举例说明，如图12所示的一种可选的JSON数据字段定义示意图，以横摆角速度为例，第一区域1202显示内容为全量数据，第二显示区域1204显示内容为索引数组（容量为900），在一个数据包中全量数据为 1973 条，视频帧数为 900 帧。以及，如图13所示，以融合感知数据为例，第一区域1302显示内容为目标感知数据，第二区域1304显示内容为索引数组（容量为 900），目标感知数据共 910 条。

进一步举例说明，如图13所示的一种可选的JSON数据字段定义示意图，包括如下数据字段的定义内容：

positionx：目标横坐标

positiony：目标纵坐标

length：目标长度

width：目标宽度

headingAngle：目标转向角

id：目标编号

typeName：目标类型

作为一种可选的方案，本实施例还可以但不限于提供如下一种云端多传感器数据对齐系统，如图14所示，该系统包括数据获取模块1402、数据处理模块1404和数据可视化模块1406，其中，数据获取模块1402用于获取自动驾驶数据集，可以但不限于包括自车数据、前视觉数据、前雷达数据、融合数据和车道线数据；数据处理模块1404可以但不限于包括多种数据处理方式，如数据提取处理、数据清洗过滤处理、数据对齐处理、最小误差算法处理、JSON数据集（生成/转化）处理；数据可视化模块1406可以但不限于用于根据获取到的JSON数据集进行可视化处理，以及相关数据展示，其中，JSON数据集可以但不限于包括自车数据对应的JSON数据集、前视觉数据对应的JSON数据集、前雷达数据对应的JSON数据集、融合数据对应的JSON数据集和车道线数据对应的JSON数据集。

需要说明的是，利用上述多传感器的数据对齐方法，基于车机端多感知传感器周边环境信息的相互衔接关系，构造多感知传感器数据上传分包策略。基于该分包策略，自动将多传感器待上传的数据包进行分包，以确保空间上冗余的数据，分别在不同的上传数据包内，确保零星的数据丢包可以通过多传感器空间信息的冗余来进行（有一定精度保证的）恢复。在云端，针对零星出现的传感器数据丢包，利用关联的传感器感知数据对该丢包的数据进行空间及时间范畴内的恢复。在云端，根据近期一段时间上传的多个关联传感器数据时间戳数据，基于云端数据对齐方法，在最小误差范围内来进行多感知传感器数据对齐，为数据可视化提供对齐策略。

还需要说明的是，利用上述多传感器的数据对齐方法，车载前视摄像头采集视频数据和时序感知数据及自车数据对齐，基于最小误差算法对齐后，将感知数据和视频帧对应，解决在一定时间范围内视频图像帧数与目标感知数据总数并不一致的问题。

进一步举例说明，如图15所示，是基于上述多传感器的数据对齐方法的数据对齐操作应用界面的示意图，用户能够根据响应操作按钮触发对应的操作事件，进而在如图16所示的基于上述多传感器的数据对齐方法的数据可视化界面上显示对应操作事件的数据，如一段帧或一段时间内的目标参数的变化信息，其中，目标参数包括横向加速度、纵向加速度、速度、角速度。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

根据本申请实施例的另一个方面，还提供了一种用于实施上述多传感器数据对齐方法的多传感器数据对齐装置。如图17所示，该装置包括：

接收单元1702，用于接收车载设备发送的多个传感器数据包，其中，每个传感器数据包中携带有车载设备所在车辆内至少两个车载传感器采集到的数据；

确定单元1704，用于在确定多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与第一传感器数据包关联的至少一个第二传感器数据包，其中，具有采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；

恢复单元1706，用于利用第二传感器数据包对第一传感器数据包中丢失的数据进行数据恢复；

对齐单元1708，用于对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

作为一种可选的方案，确定单元1704包括：

第一确定模块，用于确定第一传感器数据包中出现数据丢失的对象传感器；

第二确定模块，用于从多个车载传感器中确定出与对象传感器具有采集范畴时空重合关系的目标传感器；

第三确定模块，用于从已接收的传感器数据包，将携带有目标传感器采集到的数据的传感器数据包确定为第二传感器数据包。

作为一种可选的方案，恢复单元1706包括：

第一获取模块，用于从第二传感器数据包中获取目标传感器采集到的目标数据；

恢复模块，用于利用目标数据对对象传感器所丢失的数据进行补全恢复。

作为一种可选的方案，还包括：

校验模块，用于在接收车载设备发送的多个传感器数据包之后，对多个传感器数据包依次进行完整性校验；

第四确定模块，用于在接收车载设备发送的多个传感器数据包之后，在至少一个传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定至少一个传感器数据包为出现数据丢失的第一传感器数据包。

作为一种可选的方案，对齐单元1708包括：

提取模块，用于从执行数据恢复后的多个传感器数据包中提取车辆感知数据和视频图像数据；

第五确定模块，用于从车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳；

构建模块，用于根据对采集时间戳与播放时间戳进行比对后得到的比对结果，构建数据索引数组，其中，数据索引数组中记录有已实现对齐的多个数据对，在同一个数据对中的感知数据的采集时间戳与视频图像帧的播放时间戳之间的时间戳距离小于目标阈值。

作为一种可选的方案，提取模块包括：

解析子模块，用于对完成数据恢复的多个传感器数据包进行数据解析，得到车辆在N个周期内采集到的N个视觉感知数据集，其中，第i个视觉感知数据集中包括第i个周期内采集到的自车运动状态数据、车辆感知数据和视频图像数据，i为大于等于1且小于等于N的自然数；

清洗子模块，用于对N个视觉感知数据集进行数据清洗，以去除携带有错误时间戳的数据，其中，错误时间戳为超出一个传感器数据包对应采集时间段的时间戳；

第一获取子模块，用于从完成数据清洗后的N个视觉感知数据集中，获取车辆感知数据和视频图像数据。

作为一种可选的方案，第五确定模块包括：

提取子模块，用于从车辆感知数据中提取每一条感知数据采集时记录的采集时间戳；

确定子模块，用于基于视频图像数据的播放帧率和视频图像数据中第一帧视频图像帧的播放时间戳，从视频图像数据中确定出视频图像帧序列内各个视频图像帧各自对应的播放时间戳。

作为一种可选的方案，构建模块包括：

执行子模块，用于重复执行以下步骤，直至遍历全部的播放时间戳：

创建子模块，用于为当前播放时间戳创建当前索引数组；

第二获取子模块，用于依次从各个采集时间戳中获取当前采集时间戳；

添加子模块，用于在当前采集时间戳与当前播放时间戳之间的时间戳距离小于目标阈值的情况下，将当前采集时间戳对应的当前感知数据添加到与当前播放时间戳对应的当前索引数组中，将当前感知数据和当前视频图像帧确定为属于同一个数据对；

第三获取子模块，用于在当前采集时间戳与当前播放时间戳之间的时间戳距离大于目标阈值的情况下，获取下一个采集时间戳作为当前采集时间戳。

作为一种可选的方案，添加子模块包括：

添加子单元，用于在当前索引数组指示为空的情况下，将当前采集时间戳对应的当前感知数据添加到当前索引数组中；

替换子单元，用于在当前索引数组指示为非空的情况下，利用当前采集时间戳对应的当前感知数据替换当前索引数组中已存在的感知数据。

作为一种可选的方案，还包括：

插入模块，用于在各个采集时间戳与当前播放时间戳之间的时间戳距离均大于目标阈值的情况下，将无效索引插入当前索引数组中。

作为一种可选的方案，还包括：

标定模块，用于在接收车载设备发送的多个传感器数据包之前，车载设备车辆内的多个车载传感器参考同一时钟源进行时间同步标定处理，其中，多个传感器采集数据所生成的时间戳将具有时钟源所提供的相同的基准时间。

作为一种可选的方案，还包括：

第二获取模块，用于在接收车载设备发送的多个传感器数据包之前，车载设备获取车辆内配置的多个车载传感器的空间布局信息以及采集时间段信息；

第六确定模块，用于在接收车载设备发送的多个传感器数据包之前，基于空间布局信息和采集时间段信息，车载设备确定出具有采集范畴时空重合关系的传感器组，其中，传感器组中包括至少两个车载传感器；

分包模块，用于在接收车载设备发送的多个传感器数据包之前，在获取到各个车载传感器采集到的数据的情况下，车载设备对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中。

具体实施例可以参考上述多传感器数据对齐方法中所示示例，本示例中在此不再赘述。

根据本申请实施例的另一个方面，还提供了一种用于实施上述多传感器数据对齐方法的多传感器数据对齐装置。如图18所示，该装置包括：

获取单元1802，用于获取车辆内配置的多个车载传感器各自采集到的数据；

分包单元1804，用于对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个传感器组中的车载传感器之间具有采集范畴时空重合关系，采集范畴时空重合关系指示车载传感器所采集到的数据之间存在内容重叠；

上传单元1806，用于将多个传感器数据包上传云端服务器，其中，云端服务器将根据采集范畴时空重合关系对多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

作为一种可选的方案，分包单元1804包括：

第三获取模块，用于获取多个车载传感器的空间布局信息以及采集时间段信息；

第七确定模块，用于基于空间布局信息和采集时间段信息，车载设备确定出具有采集范畴时空重合关系的传感器组，其中，传感器组中包括至少两个车载传感器；

分配模块，用于将车载传感器采集到的数据均匀分配至各个传感器数据包中，得到多个传感器数据包。

作为一种可选的方案，分配模块包括：

第四获取子模块，用于在第k-1个车载传感器将采集到的数据分配到第j个传感器数据包的情况下，获取第k个车载传感器将采集到的数据，其中，k为大于等于1且小于等于M的自然数，M为车载传感器的数量，j为大于等于且小于等于P的自然数，P为传感器数据包的数量；

第一分配子模块，用于在第k-1个车载传感器与第k个车载传感器为属于同一个传感器组的情况下，将第k个车载传感器将采集到的数据分配到第j+1个传感器数据包中；

第二分配子模块，用于在第k-1个车载传感器与第k个车载传感器并非属于同一个传感器组的情况下，将第k个车载传感器将采集到的数据分配到第j个传感器数据包中。

具体实施例可以参考上述多传感器数据对齐方法中所示示例，本示例中在此不再赘述。

根据本申请实施例的又一个方面，还提供了一种用于实施上述多传感器数据对齐方法的电子装置，如图19所示，该电子装置包括存储器1902和处理器1904，该存储器1902中存储有计算机程序，该处理器1904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行前述多传感器数据对齐方法。

可选地，本领域普通技术人员可以理解，图19其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图19中所示更多或者更少的组件（如网络接口等），或者具有与图19所示不同的配置。

其中，存储器1902可用于存储软件程序以及模块，如本申请实施例中的多传感器数据对齐方法和装置对应的程序指令/模块，处理器1904通过运行存储在存储器1902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的多传感器数据对齐方法。存储器1902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1902可进一步包括相对于处理器1904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1902具体可以但不限于用于存储多个传感器数据包等信息。作为一种示例，如图19所示，上述存储器1902中可以但不限于包括上述多传感器数据对齐装置中的接收单元1702、确定单元1704、恢复单元1706、对齐单元1708。此外，还可以包括但不限于上述多传感器数据对齐装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1906包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1908，用于显示多个传感器数据包等信息；和连接总线1910，用于连接上述电子装置中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（Peer To Peer，简称P2P）网络，任意形式的计算设备，比如服务器、终端等电子装置都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请实施例的又一个方面，还提供了一种用于实施上述多传感器数据对齐方法的电子装置，如图20所示，该电子装置包括存储器2002和处理器2004，该存储器2002中存储有计算机程序，该处理器2004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行前述多传感器数据对齐方法。其中，存储器2002可用于存储软件程序以及模块，如本申请实施例中的多传感器数据对齐方法和装置对应的程序指令/模块，处理器2004通过运行存储在存储器2002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的多传感器数据对齐方法。存储器2002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器2002可进一步包括相对于处理器2004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器2002具体可以但不限于用于存储多个传感器数据包等信息。作为一种示例，如图20所示，上述存储器2002中可以但不限于包括上述多传感器数据对齐装置中的获取单元1802、分包单元1804、上传单元1806、对齐单元1708。此外，还可以包括但不限于上述多传感器数据对齐装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置2006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。

此外，上述电子装置还包括：显示器2008，用于显示多个传感器数据包等信息；和连接总线2010，用于连接上述电子装置中的各个模块部件。

根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请实施例提供的各种功能。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，电子装置的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请的系统中限定的各种功能。

根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，接收车载设备发送的多个传感器数据包，其中，每个传感器数据包中携带有车载设备所在车辆内至少两个车载传感器采集到的数据；

S2，在确定多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与第一传感器数据包关联的至少一个第二传感器数据包，其中，具有采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；

S3，利用第二传感器数据包对第一传感器数据包中丢失的数据进行数据恢复；

S4，对执行数据恢复后的多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

可选地，在本实施例中，上述计算机可读的存储介质还可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取车辆内配置的多个车载传感器各自采集到的数据；

S2，对车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个传感器组中的车载传感器之间具有采集范畴时空重合关系，采集范畴时空重合关系指示车载传感器所采集到的数据之间存在内容重叠；

S3，将多个传感器数据包上传云端服务器，其中，云端服务器将根据采集范畴时空重合关系对多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (19)

1.一种多传感器数据对齐方法，其特征在于，包括：

接收车载设备发送的多个传感器数据包，其中，每个所述传感器数据包中携带有所述车载设备所在车辆内至少两个车载传感器采集到的数据；

在确定所述多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于所述车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与所述第一传感器数据包关联的至少一个第二传感器数据包，其中，具有所述采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；

利用所述第二传感器数据包对所述第一传感器数据包中丢失的数据进行数据恢复；

对执行数据恢复后的所述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与所述第一传感器数据包关联的至少一个第二传感器数据包包括：

确定所述第一传感器数据包中出现数据丢失的对象传感器；

从所述多个车载传感器中确定出与所述对象传感器具有所述采集范畴时空重合关系的所述目标传感器；

从所述已接收的传感器数据包，将携带有所述目标传感器采集到的数据的传感器数据包确定为所述第二传感器数据包。

3.根据权利要求2所述的方法，其特征在于，所述利用所述第二传感器数据包对所述第一传感器数据包中丢失的数据进行数据恢复包括：

从所述第二传感器数据包中获取所述目标传感器采集到的目标数据；

利用所述目标数据对所述对象传感器所丢失的数据进行补全恢复。

4.根据权利要求1所述的方法，其特征在于，在所述接收车载设备发送的多个传感器数据包之后，还包括：

对所述多个传感器数据包依次进行完整性校验；

在至少一个所述传感器数据包的数据包标识缺失或与预设数据包校验信息不一致的情况下，确定所述至少一个所述传感器数据包为出现数据丢失的所述第一传感器数据包。

5.根据权利要求1所述的方法，其特征在于，所述对执行数据恢复后的所述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理包括：

从执行数据恢复后的所述多个传感器数据包中提取所述车辆感知数据和所述视频图像数据；

从所述车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从所述视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳；

根据对所述采集时间戳与所述播放时间戳进行比对后得到的比对结果，构建数据索引数组，其中，所述数据索引数组中记录有已实现对齐的多个数据对，在同一个数据对中的感知数据的采集时间戳与视频图像帧的播放时间戳之间的时间戳距离小于目标阈值。

6.根据权利要求5所述的方法，其特征在于，所述从执行数据恢复后的所述多个传感器数据包中提取所述车辆感知数据和所述视频图像数据包括：

对完成数据恢复的所述多个传感器数据包进行数据解析，得到所述车辆在N个周期内采集到的N个视觉感知数据集，其中，第i个所述视觉感知数据集中包括第i个周期内采集到的自车运动状态数据、所述车辆感知数据和所述视频图像数据，i为大于等于1且小于等于N的自然数；

对所述N个视觉感知数据集进行数据清洗，以去除携带有错误时间戳的数据，其中，所述错误时间戳为超出一个传感器数据包对应采集时间段的时间戳；

从完成数据清洗后的所述N个视觉感知数据集中，获取所述车辆感知数据和所述视频图像数据。

7.根据权利要求5所述的方法，其特征在于，所述从所述车辆感知数据中确定出每一条感知数据对应的采集时间戳，并从所述视频图像数据中确定出每一帧视频图像帧各自对应的播放时间戳包括：

从所述车辆感知数据中提取每一条感知数据采集时记录的所述采集时间戳；

基于所述视频图像数据的播放帧率和所述视频图像数据中第一帧视频图像帧的播放时间戳，从所述视频图像数据中确定出视频图像帧序列内各个视频图像帧各自对应的播放时间戳。

8.根据权利要求7所述的方法，其特征在于，所述根据对所述采集时间戳与所述播放时间戳进行比对后得到的比对结果，构建数据索引数组包括：

重复执行以下步骤，直至遍历全部的所述播放时间戳：

为当前播放时间戳创建当前索引数组；

依次从各个所述采集时间戳中获取当前采集时间戳；

在所述当前采集时间戳与所述当前播放时间戳之间的时间戳距离小于所述目标阈值的情况下，将所述当前采集时间戳对应的当前感知数据添加到与所述当前播放时间戳对应的所述当前索引数组中，将所述当前感知数据和所述当前视频图像帧确定为属于同一个数据对；

在所述当前采集时间戳与所述当前播放时间戳之间的时间戳距离大于所述目标阈值的情况下，获取下一个采集时间戳作为所述当前采集时间戳。

9.根据权利要求8所述的方法，其特征在于，所述将所述当前采集时间戳对应的当前感知数据添加到与所述当前播放时间戳对应的所述当前索引数组中包括：

在所述当前索引数组指示为空的情况下，将所述当前采集时间戳对应的当前感知数据添加到所述当前索引数组中；

在所述当前索引数组指示为非空的情况下，利用所述当前采集时间戳对应的当前感知数据替换所述当前索引数组中已存在的感知数据。

10.根据权利要求8所述的方法，其特征在于，还包括：

在各个所述采集时间戳与所述当前播放时间戳之间的时间戳距离均大于所述目标阈值的情况下，将无效索引插入所述当前索引数组中。

11.根据权利要求1至10中任一项所述的方法，其特征在于，在所述接收车载设备发送的多个传感器数据包之前，还包括：

所述车载设备所述车辆内的多个车载传感器参考同一时钟源进行时间同步标定处理，其中，所述多个传感器采集数据所生成的时间戳将具有所述时钟源所提供的相同的基准时间。

12.根据权利要求1至10中任一项所述的方法，其特征在于，在所述接收车载设备发送的多个传感器数据包之前，还包括：

所述车载设备获取所述车辆内配置的所述多个车载传感器的空间布局信息以及采集时间段信息；

基于所述空间布局信息和所述采集时间段信息，所述车载设备确定出具有所述采集范畴时空重合关系的传感器组，其中，所述传感器组中包括至少两个车载传感器；

在获取到各个车载传感器采集到的数据的情况下，所述车载设备对所述车载传感器采集到的数据进行分包处理，得到所述多个传感器数据包，其中，属于同一个所述传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中。

13.一种多传感器数据对齐方法，其特征在于，包括：

获取车辆内配置的多个车载传感器各自采集到的数据；

对所述车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个所述传感器组中的车载传感器之间具有采集范畴时空重合关系，所述采集范畴时空重合关系指示所述车载传感器所采集到的数据之间存在内容重叠；

将所述多个传感器数据包上传云端服务器，其中，所述云端服务器将根据所述采集范畴时空重合关系对所述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

14.根据权利要求13所述的方法，其特征在于，所述对所述车载传感器采集到的数据进行分包处理，得到多个传感器数据包包括：

获取所述多个车载传感器的空间布局信息以及采集时间段信息；

基于所述空间布局信息和所述采集时间段信息，所述车载设备确定出具有所述采集范畴时空重合关系的传感器组，其中，所述传感器组中包括至少两个车载传感器；

将所述车载传感器采集到的数据均匀分配至各个传感器数据包中，得到所述多个传感器数据包。

15.根据权利要求14所述的方法，其特征在于，所述将所述车载传感器采集到的数据均匀分配至各个传感器数据包中，得到所述多个传感器数据包包括：

在第k-1个车载传感器将采集到的数据分配到第j个传感器数据包的情况下，获取第k个车载传感器将采集到的数据，其中，k为大于等于1且小于等于M的自然数，M为车载传感器的数量，j为大于等于且小于等于P的自然数，P为传感器数据包的数量；

在所述第k-1个车载传感器与所述第k个车载传感器为属于同一个所述传感器组的情况下，将所述第k个车载传感器将采集到的数据分配到第j+1个传感器数据包中；

在所述第k-1个车载传感器与所述第k个车载传感器并非属于同一个所述传感器组的情况下，将所述第k个车载传感器将采集到的数据分配到所述第j个传感器数据包中。

16.一种多传感器数据对齐装置，其特征在于，包括：

接收单元，用于接收车载设备发送的多个传感器数据包，其中，每个所述传感器数据包中携带有所述车载设备所在车辆内至少两个车载传感器采集到的数据；

确定单元，用于在确定所述多个传感器数据包中第一传感器数据包出现数据丢失的情况下，基于所述车辆内配置的多个车载传感器之间的采集范畴时空重合关系，从已接收的传感器数据包中确定出与所述第一传感器数据包关联的至少一个第二传感器数据包，其中，具有所述采集范畴时空重合关系的两个车载传感器各自所采集到的数据之间存在内容重叠；

恢复单元，用于利用所述第二传感器数据包对所述第一传感器数据包中丢失的数据进行数据恢复；

对齐单元，用于对执行数据恢复后的所述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

17.一种多传感器数据对齐装置，其特征在于，包括：

获取单元，用于获取车辆内配置的多个车载传感器各自采集到的数据；

分包单元，用于对所述车载传感器采集到的数据进行分包处理，得到多个传感器数据包，其中，属于同一个传感器组的车载传感器所采集到的数据将被划分到至少两个传感器数据包中，位于同一个所述传感器组中的车载传感器之间具有采集范畴时空重合关系，所述采集范畴时空重合关系指示所述车载传感器所采集到的数据之间存在内容重叠；

上传单元，用于将所述多个传感器数据包上传云端服务器，其中，所述云端服务器将根据所述采集范畴时空重合关系对所述多个传感器数据包中的车辆感知数据与视频图像数据进行对齐处理。

18.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至12或13至15中任一项所述的方法。

19.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至12或13至15中任一项所述的方法。