CN115902882A - 采集数据的处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供一种采集数据的处理方法、装置、存储介质及电子设备，首先采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据和位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据，然后基于图像数据的拍摄时刻确定初始点云数据和图像数据的同步时刻，并基于第一车辆位姿数据确定目标车辆在同步时刻的第二车辆位姿数据，最后根据第二车辆位姿数据将初始点云数据转换为同步时刻下的目标点云数据。对初始点云数据进行坐标转换处理，以使各初始点云数据都体现在同步时刻的坐标系中，由于同步时刻与旋转运动扫描周期的初始时刻或最后时刻间的跨度较小，故运动补偿的时间跨度较小，从而提高补偿的准确性。

Description

采集数据的处理方法、装置、存储介质及电子设备

技术领域

本申请涉及智能驾驶技术领域，尤其涉及一种采集数据的处理方法、装置、存储介质及电子设备。

背景技术

随着智能驾驶技术的发展，各类传感器设备(例如，激光雷达、摄像头、惯导等)常用来作为车辆的状态感知元件，用于获取驾驶过程中的环境数据和车辆状态数据。

由于车辆在运动时车辆位姿变化较大，而激光雷达每形成一帧点云都需要耗费一定时间，因此该过程中导致出现的点云与真实世界中的物体的差别很大，从而带来畸变，当前通常通过对点云数据作运动补偿，以将所有点云数据都表现为同一参照车辆位姿对应的时刻所采集的样子，从而缓解点云的畸变程度，其中，通常需要基于位姿的差异将一帧点云中的点云数据均运动补偿至雷达运动扫描周期的初始时刻或最后时刻的点云数据中，然而，每次补偿时均需将初始时刻的点云数据运动补偿到最后时刻(或将最后时刻的点云数据补偿到初始时刻)，由此可见，该运动补偿的时间跨度比较大，容易影响补偿的准确性。

发明内容

本申请提供一种采集数据的处理方法、装置、存储介质及电子设备，用于缓解当前车辆状态感知能力低的技术问题。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供一种采集数据的处理方法，包括：

采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在所述旋转运动扫描周期内的第一车辆位姿数据；

基于所述图像数据的拍摄时刻，确定所述初始点云数据和所述图像数据的同步时刻；

基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据；

根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据。

其中，所述确定所述初始点云数据和所述图像数据的同步时刻的步骤，包括：

确定所述图像数据的拍摄时刻；

当所述拍摄时刻满足同步条件时，确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻。

其中，在所述确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻之前，还包括：

当所述拍摄时刻位于所述旋转运动扫描周期的目标扫描时间区间内时，确定所述拍摄时刻满足所述同步条件；其中，所述目标扫描时间区间包括所述激光雷达扫描至所述图像采集设备的拍摄视角范围内时对应的时间区间。

其中，所述确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻的步骤，包括：

若所述图像数据的数量等于1，确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻；

若所述图像数据的数量大于1，计算各图像数据对应的所述拍摄时刻与所述目标扫描时间区间内的中间时刻之间的差值；

将数值较小的所述差值对应的所述拍摄时刻作为所述初始点云数据和所述图像数据的同步时刻。

其中，所述基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据的步骤，包括：

确定所述第一车辆位姿数据中的初始相邻车辆位姿数据和结束相邻车辆位姿数据；其中，所述初始相邻车辆位姿数据为所述目标车辆在所述旋转运动扫描周期的初始时刻的相邻时刻对应的所述第一车辆位姿数据，所述结束相邻车辆位姿数据为所述目标车辆在所述旋转运动扫描周期的结束时刻的相邻时刻对应的所述第一车辆位姿数据；

基于所述初始相邻车辆位姿数据和所述结束相邻车辆位姿数据，对所述目标车辆的车辆位姿进行线性插值，得到所述第二车辆位姿数据。

其中，所述根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据的步骤，包括：

基于所述第二车辆位姿数据，确定各初始点云数据在所述同步时刻对应的目标雷达坐标系下的目标坐标；

将各初始点云数据的坐标转换为所述目标坐标，得到所述目标点云数据。

其中，在所述根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据的步骤之后，还包括：

将所述同步时刻的所述图像数据中各像素点与所述目标点云数据融合于同一坐标系下进行呈现。

本申请实施例还提供了一种采集数据的处理装置，包括：

采集模块，用于采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在所述旋转运动扫描周期内的第一车辆位姿数据；

同步时刻确定模块，用于确定所述初始点云数据和所述图像数据的同步时刻；

第二车辆位姿数据确定模块，用于基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据；

补偿处理模块，用于根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项采集数据的处理方法。

本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述任一项采集数据的处理方法中的步骤。

本申请实施例提供一种采集数据的处理方法、装置、存储介质及电子设备，首先采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据，然后基于图像数据的拍摄时刻确定初始点云数据和图像数据的同步时刻，并基于第一车辆位姿数据确定目标车辆在同步时刻的第二车辆位姿数据，最后根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。预先确定了初始点云数据和图像数据的同步时刻，并根据目标车辆在该同步时刻下的车辆位姿数据对初始点云数据进行坐标转换处理，以使各初始点云数据都体现在同步时刻下的坐标系中，由于同步时刻与激光雷达旋转运动扫描周期的初始时刻或最后时刻之间的跨度较小，使得该运动补偿的时间跨度较小，从而提高补偿的准确性。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本申请实施例提供的采集数据的处理方法的流程示意图。

图2是本申请实施例提供的采集数据的处理方法的场景示意图。

图3是本申请实施例提供的采集数据的处理方法的另一场景示意图。

图4是本申请实施例提供的采集数据的处理装置的结构示意图。

图5是本申请实施例提供的电子设备的结构示意图。

图6是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种采集数据的处理方法、装置、存储介质及电子设备。

如图1所示，图1是本申请实施例提供的采集数据的处理方法的流程示意图，具体流程可以如下：

S101.采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据。

其中，激光雷达、图像采集设备和位姿检测设备均安装于目标车辆上，激光雷达是激光探测与测距系统的简称，它通过测定传感器发射器与目标物体之间的传播距离，分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息，从而呈现出相应的初始点云数据，以反映目标物体精确的三维结构信息；初始点云数据是由激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息、反射强度信息和回波次数信息等；第一车辆位姿数据用于表征目标车辆在旋转运动扫描周期(例如，扫描车体一周的时间)内各时刻发生的位姿变化。

具体地，在本实施例中，激光雷达为运动式机械雷达，其在工作模式下以旋转扫描的方式扫描目标车辆周围的环境，并在每个旋转运动扫描周期结束时输出初始点云数据，同时，图像采集设备(例如，车载摄像头)在每个旋转运动扫描周期内的曝光时刻曝光以输出图像数据，目标车辆上的位姿检测设备(例如，位姿传感器)同样也在旋转运动扫描周期内的各时刻输出目标车辆的多个位姿数据作为第一车辆位姿数据。

S102.基于图像数据的拍摄时刻，确定初始点云数据和图像数据的同步时刻。

其中，同步时刻用于表征初始点云数据和图像数据的一致性。具体地，在实际应用过程中，通常将点云数据与图像数据进行结合以分析出车辆周围环境中的障碍物信息，为保证分析的有效性，需要确保点云数据与图形数据所表征的是相同的环境因素(例如，障碍物)。

在本实施例中，首先确定图像数据的拍摄时刻，当拍摄时刻满足同步条件时确定拍摄时刻为初始点云数据和图像数据的同步时刻。其中，同步条件为用于判断一旋转运动扫描周期内产生的初始点云数据(即一帧点云)和图像数据是否保持一致的依据。

可选地，在上述步骤S102之前，首先确定图像采集设备的拍摄视角范围，并确定激光雷达扫描到该拍摄视角范围内时所对应的时间区间(旋转运动扫描周期内的某一时间区间)，将该时间区间作为目标扫描时间区间，当拍摄时刻位于该目标扫描时间区间内时，说明该图像数据是在激光雷达扫描视角与图像采集设备拍摄视角的重叠视角内拍摄而得，也即说明该帧点云和图像数据在该拍摄时刻是保持一致的，故确定拍摄时刻满足同步条件。

例如，如图2所示，摄像头201安装于目标车辆的正前方，激光雷达202从目标测量的正后方的起始点2021开始以顺时针的方向扫描，旋转运动扫描周期为0-100ms，且激光雷达202扫描到摄像头201的视角范围2011内时对应的目标扫描时间区间为33.3-66.6ms，且图像数据A的拍摄时刻为43.3ms，由于其拍摄时刻位于33.3-66.6ms内，故确定其满足同步条件。

进一步地，考虑到在实际应用过程中可能会存在多个图像数据的拍摄时刻都位于目标扫描时间区间内，在本实施例中，继续对图像数据的数量进行判断，以根据图像数据的数量来确定同步时刻，从而保证所选择的同步时刻下的初始点云数据和图像数据是最一致的：

若图像数据的数量等于1，则确定拍摄时刻为初始点云数据和图像数据的同步时刻。例如，目标扫描时间区间为33.3-66.6ms，拍摄时刻位于33.3-66.6ms内的图像数据只有图像数据A(拍摄时刻为43.3ms)，故确定43.3ms为初始点云数据和图像数据的同步时刻；

若图像数据的数量大于1，计算各图像数据对应的拍摄时刻与目标扫描时间区间内的中间时刻(旋转运动扫描周期的中间时刻)之间的差值，并将数值较小的差值对应的拍摄时刻作为初始点云数据和图像数据的同步时刻。例如，旋转运动扫描周期为0-100ms，目标扫描时间区间为33.3-66.6ms，拍摄时刻位于33.3-66.6ms内的图像数据有图像数据A(拍摄时刻为43.3ms)和图像数据B(拍摄时刻为35ms)，由于43.3ms与目标扫描时间区间内的中间时刻(即50ms)的差值为6.7ms，35ms与目标扫描时间区间内的中间时刻的差值为15ms，故确定43.3ms为初始点云数据和图像数据的同步时刻。

需要说明的是，如图2所示，由于只需确定视角范围2011的角度范围以及激光雷达202扫描到视角范围2011内时对应的扫描时间，即可确定目标扫描时间区间，后续直接将所拍摄得到的图像数据与该目标扫描时间区间进行比对即可确定同步时刻，该过程无需限定摄像头201的触发时间，因此避免了由于摄像设备触发时间不准确(例如，摄像头201在接收到触发请求时无法立即执行图像数据采集动作，或者，由于激光雷达202的运动速度不均匀变化导致无法准确判断向摄像头201发送触发请求的时刻)造成同步时刻的准确性低的现象。

S103.基于第一车辆位姿数据，确定目标车辆在同步时刻的第二车辆位姿数据。

其中，由于在目标车辆的行驶过程中的车辆位姿是不断变化的，而激光雷达每形成一帧点云都需要耗费较长时间，导致该过程出现的初始点云数据存在畸变现象(即初始点云数据与真实世界中的物体的差别很大)，为此，在本实施例中，首先确定目标车辆在某预设时刻下的车辆位姿，并将其作为参考位姿，以在后续让一帧点云中的所有初始点云数据都表现为目标车辆处于参考位姿时采集的状态，从而达到矫正初始点云数据畸变的目的。

可选地，选取同步时刻作为上文中的预设时刻。具体地，在本实施例中，首先确定第一车辆位姿数据中的初始相邻车辆位姿数据(目标车辆在旋转运动扫描周期的初始时刻的相邻时刻对应的第一车辆位姿数据)和结束相邻车辆位姿数据(目标车辆在旋转运动扫描周期的结束时刻的相邻时刻对应的第一车辆位姿数据)，然后对初始相邻车辆位姿数据和结束相邻车辆位姿数据进行线性插值处理，即可得到目标车辆在每个扫描时刻对应的全部车辆位姿数据，再从全部车辆位姿数据中查询到同步时刻对应的第二车辆位姿数据。其中，线性插值处理方法的意义为利用过两点的直线来近似表示时刻与车辆位姿数据之间的线性关系，根据该线性关系即可确定各时刻下的车辆位姿数据。

具体地，初始时刻/结束时刻的相邻时刻可以为旋转运动扫描周期之内(即旋转运动扫描开始后和旋转运动扫描结束前)的时刻，例如，旋转运动扫描周期为50-100ms，50.1ms为初始时刻的相邻时刻，99.9ms为结束时刻的相邻时刻，另外，还可以为旋转运动扫描周期之外(即旋转运动扫描开始前和旋转运动扫描结束后)的时刻，例如，旋转运动扫描周期为50-100ms，49.9ms为初始时刻的相邻时刻，100.1ms为结束时刻的相邻时刻。

S104.根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。

其中，坐标转换处理的目的在于将所有点云数据投影至相同的车辆位姿所对应的时刻，从而使一帧点云中的所有点云数据都表现出同一时刻采集的样子，以达到点云畸变矫正的效果。

在现有技术中，通常将点云数据运动补偿至雷达运动扫描周期的初始时刻或最后时刻的点云数据中，也就是说，每次补偿时均需将初始时刻的点云数据运动补偿到最后时刻(或将最后时刻的点云数据补偿到初始时刻)，由此可见，该运动补偿的时间跨度比较大，因而无法在运动补偿的过程中将车辆的行驶轨迹视为线性运动，也即无法保证各点云数据的采集时刻对应的车辆位姿与参照车辆位姿之间的差异信息是否准确，另外，由于无法保证初始时刻或最后时刻下采集到的点云数据与车载摄像头在曝光时刻下的图像数据同步，从而容易影响补偿的准确性。

为避免上述情况，在本实施例中，基于第二车辆位姿数据确定各初始点云数据在同步时刻对应的目标雷达坐标系下的目标坐标，并将各初始点云数据的坐标转换为该目标坐标，以得到目标点云数据。

可选地，在确定目标坐标的过程中，分别计算第二车辆位姿数据与全部车辆位姿数据之间的差值，并根据该差值确定每个初始点云数据与同步时刻对应的目标雷达坐标系(例如图3中的X’-Y’-Z’坐标系)的投影距离，最后根据该投影距离确定各初始点云数据在目标雷达坐标系下的目标坐标，并将初始点云数据的坐标由初始坐标(该初始坐标为各初始点云数据在每个扫描时刻对应的初始雷达坐标系下的坐标，如图3中的X-Y-Z坐标系下的坐标)转换为目标坐标，得到目标点云数据，此时各目标点云数据均表现为目标车辆处于同步时刻的状态。由于同步时刻与激光雷达旋转运动扫描周期的初始时刻或最后时刻之间的跨度都比较小，使得该运动补偿的时间跨度较小，在运动补偿过程中可将目标车辆的行驶轨迹视为线性运动，从而保证各初始点云数据的采集时刻对应的车辆位姿(即全部车辆位姿数据)与同步时刻下的车辆位姿数据(即第二车辆位姿数据)之间的差异信息是准确的，另外，同步时刻下的目标点云数据与图像数据是同步的，从而有效提高补偿的准确性。

进一步地，在上述步骤S104之后，还包括：

将同步时刻的图像数据中各像素点与目标点云数据融合于同一坐标系下进行呈现。

具体地，由于激光雷达与图像采集设备(例如，摄像头)有着各自的优点和缺陷，其中，图像采集设备可以提供丰富的颜色信息，并且计算机视觉算法已经非常成熟，但是其无法提供车周环境的三维信息；激光雷达可以提供车周环境的三维信息，但无法提供车周环境的颜色信息，然而，在实际应用过程中，为了提高车辆的导航性能和避障性能，需要保证所采集的车周环境数据能够同时反映出车周环境的三维信息以及颜色信息，由此可见，为保证车辆的安全行驶，将激光雷达与图像采集设备所提供的信息进行融合显得至关重要。

在本实施例中，将同步时刻的图像数据中各像素点的颜色参数与各目标点云数据对应融合于目标雷达坐标系下，以使得目标雷达坐标系下呈现的目标点云数据既反映了车周环境的三维信息，又反映了车周环境的颜色信息，基于融合后的目标点云数据即可快速全面地知悉车周环境信息，从而有效提高车辆驾驶的安全性。

可选地，经上述畸变矫正得到的目标点云数据还具有多种应用场景，例如：根据图像数据与目标点云数据的重合度以判断摄像头和激光雷达的参数准确性、场景建模等。

例如，其中的同一坐标系可以指图像数据的二维坐标系，进而，可将目标点云数据投射到二维坐标系下，得到若干目标投射点，然后，可得到二维坐标系下的像素点和目标投射点，其可用于作为或产生最终的融合结果。

在此基础上，可在像素点中识别目标对象(例如人、车、路牌等)，得到每个目标对象的区域(可记作第一区域)；还可在目标投射点中识别同样的目标对象，得到每个目标对象的区域(可记作第二区域)，然后，针对同一目标对象，可通过计算对应第一区域与第二区域的重合区域相对于第一区域(或第二区域)的面积比，然后统计所有面积比的平均值或加权平均值作为融合结果的评估信息，该评估信息可用于评估融合效果的优劣，评估信息越高，融合结果越佳。

对于点云数据和图像数据来说，在以上步骤S101至S104的处理过程中，其在同步时实际假定了点云数据与图像数据的时间轴是对齐的，即：图像采集装置所采集到的某时刻A的图像，雷达所采集到的某时刻A的点云数据，理应是客观上同一时刻A的数据，然而，由于采集、处理过程中的延时、所采用时钟源等因素的影响，时间轴可能是未对齐的，此时就有可能导致：即便采集图像数据的图像采集设备的标定参数(例如内参、外参)，以及采集点云数据的雷达的标定参数(例如内参、外参)的准确程度都比较高的情况下，依旧会导致融合效果不佳，例如，第一区域与第二区域的位置、尺寸、形状等至少之一偏差较大。

若车辆是不运动的，则融合效果一般无法体现出时间轴对齐的准确程度。而以上步骤S101至S104中，由于车辆是运动的，在标定参数准确程度已被验证准确的情况下，尤其当车辆运动速度高于一定第一阈值时、车辆运动角速度高于一定第二阈值时，可准确、充分地体现出这种融合效果与时间轴对齐程度的关系。

故而，在重复执行步骤S101至S104并进行融合之后，可得到多个时刻中每个时刻下的融合结果(例如得到多个时刻中每个时刻下二维坐标系下的像素点与目标投射点)，然后，可在多个时刻中，选出车辆运动速度高于第一阈值的第一时刻，车辆运动角速度高于第二阈值的第二时刻，计算出第一时刻下的评估信息、第二时刻下的评估信息，统计出所有第一时刻、第二时刻的评估信息的统计值(例如平均值)作为全局评估信息，进而用该全局评估信息体现出时间轴的对齐程度，若全局评估信息高于指定阈值，则确定时间轴的对齐程度满足需求。

可见，以上方案中，通过在一定速度、角速度下融合效果的评估，实现了对两种检测数据(图像数据与点云数据)时间轴的对齐程度的有效评估。

由上述可知，本申请提供的采集数据的处理方法，首先采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据，然后基于图像数据的拍摄时刻确定初始点云数据和图像数据的同步时刻，并基于第一车辆位姿数据确定目标车辆在同步时刻的第二车辆位姿数据，最后根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。预先确定了初始点云数据和图像数据的同步时刻，并根据目标车辆在该同步时刻下的车辆位姿数据对初始点云数据进行坐标转换处理，以使各初始点云数据都体现在同步时刻下的坐标系中，由于同步时刻与激光雷达旋转运动扫描周期的初始时刻或最后时刻之间的跨度较小，使得该运动补偿的时间跨度较小，从而提高补偿的准确性。

根据上述实施例所描述的方法，本实施例将从采集数据的处理装置的角度进一步进行描述。

请参阅图4，图4具体描述了本申请实施例提供的采集数据的处理装置，该采集数据的处理装置可以包括：采集模块10、同步时刻确定模块20、第二车辆位姿数据确定模块30和补偿处理模块40，其中：

(1)采集模块10

采集模块10，用于采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据。

(2)同步时刻确定模块20

同步时刻确定模块20，用于基于图像数据的拍摄时刻，确定初始点云数据和图像数据的同步时刻。

其中，同步时刻确定模块20具体用于：

确定图像数据的拍摄时刻；

当拍摄时刻满足同步条件时，确定拍摄时刻为初始点云数据和图像数据的同步时刻。

具体地，同步时刻确定模块20还用于：

当所述拍摄时刻位于旋转运动扫描周期的目标扫描时间区间内时，确定拍摄时刻满足同步条件；其中，目标扫描时间区间包括激光雷达扫描至图像采集设备的拍摄视角范围内时对应的时间区间。

进一步地，同步时刻确定模块20还用于：

若图像数据的数量等于1，确定拍摄时刻为初始点云数据和图像数据的同步时刻；

若图像数据的数量大于1，计算各图像数据对应的拍摄时刻与目标扫描时间区间内的中间时刻之间的差值；

将数值较小的差值对应的拍摄时刻作为初始点云数据和图像数据的同步时刻。

(3)第二车辆位姿数据确定模块30

第二车辆位姿数据确定模块30，用于基于第一车辆位姿数据，确定目标车辆在同步时刻的第二车辆位姿数据。

其中，第二车辆位姿数据确定模块30具体用于：

确定第一车辆位姿数据中的初始相邻车辆位姿数据和结束相邻车辆位姿数据；其中，初始相邻车辆位姿数据为目标车辆在旋转运动扫描周期的初始时刻的相邻时刻对应的第一车辆位姿数据，结束相邻车辆位姿数据为目标车辆在旋转运动扫描周期的结束时刻的相邻时刻对应的第一车辆位姿数据；

基于初始相邻车辆位姿数据和结束相邻车辆位姿数据，对目标车辆的车辆位姿进行线性插值，得到第二车辆位姿数据。

(4)补偿处理模块40

补偿处理模块40，用于根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。

其中，补偿处理模块40具体用于：

基于第二车辆位姿数据，确定各初始点云数据在同步时刻对应的目标雷达坐标系下的目标坐标；

将各初始点云数据的坐标转换为目标坐标，得到目标点云数据。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

由上述可知，本申请提供的采集数据的处理装置，首先通过采集模块10采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据，然后通过同步时刻确定模块20基于图像数据的拍摄时刻确定初始点云数据和图像数据的同步时刻，并通过第二车辆位姿数据确定模块30基于第一车辆位姿数据确定目标车辆在同步时刻的第二车辆位姿数据，最后通过补偿处理模块40根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。预先确定了初始点云数据和图像数据的同步时刻，并根据目标车辆在该同步时刻下的车辆位姿数据对初始点云数据进行坐标转换处理，以使各初始点云数据都体现在同步时刻下的坐标系中，由于同步时刻与激光雷达旋转运动扫描周期的初始时刻或最后时刻之间的跨度较小，使得该运动补偿的时间跨度较小，从而提高补偿的准确性。

相应的，本发明实施例还提供一种采集数据的处理系统，包括本发明实施例所提供的任一种采集数据的处理装置，该采集数据的处理装置可以集成在电子设备中。

其中，采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据；基于图像数据的拍摄时刻，确定初始点云数据和图像数据的同步时刻；基于第一车辆位姿数据，确定目标车辆在同步时刻的第二车辆位姿数据；根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。

以上各个设备的具体实施可参见前面的实施例，在此不再赘述。

由于该采集数据的处理系统可以包括本发明实施例所提供的任一种采集数据的处理装置，因此，可以实现本发明实施例所提供的任一种采集数据的处理装置所能实现的有益效果，详见前面的实施例，在此不再赘述。

另外，本申请实施例还提供一种电子设备。如图5所示，电子设备500包括处理器501、存储器502。其中，处理器501与存储器502电性连接。

处理器501是电子设备500的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器502内的应用程序，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备500中的处理器501会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能：

采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据；

基于图像数据的拍摄时刻，确定初始点云数据和图像数据的同步时刻；

基于第一车辆位姿数据，确定目标车辆在同步时刻的第二车辆位姿数据；

根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。

图6示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的采集数据的处理方法。

RF电路610用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路610可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路610可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced DataGSM Environment，EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess，WCDMA)，码分多址技术(Code Division Access，CDMA)、时分多址技术(TimeDivision Multiple Access，TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE802.11a，IEEE 802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over Internet Protocol，VoIP)、全球微波互联接入(WorldwideInteroperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现存储5G能力信息的功能。存储器620可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器620可进一步包括相对于处理器680远程设置的存储器，这些远程存储器可以通过网络连接至电子设备600。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入单元630可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元630可包括触敏表面631以及其他输入设备632。触敏表面631，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。除了触敏表面631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及电子设备600的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板641。进一步的，触敏表面631可覆盖显示面板641，当触敏表面631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触敏表面631与显示面板641是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面631与显示面板641集成而实现输入和输出功能。

电子设备600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备600还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路660、扬声器661，传声器662可提供用户与电子设备600之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一终端，或者将音频数据输出至存储器620以便进一步处理。音频电路660还可能包括耳塞插孔，以提供外设耳机与电子设备600的通信。

电子设备600通过传输模块670(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了传输模块670，但是可以理解的是，其并不属于电子设备600的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器680是电子设备600的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选的，处理器680可包括一个或多个处理核心；在一些实施例中，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

电子设备600还包括给各个部件供电的电源690(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源690还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，电子设备600还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，电子设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：

采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在旋转运动扫描周期内的第一车辆位姿数据；

基于图像数据的拍摄时刻，确定初始点云数据和图像数据的同步时刻；

基于第一车辆位姿数据，确定目标车辆在同步时刻的第二车辆位姿数据；

根据第二车辆位姿数据对初始点云数据进行坐标转换处理，得到在同步时刻的目标点云数据。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种采集数据的处理方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种采集数据的处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种采集数据的处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

综上，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种采集数据的处理方法，其特征在于，包括：

采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在所述旋转运动扫描周期内的第一车辆位姿数据；

基于所述图像数据的拍摄时刻，确定所述初始点云数据和所述图像数据的同步时刻；

基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据；

根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据。

2.根据权利要求1所述的采集数据的处理方法，其特征在于，所述基于所述图像数据的拍摄时刻，确定所述初始点云数据和所述图像数据的同步时刻的步骤，包括：

确定所述图像数据的拍摄时刻；

当所述拍摄时刻满足同步条件时，确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻。

3.根据权利要求2所述的采集数据的处理方法，其特征在于，在所述基于所述图像数据的拍摄时刻，确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻之前，还包括：

当所述拍摄时刻位于所述旋转运动扫描周期的目标扫描时间区间内时，确定所述拍摄时刻满足所述同步条件；其中，所述目标扫描时间区间包括所述激光雷达扫描至所述图像采集设备的拍摄视角范围内时对应的时间区间。

4.根据权利要求2所述的采集数据的处理方法，其特征在于，所述确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻的步骤，包括：

若所述图像数据的数量等于1，确定所述拍摄时刻为所述初始点云数据和所述图像数据的同步时刻；

若所述图像数据的数量大于1，计算各图像数据对应的所述拍摄时刻与所述目标扫描时间区间内的中间时刻之间的差值；

将数值较小的所述差值对应的所述拍摄时刻作为所述初始点云数据和所述图像数据的同步时刻。

5.根据权利要求2所述的采集数据的处理方法，其特征在于，所述基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据的步骤，包括：

确定所述第一车辆位姿数据中的初始相邻车辆位姿数据和结束相邻车辆位姿数据；其中，所述初始相邻车辆位姿数据为所述目标车辆在所述旋转运动扫描周期的初始时刻的相邻时刻对应的所述第一车辆位姿数据，所述结束相邻车辆位姿数据为所述目标车辆在所述旋转运动扫描周期的结束时刻的相邻时刻对应的所述第一车辆位姿数据；

基于所述初始相邻车辆位姿数据和所述结束相邻车辆位姿数据，对所述目标车辆的车辆位姿进行线性插值，得到所述第二车辆位姿数据。

6.根据权利要求5所述的采集数据的处理方法，其特征在于，所述根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据的步骤，包括：

基于所述第二车辆位姿数据，确定各初始点云数据在所述同步时刻对应的目标雷达坐标系下的目标坐标；

将各初始点云数据的坐标转换为所述目标坐标，得到所述目标点云数据。

7.根据权利要求6所述的采集数据的处理方法，其特征在于，在所述根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据的步骤之后，还包括：

将所述同步时刻的所述图像数据中各像素点与所述目标点云数据融合于同一坐标系下进行呈现。

8.一种采集数据的处理装置，其特征在于，包括：

采集模块，用于采集激光雷达在旋转运动扫描周期内输出的初始点云数据、图像采集设备输出的图像数据以及位姿检测设备输出的目标车辆在所述旋转运动扫描周期内的第一车辆位姿数据；

同步时刻确定模块，用于基于所述图像数据的拍摄时刻，确定所述初始点云数据和所述图像数据的同步时刻；

第二车辆位姿数据确定模块，用于基于所述第一车辆位姿数据，确定所述目标车辆在所述同步时刻的第二车辆位姿数据；

补偿处理模块，用于根据所述第二车辆位姿数据对所述初始点云数据进行坐标转换处理，得到在所述同步时刻的目标点云数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至7任一项所述的采集数据的处理方法中的步骤。

10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至7任一项所述的采集数据的处理方法中的步骤。

Images