CN113554698B - 车辆位姿信息生成方法、装置及电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种车辆位姿信息生成方法、装置及电子设备、存储介质，涉及车辆技术领域。通过获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，然后对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；根据局部坐标系下车辆位姿信息、将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据，由于车辆位姿信息包括车辆位置信息和车辆姿态信息，场景图像中的目标对象的参考信息为3D点云数据，因此，即便是车辆位于不平整的道路环境(如上下坡道)，也能够精确的获取到车辆当前的行驶状态信息及环境中的目标对象的定位信息，从而为最终精确地控制车辆到达预定目标打下基础。

Description

车辆位姿信息生成方法、装置及电子设备、存储介质

技术领域

本申请涉及车辆技术领域，尤其涉及一种车辆位姿信息生成方法、装置及电子设备、存储介质。

背景技术

随着社会的发展，人们对无人驾驶技术的关注度也越来越高，无人驾驶技术是通过车载传感系统感知道路场景，并根据感知到的道路场景获得道路、车辆位置和障碍物的定位信息，并根据获得信息控制车辆的转向和速度，自动规划行车路线并控制车辆到达预定目标的技术。

假设通过利用轮速计定位车辆位置，以及通过相机采集道路场景中目标对象的平面位置，并根据得到的车辆位置与采集到的采集道路场景中目标对象的平面位置，进行智能驾驶。然而车辆根据上述的信息进行智能驾驶时，如果位于不平整的道路环境(如上下坡道)，车辆无法精确的获取到车辆当前的行驶状态信息及环境中的目标对象的定位信息，从而最终无法精确地控制车辆到达预定目标。

发明内容

第一方面，本申请实施例提供了一种车辆位姿信息生成方法，包括：

获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下车辆位姿信息、将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

第二方面，本申请实施例还提供了一种车辆位姿信息生成装置，包括：

信息获得单元，被配置成获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

目标信息提取单元，被配置成对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

数据处理单元，被配置成根据预设的尺度因子以及在局部坐标系下的车辆位姿信息，将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

信息生成单元，被配置成根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

第三方面，本申请实施例还提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现本申请实施例第一方面所述的车辆位姿信息生成方法。

第四方面，本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本申请实施例第一方面所述的车辆位姿信息生成方法。

第五方面，本申请实施例还提供了一种车辆位姿信息生成系统，包括：

安装于车辆的位姿信息采集模块，用于采集局部坐标系下的车辆位姿信息；

安装于车辆的至少一个图像采集模块，用于采集场景图像；

电子设备，用于接收所述位姿信息采集模块传输的车辆坐标系下的场景图像以及所述图像采集模块传输的局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下的车辆位姿信息,将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

该车辆位姿信息生成方法，通过获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，然后对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；根据在局部坐标系下的车辆位姿信息，将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据，由于车辆位姿信息包括车辆位置信息和车辆姿态信息，场景图像中的目标对象的参考信息为3D点云数据，因此，即便是车辆位于不平整的道路环境(如上下坡道)，也能够精确的获取到车辆当前的行驶状态信息及环境中的目标对象的定位信息，从而为最终精确地控制车辆到达预定目标打下基础。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的电子设备分别与数据采集平台、数据显示平台的交互示意图；

图2为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图3为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图4为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图5为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图6为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图7为本申请的一种实施例提供的车辆位姿信息生成方法的流程图；

图8为本申请的一种实施例提供的车辆位姿信息生成装置的功能模块框图；

图9为本申请的一种实施例提供的车辆位姿信息生成装置的功能模块框图；

图10为本申请的一种实施例提供的车辆位姿信息生成装置的功能模块框图；

图11为本申请的一种实施例提供的车辆位姿信息生成装置的功能模块框图；

图12为本申请的一种实施例提供的车辆位姿信息生成装置的功能模块框图；

图13为本申请实施例提供的电子设备的电路连接框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

请参阅图2，本申请实施例提供了一种车辆位姿信息生成方法，应用于电子设备100，其中，电子设备100可以为数据分析平台，其中，如图1所示，数据分析平台分别与数据采集平台200、数据显示平台300通过有线或无线的方式通信连接，以便进行数据交互。所述方法包括：

S11：获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系。

其中，可以接收数据分析平台发送的场景图像以及局部坐标系下的车辆位姿信息。需要说明的是，车辆姿态信息还可以通过数据分析平台根据发送的车辆状态信息生成。其中，车辆位置信息包括车辆的在X轴、Y轴、Z轴上的位置信息，车辆姿态信息包括车辆的俯仰角、航向角以及横滚角；另外，上述的车辆可以包括但不限于供驾驶员驾驶的带自动驾驶系统的车辆、或者无人驾驶的车辆、或者自动驾驶机器人等。

其中，场景图像可以安装于车辆一个摄像机拍摄的全景图像，或者多个安装于车辆的不同位置的摄像头拍摄的多个场景图像。其中，摄像头可以为环视相机(如，鱼眼相机)，当摄像头的数量为多个(如四个)时，多个摄像头可以分布于车辆的车前盖、左后视镜、右后视镜以及车后盖，每一个环视相机的横向视场角通常大于180度，四个环视相机的视野可以覆盖车身四周360度的视野，从而获得车辆周围的场景图像。

需要说明的是，需要将同一时间获取到的场景图像与车辆位姿信息进行绑定，以便进行同步处理。

S12：对场景图像进行语义分割得到语义分割图像，提取语义分割图像中的目标对象的像素点。

语义分割是一种图像分类技术，输出一张与输入图像同分辨率的分类图，每一个像素的分类值代表输入图像中该像素所属的类别。例如，可以对场景图像中的道路、行道树、飞鸟、车位框等赋予不同的分类标识。

另外，目标对象可以为车道线、车位框、停车线、减速带、箭头，可以提取场景图像中车道线、车位框、停车线、减速带以及箭头对应的像素点。

S13：根据在局部坐标系下的车辆位姿信息，将目标对象的像素点处理为车辆坐标系下的3D语义点云数据。

具体地，可以根据预设的尺度因子以及在局部坐标系下的车辆位姿信息，将目标对象的像素点处理为车辆坐标系下的3D语义点云数据。

其中，目标对象的像素点的坐标信息是根据相机参数(焦距、光心位置和畸变系数)确定的，尺度因子是根据相机参数与车辆坐标系预先设置的。3D语义点云数据是指一系列带有x、y、z坐标的目标对象的像素点集，用于描述三维空间上目标对象的几何信息。其中，车辆坐标系是指以车辆上的某一个点作为坐标原点建立的三维坐标系。可以理解地，车辆在移动的过程中，车辆坐标系的原点也随之移动。

S14：根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

当得到地图坐标系下的场景图像的3D语义点云数据及车辆位姿信息后，车辆即可根据场景图像的3D语义点云数据及车辆位姿信息进行导航。具体地，可以将地图坐标系下的场景图像的3D语义点云数据及车辆位姿信息发送至数据显示平台300显示，以便后台对车辆的状态进行监控。

该车辆位姿信息生成方法，通过获得安装于车辆的数据采集模块发送的场景图像以及局部坐标系下的车辆位姿信息，然后对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；根据在局部坐标系下的车辆位姿信息，将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据，由于车辆位姿信息包括车辆位置信息和车辆姿态信息，场景图像中的目标对象的参考信息为3D点云数据，因此，即便是车辆位于不平整的道路环境(如上下坡道)，也能够精确的获取到车辆当前的行驶状态信息及环境中的目标对象的定位信息，从而为最终精确地控制车辆到达预定目标打下基础。

如图3所示，S11包括：

S31：接收惯性测量模块传输的惯性测量数据、轮速计传输的轮速计数据以及图像采集模块传输的场景图像。

其中，惯性测量模块可以与车体刚性连接，惯性测量模块(Inertial measurementunit，IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。惯性测量模块包含有三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。轮速计安装在车轮上，用于测量车辆的旋转圈数，然后根据旋转圈数及预设的转换系数确定车辆运动距离。

S32：根据航位推算算法对惯性测量数据、轮速计数据处理得到第一初始车辆位姿信息。

S33：根据场景图像、惯性测量数据以及轮速计数据构建视觉里程计，并根据视觉里程计获取第二初始车辆位姿信息。

S34：根据球面插值算法和扩展卡尔曼滤波器算法对第一初始车辆位姿信息、第二初始车辆位姿信息进行融合，生成车辆位姿信息。

通过根据球面插值算法和扩展卡尔曼滤波器算法对第一初始车辆位姿信息、第二初始车辆位姿信息进行融合，得到的车辆位姿信息精确度高。

具体地，如图4所示，S12包括：

S41：对接收到的至少两个图像采集模块发送的场景图像进行拼接得到全景图像。

具体地，当摄像头的数量为多个(如四个)时，多个摄像头可以分布于车辆的车前盖、左后视镜、右后视镜以及车后盖，每一个环视相机的横向视场角通常为大于180度，四个环视相机的视野可以覆盖车身四周360度的视野，从而获得车辆周围的场景图像。然后，将四个环视相机得到的场景图像进行拼接，得到全景图像。

S42：对全景图像进行逆透视变换处理，得到鸟瞰图像。

其中，逆透视变换的过程可以为：假设地面为严格平面，通过标定好相机平面与地平面的位姿关系，将相机平面的图像映射到地平面上，会产生鸟瞰图的效果，同时恢复鸟瞰图中像素在地平面物理坐标系下的尺度信息。另外，也可以先对接收到的至少两个图像采集模块发送的场景图像进行逆透视变换处理，得到每个场景图像的鸟瞰图像，再将多个场景图像对应的鸟瞰图像拼接到一起，得到全景图像的鸟瞰图像。

S43：对鸟瞰图像进行语义分割得到语义分割图像，提取语义分割图像中的目标对象的像素点。

通过对全景图像的鸟瞰图像进行语义分割相对于直接对全景图像进行语义分割，处理的数据量更少，处理效率更高。

可选地，场景图像包括在连续的时刻采集到的多个子场景图像，例如，场景图像包括但不限于每次采集时间为2秒，连续采集3次则可以得到3个连续的子场景图像。如图5所示，S13包括：

S51：根据预设的尺度因子将每个子场景图像中的目标对象的像素点转换为车辆坐标系下的2D语义点云数据。

S52：根据局部坐标系下车辆位姿信息，将车辆坐标系下的2D语义点云数据变换为局部坐标系下的3D语义点云数据。

S53：将多个子场景图像对应的局部坐标系下的3D语义点云数据叠加，得到局部坐标系下的叠加3D语义点云数据。

S54：根据局部坐标系下车辆位姿信息、对局部坐标系下的叠加3D语义点云数据进行逆变换，得到车辆坐标系下的叠加3D语义点云数据。

通过对多个子场景图像对应的局部坐标系下的3D语义点云数据叠加，得到3D语义点云数据，包含的内容更加丰富，可靠性更高。

在S14之前，如图6所示，所述方法还包括：

S61：将车辆坐标系下的3D语义点云数据投影至水平面，得到2.5D点云数据，其中，2.5D点云数据中每个像素的灰度值表征像素高度。

S62：根据2.5D点云数据的最大X坐标、最小X坐标、最大Y坐标、最小Y坐标绘制点云栅格图。

可以理解地，假设有n个点落入同一个栅格，像素点在Z轴的坐标记为Z_i，则每个栅格的高度为具体地，根据最大X坐标、最小X坐标、最大Y坐标、最小Y坐标，圈定一个面积范围。然后根据预设的栅格大小将圈定的面积范围划分为多个栅格，从而绘制得到点云栅格图。

S63：对点云栅格图中的每个栅格内的像素点进行计数，滤除计数值小于预设阈值的栅格。

S64：将滤除操作后的点云栅格图还原为3D语义点云数据。

通过滤除计数值小于预设阈值的栅格，将滤除操作后的点云栅格图还原为3D语义点云数据，可以滤除提取出来的目标对象中的不可靠的数据。例如，滤除的不可靠的数据可以为：当车辆从一个平面向另一个平面运动时，例如进入坡道时，鸟瞰图会可能因为不符合地平面假设，而使得在不同时刻下对于同一点的图像采集产生不一致的现象，导致不同时刻的采集到的同一点数据进行投影时，投影到不同的栅格中。

具体地，可以提取滤除操作后的点云栅格图中的轮廓栅格；将轮廓栅格还原为3D语义点云数据，从而可以减少后续的数据处理量，提高数据处理的可靠性。

另外，在S61-S66的处理，可以采用2.5D栅格图(即点云栅格图)将3D的局部坐标系下的位姿信息和2D的语义点云数据进行融合，从而维护和恢复局部坐标下的3D语义点云数据，使用局部坐标系下的3D语义点云数据与地图坐标系下的3D语义点云数据匹配，获取3D的车辆位姿信息。

可选地，如图7所示，S14的具体过程可以为包括：

S71：根据预测的车辆坐标系下的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量、上一时刻的地图坐标系下的车辆位姿信息，确定地图坐标系下当前时刻的车辆预测位姿。

S72：根据地图坐标系下当前时刻的车辆预测位姿、车辆坐标系下的3D语义点云数据，确定地图坐标系下当前时刻的预测3D语义点云数据。

S73：将地图坐标系下当前时刻的预测3D语义点云数据与电子语义地图匹配，得到地图坐标系下当前时刻的3D语义点云数据。

具体地，电子语义地图中包括有与转换得到的3D语义点云数据语义相同且坐标对应的车辆坐标系下的3D语义点云数据，因而可以进行匹配。

S74：根据地图坐标系下当前时刻的车辆预测位姿、地图坐标系下当前时刻的预测3D语义点云数据与3D语义点云数据的差值，确定地图坐标系下当前时刻的车辆位姿信息。

请参阅图8，本申请实施例还提供了一种车辆位姿信息生成装置，应用于电子设备100，其中，电子设备100可以为数据分析平台，其中，如图1所示，数据分析平台分别与数据采集平台200以及数据显示平台300通过有线或无线的方式通信连接，以便进行数据交互。需要说明的是，本实施例所提供的车辆位姿信息生成装置800，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述装置包括信息获得单元801、目标信息提取单元802、数据处理单元803以及信息生成单元804。其中，

信息获得单元801，被配置成获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系。

目标信息提取单元802，被配置成对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点。

数据处理单元803，被配置成根据车辆在局部坐标系下的车辆位姿信息，将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据。

具体地，数据处理单元803，被具体配置成可以根据预设的尺度因子以及在局部坐标系下的车辆位姿信息，将目标对象的像素点处理为车辆坐标系下的3D语义点云数据。

可选地，具体地，场景图像包括在连续的时刻采集到的多个子场景图像，数据处理单元，被具体配置成根据预设的尺度因子将每个子场景图像中的目标对象的像素点转换为车辆坐标系下的2D语义点云数据；根据局部坐标系下车辆位姿信息，将车辆坐标系下的2D语义点云数据变换为局部坐标系下的3D语义点云数据；将多个所述子场景图像对应的局部坐标系下的3D语义点云数据叠加，得到局部坐标系下的叠加3D语义点云数据；根据局部坐标系下的车辆位姿信息、对局部坐标系下的叠加3D语义点云数据进行逆变换，得到车辆坐标系下的3D语义点云数据。

信息生成单元804，被配置成根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

当得到地图坐标系下的场景图像的3D语义点云数据及车辆位姿信息后，车辆即可根据场景图像的3D语义点云数据及车辆位姿信息进行导航。

该车辆位姿信息生成装置在执行时可以实现如下功能，通过获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，然后对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；根据在局部坐标系下的车辆位姿信息，将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据，由于车辆位姿信息包括车辆位置信息和车辆姿态信息，场景图像中的目标对象的参考信息为3D点云数据，因此，即便是车辆位于不平整的道路环境(如上下坡道)，也能够精确的获取到车辆当前的行驶状态信息及环境中的目标对象的定位信息，从而为最终精确地控制车辆到达预定目标打下基础。

可选地，如图9所示，信息获得单元801包括：

信息接收模块901，被配置成接收惯性测量模块传输的惯性测量数据、轮速计传输的轮速计数据以及图像采集模块传输的场景图像。

第一信息确定模块902，被配置成根据航位推算算法对所述惯性测量数据、所述轮速计数据处理得到第一初始车辆位姿信息。

第二信息确定模块903，被配置成根据所述场景图像、所述惯性测量数据以及所述轮速计数据构建视觉里程计，并根据视觉里程计获取第二初始车辆位姿信息。

数据融合模块904，被配置成根据球面插值算法和扩展卡尔曼滤波算法对所述第一初始车辆位姿信息、所述第二初始车辆位姿信息进行融合，生成所述车辆位姿信息。

如图10所示，目标信息提取单元802包括：

图像拼接模块1001，被配置成对接收到的至少两个图像采集模块发送的场景图像进行拼接得到全景图像。

鸟瞰图像生成模块1002，被配置成对所述全景图像进行逆透视变换处理，得到鸟瞰图像。

信息提取模块1003，被配置成对所述鸟瞰图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点。

可选地，如图11所示，所述装置还包括：

数据投影单元1101，被配置成将所述车辆坐标系下的3D语义点云数据投影至水平面，得到2.5D点云数据，其中，2.5D点云数据中每个像素的灰度值表征像素高度。

栅格图绘制单元1102，被配置成根据2.5D点云数据的最大X坐标、最小X坐标、最大Y坐标、最小Y坐标绘制点云栅格图。

数据滤除单元1103，被配置成对点云栅格图中的每个栅格内的像素点进行计数，滤除计数值小于预设阈值的栅格。

数据还原单元1104，被配置成将滤除操作后的点云栅格图还原为3D语义点云数据。

可选地，数据还原单元1104被具体配置成提取滤除操作后的点云栅格图中的轮廓栅格；将所述轮廓栅格还原为3D语义点云数据。

可选地，如图12所示，信息生成单元804包括：

预测位姿确定模块1201，被配置成根据车辆坐标系下的车辆预测位姿增量、上一时刻的地图坐标系下的车辆位姿信息，确定地图坐标系下当前时刻的车辆预测位姿。

预测点云数据确定模块1202，被配置成根据地图坐标系下当前时刻的车辆预测位姿、车辆坐标系下的3D语义点云数据，确定地图坐标系下当前时刻的预测3D语义点云数据。

数据匹配模块1203，被配置成将地图坐标系下当前时刻的预测3D语义点云数据与电子语义地图匹配，得到地图坐标系下当前时刻的3D语义点云数据。

位姿信息确定模块1204，被配置成根据地图坐标系下当前时刻的车辆预测位姿、地图坐标系下当前时刻的预测3D语义点云数据与3D语义点云数据的差值，确定地图坐标系下当前时刻的车辆位姿信息。

本申请实施例还提供了一种车辆位姿信息生成系统，需要说明的是，本实施例所提供的车车辆位姿信息生成系统，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述系统包括：

安装于车辆的位姿信息采集模块，用于采集局部坐标系下的车辆位姿信息。

位姿信息采集模块可以包括惯性测量模块，用于采集惯性测量数据；轮速计，用于采集轮速计数据。

其中，图像采集模块可以包括安装于车辆一个摄像头，或者多个安装于车辆的不同位置的摄像头。其中，摄像头可以为环视相机(如，鱼眼相机)，当摄像头的数量为多个(如四个)时，多个摄像头可以分布于车辆的车前盖、左后视镜、右后视镜以及车后盖，每一个环视相机的横向视场角通常大于180度，四个环视相机的视野可以覆盖车身四周360度的视野，从而获得车辆周围的场景图像。

电子设备，用于接收所述位姿信息采集模块传输的车辆坐标系下的场景图像以及所述图像采集模块传输的局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下的车辆位姿信息,将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图13是本申请的一个实施例电子设备的结构示意图。请参考图13，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成车辆位姿信息生成装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下车辆位姿信息、将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

上述如本申请图2所示实施例揭示的车辆位姿信息生成装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图2的方法，并实现车辆位姿信息生成装置在图2所示实施例的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下操作：

获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下车辆位姿信息、将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种车辆位姿信息生成方法，其特征在于，包括：

获得车辆坐标系下的场景图像以及局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下的车辆位姿信息,将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息；

所述根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息包括：

根据预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量、上一时刻的地图坐标系下的车辆位姿信息，确定地图坐标系下当前时刻的车辆预测位姿；

根据地图坐标系下当前时刻的车辆预测位姿、车辆坐标系下的3D语义点云数据，确定地图坐标系下当前时刻的预测3D语义点云数据；

将地图坐标系下当前时刻的预测3D语义点云数据与电子语义地图匹配，得到地图坐标系下当前时刻的3D语义点云数据；

根据地图坐标系下当前时刻的车辆预测位姿、地图坐标系下当前时刻的预测3D语义点云数据与3D语义点云数据的差值，确定地图坐标系下当前时刻的车辆位姿信息。

2.根据权利要求1所述的方法，其特征在于，获得所述车辆位姿信息的过程包括：

接收惯性测量模块传输的惯性测量数据、轮速计传输的轮速计数据以及图像采集模块传输的场景图像；

根据航位推算算法对所述惯性测量数据、所述轮速计数据处理得到第一初始车辆位姿信息；

根据所述场景图像、所述惯性测量数据以及所述轮速计数据构建视觉里程计，并根据视觉里程计获取第二初始车辆位姿信息；

根据球面插值算法和扩展卡尔曼滤波算法对所述第一初始车辆位姿信息、所述第二初始车辆位姿信息进行融合，生成所述车辆位姿信息。

3.根据权利要求1所述的方法，其特征在于，所述对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点包括：

对接收到的至少两个图像采集模块发送的场景图像进行拼接得到全景图像；

对所述全景图像进行逆透视变换处理，得到鸟瞰图像；

对所述鸟瞰图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点。

4.根据权利要求1所述的方法，其特征在于，所述场景图像包括在连续的时刻采集到的多个子场景图像，所述根据局部坐标系下的车辆位姿信息,将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据包括：

根据预设的尺度因子将每个子场景图像中的目标对象的像素点转换为车辆坐标系下的2D语义点云数据；

根据局部坐标系下车辆位姿信息，将车辆坐标系下的2D语义点云数据变换为局部坐标系下的3D语义点云数据；

将多个子场景图像对应的局部坐标系下的3D语义点云数据叠加，得到局部坐标系下的叠加3D语义点云数据；

根据局部坐标系下车辆位姿信息、对局部坐标系下的叠加3D语义点云数据进行逆变换，得到车辆坐标系下的叠加3D语义点云数据。

5.根据权利要求1所述的方法，其特征在于，在所述根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息之前，所述方法还包括：

将所述车辆坐标系下的3D语义点云数据投影至水平面，得到2.5D点云数据，其中，2.5D点云数据中每个像素的灰度值表征像素高度；

根据2.5D点云数据的最大X坐标、最小X坐标、最大Y坐标、最小Y坐标绘制点云栅格图；

对点云栅格图中的每个栅格内的像素点进行计数，滤除计数值小于预设阈值的栅格；

将滤除操作后的点云栅格图还原为3D语义点云数据。

6.根据权利要求5所述的方法，其特征在于，所述将滤除过像素点的点云栅格图还原为3D语义点云数据包括：

提取滤除操作后的点云栅格图中的轮廓栅格；

将所述轮廓栅格还原为3D语义点云数据。

7.根据权利要求1所述的方法，其特征在于，在确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息之后，所述方法还包括：

根据所述3D语义点云数据及车辆位姿信息，控制车辆进行导航。

8.一种车辆位姿信息生成系统，其特征在于，包括：

安装于车辆的位姿信息采集模块，用于采集局部坐标系下的车辆位姿信息；

安装于车辆的至少一个图像采集模块，用于采集场景图像；

电子设备，用于接收所述位姿信息采集模块传输的车辆坐标系下的场景图像以及所述图像采集模块传输的局部坐标系下的车辆位姿信息，其中，所述车辆位姿信息包括车辆位置信息和车辆姿态信息，局部坐标系是指处于起始时刻时的车辆坐标系；

对场景图像进行语义分割得到语义分割图像，提取所述语义分割图像中的目标对象的像素点；

根据局部坐标系下的车辆位姿信息,将所述目标对象的像素点处理为车辆坐标系下的3D语义点云数据；

根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息；

所述根据上一时刻得到的电子语义地图、车辆坐标系下的3D语义点云数据、上一时刻得到的地图坐标系下的车辆位姿信息、预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量，确定地图坐标系下当前时刻的3D语义点云数据及车辆位姿信息包括：

根据预测的车辆坐标系下的当前时刻的车辆位姿相对于上一时刻的车辆位姿的增量、上一时刻的地图坐标系下的车辆位姿信息，确定地图坐标系下当前时刻的车辆预测位姿；

根据地图坐标系下当前时刻的车辆预测位姿、车辆坐标系下的3D语义点云数据，确定地图坐标系下当前时刻的预测3D语义点云数据；

将地图坐标系下当前时刻的预测3D语义点云数据与电子语义地图匹配，得到地图坐标系下当前时刻的3D语义点云数据；

根据地图坐标系下当前时刻的车辆预测位姿、地图坐标系下当前时刻的预测3D语义点云数据与3D语义点云数据的差值，确定地图坐标系下当前时刻的车辆位姿信息。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的车辆位姿信息生成方法。