CN115790568A - 基于语义信息的地图生成方法及相关设备 - Google Patents

Abstract

本发明公开了一种基于语义信息的地图生成方法、装置、车辆及计算机存储介质，包括：通过在车辆移动的过程中可不断地获取车辆周围环境的图像数据和车辆的初始位姿数据，并对图像数据进行语义分割获得附带语义类别信息的二维点云图；根据初始位姿数据将二维点云图转换到全局坐标系下得到局部地图，基于语类别信息计算当前时刻与历史时刻的局部地图之间的相对变换位姿并通过相对变换位姿判断两者是否构成回环；对构成回环的当前时刻的局部地图进行修正，将修正后的当前时刻的局部地图与历史时刻的局部地图拼接以获得全局地图。本发明中充分利用了通过语义分割和车位号识别获得的语义类别信息，可以提高基于语义信息的地图生成方法的准确性。

Description

基于语义信息的地图生成方法及相关设备

技术领域

本发明属于自动驾驶技术领域，具体涉及一种基于语义信息的地图生成方法、装置、车辆及计算机存储介质。

背景技术

自动驾驶领域发展迅速，自动泊车技术作为自动驾驶领域的一个重要分支，也受到越来越多的关注。要实现完整的自动泊车功能，则需通过感知技术感知周围环境得到环境数据，利用环境数据并借助SLAM((Simultaneous Localization and Mapping，同步定位与建图)技术实现车辆自身在环境中的定位及构建环境地图，最后根据车辆自身位姿(位置和姿态)和所处的环境信息给出路径规划并控制车辆的运动，从而实现自动泊车。

现有技术中针对停车场场景下自动泊车的SLAM技术方案，通常采用语义分割对车载视觉传感器和里程计采集的环境数据进行处理得到点云，利用点云数据实现定位和构建环境地图。但在处理得到的环境数据时，其仅是将采集到的环境数据的相关图像中将与停车线、标识和减速带相关的像素分割出来并进一步通过坐标变换得到点云，从而构建环境地图。可见，其提取的语义信息过于抽象，无法区分相似场景，且没有充分利用提取的语义信息，以致影响了定位和建图的精确性。

发明内容

本发明的主要目的在于提供一种基于语义信息的地图生成方法、装置、车辆及计算机存储介质，旨在解决现有技术中在生成基于语义信息的地图时没有充分利用提取的语义信息，从而影响基于语义信息的地图生成方法的准确性的问题。

为了实现上述目的，本发明第一方面提供一种基于语义信息的地图生成方法，包括：获取采集设备当前时刻采集的车辆本体所处环境中的多帧第一图像数据和位姿传感器采集的车辆本体的初始位姿数据，并根据采集设备的内外参将多帧第一图像数据从采集设备的坐标系转换到车辆本体的坐标系下得到多帧第二图像数据；分别对多帧第二图像数据进行语义分割及点云转换，获得当前时刻车辆本体所处环境的全景二维点云图；其中，二维点云图包括语义类别信息；利用当前时刻的初始位姿数据将车辆坐标系下的全景二维点云图转换至全局坐标系下，得到当前时刻的局部地图；根据当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

本发明第二方面提供一种基于语义信息的地图生成装置，其中，包括：获取模块，用于获取采集设备当前时刻采集的车辆本体所处环境中的多帧第一图像数据和位姿传感器采集的车辆本体的初始位姿数据，并根据采集设备的内外参将多帧第一图像数据从采集设备的坐标系转换到车辆本体的坐标系下得到多帧第二图像数据；语义分割模块，用于分别对多帧第二图像数据进行语义分割及点云转换，获得当前时刻车辆本体所处环境的全景二维点云图；其中，二维点云图包括语义类别信息；转换模块，用于利用当前时刻的初始位姿数据将车辆坐标系下的全景二维点云图转换至全局坐标系下，得到当前时刻的局部地图；地图生成模块，用于根据当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

本发明第三方面提供一种车辆，所述车辆包括车辆本体、采集设备、位姿传感器及处理器，其中：采集设备，用于采集车辆本体所处环境的图像数据并传输至所述处理器；位姿传感器，用于获取车辆本体的初始位姿数据并传输至处理器；处理器，用于根据上述基于语义信息的地图生成方法对图像数据及初始位姿数据进行处理得到车辆本体所处的环境全局地图。

本发明第四方面提供一种计算机存储介质，上述计算机存储介质上存储有基于语义信息的地图生成程序，上述基于语义信息的地图生成程序被处理器执行时实现上述基于语义信息的地图生成方法的步骤。

与现有技术中对图像数据提取后得到的语义类别信息只作为识别标记相比，本申请通过在车辆移动的过程中可不断地获取车辆周围环境的图像数据和车辆的初始位姿数据，并对图像数据进行语义分割获得附带语义类别信息的二维点云图；根据初始位姿数据将二维点云图转换到全局坐标系下得到局部地图，基于语类别信息计算当前时刻与历史时刻得到的局部地图之间的相对变换位姿并通过相对变换位姿判断两者是否构成回环；对构成回环的当前时刻的局部地图进行修正，将修正后的当前时刻的局部地图与历史时刻的局部地图拼接以获得全局地图。由此，本申请充分利用了提取得到的语义信息，并通过语义信息中增加车位号的标签以用于区分停车场中的相似场景，不仅提高了建图和定位的精确性，且能精确定位需停靠的车位，区分相似场景，从而准确完成自动泊车任务。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为根据本发明提供的一种车辆所处停车场时的环境示意图；

图2是本发明实施例提供的一种基于语义信息的地图生成方法的流程示意图；

图3是本发明实施例提供的根据相对变换位姿对当前时刻的局部地图的位姿数据进行修正处理的具体流程示意图；

图4是本发明实施例提供的一种基于语义信息的地图生成装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

近年来，自动驾驶领域发展迅速，自动泊车技术作为自动驾驶领域的一个重要分支，也受到越来越多的关注。其中，路径规划和运动控制为自动泊车技术中的关键技术，其均可在SLAM的基础上实现。而现有的关于停车场场景下自动泊车的SLAM技术方案提取的语义信息过于抽象，对停车场中存在相似场景时的区分度有限，且没有利用提取的语义信息，以致影响了定位和建图的精确性。

为了解决现有技术中存在的问题，本实施例中，提出一种基于语义信息的地图生成方法、装置、车辆及计算机存储介质，通过识别车位号作为语义信息以区分相似场景，并充分利用提取的语义信息进行语义ICP匹配以实现车辆定位及构建环境地图，从而提高了定位和建图的精确性。

图1为根据本发明提供的一种车辆所处停车场时的环境示意图。在一个实施例中，该车辆包括车辆本体10、采集设备11、位姿传感器12及处理器(未示出)，其中，采集设备11用于采集车辆本体所处环境的图像数据并传输至处理器；位姿传感器12用于获取车辆本体的初始位姿数据并传输至处理器；处理器用于根据本申请提供一个或多个实施例提供的地图生成方法对图像数据及车辆本体的初始位姿数据进行处理得到车辆本体10所处的环境全局地图。进一步地，处理器便可根据车辆所处的环境信息给出路径规划以控制车辆本体10的运动，从而实现自动泊车。

在一些实施例中，采集设备11包括至少一个鱼眼相机，用于采集车辆所处周围环境的图像数据。当采集设备11包括至少一个鱼眼相机时，鱼眼相机可转动与车辆本体10连接，通过转动采集周围环境中不同局部场景的多帧图像数据并传输至处理器；当采集设备11包括多个鱼眼相机时，可在车辆本体前后左右四个方位分别设置鱼眼相机，此时，多个鱼眼相机无需转动便可采集车辆本体10处环境的多帧图像数据并传输至处理器。需要说明的是，采集设备11还可包括深度相机、激光雷达或三维扫描仪等设备以用于辅助获取环境数据，此处不作限制。

在一个实施例中，位姿传感器12包括惯性测量单元(Inertial MeasurementUnit，IMU)，惯性测量单元获取车辆本体10的加速度和角速度传输至处理器，处理器对加速度和角速度进行积分进而获得车辆本体10的初始位姿数据；在另一个实施例中，位姿传感器12包括轮式里程计，通过轮式里程计可以直接获得车辆本体10的初始位姿数据。在又一实施例中，位姿传感器12包括IMU和轮式里程计，此时，车辆本体10的初始位姿数据可由IMU获取的位姿数据及轮式里程计获取的位姿数据融合得到。需要说明的是，位姿传感器12还可包括GPS、WiFi等可获取车辆本体的初始位姿数据的其他传感器，车辆本体10的初始位姿数据也可由上述各传感器获取位姿数据融合得到，本申请对此不作限制。

在一个实施例中，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)、神经网络芯片或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一个实施例中，车辆还包括存储器，用于存储供处理器执行的计算机程序，例如基于语义信息的地图生成的计算机程序等。其中，存储器可以是内部存储单元，例如硬盘或内存；存储器也可以是外部存储设备，例如配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括内部存储单元也包括外部存储设备，存储器还可以用于暂时地存储已经输出或者将要输出的数据。需要说明的是，当处理器为神经网络芯片时，车辆可不包括存储器，车辆是否需使用存储器存储相应的计算机程序取决于处理器的类型。

示例性方法

图2为根据本发明实施例提供一种基于语义信息的地图生成方法，该方法包括如下步骤：

步骤S100，获取采集设备当前时刻采集的车辆本体所处环境中的多帧第一图像数据和位姿传感器采集的车辆本体的初始位姿数据，并根据采集设备的内外参将多帧第一图像数据从采集设备的坐标系转换到车辆本体的坐标系下得到多帧第二图像数据。

具体地，各第一图像数据上的像素根据相机模型，利用采集设备的内参将图像数据逆投影至采集设备的相机坐标系下，再通过采集设备的外参转换至车辆坐标系下的地面上，得到各第二图像数据。

步骤S200，分别对多帧第二图像数据进行语义分割及点云转换，获得当前时刻车辆本体所处环境的全景二维点云图；其中，二维点云图包括语义类别信息，语义类别信息包括停车位、车位号、车道线及路面标识等可对停车场场景进行区分的类别信息。

在一个实施例中，在对多帧第二图像数据进行语义分割前，可先对多帧第二图像数据进行拼接得到一帧车辆本体所处环境的全景图，再对全景图进行语义分割及点云转换，获得当前时刻车辆本体所处环境的全景二维点云图；其中，全景二维点云图附带语义类别信息。

在另外一些实施例中，也可以先对多帧第二图像数据分别进行语义分割及点云转换，分别获得多帧附带语义类别信息的二维点云图，拼接多帧二维点云图得到当前时刻车辆本体所处环境的全景二维点云图；其中，二维点云图附带语义类别信息。

在一个实施例中，拼接多帧第二图像数据或多帧二维点云图以得到当前时刻的全景二维点云地图包括：根据采集设备转动的角度或采集设备中相机之间的相对外参进行拼接多帧第二图像数据或多帧二维点云图以得到当前时刻的全景二维点云图。具体地，当采集设备需通过转动采集车辆本体所处环境的多帧第一图像数据时，在采集设备每采集一帧图像时，位姿传感器需同时记录采集设备当前时刻转动的角度，根据位姿传感器记录的转动角度便可拼接多帧第二图像数据或多帧二维点云图得到全局二维点云地图；当采集设备无需经过转动便可采集车辆本体所处环境的多帧第一数据时，可通过采集设备中多个相机之间的相对外参进行多帧第二图像数据或多帧二维点云图的拼接，以得到当前时刻的全景二维点云图。

在一个实施例中，分别对多帧第二图像数据或全景图进行语义分割包括：通过语义分割网络(U-Net)、全卷积网络(FCN)、SegNet、PSPNet和DeepLab等深度神经网络对第二图像数据或全景图进行语义分割得到停车位、车道线、路面标识等语义类别信息；通过卷积神经网络(Convolutional Neural Network，CNN)对第二图像数据或全景图进行车位号语义识别，识别关于车位号的语义类别信息并将语义类别信息中的停车位与车位号一一关联，从而实现根据停车位与车位号的关联信息对停车场中的相似场景进行区分。需要说明的是，有的停车场不是通过纯数字对车位进行标记的，可能存在一些其他字符，例如字母、汉字、符号、数字以及这些字符的组合，在对第二图像数据进行车位号识别时同样也可以识别出其他字符及字符组合。

步骤S300，利用当前时刻的初始位姿数据将车辆坐标系下的全景二维点云图转换至全局坐标系下，得到当前时刻包括语义类别信息的局部地图；其中，初始位姿数据由惯性测量单元获取的位姿数据及轮式里程计获取位姿数据融合得到。

需要说明的是，为确保建图的精确性，本实施例中采集设备在当前时刻可连续采集多帧相同局部场景的第一图像数据以得到一个局部地图，也即对于不同局部场景，采集设备均相应地采集多帧第一图像数据，并通过融合当前局部场景的多帧第一图像数据以提高采集图像数据的准确性，从而确保建图的精确性。

步骤S400，根据当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

在一个实施例中，若构成回环，则利用相对变换位姿对当前时刻得到的局部地图进行位姿修正，将修正后的当前时刻的局部地图与历史时刻得到的局部地图进行拼接得到全局地图；若不构成回环，则无需修正初始位姿，直接拼接当前时刻的局部地图与历史时刻得到的局部地图得到全局地图。需要说明的是，历史时刻包括已经处理过的局部地图对应的所有时刻或当前时刻对应的上一时刻。

具体地，利用预设语义ICP算法求解局部地图之间的相对变换位姿，通过相对变换位姿计算当前时刻得到的局部地图与历史时刻得到的局部地图的匹配分数，并判断匹配分数是否小于预设匹配分数来判断当前时刻得到的局部地图是否与历史时刻得到的局部地图构成回环。其中，若匹配分数小于预设匹配分数，表征当前时刻得到的局部地图与历史时刻得到的局部地图构成回环，则需对当前时刻的局部地图进行修正，再将修正后的局部地图与历史时刻的局部地图进行拼接以得到全局地图；若相对变换位姿的匹配分数大于或等于预设匹配分数，表征当前时刻得到的局部地图与历史时刻得到的局部地图不构成回环，则无需修正初始位姿，直接拼接当前时刻的局部地图与历史时刻得到的局部地图得到全局地图。

在一个实施例中，利用预设语义ICP算法求解局部地图之间的相对变换位姿，通过相对变换位姿计算局部地图之间的匹配分数，若匹配分数小于预设匹配分数则构成回环，则需对当前时刻的局部地图进行修正，再将修正后的局部地图再与历史时刻的局部地图进行拼接，以累加拼接各时刻的局部地图得到全局地图。更具体地包括如图3所示的步骤：

步骤S301，获取当前时刻局部地图的点云与目标点云的初始相对变换位姿T；其中，目标点云为已存储的地图点云，其由历史时刻的局部地图拼接得到；初始相对变换位姿T可根据IMU与轮式里程计记录的当前时刻与历史时刻的位姿数据融合得到。

步骤S302，遍历当前时刻局部地图的点云中所有的语义类别信息，并判断所有语义类别信息中各类别信息对应的点数量是否大于预设阈值且是否存在于目标点云中。

步骤S303，若任一类别信息对应的点数量大于预设阈值且存在于目标点云中，则利用初始相对变换位姿对当前时刻局部地图中该类别的点云进行坐标转换，得到与目标点云的相同坐标系下的当前时刻源点云。

具体地，对于当前时刻局部地图的点云中对应的各种类别信息，如停车位、车道线、路面标识及车位号等类别信息，若当前时刻局部地图的点云包含语义类别信息中任一类别信息的点数量大于预设点数量，且目标点云中存在该类别信息时，则利用初始相对变换位姿对当前时刻局部地图中该类别的点云进行坐标转换，得到与目标点云的相同坐标系下的当前时刻源点云包含任一类别信息的点数量小于或等于预设点数量，则重新选择当前局部地图的点云中其他类别的语义类别信息；或若目标点云中不存在相同的语义类别信息，则重新选择当前局部地图的点云中其他类别的语义类别信息。

步骤S304，根据类别信息计算当前时刻源点云与目标点云之间的当前相对变换位姿T^*，比较当前相对变换位姿与初始相对变换位姿以计算源点云与目标点云的匹配分数，并基于匹配分数判断点云之间是否构成回环。

具体地，假设当前时刻源点云存在多个源点(记为源点集s)，对于任一源点k，根据该源点对应的语义类别信息从目标点云中的相同语义类别信息的点中进行最近邻搜索，得到N个匹配点；在N个匹配点中寻找与源点的距离小于预设距离的目标匹配点(记为目标匹配点集t)，并计算目标匹配点与待匹配源点的损失函数以求解当前相对变换位姿T^*。

在一个实施例中，在t个匹配点中寻找与源点的距离小于预设距离的目标匹配点，包括：分别计算t个匹配点与源点的欧式距离，若当前匹配点对应得到的欧式距离小于预设距离，则将当前匹配点视为目标匹配点，目标匹配点与对应的源点视为一对匹配点。

在一个实施例中，计算目标匹配点与源点的损失函数以求解当前相对变换位姿，包括：计算目标匹配点与源点的损失函数并最小化损失函数，根据最小化损失函数反向求解当前相对变换位姿T^*。具体地，一对匹配点的损失函数表示为

其中，ρ_α(*)表示柯西核函数，

表示权重，N表示匹配点的个数，||*||²表示L2范数，

表示目标匹配点集t中第k个点的坐标，

表示利用初始相对变换位姿将源点转换至目标匹配点的坐标系下，R表示旋转矩阵，p表示平移矩阵，

表示源点集中s中第k个点的坐标，

进一步地，根据最小化损失函数反向求解当前相对变换位姿T^*，包括：遍历所有匹配点对，计算损失函数的最小值，反向求解当前相对变换位姿T^*，具体表示为：

其中，SE(3)流形表示特殊欧式群，n表示n对匹配点对。

进一步地，比较当前相对变换位姿T^*与初始相对变换位姿T在SE(3)流形上的差值是否小于预设差值，若小于预设差值则结果收敛，则利用当前相对变换位姿T^*计算源点云与目标点云的匹配分数，若该分数小于预设匹配分数则表明当前时刻的源点云与目标点云之间构成回环，反之则不构成回环。

若当前相对变换位姿T^*与初始相对变换位姿T在SE(3)流形上的差值大于或等于预设差值，则将当前相对变换位姿T^*赋予初始相对变换位姿，重复步骤S301-S304，以对当前相对变换位姿T^*迭代计算直至结果收敛。

步骤S305，若构成回环，则利用当前相对变换位姿对当前时刻源点云进行位姿修正，再将修正后的源点云再与目标点云进行拼接，以累加拼接得到全局地图。

步骤S306，若不构成回环，则无需修正位姿，直接累加拼接源点云与目标点云以得到全局地图。

在一个实施例中，在获得停车场的全局地图之后，当车辆再次进入同一停车场时，通过预设语义ICP算法，将当前时刻得到的局部地图的点云与全局地图的点云进行匹配，便可准确定位到车辆在停车场中相应的位姿。

在一些实施例中，由于本实施例中使用的初始位姿数据仅由IMU和轮式里程计获取的位姿数据融合得到，在根据相对变换位姿对当前时刻的局部地图进行修正处理后，也可将修正处理后的局部地图与其他传感器(如GPS、WIFI等)得到的位姿数据通过扩展卡尔曼滤波或加权平均等方法进行融合，以得到更精确的全局地图。

示例性设备

图4为根据本发明实施例提供一种基于语义信息的地图生成装置，该装置包括：获取模块401，用于获取采集设备当前时刻采集的车辆本体所处环境中的多帧第一图像数据和位姿传感器采集的车辆本体的初始位姿数据，并根据采集设备的内外参将多帧第一图像数据从采集设备的坐标系转换到车辆本体的坐标系下得到多帧第二图像数据；语义分割模块402，用于分别对多帧第二图像数据进行语义分割及点云转换，获得当前时刻车辆本体所处环境的全景二维点云图；其中，二维点云图包括语义类别信息，语义类别信息包括停车位、车位号、车道线及路面标识等可对停车场场景进行区分的类别信息；转换模块403，用于利用当前时刻的初始位姿数据将车辆坐标系下的全景二维点云图转换至全局坐标系下，得到当前时刻包括语义类别信息的局部地图；其中，初始位姿数据由惯性测量单元获取的位姿数据及轮式里程计获取位姿数据融合得到；地图生成模块404，用于根据当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

需要说明的是，基于语义信息的地图生成装置及其各个模块的具体功能还可以参照上述基于语义信息的地图生成方法中的对应描述，在此不再赘述。

本发明实施例还提供一种计算机存储介质，上述计算机存储介质上存储有基于语义信息的地图生成程序，上述基于语义信息的地图生成程序被处理器执行时实现本发明实施例提供的任意一种基于语义信息的地图生成方法的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于语义信息的地图生成方法，其特征在于，应用于车辆中，所述车辆包括车辆本体、采集设备、位姿传感器及处理器，其中，所述地图生成方法由处理器执行，所述方法包括：

获取所述采集设备当前时刻采集的所述车辆本体所处环境中的多帧第一图像数据和所述位姿传感器采集的所述车辆本体的初始位姿数据，并根据所述采集设备的内外参将所述多帧第一图像数据从所述采集设备的坐标系转换到所述车辆本体的坐标系下得到多帧第二图像数据；

分别对所述多帧第二图像数据进行语义分割及点云转换，获得所述当前时刻车辆本体所处环境的全景二维点云图；其中，所述全景二维点云图包括语义类别信息，所述语义类别信息包括停车位、车位号、车道线及路面标识；

利用所述当前时刻的初始位姿数据将车辆坐标系下的所述全景二维点云图转换至全局坐标系下，得到当前时刻的局部地图；

根据所述当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用所述相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对所述当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

2.根据权利要求1所述的基于语义信息的地图生成方法，其特征在于，所述分别对所述多帧第二图像数据进行语义分割及点云转换，获得所述当前时刻车辆本体所处环境的全景二维点云图，包括：

对所述多帧第二图像数据进行拼接得到一帧所述车辆本体所处环境的全景图；

对所述全景图进行语义分割及点云转换，获得所述当前时刻车辆本体所处环境的所述全景二维点云图。

3.根据权利要求1所述的基于语义信息的地图生成方法，其特征在于，所述分别对所述多帧第二图像数据进行语义分割及点云转换，获得所述当前时刻车辆本体所处环境的全景二维点云图，包括：

分别对所述多帧第二图像数据进行语义分割及点云转换，获得多帧附带语义类别信息的二维点云图；

拼接所述多帧二维点云图得到所述当前时刻车辆本体所处环境的所述全景二维点云图。

4.根据权利要求2或3所述的基于语义信息的地图生成方法，其特征在于，所述对所述全景图进行语义分割或所述对多帧第二图像数据进行语义分割，包括：

通过深度神经网络对第二图像数据或全景图进行语义分割得到包括停车位、车道线、路面标识的语义类别信息；

根据卷积神经网络识别出所述全景图或所述多帧第二图像数据中的车位号，得到关于车位号的语义类别信息；

将语义类别信息中的停车位与车位号一一关联，以实现区分相似场景。

5.根据权利要求1所述的基于语义信息的地图生成方法，其特征在于，所述根据所述当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用所述相对变换位姿判断局部地图之间是否构成回环，包括：

利用预设语义ICP算法求解当前时刻局部地图与历史时刻的局部地图的相对变换位姿，通过所述相对变换位姿计算所述局部地图之间的匹配分数，并判断所述匹配分数是否小于预设匹配分数来判断所述当前时刻局部地图与所述历史时刻的局部地图是否构成回环。

6.根据权利要求5所述的基于语义信息的地图生成方法，其特征在于，所述判断匹配分数是否小于预设匹配分数来判断所述当前时刻局部地图与所述历史时刻的局部地图是否构成回环，包括：

若匹配分数小于预设匹配分数则所述当前时刻局部地图与所述历史时刻的局部地图构成回环，则需对所述当前时刻的局部地图进行修正，再将修正后的局部地图再与历史时刻的局部地图进行拼接以得到全局地图；

若所述相对变换位姿的匹配分数大于或等于预设匹配分数，则局部地图之间不构成回环，则拼接当前时刻的局部地图与所述历史时刻的局部地图得到全局地图。

7.根据权利要求1所述的基于语义信息的地图生成方法，其特征在于，所述根据所述当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用所述相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对所述当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图，包括：

获取所述当前时刻局部地图的点云与目标点云的初始相对变换位姿；其中，目标点云为已存储的地图点云；

遍历所述当前时刻局部地图的点云中所有的语义类别信息，并判断所述所有语义类别信息中各类别信息对应的点数量是否大于预设阈值且是否存在于所述目标点云中；

若任一类别信息对应的点数量大于预设阈值且存在于目标点云中，则利用所述初始相对变换位姿对所述当前时刻局部地图中该类别的点云进行坐标转换，得到与所述目标点云的相同坐标系下的当前时刻源点云；

根据类别信息计算所述当前时刻源点云与所述目标点云之间的当前相对变换位姿，比较所述当前相对变换位姿与所述初始相对变换位姿以计算所述源点云与所述目标点云的匹配分数，并基于所述匹配分数判断点云之间是否构成回环；

若构成回环，则利用所述当前相对变换位姿对所述当前时刻源点云进行位姿修正，再将修正后的源点云再与目标点云进行拼接，以累加拼接得到全局地图；若不构成回环，则累加拼接所述源点云与所述目标点云得到全局地图。

8.根据权利要求7所述的基于语义信息的地图生成方法，其特征在于，在得到所述全局地图后，所述地图生成方法还包括：

通过预设语义ICP算法，将当前时刻得到的局部地图的点云与所述全局地图的点云进行匹配，以定位到车辆本体在停车场中相应的位姿。

9.一种基于语义信息的地图生成装置，其特征在于，所述地图生成装包括：

获取模块，用于获取所述采集设备当前时刻采集的所述车辆本体所处环境中的多帧第一图像数据和所述位姿传感器采集的所述车辆本体的初始位姿数据，并根据所述采集设备的内外参将所述多帧第一图像数据从所述采集设备的坐标系转换到所述车辆本体的坐标系下得到多帧第二图像数据；

语义分割模块，用于分别对所述多帧第二图像数据进行语义分割及点云转换，获得所述当前时刻车辆本体所处环境的全景二维点云图；其中，所述全景二维点云图包括语义类别信息，所述语义类别信息包括停车位、车位号、车道线及路面标识；

转换模块，用于利用所述当前时刻的初始位姿数据将车辆坐标系下的所述全景二维点云图转换至全局坐标系下，得到当前时刻的局部地图；

地图生成模块，用于根据所述当前时刻局部地图中的语义类别信息计算其与历史时刻的局部地图的相对变换位姿，利用所述相对变换位姿判断局部地图之间是否构成回环，并基于判断结果对所述当前时刻的局部地图进行修正，拼接各时刻的局部地图得到全局地图。

10.一种车辆，其特征在于，所述车辆包括车辆本体、采集设备、位姿传感器及处理器，其中：

所述采集设备，用于采集所述车辆本体所处环境的图像数据并传输至所述处理器；

所述位姿传感器，用于获取所述车辆本体的初始位姿数据并传输至所述处理器；

所述处理器，用于根据如权利要求1-8任意一项所述基于语义信息的地图生成方法所述对图像数据及所述初始位姿数据进行处理得到所述车辆本体所处的环境全局地图。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于语义信息的地图生成程序，所述基于语义信息的地图生成程序被处理器执行时实现如权利要求1-8任意一项所述基于语义信息的地图生成方法的步骤。

Images