CN115619954A - 稀疏语义地图的构建方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及无人驾驶地图构建技术领域，公开了一种稀疏语义地图的构建方法、装置、设备及存储介质，用于构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。稀疏语义地图的构建方法包括：获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点；对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓；根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

Description

稀疏语义地图的构建方法、装置、设备及存储介质

技术领域

本发明涉及无人驾驶地图构建技术领域，尤其涉及一种稀疏语义地图的构建方法、装置、设备及存储介质。

背景技术

地图构建是无人驾驶领域发展要解决的核心任务之一。无人驾驶车辆通过相机等传感器获得图像数据，通过深度学习方法对图像数据进行语义分割，通过语义标签区分图像中的物体，生成的带有语义标签的地图，达到图像场景分割与识别的目的。

现有的图像数据经语义分割后每个像素点都带有语义标签，图像中的物体由一块稠密的语义区域组成，随着地图范围的扩大，这种稠密的语义块将消耗大量的计算资源，构建语义地图的效率低，难以满足无人驾驶车辆对地图时效性的需求，而且，语义分割中存在大量的分割错误，会导致语义地图中存在大量的错误标签。

发明内容

本发明提供了一种稀疏语义地图的构建方法、装置、设备及存储介质，用于构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。

本发明第一方面提供了一种稀疏语义地图的构建方法，包括：获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

在一种可行的实施方式中，对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，包括：对每帧图像数据进行语义分割，得到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。

在一种可行的实施方式中，根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图，构建初始语义地图，包括：解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。

在一种可行的实施方式中，根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标，包括：根据像素坐标、像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据每个语义轮廓点的三维坐标和每帧图像数据对应的车辆位姿信息，将三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。

在一种可行的实施方式中，根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图，包括：解析三维哈希表，得到多个语义轮廓点的网格索引；根据多个语义轮廓点的网格索引访问世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将体素网格的概率初始化并保存，得到初始概率；将体素网格、体素网格的语义标签和初始概率，输出为初始语义地图。

在一种可行的实施方式中，根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图，包括：获取后续帧图像数据，后续帧图像数据至少包括第一后续帧图像数据；根据每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至初始语义地图；当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存体素网格的语义标签和初始概率；当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；根据后续帧图像数据进行更新迭代，得到稀疏语义地图。

在一种可行的实施方式中，在当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格之后，在根据后续帧图像数据进行更新迭代，得到稀疏语义地图之前，还包括：获取初始帧图像数据，初始帧图像数据包括携带第一语义标签的第一语义轮廓点，第一语义轮廓点在初始语义地图中对应第一体素网格；当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图。

在一种可行的实施方式中，在将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图之后，还包括：根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图。

在一种可行的实施方式中，根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图，包括：获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；根据预设的自衰减规则遍历第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值时，删除对应的体素网格，并输出第二语义地图。

本发明第二方面提供了一种稀疏语义地图的构建装置，包括：获取模块，用于获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；处理模块，用于对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；初始地图模块，用于根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；更新模块，用于根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

在一种可行的实施方式中，处理模块具体用于：对每帧图像数据进行语义分割，得到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。

在一种可行的实施方式中，初始地图模块包括：处理单元，用于解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；坐标转换单元，用于根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；计算单元，用于根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；地图生成单元，用于根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。

在一种可行的实施方式中，坐标转换单元具体用于：根据像素坐标、像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据每个语义轮廓点的三维坐标和每帧图像数据对应的车辆位姿信息，将三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。

在一种可行的实施方式中，地图生成单元具体用于：解析三维哈希表，得到多个语义轮廓点的网格索引；根据多个语义轮廓点的网格索引访问世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将体素网格的概率初始化并保存，得到初始概率；将体素网格、体素网格的语义标签和初始概率，输出为初始语义地图。

在一种可行的实施方式中，更新模块，包括：第一获取单元，用于获取后续帧图像数据，后续帧图像数据至少包括第一后续帧图像数据；访问单元，用于根据每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至初始语义地图；网格创建单元，当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存体素网格的语义标签和初始概率；纠错单元，用于当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；迭代单元，用于根据后续帧图像数据进行更新迭代，得到稀疏语义地图。

在一种可行的实施方式中，稀疏语义地图的构建装置还包括：第二获取单元，用于获取初始帧图像数据，初始帧图像数据包括携带第一语义标签的第一语义轮廓点，第一语义轮廓点在初始语义地图中对应第一体素网格；奖励单元，用于当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；更新单元，用于将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图。

在一种可行的实施方式中，稀疏语义地图的构建装置还包括：自衰减单元用于根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图。

在一种可行的实施方式中，自衰减单元，具体用于获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；根据预设的自衰减规则遍历第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值时，删除对应的体素网格，并输出第二语义地图。

本发明第三方面提供了一种稀疏语义地图的构建设备，包括：存储器和至少一个处理器，存储器中存储有指令；至少一个处理器调用存储器中的指令，以使得稀疏语义地图的构建设备执行上述的稀疏语义地图的构建方法。

本发明的第四方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的稀疏语义地图的构建方法。

本发明提供的技术方案中，以语义轮廓代替稠密的语义块进行后续的计算，构建语义地图，仅需计算语义轮廓点，即可完成语义地图的构建和更新，能极大地较小计算资源的消耗，加快语义地图的构建效率，基于奖励规则可以保持稳定观测到的点在语义地图中长久保持，基于惩罚规则，可以快速处理语义地图中语义分割错误的点，基于自衰减规则，可以保障随着车辆驾驶运动至图像采集设备视野外的像素点，在语义地图中缓慢删除，维持语义地图在较小的水平，提高了语义地图构建的速度和准确性。

附图说明

图1为本发明实施例中稀疏语义地图的构建方法的一个实施例示意图；

图2为本发明实施例中稀疏语义地图的构建方法的另一个实施例示意图；

图3为本发明实施例中稀疏语义地图的构建装置的一个实施例示意图；

图4为本发明实施例中稀疏语义地图的构建装置的另一个实施例示意图；

图5为本发明实施例中稀疏语义地图的构建设备的一个实施例示意图。

具体实施方式

本发明提供了一种稀疏语义地图的构建方法、装置、设备及存储介质，用于构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中稀疏语义地图的构建方法的一个实施例包括：

101、获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据。

可以理解的是，本发明的执行主体可以为稀疏语义地图的构建装置，还可以是车辆终端，或者其他具有接收和处理功能的地图构建终端，还可以是服务器，当以服务器或者其他地图构建终端为执行主体时，通过远程获取图像数据和位姿信息，执行本发明提供稀疏语义地图的构建方法，具体执行设备主体不做限定。本发明实施例以车辆终端为执行主体为例进行说明。

车辆终端获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，其中，图像数据可以是相机等图像传感器采集的图像数据，也可以是激光雷达传感器采集点云数据，还可以是其他图像传感器采集的图像数据，该图像数据能展示无人驾驶车辆行驶过程中的外界环境，具体的图像数据获取方式，此处不作限定。

本实施例中，多帧图像数据包括初始帧图像数据和后续帧图像数据，其中初始帧图像数据用于构建初始语义地图，一般是指在车辆终端启动时获取的第一帧图像数据，也可以是其他符合要求的图像数据，后续帧图像数据用于对初始语义地图进行更新，其获取时间在初始帧图像数据之后，按照预设的采集时间间隔，在无人驾驶车辆行驶过程中通过相应的传感器采集外界环境生成，直至车辆终端停止运行，包括第一后续帧图像数据、第二后续帧图像数据、......、第N后续帧图像数据(N为正整数)。

本实施例中，车辆位姿信息是指车辆的位置信息和姿势信息，其位置信息可以通过车辆终端上搭载的全球定位系统(Global Positioning System，GPS)直接获取，或者通过车辆终端上搭载的里程计获取，也可以通过即时定位与地图构建(SimultaneousLocalization and Mapping，SLAM)系统获取，还可以通过其他方式获取，具体的不作限定。其姿势信息，可以车辆终端搭载的惯性传感器直接获取，也可以通过多传感器融合视觉信息计算得到，或者基于本申请基于构建的稀疏语义地图估算，还可以通过其他方式获取，可以根据实际进行选择。

在一种可行的实施方式中，车辆终端对多帧图像数据进行预处理，预处理至少包括像素亮度变换、几何变换、局部图像平滑、图像增强等，以增强图像数据中有关信息的可检测性和最大限度地简化数据，达到提高后续特征提取、语义分割的准确性的作用。

102、对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签。

车辆终端可以对每帧图像数据采用深度学习算法进行语义分割，得到处理后的初始图像数据，初始图像数据中的每个像素点携带有对应的语义标签，根据语义标签和轮廓提取算法，进行每帧图像数据中的语义轮廓提取，本实施例中，一个语义轮廓由一个语义标签和一系列的像素点组成，语义轮廓可以用于指示车辆驾驶过程中外部环境的物体，语义轮廓上的像素点即语义轮廓点，一个语义轮廓上的语义轮廓点携带相同的语义标签。

在一种可行的实施方式中，车辆终端在语义分割得到初始图像数据后，在相机坐标系中根据每个像素点的语义标签I(x，y)，I(x，y)表示像素位置(x，y)处的语义标签，计算每个像素点的语义梯度g(x，y)，根据每个像素点的语义梯度和对应的语义标签，得到语义轮廓，其中，该位置的语义梯度的计算公式如下：

其中，当g(x,y)！＝0，该位置即为语义轮廓，该位置对应的像素点即为语义轮廓点。

103、根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图。

车辆终端根据初始帧图像数据构建初始语义地图，首先，利用车辆位姿信息将初始帧图像数据中的语义轮廓由相机坐标系投影至世界坐标系，得到每个语义轮廓点的世界坐标，根据每个语义轮廓点的世界坐标和预设的网格边长构建哈希表，其中，哈希表包含能确定对应语义轮廓点唯一网格的网格索引，根据哈希表中的网格索引访问世界坐标系，创建体素网格，可以构建由体素网格组成的语义轮廓，进而由多个语义轮廓拼接成的初始语义地图，该初始语义地图由稀疏的语义轮廓点组成，相较于利用稠密语义块组成的传统语义地图，能极大的降低计算资源的消耗，提高语义地图的生成效率。

需要进一步说明的是，上方提到的预设的网格边长可以通过实际情况进行设定，可以使得一个体素网格包含一个像素点(语义轮廓点)确定对应的网格边长，也可以使得一个体素网格包含多个携带相同语义标签的语义轮廓点确定对应的网格边长。由于实际获取的图像数据，其中像素点的分布并非均匀的，因此，在一种可行的实施方式中，语义轮廓点可以先按照第一边长进行计算，得到第一网格索引，当语义轮廓通过第一网格索引访问世界坐标系中的体素网格时，创建对应的第一边长体素网格，第一边长体素网格中可以包含携带相同语义标签的多个语义轮廓点，该第一边长不宜设置过大，第一边长过大将导致语义地图的太过粗糙，第一边长太小将导致计算资源的浪费。

当任意一个第一边长体素网格被携带不同语义标签的语义轮廓点访问时，将该第一边长体素网格删除，得到对应的体素网格，其中，携带不同语义标签的语义轮廓点至少包括携带第一语义标签的第一语义轮廓点和携带第二语义标签的第二语义轮廓点；根据第一语义轮廓点的世界坐标、第二语义轮廓点的世界坐标按照预设的第二边长进行计算，得到第二网格索引，第二边长使得携带不同语义标签的语义轮廓点正好处于不同的体素网格，分别根据第一语义轮廓点对应的第二网格索引和第二语义轮廓点对应的第二网格索引，访问世界坐标，创建对应的第二边长体素网格，初始化对应语义标签对应的概率并保存；将第一边长体素网格和第二边长体素网格输出作为初始语义地图，通过上述方法得到的初始语义地图可以节省计算资源，在保障快速构建语义地图效率的同时，兼顾语义地图细节的丰富性。

104、根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

车辆终端将后续帧图像数据中的语义轮廓投影至世界坐标系，根据预置的更新规则对初始语义地图进行更新，得到稀疏语义地图，本实施例中的更新规则包括奖励规则、惩罚规则和自衰减规则，后一帧图像数据(如第一后续帧图像数据)按照奖励规则和惩罚规则更新前一帧图像数据(如初始帧图像数据)构建的语义地图，得到第一语义地图，完成前一帧图像数据体素网格的更新后，按照自衰减规则对第一语义地图进行更新，得到稀疏语义地图。

在一种可行的实施方式中，奖励规则包括当任意一个体素网格被访问时，创建体素网格，并在体素网格中保存对应的语义标签和初始概率P₀，P₀为体素网格被第一次访问时被分类为对应语义标签的概率；奖励规则还包括当第一后续帧图像数据中携带与初始帧图像数据中相同语义标签的语义轮廓点，访问同一个体素网格时，对该体素网格的概率进行奖励，奖励后的概率P_n大于P₀(n表示该体素网格被第n次访问)，为了防止体素网格的对应语义标签的概率过大，P_n应小于最大阈值δ_max。惩罚规则为第一后续帧图像数据中携带与初始帧图像数据中不同语义标签的语义轮廓点，访问同一个体素网格时，判断该语义轮廓点的语义分割错误，删除该体素网格以及其中保存的语义标签、概率。通过上述奖励规则和惩罚规则遍历第一后续帧图像数据中的所有语义轮廓点，完成初始帧图像数据对应体素网格的更新后，得到第一语义地图，第一语义地图中包含多个体素网格，每个体素网格中保存有对应的概率P‘，P‘指的是每次更新后的概率，通过自衰减规则对第一语义地图中的每个体素网格进行处理，当P‘小于预设的最小阈值δ_min时，删除对应的体素网格，输出第二语义地图，以维持语义地图的稀疏性；第二后续帧图像数据根据上述奖励规则、惩罚规则和自衰减规则依次对第二语义地图进行更新处理，后一续帧图像数据依次对前一帧图像数据进行更新，即可得到实时更新的稀疏语义地图。

在一种可行的实施方式中，奖励规则还包括：当第一边长体素网格或第二边长体素网格中包括携带相同语义标签的多个语义轮廓点，第一边长体素网格的概率

为网格内多个语义轮廓点的初始概率之和；当第一边长体素网格中被携带不同语义标签的语义轮廓点访问时，惩罚规则包括删除第一边长体素网格，按照上述方法建立第二边长体素网格，并初始化第二边长体素网格中每个语义轮廓点的概率，第二边长体素网格的概率

为网格内多个语义轮廓点的初始概率之和，通过上述奖励规则和惩罚规则遍历第一后续帧图像数据中的所有语义轮廓点，完成初始帧图像数据对应体素网格的更新后，得到第三语义地图，第三语义地图中包含多个体素网格，体素网格包括第一边长体素网格和第二边长体素网格，每个体素网格中保存有对应的概率P‘，P‘为第三语义地图中体素网格的被分类为对应语义标签的概率，通过自衰减规则对第三语义地图中的每个体素网格进行处理，当P‘小于预设的最小阈值δ_min时，删除对应的体素网格，输出第四语义地图，以维持语义地图的稀疏性；其中，第二边长体素网格的初始概率

和自衰减规则对应的最小阈值

可以设置为大于第一边长体素网格对应的初始

和自衰减规则对应的最小

，以保障语义地图的细节在后续更新过程中保留得更加完整。第二后续帧图像数据根据上述奖励规则、惩罚规则和自衰减规则依次对第四语义地图进行更新处理，后一续帧图像数据依次对前一帧图像数据进行更新，即可得到实时更新的稀疏语义地图。

本发明实施例中，以语义轮廓代替稠密的语义块进行后续的计算，构建语义地图，仅需计算语义轮廓点，即可完成语义地图的构建和更新，能极大地较小计算资源的消耗，加快语义地图的构建效率，基于奖励规则可以保持稳定观测到的点在语义地图中长久保持，基于惩罚规则，可以快速处理语义地图中语义分割错误的点，基于自衰减规则，可以保障随着车辆驾驶运动至图像采集设备视野外的像素点，在语义地图中缓慢删除，维持语义地图在较小的水平，提高了语义地图构建的速度和准确性。

请参阅图2，本发明实施例中稀疏语义地图的构建方法的另一个实施例包括：

201、获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据。

步骤201与上述步骤101类似，此处不再赘述。

202、对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签。

车辆终端对每帧图像数据进行语义分割，得到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。

203、根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图。

在一种可行的实施方式中，车辆终端解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。

在一种可行的实施方式中，车辆终端根据像素坐标、像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据每个语义轮廓点的三维坐标和每帧图像数据对应的车辆位姿信息，将三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。

在一种可行的实施方式中，车辆终端解析三维哈希表，得到多个语义轮廓点的网格索引；根据多个语义轮廓点的网格索引访问世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将体素网格的概率初始化并保存，得到初始概率；将体素网格、体素网格的语义标签和初始概率，输出为初始语义地图。

例如，假设携带第一语义标签的语义轮廓由n个语义轮廓点组成，其中第i个语义轮廓点的像素坐标为p_i＝(x_i，y_i)，该像素点对应的深度为d_i，预先标定的相机内参矩阵为K，相机到车辆坐标系的外参矩阵为T_bc。将相机坐标系中的语义轮廓的像素坐标投影到车辆坐标系下，得到车辆坐标系下的三维坐标p_bi，公式如下：

p_bi＝T_bc×K^-1×p_i×d_i

初始帧图像数据对应的车辆位姿信息为T_wb，将车辆坐标系下的三维坐标p_bi投影到世界坐标系中，得到该语义轮廓点的世界坐标p_wi，公式如下：

p_wi＝T_wb×p_bi

假设预设的网格边长为a，根据该语义轮廓点的世界坐标p_wi，计算语义轮廓点的网格索引id_i，公式如下：

204、根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

在一种可行的实施方式中，车辆终端获取后续帧图像数据，后续帧图像数据至少包括第一后续帧图像数据；根据每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至初始语义地图；当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存体素网格的语义标签和初始概率；当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；根据后续帧图像数据进行更新迭代，得到稀疏语义地图。

在一种可行的实施方式中，车辆终端获取初始帧图像数据，初始帧图像数据包括携带第一语义标签的第一语义轮廓点，第一语义轮廓点在初始语义地图中对应第一体素网格；当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图。

例如，当任意一个体素网格被访问时，初始化该网格的概率P(id_i)＝P₀，P₀表示该次观测时体素网格被分类为第一语义标签的概率。

当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，对该第一体素网格进行奖励P(id_i)＝P₀×α，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率，奖励后的概率应小于最大阈值δ_max。后续帧图像数据中的相同语义标签访问同一体素网格时，该体素网格概率的奖励函数公式如下：

P(id_i)＝min((P(id_i)×α)，δ_max)

其中，α是大于1的奖励系数，δ_max是最大阈值，为避免防止其他标签的概率过小，体素网格中第一语义标签的概率应小于δ_max，且为了确保满足全概率公理，该体素网格中其他语义标签的概率应当减少第一语义标签增加的概率。

在一种可行的实施方式中，车辆终端根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图。

在一种可行的实施方式中，车辆终端获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；根据预设的自衰减规则遍历第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值δ_min时，删除对应的体素网格，并输出第二语义地图，该第二语义地图为稀疏语义地图。

在一种可行的实施方式中，自衰减规则还可以是：车辆终端获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；将第一语义地图中每个体素网格的概率减去自衰减概率P_a，得到每个体素网格自衰减后的概率，当任意一个体素网格自衰减后的概率小于预设的最小阈值δ_min时，删除对应的体素网格，并输出第二语义地图。

本实施例中，最大阈值和最小阈值可以根据实际情况进行设置，后一帧图像数据可以对前一帧图像数据对应的语义地图进行更新，其中，后一帧图像数据和前一帧图像数据之间的时间间隔可以根据实际计算资源进行设定。

本发明实施例中，以语义轮廓代替稠密的语义块进行后续的计算，构建语义地图，仅需计算语义轮廓点，即可完成语义地图的构建和更新，能极大地较小计算资源的消耗，加快语义地图的构建效率，基于奖励规则可以保持稳定观测到的点在语义地图中长久保持，基于惩罚规则，可以快速处理语义地图中语义分割错误的点，基于自衰减规则，可以保障随着车辆驾驶运动至图像采集设备视野外的像素点，在语义地图中缓慢删除，维持语义地图在较小的水平，提高了语义地图构建的速度和准确性。

上面对本发明实施例中稀疏语义地图的构建方法进行了描述，下面对本发明实施例中稀疏语义地图的构建装置进行描述，请参阅图3，本发明实施例中稀疏语义地图的构建装置一个实施例包括：

获取模块301，用于获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；

处理模块302，用于对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；

初始地图模块303，用于根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；

更新模块304，用于根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

本发明实施例中，构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率。

请参阅图4，本发明实施例中稀疏语义地图的构建装置的另一个实施例包括：

获取模块301，用于获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，多帧图像数据包括初始帧图像数据和后续帧图像数据；

处理模块302，用于对每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；

初始地图模块303，用于根据初始帧图像数据的语义轮廓和车辆位姿信息，构建初始语义地图；

更新模块304，用于根据后续帧图像数据和每帧图像数据对应的车辆位姿信息对初始语义地图进行更新，得到稀疏语义地图。

可选的，处理模块302具体用于：对每帧图像数据进行语义分割，得到初始图像数据，初始图像数据包括多个像素点和每个像素点携带的语义标签；根据语义标签和预置的轮廓提取算法，对多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。

可选的，初始地图模块303包括：

处理单元3031，用于解析初始帧图像数据的语义轮廓，得到语义轮廓点信息，语义轮廓点信息包括像素坐标、像素深度和语义标签；

坐标转换单元3032，用于根据像素坐标、像素深度和每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；

计算单元3033，用于根据每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；

地图生成单元3034，用于根据三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。

可选的，坐标转换单元3032具体用于：根据像素坐标、像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；根据每个语义轮廓点的三维坐标和每帧图像数据对应的车辆位姿信息，将三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。

可选的，地图生成单元3034具体用于：解析三维哈希表，得到多个语义轮廓点的网格索引；根据多个语义轮廓点的网格索引访问世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；将体素网格的概率初始化并保存，得到初始概率；将体素网格、体素网格的语义标签和初始概率，输出为初始语义地图。

可选的，更新模块304，包括：

第一获取单元3041，用于获取后续帧图像数据，后续帧图像数据至少包括第一后续帧图像数据；

访问单元3042，用于根据每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至初始语义地图；

网格创建单元3043，当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存体素网格的语义标签和初始概率；

纠错单元3044，用于当初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；

迭代单元3045，用于根据后续帧图像数据进行更新迭代，得到稀疏语义地图。

可选的，稀疏语义地图的构建装置在纠错单元3044之后，在迭代单元3045之前，还包括：

第二获取单元3046，用于获取初始帧图像数据，初始帧图像数据包括携带第一语义标签的第一语义轮廓点，第一语义轮廓点在初始语义地图中对应第一体素网格；

奖励单元3047，用于当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问第一体素网格时，增加第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；

更新单元3048，用于将第一后续帧图像数据中的每一个语义轮廓点更新至初始语义地图，得到第一语义地图。

可选的，稀疏语义地图的构建装置在更新单元3048之后还包括：自衰减单元3049用于根据预设的自衰减规则对第一语义地图进行处理，输出第二语义地图。

自衰减单元3049，具体用于获取第一语义地图，第一语义地图包括多个体素网格和每个体素网格的概率；根据预设的自衰减规则遍历第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值时，删除对应的体素网格，并输出第二语义地图。

本发明实施例中，构建稀疏语义地图，减少计算资源消耗，提高语义地图的生成效率，基于奖励规则可以保持稳定观测到的点在语义地图中长久保持，基于惩罚规则，可以快速处理语义地图中语义分割错误的点，基于自衰减规则，可以保障随着车辆驾驶运动至图像采集设备视野外的像素点，在语义地图中缓慢删除，维持语义地图在较小的水平，提高了语义地图构建的速度和准确性。

上面图3和图4从模块化功能实体的角度对本发明实施例中的稀疏语义地图的构建装置进行详细描述，下面从硬件处理的角度对本发明实施例中稀疏语义地图的构建设备进行详细描述。

图5是本发明实施例提供的一种稀疏语义地图的构建设备的结构示意图，该稀疏语义地图的构建设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对稀疏语义地图的构建设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在稀疏语义地图的构建设备500上执行存储介质530中的一系列指令操作。

稀疏语义地图的构建设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的稀疏语义地图的构建设备结构并不构成对稀疏语义地图的构建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种稀疏语义地图的构建设备，计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的稀疏语义地图的构建方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行稀疏语义地图的构建方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种稀疏语义地图的构建方法，其特征在于，所述稀疏语义地图的构建方法包括：

获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，所述多帧图像数据包括初始帧图像数据和后续帧图像数据；

对所述每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，所述每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；

根据所述初始帧图像数据的语义轮廓和所述车辆位姿信息，构建初始语义地图；

根据所述后续帧图像数据和所述每帧图像数据对应的车辆位姿信息对所述初始语义地图进行更新，得到稀疏语义地图。

2.根据权利要求1所述的稀疏语义地图的构建方法，其特征在于，所述对所述每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，包括：

对所述每帧图像数据进行语义分割，得到初始图像数据，所述初始图像数据包括多个像素点和每个像素点携带的语义标签；

根据所述语义标签和预置的轮廓提取算法，对所述多个像素点进行轮廓提取，得到每帧图像数据的语义轮廓，每个语义轮廓包含多个相同语义标签的语义轮廓点。

3.根据权利要求1所述的稀疏语义地图的构建方法，其特征在于，所述根据所述初始帧图像数据的语义轮廓和所述车辆位姿信息，构建初始语义地图，构建初始语义地图，包括：

解析所述初始帧图像数据的语义轮廓，得到语义轮廓点信息，所述语义轮廓点信息包括像素坐标、像素深度和语义标签；

根据所述像素坐标、所述像素深度和所述每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标；

根据所述每个语义轮廓点的世界坐标和预设的网格边长，计算每个语义轮廓点的网格索引，得到三维哈希表；

根据所述三维哈希表和每个语义轮廓的语义标签，生成初始语义地图。

4.根据权利要求3所述的稀疏语义地图的构建方法，其特征在于，所述根据所述像素坐标、所述像素深度和所述每帧图像数据对应的车辆位姿信息，计算每个语义轮廓点的世界坐标，包括：

根据所述像素坐标、所述像素深度、预置的相机内参矩阵和预置的车辆坐标系外参矩阵，计算每个语义轮廓点的三维坐标；

根据所述每个语义轮廓点的三维坐标和所述每帧图像数据对应的车辆位姿信息，将所述三维坐标投影到世界坐标系，得到每个语义轮廓点的世界坐标。

5.根据权利要求3所述的稀疏语义地图的构建方法，其特征在于，所述根据所述三维哈希表和每个语义轮廓的语义标签，生成初始语义地图，包括：

解析所述三维哈希表，得到多个语义轮廓点的网格索引；

根据所述多个语义轮廓点的网格索引访问所述世界坐标系，当任意一个体素网格被访问时，创建对应的体素网格；

将语义轮廓点所携带的语义标签，保存为对应体素网格的语义标签；

将所述体素网格的概率初始化并保存，得到初始概率；

将所述体素网格、所述体素网格的语义标签和初始概率，输出为初始语义地图。

6.根据权利要求1-5任意一项所述的稀疏语义地图的构建方法，其特征在于，所述根据所述后续帧图像数据和所述每帧图像数据对应的车辆位姿信息对所述初始语义地图进行更新，得到稀疏语义地图，包括：

获取所述后续帧图像数据，所述后续帧图像数据至少包括第一后续帧图像数据；

根据所述每帧图像数据对应的车辆位姿信息将第一后续帧图像数据中的语义轮廓投影至所述初始语义地图；

当任意一个未被访问的体素网格被访问时，创建对应的体素网格，并保存所述体素网格的语义标签和初始概率；

当所述初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格；

根据所述后续帧图像数据进行更新迭代，得到稀疏语义地图。

7.根据权利要求6所述的稀疏语义地图的构建方法，其特征在于，在所述当所述初始语义地图中的任意一个体素网格被第一后续帧图像数据中携带不同语义标签的语义轮廓点访问时，删除对应的体素网格之后，在所述根据所述后续帧图像数据进行更新迭代，得到稀疏语义地图之前，还包括：

获取初始帧图像数据，所述初始帧图像数据包括携带第一语义标签的第一语义轮廓点，所述第一语义轮廓点在初始语义地图中对应第一体素网格；

当第一后续帧图像数据中包括携带第一语义标签的第一后续语义轮廓点，且第一后续语义轮廓点的网格索引访问所述第一体素网格时，增加所述第一体素网格中第一语义标签的概率，得到第一体素网格更新后的概率；

将所述第一后续帧图像数据中的每一个语义轮廓点更新至所述初始语义地图，得到第一语义地图。

8.根据权利要求7所述的稀疏语义地图的构建方法，其特征在于，在所述将所述第一后续帧图像数据中的每一个语义轮廓点更新至所述初始语义地图，得到第一语义地图之后，还包括：

根据预设的自衰减规则对所述第一语义地图进行处理，输出第二语义地图。

9.根据权利要求8所述的稀疏语义地图的构建方法，其特征在于，所述根据预设的自衰减规则对所述第一语义地图进行处理，输出第二语义地图，包括：

获取所述第一语义地图，所述第一语义地图包括多个体素网格和每个体素网格的概率；

根据预设的自衰减规则遍历所述第一语义地图的多个体素网格，当任意一个体素网格的概率小于预设的最小阈值时，删除对应的体素网格，并输出第二语义地图。

10.一种稀疏语义地图的构建装置，其特征在于，所述稀疏语义地图的构建装置包括：

获取模块，用于获取多帧图像数据和每帧图像数据对应的车辆位姿信息，每帧图像数据包括多个像素点，所述多帧图像数据包括初始帧图像数据和后续帧图像数据；

处理模块，用于对所述每帧图像数据进行语义分割和轮廓提取，得到每帧图像数据的语义轮廓，所述每帧图像数据的语义轮廓至少为一个，每个语义轮廓对应一个语义标签；

初始地图模块，用于根据所述初始帧图像数据的语义轮廓和所述车辆位姿信息，构建初始语义地图；

更新模块，用于根据所述后续帧图像数据和所述每帧图像数据对应的车辆位姿信息对所述初始语义地图进行更新，得到稀疏语义地图。

11.一种稀疏语义地图的构建设备，其特征在于，所述稀疏语义地图的构建设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述稀疏语义地图的构建设备执行如权利要求1-9中任一项所述的稀疏语义地图的构建方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令在被读取并运行时执行如权利要求1-9中任一项所述稀疏语义地图的构建方法。

Images