CN115984417B - 一种语义建图方法、装置及存储介质 - Google Patents

Abstract

本申请涉及记忆泊车技术领域，公开了一种语义建图方法、装置及存储介质，包括：利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。无需对车辆进行改造，利用已装设备采集图像帧能够降低成本。在特征提取时，引入停车位线的全局唯一编号，在保证位姿计算高精确度的情况下实现语义建图。

Description

一种语义建图方法、装置及存储介质

技术领域

本发明涉及记忆泊车技术领域，特别涉及一种语义建图方法、装置及存储介质。

背景技术

随着辅助驾驶的技术演进，停车场记忆泊车技术成为攻关重点，现有的记忆泊车实现方案中，绝大多数需要借助高精度测量设备，例如，有的需要使用高精度IMU设备，这些设备只有在中高端汽车上才使用，有的需要使用RFID设备，该设备不仅需要在车辆上安装，还需要在环境中增加对应的读取设备，需要对环境进行改造。也即现有的记忆泊车实现方案，一方面对车辆硬件设备有较高的要求，成本高且不适合前装和量产。另一方面为记忆泊车提供导航和定位的基准地图的构建精度也有待提升。

因此，上述技术问题亟待本领域技术人员解决。

发明内容

有鉴于此，本发明的目的在于提供一种语义建图方法、装置及存储介质，一方面，同时提供一种相应设备，无需对车辆进行改造以降低成本，另一方面，在保证位姿计算高精确度的情况下实现语义建图。其具体方案如下：

本申请的第一方面提供了一种语义建图方法，包括：

利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；

对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；

通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；

根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。

可选的，所述利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧，包括：

利用设置在所述目标车辆上的预设数量的环视摄像头进行图像采集得到预设数量的鱼眼图像；所述环视摄像头在量产时预先固定在所述目标车辆上且经过了内外参标定处理；

将预设数量的所述鱼眼图像转换为一个全景图，得到所述当前图像帧。

可选的，所述将预设数量的所述鱼眼图像转换为一个全景图，包括：

通过逆投影变换的方式将预设数量的所述鱼眼图像转换为一个全景柱状图。

可选的，所述对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征，包括：

对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征。

可选的，所述通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿，包括：

确定初始图像帧的车辆位姿，并根据初始图像帧的车辆位姿将所述当前图像帧的所述第一语义特征投影至所述前一图像帧，以筛选出待匹配线和参考线；所述待匹配线位于所述当前图像帧上的停车位线，且与所述参考线具有相同全局唯一编号的，所述参考线为位于所述前一图像帧上的停车位线；

针对每对所述待匹配线和所述参考线，计算所述待匹配线上的各个点到所述参考线的最短距离；

以全部最短距离的和最小为目标建立目标函数，并利用预设优化算法使所述目标函数达到最优，根据最优情况下的最短距离反向计算得到最优的所述当前图像帧的车辆位姿。

可选的，所述对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征之后，还包括：

对所述当前图像帧中的停车指示牌及停车场立柱的语义特征进行第二提取，得到包含停车指示牌和停车场立柱的对象位置信息及对象特征描述信息的第二语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征和所述第二语义特征。

可选的，所述通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿之后，还包括：

每间隔预设数量图像帧基于图像相似性执行一次地图帧筛选，以将满足地图帧筛选条件的图像帧确定为语义建图过程中使用的筛选图像帧；

根据所述筛选图像帧的目标语义特征及车辆位姿构建相应的语义地图。

可选的，所述根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图之后，还包括：

当监测到所述目标车辆总体运行情况满足回环检测条件，则触发图优化机制对每一图像帧的车辆位姿进行优化；所述回环检测条件至少表征车辆运动轨迹存在回环。

本申请的第二方面提供了一种语义建图装置，包括：

图像采集模块，用于利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；

特征提取模块，用于对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；

位姿计算模块，用于通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；

地图构建模块，用于根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。

本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述语义建图方法。

本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述语义建图方法。

本申请中，先利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；然后对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；接着通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；最后根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。可见，本申请无需对车辆进行改造，也无需IMU等高成本设备，仅利用已有的图像采集设备采集图像数据即可完成语义地图构建，能够降低成本。同时本技术方案中引入停车位线的全局唯一编号，进而以前后两帧对应的全局唯一编号为依据通过视觉里程计方法计算出车辆位姿，以进一步构建语义地图以保证构建的地图准确性，即本方案在保证构建语义地图准确性的同时降低了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种语义建图方法流程图；

图2为本申请提供的一种具体的语义建图方法示意图；

图3为本申请提供的一种具体的语义建图方法流程图；

图4为本申请提供的一种语义建图装置结构示意图；

图5为本申请提供的一种语义建图电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的记忆泊车实现方案中，绝大多数需要借助高精度测量设备（如IMU设备、RFID设备等），这对车辆硬件设备有较高的要求，成本高且不适合前装和量产。针对上述技术缺陷，本申请提供一种语义建图方案，无需对车辆进行改造，也无需IMU等高成本设备，仅利用已有的图像采集设备采集图像数据即可完成语义地图构建，能够降低成本。同时本技术方案中引入停车位线的全局唯一编号，进而以前后两帧对应的全局唯一编号为依据通过视觉里程计方法计算出车辆位姿，以进一步构建语义地图以保证构建的地图准确性，即本方案在保证构建语义地图准确性的同时降低了成本。

图1为本申请实施例提供的一种语义建图方法流程图。参见图1所示，该语义建图方法包括：

S11：利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧。

本实施例中，利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧，所述图像采集设备在量产时已经安装在所述目标车辆上，因此不需要对所述目标车辆进行改造，利用已装的图像采集设备的前提下，即可完成后续地库场景的建图，快速、方便且成本低。

具体的，所述图像采集设备可以为环视摄像头，所述图像采集设备的数量也可以根据实际需求进行设定，上述过程为利用设置在所述目标车辆上的预设数量的环视摄像头进行图像采集得到预设数量的鱼眼图像，所述环视摄像头在量产时预先固定在所述目标车辆上且经过了内外参标定处理。例如，在所述目标车辆的前后左右设置四个所述环视摄像头（鱼眼相机），同时需要对四个所述环视摄像头进行精准的内外参标定，这在车辆量产前进行。然后将预设数量的所述鱼眼图像转换为一个全景图，得到所述当前图像帧，即在标定之后，可以将鱼眼图像投影到全景图，这个全景图可根据不同场景选择不同的类型，例如，可以是全景柱状图也可以是全景鸟瞰图。例如，可以通过逆投影变换的方式将预设数量的所述鱼眼图像转换为一个全景柱状图。

S12：对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征。

本实施例中，在得到所述当前图像帧后，对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征。所述位置固定对象至少包括停车位线，目标语义特征至少包括停车位线的全局唯一编号，可以理解，所述位置固定对象为每次采集图像位置相对固定的对象，因此除了停车位线，停车指示牌和停车场立柱的位置也是相对固定的，当然，所述位置固定对象包括但不限于停车位线、停车指示牌和停车场立柱。

需要说明的是，本实施例中的停车位线的全局唯一编号即为停车位线设置的线ID，不同的停车位线具有不同的ID。

S13：通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿。

本实施例中，通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征 以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿。在前述步骤为不同的停车位线设置不同的线ID的基础上，车辆位姿可以通过前后帧线-线匹配获得，通过寻找线-线之间的最小距离的方法进行线-线匹配，在匹配过程中，依赖线的ID全局信息。因为前后帧间隔时间很短，观测到很大部分相同部分，检测到的同一位置的线ID是一致的，因此，这里为了提高匹配的准确率，采用相同ID的线进行特征匹配，这样，进一步提高车辆位姿的计算。

S14：根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。

本实施例中，在进行语义建图时，可以根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。此时构建的语义地图是局部地图，随着不断有新的当前图像帧的加入，地图数据不断更新，最终形成完整的语义地图，从而为记忆泊车提供精确度较高的用于导航和定位的基准地图。

可以理解，由于很多连续的帧存在很大的冗余，不是每一图像帧都能作为用于语义建图的地图帧，因此，本实施例每间隔预设数量图像帧基于图像相似性执行一次地图帧筛选，以将满足地图帧筛选条件的图像帧确定为语义建图过程中使用的筛选图像帧；根据所述筛选图像帧的目标语义特征及车辆位姿构建相应的语义地图。这里的地图帧筛选条件及图像相似性条件，例如，每隔1帧进行图像相似性判断，如果前后帧的相似性比较高，则认为二者冗余成分多，则不作为语义建图的地图帧数据，从而降低计算量和地图的存储量。本实施例对图像相似性判断的方式不进行限定，相关技术中的图像相似性判断算法均适用，例如，可以通过词袋模型或结构相似性等方式进行相似性计算，相似度阈值根据实际业务需求设定，经验值为0.8，即当两个图像帧之间的相似度不超过0.8，则可作为地图帧。

本实施例中，语义建图是基于地图帧进行局部优化，形成局部地图数据。随着运动进行，不断有地图帧加入，局部优化，不断扩充语义地图。具体实现如下：（1）新加入的地图帧更新共视图。以地图帧为节点，地图帧之间可视关系为边，形成共视图。检查与当前地图帧共视地图点的其它地图帧节点，并添加相应的边。然后将当前地图帧连接到与它有最多共视点的节点上；（2）基于三角化测量方法更新语义地图点。对于当前地图帧中未匹配的语义特征点，在共视图中的地图帧中进行查找，获得语义特征匹配关系，剔除不满足对极约束的语义特征，然后通过三角化测量获得新的语义地图点；（3）采用BA方法对局部地图进行优化。局部优化当前地图帧和与其共视连接的其它地图帧的位姿，以及这些地图帧观测到的地图点。

本实施例中，为了提高计算地图精确度，除了局部优化，还引入了回环检测的全局优化。具体的，当监测到所述目标车辆总体运行情况满足回环检测条件，则触发图优化机制对每一图像帧的车辆位姿进行优化；所述回环检测条件至少表征车辆运动轨迹存在回环。随着不断建图，累计误差会越来越大，因此，建立的语义地图存在误差，需要对其优化才能够使用。在建图的过程中，需要形成一个环路，理想情况下，当检测到车辆又回到初始位置（起点）时，进一步检测是否满足回环检测条件，所述回环检测条件至少表征车辆运动轨迹存在回环，具体可以为：（1）前后行驶的距离要超过一定的阈值；（2）行驶的时间要超过一定的阈值；（3）前后检测到的环境相似度要超过一定的阈值。当满足以上条件时，才能进行回环优化，即利用图优化对每帧的位姿进行优化，从而获得更加准确的地图数据。 上述整体过程的逻辑实现如图2所示。

可见，本申请实施例先利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；然后对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；接着通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征进行匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；最后根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。本申请实施例无需对车辆进行改造，也无需IMU等高成本设备，仅利用已有的图像采集设备采集图像数据即可完成语义地图构建，能够降低成本。同时本技术方案中引入停车位线的全局唯一编号，进而以前后两帧对应的全局唯一编号为依据通过视觉里程计方法计算出车辆位姿，以进一步构建语义地图以保证构建的地图准确性，即本方案在保证构建语义地图准确性的同时降低了成本。

图3为本申请实施例提供的一种具体的语义建图方法流程图。参见图3所示，该语义建图方法包括：

S21：利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧。

本实施例中，关于上述步骤S21的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。

S22：对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征。

本实施例中，对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征。上述停车位线的对象位置信息可以为图像帧上所在位置的坐标，上述停车位线的对象特征描述信息可以为方位、灰度、明暗变化等信息。上述全局唯一编号（线ID）保证每条线特征拥有唯一的线ID，并且相同的线特征具有相同的线ID，在进行线-线匹配的过程中，能够降低线-线匹配对筛选的误匹配率，提高视觉里程计的精度。在检测到图像帧中的停车位线时，可以采用多种特征提取算法进行特征提取，本实施例采用UNET模型训练网络，提取、分割出地库场景的停车位线的相关特征。

除此之外，还可以对所述当前图像帧中的停车指示牌及停车场立柱的语义特征进行第二提取，得到包含停车指示牌和停车场立柱的对象位置信息及对象特征描述信息的第二语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征和所述第二语义特征。

S23：确定初始图像帧的车辆位姿，并根据初始图像帧的车辆位姿将所述当前图像帧的所述第一语义特征投影至前一图像帧，以筛选出待匹配线和参考线；所述待匹配线位于所述当前图像帧上的停车位线，且与所述参考线具有相同全局唯一编号的，所述参考线为位于所述前一图像帧上的停车位线。

本实施例中，基于相邻两帧的语义特征信息，获得两帧之间的相对位姿关系，由于室内停车场特殊场景，主要以停车线为主的线特征信息，因此这里采用线-线匹配的方法，在进行线-线匹配时，先确定初始图像帧的车辆位姿，然后根据初始图像帧的车辆位姿将所述当前图像帧的所述第一语义特征投影至前一图像帧，以筛选出待匹配线和参考线。其中，所述待匹配线位于所述当前图像帧上的停车位线，且与所述参考线具有相同全局唯一编号的，所述参考线为位于所述前一图像帧上的停车位线。

S24：针对每对所述待匹配线和所述参考线，计算所述待匹配线上的各个点到所述参考线的最短距离。

S25：以全部最短距离的和最小为目标建立目标函数，并利用预设优化算法使所述目标函数达到最优，根据最优情况下的最短距离反向计算得到最优的所述当前图像帧的车辆位姿。

本实施例中，即将所述当前图像帧作待匹配帧，将前一图像帧作为参考帧，根据给定的初始位姿，将待匹配帧的线特征投影到参考帧上，由于每条线特征存在唯一的线ID，相同位置的线具有相同的ID，则可以筛选出相同ID的线匹配对。针对每组线匹配对，计算待匹配线上的每点到参考线上的最短距离d_i（各个点到参考线的法向量的距离），其中d_i表示如下：

d_i=n^T（R×p_i+t-q_j）

其中，p_i为当前帧线特征点，q_j 为参考帧对应线ID的特征点，R、t为两帧之间的相对位姿关系，n^T为参考线的法向量。

在此基础上，以所有最短距离和最小为目标，建立目标函数：

具体采用高斯-牛顿的方法进行非线性优化，即通过不断迭代优化，最终根据最优情况下的最短距离反向计算获得最优的位姿。

参见图4所示，本申请实施例还相应公开了一种语义建图装置，包括：

图像采集模块11，用于利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；

特征提取模块12，用于对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；

位姿计算模块13，用于通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；

地图构建模块14，用于根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。

可见，本申请实施例先利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；然后对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；接着通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征进行匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；最后根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图。本申请实施例无需对车辆进行改造，也无需IMU等高成本设备，仅利用已有的图像采集设备采集图像数据即可完成语义地图构建，能够降低成本。同时本技术方案中引入停车位线的全局唯一编号，进而以前后两帧对应的全局唯一编号为依据通过视觉里程计方法计算出车辆位姿，以进一步构建语义地图以保证构建的地图准确性，即本方案在保证构建语义地图准确性的同时降低了成本。

在一些具体实施例中，所述图像采集模块11，具体包括：

采集单元，用于利用设置在所述目标车辆上的预设数量的环视摄像头进行图像采集得到预设数量的鱼眼图像；所述环视摄像头在量产时预先固定在所述目标车辆上且经过了内外参标定处理；

转化单元，用于将预设数量的所述鱼眼图像转换为一个全景图，得到所述当前图像帧。

在一些具体实施例中，所述转化单元，具体用于通过逆投影变换的方式将预设数量的所述鱼眼图像转换为一个全景柱状图。

在一些具体实施例中，所述特征提取模块12，具体包括：

第一提取单元，用于对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征；

第二提取单元，用于对所述当前图像帧中的停车指示牌及停车场立柱的语义特征进行第二提取，得到包含停车指示牌和停车场立柱的对象位置信息及对象特征描述信息的第二语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征和所述第二语义特征。

在一些具体实施例中，所述位姿计算模块13，具体包括：

确定单元，用于确定初始图像帧的车辆位姿；

投影及筛选单元，用于根据初始图像帧的车辆位姿将所述当前图像帧的所述第一语义特征投影至所述前一图像帧，以筛选出待匹配线和参考线；所述待匹配线位于所述当前图像帧上的停车位线，且与所述参考线具有相同全局唯一编号的，所述参考线为位于所述前一图像帧上的停车位线；

距离计算单元，用于针对每对所述待匹配线和所述参考线，计算所述待匹配线上的各个点到所述参考线的最短距离；

优化单元，用于以全部最短距离的和最小为目标建立目标函数，并利用预设优化算法使所述目标函数达到最优，根据最优情况下的最短距离反向计算得到最优的所述当前图像帧的车辆位姿。

在一些具体实施例中，所述地图构建模块14，具体包括：

剔除单元，用于每间隔预设数量图像帧基于图像相似性执行一次地图帧筛选，以将满足地图帧筛选条件的图像帧确定为语义建图过程中使用的筛选图像帧；

构建单元，用于根据所述筛选图像帧的目标语义特征及车辆位姿构建相应的语义地图。

在一些具体实施例中，所述语义建图装置还包括：

回环检测模块，用于当监测到所述目标车辆总体运行情况满足回环检测条件，则触发图优化机制对每一图像帧的车辆位姿进行优化；所述回环检测条件至少表征车辆运动轨迹存在回环。

进一步的，本申请实施例还提供了一种电子设备。图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的语义建图方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、或者磁盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的语义建图方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的图像帧。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的语义建图方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的语义建图方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种语义建图方法，其特征在于，包括：

利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；

对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；其中，各停车位线具有不同的全局唯一编号；

通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；所述车辆位姿可以通过前后帧线-线匹配获得，所述前后帧线-线匹配是对相同的全局唯一编号的前后帧停车位线进行匹配；前后帧上相同的线特征存在相同的线ID；

根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图；

所述对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征，包括：

对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征。

2.根据权利要求1所述的语义建图方法，其特征在于，所述利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧，包括：

利用设置在所述目标车辆上的预设数量的环视摄像头进行图像采集得到预设数量的鱼眼图像；所述环视摄像头预先固定在所述目标车辆上且经过了内外参标定处理；

将预设数量的所述鱼眼图像转换为一个全景图，得到所述当前图像帧。

3.根据权利要求2所述的语义建图方法，其特征在于，所述将预设数量的所述鱼眼图像转换为一个全景图，包括：

通过逆投影变换的方式将预设数量的所述鱼眼图像转换为一个全景柱状图。

4.根据权利要求1所述的语义建图方法，其特征在于，所述通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿，包括：

确定初始图像帧的车辆位姿，并根据初始图像帧的车辆位姿将所述当前图像帧的所述第一语义特征投影至所述前一图像帧，以筛选出待匹配线和参考线；所述待匹配线位于所述当前图像帧上的停车位线，且与所述参考线具有相同全局唯一编号的，所述参考线为位于所述前一图像帧上的停车位线；

针对每对所述待匹配线和所述参考线，计算所述待匹配线上的各个点到所述参考线的最短距离；

以全部最短距离的和最小为目标建立目标函数，并利用预设优化算法使所述目标函数达到最优，根据最优情况下的最短距离反向计算得到所述当前图像帧的车辆位姿。

5.根据权利要求1所述的语义建图方法，其特征在于，所述对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征之后，还包括：

对所述当前图像帧中的停车指示牌及停车场立柱的语义特征进行第二提取，得到包含停车指示牌和停车场立柱的对象位置信息及对象特征描述信息的第二语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征和所述第二语义特征。

6.根据权利要求1所述的语义建图方法，其特征在于，所述通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿之后，还包括：

每间隔预设数量图像帧基于图像相似性执行一次地图帧筛选，以将满足地图帧筛选条件的图像帧确定为语义建图过程中使用的筛选图像帧；

根据所述筛选图像帧的目标语义特征及车辆位姿构建相应的语义地图。

7.根据权利要求1至6任一项所述的语义建图方法，其特征在于，所述根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图之后，还包括：

当监测到所述目标车辆总体运行情况满足回环检测条件，则触发图优化机制对每一图像帧的车辆位姿进行优化；所述回环检测条件至少表征车辆运动轨迹存在回环。

8.一种语义建图装置，其特征在于，包括：

图像采集模块，用于利用设置在目标车辆上的图像采集设备进行图像采集，得到当前图像帧；

特征提取模块，用于对所述当前图像帧中至少包含停车位线的位置固定对象的语义特征进行提取，得到至少包含停车位线的全局唯一编号的目标语义特征；其中，各停车位线具有不同的全局唯一编号；前后帧上相同的线特征存在相同的线ID；

位姿计算模块，用于通过将所述当前图像帧的目标语义特征与前一图像帧的目标语义特征以匹配的方式进行视觉里程计计算，得到所述当前图像帧的车辆位姿；所述车辆位姿可以通过前后帧线-线匹配获得，所述前后帧线-线匹配是对相同的全局唯一编号的前后帧停车位线进行匹配；

地图构建模块，用于根据每一图像帧的目标语义特征及所述当前图像帧的车辆位姿构建相应的语义地图；

所述特征提取模块具体包括：第一提取单元，用于对所述当前图像帧中的停车位线的语义特征进行第一提取，得到包含停车位线的全局唯一编号、停车位线的对象位置信息及对象特征描述信息的第一语义特征；所述当前图像帧的目标语义特征包括所述第一语义特征。

9.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的语义建图方法。