CN114547222A - 语义地图构建方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种语义地图构建方法、装置及电子设备，其中，所述方法包括：在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。本申请实施例的语义地图构建方法能够结合车身数据，在定位信号不好的区域建立小范围的语义地图，且具有较高的精度，从而可以通过构建好的语义地图进行车辆实时定位，以保证车辆定位信息的连续、准确、稳定的输出。

Description

语义地图构建方法、装置及电子设备

技术领域

本申请涉及地图构建技术领域，尤其涉及一种语义地图构建方法、装置及电子设备。

背景技术

随着自动驾驶技术的快速发展，对于车辆定位精度与稳定性的要求也越来越高。目前大部分场景会采用GNSS(Global Navigation Satellite System，全球导航卫星系统)或者RTK(Real-time kinematic，实时差分定位)结合IMU信息进行组合导航定位。

此种方式在定位信号良好的开阔场景可以输出稳定的高频、高精度的定位信息，而在定位信号不好的区域则需要利用视觉定位或激光定位辅助，其中，低成本的视觉方案采用率较高，目前主流的基于视觉的定位方法有两种，一种是基于特征点的传统视觉SLAM(Simultaneous Localization And Mapping，同步定位与建图)算法进行的建图与定位，另一种是基于高精地图和图像中提取的语义元素进行匹配实现的定位。

然而上述两种方法都有一定的局限性，一方面，传统视觉SLAM算法对于环境的要求比较高，在慢速、光照不强、动态物体少的情况下才能发挥不错的效果，比如停车场等场景。另一方面，基于高精地图的定位需要有高精地图作为前提，高精地图的制作和使用成本高，同时也无法覆盖所有区域，导致定位效果受到影响。

发明内容

本申请实施例提供了一种语义地图构建方法、装置及电子设备，以保证车辆定位信息的连续、准确、稳定的输出。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种语义地图构建方法，其中，所述方法包括：

在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

可选地，所述在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据包括：

确定所述预设语义地图构建条件，所述预设语义地图构建条件包括语义地图的构建区域以及所述车辆在所述构建区域内的行驶路线；

以所述行驶路线的起始位置为起点，控制所述车辆按照所述行驶路线行驶至所述行驶路线的终止位置，得到所述车辆采集的图像数据和车身数据。

可选地，所述利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果包括：

利用所述预设语义识别模型对所述图像数据中的路面语义元素进行识别，得到所述路面语义元素的二值图像；

对所述路面语义元素的二值图像进行后处理，得到后处理后的二值图像，所述后处理包括逆透视变换、腐蚀处理以及膨胀处理。

可选地，所述航迹推演结果包括与所述图像数据对应时刻的自车位置序列，所述语义识别结果包括路面语义元素的二值图像，所述基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果包括：

以所述自车位置序列作为先验条件，利用局部优化算法对任意两个相邻的二值图像进行匹配，得到任意两个相邻的二值图像之间的位移；

根据所述任意两个相邻的二值图像之间的位移，确定与所述图像数据对应时刻的车辆位姿，作为所述匹配结果。

可选地，所述利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图包括：

根据所述预设语义地图构建条件确定所述车辆的行驶路线，所述行驶路线包括起始位置和终止位置；

以所述起始位置和所述终止位置为约束条件，利用全局优化算法对所述匹配结果进行全局优化；

根据全局优化结果构建所述语义地图。

第二方面，本申请实施例还提供一种基于语义地图的车辆定位方法，其中，所述方法包括：

获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于前述之任一所述语义地图构建方法构建得到。

可选地，所述基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果包括：

根据所述当前时刻的航迹推演结果获取对应的语义地图；

将所述当前时刻的语义识别结果与对应的语义地图进行匹配，得到匹配结果；

根据所述匹配结果对所述当前时刻的航迹推演结果进行优化，得到所述车辆的当前时刻的定位结果。

第三方面，本申请实施例还提供一种语义地图构建装置，其中，所述装置包括：

第一获取单元，用于在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

第一数据处理单元，用于利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

匹配单元，用于基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

构建单元，用于利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

第四方面，本申请实施例还提供一种基于语义地图的车辆定位装置，其中，所述装置包括：

第二获取单元，用于获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

第二数据处理单元，用于利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

定位单元，用于基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于前述语义地图构建装置构建得到。

第五方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述语义地图构建方法，或者执行前述之任一所述基于语义地图的车辆定位方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述语义地图构建方法，或者执行前述之任一所述基于语义地图的车辆定位方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的语义地图构建方法，在预设语义地图构建条件下，先获取车辆采集的图像数据和车身数据；然后利用预设语义识别模型对图像数据进行语义识别，得到语义识别结果，以及对车身数据进行航迹推演，得到航迹推演结果；之后基于航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；最后利用预设优化策略对匹配结果进行优化，并根据优化结果构建语义地图。本申请实施例的语义地图构建方法能够结合车身数据，在定位信号不好的区域建立小范围的语义地图，且具有较高的精度，从而可以通过构建好的语义地图进行车辆实时定位，以保证车辆定位信息的连续、准确、稳定的输出。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种语义地图构建方法的流程示意图；

图2为本申请实施例中一种路线选取的示意图；

图3为本申请实施例中一种路面语义元素的二值图像示意图；

图4为本申请实施例中一种基于语义地图的车辆定位方法的流程示意图；

图5为本申请实施例中一种语义地图构建装置的结构示意图；

图6为本申请实施例中一种基于语义地图的车辆定位装置的结构示意图；

图7为本申请实施例中一种电子设备的结构示意图；

图8为本申请实施例中另一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种语义地图构建方法，如图1所示，提供了本申请实施例中一种语义地图构建方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：

步骤S110，在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据。

语义地图是指通过基于神经网络的语义分割、物体检测以及实例分割等技术应用于SLAM建图方法中来实现对周围环境及物体的理解。本申请实施例的语义地图构建方法致力于为自动驾驶场景下车辆的实时定位提供可靠的数据支撑，从而保证车辆定位信息的连续、准确、稳定的输出。当然，本领域技术人员也可以将本申请的语义地图构建方法构建得到的语义地图灵活应用于其他场景，在此不作具体限定。

具体地，需要事先确定语义地图构建条件，语义地图构建条件主要是为了事先确定构建哪些区域的语义地图，可以根据实际需求灵活确定，例如可以通过测试确定语义地图的构建区域，并确定车辆在该区域的行驶路线等，由于本申请构建的语义地图主要是针对自车定位信号如GNSS信号不好时发挥辅助定位的作用，因此，上述构建区域就可以通过测试定位信号较差的区域来得到。

之后在确定了语义地图构建条件的基础上，通过自车安装的相机如单目相机采集图像数据，以及通过速度传感器采集自车速度和航向角等车身数据，作为构建语义地图的基础数据。

步骤S120，利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果。

在得到自车采集的图像数据和车身数据后，针对自车采集的图像数据，可以利用预设语义识别模型进行语义识别，预设语义识别模型可以基于现有的卷积神经网络训练得到，从而对图像中的路面语义元素如车道线、路面箭头和文字等进行识别，得到语义识别结果。

航迹推演算法是根据车辆当前时刻的车辆姿态信息如位置、航向角、速度以及前轮转角等，来对车辆下一个时刻的姿态进行估计的方法，在定位信号较差的情况下，可以通过航迹推演出的位置和姿态等进行短暂的辅助定位。

本申请实施例针对自车采集的车身数据如车辆速度和航向角等进行航迹推演，从而得到相应图像时刻的航迹推演结果。由于航迹推演结果存在一定的预测误差，为了提高语义地图构建的准确性，还需要进行后续的优化处理等。

步骤S130，基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果。

虽然航迹推演结果存在一定误差，但仍可以在一定范围内提供一些关于位置和姿态的先验信息，因此本申请实施例可以将各个图像时刻对应的航迹推演结果作为先验条件，然后将任意相邻两个图像时刻的语义识别结果进行匹配，从而得到匹配结果，具体可以包括各个图像时刻对应的自车位姿等数据。

步骤S140，利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

为了提高语义地图的精度，还可以利用预设优化算法对上述匹配结果进行进一步优化处理，从而减小累计误差，最后使用优化后的位姿数据进行语义建图，得到构建好的语义地图并保存，构建的语义地图的类型具体可以为点云图或者轮廓图等。

本申请实施例的语义地图构建方法能够结合车身数据，在定位信号不好的区域建立小范围的语义地图，且具有较高的精度，从而可以通过构建好的语义地图进行车辆实时定位，以保证车辆定位信息的连续、准确、稳定的输出。

在本申请的一个实施例中，所述在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据包括：确定所述预设语义地图构建条件，所述预设语义地图构建条件包括语义地图的构建区域以及所述车辆在所述构建区域内的行驶路线；以所述行驶路线的起始位置为起点，控制所述车辆按照所述行驶路线行驶至所述行驶路线的终止位置，得到所述车辆采集的图像数据和车身数据。

本申请实施例在确定语义地图的构建条件时，首先可以通过测试获得定位信号不好的区域，比如城市中的隧道或高楼大厦集中的区域等。然后在该区域内设定需要建立语义地图的路线，包括路线的起始位置P_start和终止位置P_end，在确定起始位置P_start和终止位置P_end时尽可能选取定位信号良好的位置点，即能够获得准确的经纬度坐标以及航向角等信息的位置，从而为后续地图构建提供约束条件。如图2所示，提供了本申请实施例中一种路线选取的示意图。

之后以起始位置P_start开始，保持车道不变，控制车辆采集图像数据以及相应的车身数据，直到终止位置P_end。实际场景下，还可以以相同或不同的行驶方向对一个区域进行多次采集，从而可以获得更多更丰富的数据进行语义地图的构建，提高语义地图的精度。

最后可以使用开源的地图软件预先获得此路线的拓扑结构和距离，开始进行语义图构建。本申请实施例通过使用开源地图软件预先获得待建图区域的拓扑结构和距离信息，可以为语义地图的构建提供可靠的优化限制，大大减少累计误差。

在本申请的一个实施例中，所述利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果包括：利用所述预设语义识别模型对所述图像数据中的路面语义元素进行识别，得到所述路面语义元素的二值图像；对所述路面语义元素的二值图像进行后处理，得到后处理后的二值图像，所述后处理包括逆透视变换、腐蚀处理以及膨胀处理。

本申请实施例在利用预设语义识别模型对图像数据进行语义识别时，主要是对图像中的路面语义元素进行识别，如路面上的车道线、路面箭头和文字等，通过预设语义识别模型可以输出路面语义元素的二值图像，如图3所示，提供了本申请实施例中一种路面语义元素的二值图像示意图。

通过上述处理虽然已经大致识别出图像中所包括的路面语义元素的位置等信息，但仍然不够精确和完整，因此本申请实施例还可以对上述二值图像进行进一步优化处理，例如可以对得到的二值图像进行IPM(Inverse Perspective Mapping，逆透视变换)处理，通过车道线平行关系的约束，保证IPM变化的准确性，此外还可以进行腐蚀和膨胀处理等，从而消除路面颠簸等外部因素带来的不稳定性，最终可以得到BEV视角(Bird-Eye View，鸟瞰视角)下的路面语义元素的轮廓，作为后续提高语义地图构建的准确性的基础。

在本申请的一个实施例中，所述航迹推演结果包括与所述图像数据对应时刻的自车位置序列，所述语义识别结果包括路面语义元素的二值图像，所述基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果包括：以所述自车位置序列作为先验条件，利用局部优化算法对任意两个相邻的二值图像进行匹配，得到任意两个相邻的二值图像之间的位移；根据所述任意两个相邻的二值图像之间的位移，确定与所述图像数据对应时刻的车辆位姿，作为所述匹配结果。

本申请实施例的航迹推演结果具体可以包括与图像数据对应时刻的自车位置序列P_dr，以P_dr作为先验条件，使用路面语义元素中的点、线特征对任意两个相邻的二值图像进行匹配，这里可以使用现有的局部优化算法来实现，根据匹配成功的点、线特征对估计出任意相邻两个二值图像之间的位移。之后根据任意相邻两个二值图像之间的位移，可以计算出每一个图像数据时刻对应的车辆位置和姿态，作为最终的匹配结果。

在本申请的一个实施例中，所述利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图包括：根据所述预设语义地图构建条件确定所述车辆的行驶路线，所述行驶路线包括起始位置和终止位置；以所述起始位置和所述终止位置为约束条件，利用全局优化算法对所述匹配结果进行全局优化；根据全局优化结果构建所述语义地图。

如前所述，前述实施例中的匹配结果基本可以得到每个图像数据时刻对应的车辆位置和姿态数据，但仍然会存在一定累计误差，因此本申请实施例中可以预设语义地图构建条件下的路线起始位置P_start和中止位置P_end作为约束条件，对已经匹配好的结果进行全局优化，这里可以采用通用的视觉SLAM算法来实现，从而减小累计误差，并使用优化后的位置和姿态数据进行语义建图，提高语义地图构建的精度。

本申请实施例还提供了一种基于语义地图的车辆定位方法，如图4所示，提供了本申请实施例中一种基于语义地图的车辆定位方法的流程示意图，所述方法至少包括如下的步骤S410至步骤S430：

步骤S410，获取车辆采集的当前时刻的图像数据和当前时刻的车身数据。

步骤S420，利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果。

步骤S430，基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；其中，所述语义地图基于前述之任一所述语义地图构建方法构建得到。

基于上述实施例构建好的语义地图，本申请实施例还提供了一种车辆定位方法，该车辆定位方法在自车面临定位信号不好的情况时，可以通过调取当前所在区域对应的语义地图来实现自车的辅助定位。

具体地，与前述语义地图构建方法的流程类似，需要先获取车辆采集的当前时刻的图像数据和当前时刻的车身数据，然后针对自车采集的图像数据，可以利用预设语义识别模型对图像中的路面语义元素如车道线、路面箭头和文字等进行识别，得到语义识别结果。针对自车采集的车身数据如车辆速度和航向角等进行航迹推演，从而得到当前时刻的航迹推演结果。

由于航迹推演结果存在一定的预测误差，无法直接使用当前时刻的航迹推演结果作为自车的当前定位，这时可以以当前时刻的航迹推演结果作为先验条件，将当前时刻的语义识别结果与对应的局部语义地图进行匹配，从而在事先构建好的语义地图中确定出当前时刻的语义识别结果所对应的位置和姿态，以此确定自车在当前时刻的最终定位结果。

在本申请的一个实施例中，所述基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果包括：根据所述当前时刻的航迹推演结果获取对应的语义地图；将所述当前时刻的语义识别结果与对应的语义地图进行匹配，得到匹配结果；根据所述匹配结果对所述当前时刻的航迹推演结果进行优化，得到所述车辆的当前时刻的定位结果。

由于前述实施例可能会针对不同区域分别构建对应的语义地图，也即实际有多个小范围内的语义地图存在，因此本申请实施例在进行语义地图匹配时，可以先根据当前时刻的航迹推演结果获取对应区域的语义地图，虽然航迹推演结果存在一定误差，但仍然可以满足语义地图获取的要求。

在得到对应区域的语义地图后，将当前时刻的语义识别结果与对应的语义地图进行匹配，如果是轮廓图类型的语义地图，则可以将路面语义元素的点、线特征等与轮廓图进行匹配，如果是点云图类型的语义地图，则可以基于点云的匹配方法进行匹配，之后可以根据匹配结果确定当前时刻车辆在语义地图中所对应的位姿信息，利用该位姿信息对前面得到的当前时刻的航迹推演结果进行优化，从而得到更准确的自车定位结果。

本申请实施例还提供了一种语义地图构建装置500，如图5所示，提供了本申请实施例中一种语义地图构建装置的结构示意图，所述装置500至少包括：第一获取单元510、第一数据处理单元520、匹配单元530以及构建单元540，其中：

第一获取单元510，用于在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

第一数据处理单元520，用于利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

匹配单元530，用于基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

构建单元540，用于利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

在本申请的一个实施例中，所述第一获取单元510具体用于：确定所述预设语义地图构建条件，所述预设语义地图构建条件包括语义地图的构建区域以及所述车辆在所述构建区域内的行驶路线；以所述行驶路线的起始位置为起点，控制所述车辆按照所述行驶路线行驶至所述行驶路线的终止位置，得到所述车辆采集的图像数据和车身数据。

在本申请的一个实施例中，所述第一数据处理单元520具体用于：利用所述预设语义识别模型对所述图像数据中的路面语义元素进行识别，得到所述路面语义元素的二值图像；对所述路面语义元素的二值图像进行后处理，得到后处理后的二值图像，所述后处理包括逆透视变换、腐蚀处理以及膨胀处理。

在本申请的一个实施例中，所述航迹推演结果包括与所述图像数据对应时刻的自车位置序列，所述语义识别结果包括路面语义元素的二值图像，所述匹配单元530具体用于：以所述自车位置序列作为先验条件，利用局部优化算法对任意两个相邻的二值图像进行匹配，得到任意两个相邻的二值图像之间的位移；根据所述任意两个相邻的二值图像之间的位移，确定与所述图像数据对应时刻的车辆位姿，作为所述匹配结果。

在本申请的一个实施例中，所述构建单元540具体用于：根据所述预设语义地图构建条件确定所述车辆的行驶路线，所述行驶路线包括起始位置和终止位置；以所述起始位置和所述终止位置为约束条件，利用全局优化算法对所述匹配结果进行全局优化；根据全局优化结果构建所述语义地图。

本申请实施例还提供了一种基于语义地图的车辆定位装置600，如图6所示，提供了本申请实施例中一种基于语义地图的车辆定位装置的结构示意图，所述装置600包括：第二获取单元610、第二数据处理单元620以及定位单元630，其中：

第二获取单元610，用于获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

第二数据处理单元620，用于利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

定位单元630，用于基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；其中，所述语义地图基于前述语义地图构建装置构建得到。

在本申请的一个实施例中，所述定位单元630具体用于：根据所述当前时刻的航迹推演结果获取对应的语义地图；将所述当前时刻的语义识别结果与对应的语义地图进行匹配，得到匹配结果；根据所述匹配结果对所述当前时刻的航迹推演结果进行优化，得到所述车辆的当前时刻的定位结果。

能够理解，上述语义地图构建装置和基于语义地图的车辆定位装置，能够分别实现前述实施例中提供的语义地图构建方法和基于语义地图的车辆定位方法的各个步骤，关于语义地图构建方法和基于语义地图的车辆定位方法的相关阐释均适用于语义地图构建装置和基于语义地图的车辆定位装置，此处不再赘述。

图7为本申请实施例中一种电子设备的结构示意图，图8为本申请实施例中另一种电子设备的结构示意图。请参考图7和图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7和图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成语义地图构建装置或者基于语义地图的车辆定位装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

或者，用于执行：

获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于前述之任一所述语义地图构建方法构建得到。

上述如本申请图1所示实施例揭示的语义地图构建装置以及如本申请图5所示实施例揭示的基于语义地图的车辆定位装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中语义地图构建装置执行的方法，并实现语义地图构建装置在图1所示实施例的功能，还可执行图5所示实施例揭示的基于语义地图的车辆定位装置执行的方法，并实现基于语义地图的车辆定位装置在图5所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中语义地图构建装置执行的方法，并具体用于执行：

在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

此外，还可以使该电子设备执行图5所示实施例中基于语义地图的车辆定位装置执行的方法，并具体用于执行：

获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于前述之任一所述语义地图构建方法构建得到。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种语义地图构建方法，其中，所述方法包括：

在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

2.如权利要求1所述方法，其中，所述在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据包括：

确定所述预设语义地图构建条件，所述预设语义地图构建条件包括语义地图的构建区域以及所述车辆在所述构建区域内的行驶路线；

以所述行驶路线的起始位置为起点，控制所述车辆按照所述行驶路线行驶至所述行驶路线的终止位置，得到所述车辆采集的图像数据和车身数据。

3.如权利要求1所述方法，其中，所述利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果包括：

利用所述预设语义识别模型对所述图像数据中的路面语义元素进行识别，得到所述路面语义元素的二值图像；

对所述路面语义元素的二值图像进行后处理，得到后处理后的二值图像，所述后处理包括逆透视变换、腐蚀处理以及膨胀处理。

4.如权利要求1所述方法，其中，所述航迹推演结果包括与所述图像数据对应时刻的自车位置序列，所述语义识别结果包括路面语义元素的二值图像，所述基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果包括：

以所述自车位置序列作为先验条件，利用局部优化算法对任意两个相邻的二值图像进行匹配，得到任意两个相邻的二值图像之间的位移；

根据所述任意两个相邻的二值图像之间的位移，确定与所述图像数据对应时刻的车辆位姿，作为所述匹配结果。

5.如权利要求1所述方法，其中，所述利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图包括：

根据所述预设语义地图构建条件确定所述车辆的行驶路线，所述行驶路线包括起始位置和终止位置；

以所述起始位置和所述终止位置为约束条件，利用全局优化算法对所述匹配结果进行全局优化；

根据全局优化结果构建所述语义地图。

6.一种基于语义地图的车辆定位方法，其中，所述方法包括：

获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于权利要求1～5之任一所述语义地图构建方法构建得到。

7.如权利要求6所述方法，其中，所述基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果包括：

根据所述当前时刻的航迹推演结果获取对应的语义地图；

将所述当前时刻的语义识别结果与对应的语义地图进行匹配，得到匹配结果；

根据所述匹配结果对所述当前时刻的航迹推演结果进行优化，得到所述车辆的当前时刻的定位结果。

8.一种语义地图构建装置，其中，所述装置包括：

第一获取单元，用于在预设语义地图构建条件下，获取车辆采集的图像数据和车身数据；

第一数据处理单元，用于利用预设语义识别模型对所述图像数据进行语义识别，得到语义识别结果，以及对所述车身数据进行航迹推演，得到航迹推演结果；

匹配单元，用于基于所述航迹推演结果，将任意相邻两帧图像的语义识别结果进行匹配，得到匹配结果；

构建单元，用于利用预设优化策略对所述匹配结果进行优化，并根据优化结果构建语义地图。

9.一种基于语义地图的车辆定位装置，其中，所述装置包括：

第二获取单元，用于获取车辆采集的当前时刻的图像数据和当前时刻的车身数据；

第二数据处理单元，用于利用预设语义识别模型对所述当前时刻的图像数据进行语义识别，得到当前时刻的语义识别结果，以及对所述当前时刻的车身数据进行航迹推演，得到当前时刻的航迹推演结果；

定位单元，用于基于所述当前时刻的航迹推演结果，将所述当前时刻的语义识别结果与对应的语义地图进行匹配，并根据匹配结果得到所述车辆的当前时刻的定位结果；

其中，所述语义地图基于权利要求8所述语义地图构建装置构建得到。

10.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～5之任一所述语义地图构建方法，或者执行所述权利要求6～7之任一所述基于语义地图的车辆定位方法。

Images