CN111539305A - 一种地图构建方法及系统、车辆及存储介质 - Google Patents

Abstract

一种地图构建方法及系统、车辆及存储介质，该方法包括：获取车辆在移动时构建的地图；地图包括关键帧以及与关键帧绑定的车辆位姿，与关键帧绑定的车辆位姿是根据关键帧确定的；获取车辆在所述移动时识别到的目标对象的物体特征；物体特征包括：目标对象在地图上的地图位姿；对关键帧和所述目标对象进行绑定；对地图包括的车辆位姿进行优化，使得目标对象的所述地图位姿随着所述车辆位姿的优化而得到调整；其中，在对车辆位姿进行优化时，与同一关键帧绑定的车辆位姿和目标对象的所述地图位姿之间的相对关系保持不变。实施本发明实施例，能够提高构建出的地图的准确性，可以满足自动驾驶的需求。

Description

一种地图构建方法及系统、车辆及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种地图构建方法及系统、车辆及存储介质。

背景技术

与驾驶员驾驶车辆时使用的电子地图不同，自动驾驶时使用的电子地图一般需要包括更多以及更准确的环境信息。目前，可以通过车辆搭载的传感器采集环境数据，并从环境数据中识别出各种目标对象，如车辆、行人、车道线、车位、交通标志等。结合识别到目标物体时车辆的定位信息，可以构建出满足自动驾驶需求的电子地图，如高精度地图(HighDefinition Map)。

在实践中发现，上述的地图构建方法一般需要较高的车辆定位精度。在室外环境下，可以采用全球卫星定位系统(Global Positioning System，GPS)和实时动态(Real-time Kinematic，RTK)差分测量设备为车辆提供高精度的定位信息。然而，在地下停车场等GPS信号接收不良的场地中，往往难以获取到高精度的车辆定位信息，从而导致在这场地中构建出的地图准确性较低，难以满足自动驾驶的需求。

发明内容

本发明实施例公开了一种地图构建方法及系统、车辆及存储介质，能够提高构建出的地图的准确性，可以满足自动驾驶的需求。

本发明实施例第一方面公开一种地图构建方法，所述方法包括：

获取车辆在移动时构建的地图；所述地图包括关键帧以及与所述关键帧绑定的车辆位姿，与所述关键帧绑定的车辆位姿是根据所述关键帧确定的；

获取所述车辆在所述移动时识别到的目标对象的物体特征；所述物体特征包括：所述目标对象在所述地图上的地图位姿；

对所述关键帧和所述目标对象进行绑定；

对所述地图包括的所述车辆位姿进行优化，使得所述目标对象的所述地图位姿随着所述车辆位姿的优化而得到调整；其中，在对所述车辆位姿进行优化时，与同一所述关键帧绑定的所述车辆位姿和所述目标对象的所述地图位姿之间的相对关系保持不变。

作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述关键帧以及所述目标对象的物体特征进行绑定，包括：

对所述关键帧和所述目标对象在时间上进行数据对齐；

对当前关键帧以及在时间上与所述当前关键帧对应的所述目标对象进行绑定；

其中，所述当前关键帧为所述地图包括的任意一个关键帧；在时间上与所述当前关键帧对应的所述目标对象的时间戳与所述当前关键帧的时间戳之差小于预设时间阈值；所述目标对象的时间戳是所述目标对象被识别到时记录的。

作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述关键帧以及所述目标对象的物体特征进行绑定，包括：

对所述关键帧和所述目标对象在空间上进行数据对齐；

对当前关键帧以及在空间上与所述当前关键帧对应的所述目标对象进行绑定；

其中，所述当前关键帧为所述地图包括的任意一个关键帧；在空间上与所述当前关键帧对应的目标对象的地图位姿与所述当前关键帧绑定的车辆位姿之间的距离小于预设距离阈值。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

对所述车辆的车载摄像装置拍摄到的当前图像帧和所述地图包括的所述关键帧进行图像匹配；

根据与第一关键帧绑定的所述车辆位姿以及与所述第一关键帧绑定的所述目标对象的物体特征，为所述车辆进行导航和/或避障；所述第一关键帧为与所述当前图像帧匹配的所述关键帧。

作为一种可选的实施方式，在本发明实施例第一方面中，所述物体特征还包括：所述目标对象的物体类别。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

根据第二关键帧和第三关键帧之间的图像相似度、与所述第二关键帧绑定的所述目标对象的物体特征以及与所述第三关键帧绑定的所述目标对象的物体特征进行所述地图的回环检测；

所述第二关键帧和所述第三关键帧为所述地图包括的任意两个关键帧。

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取所述车辆在所述移动时识别到的目标对象的物体特征，包括：

获取所述车辆在所述移动时采集到的传感器数据；所述传感器数据包括图像数据、超声波数据、毫米波数据中的至少一种；

根据所述传感器数据识别所述目标对象的物体特征。

本发明实施例第二方面公开一种地图构建系统，包括：

第一获取单元，用于获取车辆在某一场地移动时构建的地图；所述地图包括关键帧以及与所述关键帧绑定的车辆位姿，与所述关键帧绑定的车辆位姿是根据所述关键帧确定的；

第二获取单元，用于获取所述车辆在所述移动时识别到的目标对象的物体特征；所述物体特征包括：所述目标对象在所述地图上的地图位姿；

绑定单元，用于对所述关键帧和所述目标对象进行绑定；

优化单元，用于对所述地图包括的所述车辆位姿进行优化，以对所述目标对象的所述地图位姿进行优化；其中，在对所述车辆位姿进行优化时，与同一所述关键帧绑定的所述车辆位姿和所述目标对象的所述地图位姿之间的相对关系保持不变。

本发明实施例第三方面公开一种车辆，包括：本发明实施例第二方面公开的地图构建系统

本发明第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的任一项方法。

与现有技术相比，本发明实施例具有以下有益效果：

在本发明实施例中，可以先获取包括关键帧与车辆位姿的地图和目标对象的物体特征；其中，关键帧与车辆位姿绑定，物体特征包括目标对象的地图位姿；然后，对关键帧和目标对象进行绑定；在对地图包括的车辆位姿进行优化时，保持车辆位姿与目标对象之间的相对关系不变，从而可以在优化车辆位姿的同时一并对目标对象的地图位姿进行优化，使得目标对象在地图上的位姿更加准确，进而可以提高构建出的地图的准确性，使得地图可以满足自动驾驶的需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种地图构建系统的结构示意图；

图2是本发明实施例公开的一种BA优化的示例图；

图3是本发明实施例公开的一种位姿图的示例图；

图4是本发明实施例公开的一种地图构建方法的流程示意图；

图5是本发明公开的一种地图坐标系与车身坐标系之间的转换关系的示例图；

图6是本发明实施例公开的一种关键帧与目标对象进行绑定的示例图；

图7是本发明实施例公开的一种回环矫正的示例图；

图8是本发明实施例公开的另一种地图构建方法的流程示意图；

图9是本发明实施例公开的又一种地图构建方法的流程示意图；

图10是本发明实施例公开的另一种地图构建系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种地图构建方法及系统、车辆及存储介质，能够提高构建出的地图的准确性，可以满足自动驾驶的需求。以下分别进行详细说明。

首先，请参阅图1，图1是本发明实施例公开的一种地图构建系统的结构示意图。如图1所示，该地图构建系统可以包括：

计算单元、车载测距传感器、车载摄像装置、车辆里程计。

计算单元，可以为车辆内置的微控制单元(Microcontroller Unit，MCU)；或者与车载测距传感器、车载摄像装置存在数据传输的本地/云端计算设备。计算单元可以接收车载测距传感器、车载摄像装置以及车辆里程计采集到的传感器数据，并对接收到的数据进行处理，以执行如下述的图4或图9所示的地图构建方法。

车载测距传感器，可以包括但不限于超声波雷达、毫米波雷达等传感器。车载测距传感器可以检测车辆周边的物体与车辆之间的相对距离。

车载摄像装置，可以拍摄车辆周边的环境图像。其中，设置在车辆前挡风玻璃、后视镜等位置的前视摄像装置可以拍摄到车辆行驶方向上的环境。设置在前后保险杠、两侧车门等位置的车载摄像装置可以组成环视拍摄系统。示例性的，通过环视拍摄系统，可以拍摄到车辆周边360°的环境图像，对环境图像进行目标检测，可以进一步识别到车辆周边的物体。

车辆里程计，可以测量车辆的行程距离。

此外，为了便于理解本发明实施例公开的地图构建方法。下面先对视觉SLAM方法进行介绍。视觉SLAM方法可以包括：

1.SLAM前端(SLAM Front End)，又称为视觉里程计(Visual Odometry，VO)。SLAM前端可以通过基于特征点匹配的特征点法或者基于光流(Optical Flow)的直接法等算法实现。SLAM前端的作用在于根据一个或多个车载摄像装置拍摄到的图像序列以及车辆里程计采集到的数据估计车辆的位置和姿态(以下简称位姿)，同时恢复出图像中特征点的三维空间位置，恢复了三位空间位置的特征点可以称为SLAM地图中的地图点(Map Point)。可以理解，针对图像序列中的任意一帧图像，均可对应绑定有车辆位姿和地图点，与图像绑定的车辆位姿和地图点可以为根据该帧图像估计出的车辆位姿和地图点。

2.后端优化。虽然视觉里程计已经可以估计出车辆的位姿，但由于数据噪声、误匹配、计算误差等因素的影响，会产生位姿估计的误差。而视觉里程计对当前时刻车辆位姿的估计是基于上一时刻的车辆位姿确定的，因此，估计误差会逐渐累积，严重影响车辆位姿估计的准确性。后端优化的目的是对视觉里程计估计出的若干个车辆位姿进行全局一致的优化，以消除噪声干扰。主流的后端优化方法，如捆绑约束(Bundle Adjustment，BA)优化法，能够以地图点k和每一时刻的车辆位姿X_i(i＝0,1,…N)作为节点，节点之间的关系作为连接节点的边，对节点和边构成的图进行非线性优化。请一并参阅图2，图2是本发明实施例公开的一种BA优化的示例图。

然而，若对拍摄到的每一帧图像绑定的车辆位姿和地图点都进行优化，将会增大计算量。而且当车辆静止或者移动缓慢时，这样的操作是没有必要的。因此，为了减少冗余计算并提高算法的鲁棒性，可以从图像序列中选择有代表性的图像作为关键帧(KeyFrame)，对与关键帧绑定的车辆位姿和地图点进行优化。关键帧需满足的条件可以包括但不限于：①关键帧包括的特征点数量大于特征点预设数量阈值，即关键帧包括足够丰富的特征点，以支持帧间匹配；②当前关键帧与上一帧关键帧之间经过一定的序列间隔，即当前关键帧与上一帧关键帧之间存在一定差异。

此外，随着车辆的移动，地图的规模逐渐增长，即使只对与关键帧绑定的车辆位姿和地图点进行优化，各个关键帧仍然绑定有大量的地图点，这些地图点的优化耗费了较多的计算资源。因此，可以进一步构建只包括关键帧和车辆位姿的位姿图。请一并参阅图3，图3是本发明实施例公开的一种位姿图的示例图。在位姿图中，节点为各个关键帧对应的车辆位姿，节点之间的边为两个位姿节点之间车辆的相对运动估计。其中，在位姿图中，车辆位姿可以通过关键帧之间的帧间位姿约束(Pose Constraint)进行表示。后端优化时，可以不考虑地图点，对位姿图进行优化。

3.回环矫正。在某些场景下，车辆可能会到达先前已经到达过的位置，车辆的移动轨迹形成回环。由于误差影响，在同一位置时，车辆前后两次的估计位姿可能并不一致，这容易导致重复建图的问题。因此，回环矫正的目的在于检测出车辆是否重复到达某一位置(即回环检测)，并对同一位置下的两次或多次位姿估计进行校正。针对检测车辆是否重复到达某一位置的步骤，可以通过判断拍摄到的图像间的相似性来判断。

下面对本发明实施例公开的地图构建方法及系统、车辆及存储介质进行详细介绍。

实施例一

请参阅图4，图4是本发明实施例公开的一种地图构建方法的流程示意图。如图4所示，该地图构建方法可以包括以下步骤：

401、获取车辆在移动时构建的地图。

在本发明实施例中，地图的构建方法可以如图2所示，以下内容不再赘述。从图2所描述的方法中可以看出，构建出的地图中可以包括若干个关键帧，以及分别与若干关键帧绑定的车辆位姿。可选的，构建的地图可以为如图3所示的位姿图。

402、获取车辆在移动时识别到的目标对象的物体特征。

在本发明实施例中，目标对象可以为车辆周边的停车位，或者车道线、指示牌、已经停放好的其他车辆等在一定时间内相对静止的物体或对象。物体特征可以包括目标对象在地图上的地图位姿。

可以理解的是，通过对车辆在移动时采集到的传感器数据进行处理，可以识别出目标对象，从而可以进一步获取到目标对象的物体特征。上述的传感器数据可以包括但不限于车载摄像装置采集到的图像数据、超声波雷达采集到的超声波数据或者毫米波雷达采集到的毫米波数据中的一种或者多种。

需要说明的是，在本发明实施例中，当车辆在某一场地移动时，在步骤401中可以通过视觉SLAM方法实时构建上述场地的地图，同时可以通过车辆采集到的传感器数据实时识别目标对象。可选的，构建地图的操作和识别目标对象的操作可以相对并行。

作为一种可选的实施方式，当物体特征包括地图位姿时，获取目标对象的地图位姿的实施方式可以包括：

根据传感器数据识别目标对象在车辆的车身坐标系下的相对位姿；根据地图的地图坐标系与车身坐标系之间的转换关系，将上述的相对位姿转换至地图坐标系下进行标识，得到目标对象在地图上的地图位姿。

请一并参阅图5，图5是本发明公开的一种地图坐标系与车身坐标系之间的转换关系的示例图。如图5所示，点p可以为目标对象，地图坐标系o_xwzwyw与车身坐标系o_xczcyc之间的转换关系T可以为车辆位姿在地图坐标系下的表示。

作为一种可选的实施方式，物体特征还可以进一步包括物体类别。当物体特征包括物体类别时，获取目标对象的物体类别的实施方式可以包括：通过特征提取或者深度学习的方式从传感器数据中识别出目标对象的物体类别。示例性的，当传感器数据为图像数据时，可以通过深度学习的方式识别出目标对象具体属于停车位、车道线或者指示牌中的哪一种物体类别。

403、对关键帧以及目标对象进行绑定。

在本发明实施例中，绑定可以为建立关键帧和目标对象之间的对应关系。在本发明实施例中，地图上可能包括两个或以上的关键帧，同时车辆也可能识别出两个或以上的目标对象。当关键帧或者目标对象的数量较多时，合理地对关键帧和目标对象进行绑定，可以减少后续优化时的计算量。

可选的，步骤403的实施方式可以包括但不限于以下实施方式：

实施方式一：对关键帧和目标对象在时间上进行数据对齐；对当前关键帧以及在时间上与当前关键帧对应的目标对象进行绑定。

其中，当前关键帧可以为地图包括的任意一个关键帧，在时间上与当前关键帧对应的目标对象的时间戳与当前关键帧的时间戳之差小于预设时间阈值；目标对象的时间戳是目标对象被识别到时记录的。可选的，上述的时间阈值可以参考车载摄像装置、超声波雷达、毫米波雷达等传感器采集到的数据传输至计算单元时的传输延迟确定。也就是说，考虑不同传感器采集到的数据传输至计算单元所需的传输时间不同，时间阈值可以参考不同传输时间之间的误差设置。

实施该实施方式，可以将在时间上最邻近的目标对象与关键帧进行绑定。

实施方式二：对关键帧和目标对象在空间上进行数据对齐；对当前关键帧以及在空间上与当前关键帧对应的目标对象进行绑定；

其中，当前关键帧可以为地图包括的任意一个关键帧；在空间上与当前关键帧对应的目标对象的地图位姿与当前关键帧绑定的车辆位姿之间的距离小于预设距离阈值。

实施该实施方式，可以将在空间上最邻近的目标对象与关键帧进行绑定。可选的，上述的预设阈值可以参考在不同场地行驶时车辆与障碍物之间的平均距离设置。示例性的，当车辆在地下停车场行驶时，距离阈值可以参考车辆在车道内行驶时，车辆与车位之间横向的平均距离设置。

示例性的，请一并参阅图6，图6是本发明实施例公开的一种关键帧与目标对象进行绑定的示例图。如图6所示，目标对象的物体特征可以包括地图位姿和物体类别(车位或障碍物)。单个关键帧可能与一个或多个目标对象进行绑定，也可能不和任何目标对象进行绑定。当获取到的物体特征包括地图位姿时，车辆在根据关键帧定位出车辆的当前位姿之后，可以根据与关键帧绑定的目标对象确定出车辆当前位姿的周边是否存在车位或者障碍物，进一步还可以确定出目标对象的具体位置。此外，当获取到的物体特征还包括物体类别时，不仅可以确定出目标对象的具体位置，还可以进一步确定该目标对象为车位还是柱子，从而可以为车辆进行导航或者避障。

404、对地图包括的车辆位姿进行优化，使得目标对象的物体特征包括的地图位姿随着车辆位姿的优化而得到调整；其中，在对车辆位姿进行优化时，与同一关键帧绑定的车辆位姿和目标对象的地图位姿之间的相对关系保持不变。

在本发明实施例中，当地图包括两个或以上的车辆位姿时，可以对部分或者全部车辆位姿进行优化。对车辆位姿进行优化的方法如图2的后端优化所示，以下内容不再赘述。可选的，当地图包括地图点时，优化的方式可以为BA优化；当地图为位姿图，不包括地图点时，优化的方式可以为位姿图优化。

无论是BA优化，还是位姿图优化，都可以根据一定的约束关系对车辆位姿进行调整，使得车辆位姿更加准确。此时，由于车辆和目标对象之间的相对关系保持不变，一旦车辆位姿由于优化而发生改变，则目标对象的地图位姿也可以相应改变，从而实现了对目标对象地图位姿的优化。示例性的，请一并参阅图7，图7是本发明实施例公开的一种回环矫正的示例图。如图7所示，可以通过回环检测对车辆的位姿进行优化，而随着车辆位姿的回环矫正，车位在地图上的位姿也被正确地矫正了。

为了更好地理解图4所示的地图构建方法所涉及的各种数据关系以及处理流程，请一并参阅图8，图8是本发明实施例公开的另一种地图构建方法的流程示意图。如图8所示，根据里程计数据和图像数据，可以基于视觉SLAM方法构建出位姿图，在位姿图中，车辆位姿可以通过关键帧之间的帧间位姿约束进行表示。在构建出位姿图的同时，SLAM方法也可以生成相应的稀疏点云(Sparse Point Cloud)地图，点云地图包括若干个与关键帧绑定的地图点。点云地图与位姿图可以合称为SLAM地图。此外，根据图像数据，可以识别出目标对象，以及目标对象在车身坐标系下的位姿，进一步可以根据车身坐标系和地图坐标系之间的转换关系确定出目标对象的地图位姿。对关键帧以及目标对象进行绑定，可以得到包括位姿图和目标对象的高精度地图。利用SLAM地图，可以对车辆进行定位或重定位；利用高精度地图，可以为车辆进行导航、避障等操作。

可见，在图4所描述的方法中，可以通过视觉SLAM方法构建出场地地图，还可以识别出车辆周边的目标对象；然后可以将目标对象与地图中的关键帧进行绑定，由于构建地图时关键帧还可以绑定有车辆位姿，若在对地图包括的车辆位姿进行优化时，保持车辆位姿与目标对象之间的相对关系不变，则可以在优化车辆位姿的同时一并对目标对象的地图位姿进行优化，使得目标对象在地图上的位姿更加准确，提高构建出的地图的准确性，使得地图可以满足自动驾驶的需求。进一步地，在对关键帧和目标对象进行绑定时，可以先在时间或者空间上对关键帧和目标对象进行数据对齐，对齐后再执行绑定的操作，可以减少后续优化时的计算量。

实施例二

请参阅图9，图9是本发明实施例公开的又一种地图构建方法的流程示意图。如图9所示，该方法可以包括：

901、获取车辆在移动时构建的地图。

在本发明实施例中，地图的构建方法可以如图2所示，以下内容不再赘述。构建出的地图可以为位姿图。

902、获取车辆在移动时识别到的目标对象的物体特征。

在本发明实施例中，物体特征可以包括目标对象的地图位姿以及物体类别。可选的，步骤902的实施方式可以包括：

获取车辆在移动时采集到的传感器数据；传感器数据包括图像数据、超声波数据、毫米波数据中的至少一种；

根据传感器数据识别目标对象，并识别目标对象在车身坐标系下的相对位姿以及目标对象所属的物体类别；

根据地图的地图坐标系与车身坐标系之间的转换关系，将上述的相对位姿转换至地图坐标系下进行标识，得到目标对象在地图上的地图位姿。

903、对关键帧以及目标对象进行绑定。

在本发明实施例中，可以对关键帧和目标对象进行时间或者空间上的数据对齐，然后将关键帧和与关键帧在时间或者空间上对应的目标对象进行绑定。步骤903的实施方式可以如实施例一中步骤403的实施方式所示，以下内容不再赘述。通过绑定在时间或者空间上与关键帧最邻近的目标对象和关键帧，可以减少后续优化时的计算量。

904、对地图包括的车辆位姿进行优化，使得目标对象的地图位姿随着车辆位姿的优化而得到调整；其中，在对车辆位姿进行优化时，与同一关键帧绑定的车辆位姿和目标对象的地图位姿之间的相对关系保持不变。

905、对车辆的车载摄像装置拍摄到的当前图像帧和地图包括的关键帧进行图像匹配。

在本发明实施例中，当前图像帧可以是车辆在进行定位或者重定位时拍摄到的图像。

906、根据与第一关键帧绑定的车辆位姿以及与第一关键帧绑定的目标对象的物体特征，为车辆进行导航和/或避障。

在本发明实施例中，第一关键帧为与当前图像帧匹配的关键帧。可以理解，若地图包括的关键帧中存在第一关键帧与当前图像帧匹配，则第一关键帧绑定的车辆位姿可以作为与当前图像帧对应的车辆位姿，从而确定出车辆的当前位姿，完成车辆的定位或重定位。进一步的，由于第一关键帧绑定了目标对象，可以根据目标对象的物体特征对车辆进行导航和/或避障。作为一种可选的实施方式，若物体特征包括目标对象的地图位姿，则可以根据目标对象的地图位姿对车辆进行避障操作，以免车辆与目标对象发生碰撞；若物体特征还包括目标对象所属的物体类别，则可以根据目标对象的地图位姿和物体类对车辆进行导航操作，以使车辆可以自动驾驶至设置的目的地。

示例性的，车辆可以从地图包括的关键帧中确定出与当前图像帧匹配的第一关键帧，从而定位出车辆的当前位姿为与第一关键帧绑定的车辆位姿P_{v_1}。同时，由于第一关键帧还绑定了一目标对象A，该目标对象A的物体特征包括地图位姿。通过该目标对象A的物体特征，可以识别出该目标对象A的地图位姿为P_{o_1}，则车辆可以根据车辆位姿P_{v_1}、目标对象A的地图位姿P_{o_1}以及车辆当前的行驶路径执行针对该目标对象A的避障操作，以免车辆与该障碍物发生碰撞。可见，当目标对象的物体特征包括地图位姿时，车辆可以有效地执行避障操作。此外，当目标对象的物体特征包括地图位姿时，车辆也可以有效地确定出导航时的行驶规划，使得车辆在按照该行驶规划自动驾驶时，可以避免与周边的目标对象发生碰撞。

示例性的，上述的第一关键帧还可以绑定有另一目标对象B，目标对象B物体特征还可以包括地图位姿和物体类别。过该目标对象B的物体特征，可以识别出该目标对象B的地图位姿为P_{o_2}，该目标对象B的物体类别为限速60公里/小时的限速指示牌，则车辆可以根据车辆位姿P_{v_1}、目标对象B的地图位姿P_{o_2}和目标对象B的物体类别确定出导航时的行驶规划。车辆可在按照上述的行驶规划进行自动驾驶时，可以避开目标对象B，不与目标对象B发生碰撞；还可以将车速控制在限速指示牌指示的速度(60公里/小时)以下。可见，若目标对象的物体特征还包括物体类别，则可以使得构建出的地图包含更多的语义信息，使得车辆可以使用地图进行较高级别的自动驾驶。907、根据第二关键帧和第三关键帧之间的图像相似度、与第二关键帧绑定的目标对象的物体特征以及与第三关键帧绑定的目标对象的物体特征进行地图的回环检测。

在本发明实施例中，第二关键帧和第三关键帧可以为位姿图包括的任意两个关键帧。可以理解的是，视觉SLAM方法的回环检测一般通过计算任意两个关键帧之间图像相似度来实现。示例性的，一般可以通过特征点匹配、图像灰度匹配、词袋模型等方式进行计算。然而，图像相似度受到光照、拍摄角度等因素的影响较大，利用图像相似度进行回环检测存在一定的局限性。因此，在本发明实施例中，除了考虑图像相似度，还可以进一步加入与关键帧绑定的目标对象的物体特征进行回环检测。

作为一种可选的实施方式，若第二关键帧和第三关键帧之间的图像相似度大于预设相似度阈值并且根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互匹配，则可以判定第二关键帧与第三关键帧之间存在回环；或者，

若第二关键帧和第三关键帧之间的图像相似度大于预设相似度阈值，但根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互不匹配，则可以判定第二关键帧与第三关键帧之间不存在回环；或者，

若第二关键帧和第三关键帧之间的图像相似度小于预设相似度阈值，但根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互匹配，则可以判定第二关键帧与第三关键帧之间存在回环；或者，

若第二关键帧和第三关键帧之间的图像相似度小于预设相似度阈值，并且根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互不匹配，则可以判定第二关键帧与第三关键帧之间不存在回环。

示例性的，若根据图像相似度计算，确定第二关键帧与第三关键帧不相似(即图像相似度小于预设相似度阈值)，但与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象均为车位，并且与第二关键帧绑定的车位的地图位姿和与第三关键帧绑定的车位的地图位姿相同，则可以判定第二关键帧和第三关键帧之间存在回环。在该示例中，可能由于光照或者拍摄角度的因素导致第二关键帧与第三关键帧不相似，但实际上存在车辆在同一位置上拍摄到第二关键帧和第三关键帧的可能性。通过对与关键帧绑定的目标对象进行进一步验证，可以在光照或者拍摄角度等因素的干扰下正确地识别出回环，从而可以提高回环检测的准确率。

若根据图像相似度计算，确定第二关键帧与第三关键帧相似(即图像相似度大于预设相似度阈值)，但与第二关键帧绑定的车位的地图位姿和与第三关键帧的车位的地图位姿不匹配，或者与第二关键帧绑定的目标对象为车位，与第三关键帧绑定的目标对象为柱子，则可以判定第二关键帧与第三关键帧之间不存在回环。在该示例中，图像相似度计算可能存在一定的局限性。例如，当采用图像灰度匹配的方式计算的图像相似度时，一般通过两幅图像灰度值的概率分布判断图像是否相似，可能会忽略像素的具体分布位置，从而导致两幅在实际上完全不同的图像由于灰度值的概率分布类似而被错误地判定为相似。因此，在该实例中，当通过图像相似度判断出第二关键帧和第三关键帧相似时，还可以进一步通过与关键帧绑定的目标对象进行验证。若第二关键帧和第三关键帧是车辆在同一位置上拍摄到的，则分别与第二关键帧和第三关键帧绑定的目标对象在地图位姿和/或物体类别上是匹配的。

可见，实施步骤906-步骤907，可以提高回环检测的准确率，从而可以进一步提高构建出的地图的精度。

综上所述，在图9所描述的方法中，通过对关键帧和目标对象进行绑定，可以在优化与关键帧绑定的车辆位姿时可以一并对目标对象的地图位姿进行优化，从而可以使得目标对象在地图上的位姿更加准确，提高构建出的地图的准确性，使得地图可以满足自动驾驶的需求。利用构建出的地图，车辆可以更方便、准确地进行导航和/或避障的操作。进一步地，还可以根据图像相似度和与关键帧绑定的目标对象进行回环检测，可以提高回环检测的准确率，从而进一步提高构建出的地图的精度。

实施例三

请参阅图10，图10是本发明实施例公开的另一种地图构建系统的结构示意图。如图10所示，该地图构建系统可以包括：

第一获取单元1001，用于获取车辆在移动时构建的地图；地图包括关键帧以及与关键帧绑定的车辆位姿，与关键帧绑定的车辆位姿是根据关键帧确定的。作为一种可选的实施方式，上述地图可以是通过如图2所示的视觉SLAM方法构建出的。更进一步可选的，构建出的地图可以为位姿图。

第二获取单元1002，用于获取车辆在移动时识别到的目标对象的物体特征；物体特征包括：目标对象在地图上的地图位姿和/或物体类别。

作为一种可选的实施方式，第二获取单元1002，具体可以用于当物体特征包括目标对象在地图上的地图位姿时，根据传感器数据识别目标对象在车辆的车身坐标系下的相对位姿；根据地图的地图坐标系与车身坐标系之间的转换关系，将上述的相对位姿转换至地图坐标系下进行标识，得到目标对象在地图上的地图位姿；或者，

具体可以用于当物体特征包括目标对象的物体类别时，通过特征提取或者深度学习的方式从传感器数据中识别出目标对象的物体类别；

其中，传感器数据可以包括但不限于：车载摄像装置采集到的图像数据、超声波雷达采集到的超声波数据或者毫米波雷达采集到的毫米波数据中的一种或者多种。

绑定单元1003，用于对关键帧和目标对象进行绑定。

作为一种可选的实施方式，绑定单元1003，具体可以用于对关键帧和目标对象在时间上进行数据对齐；对当前关键帧以及在时间上与当前关键帧对应的目标对象进行绑定；或者，

具体可以用于对关键帧和目标对象在空间上进行数据对齐；对当前关键帧以及在空间上与当前关键帧对应的目标对象进行绑定；

其中，当前关键帧可以为地图包括的任意一个关键帧；在时间上与当前关键帧对应的目标对象的时间戳与当前关键帧的时间戳之差小于预设时间阈值；目标对象的时间戳是目标对象被识别到时记录的；在空间上与当前关键帧对应的目标对象的地图位姿与当前关键帧绑定的车辆位姿之间的距离小于预设距离阈值。

优化单元1004，用于对地图包括的车辆位姿进行优化，使得目标对象的地图位姿随着车辆位姿的优化而得到调整；其中，在对车辆位姿进行优化时，与同一关键帧绑定的车辆位姿和目标对象的地图位姿之间的相对关系保持不变。在对车辆位姿进行优化时，可以通过BA优化或者位姿图优化的方式进行，本发明实施例不作限定。

作为一种可选的实施方式，在图10所示的地图构建系统中，还可以进一步包括：

驾驶规划单元1005，用于对车载摄像装置拍摄到的当前图像帧和地图包括的关键帧进行图像匹配；以及，根据与第一关键帧绑定的车辆位姿以及与第一关键帧绑定的目标对象的物体特征，为车辆进行导航和/或避障。其中，第一关键帧为与当前图像帧匹配的关键帧。

在本发明实施例中，由于目标对象的地图位姿可以随着车辆位姿的优化而优化，目标对象在地图上的位姿更加准确，并且地图上还可以包含有目标对象所属的物体类别。利用该地图，可以更加方便、准确地进行车辆的导航和/或避障操作。

作为另一种可选的实施方式，在图10所示的地图构建系统中，上述的优化单元1004，还可以用于根据第二关键帧和第三关键帧之间的图像相似度、与第二关键帧绑定的目标对象的物体特征以及与第三关键帧绑定的目标对象的物体特征进行地图的回环检测。其中，第二关键帧和第三关键帧可以为位姿图包括的任意两个关键帧。

可选的，优化单元1004，用于根据第二关键帧和第三关键帧之间的图像相似度、与第二关键帧绑定的目标对象的物体特征以及与第三关键帧绑定的目标对象的物体特征进行地图的回环检测的实施方式可以包括：

优化单元100，可以用于在第二关键帧和第三关键帧之间的图像相似度大于预设相似度阈值并且根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互匹配时，判定第二关键帧与第三关键帧之间存在回环；或者，

在第二关键帧和第三关键帧之间的图像相似度大于预设相似度阈值，但根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互不匹配时，判定第二关键帧与第三关键帧之间不存在回环；或者，

在第二关键帧和第三关键帧之间的图像相似度小于预设相似度阈值，但根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互匹配时，判定第二关键帧与第三关键帧之间存在回环；或者，

在第二关键帧和第三关键帧之间的图像相似度小于预设相似度阈值，并且根据物体特征判断出与第二关键帧绑定的目标对象和与第三关键帧绑定的目标对象相互不匹配时，判定第二关键帧与第三关键帧之间不存在回环。

实施该实施方式，可以提高回环检测的准确率，从而可以进一步提高构建出的地图的精度。

可见，实施如图10所示的地图构建系统，可以通过视觉SLAM方法构建出场地地图，还可以识别出车辆周边的目标对象；然后可以将目标对象与地图中的关键帧进行绑定，从而可以在优化与关键帧绑定的车辆位姿时可以一并对目标对象的地图位姿进行优化，使得目标对象在地图上的位姿更加准确，提高构建出的地图的准确性，使得地图可以满足自动驾驶的需求。进一步地，在对关键帧和目标对象进行绑定时，可以先在时间或者空间上对关键帧和目标对象进行数据对齐，对齐后再执行绑定的操作，可以减少后续优化时的计算量。更进一步地，由于构建出的地图上目标对象的位姿更加准确，同时还进一步包括了目标对象的物体类别，可以利用该地图更方便、准确地进行导航和/或避障的操作。此外，还可以根据图像相似度和与关键帧绑定的目标对象进行回环检测，可以提高回环检测的准确率，从而进一步提高构建出的地图的精度。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图4或图9所示的任一种地图构建方法。

本发明实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行图4或图9所示的任一种地图构建方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种地图构建方法及系统、车辆及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种地图构建方法，其特征在于，所述方法包括：

获取车辆在移动时构建的地图；所述地图包括关键帧以及与所述关键帧绑定的车辆位姿，与所述关键帧绑定的车辆位姿是根据所述关键帧确定的；

获取所述车辆在所述移动时识别到的目标对象的物体特征；所述物体特征包括：所述目标对象在所述地图上的地图位姿；

对所述关键帧和所述目标对象进行绑定；

对所述地图包括的所述车辆位姿进行优化，使得所述目标对象的所述地图位姿随着所述车辆位姿的优化而得到调整；其中，在对所述车辆位姿进行优化时，与同一所述关键帧绑定的所述车辆位姿和所述目标对象的所述地图位姿之间的相对关系保持不变。

2.根据权利要求1所述的方法，其特征在于，所述对所述关键帧以及所述目标对象的物体特征进行绑定，包括：

对所述关键帧和所述目标对象在时间上进行数据对齐；

对当前关键帧以及在时间上与所述当前关键帧对应的所述目标对象进行绑定；

其中，所述当前关键帧为所述地图包括的任意一个关键帧；在时间上与所述当前关键帧对应的所述目标对象的时间戳与所述当前关键帧的时间戳之差小于预设时间阈值；所述目标对象的时间戳是所述目标对象被识别到时记录的。

3.根据权利要求1所述的方法，其特征在于，所述对所述关键帧以及所述目标对象的物体特征进行绑定，包括：

对所述关键帧和所述目标对象在空间上进行数据对齐；

对当前关键帧以及在空间上与所述当前关键帧对应的所述目标对象进行绑定；

其中，所述当前关键帧为所述地图包括的任意一个关键帧；在空间上与所述当前关键帧对应的目标对象的地图位姿与所述当前关键帧绑定的车辆位姿之间的距离小于预设距离阈值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

对所述车辆的车载摄像装置拍摄到的当前图像帧和所述地图包括的所述关键帧进行图像匹配；

根据与第一关键帧绑定的所述车辆位姿以及与所述第一关键帧绑定的所述目标对象的物体特征，为所述车辆进行导航和/或避障；所述第一关键帧为与所述当前图像帧匹配的所述关键帧。

5.根据权利要求4所述的方法，其特征在于，所述物体特征还包括：所述目标对象的物体类别。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据第二关键帧和第三关键帧之间的图像相似度、与所述第二关键帧绑定的所述目标对象的物体特征以及与所述第三关键帧绑定的所述目标对象的物体特征进行所述地图的回环检测；

所述第二关键帧和所述第三关键帧为所述地图包括的任意两个关键帧。

7.根据权利要求1或5所述的方法，其特征在于，所述获取所述车辆在所述移动时识别到的目标对象的物体特征，包括：

获取所述车辆在所述移动时采集到的传感器数据；所述传感器数据包括图像数据、超声波数据、毫米波数据中的至少一种；

根据所述传感器数据识别所述目标对象的物体特征。

8.一种地图构建系统，其特征在于，包括：

第一获取单元，用于获取车辆在移动时构建的地图；所述地图包括关键帧以及与所述关键帧绑定的车辆位姿，与所述关键帧绑定的车辆位姿是根据所述关键帧确定的；

第二获取单元，用于获取所述车辆在所述移动时识别到的目标对象的物体特征；所述物体特征包括：所述目标对象在所述地图上的地图位姿；

绑定单元，用于对所述关键帧和所述目标对象进行绑定；

优化单元，用于对所述地图包括的所述车辆位姿进行优化，以对所述目标对象的所述地图位姿进行优化；其中，在对所述车辆位姿进行优化时，与同一所述关键帧绑定的所述车辆位姿和所述目标对象的所述地图位姿之间的相对关系保持不变。

9.一种车辆，其特征在于，包括：如权利要求8所述的地图构建系统。

10.一种计算机可读存储介质，其存储计算机程序，其特征在于：所述计算机程序使得计算机执行如权利要求1-7任一项所述的地图构建方法。

Images