CN114972494A - 一种记忆泊车场景的地图构建方法及装置 - Google Patents

Abstract

本发明实施例公开一种记忆泊车场景的地图构建方法及装置，该方法包括：获得辅助车辆在当前时刻针对所处目标场景采集的当前辅助图像；对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；基于当前辅助图像，确定当前柱面图像；利用当前柱面图像轮速信息，确定辅助车辆在当前时刻的当前位姿信息；若当前柱面图像满足第一关键帧条件，利用当前柱面图像，构建目标场景对应的特征点地图；并若当前分割图像满足第二关键帧条件，基于当前分割图像，构建目标场景对应的语义地图，以通过目标场景对应的特征点地图和语义地图支持目标场景车辆的自动泊车，以实现降低记忆泊车场景的成本且提高算法普遍性。

Description

一种记忆泊车场景的地图构建方法及装置

技术领域

本发明涉及自动驾驶技术领域，具体而言，涉及一种记忆泊车场景的地图构建方法及装置。

背景技术

记忆泊车是自动化程度介于自动泊车辅助(APA，Automatic Parking Assistant)和完全自主代客泊车(AVP，Automatic Valet Parking)之间的一种自动驾驶泊车场景。记忆泊车应用过程分为学习和巡航两个阶段：在学习阶段，由人类驾驶员驾驶车辆，在地库中开启学习功能后开始正常的行驶、选择车位及驶出等过程，记忆泊车算法将计算并记录在上述过程中的车辆行驶轨迹，并基于在上述过程中车辆的传感器所采集数据进行地库地图构建；在巡航阶段，设置记忆泊车算法的车辆在开启巡航功能后无需人工介入，该车辆在地库中行驶过程中，基于该地库对应的已构建地图中进行自主定位，进而实现自动泊入到车位或泊出至取车点等功能。相应的，在巡航阶段车辆自主定位结果的准确对泊车过程的安全性至关重要。

为了保证后续车辆泊车的安全性，相关技术在构建地库地图之前，需要对地库进行改造，在地库中增加设置二维码标示、激光雷达设备以及无线识别设备等，在构建地库地图过程中，车辆针对二维码标示采集图像，并构建包含二维码标示的地库地图，利用二维码标示、激光雷达设备以及无线识别设备等设备辅助车辆获得准确的外部环境信息及本车位置信息，进而构建相应准确的地库地图，保证后续的车辆在地库中的自动泊车。

上述过程中，需要在地库中额外设置二维码标示、激光雷达设备以及无线识别设备等设备，进而构建包含二维码标示的地图，成本较高，且局限性较大。

发明内容

本发明提供了一种记忆泊车场景的地图构建方法及装置，以实现降低记忆泊车场景的成本且提高算法普遍性。具体的技术方案如下：

第一方面，本发明实施例提供了一种记忆泊车场景的地图构建方法，所述方法包括：

获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；基于所述当前辅助图像，确定当前柱面图像；利用所述当前柱面图像以及所述当前辅助图像对应的轮速信息，确定所述辅助车辆在当前时刻的当前位姿信息；若所述当前柱面图像满足第一关键帧条件，利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图，其中，所述第一特征点为当前不对应地图点的特征点；若所述当前分割图像满足第二关键帧条件，基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图，以通过所述目标场景对应的特征点地图和语义地图支持所述目标场景车辆的自动泊车。

第二方面，本发明实施例提供了一种记忆泊车场景的地图构建装置，所述装置包括：

第一获得模块，被配置为获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；第一分割模块，被配置为对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；第一确定模块，被配置为基于所述当前辅助图像，确定当前柱面图像；第一位姿确定模块，被配置为利用所述当前柱面图像以及所述当前辅助图像对应的轮速信息，确定所述辅助车辆在当前时刻的当前位姿信息；特征点建图模块，被配置为若所述当前柱面图像满足第一关键帧条件，利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图，其中，所述第一特征点为当前不对应地图点的特征点；语义建图模块，被配置为若所述当前分割图像满足第二关键帧条件，基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图，以通过所述目标场景对应的特征点地图和语义地图支持所述目标场景车辆的自动泊车。

由上述内容可知，本发明实施例提供的一种记忆泊车场景的地图构建方法及装置，获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；基于当前辅助图像，确定当前柱面图像；利用当前柱面图像以及所述当前辅助图像对应的轮速信息，确定辅助车辆在当前时刻的当前位姿信息；若当前柱面图像满足第一关键帧条件，利用当前位姿信息、当前柱面图像以及当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建目标场景对应的特征点地图，其中，第一特征点为当前不对应地图点的特征点；若当前分割图像满足第二关键帧条件，基于当前分割图像、当前位姿信息、当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的辅助车辆的车体位姿信息，构建目标场景对应的语义地图，以通过目标场景对应的特征点地图和语义地图支持目标场景车辆的自动泊车。

应用本发明实施例，可以基于当前辅助图像对应的当前柱面图像构建目标场景对应的特征点地图，以得到准确性更高的特征点地图，同时基于当前辅助图像对应的当前分割图像构建目标场景对应的语义地图，后续的利用特征点地图及语义地图共同作为处于目标场景的车辆的泊车定位，无需额外增设其他辅助设备辅助车辆定位，以实现降低记忆泊车场景的成本且提高算法普遍性，具有良好的可复制性和可扩展性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以基于当前辅助图像对应的当前柱面图像构建目标场景对应的特征点地图，以得到准确性更高的特征点地图，同时基于当前辅助图像对应的当前分割图像构建目标场景对应的语义地图，后续的利用特征点地图及语义地图共同作为处于目标场景的车辆的泊车定位，无需额外增设其他辅助设备辅助车辆定位，以实现降低记忆泊车场景的成本且提高算法普遍性，具有良好的可复制性和可扩展性。

2、当前位姿信息基于柱面图像以及轮速信息确定，以确定出较准确的当前位姿信息保证后续的地图的准确建立。

3、特征点地图基于作为特征关键帧的柱面图像构建，后续的，为了保证所建立的特征点地图准确，进而保证后续的车辆实际定位的准确，在构建出特征点地图之后，利用作为非特征关键图像的柱面图像对特征点地图进行验证，以确定特征点地图对应的验证结果，对特征点地图的可用性进行定量的评估。

4、在柱面图像对应的辅助车辆的位姿信息与最新作为特征关键图像的柱面图像对应的辅助车辆的位姿信息之间的差异值满足预设差异条件下，确定为新的特征关键图像，进行地图构建。基于当前分割图像对应的辅助车辆的位姿信息与最新作为语义关键图像的分割图像对应辅助车辆的位姿信息，所确定的辅助车辆的位姿增量满足平面假设条件，即表征辅助车辆处于平面内，且位置变化以及航向角变化较大；或者表征辅助车辆不处于平面内，但位置变化以及航向角变化大，则则确定当前分割图像为新的语义关键图像，构建地图，以在一定程度上降低设备运算负担。

5、提供具体的目标场景对应的特征点地图的构建方式，以得到准确性高的特征点地图。

6、利用已构建出的地图点投影出当前柱面图像中的特征点，并且在未投影得到特征点的局部区域，利用不同的提取阈值提取特征点，以保证用于构建特征点地图的特征点的数量，以得到准确性高的特征点地图。

7、提供具体的目标场景对应的语义地图的构建方式，，以得到准确性高的语义地图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的记忆泊车场景的地图构建方法的一种流程示意图；

图2为本发明实施例所提供的针对特征点地图的验证流程的一种示意图；

图3为本发明实施例所提供的图2中S203的具体实现方式的一种示意图；

图4A为本发明实施例提供的特征点地图构建流程示意图；

图4B为本发明实施例提供的语义地图构建流程示意图；

图5为本发明实施例提供的记忆泊车场景的地图构建装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种记忆泊车场景的地图构建方法及装置，以实现降低记忆泊车场景的成本且提高算法普遍性。下面对本发明实施例进行详细说明。图1为本发明实施例提供的记忆泊车场景的地图构建方法的一种流程示意图。该方法可以包括如下步骤：

S101：获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像。

本发明实施例所提供的方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。

一种情况中，电子设备可以为车载设备也可以为非车载设备。

在记忆泊车场景中，需要保证车辆后续的巡航阶段的定位结果的准确性，可以首先针对车辆所需巡航的目标场景构建地图，后续的，车辆基于针对目标场景所构建的地图，实现准确定位。相应的，在需要针对目标场景进行地图构建的情况下，可以利用在目标场景中行驶的车辆所设置的图像采集设备针对目标场景采集图像，其中，在目标场景中辅助采集图像以构建地图的车辆称为辅助车辆。该目标场景可以是任一可以供车辆泊车，且需要构建地图的场景，例如为地库。

辅助车辆在目标场景行驶过程中，可以通过其设置的图像采集设备实时或周期性的针对目标场景采集图像，并发送至电子设备。电子设备获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像。在一种情况中，该当前时刻可以指辅助车辆采集到的最新的图像的时刻。

其中，为了保证针对目标场景所构建地图的准确性，辅助车辆可以设置有的针对车辆前方路面采集图像的图像采集设备，针对车辆后方路面采集图像的图像采集设备，针对车辆左侧路面采集图像的图像采集设备，以及针对车辆右侧路面采集图像的图像采集设备，以实现对辅助车辆所处位置的四周环境的图像采集。一种情况中，图像采集设备为鱼眼图像。

该辅助车辆还可以设置有其他传感器设备，例如轮速传感器，该轮速传感器可以实时或周期性的采集辅助车辆的轮速信息，以辅助辅助车辆的定位。

S102：对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像。

电子设备获得当前辅助图像之后可以利用各图像采集设备之间的位姿关系，对各当前辅助图像进行拼接，得到拼接后的当前辅助图像；并利用预设语义分割模型，对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像。该语义分割模型可以为基于深度学习算法，利用包含道路标识目标的图像及其对应的标定信息训练所得的模型，道路标识目标包括但不限于：车道线，停车位，交通指示箭头等等交通标识目标。

其中，拼接当前辅助图像的过程为：以俯视地面的角度拼接当前辅助图像，得到拼接后的当前辅助图像。拼接后的当前辅助图像所在平面，与辅助车辆的车体坐标系的横纵坐标轴所在平面重合。相应的，记录拼接后的当前辅助图像中像素点与辅助车辆的车体坐标系的点之间的转换关系，即当前分割图像中像素点与辅助车辆的车体坐标系的点之间的转换关系。其中，当前辅助图像对应的图像中心点与辅助车辆的车体坐标系的原点重合。具体的，可以是当前辅助图像中像素点(u，v)与辅助车辆的车体坐标系的点 A*(u-W/2，v-H/2，0)对应，其中，A为辅助车辆的车体坐标系一个坐标单位与当前辅助图像的一个像素单位之间的放缩系数，W表示当前辅助图像的宽，H表示当前辅助图像的高。相应的，

在一种情况中，当前分割图像为尺寸与拼接后的当前辅助图像尺寸相同的图像，其中所分割出的表征道路标识目标的像素点的像素值为第一像素值，如1，其余位置的像素点的像素值为第二像素值如0，第一像素值不等于第二像素值。

S103：基于当前辅助图像，确定当前柱面图像。

为了提高后续所构建地图的准确性，电子设备可以首先将每一当前辅助图像转换为当前柱面图像，进而基于当前柱面图像构建地图。

在本发明的一种实现方式中，当前辅助图像为辅助车辆所设置的图像采集设备所采集的图像；所述S103可以包括如下步骤：

011：针对每一当前辅助图像，将该当前辅助图像对应的预设柱面图像中的每一柱面像素点，从其所在柱面图像坐标系下反投影至该当前辅助图像对应的图像采集设备的设备坐标系下，确定每一柱面像素点的空间位置信息。

012：针对每一当前辅助图像，基于该当前辅助图像对应的预设柱面图像中的每一柱面像素点的空间位置信息，确定每一柱面像素点在该当前辅助图像所在图像坐标系下的投影位置信息。

013：针对每一当前辅助图像，利用该当前辅助图像中每一柱面像素点的投影位置信息的预设领域内像素点的像素值，确定每一柱面像素点的投影位置信息对应的像素值，以确定当前辅助图像对应的当前柱面图像。

本实现方式中，可以预先针对辅助车辆所设置的每一图像采集设备定义一个成像曲面为柱面的虚拟柱面相机，其水平视野角度为180度，所对应采集的图像的长宽以及半径为预设的固定值，虚拟柱面相机的相机坐标系原点与所对应图像采集设备的设备坐标系原点重合，虚拟柱面相机的相机坐标系的竖轴与地面平行。相应的，记录图像采集设备与其对应的虚拟柱面相机之间的位姿转换关系。

对于每一虚拟柱面相机，定义其归一化成像平面为该虚拟柱面相机的相机坐标系上竖轴坐标值为预设坐标值，且与该虚拟柱面相机的相机坐标系的横轴与纵轴所在平面平行的平面。相应的，记录每一虚拟柱面相机成像曲面上的点和与其对应的归一化成像平面上的点之间的转换关系，作为第一转换关系，且记录每一辅助图像上的点与其对应归一化成像平面上的点之间的转换关系，作为第二转换关系。其中，辅助图像与辅助车辆的图像采集设备存在对应关系，辅助车辆的图像采集设备与虚拟柱面相机存在对应关系，虚拟柱面相机与归一化成像平面存在对应关系，相应的辅助图像与归一化成像平面存在对应关系。一种情况，上述预设坐标值可以为1。

电子设备获得当前辅助图像之后，针对每一当前辅助图像，将该当前辅助图像对应的图像采集设备所对应的虚拟柱面相机对应的预设柱面图像，即该当前辅助图像对应的预设柱面图像中的每一柱面像素点P，利用所对应第一转换关系，将每一柱面像素点P 从其所在柱面图像坐标系下，反投影至所对应虚拟柱面相机的归一化成像平面上，得到每一柱面像素点P对应的第一反投影位置信息。利用每一柱面像素点P对应的第一反投影位置信息以及所对应第二转换关系，确定每一柱面像素点P在其所对应图像采集设备的设备坐标系下的空间位置信息，该当前辅助图像所对应的预设柱面图像中的每一柱面像素点P的空间位置信息。

进而针对每一当前辅助图像，基于该当前辅助图像对应的预设柱面图像中的每一柱面像素点P的空间位置信息，以及该当前辅助图像所对应图像采集设备的内参矩阵，确定每一柱面像素点P在该当前辅助图像所在图像坐标系下的投影位置信息。

针对每一当前辅助图像，利用该当前辅助图像中每一柱面像素点P的投影位置信息的预设领域内像素点的像素值，采用双线性差值的方式，得到柱面像素点P的投影位置信息对应的像素值，将该柱面像素点P的投影位置信息对应的像素值确定为该当前辅助图像对应的柱面图像中该柱面像素点P的像素值，其得到当前辅助图像对应的当前柱面图像。其中，当前柱面图像的图像数量与当前辅助图像的图像数量相同。

S104：利用当前柱面图像以及当前辅助图像对应的轮速信息，确定辅助车辆在当前时刻的当前位姿信息。

其中，该当前辅助图像对应的轮速信息包括：当前时刻与当前辅助图像的前一图像对应的采集时刻即前一时刻之间，辅助车辆的轮速传感器所采集的信息。

本步骤中，电子设备获得当前柱面图像之后，对各当前柱面图像进行特征点提取，得到各当前柱面图像中的图像特征点，并基于各当前柱面图像中的图像特征点的位置信息以及各当前柱面图像的前一柱面图像中图像特征点的位置信息，确定特征点跟踪结果；并根据特征点跟踪结果，确定重新获取辅助车辆在当前时刻的位姿初始值或继续对辅助车辆的位姿进行跟踪。其中，在基于各当前柱面图像中的图像特征点，与各当前柱面图像的前一柱面图像中图像特征点中的任一对匹配的特征点，确定其对应的运动距离大于预设运动阈值时，表征辅助车辆行进速度较快，相应的，为了确保辅助车辆的定位准确性，确定重新获取辅助车辆在当前时刻的位姿初始值，否则继续对辅助车辆的位姿进行跟踪。

其中，上述各当前柱面图像中的图像特征点，与各当前柱面图像的前一柱面图像中图像特征点中的任一对匹配的特征点为：对应同一实际物理空间点的特征点。

可以针对各当前柱面图像，选取其中的图像特征点，例如，可以采用均匀选取特征点的方式，选取该当前柱面图像中的图像特征点。之后，可以利用所选取的各图像特征点以及其前一柱面图像中的该所选取的各图像特征点所匹配的图像特征点，对各图像特征点进行三角化，得到该当前柱面图像对应的车体位姿估计值，也即各图像采集设备对应的车体位姿估计值；并对各当前柱面图像对应的车体位姿估计值，求平均得到车体位姿初值。并且，可以通过最小化重投影误差进行相机之间联合优化，得到优化后的三维点坐标和车体位姿信息即辅助车辆在当前时刻的当前位姿信息。其中，三维点的坐标指的是：各当前柱面图像与其前一柱面图像中各匹配的图像特征点对应的实际物理空间点的坐标。

其中，上述重投影误差为：

其中，

是第c个图像采集设备所观测到的第i个三维点的坐标信息，

为对应的特征点在图像上的坐标信息，

为图像采集设备的外参，

为辅助车辆的第j个时刻的车体位姿信息。

其中，图像采集设备的外参，也即图像采集设备相对于辅助车辆的车体坐标系的参数，可以预先标定得到，在辅助车辆行驶过程中，图像采集设备与辅助车辆之间的相对位置关系不变。

上述优化过程中，图像采集设备的外参和图像特征点在图像上的坐标信息为已知数，当重投影误差值最小时的三维点坐标信息和车体位姿信息，即为优化后的三维点坐标和当前位姿信息。其中，三维点坐标为在世界坐标系下的坐标。

当确定继续对辅助车辆的位姿进行跟踪时，可以根据辅助车辆在前一时刻的前一位姿和当前辅助图像对应的轮速信息，得到在当前时刻辅助车辆的车体位姿初值。例如，可以根据当前辅助图像对应的轮速信息，计算得到辅助车辆在单位时间内行进位移，然后将辅助车辆的前一位姿和计算得到的行进位移相加，得到车体位姿初值。

得到车体位姿初值后，可以将车体位姿初值和预先标定得到的图像采集设备外参求乘积得到每个图像采集设备的图像采集设备的位姿初值。

例如，可以通过以下公式计算得到相机位姿初始：

其中

为世界坐标系到图像采集设备的设备坐标系之间的变换矩阵，

为辅助车辆的车体坐标系到图像采集设备的设备坐标系之间的变换矩阵，即标定的图像采集设备外参，

为世界坐标系到辅助车辆的车体坐标系之间的变换矩阵，即估计的车体位姿初值。

得到图像采集设备的位姿初值后，可以将各图像采集设备的三维点通过图像采集设备的位姿初值投影到对应的当前柱面图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息，即辅助车辆在当前时刻的当前位姿信息。

其中，重投影误差与前述相同，也为：

上述优化过程中，三维点坐标信息(图像采集设备的位姿初值)、图像采集设备的外参和图像特征点在图像上的坐标信息(匹配点)为已知数，当重投影误差值最小时的车体位姿信息，即为优化后的车体位姿信息，即辅助车辆在当前时刻的当前位姿信息。

S105：若当前柱面图像满足第一关键帧条件，利用当前位姿信息、当前柱面图像以及当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建目标场景对应的特征点地图。

其中，第一特征点为当前不对应地图点的特征点。

本步骤中，电子设备首先判断当前柱面图像是否满足第一关键帧条件，在确定当前柱面图像满足第一关键帧图像的情况下，利用当前位姿信息、当前柱面图像以及当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建目标场景对应的特征点地图。

其中，第一关键帧条件包括：所对应辅助车辆的位姿信息，与最新作为特征关键图像的柱面图像对应的辅助车辆的位姿信息之间的差异值满足预设差异条件。

电子设备可以首先基于当前位姿信息，以及最新作为特征关键点的柱面图像对应的辅助车辆的位姿信息，确定辅助车辆在当前时刻的位姿，相对于最新作为特征关键点的柱面图像对应时刻的位姿的变化量，即两时刻之间辅助车辆的位姿的差异值，进而判断该差异值是否满足差异条件，在满足预设差异条件的情况下，确定当前柱面图像满足第一关键帧条件。

该作为特征关键图像的柱面图像包括：该辅助车辆在目标场景内行驶过程中，针对目标场景所采集的首组辅助图像对应的柱面图像；以及在该当前时刻之前该辅助车辆在目标场景内行驶过程中所采集的辅助图像对应的，满足该第一关键帧条件的柱面图像。

该预设差异条件可以包括但不限于：柱面图像对应的辅助车辆的位姿信息与该柱面图像对应的最新作为特征关键图像对应的辅助车辆的位姿信息之间的位姿差异超过预设阈值。

在一种实现中，若当前柱面图像为本次记忆泊车场景的地图构建流程启动后，电子设备所获得的首组柱面图像，即为该辅助车辆在目标场景内行驶过程中，针对目标场景所采集的首组辅助图像对应的柱面图像，则当前柱面图像直接作为特征关键图像。相应的，当前柱面图像中不存在检测出的特征点。针对这种情况，电子设备可以直接利用预设特征点提取算法对各当前柱面图像进行特征点检测，以得到各当前柱面图像中各特征点的图像位置信息。后续的，电子设备继续获得新的当前辅助图像，并针对新的当前辅助图像执行本发明实施例所提供的本次记忆泊车场景的地图构建流程。

其中，该预设特征点提取算法可以为FAST特征点提取算法

在另一种实现中，若当前柱面图像为本次记忆泊车场景的地图构建流程启动后，电子设备所获得的非首组柱面图像，在当前柱面图像满足第一关键帧条件的情况下，将该当前柱面图像作为新的特征关键图像，用于构建目标场景对应的特征点地图。

电子设备可以通过其特征点建图模块实现目标场景对应的特征点地图的构建过程，其中，特征点建图模块维护一个长度为W帧的滑窗，为了描述清楚称该长度为W帧的滑窗为第一滑窗。其中，W为大于1的正整数，具体的根据实际情况设定。

第一滑窗中的每一帧表示每一时刻对应的一组柱面图像对应的相关信息，该相关信息包括：该组柱面图像对应的图像信息，以及该组柱面图像中特征点的图像位置信息，部分组柱面图像的部分特征点对应的深度信息，相应的，该组柱面图像对应的相关信息还可以包括柱面图像的部分特征点对应的深度信息，相应的该部分特征点对应地图点。该图像信息为对该组柱面图像中每一图像进行图像处理之后所得的图像信息。

确定当前柱面图像为特征关键图像的情况下，将当前柱面图像对应的相关信息输入该第一滑窗。在一种情况中，在当前柱面图像对应的相关信息输入第一滑窗后，可能存在第一滑窗中的特征关键图像的数量不满W，则利用当前位姿信息、当前柱面图像以及第一滑窗中包含的其他多个特征关键图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建目标场景对应的特征点地图。

在另一种情况中，在当前柱面图像对应的相关信息输入第一滑窗后，第一滑窗中的特征关键图像的数量满足W，则利用当前位姿信息、当前柱面图像以及第一滑窗中的包含W-1个特征关键图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建目标场景对应的特征点地图。

可以理解的是每输入第一滑窗内一帧作为特征关键帧的柱面图像，即利用当前最新输入的柱面图像，以及第一滑窗中已存在的柱面图像中的第一特征点的图像位置信息，构建未存在地图点的第一特征点对应的地图点，即构建地图点的三维位置信息；和/或利用当前最新输入的柱面图像，以及第一滑窗中已存在的柱面图像中的第二特征点对应的地图点的三维位置信息，更新该地图点的三维位置信息，进而基于所构建出的地图点的三维位置信息构建目标场景对应的特征点地图。其中，第一特征点为当前不对应地图点的特征点，第二特征点为当前对应有地图点的特征点。

在一种情况中，在当前柱面图像对应的相关信息进入第一滑窗之后，若第一滑窗内包含的特征关键图像的数量超过W，第一滑窗中最早进入的作为特征关键图像的柱面图像，滑出第一滑窗。并且可以同时输出该滑出的柱面图像中位置收敛且满足预设输出条件的地图点。其中，输出地图点指的是输出地图点的三维位置信息。

在另一种实现中，当前柱面图像不满足第一关键帧条件，则确定该当前柱面图像为非特征关键图像，不利用该当前柱面图像构建特征点地图。

S106：若当前分割图像满足第二关键帧条件，基于当前分割图像、当前位姿信息、当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的辅助车辆的车体位姿信息，构建目标场景对应的语义地图，以通过目标场景对应的特征点地图和语义地图支持目标场景车辆的自动泊车。

其中，第二关键帧条件包括：基于所对应辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应辅助车辆的位姿信息，所确定的辅助车辆的位姿增量满足平面假设条件，且辅助车辆的位姿增量表征辅助车辆的位置变化超过第一位置阈值，航向角变化超过第一角度阈值；或者基于所对应辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应辅助车辆的位姿信息，所确定的辅助车辆的位姿增量不满足平面假设条件，且辅助车辆的位姿增量表征辅助车辆的位置变化超过第二位置阈值，航向角变化超过第二角度阈值。其中，第二位置阈值大于第一位置阈值，第二角度阈值大于第一角度阈值。

其中，平面假设条件包括：辅助车辆的横滚角变化不超过第一角度，俯仰角变化不超过第二角度；横滚角变化和俯仰角变化的总和不超过第三角度，且在世界坐标系下的竖轴的位置变化不超过预设值。其中，第一角度、第二角度和第三角度可以相等，也可以不同。一种情况中，第一角度、第二角度和第三角度均为0.5度。预设值为0.2米。

电子设备获得当前分割图像之后，基于当前分割图像对应的辅助车辆的位姿信息，即当前位姿信息，以及最新作为语义关键图像的分割图像对应辅助车辆的位姿信息，确定辅助车辆的位姿差异值，即位姿增量。判断该位姿增量是否满足平面假设条件。

在判断该位姿增量满足平面假设条件的情况下，继续判断该位姿增量所表征的辅助车辆的位置变化是否超过第一位置阈值，且辅助车辆的航向角变化是否超过第一角度阈值；在上述两个判断结果均为是的情况下，则确定当前分割图像满足第二关键帧条件，确定当前分割图像为新的语义关键图像，执行后续构建语义地图的流程。

在判断该位姿增量不满足平面假设条件的情况下，判断该位姿增量所表征的辅助车辆的位置变化是否超过第二位置阈值，且辅助车辆的航向角变化是否超过第二角度阈值，在判断结果为该位姿增量所表征的辅助车辆的位置变化超过第二位置阈值，且辅助车辆的航向角变化超过第二角度阈值的情况下，则确定当前分割图像满足第二关键帧条件，确定当前分割图像为新的语义关键图像，执行后续构建语义地图的流程。

其中，第二位置阈值大于第一位置阈值，第二角度阈值大于第一角度阈值。一种情况中，第一位置阈值为0.5米，第一角度阈值为5.0度；第二位置阈值为0.75米，第二角度阈值为7.5度。

在一种情况中，当前分割图像为本次记忆泊车场景的地图构建流程启动后，电子设备所获得的第一组分割图像，即为该辅助车辆在目标场景内行驶过程中，针对目标场景所采集的首组辅助图像对应的分割图像，则当前分割图像直接作为语义关键图像。

在另一种实现中，若当前分割图像为本次记忆泊车场景的地图构建流程启动后，电子设备所获得的非首组分割图像，在当前分割图像满足第二关键帧条件的情况下，将该当前分割图像作为新的语义关键图像，用于构建目标场景对应的语义地图。

电子设备可以通过其地面语义建图模块实现目标场景对应的语义地图的构建过程，其中，特征点建图模块维护一个长度为2V+1帧的滑窗，为了描述清楚称该长度为2V+1帧的滑窗为第二滑窗。其中，在确定当前分割图像对应的语义地图点时，需要利用当前分割图像的前V帧作为语义关键图像的分割图像，以及当前分割图像的后V帧作为语义关键图像的分割图像。

在确定当前分割图像为语义关键图像的情况下，将当前分割图像输入该第二滑窗。在一种情况中，在当前分割图像输入第二滑窗后，可能存在第二滑窗中的当前分割图像之前的语义关键图像的数量不满V，一种情况，可以不针对该类的分割图像确定其对应的语义地图点。

在另一种情况中，相对于对当前分割图像构建语义地图点的过程而言，在当前分割图像输入第二滑窗后，第二滑窗中包含的当前分割图像之前的语义关键图像的数量大于或等于V，则可以继续等待当前分割图像之后的V帧作为语义关键图像的分割图像的到来。其中，为了描述方便可以称当前分割图像为第t帧图像。

在第二滑窗中包含第t帧图像，第t帧图像的前V帧作为语义关键图像的分割图像，以及第t帧图像的后V帧作为语义关键图像的分割图像的情况下，针对第t帧图像，构建其对应的地图点，即构建第t帧图像对应的地图点的三维位置信息。具体的，利用第t帧图像即其中的语义像素点，第t帧图像对应的辅助车辆的位姿信息即当前位姿信息，第t 帧图像的前V帧作为语义关键图像的分割图像即其中的语义像素点，以及所对应辅助车辆的位姿信息，构建第t帧图像对应的地图点的三维位置信息，进而利用第t帧图像对应的地图点的三维位置信息，构建目标场景对应的语义地图。

在一种情况中，在当前分割图像进而第二滑窗之后，若第一滑窗内包含的语义关键图像的数量超过2V+1，第二滑窗中最早进入的作为语义关键图像的分割图像滑出第一滑窗。并且可以同时输出该滑出的分割图像对应的语义地图点。

其中，输出语义地图点指的是输出语义地图点的三维位置信息。

在另一种实现中，当前分割图像不满足第二关键帧条件，则确定该当前分割图像为非语义关键图像，不利用该当前分割图像构建语义地图。

应用本发明实施例，可以基于当前辅助图像对应的当前柱面图像构建目标场景对应的特征点地图，以得到准确性更高的特征点地图，同时基于当前辅助图像对应的当前分割图像构建目标场景对应的语义地图，后续的利用特征点地图及语义地图共同作为处于目标场景的车辆的泊车定位，无需额外增设其他辅助设备辅助车辆定位，以实现降低记忆泊车场景的成本且提高算法普遍性，具有良好的可复制性和可扩展性。

在本发明的另一实施例中，所述方法还可以包括针对特征点地图的验证流程，其中，如图2所示，该验证流程，可以包括如下步骤S201-S203：

S201：针对每一特征关键图像，从该特征关键图像的前后n帧非特征关键图像中，确定出距离该特征关键图像最远且已提取了特征信息的非特征关键图像；与该特征关键图像组成关联帧对。

其中，特征关键图像为满足所述第一关键帧条件的柱面图像，非特征关键图像为不满足所述第一关键帧条件的柱面图像，特征信息包括：所对应非特征关键图像中特征点的图像位置信息以及特征描述子。

S202：针对每一关联帧对，从该关联帧对中的非特征关键图像的特征点中，确定出该关联帧对中的特征关键图像所对应地图点对应的特征点；并针对该关联帧对中的特征关键图像所对应每一地图点，从所确定出的该地图点所对应特征点中，筛选出满足预设关联点条件的特征点，确定为该关联帧对中的特征关键图像所对应地图点对应的关联特征点。

其中，预设关联点条件包括：在所对应特征描述子与该关联帧对中特征关键图像所对应地图点的特征描述子之间的汉明距离不超过第一距离阈值，且所在位置与该关联帧对中特征关键图像所对应地图点在非特征关键图像的投影点的距离不超过第二距离阈值的特征点中，所对应特征描述子与该关联帧对中的特征关键图像所对应地图点的特征描述子之间的汉明距离最小的特征点。

S203：基于所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数，确定特征点地图对应的验证结果。

为了保证后续的车辆在目标场景中自动泊车的安全，需要保证车辆在目标场景中的准确定位，相应的，需要保证所构建地图的准确性。本实现方式中，在构建出目标场景对应的特征点地图之后，可以针对特征点地图的可用性进行定量的评估，相应的，对特征点地图进行验图。其中，电子设备可以通过验图模块实现对特征点图像的验图流程。

电子设备可以通过模拟定位过程检验所构建的特征点地图是否可以满足定位需要。由于特征点地图是利用特征关键图像所构建的，相应的，电子设备可以使用非特征关键图像模拟定位帧，非特征关键图像具有所对应辅助车辆的位置，与地图帧即特征关键图像位置较近，图像内容与地图帧的图像内容近似却不完全相同的特性，上述特点与定位过程中所使用图像的特性相近。

其中，在对特征点地图进行验证流程之前，电子设备针对每一组柱面图像是否为用于构建特征点地图，可以预先对每一组柱面图像进行不同的处理，其中，具体的可以是：

柱面图像为特征关键图像的情况下，在关键帧存储区创建一帧存储空间，并在该帧作为特征关键图像的柱面图像滑出第一滑窗时，将该帧柱面图像的地图信息存储到其对应的存储空间位置，其中，该帧柱面图像的地图信息包括该帧柱面图像对应的地图点的三维位置信息，以及后续提到的特征描述子。

柱面图像为非特征关键图像的情况下，每隔预设数量帧非特征关键图像，对作为非特征关键图像的柱面图像进行特征点提取，以及特征描述子提取，得到作为非特征关键图像的柱面图像的特征信息，其中，该特征信息包括：所对应非特征关键图像所提取特征点的图像位置信息和特征描述子；并将所提取的特征信息存储于该非特征关键图像对应的存储区间位置。其中，该预设数量帧可以为2帧。

其中，对作为非特征关键图像的柱面图像进行特征点提取所利用的算法可以为FAST 特征点提取算法，提取的特征点的特征描述子所利用的算法可以为BRIEF描述子提取算法。

后续的，在特征点地图构建完成后，即针对辅助车辆在目标场景中行驶过程中所采集的所有辅助图像进行相应的记忆泊车场景的地图构建流程之后，对特征点地图的可用性进行匹配验证，该匹配验证流程如下：

针对每一特征关键图像，即作为特征关键图像的一组柱面图像，从该特征关键图像的前后n帧非特征关键图像中，确定出距离该特征关键图像最远且已提取了特征信息的非特征关键图像；将该所确定出的距离该特征关键图像最远且已提取了特征信息的非特征关键图像与该特征关键图像，确定为一组关联帧对，也可以称其两者为关键帧-非关键帧对。该n为根据实际情况所设置的数值。

针对每一关联帧对，为该关联帧对的特征关键图像对应的每个可观测到的地图点，即特征关键图像对应的地图点，在该关联帧对的非特征关键图像的特征点中寻求配对。即从该关联帧对中的非特征关键图像的特征点中，确定出该关联帧对中的特征关键图像所对应地图点对应的特征点。具体的，可以是：利用该关联帧对的特征关键图像对应的地图点Q的三维位置信息，该关联帧对的特征关键图像对应的辅助车辆的位姿信息，该关联帧对的非特征关键图像对应的辅助车辆的位姿信息，以及采集得到该非特征关键图像的图像采集设备的内外参数，将该关联帧对的特征关键图像对应的地图点Q投影至该关联帧对的非特征关键图像上，得到其上的地图点Q对应的投影点q；该在关联帧对的非特征关键图像的特征点中，确定出特征描述子与地图点Q的特征描述子之间的汉明距离最近的K个特征点，即地图点Q对应的特征点。

其中，地图点Q的特征描述子为：基于所有包含用于构建地图点Q的特征关键图像中的该地图点Q所对应特征点的特征描述子，确定的描述子。

后续的，针对该关联帧对中的特征关键图像所对应每一地图点，从所确定出的该地图点对应特征点中，筛选出满足预设关联点条件的特征点，确定为该关联帧对中的特征关键图像所对应地图点对应的关联特征点；即从每一地图点Q对应的特征点中，确定出所对应汉明距离不超过第一距离阈值，且所在位置与该地图点Q的投影点q所在位置之间的距离不超过第二距离阈值的特征点中，所对应汉明距离最小的特征点，确定为该关联帧对中的特征关键图像所对应地图点对应的关联特征点。

地图点Q的投影点p在所对应该关联帧对的非特征关键图像的位置，落入该关联帧对的非特征关键图像的有效成像区域内，则认为该地图点Q的投影点q有效，上述所在位置与该地图点Q的投影点q所在位置之间的距离不超过第二距离阈值的特征点，可以指：所在位置与该地图点Q的有效的投影点q所在位置之间的距离不超过第二距离阈值的特征点。

柱面图像的有效成像区域内包含地图点对应的特征点则认为该柱面图像可观测到该地图点。特征关键图像对应的每个可观测到的地图点指：特征关键图像的有效成像区域内包含该地图点对应的特征点。

电子设备继续基于所确定出的关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数，确定特征点地图对应的验证结果。其中，特征点地图对应的验证结果包括特征点地图验证成功的信息或特征点地图验证失败的信息。

在本发明的另一实施例中，如图3所示，所述S203可以包括如下步骤：

S301：计算所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数的比值，作为第一比值。S302：若第一比值低于第一验图阈值，则确定特征点地图对应的初始验证结果为失败。S303：若第一比值不低于第一验图阈值，针对每一目标非特征关键图像，利用预设给定率以及该目标非特征关键图像中关联特征点的数量，确定该目标非特征关键图像对应的目标关联特征点。其中，该目标非特征关键图像为：包含关联特征点的非特征关键图像。S304：针对每一目标非特征关键图像，利用预设位姿扰动参数，对该目标非特征关键图像对应的车体位姿信息进行扰动，确定该目标非特征关键图像对应的扰动车体位姿信息。S305：针对每一目标非特征关键图像，利用该目标非特征关键图像对应的目标关联特征点的图像位置信息以及该目标非特征关键图像对应的目标关联特征点所对应地图点的三维位置信息，优化该目标非特征关键图像对应的扰动车体位姿信息，得到该目标非特征关键图像对应的优化车体位姿信息。S306：利用各目标非特征关键图像对应的车体位姿信息，以及优化车体位姿信息，确定特征点地图对应的验证结果。

本实现方式中，验图模块可以统计出所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，即所有关联帧对中成功关联地图点的特征点的个数；并统计所有关联帧对中特征关键图像所对应地图点的总个数，计算该两者之间的比值，作为第一比值。

判断该第一比值是否低于第一验图阈值，若第一比值低于第一验图阈值，则确定特征点地图对应的初始验证结果为失败。相应的，电子设备可以输出提示需要重新建图的信息，以提示工作人员重新针对目标场景构建特征点地图。

若第一比值不低于第一验图阈值，一种情况，可以直接认为目标场景的特征点地图可用。

另一种情况，为了更好的保证特征点地图的可用性，可以继续针对该特征点地图，开启位姿扰动优化校验过程：具体流程可以如下：

对于在上述匹配验证后已包含与特征关键图像所对应地图点相关联的特征点，即包含关联特征点的非特征关键图像，即针对每一目标非特征关键图像，利用预设给定率以及该目标非特征关键图像中关联特征点的数量，确定该目标非特征关键图像对应的目标关联特征点。例如，可以是：计算预设给定率以及该目标非特征关键图像中关联特征点的数量的乘积，得到第一乘积值，从该目标非特征关键图像中关联特征点中，选取第一乘积值个关联特征点，作为该目标非特征关键图像对应的目标关联特征点。

针对每一目标非特征关键图像，利用预设位姿扰动参数，对该目标非特征关键图像对应的车体位姿信息进行扰动，确定该目标非特征关键图像对应的扰动车体位姿信息。其中，该预设位姿扰动参数可以是随机生成的参数，也可以是预设设置的参数，其中，针对不同的目标非特征关键图像进行位姿扰动时，其所利用的预设位姿扰动参数可以相同，可以不同。

针对每一目标非特征关键图像，利用该目标非特征关键图像对应的目标关联特征点所对应地图点的三维位置信息，以及该目标非特征关键图像所对应辅助车辆的位姿信息、所对应图像采集设备的位姿信息和内参矩阵，确定该目标非特征关键图像对应的目标关联特征点所对应地图点在该目标非特征关键图像的投影点的位置信息；利用该目标非特征关键图像对应的目标关联特征点所对应地图点在该目标非特征关键图像的投影点的位置信息，以及该目标关联特征点的图像位置信息，构建该目标非特征关键图像对应的重投影误差方程；利用Levenberg-Marquardt算法对该目标非特征关键图像对应的重投影误差方程进行非线性优化，直至该目标非特征关键图像对应的重投影误差方程的值达到最下或者该目标非特征关键图像对应的重投影误差方程的优化迭代次数达到预设次数，确定该目标非特征关键图像对应的重投影误差方程达到收敛状态，确定此时的该目标非特征关键图像所对应辅助车辆的位姿信息的取值，作为该目标非特征关键图像对应的优化车体位姿信息。

利用各目标非特征关键图像对应的扰动车体位姿信息，以及优化车体位姿信息，确定特征点地图对应的验证结果。具体的，针对每一目标非特征关键图像，利用其对应的车体位姿信息，以及优化车体位姿信息，计算其对应的位置的变化量以及姿态的变化量。若目标非特征关键图像对应的位置的变化量超过预设位置变化量，或者姿态的变化量超过预设姿态变化量，则确定该目标非特征关键图像对应的地图定位效果不佳。若目标非特征关键图像对应的位置的变化量未超过预设位置变化量，且姿态的变化量未超过预设姿态变化量，则确定该目标非特征关键图像对应的地图定位效果佳。

统计所对应地图定位效果不佳的目标非特征关键图像的数量；计算所统计的所对应地图定位效果不佳的目标非特征关键图像的数量与标非特征关键图像的总数量的比值，该比值超过预设比值阈值，则确定所构建的特征点地图验证失败，相应的，其对应的验证结果包括特征点地图验证失败的信息。若该比值未超过预设比值阈值，则确定所构建的特征点地图验证成功，相应的，其对应的验证结果包括特征点地图验证成功的信息。

在本发明的另一实施例中，所述S105，可以包括如下步骤021-0210：

021：利用预设图像金字塔算法以及当前柱面图像，确定当前柱面图像对应的图像金字塔。

022：针对当前柱面图像的前多组作为特征关键图像的柱面图像中每一目标柱面图像中的每一第一特征点，利用预设逆深度值确定方式，确定该第一特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度。

其中，预设逆深度值确定方式包括：在该第一特征点对应的反投影射线上，在预设逆深度值范围内对逆深度值进行二分采样，得到该第一特征点对应的采样所得的每一逆深度值对应的第一采样点；直至每相邻两个第一采样点投影至当前柱面图像对应的图像金字塔的指定层图像上的投影点之间的距离不超过1个像素距离，采样结束；目标柱面图像为：基于其所对应辅助车辆的位姿信息与当前位姿信息所确定的车体位置距离小于第三距离阈值。

023：针对每一目标柱面图像中的每一第一特征点，基于该第一特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第一采样点投影至指定层图像上，作为每一第一采样点的投影点；基于该第一特征点及其对应的第一邻域内像素点的像素值以及每一第一采样点的投影点对应的第一领域内像素点的像素值，确定每一第一采样点对应的相似度值。

024：针对每一目标柱面图像，从该目标柱面图像中的第一特征点中，确定出所对应有效第一采样点总数多于第一数量阈值，且所对应数值最小的第一采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第一采样点对应的相似度值与数值最小的第一采样点对应的相似度值的比值不小于第一比值阈值的第一特征点，作为第二特征点；并将该第二特征点所对应数值最小的相似度值所对应第一采样点的采样逆深度值，确定为该第二特征点对应的当前逆深度值；基于该第二特征点对应的当前逆深度值以及该第二特征点的图像位置信息，确定该第二特征点对应的地图点的三维位置信息。

其中，有效第一采样点为：投影至指定层图像上的投影点位于有效成像区域内的第一采样点。

025：针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，利用该第二特征点对应的当前逆深度值及当前不确定度，确定采样范围；在该第二特征点对应的反投影射线上，在采样范围内进行二分采样，得到该第二特征点对应的第二采样点，直至该第二特征点对应的每相邻两个第二采样点，投影至该第二特征点对应的当前柱面图像对应的图像金字塔的当前参与层图像上的投影点之间的距离不超过1个像素距离，采样结束，得到该第二特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度。

026：针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，基于该第二特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第二采样点投影至当前参与层图像上，确定每一第二采样点的投影点；基于该第二特征点对应的第一邻域内像素点的像素值以及每一第二采样点的投影点对应的第一领域内像素点的像素值，确定每一第二采样点对应的相似度值。

027：针对前多组作为特征关键图像的柱面图像中每一柱面图像，从该柱面图像中的第二特征点中，确定出所对应有效第二采样点总数多于第一数量阈值，且所对应数值最小的第二采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第二采样点对应的相似度值与数值最小的第二采样点对应的相似度值的比值不小于第一比值阈值的第二特征点，作为第二目标特征点；针对每一第二目标特征点，利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其当前不确定度，得到第二目标特征点对应的新的当前逆深度值及其新的当前不确定度；基于该第二目标特征点对应的新的当前逆深度值以及该第二特征点的图像位置信息，更新该第二目标特征点对应的地图点的三维位置信息。

028：若该第二目标特征点对应的当前参与层图像为当前柱面图像对应的图像金字塔的最底层图像，且该第二目标特征点对应的地图点的三维位置信息更新次数大于预设次数阈值，且该第二目标特征点对应的不确定度区间长度对于该第二目标特征点对应的新的当前逆深度值的比值小于第二比值阈值，确定该第二目标特征点对应的地图点位置收敛。

其中，该第二目标特征点对应的不确定度区间长度：基于该第二目标特征点对应的新的当前逆深度值及其不确定度确定。

029：利用前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息以及当前位姿信息，和/或预设特征点提取算法，确定当前柱面图像中的特征点。

0210：利用所确定出的位置收敛且满足预设输出条件的地图点及其对应的特征描述子，构建目标场景对应的特征点地图.

其中，预设输出条件为：包含地图点对应的特征点的柱面图像的帧数超过预设帧数阈值，且三维位置信息表征该地图点不位于地下，地图点对应的特征描述子为：基于地图点对应的特征点的特征描述子确定的。

其中，三维位置信息表征该地图点不位于地下可以是：其三维位置信息中竖轴的坐标值表征点的高度不低于表征地面的高度，例如表征地面的高度为竖轴的坐标值为0，则三维位置信息中竖轴的坐标值不小于0表征该地图点不位于地下。

本实现方式中，在当前柱面图像满足第一关键帧条件的情况下，将当前柱面图像作为新的特征关键图像，并利用预设图像金字塔算法对当前柱面图像进行图像处理，确定当前柱面图像对应的L层图像金字塔，即当前柱面图像对应的图像信息。其中，当前柱面图像对应的L层图像金字塔中第0层为该图像本身，其他层的图像为其前一层图像，使用预设高斯卷积核进行卷及处理后，去除偶数行和列的像素点后所得到的图像，其中，第i层的图像的长和宽分别为第i-1层图像的1/2。其中，预设高斯卷积核可以表示如下：

其中，当前柱面图像为多帧图像的情况下，需要针对当前柱面图像的每一帧图像进行上述图像处理，当前柱面图像对应的图像金字塔包括当前柱面图像中每一图像对应的图像金字塔。

本发明实施例中所提到的柱面图像指每一时刻所获得的多路柱面图像。

将当前柱面图像对应的图像金字塔作为当前柱面图像对应的相关信息，输入第一滑窗，此时，当前柱面图像中的特征点还未被检测出，相应的，其对应的相关信息不包括其中特征点的图像位置信息。

后续的，第一滑窗中当前存在的特征关键图像对应的所有地图点，根据当前柱面图像对应的相关信息更新其三维位置信息，并对第一滑窗中当前柱面图像的前多组作为特征关键图像的柱面图像中没有形成地图点的第一特征点，即不对应深度信息的第一特征点，根据当前柱面图像对应的相关信息，尝试生成新的地图点。后续的，对当前柱面图像进行特征点增补操作，以得到当前柱面图像中包含的特征点的图像位置信息。若当前柱面图像对应的相关信息进入第一滑窗后，第一滑窗的长度超过W，则将最早进入第一滑窗的作为特征关键图像的柱面图像的相关信息移出第一滑窗，并将该图像中收敛的且满足预设输出条件的地图点输出。如图4A所示，其中，在当前柱面图像满足第一关键帧条件的情况下，对当前柱面图像进行图像处理，得到当前柱面图像对应的相关信息，并输入第一滑窗，即图4A中所示的图像帧t，如图4A所示，第一滑窗中包括当前柱面图像对应的前W帧作为特征关键图像的柱面图像对应的相关信息，如图4A所示，分别为图像帧t-1,……图像帧t-(W-1)以及图像帧t-W。利用图像帧t对应的相关信息对相应的地图点的三维位置信息进行更新，并尝试生成新的地图点，如图4A中所示的“地图点更新”，进而对当前柱面图像进行特征点增补操作，并在超出第一滑窗的长度W的情况下，输出图像帧t-W及其上中收敛的且满足预设输出条件的地图点t-W。

具体的，对当前未生成对应的地图点的第一特征点尝试生成地图点的过程，可以是：

针对当前柱面图像的前多组作为特征关键图像的柱面图像中每一目标柱面图像中的每一第一特征点，利用预设逆深度值确定方式，即在该第一特征点对应的反投影射线上对深度值的倒数即逆深度值在给定的上下限阈值即预设逆深度值范围内进行二分采样，得到若干采样逆深度值{d_e}，例如：先对预设逆深度值范围的上下限进行二分采样，进而依次对当前存在逆深度值二分采样，以此类推。相应的，得到该第一特征点对应的每一采样逆深度值采样对应的第一采样点，依次在预设逆深度值预设范围内对采样逆深度值进行二分采样，直至每相邻两个第一采样点投影至当前柱面图像对应的图像金字塔的指定层图像上的投影点之间的距离不超过1个像素距离，采样结束，得到该第一特征点对应的逆深度值序列，其中，逆深度值序列为最终的该第一特征点对应的采样逆深度值序列。

进而利用预设不确定度计算公式，确定每一采样逆深度值对应的不确定度。其中，所述预设不确定度计算公式，可以通过如下公式(1)表示：

其中，σ_e表示第一特征点对应的逆深度值序列中第e个采样逆深度值对应的不确定度， d_e表示该第e个采样逆深度值，d_e-1表示第一特征点对应的逆深度值序列中第e-1个采样逆深度值，d_e+1表示第一特征点对应的逆深度值序列中第e+1个采样逆深度值。

其中，目标柱面图像为：基于其所对应辅助车辆的位姿信息与当前位姿信息所确定的车体位置距离小于第三距离阈值的图像。对于前多组作为特征关键图像的柱面图像中，所对应辅助车辆的位姿信息与当前柱面图像对应的当前位姿信息所表征的辅助车辆的位置之间的直线距离大于第三距离阈值的图像，放弃利用当前柱面图像对其中尚未对应地图点的第一特征点，生成新的地图点。

一种情况中，当前柱面图像对应的图像金字塔的指定层图像可以指：当前柱面图像对应的图像金字塔中尺寸最小的第L-1层的图像。

针对每一目标柱面图像中的每一第一特征点，基于该第一特征点的图像位置信息及其对应的逆深度值序列，利用该当前位姿信息以及辅助车辆与当前柱面图像对应的图像采集设备之间的位姿转换关系，确定该目标柱面图像对应的图像采集设备的位姿信息，进而，基于该目标柱面图像对应的图像采集设备的位姿信息以及内参矩阵，将其所对应逆深度值序列中各采样逆深度值对应的第一采样点，投影至相应的指定层图像上，得到每一第一采样点的投影点。

针对每一目标柱面图像中的每一第一特征点，基于该第一特征点的像素值以及每一第一采样点的投影点对应的第一邻域内像素点的像素值，确定每一第一采样点对应的相似度值，该相似度值表征每一第一采样点的投影点与该第一特征点之间的相似度，其中，相似度值越小，表征该第一采样点的投影点与该第一特征点之间的相似度越高。

其中，确定每一第一采样点对应的相似度值的过程可以采用平方距离和(SSD，Sumof Squared Distance)算法计算，其中，可以通过如下公式(2)表示：

其中，N表示第一特征点对应的第一邻域内像素点，或第一特征点对应的逆深度值序列中第e个采样逆深度值所对应第一采样点的投影点对应的第一邻域内像素点对应的位置索引值范围，|N|表示第一特征点对应的第一邻域内像素点，该第一采样点的投影点对应的第一邻域内像素点的数量；Δp_r表示第一特征点对应的第一邻域内第r个像素点，该第一采样点的投影点对应的第一邻域内的第r个像素点对应的位置索引值；p表示第一特征点的位置，I(p+Δp_r)表示第一特征点对应的第一邻域内第r个像素点的像素值；p’_e表示第一特征点对应的逆深度值序列中第e个采样逆深度值所对应第一采样点的投影点的位置；I’(p’_e+Δp_r)表示第一特征点对应的逆深度值序列中第e个采样逆深度值所对应第一采样点的投影点对应的第一邻域内第r个像素点的像素值，r的取值范围为：1到第一邻域内像素点数量及其之间的整数。

其中，位置索引值指：第一邻域内各像素点所在位置与邻域中心所在位置之间的位置距离，例如：第一采样点的投影点对应的第一邻域为3*3邻域，即第一邻域包括9个像素点，其中，第一采样点的投影点位于3*3邻域的中心位置，第一邻域左上角的像素点到右下角的像素点分别对应的位置索引值为(-1，-1)、(-1，0)、(-1,1)、(0，- 1)、(0，0)、(0，1)、(1，-1)、(1，0)以及(1，1)。

针对每一目标柱面图像，从该目标柱面图像中的第一特征点中，确定出所对应有效第一采样点总数多于第一数量阈值，例如3个，且所对应数值最小的第一采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第一采样点对应的相似度值与数值最小的第一采样点对应的相似度值的比值不小于第一比值阈值的第一特征点，作为第二特征点，即认为该类第一特征点为可生成所对应地图点的第二特征点。

并将该第二特征点所对应数值最小的相似度值所对应第一采样点的采样逆深度值，确定为该第二特征点对应的当前逆深度值。以利用该当前逆深度值以及该第二特征点的图像位置信息生成所对应地图点的三维位置信息，记录第二特征点的当前逆深度值以及所对应地图点的三维位置信息，以及该第二特征点对应的当前逆深度值所对应的不确定度。

通过上述方式，对当前未生成对应的地图点的第一特征点尝试生成地图点，生成地图点的第一特征点作为第二特征点。

对已生成对应的地图点的第二特征点对应的地图点的三维位置信息进行更新的过程，如下：

其中，对已生成对应的地图点的第二特征点对应的地图点的三维位置信息进行更新，即可以指对已生成对应的地图点的第二特征点对应的当前的深度值即逆深度值进行更新。

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，利用该第二特征点对应的当前逆深度值

及当前不确定度σ1，确定采样范围，具体的，采样范围为[d₁-2σ₁,d₁+2σ₁]。

在该第二特征点对应的反投影射线上，对深度值的倒数即逆深度值在其对应的采样范围内进行二分采样，得到若干采样逆深度值，相应的，得到该第二特征点对应的每一采样逆深度值对应的第二采样点，直至该第二特征点对应的每相邻两个第二采样点，投影至该第二特征点对应的当前柱面图像对应的图像金字塔的当前参与层图像上的投影点之间的距离不超过1个像素距离，采样结束，得到该第二特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度。

进而利用预设不确定度计算公式，确定该第二特征点对应的逆深度值序列中每一采样逆深度值对应的不确定度。

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，基于该第二特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第二采样点，投影至当前参与层图像上，确定每一第二采样点的投影点；基于该第二特征点对应的第一邻域内像素点的像素值以及每一第二采样点的投影点对应的第一领域内像素点的像素值，确定每一第二采样点对应的相似度值。

其中，确定每一第二采样点的投影点的过程可以参照上述确定每一第一采样点的投影点的过程。确定每一第二采样点对应的相似度值的过程可以参照上述确定每一第一采样点对应的相似度值的过程中，在此不再赘述。

针对前多组作为特征关键图像的柱面图像中每一柱面图像，从该柱面图像中的第二特征点中，确定出所对应有效第二采样点总数多于第一数量阈值，例如3个，且所对应数值最小的第二采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第二采样点对应的相似度值与数值最小的第二采样点对应的相似度值的比值不小于第一比值阈值的第二特征点，作为第二目标特征点。

针对每一第二目标特征点，利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其当前不确定度，得到第二目标特征点对应的新的当前逆深度值及其新的当前不确定度。具体的，可以通过如下公式(3)确定得到第二目标特征点对应的新的当前逆深度值

及其新的当前不确定度：

其中，d表示第二目标特征点对应的新的当前逆深度值对应的深度值，d₁表示第二目标特征点对应的当前逆深度值对应的深度值；σ表示第二目标特征点对应的新的当前逆深度值对应的新的不确定度；d₂表示第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值对应的深度值；σ₁表示第二目标特征点对应的当前逆深度值对应的当前不确定度；σ₂表示第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值对应的不确定度。

进而，针对每一第二目标特征点，基于该第二目标特征点对应的新的当前逆深度值以及该第二特征点的图像位置信息，更新该第二目标特征点对应的地图点的三维位置信息。对应存储更新后的第二目标特征点对应的地图点的三维位置信息及其新的当前逆深度值以及新的不确定度。

后续的，若该第二目标特征点对应的当前参与层图像为当前柱面图像对应的图像金字塔的最底层图像，且该第二目标特征点对应的地图点的三维位置信息更新次数大于预设次数阈值，且该第二目标特征点对应的不确定度区间长度对于该第二目标特征点对应的新的当前逆深度值的比值小于第二比值阈值，确定该第二目标特征点对应的地图点位置收敛。在第二目标特征点即第二特征点对应的地图点的位置收敛即地图点的三维位置收敛的情况下，则可以不再对该位置收敛的地图点的三维位置信息进行更新。

其中，第二目标特征点对应的不确定度区间长度可以表示为：

在这一种情况中，在第一滑窗中的作为特征关键图像的柱面图像中第二特征点对应的地图点的位置收敛之后，并且该第二特征点对应的地图点满足预设输出条件之后，可以立即输出，或者在该第二特征点所在柱面图像滑出第一滑窗时，输出。

对于所输出的第二特征点对应的地图点，利用所有可观测到该第二特征点对应的地图点的柱面图像，计算该地图点对应的特征描述子，即BRIEF描述子。以用于构建特征点地图。其中，利用所有可观测到该第二特征点对应的地图点的柱面图像，计算该地图点对应的特征描述子的过程，可以是：利用所有可观测到该第二特征点对应的地图点的柱面图像中该地图点对应的特征点，计算该地图点对应的特征描述子。例如：将所有可观测到该第二特征点对应的地图点的柱面图像中该地图点对应的特征点对应的特征描述子融合，得到该地图点对应的特征描述子。

在更新完前多组作为特征关键图像的柱面图像中对应地图点的第二特征点对应的地图点的三维位置信息，以及针对未对应地图点的第一特征点尝试生成地图点即地图点的三维位置信息之后，需要对当前柱面图像进行特征点增补。相应的，特征点增补过程，可以是：利用前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息及当前位姿信息，和/或预设特征点提取算法，确定当前柱面图像中的特征点。

具体的，可以是：对当前柱面图像进行划分，得到多个区域图像，进而，利用前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息，以及当前位姿信息，将前多帧柱面图像当前的第二特征点对应的地图点投影至当前柱面图像对应的多个区域图像。从多个区域图像中确定是否存在不包含地图点的投影点的区域图像，如果存在，则利用预设特征点提取算法在该区域图像中提取特征点，以得到当前柱面图像中的特征点，如果不存在，则不需要利用预设特征点提取算法在该区域图像中提取特征点。

其中，当前的第二特征点对应的地图点包括：在当前柱面图像作为特征关键图像之前第一滑窗中已存在特征关键图像已存在的地图点，以及当前柱面图像作为特征关键图像进入第一滑窗后所新生成的地图点。

在一种实现方式中，所述029，可以包括如下步骤0291-0294：

0291：根据预设特征点数，对当前柱面图像进行划分，得到当前柱面图像对应的多个区域图像。

0292：利用前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息，以及当前位姿信息，将前多帧柱面图像当前的第二特征点对应的地图点投影至当前柱面图像对应的多个区域图像。

0293：若区域图像中包含前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，将前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，确定为当前柱面图像中的特征点。

0294：若区域图像中不包含前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，利用预设特征点提取算法以及预设提取阈值，对该区域图像进行特征点提取；若该区域图像中未提取到特征点，则利用预设特征点提取算法以及预设提取阈值的一半，对该区域图像进行特征点提取，以得到该区域图像中的特征点；若该区域图像中同一图像位置提取到多个特征点，则将该图像位置所提取的多个特征点中所对应响应值最大的点，确定为该区域图像中的特征点。

本实现方式中，电子设备可以根据预设特征点数M，取b＝round(sqrt(M))，确定图像划分区域数，基于该图像划分区域数对当前柱面图像进行划分，得到当前柱面图像对应的b×b个区域图像。

利用当前位姿信息以及辅助车辆与图像采集设备之间的位置转换关系，确定出采集当前柱面图像对应的当前辅助图像时的设备位姿信息，作为当前柱面图像对应的当前设备位姿信息。

将第一滑窗中当前柱面图像的前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息，以及当前设备位姿信息和图像采集设备的内参矩阵，将前多帧柱面图像当前的第二特征点对应的地图点投影至当前柱面图像对应的多个区域图像。若区域图像中包含前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，将前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，确定为当前柱面图像中的特征点。

若区域图像中不包含前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，利用预设特征点提取算法以及预设提取阈值，对该区域图像进行特征点提取；若该区域图像中未提取到特征点，则利用预设特征点提取算法以及预设提取阈值的一半，对该区域图像进行特征点提取，以得到该区域图像中的特征点；若该区域图像中同一图像位置提取到多个特征点，则将该图像位置所提取的多个特征点中所对应响应值最大的点，确定为该区域图像中的特征点。其中，特征点所对应响应值为预设特征点提取算法针对所提取的每一特征点所确定的值。

其中，同一图像位置指：基于预设提取阈值和预设提取阈值的一半所提取的特征点的位置之间的距离低于预设阈值。

在确定本次记忆泊车场景的地图构建流程中，不再确定出新的位置收敛，且满足预设输出条件的地图点的生成的情况下，或者，可以是每确定出一位置收敛且满足预设输出条件的地图点及其对应的特征描述子后，利用所确定出的位置收敛且满足预设输出条件的地图点及其对应的特征描述子，构建目标场景对应的特征点地图。

一种情况中，当前柱面图像包括多帧图像，在确定特征点地图过程中，上述针对柱面图像所描述的过程为，针对柱面图像中每一图像的描述过程。相应的，对每一目标柱面图像所描述的过程为针对每一目标柱面图像中每一图像的描述过程。对目标柱面图像中第一特征点进行投影的过程中，是将目标柱面图像中每一图像的第一特征点投影至当前柱面图像中相同图像采集设备所采集的图像上。

在本发明的另一实施例中，在所述利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其不确定度，得到第二目标特征点对应的新的当前逆深度值及其不确定度的步骤之后，所述方法还可以包括如下步骤031：

031：若该第二目标特征点对应的新的当前逆深度值与前一当前逆深度值之间的更新量小于预设更新阈值，将当前柱面图像对应的图像金字塔的当前参与层图像的下一层图像，确定为该第二目标特征点对应的所述当前柱面图像对应的图像金字塔的新的当前参与层图像。

在首次更新第二特征点对应的地图点的三维位置信息，即次更新第二特征点对应的地图点的深度值的情况下，第一滑窗中最新输入的作为特征关键帧的柱面图像如当前柱面图像对应的当前参与层图像，为其对应的图像金字塔的最顶层，即尺寸最小的第L-1 层。

在每次更新完第二特征点对应的地图点的三维位置信息，即次更新第二特征点对应的地图点的深度值的情况下，若第二特征点即第二目标特征点对应的新的当前逆深度值即更新后的当前逆深度值，与前一当前逆深度值即更新前的当前逆深度值之间的更新量，小于预设更新阈值，则将该第二目标特征点对应的当前参与层图像，替换为该当前参与层图像所在图像金字塔的该当前参与层图像的下一层图像。用于对该第二目标特征点对应的地图点的三维位置自信息的下次更新。

在本发明的另一实施例中，所述S106，可以包括如下步骤041-048：

041：将当前位姿信息从三维转换至二维，得到当前位姿信息对应的当前二维位姿信息。

042：对当前分割图像进行卷积处理，得到卷积后的当前分割图像。

043：针对卷积后的当前分割图像中每一语义像素点，利用该语义像素点的图像位置信息，将该语义像素点反投影至辅助车辆的车体坐标系中，得到该语义像素点对应的语义空间点的第一空间位置信息。

044：针对卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，将该语义像素点对应的语义空间点，投影至卷积后的前后V组分割图像中的每一图像中，得到该语义像素点在卷积后的前后V组分割图像中的每一图像中的语义投影点。

045：针对卷积后的当前分割图像中每一语义像素点，将该语义像素点在卷积后的前后V组分割图像中每一图像中的语义投影点，反投影至辅助车辆的车体坐标系中，得到每一图像所对应该语义像素点对应的第二空间位置信息。

046：针对卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，每一图像所对应该语义像素点对应的第二空间位置信息，该语义像素点的像素值以及该语义像素点在前后V组分割图像中每一图像中的语义投影点的像素值，确定该语义像素点与前后V组分割图像中每一图像对应的一致性结果。

047：针对卷积后的当前分割图像中每一语义像素点，若该语义像素点与前后V组分割图像中每一图像对应的一致性结果中，表征该语义像素点与所对应图像存在一致性的一致性结果的数量，与该语义像素点对应的一致性结果总数量的比值超过第三比值阈值，则确定该语义像素点对应的语义空间点为语义地图点，该语义像素点对应的语义空间点对应的第一空间位置信息为该语义地图点的空间位置信息。

048：基于所确定出的语义地图点对应的空间位置信息以及该当前位姿信息对应的当前二维位姿信息，构建目标场景对应的语义地图。

可以理解的是，拼接当前辅助图像的过程中，是以俯视地面的角度对当前辅助图像进行拼接，拼接后的当前辅助图像所在平面与地面平行，且与辅助车辆的车体坐标系的横纵坐标轴所在平面重合。相应的，记录拼接后的当前辅助图像中各像素点与辅助车辆的车体坐标系的点之间转换关系。

电子设备可以通过地面语义建图模块实现对目标场景对应的语义地图的构建。本实现方式中，在当前分割图像满足第二关键帧条件的情况下，可以将当前分割图像作为新的语义关键图像，以用于构建目标场景对应的语义地图。其中，构建目标场景对应的语义地图的流程，可以如下：

其中，地面语义建图模块以各帧作为语义关键图像的分割图像及其对应的辅助车辆的位姿信息为输入，以在二维平面上的同层语义标线上的点云即二维地面上的点云的地图信息作为输出。

如图4B所示，当前拼接图像在满足第二关键帧条件，如4B中所示“拼接分割图像帧”在经过“建图帧确定”单元确定为建图帧的情况下，即作为语义关键帧输入地面语义建图模块维护的第二滑窗。并在当前拼接图像的后V帧作为语义关键图像的分割图像输入第二滑窗之后，利用当前拼接图像的前V帧作为语义关键图像的分割图像，当前拼接图像以及当前拼接图像的后V帧作为语义关键图像的分割图像，构建当前拼接图像对应的语义地图点。具体的：

在得到当前分割图像，或将当前分割图像输入至第二滑窗时，将当前分割图像对应的当前位姿信息从三维转换至二维，得到当前位姿信息对应的当前二维位姿信息。具体的，丢弃当前位姿信息中竖轴方向的平移量即竖轴坐标值，并丢弃当前位姿信息中俯仰方向及横滚方向的旋转分量，以将当前位姿信息从三维转换至二维，得到当前位姿信息对应的当前二维位姿信息，将该当前二维位姿信息取代当前分割图像对应的辅助车辆的位姿信息。

对当前分割图像进行卷积处理，得到卷积后的当前分割图像。对当前分割图像进行卷积处理时所使用卷积核为高斯卷积核，与其他作为语义关键图像的分割图像进行卷积处理时所使用卷积核相同。

后续的，在得到当前分割图像的后V帧作为语义关键图像的分割图像对应的卷积后的分割图像以及其对应的辅助车辆的位姿信息对应的二维信息之后，针对卷积后的当前分割图像中每一语义像素点u，利用该语义像素点u的图像位置信息以及预先记录的当前分割图像中像素点与辅助车辆的车体坐标系的点之间的转换关系，将该语义像素点u反投影至辅助车辆的车体坐标系中，得到该语义像素点u对应的语义空间点U的第一空间位置信息。

利用该语义像素点对应的语义空间点U的第一空间位置信息，卷积后的前后V帧分割图像中的每一图像对应的辅助车辆的二维位姿信息，当前位姿信息对应的当前二维位姿信息，以及预先记录的卷积后的前后V帧分割图像中的每一图像中像素点与辅助车辆的车体坐标系的点之间的转换关系，将该语义像素点对应的语义空间点U，投影至卷积后的前后V帧分割图像中的每一图像中，得到该语义像素点在卷积后的前后V帧分割图像中的每一图像中的语义投影点u_f。

其中，卷积后的前后V帧分割图像中的每一图像对应的辅助车辆的二维位姿信息为：将前后V帧分割图像中的每一图像对应的辅助车辆的位姿信息从三维转换到二维所得到的位姿信息。

针对卷积后的当前分割图像中每一语义像素点，利用预先记录的卷积后的前后V帧分割图像中的每一图像中像素点与辅助车辆的车体坐标系的点之间的转换关系，将该语义像素点在卷积后的前后V帧分割图像中每一图像中的语义投影点u_f，反投影至辅助车辆的车体坐标系中，得到每一图像所对应该语义像素点对应的三维点U_f的第二空间位置信息。

针对卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点U的第一空间位置信息，每一图像所对应该语义像素点对应的三维点U_f的第二空间位置信息，该语义像素点u的像素值以及该语义像素点在前后V帧分割图像中每一图像中的语义投影点u_f的像素值，确定该语义像素点u与前后V帧分割图像中每一图像对应的一致性结果。其中，利用如下公式(4)，确定语义像素点u与前后V帧分割图像中每一图像对应的一致性结果：

其中，I(u)表示语义像素点u的像素值，

表示语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点的像素值，j的取值范围为1至2V及其之间的整数； U表示语义像素点u对应的语义空间点U的第一空间位置信息；

表示语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点对应的三维点U_f的第二空间位置信息；θ_u表示像素值阈值，θ_U表示空间距离阈值。

若语义像素点u的像素值与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点的像素值之间的像素差值的绝对值小于像素值阈值；且语义像素点u对应的语义空间点U的第一空间位置信息，与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点对应的三维点U_f的第二空间位置信息之间的距离小于空间距离阈值，则表征语义像素点u与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点满足一致性，即该语义像素点与前后V帧分割图像中第j帧图像对应的一致性结果为满足一致性结果。

反之，若语义像素点u的像素值与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点的像素值之间的像素差值的绝对值不小于像素值阈值；或语义像素点 u对应的语义空间点U的第一空间位置信息，与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点对应的三维点U_f的第二空间位置信息之间的距离不小于空间距离阈值，则表征语义像素点u与语义像素点u在前后V帧分割图像中的第j帧图像中的语义投影点不满足一致性，即该语义像素点与前后V帧分割图像中第j帧图像对应的一致性结果为不满足一致性结果。

针对卷积后的当前分割图像中每一语义像素点，若该语义像素点u与前后V帧分割图像中每一图像对应的一致性结果中，表征该语义像素点与所对应图像存在一致性的一致性结果的数量，与该语义像素点对应的一致性结果总数量的比值超过第三比值阈值，则确定该语义像素点对应的语义空间点为语义地图点，该语义像素点对应的语义空间点对应的第一空间位置信息为该语义地图点的空间位置信息。其中，该第二比值阈值的取值可以V。

基于所确定出的语义地图点对应的空间位置信息以及该当前位姿信息对应的当前二维位姿信息，构建目标场景对应的语义地图。其中，可以理解的是，所确定出的语义地图点对应的空间位置信息为在辅助车辆的车体坐标系下的空间位置信息，其中，该空间位置信息中的竖轴坐标值为0，利用所确定出的语义地图点对应的空间位置信息以及该当前位姿信息对应的当前二维位姿信息，将所确定出的语义地图点，从辅助车辆的车体坐标系转换至世界坐标系，以构建目标场景对应的语义地图。

一种情况中，在确定出当前分割图像对应的地图点之后可立即输出该当前分割图像对应的地图点的空间位置信息；也可在当前分割图像输出第二滑窗时，输出其上地图点的空间位置信息，这都是可以的。

在本发明的另一实施例中，所述方法还可以包括如下步骤051-058：

051：获得待泊车车辆在目标场景中所采集的图像，作为备用图像。

052：对拼接后的备用图像进行语义分割检测，得到拼接后的备用图像对应的语义分割图像。

053：基于备用图像，确定备用图像对应的备用柱面图像。

054：利用备用柱面图像以及备用图像对应的轮速信息，确定待泊车车辆的初始位姿信息。

055：利用待泊车车辆的初始位姿信息、语义分割图像以及目标场景对应的语义地图，确定待泊车车辆的第一位姿信息；

056：对备用柱面图像进行特征点检测，确定备用柱面图像中各备用特征点及其图像位置信息。

057：基于待泊车车辆的初始位姿信息、备用柱面图像中各备用特征点及其图像位置信息，以及目标场景对应的特征点地图，确定待泊车车辆的第二位姿信息。

058：利用第一位姿信息和/或第二位姿信息，确定待泊车车辆的目标位姿信息，以使待泊车车辆基于目标位姿信息进行自动泊车。

本实现方式中，在针对目标场景构建其特征点地图以及语义图像之后，在特征点地图的验证结果表征地图可用的情况下，行驶于目标场景的车辆，可以利用目标场景对应的特征点地图以及语义图像进行定位，进而实现自动泊车。

获得待泊车车辆的设置于前后左右的4路图像采集设备在目标场景中所采集的图像，作为备用图像。对备用图像进行拼接，并利用预设语义分割模型，对拼接后的备用图像进行语义分割检测，得到拼接后的备用图像对应的语义分割图像。将备用图像转换为柱面图像，确定备用图像对应的备用柱面图像。利用备用柱面图像以及备用图像对应的轮速信息，确定待泊车车辆的初始位姿信息。

进而，利用待泊车车辆的初始位姿信息从目标场景对应的语义地图，确定出初始位姿信息对应的局部语义地图区域；进而利用语义分割图像中的各语义目标对应的像素点以及局部语义地图区域中各语义目标，进行匹配，优化初始位姿信息，得到待泊车车辆的第一位姿信息。其中，语义目标包括但不限于：车道线、停车位、指示箭头等交通标示目标。

利用预设特征点提取算法，对备用柱面图像进行特征点检测，确定备用柱面图像中各备用特征点及其图像位置信息。利用待泊车车辆的初始位姿信息从目标场景对应的特征点地图确定出初始位姿信息对应的局部特征点地图区域。利用备用柱面图像中各备用特征点及其图像位置信息，以及局部特征点地图区域中的特征点的位置信息，优化初始位姿信息，得到待泊车车辆的第二位姿信息。

进而，一种实现，融合第一位姿信息和第二位姿信息，确定待泊车车辆的目标位姿信息，以使待泊车车辆基于目标位姿信息进行自动泊车。一种情况，融合第一位姿信息和第二位姿信息可以是：使用扩展卡尔曼滤波(EKF)等框架对第一位姿信息和第二位姿信息进行融合，并输出融合后的位姿信息，作为待泊车车辆的目标位姿信息。

另一种实现方式中，确定出待泊车车辆的初始位姿信息之后，利用初始位姿信息、语义分割图像以及目标场景对应的语义地图，构建语义分割匹配的约束，其中，该语义分割匹配的约束包括：语义分割图像中各语义像素点的图像位置信息，与目标场景对应的语义地图中的各语义像素点对应的地图点、在语义分割图像中的投影点的投影位置信息之间的差值，目标场景对应的语义地图中的各语义像素点对应的地图点、在语义分割图像中的投影点的投影位置信息：通过待泊车车辆的初始位姿信息、目标场景对应的语义地图各地图像素点的位置信息以及语义分割图像的图像采集设备的内外参确定。

对备用柱面图像进行特征点检测，确定备用柱面图像中各备用特征点及其图像位置信息；并利用初始位姿信息、备用柱面图像中各备用特征点及其图像位置信息，以及目标场景对应的特征点地图，构建特征点匹配的约束，其中，特征点匹配的约束包括：备用柱面图像中各备用特征点的图像位置信息，与目标场景对应的特征点地图中的各备用特征点对应的地图点、在备用柱面图像中的投影点的投影位置信息之间的差值，目标场景对应的特征点地图中的各备用特征点对应的地图点、在备用柱面图像中的投影点的投影位置信息：通过待泊车车辆的初始位姿信息、目标场景对应的特征点地图中的各备用特征点对应的地图点的位置信息以及备用柱面图像对应的虚拟柱面相机的内外参确定。

进而利用语义分割匹配的约束和特征点匹配的约束，加权组合成一个优化问题，即构建目标方程，求解该目标方程，将该目标方程的方程值达到最小时的待泊车车辆的初始位姿信息的当前值，作为待泊车车辆的目标位姿信息。

另一种实现中，将第一位姿信息确定为泊车车辆的目标位姿信息，或将第二位姿信息确定为泊车车辆的目标位姿信息，这都是可以的。

相应于上述方法实施例，本发明实施例提供了一种记忆泊车场景的地图构建装置，如图5所示，所述装置可以包括：第一获得模块510，被配置为获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；第一分割模块520，被配置为对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；第一确定模块530，被配置为基于所述当前辅助图像，确定当前柱面图像；第一位姿确定模块540，被配置为利用所述当前柱面图像以及所述当前辅助图像对应的轮速信息，确定所述辅助车辆在当前时刻的当前位姿信息；特征点建图模块550，被配置为若所述当前柱面图像满足第一关键帧条件，利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图，其中，所述第一特征点为当前不对应地图点的特征点；语义建图模块560，被配置为若所述当前分割图像满足第二关键帧条件，基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图，以通过所述目标场景对应的特征点地图和语义地图支持所述目标场景车辆的自动泊车。

应用本发明实施例，可以基于当前辅助图像对应的当前柱面图像构建目标场景对应的特征点地图，以得到准确性更高的特征点地图，同时基于当前辅助图像对应的当前分割图像构建目标场景对应的语义地图，后续的利用特征点地图及语义地图共同作为处于目标场景的车辆的泊车定位，无需额外增设其他辅助设备辅助车辆定位，以实现降低记忆泊车场景的成本且提高算法普遍性，具有良好的可复制性和可扩展性。

在本发明的另一实施例中，所述装置还包括：验证模块(图中未示出)，被配置为针对所述特征点地图进行验证，其中，所述验证模块，包括：

第一确定单元(图中未示出)，被配置为针对每一特征关键图像，从该特征关键图像的前后n帧非特征关键图像中，确定出距离该特征关键图像最远且已提取了特征信息的非特征关键图像；与该特征关键图像组成关联帧对，其中，特征关键图像为满足所述第一关键帧条件的柱面图像，非特征关键图像为不满足所述第一关键帧条件的柱面图像，所述特征信息包括：所对应非特征关键图像中特征点的图像位置信息以及特征描述子；

第二确定单元(图中未示出)，被配置为针对每一关联帧对，从该关联帧对中的非特征关键图像的特征点中，确定出该关联帧对中的特征关键图像所对应地图点对应的特征点；并针对该关联帧对中的特征关键图像所对应每一地图点，从所确定出的该地图点所对应特征点中，筛选出满足预设关联点条件的特征点，确定为该关联帧对中的特征关键图像所对应地图点对应的关联特征点，其中，所述预设关联点条件包括：在所对应特征描述子与该关联帧对中特征关键图像所对应地图点的特征描述子之间的汉明距离不超过第一距离阈值，且所在位置与该关联帧对中特征关键图像所对应地图点在非特征关键图像的投影点的距离不超过第二距离阈值的特征点中，所对应特征描述子与该关联帧对中的特征关键图像所对应地图点的特征描述子之间的汉明距离最小的特征点；

第三确定单元(图中未示出)，被配置为基于所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数，确定所述特征点地图对应的验证结果。

在本发明的另一实施例中，所述第三确定单元，被具体配置为计算所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数的比值，作为第一比值；

若所述第一比值低于第一验图阈值，则确定所述特征点地图对应的初始验证结果为失败；

若所述第一比值不低于所述第一验图阈值，针对每一目标非特征关键图像，利用预设给定率以及该目标非特征关键图像中关联特征点的数量，确定该目标非特征关键图像对应的目标关联特征点，其中，该目标非特征关键图像为：包含关联特征点的非特征关键图像；

针对每一目标非特征关键图像，利用预设位姿扰动参数，对该目标非特征关键图像对应的车体位姿信息进行扰动，确定该目标非特征关键图像对应的扰动车体位姿信息；

针对每一目标非特征关键图像，利用该目标非特征关键图像对应的目标关联特征点的图像位置信息以及该目标非特征关键图像对应的目标关联特征点所对应地图点的三维位置信息，优化该目标非特征关键图像对应的扰动车体位姿信息，得到该目标非特征关键图像对应的优化车体位姿信息；

利用各目标非特征关键图像对应的车体位姿信息，以及优化车体位姿信息，确定所述特征点地图对应的验证结果。

在本发明的另一实施例中，所述第一关键帧条件包括：所对应所述辅助车辆的位姿信息，与最新作为特征关键图像的柱面图像对应的所述辅助车辆的位姿信息之间的差异值满足预设差异条件；

所述第二关键帧条件包括：基于所对应所述辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应所述辅助车辆的位姿信息，所确定的所述辅助车辆的位姿增量满足平面假设条件，且所述辅助车辆的位姿增量表征所述辅助车辆的位置变化超过第一位置阈值，航向角变化超过第一角度阈值；或者基于所对应所述辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应所述辅助车辆的位姿信息，所确定的所述辅助车辆的位姿增量不满足平面假设条件，且所述辅助车辆的位姿增量表征所述辅助车辆的位置变化超过第二位置阈值，航向角变化超过第二角度阈值，其中，第二位置阈值大于第一位置阈值，第二角度阈值大于第一角度阈值。

在本发明的另一实施例中，所述当前辅助图像为所述辅助车辆所设置的图像采集设备所采集的图像；

所述第一确定模块530，被具体配置为针对每一当前辅助图像，将该当前辅助图像对应的预设柱面图像中的每一柱面像素点，从其所在柱面图像坐标系下反投影至该当前辅助图像对应的图像采集设备的设备坐标系下，确定每一柱面像素点的空间位置信息；

针对每一当前辅助图像，基于该当前辅助图像对应的预设柱面图像中的每一柱面像素点的空间位置信息，确定每一柱面像素点在该当前辅助图像所在图像坐标系下的投影位置信息；

针对每一当前辅助图像，利用该当前辅助图像中每一柱面像素点的投影位置信息的预设领域内像素点的像素值，确定每一柱面像素点的投影位置信息对应的像素值，以确定当前辅助图像对应的当前柱面图像。

在本发明的另一实施例中，所述特征点建图模块550，被具体配置为利用预设图像金字塔算法以及所述当前柱面图像，确定所述当前柱面图像对应的图像金字塔；

针对所述当前柱面图像的前多组作为特征关键图像的柱面图像中每一目标柱面图像中的每一第一特征点，利用预设逆深度值确定方式，确定该第一特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度，其中，所述预设逆深度值确定方式包括：在该第一特征点对应的反投影射线上，在预设逆深度值范围内对逆深度值进行二分采样，得到该第一特征点对应的采样所得的每一逆深度值对应的第一采样点；直至每相邻两个第一采样点投影至所述当前柱面图像对应的图像金字塔的指定层图像上的投影点之间的距离不超过1个像素距离，采样结束；所述目标柱面图像为：基于其所对应辅助车辆的位姿信息与所述当前位姿信息所确定的车体位置距离小于第三距离阈值的图像；

针对每一目标柱面图像中的每一第一特征点，基于该第一特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第一采样点投影至所述指定层图像上，作为每一第一采样点的投影点；基于该第一特征点及其对应的第一邻域内像素点的像素值以及每一第一采样点的投影点对应的第一领域内像素点的像素值，确定每一第一采样点对应的相似度值；

针对每一目标柱面图像，从该目标柱面图像中的第一特征点中，确定出所对应有效第一采样点总数多于第一数量阈值，且所对应数值最小的第一采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第一采样点对应的相似度值与数值最小的第一采样点对应的相似度值的比值不小于第一比值阈值的第一特征点，作为第二特征点；并将该第二特征点所对应数值最小的相似度值所对应第一采样点的采样逆深度值，确定为该第二特征点对应的当前逆深度值；基于该第二特征点对应的当前逆深度值以及该第二特征点的图像位置信息，确定该第二特征点对应的地图点的三维位置信息；其中，有效第一采样点为：投影至所述指定层图像上的投影点位于有效成像区域内的第一采样点；

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，利用该第二特征点对应的当前逆深度值及当前不确定度，确定采样范围；在该第二特征点对应的反投影射线上，对逆深度值在所述采样范围内进行二分采样，得到该第二特征点对应的第二采样点，直至该第二特征点对应的每相邻两个第二采样点，投影至该第二特征点对应的所述当前柱面图像对应的图像金字塔的当前参与层图像上的投影点之间的距离不超过1个像素距离，采样结束，得到该第二特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度；

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，基于该第二特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第二采样点投影至所述当前参与层图像上，确定每一第二采样点的投影点；基于该第二特征点对应的第一邻域内像素点的像素值以及每一第二采样点的投影点对应的第一领域内像素点的像素值，确定每一第二采样点对应的相似度值；

针对前多组作为特征关键图像的柱面图像中每一柱面图像，从该柱面图像中的第二特征点中，确定出所对应有效第二采样点总数多于第一数量阈值，且所对应数值最小的第二采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第二采样点对应的相似度值与数值最小的第二采样点对应的相似度值的比值不小于第一比值阈值的第二特征点，作为第二目标特征点；针对每一第二目标特征点，利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其当前不确定度，得到第二目标特征点对应的新的当前逆深度值及其新的当前不确定度；基于该第二目标特征点对应的新的当前逆深度值以及该第二特征点的图像位置信息，更新该第二目标特征点对应的地图点的三维位置信息；

若该第二目标特征点对应的当前参与层图像为所述当前柱面图像对应的图像金字塔的最底层图像，且该第二目标特征点对应的地图点的三维位置信息更新次数大于预设次数阈值，且该第二目标特征点对应的不确定度区间长度对于该第二目标特征点对应的新的当前逆深度值的比值小于第二比值阈值，确定该第二目标特征点对应的地图点位置收敛，该第二目标特征点对应的不确定度区间长度：基于该第二目标特征点对应的新的当前逆深度值及其不确定度确定；

利用所述前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息及所述当前位姿信息，和/或预设特征点提取算法，确定所述当前柱面图像中的特征点；

利用所确定出的位置收敛且满足预设输出条件的地图点及其对应的特征描述子，构建所述目标场景对应的特征点地图，其中，所述预设输出条件为：包含所述地图点对应的特征点的柱面图像的帧数超过预设帧数阈值，且三维位置信息表征该地图点不位于地下，所述地图点对应的特征描述子为：基于所述地图点对应的特征点的特征描述子确定的。

在本发明的另一实施例中，所述特征点建图模块550，被具体配置为根据预设特征点数，对所述当前柱面图像进行划分，得到所述当前柱面图像对应的多个区域图像；

利用所述前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息，以及所述当前位姿信息，将所述前多帧柱面图像当前的第二特征点对应的地图点投影至所述当前柱面图像对应的多个区域图像；

若区域图像中包含所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，将所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，确定为所述当前柱面图像中的特征点；

若区域图像中不包含所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，利用预设特征点提取算法以及预设提取阈值，对该区域图像进行特征点提取；若该区域图像中未提取到特征点，则利用所述预设特征点提取算法以及所述预设提取阈值的一半，对该区域图像进行特征点提取，以得到该区域图像中的特征点；若该区域图像中同一图像位置提取到多个特征点，则将该图像位置所提取的多个特征点中所对应响应值最大的点，确定为该区域图像中的特征点。

在本发明的另一实施例中，所述特征点建图模块550，还被配置为在所述利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其不确定度，得到第二目标特征点对应的新的当前逆深度值及其不确定度的步骤之后，若该第二目标特征点对应的新的当前逆深度值与前一当前逆深度值之间的更新量小于预设更新阈值，将所述当前柱面图像对应的图像金字塔的当前参与层图像的下一层图像，确定为该第二目标特征点对应的所述当前柱面图像对应的图像金字塔的新的当前参与层图像。

在本发明的另一实施例中，所述语义建图模块560，被具体配置为将所述当前位姿信息从三维转换至二维，得到所述当前位姿信息对应的当前二维位姿信息；

对所述当前分割图像进行卷积处理，得到卷积后的当前分割图像；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点的图像位置信息，将该语义像素点反投影至所述辅助车辆的车体坐标系中，得到该语义像素点对应的语义空间点的第一空间位置信息；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，将该语义像素点对应的语义空间点，投影至卷积后的前后V帧分割图像中的每一图像中，得到该语义像素点在卷积后的前后V帧分割图像中的每一图像中的语义投影点；

针对所述卷积后的当前分割图像中每一语义像素点，将该语义像素点在卷积后的前后V帧分割图像中每一图像中的语义投影点，反投影至所述辅助车辆的车体坐标系中，得到每一图像所对应该语义像素点对应的第二空间位置信息；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，每一图像所对应该语义像素点对应的第二空间位置信息，该语义像素点的像素值以及该语义像素点在前后V帧分割图像中每一图像中的语义投影点的像素值，确定该语义像素点与前后V帧分割图像中每一图像对应的一致性结果；

针对所述卷积后的当前分割图像中每一语义像素点，若该语义像素点与前后V帧分割图像中每一图像对应的一致性结果中，表征该语义像素点与所对应图像存在一致性的一致性结果的数量，与该语义像素点对应的一致性结果总数量的比值超过第三比值阈值，则确定该语义像素点对应的语义空间点为语义地图点，该语义像素点对应的语义空间点对应的第一空间位置信息为该语义地图点的空间位置信息；

基于所确定出的语义地图点对应的空间位置信息以及该当前位姿信息对应的当前二维位姿信息，构建所述目标场景对应的语义地图。

在本发明的另一实施例中，所述装置还包括：第二获得模块(图中未示出)，被配置为获得待泊车车辆在所述目标场景中所采集的图像，作为备用图像；第二分割模块 (图中未示出)，被配置为对拼接后的备用图像进行语义分割检测，得到所述拼接后的备用图像对应的语义分割图像；第二确定模块(图中未示出)，被配置为基于所述备用图像，确定所述备用图像对应的备用柱面图像；第二位姿确定模块(图中未示出)，被配置为利用所述备用柱面图像以及所述备用图像对应的轮速信息，确定所述待泊车车辆的初始位姿信息；第三位姿确定模块(图中未示出)，被配置为利用所述待泊车车辆的初始位姿信息、所述语义分割图像以及所述目标场景对应的语义地图，确定所述待泊车车辆的第一位姿信息；检测模块(图中未示出)，被配置为对所述备用柱面图像进行特征点检测，确定所述备用柱面图像中各备用特征点及其图像位置信息；第四位姿确定模块(图中未示出)，被配置为基于所述待泊车车辆的初始位姿信息、所述备用柱面图像中各备用特征点及其图像位置信息，以及所述目标场景对应的特征点地图，确定所述待泊车车辆的第二位姿信息；第五位姿确定模块(图中未示出)，被配置为利用所述第一位姿信息和/或所述第二位姿信息，确定所述待泊车车辆的目标位姿信息，以使所述待泊车车辆基于所述目标位姿信息进行自动泊车。

上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (11)

1.一种记忆泊车场景的地图构建方法，其特征在于，所述方法包括：

获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；

对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；

基于所述当前辅助图像，确定当前柱面图像；

利用所述当前柱面图像以及所述当前辅助图像对应的轮速信息，确定所述辅助车辆在当前时刻的当前位姿信息；

若所述当前柱面图像满足第一关键帧条件，利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图，其中，所述第一特征点为当前不对应地图点的特征点；

若所述当前分割图像满足第二关键帧条件，基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图，以通过所述目标场景对应的特征点地图和语义地图支持所述目标场景车辆的自动泊车。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

针对所述特征点地图的验证流程，其中，所述验证流程，包括：

针对每一特征关键图像，从该特征关键图像的前后n帧非特征关键图像中，确定出距离该特征关键图像最远且已提取了特征信息的非特征关键图像；与该特征关键图像组成关联帧对，其中，特征关键图像为满足所述第一关键帧条件的柱面图像，非特征关键图像为不满足所述第一关键帧条件的柱面图像，所述特征信息包括：所对应非特征关键图像中特征点的图像位置信息以及特征描述子；

针对每一关联帧对，从该关联帧对中的非特征关键图像的特征点中，确定出该关联帧对中的特征关键图像所对应地图点对应的特征点；并针对该关联帧对中的特征关键图像所对应每一地图点，从所确定出的该地图点所对应特征点中，筛选出满足预设关联点条件的特征点，确定为该关联帧对中的特征关键图像所对应地图点对应的关联特征点，其中，所述预设关联点条件包括：在所对应特征描述子与该关联帧对中特征关键图像所对应地图点的特征描述子之间的汉明距离不超过第一距离阈值，且所在位置与该关联帧对中特征关键图像所对应地图点在非特征关键图像的投影点的距离不超过第二距离阈值的特征点中，所对应特征描述子与该关联帧对中的特征关键图像所对应地图点的特征描述子之间的汉明距离最小的特征点；

基于所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数，确定所述特征点地图对应的验证结果。

3.如权利要求2所述的方法，其特征在于，所述基于所确定出的关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及关联帧对中特征关键图像所对应地图点的总个数，确定所述特征点地图对应的验证结果的步骤，包括：

计算所确定出的所有关联帧对中特征关键图像所对应地图点对应的关联特征点的个数，以及所有关联帧对中特征关键图像所对应地图点的总个数的比值，作为第一比值；

若所述第一比值低于第一验图阈值，则确定所述特征点地图对应的初始验证结果为失败；

若所述第一比值不低于所述第一验图阈值，针对每一目标非特征关键图像，利用预设给定率以及该目标非特征关键图像中关联特征点的数量，确定该目标非特征关键图像对应的目标关联特征点，其中，该目标非特征关键图像为：包含关联特征点的非特征关键图像；

针对每一目标非特征关键图像，利用预设位姿扰动参数，对该目标非特征关键图像对应的车体位姿信息进行扰动，确定该目标非特征关键图像对应的扰动车体位姿信息；

针对每一目标非特征关键图像，利用该目标非特征关键图像对应的目标关联特征点的图像位置信息以及该目标非特征关键图像对应的目标关联特征点所对应地图点的三维位置信息，优化该目标非特征关键图像对应的扰动车体位姿信息，得到该目标非特征关键图像对应的优化车体位姿信息；

利用各目标非特征关键图像对应的车体位姿信息，以及优化车体位姿信息，确定所述特征点地图对应的验证结果。

4.如权利要求1所述的方法，其特征在于，所述第一关键帧条件包括：所对应所述辅助车辆的位姿信息，与最新作为特征关键图像的柱面图像对应的所述辅助车辆的位姿信息之间的差异值满足预设差异条件；

所述第二关键帧条件包括：基于所对应所述辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应所述辅助车辆的位姿信息，所确定的所述辅助车辆的位姿增量满足平面假设条件，且所述辅助车辆的位姿增量表征所述辅助车辆的位置变化超过第一位置阈值，航向角变化超过第一角度阈值；或者基于所对应所述辅助车辆的位姿信息以及最新作为语义关键图像的分割图像对应所述辅助车辆的位姿信息，所确定的所述辅助车辆的位姿增量不满足平面假设条件，且所述辅助车辆的位姿增量表征所述辅助车辆的位置变化超过第二位置阈值，航向角变化超过第二角度阈值，其中，第二位置阈值大于第一位置阈值，第二角度阈值大于第一角度阈值。

5.如权利要求1所述的方法，其特征在于，所述当前辅助图像为所述辅助车辆所设置的图像采集设备所采集的图像；

所述基于所述当前辅助图像，确定当前柱面图像的步骤，包括：

针对每一当前辅助图像，将该当前辅助图像对应的预设柱面图像中的每一柱面像素点，从其所在柱面图像坐标系下反投影至该当前辅助图像对应的图像采集设备的设备坐标系下，确定每一柱面像素点的空间位置信息；

针对每一当前辅助图像，基于该当前辅助图像对应的预设柱面图像中的每一柱面像素点的空间位置信息，确定每一柱面像素点在该当前辅助图像所在图像坐标系下的投影位置信息；

针对每一当前辅助图像，利用该当前辅助图像中每一柱面像素点的投影位置信息的预设领域内像素点的像素值，确定每一柱面像素点的投影位置信息对应的像素值，以确定当前辅助图像对应的当前柱面图像。

6.如权利要求1所述的方法，其特征在于，所述利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图的步骤，包括：

利用预设图像金字塔算法以及所述当前柱面图像，确定所述当前柱面图像对应的图像金字塔；

针对所述当前柱面图像的前多组作为特征关键图像的柱面图像中每一目标柱面图像中的每一第一特征点，利用预设逆深度值确定方式，确定该第一特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度，其中，所述预设逆深度值确定方式包括：在该第一特征点对应的反投影射线上，在预设逆深度值范围内对逆深度值进行二分采样，得到该第一特征点对应的采样所得的每一逆深度值对应的第一采样点；直至每相邻两个第一采样点投影至所述当前柱面图像对应的图像金字塔的指定层图像上的投影点之间的距离不超过1个像素距离，采样结束；所述目标柱面图像为：基于其所对应辅助车辆的位姿信息与所述当前位姿信息所确定的车体位置距离小于第三距离阈值的图像；

针对每一目标柱面图像中的每一第一特征点，基于该第一特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第一采样点投影至所述指定层图像上，作为每一第一采样点的投影点；基于该第一特征点及其对应的第一邻域内像素点的像素值以及每一第一采样点的投影点对应的第一领域内像素点的像素值，确定每一第一采样点对应的相似度值；

针对每一目标柱面图像，从该目标柱面图像中的第一特征点中，确定出所对应有效第一采样点总数多于第一数量阈值，且所对应数值最小的第一采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第一采样点对应的相似度值与数值最小的第一采样点对应的相似度值的比值不小于第一比值阈值的第一特征点，作为第二特征点；并将该第二特征点所对应数值最小的相似度值所对应第一采样点的采样逆深度值，确定为该第二特征点对应的当前逆深度值；基于该第二特征点对应的当前逆深度值以及该第二特征点的图像位置信息，确定该第二特征点对应的地图点的三维位置信息；其中，有效第一采样点为：投影至所述指定层图像上的投影点位于有效成像区域内的第一采样点；

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，利用该第二特征点对应的当前逆深度值及当前不确定度，确定采样范围；在该第二特征点对应的反投影射线上，对逆深度值在所述采样范围内进行二分采样，得到该第二特征点对应的第二采样点，直至该第二特征点对应的每相邻两个第二采样点，投影至该第二特征点对应的所述当前柱面图像对应的图像金字塔的当前参与层图像上的投影点之间的距离不超过1个像素距离，采样结束，得到该第二特征点对应的逆深度值序列以及其中每一采样逆深度值对应的不确定度；

针对前多组作为特征关键图像的柱面图像中每一柱面图像中的每一第二特征点，基于该第二特征点的图像位置信息及其对应的逆深度值序列，将逆深度值序列中各采样逆深度值对应的第二采样点投影至所述当前参与层图像上，确定每一第二采样点的投影点；基于该第二特征点对应的第一邻域内像素点的像素值以及每一第二采样点的投影点对应的第一领域内像素点的像素值，确定每一第二采样点对应的相似度值；

针对前多组作为特征关键图像的柱面图像中每一柱面图像，从该柱面图像中的第二特征点中，确定出所对应有效第二采样点总数多于第一数量阈值，且所对应数值最小的第二采样点对应的相似度值不超过预设相似度阈值，且所对应数值次小的第二采样点对应的相似度值与数值最小的第二采样点对应的相似度值的比值不小于第一比值阈值的第二特征点，作为第二目标特征点；针对每一第二目标特征点，利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其当前不确定度，得到第二目标特征点对应的新的当前逆深度值及其新的当前不确定度；基于该第二目标特征点对应的新的当前逆深度值以及该第二特征点的图像位置信息，更新该第二目标特征点对应的地图点的三维位置信息；

若该第二目标特征点对应的当前参与层图像为所述当前柱面图像对应的图像金字塔的最底层图像，且该第二目标特征点对应的地图点的三维位置信息更新次数大于预设次数阈值，且该第二目标特征点对应的不确定度区间长度对于该第二目标特征点对应的新的当前逆深度值的比值小于第二比值阈值，确定该第二目标特征点对应的地图点位置收敛，该第二目标特征点对应的不确定度区间长度：基于该第二目标特征点对应的新的当前逆深度值及其不确定度确定；

利用所述前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息及所述当前位姿信息，和/或预设特征点提取算法，确定所述当前柱面图像中的特征点；

利用所确定出的位置收敛且满足预设输出条件的地图点及其对应的特征描述子，构建所述目标场景对应的特征点地图，其中，所述预设输出条件为：包含所述地图点对应的特征点的柱面图像的帧数超过预设帧数阈值，且三维位置信息表征该地图点不位于地下，所述地图点对应的特征描述子为：基于所述地图点对应的特征点的特征描述子确定的。

7.如权利要求6所述的方法，其特征在于，所述利用所述前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息及所述当前位姿信息，和/或预设特征点提取算法，确定所述当前柱面图像中的特征点的步骤，包括：

根据预设特征点数，对所述当前柱面图像进行划分，得到所述当前柱面图像对应的多个区域图像；

利用所述前多组作为特征关键图像的柱面图像当前的第二特征点对应的地图点的三维位置信息，以及所述当前位姿信息，将所述前多帧柱面图像当前的第二特征点对应的地图点投影至所述当前柱面图像对应的多个区域图像；

若区域图像中包含所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，将所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，确定为所述当前柱面图像中的特征点；

若区域图像中不包含所述前多帧柱面图像当前的第二特征点对应的地图点对应的投影点，利用预设特征点提取算法以及预设提取阈值，对该区域图像进行特征点提取；若该区域图像中未提取到特征点，则利用所述预设特征点提取算法以及所述预设提取阈值的一半，对该区域图像进行特征点提取，以得到该区域图像中的特征点；若该区域图像中同一图像位置提取到多个特征点，则将该图像位置所提取的多个特征点中所对应响应值最大的点，确定为该区域图像中的特征点。

8.如权利要求6所述的方法，其特征在于，在所述利用该第二目标特征点对应的数值最小的相似度值所对应第二采样点的采样逆深度值及其不确定度，以及该第二目标特征点对应的当前逆深度值及其不确定度，得到第二目标特征点对应的新的当前逆深度值及其不确定度的步骤之后，所述方法还包括：

若该第二目标特征点对应的新的当前逆深度值与前一当前逆深度值之间的更新量小于预设更新阈值，将所述当前柱面图像对应的图像金字塔的当前参与层图像的下一层图像，确定为该第二目标特征点对应的所述当前柱面图像对应的图像金字塔的新的当前参与层图像。

9.如权利要求1所述的方法，其特征在于，所述基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图的步骤，包括：

将所述当前位姿信息从三维转换至二维，得到所述当前位姿信息对应的当前二维位姿信息；

对所述当前分割图像进行卷积处理，得到卷积后的当前分割图像；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点的图像位置信息，将该语义像素点反投影至所述辅助车辆的车体坐标系中，得到该语义像素点对应的语义空间点的第一空间位置信息；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，将该语义像素点对应的语义空间点，投影至卷积后的前后V帧分割图像中的每一图像中，得到该语义像素点在卷积后的前后V帧分割图像中的每一图像中的语义投影点；

针对所述卷积后的当前分割图像中每一语义像素点，将该语义像素点在卷积后的前后V帧分割图像中每一图像中的语义投影点，反投影至所述辅助车辆的车体坐标系中，得到每一图像所对应该语义像素点对应的第二空间位置信息；

针对所述卷积后的当前分割图像中每一语义像素点，利用该语义像素点对应的语义空间点的第一空间位置信息，每一图像所对应该语义像素点对应的第二空间位置信息，该语义像素点的像素值以及该语义像素点在前后V帧分割图像中每一图像中的语义投影点的像素值，确定该语义像素点与前后V帧分割图像中每一图像对应的一致性结果；

针对所述卷积后的当前分割图像中每一语义像素点，若该语义像素点与前后V帧分割图像中每一图像对应的一致性结果中，表征该语义像素点与所对应图像存在一致性的一致性结果的数量，与该语义像素点对应的一致性结果总数量的比值超过第三比值阈值，则确定该语义像素点对应的语义空间点为语义地图点，该语义像素点对应的语义空间点对应的第一空间位置信息为该语义地图点的空间位置信息；

基于所确定出的语义地图点对应的空间位置信息以及该当前位姿信息对应的当前二维位姿信息，构建所述目标场景对应的语义地图。

10.如权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

获得待泊车车辆在所述目标场景中所采集的图像，作为备用图像；

对拼接后的备用图像进行语义分割检测，得到所述拼接后的备用图像对应的语义分割图像；

基于所述备用图像，确定所述备用图像对应的备用柱面图像；

利用所述备用柱面图像以及所述备用图像对应的轮速信息，确定所述待泊车车辆的初始位姿信息；

利用所述待泊车车辆的初始位姿信息、所述语义分割图像以及所述目标场景对应的语义地图，确定所述待泊车车辆的第一位姿信息；

对所述备用柱面图像进行特征点检测，确定所述备用柱面图像中各备用特征点及其图像位置信息；

基于所述待泊车车辆的初始位姿信息、所述备用柱面图像中各备用特征点及其图像位置信息，以及所述目标场景对应的特征点地图，确定所述待泊车车辆的第二位姿信息；

利用所述第一位姿信息和/或所述第二位姿信息，确定所述待泊车车辆的目标位姿信息，以使所述待泊车车辆基于所述目标位姿信息进行自动泊车。

11.一种记忆泊车场景的地图构建装置，其特征在于，所述装置包括：

第一获得模块，被配置为获得辅助车辆在当前时刻针对所处目标场景采集的图像，作为当前辅助图像；

第一分割模块，被配置为对拼接后的当前辅助图像进行语义分割检测，得到当前分割图像；

第一确定模块，被配置为基于所述当前辅助图像，确定当前柱面图像；

第一位姿确定模块，被配置为利用所述当前柱面图像以及所述当前辅助图像对应的轮速信息，确定所述辅助车辆在当前时刻的当前位姿信息；

特征点建图模块，被配置为若所述当前柱面图像满足第一关键帧条件，利用所述当前位姿信息、所述当前柱面图像以及所述当前柱面图像的前多组作为特征关键图像的柱面图像中第一特征点的图像位置信息和第二特征点对应的地图点的三维位置信息，构建所述目标场景对应的特征点地图，其中，所述第一特征点为当前不对应地图点的特征点；

语义建图模块，被配置为若所述当前分割图像满足第二关键帧条件，基于所述当前分割图像、所述当前位姿信息、所述当前分割图像的前后V帧作为语义关键图像的分割图像及其对应的所述辅助车辆的车体位姿信息，构建所述目标场景对应的语义地图，以通过所述目标场景对应的特征点地图和语义地图支持所述目标场景车辆的自动泊车。

Images