CN111319612A - 一种自动驾驶车辆用地图的自建图方法和系统 - Google Patents

Abstract

本发明涉及一种自动驾驶车辆用地图的自建图方法和系统，属于自动驾驶技术领域；现有技术中车辆只能在预装系统已有地图的情况下进行自动泊车，受限于环境只能进行人工参与的泊车入库服务，无法进行车辆自动泊车和召回服务；本发明提供了自学习建图方法，驾驶员驾驶车辆以慢速或停止的状态，启动车载建图系统，并设定当前位置为起点；驾驶员驾驶车辆从所述起点出发到达终点，同时车载建图系统记录下终点的具体位置，完成自学习建图；实现了无需预装地图下的智能驾驶。

Description

一种自动驾驶车辆用地图的自建图方法和系统

技术领域

本发明涉及一种自动驾驶技术领域，具体涉及一种用于自动泊车或车辆召回过程中进行建图的方法和系统。

背景技术

随着人工智能的各项技术的发展，自动驾驶技术也不断成熟起来，用户对自动驾驶技术特别是在室内停车场中的自动停车、自动召回车辆有了进一步的需求。停车场数量很多而且用户也不会局限于在某一个停车场停车，因此自动泊车功能需要同时满足自动驾驶系统中没有在预装时对停车场进行建图的场景。

对这样的自动驾驶系统而言，怎样自适应、全方位的提供用户个性化服务是一个关键且尚未解决的问题。事实上，多种需求、多种模式，以及多场景下室内停车场自适应泊车及相应的地图匹配技术等多种因素参杂在一起，对整个泊车系统的设计、逻辑性设计以及技术选型都提出了很大的挑战。

现有的室内停车场自动泊车系统一般只能处理限定模式，例如只能在预装系统已有地图的情况下进行自动泊车。然而这一方式存在缺陷。预装的地图数据信息需要预先用采集车进行采集，而对于大量的停车车库，以及越来越多和不断更新的停车国车库，无法做到每个停车车库都有最新的地图信息，这造成自动泊车、自动召回的过程无法精确，甚至无法进行下去。另外，即便是预装有地图，但如何保持该实时车位置在地图上的定位，这也是难题。上述问题困扰了自动驾驶技术的发展。

发明内容

有鉴于此，本发明提供一种自学习建图的方法，其特征在于：所述方法包括以下步骤：

步骤S1：驾驶员驾驶车辆处于慢速行驶或停止状态时，启动车载建图系统；并设定当前位置或未来车辆行驶到的某位置为起点，以及车辆行驶预计终点；

步骤S2：驾驶员驾驶车辆从所述起点出发到达所述预计终点，同时车载建图系统记录下所述终点的具体位置，完成自学习建图；该自学习建图仅用于该车辆的自动驾驶；

在所述步骤S2中，所述车辆基于传感器采集的信息以及车载的处理单元完成所述自学习建图。

优选地，所述自学习建图应用于自动泊车或者车辆的自动召回这一自动驾驶情景。

优选地，在所述步骤S2中，当车辆到达预计终点后，驾驶员还可再次启动车载建图系统，返回所述步骤S1。

优选地，所述传感器采集的信息是车辆环视图像、车辆位姿信息和/或车辆运动信息。

优选地，在自学习建图后，车辆在行驶过程中只需根据当前观测到的语义信息同构建好的地图进行匹配定位；在车辆行驶过程中，从观测数据获取的语义特征在所述地图中进行语义特征的匹配，从而完成定位。

本发明还提供了一种车载自学习建图系统，其特征在于：所述系统包括处理单元、传感器以及设定单元；

所述设定单元用于设置启动、退出所述系统；还可以设定起点和终点；

所述传感器在车辆由设定的起点前往设定的终点的过程中，采集自学习建图信息；

所述系统基于所述传感器采集的信息以及所述处理单元完成自学习建图；该自学习建图信息仅适用于该车辆的自动驾驶。

优选地，系统还包括存储器，所述处理单元通过自动泊车模式或者车辆的自动召回模式使用储存于存储器中的所述自学习建图信息。

优选地，所述处理单元用于当所述终点并非预定地点时，再次启动车载建图系统，继续自学习建图，直至完成自学习建图。

优选地，所述传感器采集的信息是车辆环视图像、车辆位姿信息和/或车辆运动信息。

优选地，所述系统自学习建图通过以下方式完成，所述车辆的运动方程表示为：

特征点的观测方程为：

其中u_i为通过其他方式获取的车辆运动信息；w_i为噪声；z_i,j为在i时刻对j特征点的观测数据：所述z_i,j通过传感器获取，v_i,j是误差项；函数f()和h()表示确定的几何关系映射；通过所述车辆的运动方程和所述特征点的观测方程求解出

与

其中

表示车辆的精确位置，而通过对所述特征点位置

进行集合，构建出自学习地图。

本发明的发明点在于以下几点但不限于以下几点：

(1)车辆的自学习建图；现有技术中都是采用的预先内置的地图，而停车场非街道，一般都没有精准的地图，所以无法实现智能驾驶；采用本发明的环视视觉辅助其他传感信息建图实现了任何区域、任何环境即使没有高精度地图也可实现智能驾驶；

(2)采取了不同的传感器组合都可实现自学习建图，而各种车辆制造商对车辆的配置是不同的，本申请充分考虑了该问题，其中设定“该自学习建图仅用于该车辆的自动行驶”，并且为实现本发明提供了多种方案，为车载自学习建图系统以及方法的推广使用降低了门槛，具有通用性，推广潜力巨大。对于地库的地图信息，采用本发明的建图方式，不需要建图所常见的地图采集数据用车，进入地库中的车辆即为地图数据采集者，这一方式大大增加了便利度，不再需要进入地库时进行地图的预装。

(3)在自学习建图系统中，起点和终点可由驾驶员自行设定，使得该系统的推广应用具有广泛价值，驾驶员可根据实际情况自由选择，甚至创造性发挥，不仅可以解决智能驾驶的问题，还可提高驾驶的乐趣。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本申请实施例中涉及到的泊车模式和召回模式的说明图；

图2为本申请实施例1中基于自学习建的地图生成驾驶策略的流程图。

具体实施例

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实例提供了一种建图功能，可以应用于室内停车场以外其它场景的泊车应用中。

下面结合附图对本申请实施例的具体实现方式进行介绍。

首先，对本申请实施例中提供的一种自适应固定点至固定点的室内停车场泊车方法进行介绍。

实施例1

自动驾驶领域具体包括代客泊车和代客召回车辆，本实施列具体介绍代客泊车功能，具体方法包括以下步骤：

步骤101：用户设置并激活代客泊车功能；

步骤102：自学习建图；

自学习建图部分，根据用户设定的泊车模式和召回模式分为两种。

1)泊车路径学习模式：

在一些实施例中，“泊车”是指车辆自动行驶至未来交车点。驾驶员驾驶车辆或者车辆自动驾驶至该未来交车点的地点。该未来交车点可以是该车库内置固定的泊车位，也可以是在驾驶车辆时临时指定的随机的位置。随后驾驶员离开车辆，该车辆自动行驶至泊车位。在一些实施例中，该泊车位可以是内置的固定的泊车位，也可以是临时指定的随机的泊车位。该“泊车路径学习模式”是指对上述自动驾驶模式的学习过程。

驾驶员自驾车辆驶入室内停车场，在期望的未来交车点稍停。然后，车载端(可通过车机显示屏)先选择“自学习代客泊车”模式，之后可点击泊车路径学习“开始”图标，随即显示屏会出现“泊车路径学习进行中”提示。

驾驶员自驾车辆以低速(10km/h以下)行驶至目标车位。完成泊车行为后，点击泊车路径学习“终止”图标，随即车载端会显示出该路径下的系统学习完成进度百分数。

在单次未达到100％路径学习完成的情况下(一般的，在n次路径学习完成后，完成自建图。在一些实施例中，n取值为3)，驾驶员可点击“存储未完成泊车路径”对该路径做保存。之所以难以在一次路径学习完成自建图是因为虽然采用了环视图像采集系统，但受制于环境例如周围人员的遮挡、行驶路径影响，难以在一次的泊车过程中将周围的图像信息采集全。但如果有多次的路径学习，因为每次路径行驶都至少稍有区别，每次行驶的车辆周围环境也会有区别，因此每次路径学习都可以弥补上几次图像采集中未采集到的信息。通过这样多次的路径学习即可以完成自建图。在一些典型的实施例中，第一次路径学习完成度有约65％；第二次路径学习完成度有约90％，第三次路径学习完成度有约100％。在一些实施例中，学习完成度100％是指将泊车环境的图像100％采集而无死角。

继续自学习建图，直至完成自学习建图的过程可以例如下述的一些实施例，对于已完成部分泊车路径学习的停车场，驾驶员未来再次进入该停车场环境时，车机端会及时显示“历史泊车路径继续学习”图标。在驾驶员确认“继续路径学习”的情况下，自驾车辆完成之前相同泊车路径的泊车行为。在车辆停稳后，车机端会更新相应完成百分比，以及等同初次泊车路径学习的后续操作提示。

若泊车路径学习达到100％，表示学习完成后，系统会在车机端提示“泊车路径学习完成，代客泊车功能可使用”，驾驶员点击“泊车路径存储”，完成本条路径的成功存储。

上述内容为驾驶员操作车载系统进行自学习建图的操作过程；图2为本实施例中基于自学习建的地图生成驾驶策略的流程图。

而车载系统具体是通过以下方式来实现自学习建图：

首先，车辆可以配备若干传感器例如可以是环视传感器，以实现车辆环视图像、车辆位姿信息、车辆运动信息等的实时采集；

然后，通过将当前道路图像输入到道路图像语义信息检测模型，得到语义特征信息，所述语义信息为车道线、车位线、障碍物等。进一步地，可以将问题转化为一个优化问题，解决该优化问题来对求解车辆当前位姿。

设P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。可以理解，这些数据满足以下关系：

不同时刻观测数据满足以下关系：

也就是说，一个特征点在一个地图中的位置在不同时刻应当是相同的。建立以下优化问题：

P_i*Aⁱ＝P_i+1*Aⁱ⁺¹

P_i+1＝argmin(||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²)

把φ＝||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²也就是实际误差的二范数作为目标函数进行求解，当前时刻的位姿作为优化变量。改变优化变量，误差平方和就会相应地变大或变小，可以用数值方法求它们的梯度和二阶梯度，然后用梯度下降法求最优值：

上述的两个矩阵即为雅各布矩阵与海森矩阵。因为每个视觉特征往往不可能出现在所有运动过程中，通常只出现在小部分图像里，因此上述两个矩阵是稀疏矩阵，可以用稀疏代数的方法进行求解。对所述优化问题而言，也可以采用其他方法对其进行求解，这里对求解方法不做限定。上述得到的结果也就是根据以前时刻车辆位姿估计的当前车辆位姿。这一求解车辆位姿的方式是本发明的创新点之一。

根据车辆行驶的连续性，时间邻域中不同时刻的共视观测信息提供了局部定位的可能性，而非共视信息完成了局部地图的扩展。随着时间的推移，车辆驶过的区域扩大，不同局部地图进行融合，形成全局地图。

自学习建图成功后，进入步骤103。

步骤103：判断自建图是否成功

自学习建立的地图已经包含用户设置的驾驶终止点并且所建立的地图信息足够进行全局路径规划时，完成建图，系统自动返回步骤101。如果建图失败，则系统会保存没有完成学习建图的部分，并结束自学习建图功能。

步骤104：地图匹配，利用环视图像提取的语义特征与起止点地图的语义特征进行匹配；

步骤105：全局路径规划，基于用户设置的自动驾驶的起始点和终止点，基于已经学习的地图采用动态规划的方法生成全局路径规划；

步骤105路径规划成功后，提示用户是否进行固定点至固定点的自动泊车(召回)。泊车模式下，用户选择“Yes”则进入步骤106自动泊车状态；用户选择“No”则终止自动泊车功能。召回模式下，用户选择“Yes”则进入步骤106自动召回状态；用户选择“No”则终止自动召回功能。

步骤106：自主驾驶

系统进行自主泊车或召回时，调用步骤105生成的全局规划路径，并同时启动实时定位故障模块以及实时障碍物检测模块。通过实时定位故障模块以及实时障碍物检测模块的实时监测能够对泊车环境中一些突发情形及临时环境变换做出自适应的响应，保证自主驾驶的安全性。实时定位故障多发于泊车或召回环境出现临时较大的变动，导致当前获取图像中的语义特征无法与预存储的地图进行匹配。其中关于定位，在一些实施例中需要对当前行驶的车辆进行实时定位。该实时定位可以包括将当前观测的语义特征与地图匹配进行定位。

在一些实施例中，车辆在泊车过程中只需根据当前观测到的语义信息同构建好的地图进行匹配定位，这是一个迭代的过程。车辆行驶过程中，位姿不断变化，在信息输入方面体现在观测数据的变化，从观测数据获取的语义特征可以在地图中进行语义特征的匹配，从而完成定位。这里的语义特征可以包括地面车道线、车位线、障碍物等。提取语义特征的方法可以是基于Encoder-Decoder模型的深度学习方法或图像分割方法。这里的匹配也可以采用其他现有的技术进行匹配。

在车辆定位过程中，可能遇到视觉语义信息不足的情况，为保证定位精度以及车辆轨迹的平滑性，采用视觉、轮速计融合的方案，充分利用不同传感器的特性。

步骤107：代客泊车(召回)完成

正常情况下，车辆自动行驶至目标地点完成任务。如果是泊车模式，代客泊车完成后，系统会通过手机端通知驾驶员功能完成，并附带车辆位置信息。

如果是召回模式，车辆到达取车点后会自动进入到双闪状态，等待驾驶员介入，同时驾驶员会收到手机端车辆到位请接管提醒。上述方式对于自建图，只需要通过人机交互的方式建立，并不需要事先针对每个停车场进行预先的地图建造。

实施例2

自动驾驶领域具体包括代客泊车和代客召回车辆，本实施列具体介绍代客召回功能，具体方法包括以下步骤：

步骤101：用户设置并激活代客召回功能；

步骤102：自学习建图；

自学习建图部分，根据用户设定的泊车模式和召回模式分为两种。

2)召回路径学习模式

在一些实施例中，“召回”是指车辆从泊车位自动行驶至预先指定的地点。驾驶员在该预先指定的地点等待车辆的到来。是该车库内置固定的泊车位，也可以是在驾驶车辆时临时指定的随机的位置。“召回路径学习模式”是指对上述自动驾驶模式的学习过程。

驾驶员在停车位启动车辆，先选择自学习代客泊车模式，之后可点击召回路径学习“开始”图标，随即显示屏会出现“召回路径学习进行中”提示。

驾驶员自驾车辆以低速(10km/h以下)行驶至未来期望接车点，稍停，点击召回路径学习“终止”图标，车机端会显示出该路径下的系统学习完成进度百分数。

在单次未达到100％路径学习完成的情况下(一般的，在n次路径学习完成后，完成自建图。在一些实施例中，n取值为3)，驾驶员可点击“存储未完成召回路径”对该路径进行保存。

对于类似已完成部分召回路径学习的停车场，驾驶员未来再次从停车位启动出发前，车机端会及时显示“历史召回路径继续学习”图标。在驾驶员确认“继续路径学习”的情况下，自驾车辆完成之前相同召回路径的驾驶行为。到达原定期望街车点后，车机端会出现相应完成百分比，以及等同初次召回路径学习的后续操作提示。

如召回路径学习达到100％，表示学习完成后，系统会在车机端提示“召回路径学习完成，代客泊车召回功能可使用”，驾驶员点击“召回路径存储”，完成本条路径的成功存储。

召回模式下，自学习建图可采用自动泊车模式下的建图方式，也可以采取以下方式：

可以通过数学来描述这个过程。首先，通过

表示车辆的位置，通过

表示特征点位置，其中i表示不同的时刻j表示不同的特征点。然后，通过如下方程表示车辆的运动：

的

其中u_i为通过其他方式获取的车辆运动信息如惯性测量单元等，这并不是必须的；w_i为噪声。通过如下方程表示对特征点的观测：

这表示在i时刻对j特征点的观测数据。以上公式中，z_i,j和u_i可以通过传感器获取，而的目标就是通过上述方程求解出

与

其中

就表示车辆的精确位置，而通过对特征点位置

进行集合，就可以构建出地图。

可以将这个问题转化为一个优化问题。把

作为目标函数，则

对这个优化问题的求解可以通过数值方法求梯度和梯度矩阵，然后用梯度下降法求最优值，也可以通过其他优化方法进行求解。

通过上述过程，建立了地图，同时获取了车辆在地图中的实时位置信息，该地图就是自学习建图。

自学习建图成功后，进入步骤105。

步骤103：判断自建图是否成功

自学习建立的地图已经包含用户设置的驾驶终止点并且所建立的地图信息足够进行全局路径规划时，完成建图，系统自动返回步骤101。如果建图失败，则系统会保存没有完成学习建图的部分，并结束自学习建图功能。

步骤104：地图匹配，利用环视图像提取的语义特征与起止点地图的语义特征进行匹配；

步骤105：全局路径规划，基于用户设置的自动驾驶的起始点和终止点，基于已经学习的地图采用动态规划的方法生成全局路径规划；

步骤105路径规划成功后，提示用户是否进行固定点至固定点的自动泊车(召回)。泊车模式下，用户选择“Yes”则进入步骤106自动泊车状态；用户选择“No”则终止自动泊车功能。召回模式下，用户选择“Yes”则进入步骤106自动召回状态；用户选择“No”则终止自动召回功能。

步骤106：自主驾驶

系统进行自主泊车或召回时，调用步骤105生成的全局规划路径，并同时启动实时定位故障模块以及实时障碍物检测模块。通过实时定位故障模块以及实时障碍物检测模块的实时监测能够对泊车环境中一些突发情形及临时环境变换做出自适应的响应，保证自主驾驶的安全性。实时定位故障多发于泊车或召回环境出现临时较大的变动，导致当前获取图像中的语义特征无法与预存储的地图进行匹配。在自动泊车的过程中能够识别障碍物，这需要自建图的精确，现有技术还缺乏针对每辆车辆的自建地图，对每辆车辆中自建地图造成的行车路径更没有精确的检测预测功能，本发明的该故障模块以及实时障碍物检测模块解决了现有技术中存在的上述问题

步骤107：代客泊车(召回)完成

正常情况下，车辆自动行驶至目标地点完成任务。如果是泊车模式，代客泊车完成后，系统会通过手机端通知驾驶员功能完成，并附带车辆位置信息。

如果是召回模式，车辆到达取车点后会自动进入到双闪状态，等待驾驶员介入，同时驾驶员会收到手机端车辆到位请接管提醒。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

Claims (10)

1.一种自学习建图的方法，其特征在于：所述方法包括以下步骤：

步骤S1：驾驶员驾驶车辆处于慢速行驶或停止状态时，启动车载建图系统；并设定当前位置或未来车辆行驶到的某位置为起点，还设定未来车辆行驶预计终点；

步骤S2：驾驶员驾驶车辆从所述起点出发到达所述预计终点，同时车载建图系统记录下所述终点的具体位置，完成自学习建图；该自学习建图仅用于该车辆的自动驾驶；

在所述步骤S2中，所述车辆基于传感器采集的信息以及车载的处理单元完成所述自学习建图。

2.根据权利要求1所述的方法，其特征在于：所述自学习建图应用于自动泊车或者车辆的自动召回这一自动驾驶情景。

3.根据权利要求1-2中任一项所述的方法，其特征在于：在所述步骤S2中，当车辆到达预计终点后，驾驶员还可再次启动车载建图系统，返回所述步骤S1。

4.根据权利要求1-3中任一项所述的方法，其特征在于：所述传感器采集的信息是车辆环视图像、车辆位姿信息和/或车辆运动信息。

5.根据权利要求1-4中任一项所述的方法在泊车和召回中的应用，其特征在于：在自学习建图后，车辆在行驶过程中只需根据当前观测到的语义信息同构建好的地图进行匹配定位；在车辆行驶过程中，从观测数据获取的语义特征在所述地图中进行语义特征的匹配，从而完成定位。

6.一种车载自学习建图系统，其特征在于：所述系统包括处理单元、传感器以及设定单元；

所述设定单元用于设置启动、退出所述系统；还可以设定起点和终点；

所述传感器在车辆由设定的起点前往设定的终点的过程中，采集自学习建图信息；

所述系统基于所述传感器采集的信息以及所述处理单元完成自学习建图；该自学习建图信息仅适用于该车辆的自动驾驶。

7.根据权利要求5所述的系统，其特征在于：系统还包括存储器，所述处理单元通过自动泊车模式或者车辆的自动召回模式使用储存于存储器中的所述自学习建图信息。

8.根据权利要求5-6中任一项所述的系统，其特征在于：所述处理单元用于当所述终点并非预定地点时，再次启动车载建图系统，继续自学习建图，直至完成自学习建图。

9.根据权利要求5-7中任一项所述的系统，其特征在于：所述传感器采集的信息是车辆环视图像、车辆位姿信息和/或车辆运动信息。

10.根据权利要求5-9中任一项所述的系统，其特征在于：所述系统自学习建图通过以下方式完成，所述车辆的运动方程表示为：

特征点的观测方程为：

其中u_i为通过其他方式获取的车辆运动信息；w_i为噪声；z_i,j为在i时刻对j特征点的观测数据：所述z_i,j通过传感器获取，v_i,j是误差项；函数f()和h()表示确定的几何关系映射；通过所述车辆的运动方程和所述特征点的观测方程求解出

与

其中

表示车辆的精确位置，而通过对所述特征点位置

进行集合，构建出自学习地图。

Images