CN109708654A

CN109708654A - 一种路径规划方法和路径规划系统

Info

Publication number: CN109708654A
Application number: CN201811638775.6A
Authority: CN
Inventors: 姚萌
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd; Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2019-05-03

Abstract

本发明提供一种路径规划方法和路径规划系统，其中方法包括：获取车辆在目标路段行驶过程中采集的N个视频序列；在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，每条行驶轨迹包括多个轨迹点；根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合；将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径。本发明中，通过多个历史视频序列生成多条历史行驶轨迹，并根据多条历史行驶轨迹的轨迹点，生成行驶路径点集合。这样，车辆在目标路段行驶时，可利用这些行驶路径点集合快速地生成行驶路径，提高了路径规划的效率。

Description

一种路径规划方法和路径规划系统

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种路径规划方法和路径规划系统。

背景技术

自动泊车，例如代客泊车(Valet Parking，简称VP)，作为自动驾驶技术的一方面，能够使车辆沿着规定的路段自动地泊进或泊出。

现有的代客泊车技术中，一般在车辆上安装传感器，通过传感器的定位、环境感知、导航等功能实现在线路径规划。车辆在每一次泊车任务中，均需要进行在线路径规划，存在运算量较大，所需功耗较大的问题，这导致路径规划的效率较低。

发明内容

本发明实施例提供一种路径规划方法和路径规划系统，以解决现有路径规划方法存在效率较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种路径规划方法，包括：

获取车辆在目标路段行驶过程中采集的N个视频序列；其中，所述N个视频序列分别为所述车辆在所述目标路段行驶N趟所采集的视频序列，每个视频序列包括M帧画面，所述N和所述M均为大于1的整数；

在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，每条行驶轨迹包括多个轨迹点；

根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合；

将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径。

第二方面，本发明实施例提供了一种路径规划系统，包括：

视频序列获取模块，用于获取车辆在目标路段行驶过程中采集的N个视频序列；其中，所述N个视频序列分别为所述车辆在所述目标路段行驶N趟所采集的视频序列，每个视频序列包括M帧画面，所述N和所述M均为大于1的整数；

行驶轨迹生成模块，用于在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，每条行驶轨迹包括多个轨迹点；

行驶路径点集合生成模块，用于根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合；

行驶路径生成模块，用于将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径。

第三方面，本发明实施例提供了另一种路径规划系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现第一方面所述的路径规划方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的路径规划方法中的步骤。

本发明实施例中，通过获取车辆在目标路段行驶过程中采集的多个历史视频序列，生成车辆在目标路段的多条历史行驶轨迹，并根据多条历史行驶轨迹的轨迹点，生成目标路段的行驶路径点集合。这样，车辆在目标路段行驶时，即可利用这些行驶路径点集合快速地生成行驶路径，而无需借助于各种传感器进行在线路径规划，不仅降低了路径规划的运算量，降低了路径规划所需的功耗，还提高了路径规划的效率。

附图说明

图1是本发明实施例提供的一种路径规划方法的流程示意图；

图2是本发明实施例提供的一种路径规划系统的结构示意图；

图3是本发明实施例提供的另一种路径规划系统的结构示意图；

图4是本发明实施例提供的另一种路径规划系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种路径规划方法，应用于路径规划系统，该路径规划系统能够获取车辆在目标路段行驶中采集的视频序列，并对视频序列进行处理，生成目标路段的行驶路径点集合，以供车辆在目标路段行驶时用于规划目标路段的行驶路径。

如图1所示，一种路径规划方法，包括以下步骤：

步骤101：获取车辆在目标路段行驶过程中采集的N个视频序列。

其中，上述N(N为大于1的整数)个视频序列分别为车辆在目标路段行驶N趟所采集的视频序列，上述N个视频序列均可以理解为历史的视频序列。

车辆在目标路段行驶所采集的视频序列的数量越多，路径规划系统所规划出的行驶路径越佳，路径规划系统的运算量也会随之增多。当视频序列的数量达到一定量时，路径规划系统所规划出的行驶路径将趋于一致。因此，考虑到路径规划稳定性和运算量两方面的因素，获取视频序列的数量不宜太少，也不宜过多。一般地，对于同一路段，可以获取大约10个视频序列。当然，也可以考虑路段的长度、路段的复杂程度、路段的行车数量等因素，来选取合适数量的视频序列。

上述N个视频序列均可以通过设置于车辆的摄像装置(例如前向广角相机)进行采集。可以是在车辆行驶过程中，在线获取上述N个视频序列，也可以是在车辆行驶结束后，离线获取上述N个视频序列。

上述N个视频序列中，每个视频序列均可以包括M(M为大于1的整数)帧画面，视频序列中的各帧画面既可以体现车辆行驶在时域上的特征，又可以体现车辆行驶在空间上的特征。因此，视频序列中的各帧画面可以用来表示摄像装置的位置，也可以用来表示车辆的位置。

每个视频序列包含画面的帧数与摄像装置的采样频率有关，采样频率越高，每个视频序列包含画面的帧数越多。

步骤102：在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，每条行驶轨迹包括多个轨迹点。

如前所述，视频序列中的各帧画面可以用来表示车辆的位置，因此，包括多帧画面的视频序列可以用来表示车辆在目标路段的行驶轨迹。

基于此，该步骤中，可以在预先创建的目标路段的三维环境模型中，生成与N个视频序列一一对应的N条行驶轨迹。其中，每条行驶轨迹包括多个轨迹点，且每个轨迹点对应一帧画面，或者说，每个轨迹点对应一个车辆位置。

关于如何在目标路段的三维环境模型中生成与N个视频序列一一对应的N条行驶时轨迹，说明如下。

可以将每个视频序列中的每帧画面与目标路段的三维环境模型进行匹配，从而能够确定每帧画面在该三维环境模型中的对应位置，由于每帧画面对应一个车辆位置，因此，每帧画面在该三维环境模型中的对应位置即可表示车辆的轨迹点，多帧画面在该三维环境模型中的多个对应位置即可形成车辆的行驶轨迹。

本发明实施例中，目标路段的三维环境模型的创建时机可以在生成行驶轨迹之前的任何合适的时间。

目标路段的三维环境模型的创建可以依托SFM(Structure From Motion)技术实现，SFM是由一系列包含着视觉运动信息(motion signals)的多幅二维图像序列(2D imagesequences)估计三维结构(3D model)的技术，因此，通过摄像装置获取目标路段的多幅二维图像序列，并依托SFM技术估计目标路段的三维结构，即可创建目标路段的三维环境模型。

本发明实施例中，可以根据车辆在目标路段行驶过程中采集的第一视频序列，创建目标路段的三维环境模型。该第一视频序列可以为上述N个视频序列中的一个视频序列，也可以为独立于上述N个视频序列的一个另外的视频序列。

对于如何根据第一视频序列创建目标路段的三维环境模型，可以采用如下的实施方式：将所述第一视频序列的每帧画面逐帧进行特征点匹配，创建该三维环境模型。

步骤103：根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合。

由于在步骤102中已经在三维环境模型中生成了N条行驶轨迹，因此，该步骤中，可以通过对N条行驶轨迹的轨迹点进行分析，生成目标路段的行驶路径点集合。这里，行驶路径点可以理解为步骤104中生成的行驶路径中的一个点，行驶路径点的集合可以理解为分布于行驶路径上的无数个离散的点。

生成目标路段的行驶路径点集合的方式有多种，例如，可以将N条行驶轨迹的轨迹点中，较密集的轨迹点分布的区域确定为行驶路径点所在的区域，再在该区域中随机确定一点作为行驶路径点；又例如，可以将N条行驶轨迹的轨迹点中，位于中间的区域确定为行驶路径点所在的区域，再在该区域中随机确定一点作为行驶路径点；等等。

步骤104：将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径。

该步骤中，通过将目标路段的行驶路径点集合从三维环境模型投影至二维行驶场景，即可生成供车辆使用的，用于在目标路段行驶的行驶路径。此时，车辆即可按照该行驶路径进行行驶。在当前车辆偏离了该行驶路径时，例如，车辆行驶时因目标路段中出现障碍物而偏离该行驶路径，可通过分析当前车辆与该行驶路径的偏移量，为车辆行驶提供参考控制量，以使车辆可以重新回到该行驶路径继续行驶。

为了更好地理解本发明实施例的技术方案，可以将N个视频序列理解为视频序列集合，每个视频序列为该视频序列集合中的一个元素；每个视频序列对应一条行驶轨迹，因此，视频序列集合也可理解为行驶轨迹集合，每条行驶轨迹为该行驶轨迹集合中的一个元素；每条行驶轨迹又包括多个轨迹点，因此，每条行驶轨迹可理解为一个轨迹点集合；通过多个轨迹点集合，即可生成包含多个行驶路径点的行驶路径点集合。

本发明实施例中，根据车辆大量的行驶轨迹生成目标路段的行驶路径点集合，以用于车辆行驶时生成行驶路径。目标路段的行驶路径的生成有利于减少车辆因避障或其他原因造成的行驶路线变更对在线行驶路径规划带来的歧义影响，提高了路径规划的效率。

可选的，所述在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，包括：

获取所述N个视频序列中，每个视频序列的每帧画面；

确定所述N个视频序列中每帧画面对应的车辆位置；

将每帧画面对应的车辆位置标记于所述三维环境模型中，生成每个视频序列对应的行驶轨迹。

该实施方式中，对于确定N个视频序列中每帧画面对应的车辆位置的原理，说明如下：N个视频序列中的每帧画面可以是单视点画面，视点是指观察景物的角度，即从何处去观察景物。可见，N个视频序列中的每帧画面可以反映相机的拍摄位置，而相机设置于车辆，从而N个视频序列中的每帧画面可以反映车辆位置。因此，可以通过N个视频序列中每帧画面确定对应的车辆位置。

该实施方式基于视频序列的每帧画面，估计车辆在目标道路上不同行驶路径之间的相对位置，通过关联每帧画面之间的相对位置，建立车辆在目标路段行驶的轨迹地图。该实施方式下生成的行驶轨迹具有较高的精确性。

可选的，所述根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合，包括：

获取基准行驶轨迹中，每个基准轨迹点对应的行驶路径点；其中，所述基准行驶轨迹为所述N条行驶轨迹中的一条行驶轨迹，所述基准行驶轨迹包括多个基准轨迹点；

生成所述目标路段的行驶路径点集合。

该实施方式中，可以在多条行驶轨迹中随机选择一条行驶轨迹作为基准行驶轨迹，也可以在多条行驶轨迹中选择一条特定的行驶轨迹作为基准行驶轨迹。其中，基准行驶轨迹作为一条行驶轨迹，包含有多个基准轨迹点。针对每个基准轨迹点，分别获取与每个基准轨迹点对应的行驶路径点。

获取与每个基准轨迹点对应的行驶路径点的方式有多种：例如，从其他行驶轨迹中分别选取一个与某个基准轨迹点相对应的轨迹点，将选取的各轨迹点与该基准轨迹点之间的距离进行加权平均，得到平均距离，将距离该基准轨迹点为该平均距离的点作为该基准轨迹点对应的行驶路径点。

可选的，所述获取基准行驶轨迹中，每个基准轨迹点对应的行驶路径点，包括：

从所述N条行驶轨迹中除所述基准行驶轨迹之外的每条行驶轨迹中，分别获取与第一基准轨迹点最接近的轨迹点；其中，所述第一基准轨迹点为所述基准行驶轨迹中的一个轨迹点；

对获取到的轨迹点和所述第一基准轨迹点进行高斯拟合，得到所述第一基准轨迹点对应的行驶路径点。

其中，从其他行驶轨迹中获取与第一基准轨迹点最接近的轨迹点，轨迹点的接近程度可以以两个轨迹点在三维环境模型中坐标之间的欧式距离进行度量。

该实施方式中，对获取到的轨迹点与第一基准轨迹点形成的集合进行高斯函数拟合，并将均值作为该第一基准轨迹点对应的行驶路径点。

这样，通过重复实施上述步骤，可以分别获取基准行驶轨迹的每个基准轨迹点对应的行驶路径点，即获取包括多个行驶路径点的集合。

通过该实施方式获取的行驶路径点集合，一般为车辆最常经过的行驶路径点，可以认为是较佳的行驶路径点集合，因此，可以用其生成较佳的行驶路径。

可选的，所述将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径，包括：

将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景；

针对分布于所述二维行驶场景可见道路区域的行驶路径点，在相邻的行驶路径点之间进行稠密插值，形成连续曲线，以生成所述车辆用于在所述目标路段行驶的行驶路径。

该实施方式中，可以将行驶路径点集合中的每个行驶路径点从三维环境模型投影至二维行驶场景，根据实际的二维行驶场景保留一定数量的行驶路径点，并保证保留的行驶路径点分布在二维行驶场景的可见道路区域。这样，由于仅保留分布于二维行驶场景的可见道路区域的行驶路径点，可以使生成的行驶路径更加符合实际的行驶场景。并且，由于无需考虑未分布于二维行驶场景的可见道路区域的行驶路径点，使得生成行驶路径所需的运算量进一步降低。

如图2所示，本发明实施例提供一种路径规划系统200，包括：

视频序列获取模块201，用于获取车辆在目标路段行驶过程中采集的N个视频序列；其中，所述N个视频序列分别为所述车辆在所述目标路段行驶N趟所采集的视频序列，每个视频序列包括M帧画面，所述N和所述M均为大于1的整数；

行驶轨迹生成模块202，用于在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，每条行驶轨迹包括多个轨迹点；

行驶路径点集合生成模块203，用于根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合；

行驶路径生成模块204，用于将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径。

可选的，行驶轨迹生成模块202具体用于：

获取所述N个视频序列中，每个视频序列的每帧画面；

确定所述N个视频序列中每帧画面对应的车辆位置；

可选的，行驶路径点集合生成模块203具体用于：

生成所述目标路段的行驶路径点集合。

可选的，行驶路径点集合生成模块203具体用于：

可选的，如图3所示，路径规划系统200还包括：

三维环境模型创建模块205，用于根据所述车辆在所述目标路段行驶过程中采集的第一视频序列，创建所述目标路段的三维环境模型。

可选的，三维环境模型创建模块205具体用于：

将所述第一视频序列的每帧画面逐帧进行特征点匹配，创建所述三维环境模型。

可选的，所述第一视频序列为所述N个视频序列中的一个视频序列。

可选的，行驶路径生成模块204具体用于：

需要说明的是，本发明实施例中上述路径规划系统200可以是方法实施例中任意实施方式的路径规划系统，方法实施例中任意实施方式都可以被本实施例中的路径规划系统200所实现，以及达到相同的有益效果，为避免重复，此处不再赘述。

如图4所示，本发明实施例还提供的另一种路径规划系统400，该路径规划系统400包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序；处理器402执行所述计算机程序时，实现如下步骤：

在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器402代表的一个或多个处理器和存储器401代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器402负责管理总线架构和通常的处理，存储器401可以存储处理器402在执行操作时所使用的数据。

可选的，处理器402执行所述程序时，还实现：

获取所述N个视频序列中，每个视频序列的每帧画面；

确定所述N个视频序列中每帧画面对应的车辆位置；

可选的，处理器402执行所述程序时，还实现：

生成所述目标路段的行驶路径点集合。

可选的，处理器402执行所述程序时，还实现：

根据所述车辆在所述目标路段行驶过程中采集的第一视频序列，创建所述目标路段的三维环境模型。

可选的，处理器402执行所述程序时，还实现：

需要说明的是，本发明实施例中上述路径规划系统400可以是方法实施例中任意实施方式的路径规划系统，方法实施例中任意实施方式都可以被本实施例中的路径规划系统400所实现，以及达到相同的有益效果，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种路径规划方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述在预先创建的所述目标路段的三维环境模型中，生成与所述N个视频序列一一对应的N条行驶轨迹，包括：

获取所述N个视频序列中，每个视频序列的每帧画面；

确定所述N个视频序列中每帧画面对应的车辆位置；

3.根据权利要求1所述的方法，其特征在于，所述根据所述N条行驶轨迹的轨迹点，生成所述目标路段的行驶路径点集合，包括：

生成所述目标路段的行驶路径点集合。

4.根据权利要求3所述的方法，其特征在于，所述获取基准行驶轨迹中，每个基准轨迹点对应的行驶路径点，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述车辆在所述目标路段行驶过程中采集的第一视频序列，创建所述目标路段的三维环境模型，包括：

7.根据权利要求5所述的方法，其特征在于，所述第一视频序列为所述N个视频序列中的一个视频序列。

8.根据权利要求1所述的方法，其特征在于，所述将所述目标路段的行驶路径点集合从所述三维环境模型投影至二维行驶场景，以生成所述车辆用于在所述目标路段行驶的行驶路径，包括：

9.一种路径规划系统，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，所述行驶轨迹生成模块具体用于：

获取所述N个视频序列中，每个视频序列的每帧画面；

确定所述N个视频序列中每帧画面对应的车辆位置；

11.根据权利要求9所述的系统，其特征在于，所述行驶路径点集合生成模块具体用于：

生成所述目标路段的行驶路径点集合。

12.根据权利要求11所述的系统，其特征在于，所述行驶路径点集合生成模块具体用于：

13.根据权利要求9所述的系统，其特征在于，还包括：

三维环境模型创建模块，用于根据所述车辆在所述目标路段行驶过程中采集的第一视频序列，创建所述目标路段的三维环境模型。

14.根据权利要求13所述的系统，其特征在于，所述三维环境模型创建模块具体用于：

15.根据权利要求13所述的系统，其特征在于，所述第一视频序列为所述N个视频序列中的一个视频序列。

16.根据权利要求9所述的系统，其特征在于，所述行驶路径生成模块具体用于：

17.一种路径规划系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至8中任一项所述的路径规划方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的路径规划方法中的步骤。