CN111310919A - 基于场景切分和局部路径规划的驾驶控制策略训练方法 - Google Patents

Abstract

本发明公开了一种基于场景切分和局部路径规划的驾驶控制策略训练方法，系统以(1)道路场景切分、(2)局部路径规划及生成预瞄点用作指示、(3)基于强化学习的多场景自动驾驶控制策略搜索三大部分为特点，提高自动驾驶中策略搜索的效率和策略的鲁棒性。

Description

基于场景切分和局部路径规划的驾驶控制策略训练方法

技术领域

本发明涉及一种基于场景切分和局部路径规划的驾驶控制策略训练方法，属于自动驾驶技术领域。

背景技术

自动驾驶需要保证在尽可能多的场景下都能顺利完成任务，其中的任务即从指定的起点安全、顺利地达到终点。通常在每个任务中，都有多种道路场景，如直行、左、右转弯、变道等等。基于规则的驾驶控制策略需要在所有场景下合理定义控制规则，且无法处理规则未覆盖的场景。另一方面，可以利用真实的驾驶员驾驶数据和监督学习方法，得到驾驶控制策略，该途径则需要人工在多种场景下采集海量的样本进行训练，对于未见过的场景，同样也存在风险。强化学习作为一种有效的策略学习方法，通过在环境中大量试错，从试错的交互轨迹经验中学得控制策略，因此能探索更多未见场景并获得对应的最优控制策略。为了规避真实场景下不可忽视的试错代价，通常在自动驾驶模拟器中用强化学习来训练驾驶策略，然后将策略模型迁移部署到实车进行控制的方式，这可以获得更加智能的驾驶策略。

使用强化学习来训练自动驾驶控制策略时，通常以摄像头、雷达等传感器的观测信息及导航信息作为策略输入，进行横向和纵向控制，直接求解全程路段的驾驶控制策略难度较大，使用强化学习训练时需要进行许多额外的探索，导致训练开销较大。

发明内容

发明目的：在自动驾驶控制中，为了获得更加智能的驾驶策略，通常在仿真环境中进行强化学习训练，来获得驾驶策略，并进行迁移。为了提高强化学习训练驾驶策略的效率，节省训练时间开销，本发明提出了一种基于场景切分和局部路径规划的驾驶控制策略训练方法，该方法将全路程划分为多个路段，在每个路段使用局部路径规划及预瞄点信息为驾驶提供指示，并在多个路段场景中用强化学习进行训练，通过将全程任务分解训练的方式，可以极大提高驾驶策略训练的效率。

技术方案：一种基于场景切分和局部路径规划的驾驶控制策略训练方法，主要包括道路场景切分、局部路径规划、预瞄点生成指示信息、多路段场景驾驶策略搜索部分，其中道路场景切分将具有相近特征的路段划分为同一个场景，例如小弯道、大弯道、十字路口、直行道等；在每个场景下，根据局部路径规划指定该任务下的参考行驶路线，并根据当前的速度及所在路段的特性，计算预瞄距离生成预瞄点，使用预瞄点和当前位置方向信息作为驾驶指令信息；驾驶策略搜索模块主要使用强化学习算法获得多场景下的驾驶策略。包括如下步骤：

步骤1，结合地图信息，利用3D引擎生成自动驾驶仿真环境；

步骤2，根据地图上可行道路及GPS信息，将区域内所有道路离散化为关键点序列，每个点用GPS坐标表示；

步骤3，将每个点空间位置上前后相邻的点连接成的路径曲线作为局部路段，并使用机器学习中方法对局部路段划分到不同集合，每个路段仅属于某一个集合；

步骤4，在每个路段结合局部GPS信息，使用搜索算法得到局部行驶路径的关键点参考点列，根据当前车况(速度及所在路段)，计算预瞄距离D，并选择预瞄点，使用预瞄点作为驾驶指示信息；

步骤5，随机采样路段场景，结合预瞄点形成的驾驶指示信息，结合当前传感器的观测，进行驾驶策略搜索。

其中步骤1、2为前置处理，步骤3、4、5为本发明主要公开技术。通过以上步骤得到的策略，可直接结合局部路径规划及指示信息，实现多道路场景下的驾驶控制，即可直接完成全程驾驶任务。

附图说明

图1为本发明方法的训练流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

下面假设已经根据实际地图信息，利用3D引擎完成自动驾驶仿真环境搭建。

道路场景切分：

根据已经离散化后的道路关键点点集N，通常关键点之间的距离为5～10米，可选择其相邻点构成局部路段，并使用聚类算法对局部路段进行划分。对于关键点点集中每一个点N_i(i＝1,2,…)，根据前后相邻点构成的外接圆计算该点的曲率c_i，对每个点，选择其前后各几个点，按顺序依次将每个点的曲率填充到为一个向量特征，例如前后各三个点时，则此时样本维度为7，构成数据集D＝{x1,x2,…,xn}。

【实施例1】使用聚类算法k-means

首先，从数据集D中随机选取k个样本作为初始的k个聚类中心；

其次，为其余每个样本计算到当前k个聚类中心的距离，并将当前样本划分到到聚类中心距离最小的类；

再次，重新计算每个聚类Ci的均值向量，

作为新的聚类中心，然后，重复执行以上两步，直到聚类中心不再发生变化；

最后，输出划分完后的聚类作为道路场景切分结果。

【实施例2】使用谱聚类算法

首先，定义两个样本i，j之间的距离

其中dim为样本的维度,x_i,l表示样本i的第l维的取值。根据距离，构建邻接矩阵W，邻接矩阵W中的第i行第j列元素

表示样本i和j之间的相似度；

其次，计算拉普拉斯矩阵，L＝diag(deg(W))-W，其中diag(deg(W))是将W每行元素求和，构造出的度矩阵，是一个对角矩阵，即diag(deg(W))是一个n*n的矩阵，只有对角线上有非零元素，其他元素均为0，对角线上的第i个元素对应W第i行所有元素之和；

然后，对上一步计算出的拉普拉斯矩阵进行特征值分解，取第2,3,…,m+1个特征值(从小到大排列，第一个为0)对应的特征向量，并列成矩阵U；

再次，U作为样本特征为m维数据集，输入k-means算法，得到k个聚类；

最后，输出划分完后的聚类作为道路场景切分结果。

局部路径规划：

对于切分后的每个道路场景，首先使用树搜索方法，搜索出当前路段、当前位置下的局部规划路径，然后结合预瞄点，作为驾驶的指示信息。而为了能使用树搜索方法进行局部路径规划，需要先将自动驾驶车辆的可行驶距离和方向离散化，在进行短距离局部路径规划时，通常将车辆前进/后退距离离散化为0.5米，方向以每10度为间隔，对左右各30度或左右各90度进行离散化。

【实施例1】

首先，对于选定的局部道路场景x，使用搜索算法，例如A*算法、MCTS算法，搜索出局部道路行驶关键点序列N_local(一般每两个点之间距离为0.5～1米)；

其次，根据当前位置和所在道路场景中的路段x中最近的点的曲率c_i以及速度V(单位m/s)，通常曲率较大时，预瞄距离较小，曲率较小时，预瞄距离较大，采用如下的曲率c_i和速度V的函数，计算预瞄点距离D:

D₂＝min(max(I×V,J),K)

D＝D₁+D₂,

其中，A为关于曲率的预瞄距离参数，可令A＝(B+G)/2；B为关于曲率的预瞄距离下限，E为所有点中曲率的最大值，H为所有曲率的算术平均值，即

F＝E-H，G为关于曲率的预瞄距离上限，I为单位时间间隔，通常取0.2～2s，J为关于速度的预瞄距离下限，K为关于速度的预瞄距离上限。A、B、G、J、K可人工设定，或者，先为A、B、G、J、K设立取值范围，测试每组设置下，预瞄点的连线和所有道路的偏离程度(每个预瞄点和最近三个的关键点的平均距离之和)，选取偏离程度最小的一组参数。

再次，根据预瞄距离D选择下一个预瞄点，同时从局部道路行驶关键点序列N_local中选取预瞄点前方的多个关键点(一般6-8个)坐标；

然后，根据选择的坐标，将关键点坐标直接作为指示信息输入策略模型，或者，通过预定义规则获得如左转、右转、直行等指示信息。

多场景策略搜索：

经过道路场景切分和局部路径规划后，其中的每一种道路场景，都有一个对应的路段集合(例如经过划分过后，道路场景可能为小弯道集合、大弯道集合、十字路口集合、直行道集合等)，其中每一个路段可通过局部路径规划，完成实时局部路径规划并得到当前位置的驾驶指示信息，每次从所有场景中采样一个场景，进行驾驶策略搜索，并根据策略搜索的结果，优先采样当前策略成功率较低的路段，继续进行策略搜索。

【实施例1】使用强化学习进行多场景驾驶策略搜索

步骤1，用神经网络构建初始策略模型，并为每种道路场景(路段集合)设置相同的权重w_i＝1；

步骤2，根据权重设置概率分布

并按照该概率分布，采样出一种道路场景，并从采样出的场景集合中均匀随机选取一条路段，重复采样N次，得到N条路段；

步骤3，在每条路段下，以随机初始状态S0(包含位置、速度、方向等)，使用策略模型，结合局部路径规划及驾驶指示信息，执行驾驶控制动作a，自动驾驶仿真环境返回下一时刻状态S’及对应奖励信息r，直到行驶完该路段，最后可得到N条形如(S0,a0,r0,S1,a1,r1,…,Sn)的交互轨迹；

步骤4，根据当前策略下的期望累积奖励R_i＝∑_t＝1γ^tr_t,γ∈[0,1],i＝1,2,…,N，并重新计算每种道路场景i的权重

其中Ci为道路场景(即路段集合)，使得当前期望收益较低的路段之后被采样到的概率更大；

步骤5，使用强化学习算法，例如PPO(临近策略优化)算法等，利用上述交互轨迹，进行策略优化。

步骤6，重复步骤2～5，直到每种路段的期望收益都不再提高。

经过以上步骤搜索得到的驾驶策略模型可以结合局部路径规划，完成多种路段的驾驶任务。

Claims (7)

1.一种基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，包括如下步骤：

步骤1，结合地图信息，利用3D引擎生成自动驾驶仿真环境；

步骤2，根据地图上可行道路及GPS信息，将区域内所有道路离散化为关键点序列，每个点用GPS坐标表示；

步骤3，将每个点空间位置上前后相邻的点连接成的路径曲线作为局部路段，并使用机器学习中方法对局部路段划分到不同集合，每个路段仅属于某一个集合；

步骤4，在每个路段结合局部GPS信息，使用搜索算法得到局部行驶路径的关键点参考点列，根据当前车况，计算预瞄距离D，并选择预瞄点，使用预瞄点作为驾驶指示信息；

步骤5，随机采样路段场景，结合预瞄点形成的驾驶指示信息，结合当前传感器的观测，进行驾驶策略搜索。

2.如权利要求1所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，步骤3中使用聚类算法对局部路段进行划分，对于关键点点集中每一个点N_i(i＝1，2，...)，根据前后相邻点构成的外接圆计算该点的曲率c_i，对每个点，选择其前后各几个点，按顺序依次将每个点的曲率填充为一个向量特征，构成数据集D＝{x1，x2，...，xn}。

3.如权利要求2所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，使用聚类算法k-means对局部路段进行划分：

首先，从数据集D中随机选取k个样本作为初始的k个聚类中心；

其次，为其余每个样本计算到当前k个聚类中心的距离，并将当前样本划分到到聚类中心距离最小的类；

再次，重新计算每个聚类Ci的均值向量，

作为新的聚类中心，然后，重复执行以上两步，直到聚类中心不再发生变化；

最后，输出划分完后的聚类作为道路场景切分结果。

4.如权利要求2所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，使用谱聚类算法对局部路段进行划分

首先，根据样本之间的相似度，构建邻接矩阵W；

其次，计算拉普拉斯矩阵，L＝diag(deg(W))-W，其中diag(deg(W))是将W每行元素求和，构造出的度矩阵，是一个对角矩阵，；

然后，对上一步计算出的拉普拉斯矩阵进行特征值分解，取第2，3，…，m+1个特征值(从小到大排列，第一个为0)对应的特征向量，并列成矩阵U；

再次，U作为样本特征为m维数据集，输入k-means算法，得到k个聚类；

最后，输出划分完后的聚类作为道路场景切分结果。

5.如权利要求1所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，步骤4中：

首先，对于选定的局部道路场景中的路段x，使用搜索算法：搜索出局部道路行驶关键点序列N_local；

其次，根据当前位置和所在道路场景中的路段x中最近的点的曲率c_i以及速度V，采用如下公式计算预瞄点距离D：

D₂＝min(max(I×V，J)，K)

D＝D₁+D₂，

其中，A，B，E，F，G，H，I，J，K为预定义系数或预定义常量；

再次，根据预瞄距离D选择下一个预瞄点，同时从局部道路行驶关键点序列N_local中选取预瞄点前方的多个关键点坐标；

然后，根据选择的坐标，将关键点坐标直接作为指示信息输入策略模型，或者，通过预定义规则获得指示信息。

6.如权利要求1所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，步骤5中：经过道路场景切分和局部路径规划后，其中的每一种道路场景，都有一个对应的路段集合，其中每一个路段通过局部路径规划，完成实时局部路径规划并得到当前位置的驾驶指示信息，每次从所有场景中采样一个场景，进行驾驶策略搜索，并根据策略搜索的结果，优先采样当前策略成功率较低的路段，继续进行策略搜索。

7.如权利要求6所述的基于场景切分和局部路径规划的驾驶控制策略训练方法，其特征在于，使用强化学习进行多场景驾驶策略搜索：

步骤1，用神经网络构建初始策略模型，并为每种道路场景设置相同的权重w_i＝1；

步骤2，根据权重设置概率分布

并按照该概率分布，采样出一种道路场景，并从采样出的场景集合中均匀随机选取一条路段，重复采样N次，得到N条路段；

步骤3，在每条路段下，以随机初始状态S0，使用策略模型，结合局部路径规划及驾驶指示信息，执行驾驶控制动作a，自动驾驶仿真环境返回下一时刻状态S’及对应奖励信息r，直到行驶完该路段，最后可得到N条形如(S0，a0，r0，S1，a1，r1，...，Sn)的交互轨迹；

步骤4，根据当前策略下的期望累积奖励R_i＝∑_t＝1γ^tr_t，Y∈[0，1]，i＝1，2，...，N，并重新计算每种道路场景i的权重

其中Ci为道路场景，使得当前期望收益较低的路段之后被采样到的概率更大；

步骤5，使用强化学习算法，例如PPO(临近策略优化)算法等，利用上述交互轨迹，进行策略优化；

步骤6，重复步骤2～5，直到每种路段的期望收益都不再提高；

经过以上步骤搜索得到的驾驶策略模型可以结合局部路径规划，完成多种路段的驾驶任务。

Images