CN108229730B - 一种基于模糊奖励的无人驾驶车辆轨迹生成方法 - Google Patents

Abstract

本发明涉及一种基于模糊奖励的无人驾驶车辆轨迹生成方法，包括以下步骤：1)获取多条示教车辆的轨迹信息，并统计轨迹信息中轨迹特征的特征期望；2)在无人驾驶车辆运行过程中，根据特征期望获取当前空间状态下的奖励值；3)根据每个空间状态下的奖励值在空间中选择轨迹点坐标，拟合后形成最终的无人驾驶车辆的车辆轨迹。与现有技术相比，本发明具有规律统计、具有健壮的迁移能力、简单易操作、贴近示教、适用于小数据集等优点。

Description

一种基于模糊奖励的无人驾驶车辆轨迹生成方法

技术领域

本发明涉及无人车辆驾驶决策领域，尤其是涉及一种基于模糊奖励的无人驾驶车辆轨迹生成方法。

背景技术

无人驾驶汽车是具有自主行驶能力移动机器人的一种高级形态。它是能够实现环境感知、决策规划与运动控制三大功能于一体的智能计算系统。系统相对其它小型移动机器人来说，结构比较复杂。除了基本的移动行驶能力外，具有运用雷达、摄像头等各种传感器配合特制的高精度地图进行即时的数据融合与定位，实现对当前环境的感知理解。同时，根据感知器理解的道路和运动障碍物信息，车辆运用决策规划算法切出合理可行的预期轨迹，由控制模块进行最终的车辆移动行为实施。整个智能计算系统包括了车道线检测、障碍物识别、高精度地图、高精度定位、决策规划算法和控制器设计等重要的关键技术，涉及众多学科知识，具有极高的理论研究意义与工程实践价值。

无人驾驶车辆研究的领域包括环境感知、行为决策、规划控制三大方向。其中，行为决策作为连接环境感知与规划控制的中枢位置，具有十分重要的地位，已经成为无人驾驶领域研究的重点和难点。行为决策是在当前环境下可选的几种可行性方案中挑选出符合自身行为目的的最佳方案过程。在这个过程中，往往需要特定的决策算法对采取行为之后的结果状态进行预测评价，力求在统一判断标准下做到选取最佳的行为。对于无人驾驶车辆而言，行为决策需要根据当前雷达、摄像头等传感器融合的数据信息获取对外部环境的感知理解，对车辆即将执行的下一个行为进行合理的预测，并根据决策算法将可选的行为以物理值的形式传递给规划控制系统，进一步实现决策模块的期望行为，以实现车辆的无人操作自主驾驶。

行为决策理论最早出现在心理学、管理学、经济学领域，后来逐渐拓展应用于其他方向。当前，关于车辆的行为决策主要集中于有限状态机、决策树、多属性决策等传统的经验方法和基于学习的预测方法。基于经验的设计方法不能拓展至综合复杂的场景，却有着很高的稳定性；基于学习预测的方法虽然对行为有着难以确定的稳定性与安全性，不过对场景的适应能力要远优于基于经验的设计方法。从无人驾驶的发展来看，必然面临场景的复杂性与多变性这一问题，而现有方法中却没有有效解决该问题的手段。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于模糊奖励的无人驾驶车辆轨迹生成方法。

本发明的目的可以通过以下技术方案来实现：

一种基于模糊奖励的无人驾驶车辆轨迹生成方法，包括以下步骤：

1)获取多条示教车辆的轨迹信息，并统计轨迹信息中轨迹特征的特征期望；

2)在无人驾驶车辆运行过程中，根据特征期望获取当前空间状态下的奖励值；

3)根据每个空间状态下的奖励值在空间中选择轨迹点坐标，拟合后形成最终的无人驾驶车辆的车辆轨迹。

所述的步骤1)中，轨迹特征为车辆与最左车道线距离、车辆与最右车道线距离、车辆与左边障碍物距离、车辆与右边障碍物距离、车辆与正前方障碍物距离、车辆与正后方障碍物距离和/或车辆自身车速。

所述的步骤2)具体包括以下步骤：

21)计算当前状态下所有轨迹特征的递减程度函数；

22)根据递减程度函数计算轨迹特征对应的奖励；

23)对特征对应的奖励进行求和得到车辆在该状态下的奖励值。

所述的步骤21)中，递减程度函数Decay(μ_i)的计算式为：

其中，μ_i为第i个轨迹特征的特征期望值，

为期望特征的频率，n为轨迹特征的总数。

当特征为连续特征时，所述的期望特征的频率为特征标准差σ的β倍范围内数值出现的次数。

所述的步骤22)中，轨迹特征对应的奖励V(f_i)的计算式为：

其中，f_i为第i个轨迹特征的特征值。

所述的步骤23)中，车辆在该状态下的奖励值r的计算式为：

所述的步骤3)中，

选取奖励值最大对应的空间点最为轨迹拟合点，并对其坐标拟合形成最终的无人驾驶车辆的车辆轨迹。

与现有技术相比，本发明具有以下优点：

1，本发明具有明确的优化理论支撑。从示教轨迹出发，以统计规律得出示教规律的表达式，生成接近专家示教规律的轨迹离散点。

2，本发明所给出的方法具有健壮的迁移能力。本发明中所给出的方法，可以针对未知环境进行轨迹离散点的生成，有着较高的上限边界。在任何未知环境下，车辆的周围环境都能以有限特征表述，这是车辆本身在运动时与周围环境进行交互所决定的。本发明抓住了这样的相对环境特性，利用示教规律的数学表达式，可切出最靠近专家示教规律的车辆行驶轨迹离散点。

3，本发明所提供的方法简单易操作。相对于其它的机器学习方法，本发明所提供的方法简单易懂，并且具有很高的易操作性。在优化过程上，本方法并没有复杂的数学推导。

4，本发明所采用的方法是基于数据学习。这种方式的好处是可以从尽可能多的示教数据集中得到最为优秀的示教规律，塑造更加贴近专家示教规律的数学模型。

5，本发明所采用的方法同样适用于小数据集的学习。本发明所采用的表达式，间接地以统计手段反映专家示教规律，并不排斥小样本的数据学习。

附图说明

图1为车辆访问不同车道的示教分布律图。

图2为算法恢复的分布律图。

图3为本发明的实验结果图，其中，图(3a)为专家示教结果，图(3b)为模糊奖励学习结果。

图4为模糊奖励特征表示示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供一种基于模糊奖励的无人驾驶车辆轨迹生成方法，该方法的原理如下：

1)虽然特征与奖励之间的关系不可量化，但是在车辆决策问题中，在本发明中，特征与奖励之间的关系假定并不复杂，可以简单的线性叠加方式描述；

2)在工程应用中，白盒系统的使用意味着输出的确定性。对于无人驾驶行为决策，白盒系统是最佳选择。在本发明中将以简单的模糊计算方式得到奖励，该计算方式的计算结果取决于数据，表达式明确。

基于此，本发明认为，在决策系统中，奖励结果为特征组的线性叠加。基于这样的假设，如果车辆的状态价值由n个特征f_i ^s对应的奖励V(f_i ^s)组成，并且特征值可变，车辆该状态下的奖励为：

本发明提出的模糊方法需要以有限特征能够将数学规律进行抽象表达。首先假定人类示教的车辆轨迹是由有限特征能够表达的。即是车辆在行驶过程中，车辆状态能够由几个关键的特征进行描述。比如，在车辆行驶的过程中，车辆需要与左右障碍物保持有限距离，与左右车道保持一定距离，与前后障碍物也会有相应的距离。这里的几个特征往往就能够充分地表述记录该车辆的轨迹特性。再者，本发明提出的模糊算法需要计算车辆行驶过程中车辆“最佳”的行驶状态。这里的“最佳”行驶状态是车辆轨迹数据特征的“最佳”组合，也就是需要计算的平均期望特征的“最佳”组合。以上两个条件都具备后，一般是对所有期望特征进行同等赋值，然后模糊递减。本发明所提出的方法与一般模糊方法不同之处在于从数据中学习各个特征的递减程度。本发明在研究车辆行驶轨迹中，认为车辆轨迹的各个特征的递减程度可由其出现的频率来进行计算。在连续数据中，期望特征的出现次数也许很少甚至没有，但是从整个行驶轨迹来看，数据是围绕在期望特征值附近进行波动。不同的特征，其波动方差是不一样的。根据这一问题，本发明提出的模糊方法统一定义在其波动方差一定范围内进行“频率近似”，将在波动方差一定范围内的数据个数作为出现的特征期望频率。计算得到特征期望频率后，算法将特征期望对应的奖励值除以特征频率，将计算的结果作为该特征的递减程度函数。本发明所提出的算法有着实际的物理意义。如果车辆轨迹中某个期望特征的频率很大，说明车辆在行驶过程中大多是在距离所计算的该期望特征很近的状态。于是，相对于频率较少的期望特征，特征在此状态所贡献的奖励值比较大。从数学上的角度来看，当某个状态中两个特征距离期望特征同样的数值，必然是期望特征频率较大的奖励递减的程度小。整个模糊奖励的表达式可写为：

为了计算简单，将期望特征组合最大的奖励赋值为1。上式中f_i是状态的第i 个特征，μ_i是第i个特征的特征期望，Decay(μ_i)是第i个特征的奖励递减程度函数。同时，为了区别各个特征期望在车辆轨迹中的频率值，本发明采用的是将每个特征的0.5倍方差范围内的数据作为此特征期望的出现频率。综上所述，整个算法的框架如下所示：

1)计算期望特征μ₁,μ₂,…,μ_n；

2)计算期望特征的频率

如果特征为连续特征，期望频率的计算等于特征标准差σ的β倍范围内数值出现的次数：

3)利用公式

计算递减程度；

4)应用公式

计算各个状态的奖励值。

实施例：

在本次仿真实验中，为了简化状态数据的处理，每辆小车所在的位置由小车到最左车道的距离、小车到前方障碍物的距离以及车辆的自身速度组成。本次仿真状态与深度逆向强化学习的仿真状态设计有所区别。本次仿真中，车辆所在的车道利用车辆到最左车道线的距离进行表示，如图4所示。

本次仿真中，特征期望在示教轨迹中的频率计算设定为该特征期望0.5倍方差范围内的数据出现频率。奖励递减函数由特征对应的最大奖励值除以特征期望频率进行计，如图1和2所示。

实验设计：

在本次实验中，示教数据来源于人类驾驶员驾驶车辆采集得到的连续数据。该连续数据含有车辆位置的一系列信息，包括车辆与前车的距离、与最左最右车道线距离、与前后方车辆的距离等信息。每隔50米进行一次数据的抽样，总共采样100 次。本次实验利用抽样得到的100次实验数据，计算最终的模糊奖励表达式。

本次实验中，算法需要对每个采样点状态进行的栅格化。每个采样点都有四个重要的信息，即是车辆与四周障碍物及最左最右的车道线距离。在实验中，如果车辆与左右边的障碍物距离小于车辆与最左最右车道线距离，则车辆此次状态信息关联于左右障碍物。例如，车辆在某个位置的状态信息为 [2.01,1.03,1.20,0.54,4.63,3.89]，依次为车辆与最左车道线距离，车辆与最右车道线距离，车辆与左边障碍物距离，车辆与右边障碍物距离，车辆与正前方障碍物距离，车辆与正后方障碍物距离。由于车辆与左右方的障碍物距离都小于车辆与最左最右车道线的距离，在本例中，车辆的与障碍物的相对状态即是[1.20,0.54,4.63,3.89]。状态的栅格化是在相对状态所确定的矩形区域内进行。图3是实验结果。

Claims (7)

1.一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，包括以下步骤：

1)获取多条示教车辆的轨迹信息，并统计轨迹信息中轨迹特征的特征期望；

2)在无人驾驶车辆运行过程中，根据特征期望获取当前空间状态下的奖励值，具体包括以下步骤：

21)计算当前状态下所有轨迹特征的递减程度函数；

22)根据递减程度函数计算轨迹特征对应的奖励；

23)对特征对应的奖励进行求和得到车辆在该状态下的奖励值；

3)根据每个空间状态下的奖励值在空间中选择轨迹点坐标，拟合后形成最终的无人驾驶车辆的车辆轨迹。

2.根据权利要求1所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，所述的步骤1)中，轨迹特征为车辆与最左车道线距离、车辆与最右车道线距离、车辆与左边障碍物距离、车辆与右边障碍物距离、车辆与正前方障碍物距离、车辆与正后方障碍物距离和/或车辆自身车速。

3.根据权利要求1所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，所述的步骤21)中，递减程度函数Decay(μ_i)的计算式为：

其中，μ_i为第i个轨迹特征的特征期望值，

为期望特征的频率，n为轨迹特征的总数。

4.根据权利要求3所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，当特征为连续特征时，所述的期望特征的频率为特征标准差σ的β倍范围内数值出现的次数。

5.根据权利要求3所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，所述的步骤22)中，轨迹特征对应的奖励V(f_i)的计算式为：

其中，f_i为第i个轨迹特征的特征值。

6.根据权利要求5所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，所述的步骤23)中，车辆在该状态下的奖励值r的计算式为：

7.根据权利要求1所述的一种基于模糊奖励的无人驾驶车辆轨迹生成方法，其特征在于，所述的步骤3)中，

选取奖励值最大对应的空间点最为轨迹拟合点，并对其坐标拟合形成最终的无人驾驶车辆的车辆轨迹。

Images