CN109212973A - 一种基于强化学习的仿人智能控制的避障控制方法 - Google Patents

Abstract

本发明涉及一种基于强化学习的仿人智能控制的避障控制方法，包括以下步骤：S1、车辆判断与障碍物的距离，当车辆前方感兴趣区域内出现障碍物时，判定二者距离d与安全距离S的关系，若d＜S，车辆无法实现有效避障，停车；若d≥S，且车辆与障碍物存在相对速度时，则实施避障；如若d≥S，且相对速度为零时，车辆按原路线行驶；S2、车辆避障学习：计算车辆避障转弯半径和加速度；S3、车辆自主避障：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。对于各种状况的道路，本发明提出的避障控制方法均具有较高的避障率，具有较好的实用性和发展潜力。

Description

一种基于强化学习的仿人智能控制的避障控制方法

技术领域

本发明涉及自动驾驶领域，具体涉及一种基于强化学习的仿人智能控制的避障控制方法。

背景技术

随着小型智能车的普及，人们在短距离出行方面有了更多的选择，同时智能车在一些特殊场合的应用也发挥了愈发重要的作用，如在反恐、巡查等特殊任务中的执行协助，因而针对狭窄复杂路面的辅助避障驾驶技术研究越发受到青睐。纵观国内外关于智能车的研究多偏向无人驾驶汽车，无人驾驶汽车具有依托于多传感器技术的高成本及主要于规则道路行驶的应用局限性，因而其核心技术并不完全适用于小型智能车。

在过去的几十年里，研究者提出很多避障方法，比如SS.GE等人改进了传统人工势场法中的引力函数和斥力函数，把障碍物与机器人的相对速度参数加入到了函数中，实现了移动机器人的有效避障，但是运动过程中被控对象很可能陷入局部极点而不能到达原规划可行路径中的目标点，且计算复杂度非常高，很难满足实时性要求；此外，反应式避障法在静态环境中有较好的效果，但在动态环境中不适合。

目前关于智能车自主避障控制的研究，主要分成应用于静态条件的传统算法和动态场景的智能算法两大类，这些方法所做出的避障决策对于周遭环境变化快速的狭窄复杂路面还不能完全达到实时快速的自主避障效果。

发明内容

针对上述技术问题，本发明公开了一种基于强化学习的仿人智能控制的避障控制方法，采用如下技术方案，其包括以下步骤：

S1、车辆判断与障碍物的距离，当车辆前方感兴趣区域内出现障碍物时，判定二者距离d与安全距离S的关系，若d<S，车辆无法实现有效避障，停车；若d≥S，且车辆与障碍物存在相对速度时，则实施避障；如若d≥S，且相对速度为零时，车辆按原路线行驶；

S2、车辆避障学习：计算车辆避障转弯半径和加速度；

S3、车辆自主避障：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。

进一步，车辆与障碍物的安全距离是:

其中a表示车辆加速度，v_a表示障碍物速度，v_r为车辆与障碍物相对速度，r为车辆避障时对应的车轮的转弯半径，y_p、y_p'分别为两个障碍物顶点p、p'与车在前进方向y轴上的距离。

进一步，车辆避障转弯的加速度需满足：其中g为重量加速度常数，h为车辆重心与地面的垂直距离，d为重心与车体边缘的水平距离。

进一步，车辆自主避障具体包括：

1)确定目标轨迹，根据车辆自主避障时对性能指标的要求，确定其理想的系统单位阶跃响应过程，然后把此过程变换到误差相平面上，为误差和误差变化率的阈值，其将划分成不同的区域，每个区域表示避障系统处于不同的运动控制状态，设计理想的误差轨迹，然后把这条理想的误差轨迹当做HSIC控制器进行设计的目标轨迹，也即HSIC特征模型和控制、校正模态的目标轨迹；目标轨迹就是将理想避障规划轨迹的转弯半径和加速度参数和车辆实际行驶过程中避障转弯半径和加速度的差值及其阈值投影至相空间，并选取平面中投影曲线中的一条；

2)建立特征模型，依据理想误差轨迹在相平面上的不同位置，选取合适的特征基元集，并划分出不同的特征状态区域，构建所需要的特征模型Φ_i，两个输入变量：分别代表t时刻车辆实施避障时转弯半径的偏差值e₁＝r_t-r和加速度偏差值e₂＝a_t-a；设定理想阈值r_ep、w_ep，建立自主避障控制的误差相平面，划分以下特征模型：

3)设计控制规则和控制模态集，根据车辆自主避障时的控制系统状态所处的特征模型与理想目标轨迹之间的差异，以及目标轨迹的移动趋势，模仿人的控制思想，设计各种不同的具体控制模态并进行校正。

本发明主要体现智能小车的避障功能，可以为自动运输机器人、采矿勘探机器人、家用自动清洁机器人等自动半自动机器人的设计与普及，以及汽车自动驾驶有一定的参考意义。

对于各种状况的道路，本发明提出的改进方法均具有较高的避障率，具有较好的实用性和发展潜力。

附图说明

图1为本发明避障轨迹规划图。

图2为避障安全距离示意图。

图3为智能车辆自主避障的实验环境一、实验环境二。

图4为三种方法的避障有效率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

智能避障控制全过程分为三个阶段，各阶段及其控制目标如下：

S1、避障初始化阶段：车辆前方感兴趣区域内出现障碍物，判定二者距离d与安全距离S的关系，若d≥S，开始实施避障，若d<S，车辆无法实现有效避障，停车。

为了避免碰撞，必须考虑安全行车间距，才不会发生碰撞类事故。根据本发明试验车型的固有参数计算车辆进行避障时与障碍物的最小安全距离如图1所示，灰色模块代表智能车辆，黑色模块代表障碍物，为了不发生碰撞，车辆顶点Q必须同障碍物顶点p无接触，满足y_P-y_Q<y_P-y_P′，y_p、y_p'分别为两个障碍物顶点p、p'与车在y轴上的距离。图像处理得到车辆与前方感兴趣区域内障碍物的实时监测数据，计算车辆相对速度v_r，查阅本领域相关文献可知普通车辆的临界安全车距公式为：

其中，a表示车辆加速度，v_a表示障碍物速度。本发明所涉及的智能车辆遵守弧形的避障规则，不同于普通车辆的刹车避障，利用类似方法估算车辆应与障碍物所保持的安全距离是:

S2、车辆避障学习阶段：规划路径以满足车辆避障转弯半径和加速度的要求。

为便于控制车辆，实现车体有效避障，本发明选择基于弧形的避障规划轨迹。选定特定车型的智能车辆，车辆避障时对应的车轮的转弯半径设为r，基于弧形的避障轨迹可近似由图2所示的两段弧构成，且圆弧的半径较大。

该避障过程包括转向避障和继续直行，避障轨迹的数学描述如下：如图2所示，设定智能车沿道路纵向也即x方向行驶，道路横向为y方向，车辆匀速行驶的速度为v，设θ_t为车辆在时间t内行驶时所转过的角度：

其中，设车辆转弯半径为r。设定车辆结束避障用时为T，此时车辆行驶转过的弧度为：

θ_T＝vT/r (2)

车辆避障的横向偏移轨迹为：

y(t)＝r-rcosθ_t,0≤t≤t' (3)

其中t′为车辆转θ_t角的时间，而当t′≤t≤T时，为：

y(t)＝r-rcosθ_t′+rcos(θ_T-θ_t)-rcosθ_t′＝r[1+cos(θ_T-θ_t)-2cosθ_t′] (4)

车辆在避障过程中于道路纵向即x方向上的移动距离则为：

车辆转弯半径影响避障过程的有效性和平稳性，因此确立合适范围内的转弯半径对于避障效果尤为关键。对车辆转弯过程进行受力分析，设m为车辆的质量，r为车辆的转弯半径,v为车辆的速度，则在圆弧轨迹避障过程中车辆的向心力为：

为保证车辆安全的行驶，重力G与向心力F的合力F_c的方向须指向车体正中间，且F_c延伸至地面的交点须落在车体边缘内。向心力随着转弯速度v的增大而增大，与此同时F_c增大，向心力与F_c的夹角减小，若避障过程中不减速容易侧翻。令h为重心与地面的垂直距离，d为重心与车体边缘的水平距离，计算得转弯轨迹应该满足下列条件:

由此得圆弧半径：

此外，车辆在避障过程中，应该同时减速保持安全和稳定。因此该避障策略须综合考虑车辆制动加速度等因素对车辆有效避障行驶的影响。a为车辆的加速度，则有惯性力：

F_a＝ma (11)

即避障轨迹需满足：

由此，车辆加速度为：

综上步骤S1和S2，车辆避障规则为：图像处理得到车体与障碍物的距离S，计算最小安全距离S，车辆与障碍物相对速度v_r，车辆加速度a。通过判断车辆与障碍物的距离，若其值小于最小安全车距，则车辆无法实现有效避障，只能停车；而若车辆与障碍物的距离大于或等于安全车距，且存在相对速度时，则需酌情实施避障；如若车辆与障碍物的距离大于或等于安全车距，且相对速度为零时，车辆按原路线行驶。

S3、自主避障阶段：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。

使智能车辆在自主避障过程中的动态响应在理想的误差轨迹上移动是本发明特征模型与控制模态集应该达到的理想目标。其具体设计步骤如下：

1)确定目标轨迹。根据车辆自主避障时对性能指标的要求，确定其理想的系统单位阶跃响应过程，然后把此过程变换到误差相平面上，为误差和误差变化率的阈值，其将划分成不同的区域，每个区域表示避障系统处于不同的运动控制状态，设计理想的误差轨迹，然后把这条理想的误差轨迹当做HSIC控制器进行设计的目标轨迹，也即HSIC特征模型和控制、校正模态的目标轨迹。

本发明控制器的目标轨迹就是将理想避障规划轨迹的转弯半径和加速度参数和车辆实际行驶过程中避障转弯半径和加速度的差值及其阈值投影至相空间，并选取平面中投影曲线中的一条。

2)建立特征模型。依据理想误差轨迹在相平面上的不同位置，选取合适的特征基元集，并划分出不同的特征状态区域，构建所需要的特征模型Φ_i。本发明存在两个输入变量：

e₁＝r_t-r；e₂＝a_t-a (14)

分别代表t时刻车辆实施避障时转弯半径的偏差值以及加速度偏差值。避障的前提是车体与障碍物距离大于或等于安全距离S。在控制策略中，应根据车辆避障转弯角度进行关键切换，也即转弯半径。设定理想阈值r_ep、w_ep，建立自主避障控制的误差相平面，划分以下特征模型：

3)设计控制规则和控制模态集。根据车辆自主避障时的控制系统状态所处的特征模型与理想目标轨迹之间的差异，以及目标轨迹的移动趋势，模仿人的控制思想，设计各种不同的具体控制模态并进行校正。

本发明对所提出的避障算法进行了验证，检验智能车辆避障路径规划及效果，在含有大小不一障碍物的道路上进行了多次自主避障试验。针对两种避障场景，实验现场环境及障碍物分布情况见图3的左右图所示，车道宽分别为6m和4m。起点设在目标车道的开端位置，也即分别位于图片正下方。初始方向与道路边界线平行，图3左右图中目标车道中的两个障碍物位置距离车辆起始点分别为1.5m和2m，且都在智能车车前的感兴趣区域内，影响车辆按原直行路线行驶。试验中，设定智能车辆最大速度为vmax＝4m/s。在该实验中，图3左图中障碍物G1属于固定物体，不会移动，无速度，相对速度即为车辆速度v；右图中的障碍物G2属于移动障碍。设车辆与固定障碍物的安全距离为S，对于移动障碍物而言，若车辆同其距离满足S则也属于安全范围。经计算上图车辆应与障碍物所保持的距离符合最小安全距离的条件，可实现有效避障。

智能车辆正常行驶后速度平均为v＝2.5m/s，车道中障碍物G1和障碍物G2的宽高分别为0.3m*0.8m和0.5m*1.7m，车辆用正常速度2m/s匀速行驶时，其标准避障距离S＝1m。计算理想规避障碍物G1轨迹的转弯半径和加速度：

r₁＝0.836m，a₁＝-0.297m/s²

而对于移动障碍物G2，二者存在相对速度，路人速度约为1.4m/s，vr＝1.1m/s。获得理想规避障碍物G2轨迹的转弯半径和加速度：

r₂＝1.012m，a₂＝-0.118m/s²

之后进入车辆避障学习阶段，使车辆遵循避障转弯半径和加速度理论值，逐渐逼近理想规划路径。模态划分参数需要在线学习优化，设迭代次数为500，且部分参数范围如下：

k_p∈(0，1)，k_d(0，0.5)

本发明选取200条道路段做实验测试样本，其中100条道路段作为训练样本和另外100条道路段作为测试样本，根据本发明提出的避障算法来进行避障实验，其结果如下：

表1本发明方法的避障有效率

为了检验本发明提出的方法的性能，选取两种其他类型的避障方法，同样使用本发明中的100条道路段作为训练样本和另外100条道路段作为测试样本，检测其性能并与本发明提出的方法对比。本发明首先将改进的HSIC算法与基本仿人智能控制算法进行了对比，第二种方法为强化学习。实验结果如下表：

表2基于仿人智能控制算法的避障有效率

表3基于强化学习的避障有效率

对于上述结果，可做如下分析：选取同样的训练集分别对三个模型进行训练，测试时使用同样的测试样本，从以上各表中可以看出，基于基本仿人智能控制算法的方法，在72条有障碍的道路上实现了有效规避，避障率为85.71％，为三种方法中最低；基于强化学习方法的避障率为88.09％，于74条有障道路上实现了有效规避；而本发明提出的方法的避障率达到了92.86％，共于78条有障道路上实现了有效规避。

此外，为了进一步测试本发明算法的避障效果，选定上述实验中存在障碍物的84条道路，每条道路分割出长度为15m的试验路段，道路中分布着大大小小的杂物，据统计，各路段中障碍物数量从1到21不等，道路状况均不相同。便于实验分析，本发明将这84条道路按照障碍杂物数量分为四个状况等级：A级道路对应杂物数量为1～5的路段；B级道路对应杂物数量为6～11的路段；C级道路对应杂物数量为12～16的路段；D级道路对应杂物数量为17～21的路段。这四种等级即表示了路况的好坏程度，杂物数量越多，干扰越多，避障难度也相应加大。实验结果如图4所示，基于强化学习的仿人智能算法在不同状况等级的路上均比未改进的HSIC算法和强化学习算法避障效率高。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于强化学习的仿人智能控制的避障控制方法，其特征在于，包括以下步骤：

S1、车辆判断与障碍物的距离，当车辆前方感兴趣区域内出现障碍物时，判定二者距离d与安全距离S的关系，若d<S，车辆无法实现有效避障，停车；若d≥S，且车辆与障碍物存在相对速度时，则实施避障；如若d≥S，且相对速度为零时，车辆按原路线行驶；

S2、车辆避障学习：计算车辆避障转弯半径和加速度；

S3、车辆自主避障：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。

2.根据权利要求1所述的方法，其特征在于：车辆与障碍物的安全距离是:

其中a表示车辆加速度，v_a表示障碍物速度，v_r为车辆与障碍物相对速度，r为车辆避障时对应的车轮的转弯半径，y_p、y_p'分别为两个障碍物顶点p、p'与车在前进方向y轴上的距离。

3.根据权利要求1所述的方法，其特征在于：车辆避障转弯的加速度需满足：其中g为重量加速度常数，h为车辆重心与地面的垂直距离，d为重心与车体边缘的水平距离。

根据权利要求1所述的方法，车辆自主避障具体包括：

1)确定目标轨迹，根据车辆自主避障时对性能指标的要求，确定其理想的系统单位阶跃响应过程，然后把此过程变换到误差相平面上，为误差和误差变化率的阈值，其将划分成不同的区域，每个区域表示避障系统处于不同的运动控制状态，设计理想的误差轨迹，然后把这条理想的误差轨迹当做HSIC控制器进行设计的目标轨迹，也即HSIC特征模型和控制、校正模态的目标轨迹；目标轨迹就是将理想避障规划轨迹的转弯半径和加速度参数和车辆实际行驶过程中避障转弯半径和加速度的差值及其阈值投影至相空间，并选取平面中投影曲线中的一条；

2)建立特征模型，依据理想误差轨迹在相平面上的不同位置，选取合适的特征基元集，并划分出不同的特征状态区域，构建所需要的特征模型Φ_i，两个输入变量：分别代表t时刻车辆实施避障时转弯半径的偏差值e₁＝r_t-r和加速度偏差值e₂＝a_t-a；设定理想阈值r_ep、w_ep，建立自主避障控制的误差相平面，划分以下特征模型：

3)设计控制规则和控制模态集，根据车辆自主避障时的控制系统状态所处的特征模型与理想目标轨迹之间的差异，以及目标轨迹的移动趋势，模仿人的控制思想，设计各种不同的具体控制模态并进行校正。