CN110525421B - 一种用于具有挂车的车辆的车道保持强化学习方法及系统 - Google Patents

一种用于具有挂车的车辆的车道保持强化学习方法及系统 Download PDF

Info

Publication number
CN110525421B
CN110525421B CN201910899310.4A CN201910899310A CN110525421B CN 110525421 B CN110525421 B CN 110525421B CN 201910899310 A CN201910899310 A CN 201910899310A CN 110525421 B CN110525421 B CN 110525421B
Authority
CN
China
Prior art keywords
trailer
state quantity
updated
reinforcement learning
vehicle state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910899310.4A
Other languages
English (en)
Other versions
CN110525421A (zh
Inventor
方啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201910899310.4A priority Critical patent/CN110525421B/zh
Publication of CN110525421A publication Critical patent/CN110525421A/zh
Application granted granted Critical
Publication of CN110525421B publication Critical patent/CN110525421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了用于具有挂车的车辆的车道保持强化学习方法和系统，所述车辆包括牵引车和挂车，该方法包括根据当前车辆状态量获取增强信号；对当前车辆状态量和增强信号进行强化学习，更新决策动作；根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。本发明通过不断地更新反馈增强信号，从而获得车辆的速度、重量、航向角、车道线距离与所需方向盘转角、角速度的对应关系，并将最优的对应关系作为自动驾驶经验储存，保证车道保持的稳定性及自适应性。

Description

一种用于具有挂车的车辆的车道保持强化学习方法及系统
技术领域
本发明涉及自动驾驶车辆技术领域，特别是涉及一种用于具有挂车的车辆的车道保持强化学习方法及系统。
背景技术
现有技术中的卡车的结构如图1所示，该卡车的结构包括牵引车1和挂车2这两部分；其中，3为牵引车1的质点(即卡车的后轮轴中心)，4为挂车2的质点(即挂车2的后轮轴中心)。通常，卡车满载的重量是普通轿车的20-25倍，卡车的长度是普通轿车的4-5倍，且卡车的结构为非统一的整体(即包含牵引车和挂车)；所以，卡车在道路行驶过程中，卡车对车辆自身的控制与普通轿车相比更为复杂且要求更高。
卡车在车道内行驶，除了需要将牵引车1保持在车道内外，还需要将挂车2保持在车道内。由于卡车在空载、半载、满载状态时的重量不同、行驶速度也不同，如果在行驶过程中由于驾驶操作不当，如：对方向盘转角、转向角速度控制不当，卡车将会出现如图2所示的直线车道行驶过程中的甩挂现象以及如图3所示的过弯行驶过程中的刮碰现象。
卡车自动驾驶车道保持方法，需要卡车拥有经验丰富的卡车驾驶员的“大脑”，以实现卡车在直线车道、弯道的平稳行驶。
传统的卡车自动驾驶车道保持方法多数是采用监督学习方式，即：人为定义卡车速度、重量、航向角、车道线距离与所需方向盘转角、角速度、纵向加/减速度(油门、刹车)的对应关系，根据该对应关系，自动驾驶系统选取相应的方向盘转角、角速度调整决策动作，以保证车辆在车道线内平稳行驶。
然而，上述的卡车自动驾驶车道保持方法存在以下几个技术问题：
1.由于人为设定上述对应关系，那么就需要大量的试验数据，而试验数据的分析、分类具有一定的主观性，因此得到的试验数据不够准确；
2.卡车的试验数据量非常庞大，因此将卡车的所有速度、重量、航向角、车道线距离与所需方向盘转角、角速度、纵向加/减速度(油门、刹车)的对应关系一一列出存在很大的难度；
3.现有技术中的监督学习方式仅考虑了牵引车1对车道保持的控制，而忽略了挂车2对车道保持的控制，因此很容易造成挂车2在行驶过程中出现左右摇摆现象。
综上，现有技术中的监督学习的自动驾驶车道保持方法，其稳定性和自适应性均不够强大。
发明内容
基于背景技术中的技术问题，本发明提出了一种用于具有挂车的车辆的车道保持强化学习方法及系统，以增强其稳定性和自适应性，从而解决现有技术中存在的至少一个技术问题。
第一方面，本发明提出的一种用于具有挂车的车辆的车道保持强化学习方法，所述车辆包括牵引车和挂车，该方法包括以下步骤：
根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
对当前车辆状态量和增强信号进行强化学习，更新决策动作；
根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。
可选的，所述根据当前车辆状态量获取增强信号包括以下子步骤：
S110：初始化车辆状态量；
S120：判断训练的次数是否小于设定的最大训练次数，若是，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
S130：判断训练的步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回步骤S120。
可选的，所述计算增强信号包括以下子步骤：
根据当前车辆状态量确定牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量；
根据当前车辆状态量、牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量确定所述增强信号。
可选的，所述增强信号是通过以下公式来确定的；
当θ1(t)≥0且d2(t)≥d1(t)时，确定所述增强信号r(t)＝r0；
当θ2(t)≥0且d4(t)≥d3(t)时，确定所述增强信号r(t)＝r0；
当θ1(t)＜0且d1(t)+d2(t)≥d时，则确定所述增强信号r(t)＝r0；
当θ2(t)＜0且d3(t)+d4(t)≥d时，确定所述增强信号r(t)＝r0；
其他情况下，所述增强信号通过以下公式确定为：
Figure GDA0002515581660000031
其中，r0为预设的最小增强信号数值；d1(t)为牵引车质点到其中一侧车道线的距离，d2(t)为牵引车相对于质点中心偏移量；θ2(t)为t时刻挂车的航向角，d3(t)为挂车质点到所述其中一侧车道线的距离，d4(t)为挂车相对于质点中心偏移量；d为左侧车道线和右侧车道线之间的宽度；α为预设的牵引车的控制权重(0＜α＜1)，1-α为预设的挂车的控制权重。
可选的，所述对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作包括以下子步骤：
判断更新后的增强信号是否等于r0，若是，则训练步长加1，返回步骤S120；
若更新后的增强信号不等于r0，则根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述决策动作的反馈结果来调整决策动作。
可选的，所述决策动作包括方向盘转角、方向盘角速度、纵向加/减速度。
第二方面，本发明提出的一种用于具有挂车的车辆的车道保持强化学习系统，所述车辆包括牵引车和挂车，该系统包括获取模块、更新模块和调整模块；
所述获取模块用于根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
所述更新模块用于对当前车辆状态量和增强信号进行强化学习，更新决策动作；
所述调整模块用于根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。
可选的，所述获取模块包括初始化单元、第一计算单元和第二计算单元；其中，
所述初始化单元用于初始化车辆状态量；
所述第一计算单元用于判断训练的次数是否小于设定的最大训练次数，若是，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
所述第二计算单元用于判断训练步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回执行第一计算单元的操作。
可选的，所述第二计算单元执行以下操作：
根据当前车辆状态量确定牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量；
根据当前车辆状态量、牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量确定所述增强信号。
可选的，所述调整模块执行以下操作：
判断更新后的增强信号是否等于r0，若是，训练步长加1，则返回执行第一计算单元的操作；若更新后的增强信号不等于r0，将则根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述决策动作的反馈结果来调整决策动作；其中，所述r0为预设的最小增强信号数值。
与现有技术相比，本发明的有益效果是：
本实施例的车道保持的自主强化学习方法，通过实时地与环境(即车辆状态量)交互，在成功和失败的经验教训中自主车道保持决策动作。具体来说，该方法根据当前车辆状态量获取增强信号，通过对当前车辆状态量和增强信号的强化学习，对原有的决策动作进行评估后获得更新后的决策动作，增强信号的数值直接反映出每次决策动作的“好”、“坏”。“好”的决策动作将被强化学习神经网络系统作为正样本进行储存，“坏”的决策动作将被强化学习神经网络系统作为负样本进行储存。强化学习系统通过不断地更新反馈，从而获得车辆的速度、重量、航向角、车道线距离与所需方向盘转角、角速度的对应关系，并将最优的对应关系作为自动驾驶经验储存，保证车辆的车道保持的稳定性及自适应性。
附图说明
通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：
图1是现有技术中的一种卡车的结构示意图；
图2是现有技术中的卡车在直线车道行驶过程中出现的甩挂现象示意图；
图3是现有技术中的卡车在过弯行驶过程中出现的刮碰现象示意图；
图4是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的流程示意图；
图5是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的工作原理示意图；
图6是本发明实施例提供的计算增强信号的示意图；
图7是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的另一流程示意图；
图8是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习系统的结构示意图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一、用于具有挂车的车辆的车道保持强化学习方法
1、一种用于具有挂车的车辆的车道保持强化学习方法
图4是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的流程示意图，其中，所述车辆包括牵引车和挂车，参见图4，该方法包括以下步骤：
步骤100：根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
可选的，本实施例中的当前车辆状态量可以来自于预先建立的车辆物理模型；
步骤200：对当前车辆状态量和增强信号进行强化学习，更新决策动作；
步骤300：根据更新后的决策动作反馈至车辆物理模型，获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和增强信号进行强化学习以调整决策动作。
其中，强化学习是指通过一个能感知环境的自治代理(agent)，自主学习选择能达到其目标的最优动作。具体自主学习的过程是代理在其环境中做出动作，环境会给予反馈，代理根据环境的反馈(成功给予奖励、失败给予惩罚)，对动作进行认识和学习，从而在后续的动作中优先考虑正确的行为和避免错误的行为发生，如此不断学习，最终可以确定出最优动作。
结合本实施例，先根据环境信息任意确定一个原有的决策动作(即车辆的方向盘原有的转角、方向盘角速度、纵向加/减速度(油门、刹车)，再利用当前车辆状态量和增强信号更新原有的决策动作；然后根据更新后的决策动作再次更新车辆状态量和增强信号，如此不断的进行反馈调整，最终获得最佳决策动作。
具体的，参见图5，图5是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的工作原理示意图；本实施例中的车辆以卡车来举例说明，可以理解的是，在其他实施例中，还可以是其他车辆，在t时刻，将卡车物理模型的当前车辆状态量X(t)及增强信号r(t)输入强化学习系统，强化学习系统根据增强信号r(t)的数值，对原有的决策动作进行评估，获得更新后的决策动作U(t)；将更新后的决策动作U(t)反馈至所述卡车物理模型，该卡车物理模型执行更新后的决策动作U(t)，获得更新后的车辆状态量X(t+1)及该更新后的车辆状态量所对应的增强信号r(t+1)，将更新后的车辆状态量X(t+1)和增强信号r(t+1)输入至强化学习系统进行训练以调整决策动作。
其中，所述卡车包括牵引车和挂车，所述车辆状态量X(t)包括：卡车的重量、当前速度、牵引车的车辆特征、挂车的车辆特征和当前方向盘转角；所述牵引车的车辆特征包括牵引车的尺寸、牵引车的航向角、牵引车的质点到其中一侧车道线的距离(例如：牵引车的质点到左侧车道线的距离)；所述挂车的车辆特征包括挂车的尺寸、挂车的航向角、挂车的质点到其中一侧车道线的距离(例如：挂车的质点到左侧车道线的距离)。
决策动作U(t)包括方向盘转角、方向盘角速度、纵向加/减速度(油门、刹车)；
增强信号r(t)可以预设为[r0-r1]之间的数值，一般是根据实际情况设定的，通常来讲，实际位置与设定的理想位置间的偏差幅度越小，增强信号越大，r(t)数值的大小反应了决策动作U(t)的好坏程度；优选的，可以将r0设定为-1，将r1设定为0，即r(t)∈[-1，0]，当r(t)＝0时，强化学习系统获得了最大的增强信号，表明该强化学习系统的当前状态为最优状态，即车辆在车道线间正常行驶；当r(t)＝-1，强化学习系统获得了最小增强信号，表明该强化学习系统的当前状态为最差状态，即车辆行驶到一侧车道线的边界或已越过一侧车道线；需要说明的是，在其他实施例中，r(t)还可以设定为其他范围内的数值，不限于本实例列出的[-1，0]的范围。
图7是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习方法的另一流程示意图；参见图7；所述根据车辆物理模型的当前车辆状态量获取增强信号包括S110-S130；
S110：初始化车辆状态量；
具体的，设定强化学习的最大训练次数为N，每次训练的最大步长为M(即，每次训练执行多少次决策命令)，随机初始化车辆状态量。
S120：判断训练的次数是否小于设定的最大训练次数，若是，根据车辆物理模型，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
具体的，若训练的次数小于设定的最大训练次数N,则根据车辆物理模型，计算车辆的下一状态量；若训练的次数大于等于设定的最大训练次数N,则停止训练，保存训练结果。
S130：判断训练的步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回步骤S120；所述增强信号用于表示所述车辆偏离所述车辆所处车道的中线的程度；
具体的，若训练的步长小于预先设定的最大步长M,则计算增强信号；若训练的步长大于等于预先设定的最大步长M,则保存训练结果，并将训练次数加1，重复S110直至训练的步长小于预先设定的最大步长。
2、计算增强信号的方法
本实施例中首先可以定义逆时针方向为角度的正方向，顺时针方向为角度的负方向；然后，预先获取车辆状态量，所述车辆状态量包括：牵引车的航向角、牵引车的质点到其中一侧车道线的距离、挂车的航向角和挂车的质点到其中一侧车道线的距离；
图6是本发明实施例提供的计算增强信号的示意图，参见图6，牵引车的航向角θ1(t)、牵引车的质点到左侧车道线的距离d1(t)、挂车的航向角θ2(t)和挂车的质点到左侧车道线的距离d3(t)均可以通过车载传感器(例如：该车载传感器包括摄像头、激光雷达、毫米波雷达、超声波雷达等)测量所获得；其中，θ1(t)＞0、θ2(t)＜0、d1(t)、d3(t)、θ1(t)、θ2(t)由车载传感器测量获得。
下面将具体说明计算所述增强信号rt的具体方法，则步骤130包括子S131-S133。
S131：根据当前车辆状态量确定牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量；
具体的，根据牵引车的航向角、牵引车的质点到车头的距离和牵引车后轮轴距获得牵引车相对于质点中心的偏移量；根据挂车的航向角、挂车的质点到挂车最前部的距离和挂车的后轮轴距获得挂车相对于质点中心的偏移量；具体公式如下：
Figure GDA0002515581660000081
Figure GDA0002515581660000082
其中，图6中5为左侧车道线，6为右侧车道线，左侧车道线和右侧车道线之间的宽度为d；牵引车1质点3到车头的距离为l1，牵引车1后轮轴距为l2，挂车2质点4到挂车最前部的距离为l3，挂车2的后轮轴距为l4；t时刻牵引车1的航向角为θ1(t)，牵引车1质点3到左侧车道线5的距离为d1(t)，牵引车1相对于质点中心偏移量为d2(t)；t时刻挂车2的航向角为θ2(t)，挂车2质点4到左侧车道线5的距离为d3(t)，挂车2相对于质点中心偏移量为d4(t)。
S132：根据当前车辆状态量、牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量确定所述增强信号。
具体的，根据牵引车的航向角以及牵引车质点到其中一侧车道线的距离、牵引车相对于质点中心偏移量和两侧车道线之间的宽度确定所述增强信号；
根据挂车2的航向角以及挂车2质点4到其中一侧车道线的距离、挂车2相对于质点中心偏移量和两侧车道线之间的宽度确定所述增强信号；
具体的，在本实施例中，所述增强信号是通过以下公式来确定的；
当θ1(t)≥0且d2(t)≥d1(t)时，表明牵引车1已行驶到左侧车道线1的边界或已越过左侧车道线1，则确定所述增强信号r(t)＝r0；
当θ2(t)≥0且d4(t)≥d3(t)时，表明挂车2已行驶到左侧车道线5的边界或已越过左侧车道线5，则确定所述增强信号r(t)＝r0；
当θ1(t)＜0且d1(t)+d2(t)≥d时，表明牵引车行驶到右侧车道线6的边界或已越过右侧车道线6，则确定所述增强信号r(t)＝r0；
当θ2(t)＜0且d3(t)+d4(t)≥d时，表明挂车2已行驶到右侧车道线6的边界或已越过右侧车道线6，则确定所述增强信号r(t)＝r0；
其他情况下，所述增强信号r(t)通过以下公式确定为：
Figure GDA0002515581660000091
其中，r0为预设的最小增强信号数值；α为预设的牵引车1的控制权重(0＜α＜1)，1-α为预设的挂车2的控制权重；优选的本实例中的r0＝-1。通过这种增强信号的确定方式使得在车道保持的学习过程中，强化学习系统可以综合考虑牵引车1与挂车2在车道线中的位置，避免发生甩挂现象。
3、更新决策动作的方法
下面将具体说明更新决策动作的具体方法，则所述步骤300包括以下子步骤310和320：
步骤310：判断更新后的增强信号是否等于r0，若是，则训练步长加1，返回步骤S120；
步骤320：若更新后的增强信号不等于r0，则强化学习系统根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述上一训练步长的决策动作的反馈结果来调整决策动作；优选的r0＝-1。
即强化学习系统根据增强信号的数值，获得上一步长决策动作的反馈结果，以此来判断上一训练步长的决策动作是“好”还是“坏”。另外根据增强信号的具体数值大小还可以进一步判断“好”的程度。
当增强信号r(t)＝r1时，优选的r1＝0时，强化学习系统获得最大反馈为0，表明该系统处于最优状态，该系统将根据增强信号的反馈，不断地调整决策动作。
针对训练步长的物理状态，强化学习系统将随机产生一个决策动作；其中，所述决策动作包括方向盘转角、方向盘角速度、纵向加/减速度(油门、刹车)。
本实施例中的强化学习系统可以是神经网络系统也可以利用其他强化算法进行学习的系统。
本实施例的车道保持的自主强化学习方法，通过实时地与环境(即车辆状态量)交互，在成功和失败的经验教训中自主车道保持决策动作。具体来说，该方法通过当前车辆状态量获取增强信号，通过强化学习系统对当前车辆状态量和增强信号的强化学习，对原有的决策动作进行评估后获得更新后的决策动作，增强信号的数值直接反映出每次决策动作的“好”(即增强信号为0)、“坏”(即增强信号为-1)。“好”的决策动作将被强化学习系统作为正样本进行储存，“坏”的决策动作将被强化学习系统作为负样本进行储存。强化学习系统通过不断地更新反馈，从而获得车辆的速度、重量、航向角、车道线距离与所需方向盘转角、角速度的对应关系，并将最优的对应关系作为自动驾驶经验储存，保证车辆的车道保持的稳定性及自适应性。
二、用于具有挂车的车辆的车道保持强化学习系统
图8是本发明实施例提供的一种用于具有挂车的车辆的车道保持强化学习系统的结构示意图，如图8所示，本实施例的车道保持的自主强化学习系统包括获取模块、更新模块和调整模块；
所述获取模块用于根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
所述更新模块用于对当前车辆状态量和增强信号进行强化学习，更新决策动作；
所述调整模块用于根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。
可选的，所述获取模块包括初始化单元、第一计算单元和第二计算单元；其中，
所述初始化单元用于初始化车辆状态量；
所述第一计算单元用于判断训练的次数是否小于设定的最大训练次数，若是，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
所述第二计算单元用于判断训练步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回执行第一计算单元的操作。
可选的，所述第二计算单元执行以下操作：
根据当前车辆状态量确定牵引车相对于质点中心偏移量和；挂车相对于质点中心偏移量；
根据当前车辆状态量、牵引车相对于质点中心偏移量和和挂车相对于质点中心偏移量确定所述增强信号。
可选的，所述调整模块执行以下操作：
判断更新后的增强信号是否等于r0，若是，训练步长加1，则返回执行第一计算单元的操作；若更新后的增强信号不等于r0，将则根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述决策动作的反馈结果来调整决策动作；
其中，所述r0为预设的最小增强信号数值。
本实施例中的自主强化学习系统的具体学习过程可分别参照上述实施例提供的自主强化学习方法的具体学习过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于具有挂车的车辆的车道保持强化学习方法，所述车辆包括牵引车和挂车，该方法包括以下步骤：
根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
对当前车辆状态量和增强信号进行强化学习，更新决策动作；
根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。
2.根据权利要求1所述的车道保持强化学习方法，其特征在于：所述根据当前车辆状态量获取增强信号包括以下子步骤：
S110：初始化车辆状态量；
S120：判断训练的次数是否小于设定的最大训练次数，若是，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
S130：判断训练的步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回步骤S120。
3.根据权利要求2所述的车道保持强化学习方法，其特征在于：所述计算增强信号包括以下子步骤：
根据当前车辆状态量确定牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量；
根据当前车辆状态量、牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量确定所述增强信号。
4.根据权利要求3所述的车道保持强化学习方法，其特征在于：所述增强信号是通过以下公式来确定的；
当θ1(t)≥0且d2(t)≥d1(t)时，确定所述增强信号r(t)＝r0；
当θ2(t)≥0且d4(t)≥d3(t)时，确定所述增强信号r(t)＝r0；
当θ1(t)＜0且d1(t)+d2(t)≥d时，则确定所述增强信号r(t)＝r0；
当θ2(t)＜0且d3(t)+d4(t)≥d时，确定所述增强信号r(t)＝r0；
其他情况下，所述增强信号通过以下公式确定为：
Figure FDA0002515581650000021
其中，θ1(t)为t时刻牵引车的航向角；r0为预设的最小增强信号数值；d1(t)为牵引车质点到其中一侧车道线的距离，d2(t)为牵引车相对于质点中心偏移量；θ2(t)为t时刻挂车的航向角，d3(t)为挂车质点到所述其中一侧车道线的距离，d4(t)为挂车相对于质点中心偏移量；d为左侧车道线和右侧车道线之间的宽度；α为预设的牵引车的控制权重(0＜α＜1)，1-α为预设的挂车的控制权重。
5.根据权利要求4所述的车道保持强化学习方法，其特征在于：
所述对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作包括以下子步骤：
判断更新后的增强信号是否等于r0，若是，则训练步长加1，返回步骤S120；
若更新后的增强信号不等于r0，则根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述决策动作的反馈结果来调整决策动作。
6.根据权利要求1-5任一项所述的车道保持强化学习方法，其特征在于：所述决策动作包括方向盘转角、方向盘角速度、纵向加/减速度。
7.一种用于具有挂车的车辆的车道保持强化学习系统，所述车辆包括牵引车和挂车，该系统包括获取模块、更新模块和调整模块；
所述获取模块用于根据当前车辆状态量获取增强信号，所述车辆状态量至少包括：牵引车航向角、牵引车质点到一侧车道线的距离、挂车航向角和挂车质点到所述一侧车道线的距离；
所述更新模块用于对当前车辆状态量和增强信号进行强化学习，更新决策动作；
所述调整模块用于根据更新后的决策动作获得更新后的车辆状态量和更新后的增强信号，对所述更新后的车辆状态量和更新后的增强信号进行强化学习以调整决策动作。
8.根据权利要求7所述的车道保持强化学习系统，其特征在于：所述获取模块包括初始化单元、第一计算单元和第二计算单元；其中，
所述初始化单元用于初始化车辆状态量；
所述第一计算单元用于判断训练的次数是否小于设定的最大训练次数，若是，计算车辆的下一状态量；当训练的次数达到设定的最大训练次数时，学习训练结束；
所述第二计算单元用于判断训练步长是否小于预先设定的最大步长，若是，计算增强信号；当训练的步长大于或等于预先设定的最大步长时，返回执行第一计算单元的操作。
9.根据权利要求8所述的车道保持强化学习系统，其特征在于：所述第二计算单元执行以下操作：
根据当前车辆状态量确定牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量；
根据当前车辆状态量、牵引车相对于质点中心偏移量和挂车相对于质点中心偏移量确定所述增强信号。
10.根据权利要求7-9任一项所述的车道保持强化学习系统，其特征在于：所述调整模块执行以下操作：
判断更新后的增强信号是否等于r0，若是，训练步长加1，则返回执行第一计算单元的操作；若更新后的增强信号不等于r0，将则根据更新后的增强信号的数值，获得决策动作的反馈结果，由所述决策动作的反馈结果来调整决策动作；
其中，所述r0为预设的最小增强信号数值。
CN201910899310.4A 2019-09-23 2019-09-23 一种用于具有挂车的车辆的车道保持强化学习方法及系统 Active CN110525421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899310.4A CN110525421B (zh) 2019-09-23 2019-09-23 一种用于具有挂车的车辆的车道保持强化学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899310.4A CN110525421B (zh) 2019-09-23 2019-09-23 一种用于具有挂车的车辆的车道保持强化学习方法及系统

Publications (2)

Publication Number Publication Date
CN110525421A CN110525421A (zh) 2019-12-03
CN110525421B true CN110525421B (zh) 2020-07-10

Family

ID=68669681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899310.4A Active CN110525421B (zh) 2019-09-23 2019-09-23 一种用于具有挂车的车辆的车道保持强化学习方法及系统

Country Status (1)

Country Link
CN (1) CN110525421B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112977478B (zh) * 2021-04-13 2021-08-24 北京主线科技有限公司 一种车辆控制方法及系统
CN113324556B (zh) * 2021-06-04 2024-03-26 苏州智加科技有限公司 基于车路协同强化学习的路径规划方法及装置、应用系统
CN113844448A (zh) * 2021-09-18 2021-12-28 广东松科智能科技有限公司 基于深度强化学习的车道保持方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105059287A (zh) * 2015-07-31 2015-11-18 奇瑞汽车股份有限公司 一种车道保持方法和装置
DE102015012362A1 (de) * 2015-09-19 2017-03-23 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Unterstützung eines Fahreres eines Kraftfahrzeuggespanns, Computerprogrammprodukt, Spurhalteassistent
CN106828495A (zh) * 2017-02-16 2017-06-13 奇瑞汽车股份有限公司 一种控制车辆行驶的方法及装置
KR20170067282A (ko) * 2015-12-08 2017-06-16 현대자동차주식회사 차량의 차선 유지 제어 방법
CN107128366A (zh) * 2016-02-26 2017-09-05 通用汽车环球科技运作有限责任公司 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
CN107804226A (zh) * 2016-09-08 2018-03-16 德尔福技术有限公司 拖车车道偏离警告和摇摆警报
DE102017215316A1 (de) * 2017-09-01 2019-03-07 Audi Ag Verfahren zum Unterstützen eines Benutzers beim Betreiben eines Kraftfahrzeugs im Anhängerbetrieb, Fahrerassistenzeinrichtung, und Kraftfahrzeug
DE102018007580A1 (de) * 2017-10-16 2019-04-18 Scania Cv Ab Verfahren und Steueranordnung zur seitlichen Fahrzeugverschiebung

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105059287A (zh) * 2015-07-31 2015-11-18 奇瑞汽车股份有限公司 一种车道保持方法和装置
DE102015012362A1 (de) * 2015-09-19 2017-03-23 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Unterstützung eines Fahreres eines Kraftfahrzeuggespanns, Computerprogrammprodukt, Spurhalteassistent
CN106553648A (zh) * 2015-09-19 2017-04-05 通用汽车环球科技运作有限责任公司 辅助汽车列车的驾驶员的方法、车道保持辅助系统和牵引车
KR20170067282A (ko) * 2015-12-08 2017-06-16 현대자동차주식회사 차량의 차선 유지 제어 방법
CN107128366A (zh) * 2016-02-26 2017-09-05 通用汽车环球科技运作有限责任公司 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
CN107804226A (zh) * 2016-09-08 2018-03-16 德尔福技术有限公司 拖车车道偏离警告和摇摆警报
CN106828495A (zh) * 2017-02-16 2017-06-13 奇瑞汽车股份有限公司 一种控制车辆行驶的方法及装置
DE102017215316A1 (de) * 2017-09-01 2019-03-07 Audi Ag Verfahren zum Unterstützen eines Benutzers beim Betreiben eines Kraftfahrzeugs im Anhängerbetrieb, Fahrerassistenzeinrichtung, und Kraftfahrzeug
DE102018007580A1 (de) * 2017-10-16 2019-04-18 Scania Cv Ab Verfahren und Steueranordnung zur seitlichen Fahrzeugverschiebung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自动驾驶车辆运动规划方法综述;李柏等;《控制与信息技术》;20181231(第6期);1-6 *

Also Published As

Publication number Publication date
CN110525421A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110525421B (zh) 一种用于具有挂车的车辆的车道保持强化学习方法及系统
CN107128314B (zh) 用于牵引车辆的增强的车辆横向控制
CN110809542B (zh) 车辆的控制方法、装置及设备
CN107128366B (zh) 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
US7091838B2 (en) Lane deviation alarm system
CN110806744A (zh) 使用分层选项马尔可夫决策过程的交叉路口自主驾驶决策
US20050267608A1 (en) Model predictive control apparatus
CN107436603B (zh) 一种农用车辆曲线路径自动驾驶方法及系统
CN110316197A (zh) 倾斜估算方法、倾斜估算装置以及存储程序的非暂时性计算机可读存储介质
US20210331663A1 (en) Electric vehicle control system
US20220242401A1 (en) Systems and methods for updating the parameters of a model predictive controller with learned controls parameters generated using simulations and machine learning
CN109204318B (zh) 一种判断车辆急速变道的方法及终端设备
CN114761895A (zh) 混合自动车队的直接和间接控制
CN113822593A (zh) 一种安全态势评估方法、装置、存储介质及电子设备
CN115123217B (zh) 矿区障碍车辆行使轨迹生成方法、装置及计算机设备
Bhattacharjee et al. Autonomous drifting RC car with reinforcement learning
CN114063453B (zh) 基于强化学习的直升机系统控制方法、系统、装置及介质
CN108016447B (zh) 使用操作员触发的机器质量估计
Makarun et al. Predictive lane-keeping system for an autonomous vehicle
US20230084702A1 (en) System and method of adaptive, real-time vehicle system identification for autonomous driving
CN115416691A (zh) 车辆控制规划方法及相关产品
US20240101148A1 (en) Method for deriving a library of vehicle dynamic implementation models
CN115303291B (zh) 拖挂车的挂车轨迹预测方法和装置、电子设备和存储介质
CN114291074B (zh) 一种车辆侧翻预警方法、装置及存储介质
US11958501B1 (en) Performance-based metrics for evaluating system quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant