CN113386790B - 一种面向跨海大桥路况的自动驾驶决策方法 - Google Patents

一种面向跨海大桥路况的自动驾驶决策方法 Download PDF

Info

Publication number
CN113386790B
CN113386790B CN202110641322.4A CN202110641322A CN113386790B CN 113386790 B CN113386790 B CN 113386790B CN 202110641322 A CN202110641322 A CN 202110641322A CN 113386790 B CN113386790 B CN 113386790B
Authority
CN
China
Prior art keywords
network
vehicle
decision
automatic driving
sea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110641322.4A
Other languages
English (en)
Other versions
CN113386790A (zh
Inventor
唐晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202110641322.4A priority Critical patent/CN113386790B/zh
Publication of CN113386790A publication Critical patent/CN113386790A/zh
Application granted granted Critical
Publication of CN113386790B publication Critical patent/CN113386790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B60W2520/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种面向跨海大桥路况的自动驾驶决策方法，包括针对单车的自动驾驶车辆对跨海大桥路况环境的决策过程，和多车协作的自动驾驶车辆对跨海大桥路况环境的决策过程；通过采用多任务特征的元学习与软行动者‑评论家算法（Soft Actor‑Critic）结合进行基于策略梯度的强化学习决策，有助于实现自动驾驶车辆对不确定性跨海大桥路况环境的自适应性和稳定性；针对多车协作的自动驾驶车辆经过跨海大桥路况环境情况，采用元强化学习方法进行基于多车的策略梯度的车辆决策，并采用分布式移动边缘计算节点和车车通信方式实现多车协作行驶的数据共享，以进一步调整网络参数，保证车辆安全通行跨海大桥路况环境。

Description

一种面向跨海大桥路况的自动驾驶决策方法
技术领域
本发明涉及自动驾驶领域，尤其涉及一种面向跨海大桥路况的自动驾驶决策方法。
背景技术
在复杂跨海大桥路况环境和恶劣天气环境下，自动驾驶车辆容易因路面湿滑、能见度较低以及强风干扰引起桥面振动等现象，引起车辆模型和轮胎模型陷入不确定性状态和极限状态，使车辆产生侧滑、侧倾以及横摆等不稳定性现象，车辆无法准确做出决策而难以实现车辆的安全控制。传统的自动驾驶车辆决策及控制方法难以兼顾复杂多变环境的状态转移，不能满足自动驾驶车辆对复杂环境的实时性和准确性，因此探索能适应多变复杂道路环境下自动驾驶车辆的决策和控制，是实现自动驾驶车辆自主智能的主要方法。
因此，需要一种新的面向跨海大桥路况的自动驾驶决策方法。
发明内容
本发明的目的在于提供一种面向跨海大桥路况的自动驾驶决策方法，以解决现有的自动驾驶决策技术难以兼顾复杂多变环境的状态转移，不能满足自动驾驶车辆对复杂环境的实时性和准确性的问题。
为解决上述技术问题，本发明提供一种面向跨海大桥路况的自动驾驶决策方法，所述方法包括：
获取当前车辆通过跨海大桥的环境状态信息，基于预先训练的自动驾驶模型确定当前的车辆动作；
所述自动驾驶模型包括元学习网络、Actor网络和Critic网络，所述自动驾驶模型基于以下方式训练获得：
获取车辆通过跨海大桥的环境状态信息；
基于元学习网络确定Actor网络和Critic网络的网络参数；
将环境状态信息输入Actor网络，得到Actor网络基于决策策略的决策车辆动作；
根据预定奖励函数，获取对于决策策略的奖励；
Critic网络根据环境状态信息和决策车辆动作，对所述决策策略进行评价；
Actor网络根据所述评价的结果，更新所述决策策略；
Critic网络根据所述奖励，更新对所述决策策略进行评价的评价策略。
优选地，所述环境状态信息包括：道路周围交通状态、车辆状态、车辆周围障碍物状态信息、车辆与道路环境状态、路面的滑移率、附着系数、桥面振动角度中的一种或多种。
优选地，所述车辆动作的动作空间包括转向角δ、油门和制动动作中的一种或多种。
优选地，获取车辆通过跨海大桥的环境状态信息，包括，通过经验回放获取车辆通过跨海大桥的历史环境状态信息。
优选地，所述预定奖励函数为：
Figure BDA0003107178850000031
Figure BDA00031071788500000312
Figure BDA00031071788500000313
Figure BDA0003107178850000032
其中，
Figure BDA0003107178850000033
为轨迹误差奖励，
Figure BDA0003107178850000034
为轨迹误差变化率奖励，
Figure BDA0003107178850000035
为航向角度误差奖励，
Figure BDA0003107178850000036
为航向角度误差变化率奖励，
Figure BDA0003107178850000037
和
Figure BDA0003107178850000038
分别为车辆与参考轨迹的侧滑移角差和变化率奖励，rδ为方向盘转角奖励，eΘ和
Figure BDA0003107178850000039
分别为车辆侧倾误差和侧倾误差变化率，
Figure BDA00031071788500000310
Figure BDA00031071788500000311
分别为其下标参数的权重、K为方向盘转角权重，y是实际轨迹，yt是标准轨迹；θ是实际侧倾角度，θref是参考侧倾角度。
优选地，所述Critic网络包括值网络和3个Q网络，所述对所述决策车辆动作进行评分，包括，根据所述值网络和3个Q网络的输出值，分别获取3个Q值，根据3个Q值中的最低值，确定对所述决策策略进行评价的评价结果。
优选地，所述Actor网络包括输入层、隐藏层、输出层，Actor网络输出的决策车辆动作为由转向角和油门动作组成的矢量，分别对应Actor网络输出层的2个输出神经元，其中，对应油门动作的输出神经元的激活函数是Sigmoid函数，对应转向角动作的神经元的激活函数为Tanh函数；所述隐藏层包括三层子隐藏层，其中，第一子隐藏层包括200个神经元，第二子隐藏层包括400个神经元，第三子隐藏层包括采用200个神经元，隐藏层神经元的激活函数为ReLu函数。
优选地，将环境状态信息输入Actor网络，得到决策车辆动作，包括，将环境状态信息输入Actor网络，得到多种任务下的决策车辆动作；
所述基于元学习模型确定Actor网络和Critic网络的网络参数，包括，基于元学习模型确定多个任务下的Actor网络和Critic网络的网络参数。
具体地，所述多任务包括，车道保持(Lane-keeping)、换道(Lane-changing)、巡航行驶(Acc)、超车(overtaking)中的一种或多种。
优选地，通过跨海大桥的车辆为多辆，所述方法还包括；
将所述多个车辆分别设定为移动边缘计算节点，在所述多个车辆中分别架构元学习模型、actor网络和critic网络，通过车车通信技术进行各元学习模型、actor网络和critic网络中的参数共享，并基于共享的参数，进行各元学习模型、actor网络和critic网络的训练。
本发明所达到的有益技术效果：
1)通过元学习与软执行者-评论家算法的强化学习相结合，采用策略梯度算法，实现元强化学习在自动驾驶车辆的使用，保证了对跨海大桥复杂路况环境的稳定性。
2)采用分布式移动边缘计算节点和车车通信技术实现自动驾驶车辆与周围行驶车辆的信息交互，采用通信技术实现多任务分布节点的任务交互，解决了自动驾驶车辆面对复杂道路环境的动作概率的选择问题，确保多自动驾驶车辆在跨海大桥复杂路况环境的协作行驶。
3)构建经验缓存池，将周围道路环境信息存储在经验缓存池里，并发布于各自车辆的移动边缘计算节点，并采用车车通信方式实现信息交互，有助于从经验缓存池中随机获取多批数据转换信息，确保自动驾驶车辆经过复杂道路环境时的数据获取的可适用性。
附图说明
图1为本发明实施例提供的一种面向跨海大桥路况的自动驾驶决策方法的示意图；
图2为本发明实施例提供的单车自动驾驶决策模型的网络架构图；
图3为本发明实施例提供的基于分布式移动边缘计算节点和车联网技术的多车协作实现原理图；
图4为本发明实施例提供的多车自动驾驶决策模型的网络架构图；
图5为本发明实施例提供的Critic网络中的Qi网络的结构图。
具体实施方式
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如前所述，现有的自动驾驶决策技术难以兼顾复杂多变环境的状态转移，不能满足自动驾驶车辆对复杂环境的实时性和准确性。
为解决上述技术问题，本发明提供了一种面向跨海大桥路况的自动驾驶决策方法，其基本思想是通过元学习与软执行者-评论家算法(Soft Actor-Critic)的强化学习相结合，实现一种基于元强化学习的自动驾驶决策方法。元强化学习结合元学习和强化学习实现智能体快速的学习新的任务，尤其针对复杂多变环境来说，元强化学习有助于实现少量样本数据以及智能体的鲁棒性问题。自动驾驶车辆能够通过与环境的交互来学习提升自身智能决策能力，以快速适应新任务；强化学习具有实现与环境进行试错交互来获取行驶状态的作用，尤其结合深度学习的深度强化学习算法，更容易实现对道路环境的多任务执行，然而传统的强化学习算法对数据样本要求较高，如果样本质量低下或者需要通过大量的试错与环境交互获取的样本等工作较为复杂，尤其多任务场景的转换，会影响自动驾驶车辆的训练速度和质量。元强化学习机理是通过学习来促进学习，其可以通过使用少量的样本数据来调整多任务场景，并且可以多新的任务进行实时性的适应性，尤其可以加速基于策略梯度强化学习的微调，改善模型收敛，进而实现自动驾驶车辆智能适应复杂多变环境的能力。
本发明实施例提供的一种面向跨海大桥路况的自动驾驶决策方法，至少包括如下步骤：
步骤11，获取当前车辆通过跨海大桥的环境状态信息，基于预先训练的自动驾驶模型确定当前的车辆动作。
在一个实施例中，环境状态信息可以包括，道路周围交通状态、车辆状态、车辆周围障碍物状态信息、车辆与道路环境状态、路面的滑移率、附着系数、桥面振动角度中的一种或多种。
在一个具体的实施例中，环境状态信息的种类及取值范围可以入表1所示：
表1 环境状态信息表
Figure BDA0003107178850000071
在一个实施例中，车辆动作的动作空间可以包括转向角δ、油门和制动动作中的一种或多种。
在一个具体的实施例中，车辆动作的动作空间包括转向角δ、油门。具体的，自动驾驶车辆在跨海大桥路口环境，遇到恶劣天气下，为减少车辆发送侧滑、侧倾和横摆现象的概率，行驶过程中不采取制动行为，所以，设置车辆的动作行为是油门和转向角。在一个例子中，还限定车辆行驶速度在中低速范围。
该自动驾驶模型至少包括元学习网络、Actor网络和Critic网络，该自动驾驶模型基于以下步骤训练获得：
步骤111，获取车辆通过跨海大桥的环境状态信息；
在一个实施例中，可以通过经验回放获取车辆通过跨海大桥的环境状态信息。
具体的，可以通过自动驾驶车辆与跨海大桥路况环境进行动作交互，确定车辆的环境状态S，并将环境状态信息放入经验缓冲池中。
步骤112，基于元学习网络确定Actor网络和Critic网络的网络参数；
在一个实施例中，动作策略网络actor，可以输出动作行为的概率。在一个例子中，首先将环境的状态信息输入到网络中，将会输出在状态中执行的所有动作的概率。在一个例子中，根据可以动作概率，进行下一状态，得到奖励R，并且存储在经验缓冲池D内。将动作行为概率存储在经验缓冲池中，有助于今后进行探索环境状态时，根据先前的动作经验来获取今后的动作概率，以增加今后动作概率的合适性。
跨海大桥经常面大风雨等恶劣天气影响，所以会引起桥面道路产生振动现象，依次会改变道路曲率和道路倾角。因此，在一个例子中，自动驾驶车辆还可以实时进行与环境交互，产生实时性动作空间，并且实时获取状态空间，同时发送到经验缓冲池中，以更好实现动作策略网络对每一时刻的动作集合。
在一些场景中，例如道路倾角的变化，会影响车辆的路径规划的变化，也会导致车辆产生侧滑现象，使车辆轮胎与轨迹产生一定角度，导致路径轨迹和状态发生变化，会严重影响车辆的安全性，因此可以通过元强化学习实现多任务状态和动作的选取，以更好地控制自动驾驶车辆的安全性。因此，在一个实施例中，可以基于元学习网络确定多个任务下的Actor网络和Critic网络的网络参数。
根据一种实施方式，由于桥区道路环境行驶较为恶劣，自动驾驶车辆的行驶具有不确定性，基于车辆的安全行驶特点，需要设计多任务工作，并设计多任务分布，确保设计网络时，可以计算较为实时性的参数。例如，在一个实施例中，自动驾驶车辆行驶在跨海大桥路口环境，在遇到恶劣雨雪天气下，桥面发生振动现象，会导致桥面道路的曲率实时变化和产生道路倾角，车辆极容易发生侧滑、侧倾和横摆现象，自动驾驶车辆需要在车道保持(Lane-keeping)、换道(Lane-changing)、巡航行驶(Acc)、超车(overtaking)等多行驶任务中，实时调整行驶行为。在一个具体的实施例中，可以定义一组多任务状态分布集p(T)∈{Lane-keeping,Lane-chaning,Acc,overtaking}，并初始化任务分布和元学习网络的参数M；从p(T)中随机采样K个轨迹训练，训练fM策略函数，计算有关任务p(T)i的元学习损失函数，并计算梯度下降后的新参数M′，根据新梯度，训练新的策略函数f′M，并继续更新参数M。
在一个实施例中，自动驾驶车辆在跨海大桥路口环境，遇到恶劣天气下，为减少车辆发送侧滑、侧倾和横摆现象的概率，行驶过程中不采取制动行为，所以，设置车辆的动作行为是油门和转向角，并且限定车辆行驶速度在中低速范围，以更好的提高网络训练效率。
步骤113，将环境状态信息输入Actor网络，得到Actor网络基于决策策略的决策车辆动作；
在一个实施例中，可以将环境状态信息输入Actor网络，得到多种任务下的决策车辆动作。
步骤114，根据预定奖励函数，获取对于决策策略的奖励；
在一个实施例中，预定奖励函数的数学表示式为：
Figure BDA0003107178850000101
Figure BDA00031071788500001012
Figure BDA00031071788500001013
Figure BDA0003107178850000102
其中，
Figure BDA0003107178850000103
为轨迹误差奖励，
Figure BDA0003107178850000104
为轨迹误差变化率奖励，
Figure BDA0003107178850000105
为航向角度误差奖励，
Figure BDA0003107178850000106
为航向角度误差变化率奖励，
Figure BDA0003107178850000107
和
Figure BDA0003107178850000108
分别为车辆与参考轨迹的侧滑移角差和变化率奖励，rδ为方向盘转角奖励，eΘ和
Figure BDA0003107178850000109
分别为车辆侧倾误差和侧倾误差变化率，
Figure BDA00031071788500001010
Figure BDA00031071788500001011
分别为其下标参数的权重、K为方向盘转角权重，y是实际轨迹，yr是标准轨迹；θ是实际侧倾角度，θref是参考侧倾角度。
该预定奖励函数旨在确保车辆能实现在跨海大桥道路环境的稳定安全行驶，减少湿滑路面引起的车辆侧滑、侧偏和侧倾现象。在不同的实施例中，预定奖励函数还可以具有不同的具体形式，本发明对预定奖励函数的具体形式不做限制。
步骤115，Critic网络根据环境状态信息和决策车辆动作，对所述决策策略进行评价；
在一个实施例中，Critic网络可以包括值网络和3个Q网络，
可以根据值网络和3个Q网络的输出值，分别获取3个Q值，根据3个Q值中的最低值，确定对所述决策策略进行评价的评价结果。
本质上，值网络的作用为通过神经网络拟合值函数，用于对决策策略进行评价。
步骤116，Actor网络根据所述评价的结果，更新所述决策策略；
该步骤中，Actor网络根据critic网络的评价，更新其决策策略，即更新其神经网络参数。
步骤117，Critic网络根据所述奖励，更新对所述决策策略进行评价的评价策略。
该步骤中，Critic网络可以根据奖励来调整其评价策略，即更新其神经网络参数。
在一个具体的实施例中，可以构建动作策略网络(Actor网络)，以环境状态信息为输入，输出是无人车的决策动作，由转向角和油门信息组成的矢量，分别对应策略网络输出层的2个神经元，并设定油门的激活函数是Sigmoid，转向动作值的激活函数采用Tanh；对隐藏层的结构设计，采用三层隐藏层实现，一层采用200个神经元，第二层采用400个神经元，第三层采用200个神经元，为使网络具有稀疏性，降低参数的相关性，采用ReLu函数作为隐藏层神经元的激活函数。构建评论家网络(Critic网络)，其中的q网络的输入为动作集合，值网络的输入是状态集合，经过两层神经网络(第一层神经网络200层，第二层120层)与激活函数后进行拼接，再经过隐藏层与ReLu激活层，最终得到Q值，其中，状态和动作各输入48个，隐藏层是三层，第一层120层，第二层240层，第三层120层，最终得出Q值，如图5所示。复制动作网络和评论家网络的目标参数，并根据阶段初始化网络参数M，在每一回合中，接受初始观测状态，选择动作执行，并获得奖励和新状态，并存储在经验回放池中，同时从经验回放池中随机选取N组数组进行训练，计算目标值函数。在一个例子中，如图2所示，在进行Q函数求解时，设计了Q1、Q2、Q3三组网络，并取其中最小值作为网络计算mini{Qi}，并以此来求解评论家网络的损失函数，并更新动作网络和评论家网络参数。
在一个实施例中，可以不考虑制动动作，将方向盘转角动作归一化为δ∈[-1 1]，考虑中低速车辆在跨海大桥路况环境行驶，为防止车辆在湿滑路面发生侧翻和侧滑，应设计转向角在较小范围δ∈[-0.5 0.5]；在跨海大桥油门动作归一化的范围是ai∈[0 1]，由于车辆预计以中低速行驶跨海大桥路况环境，将油门进一步限制在ai∈[0 0.4]，以防止出现高速行驶情况，提高训练效率。在一个例子中，自动驾驶车辆行驶在跨海大桥路况环境，在遇到恶劣雨雪天气下，桥区道路会因风振而导致桥面发生倾角和曲率变化，为减少车辆发生侧滑现象的概率，不采取制动行为，所以设置自动驾驶车辆的动作行为有油门和方向角两个动作行为。在另一个例子中，还可以限定车辆行驶速度在中低速范围，以更好的提高网络训练效率。
在一个实施例中，可以更新策略网络和价值网络、Q网络的参数，从经验缓冲池中随机提取K批转换信息(sK aK rK sK+1)用来更新值函数网络、Q函数网络和策略网络。式中，sK是第K+1步动作执行前的环境状态，aK表示第K+1步执行的动作，rK表示第K+1步动作得到的即时奖励，sK+1表示执行K+1步动作执行后所所达到的环境状态；
在一个实施例中，如图1所示，可以从任务的初始状态分布中，采样Ti个轨迹训练策略函数，计算有关任务的元强化学习损失函数，建立任务和模型的交叉熵损失公式，首先需要进行多任务驾驶场景的训练，学习跨海大桥道路环境的规则，再基于特定的道路行驶场景，使用策略梯度方法训练新策略函数，进行网络参数更新，以学习到最优策略，获取最大有效回报，促进自动驾驶车辆自适应寻找高效的新任务方法。在一个例子中，还可以进一步计算目标状态值、价值网络损失函数，更新目标状态值(例如前述车道偏离、侧倾角度，侧滑误差等)和更新价值网络参数；计算Q网络损失，并更新Q网络参数；更新策略网络参数。
本发明实施例提供的通过跨海大桥的自动驾驶决策方法，也可以用于多车协同通过跨海大桥的场景，在此场景下，该方法还可以包括，将通过跨海大桥的多个车辆分别设定为移动边缘计算节点，在所述多个车辆中分别架构元学习模型、actor网络和critic网络，通过车车通信技术进行各元学习模型、actor网络和critic网络中的参数共享，并基于共享的参数，进行各元学习模型、actor网络和critic网络的训练，如图4所示。
具体的，自动驾驶车辆与多车协作行驶经过跨海大桥路况环境时，由于道路环境复杂多变，对于多车协作行驶，可以采用分散学习和分散控制执行的方法实现。
因此，在一个实施例中，可以首先获取各自自动驾驶车辆的状态和环境信息，自动驾驶车辆与跨海大桥路况环境进行动作交互，确定车辆的环境状态Si，包括：道路周围交通状态(车道结构、限速标志、交通标志)，统一采用Τi-0表示，车辆自身状态(速度vi-0、位置Hi-0、航向角Γi-0、横摆角速度ωi-0)、车辆周围障碍物状态信息(周围车辆的速度vi-0、位置Si-0、行驶轨迹预测状态Li-0、车辆与道路环境的状态(与车道中心线偏移距离eyi-0、偏航误差
Figure BDA0003107178850000141
)、路面的滑移率SLi、滑移角φi-0、附着系数μi-0、桥面振动角度λi-0；确定动作空间Ai-0，包括：转向角δi-0、油门和制动动作，统一采用加速度ai-0表示，并且把这些状态变量和动作变量放入经验缓存池中，用以更新网络参数。
在一个具体的实施例中，可以在每辆车构建策略网络，将环境的状态信息输入到策略网络，实现多种动作的执行概率，并设置采用分布式边缘计算节点实现数据信息的共享和传输，将自动驾驶车辆设置为移动边缘计算节点，通过车车通信技术实现每辆车的策略梯度信息和输出的动作概率之间的信息交互发送到自动驾驶车辆中；将车辆感知的周围道路环境信息发送到经验缓存池后，发布在各自车辆的边缘计算节点上，自动驾驶车辆在进行策略网络、价值网络和Q函数网络时，都会从边缘计算节点中的经验缓存池中获取K批转换信息，转入网络层计算，如图3所示。在一个例子中，还可以在每辆车上放置分布式移动边缘计算节点，采用车车通信技术实现车辆之间状态和动作信息的交互，尤其是实现K批经验缓存池、策略梯度信息的数据共享；当多车协作行驶时，面对同一道路的环境状态，采取车辆通信技术，可以实现每辆车的元学习网络参数M的数据共享，同时可以实现车辆之间多任务分布p的共享，经验缓冲池的数据共享，进而实现所有车辆的网络训练，如下公式所示：
Figure BDA0003107178850000151
其中，j为车辆序号，M为元学习网络参数，p为多任务分布集合，R为奖励，S为状态，a为动作。
其意义在于，借助于车辆通信和可移动边缘计算节点，能实现车辆之间的多任务分布的共享，然后每辆车实时调整各自的网络训练，因为当跨海大桥在恶劣天气行驶时，每辆车的行驶状态不同，决定了其任务不同，或者是车道保持，或者是加速或者是减速，所以通过共享这些任务，进行调整各自车辆训练网络。
在一个实施例中，还可以将各自动驾驶车辆的多任务分布信息，采用车联网技术，实现车辆的信息交互，保证车辆使用元强化学习时，进行多任务信息共享，以更好的更新策略网络参数。并从任务的初始状态分布中，采样Ti个轨迹训练策略函数，计算有关任务的元强化学习损失函数。在一个例子中，元强化学习损失函数为交叉熵损失，其公式如下：
Figure BDA0003107178850000161
式中，
Figure BDA0003107178850000162
是车辆某一状态和动作下的交叉熵损失；γ·f(χi)是车联网数据传输率；γ是权重；xi是车辆状态，yj是权重其中，i＝1,…,N是车辆数；
在一个实施例中，各车还可以使用策略梯度方法更新其元学习网络参数M，根据新梯度训练新策略函数，更新参数M。
在一个实施例中，各车还可以计算目标状态值、价值网络损失函数，更新目标状态值和更新价值网络参数；计算Q网络损失，并更新Q网络参数；更新策略网络和策略网络参数。通过获取跨海大桥路况环境状态信息，确定自动驾驶车辆决策行为，实现自动驾驶车辆多车协作。
本发明提供的一种面向跨海大桥路况的自动驾驶决策方法，具有以下优点：
一方面，通过元学习与软执行者-评论家算法的强化学习相结合，采用策略梯度算法，实现元强化学习在自动驾驶车辆的使用，保证了对跨海大桥复杂路况环境的稳定性。
第二方面，采用分布式移动边缘计算节点和车车通信技术实现自动驾驶车辆与周围行驶车辆的信息交互，采用通信技术实现多任务分布节点的任务交互，解决了自动驾驶车辆面对复杂道路环境的动作概率的选择问题，确保多自动驾驶车辆在跨海大桥复杂路况环境的协作行驶。
第三方面，构建经验缓存池，将周围道路环境信息存储在经验缓存池里，并发布于各自车辆的移动边缘计算节点，并采用车车通信方式实现信息交互，有助于从经验缓存池中随机获取多批数据转换信息，确保自动驾驶车辆经过复杂道路环境时的数据获取的可适用性。
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.一种面向跨海大桥路况的自动驾驶决策方法，其特征在于，包括：
获取当前车辆通过跨海大桥的环境状态信息，基于预先训练的自动驾驶模型确定当前的车辆动作；
所述自动驾驶模型包括元学习网络、Actor网络和Critic网络，所述自动驾驶模型基于以下步骤训练获得：
获取车辆通过跨海大桥的环境状态信息；
基于元学习网络确定Actor网络和Critic网络的网络参数；
将环境状态信息输入Actor网络，得到Actor网络基于决策策略的决策车辆动作；
根据预定奖励函数，获取对于决策策略的奖励；
Critic网络根据环境状态信息和决策车辆动作，对所述决策策略进行评价；
Actor网络根据所述评价的结果，更新所述决策策略；
Critic网络根据所述奖励，更新对所述决策策略进行评价的评价策略；
其中，所述预定奖励函数为：
Figure FDA0003640187030000011
Figure FDA0003640187030000012
Figure FDA0003640187030000021
Figure FDA0003640187030000022
其中，
Figure FDA0003640187030000023
为轨迹误差奖励，
Figure FDA0003640187030000024
为轨迹误差变化率奖励，
Figure FDA0003640187030000025
为航向角度误差奖励，
Figure FDA0003640187030000026
为航向角度误差变化率奖励，
Figure FDA0003640187030000027
和
Figure FDA0003640187030000028
分别为车辆与参考轨迹的侧滑移角差和变化率奖励，rδ为方向盘转角奖励，eΘ和
Figure FDA0003640187030000029
分别为车辆侧倾误差和侧倾误差变化率，
Figure FDA00036401870300000210
Figure FDA00036401870300000211
分别为其下标参数的权重，K为方向盘转角权重，y是实际轨迹，yr是标准轨迹；θ是实际侧倾角度，θref是参考侧倾角度。
2.根据权利要求1的方法，其特征在于，所述环境状态信息包括：道路周围交通状态、车辆状态、车辆周围障碍物状态信息、车辆与道路环境状态、路面的滑移率、附着系数、桥面振动角度中的一种或多种。
3.根据权利要求1的方法，其特征在于，所述车辆动作的动作空间包括转向角、油门和制动动作中的一种或多种。
4.根据权利要求1的方法，其特征在于，获取车辆通过跨海大桥的环境状态信息，包括，通过经验回放获取车辆通过跨海大桥的环境状态信息。
5.根据权利要求1所述的方法，其特征在于，所述Critic网络包括值网络和3个Q网络，
所述对所述决策策略进行评价，包括，根据所述值网络和3个Q网络的输出值，分别获取3个Q值，根据3个Q值中的最低值，确定对所述决策策略进行评价的评价结果。
6.根据权利要求1所述的方法，其特征在于，所述Actor网络包括输入层、隐藏层、输出层，Actor网络输出的决策车辆动作为由转向角和油门动作组成的矢量，分别对应Actor网络输出层的2个输出神经元，其中，对应油门动作的输出神经元的激活函数是Sigmoid函数，对应转向角动作的神经元的激活函数为Tanh函数；所述隐藏层包括三层子隐藏层，其中，第一子隐藏层包括200个神经元，第二子隐藏层包括400个神经元，第三子隐藏层包括采用200个神经元，隐藏层神经元的激活函数为ReLu函数。
7.根据权利要求1所述的方法，其特征在于，所述基于元学习网络确定Actor网络和Critic网络的网络参数，包括，基于元学习网络确定多个任务下的Actor网络和Critic网络的网络参数；
所述将环境状态信息输入Actor网络，得到决策车辆动作，包括，将环境状态信息输入Actor网络，得到多个任务下的决策车辆动作。
8.根据权利要求7所述的方法，其特征在于，所述多个任务包括，车道保持、换道、巡航行驶、超车中的一种或多种。
9.根据权利要求1所述的方法，其特征在于，通过跨海大桥的车辆为多辆，所述方法还包括；
将所述多个车辆分别设定为移动边缘计算节点，在所述多个车辆中分别架构元学习模型、actor网络和critic网络，通过车车通信技术进行各元学习模型、actor网络和critic网络中的参数共享，并基于共享的参数，进行各元学习模型、actor网络和critic网络的训练。
CN202110641322.4A 2021-06-09 2021-06-09 一种面向跨海大桥路况的自动驾驶决策方法 Active CN113386790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110641322.4A CN113386790B (zh) 2021-06-09 2021-06-09 一种面向跨海大桥路况的自动驾驶决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110641322.4A CN113386790B (zh) 2021-06-09 2021-06-09 一种面向跨海大桥路况的自动驾驶决策方法

Publications (2)

Publication Number Publication Date
CN113386790A CN113386790A (zh) 2021-09-14
CN113386790B true CN113386790B (zh) 2022-07-12

Family

ID=77618686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110641322.4A Active CN113386790B (zh) 2021-06-09 2021-06-09 一种面向跨海大桥路况的自动驾驶决策方法

Country Status (1)

Country Link
CN (1) CN113386790B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228690B (zh) * 2021-11-16 2023-05-23 扬州大学 一种基于ddpg和迭代控制的自动驾驶车辆侧倾控制方法
CN114153213A (zh) * 2021-12-01 2022-03-08 吉林大学 一种基于路径规划的深度强化学习智能车行为决策方法
CN116476825B (zh) * 2023-05-19 2024-02-27 同济大学 一种基于安全可信强化学习的自动驾驶车道保持控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109733415A (zh) * 2019-01-08 2019-05-10 同济大学 一种基于深度强化学习的拟人化自动驾驶跟驰模型
CN110450771A (zh) * 2019-08-29 2019-11-15 合肥工业大学 一种基于深度强化学习的智能汽车稳定性控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235881B2 (en) * 2017-07-28 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation capability configuration for a vehicle
CN109213148B (zh) * 2018-08-03 2021-05-28 东南大学 一种基于深度强化学习的车辆低速跟驰决策方法
US20210325894A1 (en) * 2018-09-14 2021-10-21 Google Llc Deep reinforcement learning-based techniques for end to end robot navigation
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN110647839B (zh) * 2019-09-18 2022-08-12 深圳信息职业技术学院 自动驾驶策略的生成方法、装置及计算机可读存储介质
CN110956148B (zh) * 2019-12-05 2024-01-23 上海舵敏智能科技有限公司 无人车的自主避障方法及装置、电子设备、可读存储介质
CN111985614B (zh) * 2020-07-23 2023-03-24 中国科学院计算技术研究所 一种构建自动驾驶决策系统的方法、系统和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109733415A (zh) * 2019-01-08 2019-05-10 同济大学 一种基于深度强化学习的拟人化自动驾驶跟驰模型
CN110450771A (zh) * 2019-08-29 2019-11-15 合肥工业大学 一种基于深度强化学习的智能汽车稳定性控制方法

Also Published As

Publication number Publication date
CN113386790A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113386790B (zh) 一种面向跨海大桥路况的自动驾驶决策方法
Cai et al. High-speed autonomous drifting with deep reinforcement learning
CN111898211B (zh) 基于深度强化学习的智能车速度决策方法及其仿真方法
CN111222630B (zh) 一种基于深度强化学习的自主驾驶规则学习方法
WO2021212728A1 (zh) 基于对抗模仿学习的无人驾驶车辆换道决策方法和系统
Wang et al. Continuous control for automated lane change behavior based on deep deterministic policy gradient algorithm
CN113291308B (zh) 一种考虑驾驶行为特性的车辆自学习换道决策系统及方法
CN110969848A (zh) 一种对向双车道下基于强化学习的自动驾驶超车决策方法
CN114407931B (zh) 一种高度类人的自动驾驶营运车辆安全驾驶决策方法
CN110631596B (zh) 一种基于迁移学习的装备车辆路径规划方法
CN114013443B (zh) 一种基于分层强化学习的自动驾驶车辆换道决策控制方法
CN106740846A (zh) 一种双模式切换的电动汽车自适应巡航控制方法
CN112249008B (zh) 针对复杂动态环境的无人驾驶汽车预警方法
CN114153213A (zh) 一种基于路径规划的深度强化学习智能车行为决策方法
CN113255998B (zh) 基于多智能体强化学习的高速道路无人驾驶车辆编队方法
Güçkıran et al. Autonomous car racing in simulation environment using deep reinforcement learning
CN114564016A (zh) 一种结合路径规划和强化学习的导航避障控制方法、系统及模型
CN115056798B (zh) 一种基于贝叶斯博弈的自动驾驶车辆换道行为车路协同决策算法
CN114228690B (zh) 一种基于ddpg和迭代控制的自动驾驶车辆侧倾控制方法
CN113715842A (zh) 一种基于模仿学习和强化学习的高速运动车辆控制方法
CN114580302A (zh) 基于最大熵强化学习的自动驾驶汽车决策规划方法
CN110879595A (zh) 一种基于深度强化学习的无人矿卡循迹控制系统及方法
CN114973650B (zh) 车辆匝道入口合流控制方法、车辆、电子设备及存储介质
CN113552883A (zh) 基于深度强化学习的地面无人车自主驾驶方法及系统
CN116176572A (zh) 一种基于dqn深度强化学习的汽车紧急避撞控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant