CN113511215B - 一种混合自动驾驶决策方法、设备及计算机存储介质 - Google Patents

一种混合自动驾驶决策方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN113511215B
CN113511215B CN202110606707.7A CN202110606707A CN113511215B CN 113511215 B CN113511215 B CN 113511215B CN 202110606707 A CN202110606707 A CN 202110606707A CN 113511215 B CN113511215 B CN 113511215B
Authority
CN
China
Prior art keywords
driving
model
decision
automatic driving
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110606707.7A
Other languages
English (en)
Other versions
CN113511215A (zh
Inventor
付宇钏
李长乐
赵品灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110606707.7A priority Critical patent/CN113511215B/zh
Publication of CN113511215A publication Critical patent/CN113511215A/zh
Priority to US17/828,323 priority patent/US20220388540A1/en
Priority to GB2208030.3A priority patent/GB2609720B/en
Application granted granted Critical
Publication of CN113511215B publication Critical patent/CN113511215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007—Emergency override
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本申请提供的一种混合自动驾驶决策方法，获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；基于所述交通环境信息建立本地自动驾驶决策模型；基于所述本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；共享所述驾驶规则；扩充已有专家系统知识库；判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由所述机器学习模型进行决策。该决策方法利用两种现有策略相辅相成，以克服单个策略的缺点，从而使之有效针对不同驾驶场景的决策。

Description

一种混合自动驾驶决策方法、设备及计算机存储介质
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种混合自动驾驶决策方法、设备及计算机存储介质。
背景技术
从驾驶员辅助系统到自动驾驶，这一直是业界和学术界广泛研究的热门话题。在可预见的未来，联网自动驾驶汽车(CAV)将越来越多地允许人们在驾驶和被驾驶之间进行选择，这开辟了新的出行场景。通常，实现自动驾驶需要六个基本逻辑部分，即感知、定位和地图绘制、路径规划、决策和车辆控制。决策算法将根据传感数据将决策结果输出到车辆控制器，这将进一步影响驾驶行为。因此，决策算法需要处理的主要挑战之一是如何实现自动驾驶所需的高安全性和准确性。
目前，在CAV决策的研究和应用中，基于专家系统(ES)和机器学习的方法已引起关注。专家系统基于独立的预定义知识库(例如，地图和交通规则)，允许输入条件产生相应的动作或结论(例如，转向和制动)。这种类型的算法直观、易于推理和理解，易于应用并且具有许多成功的实现方式，例如用于高速公路自动驾驶的智能导航功能、城市自动驾驶推理框架、以及基于模糊规则的移动导航控制策略。基于ES的决策算法具有严格的逻辑规则，其中环境决策与行为决策之间的因果关系非常清晰，从而使决策系统具有很高的可解释性。但是，对于基于ES的系统，通常很难获得新知识并扩展现有知识库。因此，其有限的知识库可能不适用于新问题，从而难以实现高自动驾驶性能。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种结合了机器学习和专家系统的混合驾驶决策方法，该决策方法利用两种现有策略相辅相成，以克服单个策略的缺点，从而使之有效针对不同驾驶场景的决策。
一种混合自动驾驶决策方法，包括：
获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；
基于所述交通环境信息建立本地自动驾驶决策模型；
基于所述本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；
共享所述驾驶规则；
扩充已有专家系统知识库；
判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由所述机器学习模型进行决策。
优选的，基于马尔可夫决策过程模型来构建本地自动驾驶决策模型；所述马尔可夫决策过程模型包括：车辆模型、行人模型和障碍物模型；所述车辆模型表示为：CAVV＝{v1，v2，…，vnc}，其中nc是CAV的总数；
所述行人模型表示为：P＝{p1，p2，…，pnp}，其中np是行人总数；
所述障碍物模型表示为：O＝{o1，o2，…，ono}，其中no是障碍物的总数。
优选的，基于IF-THEN规则来提取驾驶规则中的特定位置、目的地、当前状态和所需的动作；所述IF-THEN规则满足如下关系：
If the CAV reaches position P*
And its driving destination is D*
And the state is S*
Then perform action A*
其中，CAV为自动驾驶车辆，P*为特定位置，D*为目的地，S*为当前状态，A*为所需的动作。
优选的，所述A*包括：加速动作和转向动作；
所述加速动作满足如下关系：
Figure BDA0003093703790000031
其中，
Figure BDA0003093703790000032
为加速动作，aa为直行加速度；
所述转向动作满足如下关系：
Figure BDA0003093703790000033
其中，
Figure BDA0003093703790000034
为转向动作，as为转向加速度。
优选的，所述共享所述驾驶规则包括：
上载请求消息到节点；所述请求消息包括：
Figure BDA0003093703790000041
其中
Figure BDA0003093703790000042
rj和
Figure BDA0003093703790000043
分别为CAVj的公钥，驾驶规则和私钥；h(Blockt-1)为最新块的哈希，MECNi为区块链中附近的节点。
优选的，所述扩充已有专家系统知识库包括：
下载驾驶规则集R＝{r1，r2，...，rj，...，rm}，(m＜nc)来扩展已有专家系统知识库；所述驾驶规则集满足如下关系：
K＝(U,AT＝C∪D,V,P)
其中U是整个对象；AT是一组有限的非空属性，分为两部分，其中C是条件属性的集合，包括位置属性和状态属性，而D是决策属性的集合；V是属性的范围；P是一个信息功能。
优选的，所述判断是否存在紧急情况包括：利用主观安全距离模型判断是否存在紧急情况；
所述主观安全距离模型满足如下关系：
Figure BDA0003093703790000044
其中Sh(t)代表车辆和主要交通参与者的纵向空间前进距离；Sbp表示OV的制动距离；xLT表示主要交通参与者的纵向位移；sfd表示最终跟随距离。
优选的，所述基于扩充后已有专家系统知识库对机器学习模型进行调整包括：
使用扩充后已有专家系统知识库组合当前本地自动驾驶决策模型以生成总体动作空间，所述总体动作空间包括：加速动作、减速动作和转弯动作。
一种混合自动驾驶决策设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述混合混合自动驾驶决策方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述混合自动驾驶决策方法的步骤。
本申请提供的一种混合自动驾驶决策方法，获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；基于所述交通环境信息建立本地自动驾驶决策模型；基于所述本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；共享所述驾驶规则；扩充已有专家系统知识库；判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由所述机器学习模型进行决策。该决策方法利用两种现有策略相辅相成，以克服单个策略的缺点，从而使之有效针对不同驾驶场景的决策。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种混合自动驾驶决策方法的流程图。
图2为本申请实施例提供的一种混合自动驾驶决策设备的结构示意图。
图3为本申请实施例提供的一种混合自动驾驶决策设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种混合自动驾驶决策方法的流程图。
本申请实施例提供的一种混合自动驾驶决策方法，可以包括以下步骤：
步骤S101：获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息。
实际应用中，在自动驾驶过程中，需要根据当前的交通环境信息预测自动驾驶车辆的下一步驾驶动作，所以可以先获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息，实时交通环境信息的类型可以根据实际需要确定，比如可以借助摄像头、全球定位系统、惯性测量单元、毫米波雷达、激光雷达等车载传感器装置，获取行车环境状态，如天气数据、交通信号灯、交通拓扑信息，自动驾驶车辆、其他交通参与者的位置、运行状态等信息，摄像头获取的直接原始图像数据等原始交通环境信息来直接作为实时交通环境信息，还可以通过RefineNet等模型对原始交通环境信息处理得到的深度图和语义分割图作为实时交通环境信息等。
步骤S102：基于交通环境信息建立本地自动驾驶决策模型。具体应用场景中，基于马尔可夫决策过程模型来构建本地自动驾驶决策模型；马尔可夫决策过程模型包括：车辆模型、行人模型和障碍物模型；
车辆模型表示为：CAVV＝{v1，v2，…，vnc}，其中nc是CAV的总数；
行人模型表示为：P＝{p1，p2，…，pnp}，其中np是行人总数；
障碍物模型表示为：O＝{o1，o2，…，ono}，其中no是障碍物的总数。
步骤S103：基于本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则。
实际应用中，单个车辆所能涉及的交通场景有限，当遇到新的情况时，可能无法做出正确的决策。对于基于ES的系统，知识获取存在瓶颈，因此通常难以扩充现有的知识库。对于基于机器学习的方法，则存在训练数据的限制和方法不透明的缺陷。因此，对于不断变化的交通场景，其有限的知识库难以实现高自动驾驶性能。综上，为了扩展自动驾驶车辆知识库的环境适应性，需要设计一种知识库扩充策略。该策略利用多个CAV，通过驾驶规则提取、规则共享和知识库扩充的步骤，来扩展每一辆CAV的知识库。
可以使用基于深度强化学习的方法来学习CAV的驾驶行为，并将其用作驾驶规则提取和共享的基础。因此，接下来分别完善动作空间，状态空间和奖励函数。
1)动作空间：在行驶过程中，每个CAV(包括目标车辆OV)主要控制车辆的加速度和转向角，以实现沿既定路线的安全正确驾驶。因此，时间t的动作空间a(t)由加速度aa(t)和转向as(t)组成，可以表示为：
a(t)＝{aa(t)，as(t)}
考虑到驾驶舒适性，加速度选择范围是[-4,2]m/s2。此外，CAV通过从[-40，40]度中选择转向角来执行转向操作，该转向角与车辆的最小转弯半径，车辆的轴距和轮胎的偏移量有关。
2)状态空间：对于场景中的所有交通参与者，其时间t的状态可以用速度V(t)，位置P(t)和行车方向α(t)。对于障碍物(例如路障和道路事故)，由于位置固定,它们在时间t的状态可以通过位置Po(t)和大小(即，长度l和宽度w表示)。因此，状态空间可以表示为：
s(t)＝{sov(t)，svi(t)，spj(t)，sok(t)}
其中sov(t)，svi(t)，spj(t)和sok(t)代表OV的状态、其他CAV、行人和障碍物；参数i，j和k分别代表交通场景中的第i个CAV，第j个行人和第k个障碍物。具体来说，每个时间t的状态可以分解为：
Figure BDA0003093703790000091
考虑到交通参与者之间的相互作用，在给定当前状态s(t)和所选动作a(t)的情况下，转移概率可以表示为：
P(s(t+1)|s(t)，a(t))＝P(sOV(t+1)|sOV(t)，a(t))
P(svi(t+1)|s(t))
P(spj(t+1)|s(t))
车辆OV的动作选择主要基于设计的奖励函数。对于其他CAV和行人，有必要遵守基本交通规则(例如CAV需要屈服于行人)并确定行为是否安全。因此，其他CAV和行人的行为取决于其各自的状态和环境状态。转移概率可以通过CAV和行人的动态函数获得，状态变量可以通过传感系统获得。
3)奖励函数：在强化学习中，指导CAV学习的特定任务奖励功能是重要的组成部分。为了简化学习过程，根据日常驾驶行为设计了一个相对简单的奖励函数，用于奖励或惩罚驾驶中的CAV。奖励功能由以下部分组成，即行驶方向的正确性，行驶的安全性和变道的必要性。
根据交通法规，车辆的行驶方向必须与道路方向一致。否则，逆行的CAV会受到处罚。
r1(t)＝cosα(t)-sinα(t)
其中，α>0表示车辆的行驶方向与道路方向之间的角度。
驾驶安全非常重要，因此，如果在驾驶过程中发生事故，CAV将受到处罚。特别是，如果在驾驶过程中造成了事故情况，则此事件将结束。
r2(t)＝-(v(t)2+δ)||{Collsion}
其中δ>0是权重参数。术语{Collsion}表示如果发生碰撞，则值为1，否则为0。另外，行驶速度越高，事故将越严重。
在正常情况下，频繁的换道会影响交通效率，甚至会导致交通事故。因此，不主张不必要地改变车道。考虑到驾驶过程中频繁换道的不利影响，当前方x米内没有车辆且当前道路可以行驶到目的地时，将对换道行为进行处罚：
Figure BDA0003093703790000101
其中Sh(t)表示前车在同一车道上行驶的空间。
最终的奖励函数是三个奖励函数的的加权总和，可以表示为：
Figure BDA0003093703790000111
其中wi是权重参数。
具体应用场景中，基于IF-THEN规则来提取驾驶规则中的特定位置、目的地、当前状态和所需的动作；IF-THEN规则满足如下关系：
If the CAV reaches position P*
And its driving destination is D*
And the state is S*
Then perform action A*
其中，CAV为自动驾驶车辆，P*为特定位置，D*为目的地，S*为当前状态，A*为所需的动作。
具体应用场景中，A*包括：加速动作和转向动作；
加速动作满足如下关系：
Figure BDA0003093703790000112
其中，
Figure BDA0003093703790000113
为加速动作，aa为直行加速度；
转向动作满足如下关系：
Figure BDA0003093703790000114
其中，
Figure BDA0003093703790000115
为转向动作，as为转向加速度。
步骤S104：共享驾驶规则。
实际应用中，提取驾驶规则后，相应的CAV会将驾驶规则上载到附近的移动边缘计算节点(MECN)进行共享。在规则共享过程中，CAV可能会提供不正确的信息或由于各种原因而受到攻击，并且MECN可能不会被完全信任。为了解决规则共享过程中用户隐私和数据安全的问题，采用区块链网络。
具体应用场景中，共享驾驶规则包括：
上载请求消息到节点；请求消息包括：
Figure BDA0003093703790000121
其中
Figure BDA0003093703790000122
rj和
Figure BDA0003093703790000123
分别为CAVj的公钥，驾驶规则和私钥；h(Blockt-1)为最新块的哈希，MECNi为区块链中附近的节点。
MECNi将上载驾驶规则添加到新消息中，新消息为：
Figure BDA0003093703790000124
MECNi的公钥和私钥分别是
Figure BDA0003093703790000125
和
Figure BDA0003093703790000126
然后，为了验证其有效性，MECN会将记录广播到其他充当验证节点的MECN。在一定时期内，生产者将来自所有CAV的汇总记录打包为块。使用带有拜占庭容错的委托股权证明BFT-DPoS)共识算法达成共识后，此区块将添加到区块链的末尾。
步骤S105：扩充已有专家系统知识库。
具体应用场景中，扩充已有专家系统知识库：
下载驾驶规则集R＝{r1，r2，...，rj，...，rm}，(m＜nc)来扩展已有专家系统知识库；驾驶规则集满足如下关系：
K＝(U,AT＝C∪D,V,P)
其中U是整个对象；AT是一组有限的非空属性，分为两部分，其中C是条件属性的集合，包括位置属性和状态属性，而D是决策属性的集合；V是属性的范围；P是一个信息功能。
扩展知识库时，将按以下方式测试提取的驾驶规则：
冗余测试：合并具有相同结论但属性不同的驾驶规则。
分歧测试：对于具有相同属性和不同结论的驾驶规则，驾驶规则的选择和决策模型的更新均基于当前大多数CAV的结论，因此保留了正确的结论。
完整性测试：决策模型仅通过完整的驾驶规则来扩展，即驾驶规则具有条件和结论。结果，删除缺少C或D的规则。
在提取并测试了上述驾驶规则后，将每个驾驶规则添加到决策模型中，以实现驾驶规则学习的全过程。
步骤S106：判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由机器学习模型进行决策。
具体应用场景中，基于主观安全距离模型来判断是否存在紧急情况；主观安全距离模型满足如下关系：
Figure BDA0003093703790000141
其中Sh(t)代表车辆和主要交通参与者的纵向空间前进距离；Sbp表示OV的制动距离；xLT表示主要交通参与者的纵向位移；sfd表示最终跟随距离。
具体应用场景中，基于扩充后已有专家系统知识库对机器学习模型进行调整包括：
使用扩充后已有专家系统知识库组合当前本地自动驾驶决策模型以生成总体动作空间，总体动作空间包括：加速动作、减速动作和转弯动作。
其中，CAV(指的是OV)到达某个位置P*，使用下载的最新驾驶规则集并扩展已有决策模型组合当前本地自动驾驶决策模型以生成总体动作空间A*，其中包括是否加速/减速以及是否转弯。假设ac(t)是当前选定动作，有以下两种情况：
如果ac(t)在A*中，则OV(DQN代理)的驱动策略与已有决策模型的驱动策略基本相同。选定的动作可以根据以下公示进行更新：
a(t)＝wac(t)+(1-w)A*
如果ac(t)不在A*中，则OV(DQN代理)的驱动策略与已有决策模型的驱动策略不一致。造成这种情况的主要原因有两个。一方面，可能是OV的性能不足或导航信息未更新，从而导致代理选择了不合适的操作。另一方面，道路环境可能会发生变化，例如清除了临时路障，并且尚未更新已有决策模型在这种情况下，有必要确定原因。
对于第一种情况，根据已有决策模型选择操作。对于第二种情况，OV需要根据交通环境做出自己的决策。
本申请提供的一种混合自动驾驶决策方法，获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；基于所述交通环境信息建立本地自动驾驶决策模型；基于所述本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；共享所述驾驶规则；扩充已有专家系统知识库；判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由所述机器学习模型进行决策。该决策方法利用两种现有策略相辅相成，以克服单个策略的缺点，从而使之有效针对不同驾驶场景的决策。同时利用区块链网络进行规则的共享，能够防止CAV可能会提供不正确的信息或由于各种原因而受到攻击，并且MECN可能不会被完全信任的情况。
请参阅图2，本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；
基于交通环境信息建立本地自动驾驶决策模型；
基于本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；
共享驾驶规则；
扩充已有专家系统知识库；
判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由机器学习模型进行决策。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
基于马尔可夫决策过程模型来构建本地自动驾驶决策模型；马尔可夫决策过程模型包括：车辆模型、行人模型和障碍物模型；
车辆模型表示为：CAVV＝{v1，v2，…，vnc}，其中nc是CAV的总数；
行人模型表示为：P＝{p1，p2，…，pnp}，其中np是行人总数；
障碍物模型表示为：O＝{o1，o2，…，ono}，其中no是障碍物的总数。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
基于IF-THEN规则来提取驾驶规则中的特定位置、目的地、当前状态和所需的动作；IF-THEN规则满足如下关系：
If the CAV reaches position P*
And its driving destination is D*
And the state is S*
Then perform action A*
其中，CAV为自动驾驶车辆，P*为特定位置，D*为目的地，S*为当前状态，A*为所需的动作。
A*包括：加速动作和转向动作；
加速动作满足如下关系：
Figure BDA0003093703790000171
其中，
Figure BDA0003093703790000172
为加速动作，aa为直行加速度；
转向动作满足如下关系：
Figure BDA0003093703790000173
其中，
Figure BDA0003093703790000174
为转向动作，as为转向加速度。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
上载请求消息到节点；请求消息包括：
Figure BDA0003093703790000175
其中
Figure BDA0003093703790000176
rj和
Figure BDA0003093703790000177
分别为CAVj的公钥，驾驶规则和私钥；h(Blockt-1)为最新块的哈希，MECNi为区块链中附近的节点。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
下载驾驶规则集R＝{r1，r2，...，rj，...，rm}，(m＜nc)来扩展已有专家系统知识库；驾驶规则集满足如下关系：
K＝(U,AT＝C∪D,V,P)
其中U是整个对象；AT是一组有限的非空属性，分为两部分，其中C是条件属性的集合，包括位置属性和状态属性，而D是决策属性的集合；V是属性的范围；P是一个信息功能。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
利用主观安全距离模型判断是否存在紧急情况；
主观安全距离模型满足如下关系：
Figure BDA0003093703790000181
其中Sh(t)代表车辆和主要交通参与者的纵向空间前进距离；Sbp表示OV的制动距离；xLT表示主要交通参与者的纵向位移；sfd表示最终跟随距离。
本申请实施例提供的一种混合自动驾驶设备，包括存储器101和处理器102，存储器101中存储有计算机程序，处理器102执行计算机程序时实现如下步骤：
使用扩充后已有专家系统知识库组合当前本地自动驾驶决策模型以生成总体动作空间，总体动作空间包括：加速动作、减速动作和转弯动作。
请参阅图3，本申请实施例提供的另一种混合自动驾驶设备中还可以包括：与处理器102连接的输入端口103，用于传输外界输入的命令至处理器102；与处理器102连接的显示单元104，用于显示处理器102的处理结果至外界；与处理器102连接的通信模块105，用于实现自动驾驶设备与外界的通信。显示单元104可以为显示面板、激光扫描使显示器等；通信模块105所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；
基于交通环境信息建立本地自动驾驶决策模型；
基于本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；
共享驾驶规则；
扩充已有专家系统知识库；
判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由机器学习模型进行决策。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
基于马尔可夫决策过程模型来构建本地自动驾驶决策模型；马尔可夫决策过程模型包括：车辆模型、行人模型和障碍物模型；
车辆模型表示为：CAVV＝{v1，v2，…，vnc}，其中nc是CAV的总数；
行人模型表示为：P＝{p1，p2，…，pnp}，其中np是行人总数；
障碍物模型表示为：O＝{o1，o2，…，ono}，其中no是障碍物的总数。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
基于IF-THEN规则来提取驾驶规则中的特定位置、目的地、当前状态和所需的动作；IF-THEN规则满足如下关系：
If the CAV reaches position P*
And its driving destination is D*
And the state is S*
Then perform action A*
其中，CAV为自动驾驶车辆，P*为特定位置，D*为目的地，S*为当前状态，A*为所需的动作。
A*包括：加速动作和转向动作；
加速动作满足如下关系：
Figure BDA0003093703790000211
其中，
Figure BDA0003093703790000212
为加速动作，aa为直行加速度；
转向动作满足如下关系：
Figure BDA0003093703790000213
其中，
Figure BDA0003093703790000214
为转向动作，as为转向加速度。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
上载请求消息到节点；请求消息包括：
Figure BDA0003093703790000215
其中
Figure BDA0003093703790000216
rj和
Figure BDA0003093703790000217
分别为CAVj的公钥，驾驶规则和私钥；h(Blockt-1)为最新块的哈希，MECNi为区块链中附近的节点。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
下载驾驶规则集R＝{r1，r2，...，rj，...，rm}，(m＜nc)来扩展已有专家系统知识库；驾驶规则集满足如下关系：
K＝(U,AT＝C∪D,V,P)
其中U是整个对象；AT是一组有限的非空属性，分为两部分，其中C是条件属性的集合，包括位置属性和状态属性，而D是决策属性的集合；V是属性的范围；P是一个信息功能。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
利用主观安全距离模型判断是否存在紧急情况；
主观安全距离模型满足如下关系：
Figure BDA0003093703790000221
其中Sh(t)代表车辆和主要交通参与者的纵向空间前进距离；Sbp表示OV的制动距离；xLT表示主要交通参与者的纵向位移；sfd表示最终跟随距离。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
使用扩充后已有专家系统知识库组合当前本地自动驾驶决策模型以生成总体动作空间，总体动作空间包括：加速动作、减速动作和转弯动作。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的混合自动驾驶设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的混合自动驾驶决策方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种混合自动驾驶决策方法，其特征在于，包括：
获取当前时刻下，自动驾驶车辆在行驶过程中的实时交通环境信息；
基于所述交通环境信息建立本地自动驾驶决策模型；
基于所述本地自动驾驶决策模型，使用基于深度强化学习的方法来学习自动驾驶车辆的驾驶行为，并提取驾驶规则；
共享所述驾驶规则；
扩充已有专家系统知识库；
判断是否存在紧急情况，若是，则采用机器学习模型进行决策；若否，基于扩充后已有专家系统知识库对机器学习模型进行调整，由所述机器学习模型进行决策。
2.根据权利要求1所述的混合自动驾驶决策方法，其特征在于，基于马尔可夫决策过程模型来构建本地自动驾驶决策模型；所述马尔可夫决策过程模型包括：车辆模型、行人模型和障碍物模型；
所述车辆模型表示为：CAV V＝{v1，v2，...，vnc}，其中nc是CAV的总数；
所述行人模型表示为：P＝{p1，p2，...，pnp}，其中np是行人总数；
所述障碍物模型表示为：O＝{o1，o2，...，ono}，其中no是障碍物的总数。
3.根据权利要求1所述的一种混合自动驾驶决策方法，其特征在于，基于IF-THEN规则来提取驾驶规则中的特定位置、目的地、当前状态和所需的动作；所述IF-THEN规则满足如下关系：
If the CAV reaches position P*
And its driving destination is D*
And the state is S*
Then perform action A*
其中，CAV为自动驾驶车辆，P*为特定位置，D*为目的地，S*为当前状态，A*为所需的动作。
4.根据权利要求3所述的一种混合自动驾驶决策方法，其特征在于，所述A*包括：加速动作和转向动作；
所述加速动作满足如下关系：
Figure FDA0003710197830000021
其中，
Figure FDA0003710197830000022
为加速动作，aa为直行加速度；
所述转向动作满足如下关系：
Figure FDA0003710197830000023
其中，
Figure FDA0003710197830000024
为转向动作，as为转向加速度。
5.根据权利要求1所述的一种混合自动驾驶决策方法，其特征在于，所述共享所述驾驶规则包括：
上载请求消息到节点；所述请求消息包括：
Figure FDA0003710197830000031
其中
Figure FDA0003710197830000032
rj和
Figure FDA0003710197830000033
分别为CAVj的公钥，驾驶规则和私钥；h(Blockt-1)为最新块的哈希，MECNi为区块链中附近的节点。
6.根据权利要求1所述的一种混合自动驾驶决策方法，其特征在于，所述扩充已有专家系统知识库包括：
下载驾驶规则集R＝{r1，r2，...，ri，...，rm}，(m＜nc)来扩展已有专家系统知识库；所述驾驶规则集满足如下关系：
K＝(U，AT＝C∪D，V，P)
其中U是整个对象；AT是一组有限的非空属性，分为两部分，其中C是条件属性的集合，包括位置属性和状态属性，而D是决策属性的集合；V是属性的范围；P是一个信息功能。
7.根据权利要求1所述的一种混合自动驾驶决策方法，其特征在于，
基于主观安全距离模型来判断是否存在紧急情况；
所述主观安全距离模型满足如下关系：
Figure FDA0003710197830000034
其中Sh(t)代表车辆和主要交通参与者的纵向空间前进距离；Sbp表示目标车辆的制动距离；xLT表示主要交通参与者的纵向位移；sfd表示最终跟随距离。
8.根据权利要求1所述的一种混合自动驾驶决策方法，其特征在于，所述基于扩充后已有专家系统知识库对机器学习模型进行调整包括：
使用扩充后已有专家系统知识库组合当前本地自动驾驶决策模型以生成总体动作空间，所述总体动作空间包括：加速动作、减速动作和转弯动作。
9.一种混合自动驾驶决策设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-8任一项所述混合自动驾驶决策方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述混合自动驾驶决策方法的步骤。
CN202110606707.7A 2021-05-31 2021-05-31 一种混合自动驾驶决策方法、设备及计算机存储介质 Active CN113511215B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110606707.7A CN113511215B (zh) 2021-05-31 2021-05-31 一种混合自动驾驶决策方法、设备及计算机存储介质
US17/828,323 US20220388540A1 (en) 2021-05-31 2022-05-31 Hybrid decision-making method and device for autonomous driving and computer storage medium
GB2208030.3A GB2609720B (en) 2021-05-31 2022-05-31 Hybrid decision-making method and device for autonomous driving and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110606707.7A CN113511215B (zh) 2021-05-31 2021-05-31 一种混合自动驾驶决策方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113511215A CN113511215A (zh) 2021-10-19
CN113511215B true CN113511215B (zh) 2022-10-04

Family

ID=78065218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110606707.7A Active CN113511215B (zh) 2021-05-31 2021-05-31 一种混合自动驾驶决策方法、设备及计算机存储介质

Country Status (3)

Country Link
US (1) US20220388540A1 (zh)
CN (1) CN113511215B (zh)
GB (1) GB2609720B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115027500B (zh) * 2022-06-30 2024-05-14 智道网联科技(北京)有限公司 用于无人驾驶车辆的决策规划方法、装置及电子设备、存储介质
CN117348415B (zh) * 2023-11-08 2024-06-04 重庆邮电大学 一种基于有限状态机的自动驾驶决策方法
CN117808180B (zh) * 2023-12-27 2024-07-05 北京科技大学 一种基于知识与数据联合的路径规划方法、应用及装置
CN118466257B (zh) * 2024-07-15 2024-09-13 哈尔滨工业大学 基于数据-知识互补决策和自动切换的调控方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10421460B2 (en) * 2016-11-09 2019-09-24 Baidu Usa Llc Evaluation framework for decision making of autonomous driving vehicle
US10515321B2 (en) * 2017-09-11 2019-12-24 Baidu Usa Llc Cost based path planning for autonomous driving vehicles
CN107862346B (zh) * 2017-12-01 2020-06-30 驭势科技（北京）有限公司 一种进行驾驶策略模型训练的方法与设备
US20200033869A1 (en) * 2018-07-27 2020-01-30 GM Global Technology Operations LLC Systems, methods and controllers that implement autonomous driver agents and a policy server for serving policies to autonomous driver agents for controlling an autonomous vehicle
CN112805198B (zh) * 2018-12-10 2022-11-18 华为云计算技术有限公司 用于自主驾驶的个人驾驶风格学习
CN109598934B (zh) * 2018-12-13 2020-11-06 北京超星未来科技有限公司 一种基于规则与学习模型的无人驾驶汽车驶离高速的方法
EP3722908B1 (en) * 2019-04-09 2022-11-30 Bayerische Motoren Werke Aktiengesellschaft Learning a scenario-based distribution of human driving behavior for realistic simulation model
US10699580B1 (en) * 2019-04-17 2020-06-30 Guident Ltd. Methods and systems for emergency handoff of an autonomous vehicle
CN112198870B (zh) * 2020-06-01 2022-09-02 西北工业大学 基于ddqn的无人机自主引导机动决策方法
CN112249032B (zh) * 2020-10-29 2022-02-18 浪潮(北京)电子信息产业有限公司 一种自动驾驶决策方法、系统、设备及计算机存储介质
CN112356841B (zh) * 2020-11-26 2021-12-24 中国人民解放军国防科技大学 一种基于脑机交互的车辆控制方法及装置
CN112793576B (zh) * 2021-01-26 2022-04-01 北京理工大学 一种基于规则与机器学习融合的换道决策方法及系统

Also Published As

Publication number Publication date
GB2609720B (en) 2023-09-06
US20220388540A1 (en) 2022-12-08
GB202208030D0 (en) 2022-07-13
GB2609720A (en) 2023-02-15
CN113511215A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113511215B (zh) 一种混合自动驾驶决策方法、设备及计算机存储介质
Montanaro et al. Towards connected autonomous driving: review of use-cases
CN110834644B (zh) 一种车辆控制方法、装置、待控制车辆及存储介质
Katrakazas et al. A new integrated collision risk assessment methodology for autonomous vehicles
JP6972392B2 (ja) 自律走行シミュレーションのための時間伸縮法
US11597395B2 (en) Systems and methods to manage vehicles under anomalous driving behavior
CN111123933B (zh) 车辆轨迹规划的方法、装置、智能驾驶域控制器和智能车
US20230286536A1 (en) Systems and methods for evaluating domain-specific navigation system capabilities
US20200142420A1 (en) Vehicle language processing
US11792687B2 (en) Message management for cooperative driving among connected vehicles
US20220068122A1 (en) Systems and methods to group and move vehicles cooperatively to mitigate anomalous driving behavior
US20220053308A1 (en) Proxy environmental perception
US11877217B2 (en) Message processing for wireless messages based on value of information
US20230073151A1 (en) Early detection of abnormal driving behavior
KR20230159308A (ko) 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
US20220035365A1 (en) Vehicular nano cloud
Zhao et al. Ontologies for advanced driver assistance systems
Biswas et al. State-of-the-art review on recent advancements on lateral control of autonomous vehicles
US11429843B2 (en) Vehicle operation labeling
CN111833597A (zh) 具有规划控制的交通情形中的自主决策
CN116466697A (zh) 用于运载工具的方法、系统以及存储介质
US20230247399A1 (en) Adaptive sensor data sharing for a connected vehicle
US12054167B2 (en) Resolving vehicle application version differences
US11564116B2 (en) Asynchronous observation matching for object localization in connected vehicles
CN115454085A (zh) 基于导航地图的自动驾驶控制方法及自动驾驶控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 710071 No. 2 Taibai South Road, Shaanxi, Xi'an

Applicant after: XIDIAN University

Address before: 710071 No. 2, Taibai South Road, Tongchuan City, Shaanxi Province

Applicant before: XIDIAN University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant