CN116558517A - 路径规划方法、装置及自动驾驶车辆控制系统 - Google Patents

路径规划方法、装置及自动驾驶车辆控制系统 Download PDF

Info

Publication number
CN116558517A
CN116558517A CN202310199868.8A CN202310199868A CN116558517A CN 116558517 A CN116558517 A CN 116558517A CN 202310199868 A CN202310199868 A CN 202310199868A CN 116558517 A CN116558517 A CN 116558517A
Authority
CN
China
Prior art keywords
path planning
neural network
vehicle
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310199868.8A
Other languages
English (en)
Inventor
曹健
尚敬捷
王源
陈珏
黄世龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202310199868.8A priority Critical patent/CN116558517A/zh
Publication of CN116558517A publication Critical patent/CN116558517A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Feedback Control In General (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本发明公开一种路径规划方法、装置及自动驾驶车辆控制系统，其中，路径规划方法，包括：获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；将人工神经网络模型通过工具链转换成脉冲神经网络模型；将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。本发明可以实现自动驾驶中的路径规划系统的高精度和低功耗。

Description

路径规划方法、装置及自动驾驶车辆控制系统
技术领域
本发明涉及信息处理技术领域，尤其涉及一种路径规划方法、装置及自动驾驶车辆控制系统。
背景技术
路径规划在车辆、机器人等在自然场景中移动中具有重要作用，通过路径规划可以让移动的物体找寻到最优的合适路线。随着人工智能与神经网络技术的兴起，出现了多种人工智能路径规划方法。
目前，在车辆自动驾驶技术中，路径规划是一个重要的环节和组成部分，人工智能路径规划方法能够为高级别自动驾驶提供重要的技术保障。通常情况下，车辆无法掌握全局环境信息，所以在自动驾驶领域的路径规划技术常以局部路径规划的形式出现，现有的局部路径规划方法主要为人工智能领域的强化学习算法，常见的强化学习局部规划算法如Deep Q-network(DQN)，其采用经验池和固定目标的策略，建立同结构双重神经网络来优化参数以拟合目标，这种路径规划方法具有能够应对复杂多变的道路场景及精度高的特点。
然而，上述人工神经网络的路径规划方法所需计算资源过大，存在功耗较大的问题，这对于车载场景和边端场景是难以接受的。
发明内容
本发明提供一种路径规划方法、装置及系统路径规划方法、装置及自动驾驶车辆控制系统，可以克服上述现有技术中存在的技术问题，以实现路径规划系统的高精度和低功耗。
本发明提供的一种路径规划方法，包括：
获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；
将人工神经网络模型通过工具链转换成脉冲神经网络模型；
将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；
将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
本发明还提供的一种路径规划装置，包括：
获取模块，用于获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；
模型转换模块，用于将人工神经网络模型通过工具链转换成脉冲神经网络模型；
映射模块，用于将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；
部署模块，用于将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
本发明还提供一种自动驾驶车辆控制系统，包括：上述的路径规划装置。
本发明实施例通过采用DQN算法进行路径规划训练获取高精度的运算决策方式，再将已训练的路径规划网络中计算量大需高功耗的人工神经网络模型转换为低功耗的脉冲神经网络模型，实现了高精度和低功耗的有效结合，并通过硬件系统的工具链进行映射实现了路径规划方法在硬件终端的部署，对于终端硬件算力有限、功耗有限等因素限制条件下实现了路径规划终端部署应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种路径规划方法流程图；
图2为基于DQN算法的神经网络的智能决策示意图；
图3为本发明实施例中采用的DQN算法原理结构示意图；
图4为本发明实施例中高速公路上的车辆行驶的场景示意图；
图5为本发明实施例中DQN算法网络结构及动作空间示意图；
图6为SNN中IF神经元和ANN中ReLU激活函数的对比示意图；
图7为本发明实施例提供的一种路径规划装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如前所述，现有的人工神经网络(Artificial Neural Network，简称ANN)的路径规划方法具有能够应对复杂多变的道路场景及精度高的特点，但是所需计算资源过大，存在功耗较大的问题，功耗要求通常在50w以上，这对于车载场景和边端场景是难以接受的。为此，本发明提出一种路径规划方法，通过将高精度的基于DQN算法与脉冲神经网络相结合，使得路径规划系统同时具有高精度和低功耗。
为使本发明的技术方案更加清楚，以下结合附图对本发明的实施例进行详细说明。
图1为本发明实施例提供的一种路径规划方法流程图，如图1所示，本实施例的执行主体可以为自动驾驶车辆的控制系统或者车辆的路径规划系统，本实施例的路径规划方法，包括：
步骤101、获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型。
在高速公路上的车辆行驶的路径规划中，由于路况复杂，涉及数据维度较大，而DQN算法利用深度神经网络模拟逼近值函数，通过建立两个结构相同参数共享的目标值网络和当前值网络，并通过目标值网络来更新Q值；采用经验回放池，有效减少大批数据之间的相关性。
利用神经网络模拟值函数进行训练，训练完成后，神经网络能够很好地逼近值函数，当神经网络接收到输入的状态值State时，通过前向计算，可以得到若干个不同的Q值，模型通过选择最大的Q值所对应的动作，作为智能体的下一时刻的动作，从而实现智能决策，其过程如图2所示的基于DQN算法的神经网络的智能决策示意图。
在使用基于DQN算法的路径规划网络进行智能决策控制车辆行驶之前，需要对网络模型进行训练。即模型训练过程包括：配置的高速公路上车辆行驶的参数、神经网络参数及奖励机制；基于DQN算法及参数配置训练并量化基于DQN算法的路径规划网络；网络收敛时，将已训练的路径规划网络作为训练好的第一路径规划网络以进行车辆行驶的智能控制。
图3为本发明实施例中采用的DQN算法原理结构示意图，如图3所示，通过设置两个结构相同的网络，即当前值网络q_net和目标值网络q_net_target，当前值网络通过与环境的交互，得到智能体的动作以及状态，并以此进行下一时刻的动作更新，并计算得到损失函数的值，以此进行梯度下降，实现网络权值更新，在经过设定的步长后，当前值网络将参数同步至目标值网络，通过这种方式，设定的步长时间里目标Q值能够保持不变，减弱了当前Q值和目标Q值的相关性，使得算法更加稳定。此外，DQN算法还采用了经验回放机制来进行数据的实时存储，通过这种方式，提高了数据利用率。
DQN算法通过神经网络近似值函数模型，当智能体运动决策时，环境会给出智能体当前状态值State，通过神经网络计算得到此状态值的所有Q值，再利用ε-greedy策略选择状态值State对应的智能体动作Action，环境接收到此动作之Action后会给出奖励Reward以及下一时刻的状态值State_，此时就模型可以根据交互得到的信息进行网络权重的更新，如此循环，直至网络收敛。
为实现基于DQN的路径规划，本发明实施例中，以OpenAI库中的pygame作为基础，选取其中的高速公路路径规划场景作为模型应用场景，在此场景中训练并测试验证DQN路径规划的效果。
基于DQN算法的路径规划的人工神经网络模型训练的具体过程包括：
(1)场景参数设置与说明：
场景支持自定义参数，本实施例中采用单向5车道的高速公路作为场景，车辆总数设置为8辆(包含模型控制的一辆车)，每一辆车的状态空间包括x坐标、y坐标、x方向的速度、y方向的速度以及是否在视野内一共5个状态，并且可以采取加速、减速、保持、左右变道共5种动作。除了模型控制的车辆，其他车辆均随机动作，具体环境模型的参数见表1，实际场景参见图4所示的本发明实施例中高速公路上的车辆行驶的场景示意图，其中绿色小车为神经网络控制的车辆，蓝色小车为随机车辆。车辆行驶的参数包括：最高车速、刷新频率、最大加速度、最大减速度、单车道宽度、车辆长度、车辆宽度、车辆总数及车道数。
表1高速仿真场景参数设置
(2)神经网络参数设置
本实施例中的当前值网络q_net以及目标值网络q_net_target均采用全连接网络结构，除了输出层外，第一层输入层以及隐藏层后都用ReLU函数进行非线性激活，其网络结构及动作空间示意图如图5所示，执行动作决策时，神经网络根据环境状态输入，经过多层的运算处理输出多个Q值，不同Q值对应不同的动作Action，如左变道、直行、右变道、加速、减速。
(3)奖励机制设置
模型奖励机制为动作奖励和状态奖励之和。其中，动作奖励是根据模型控制的车辆做出的动作对应的奖励，而状态奖励则是根据车辆的状态所对应的奖励，具体计算公式如下所示：
其中：Reward为总奖励；action_reward为动作奖励；state_reward为状态奖励；vehicle_crashed_reward为车辆碰撞的惩罚项；speed_reward为车辆高速行驶奖励值，在限速范围内，行驶速度越高，奖励值越高；speed为车辆的行驶速度。
通过上述参数配置后可以基于车辆行驶的样本数据进行模型训练直至模型收敛获取训练好的第一路径规划网络以进行车辆行驶的智能控制。
上述训练好的模型为人工神经网络模型，由于该种网络所需的计算资源较大，导致功耗要求较高，为降低功耗，本发明实施例采用模型转换，将执行推理运算的人工网络模型转换为具有低功耗性能的脉冲神经网络。
步骤102、将人工神经网络模型通过工具链转换成脉冲神经网络模型。
本步骤中采用成熟的ANN转SNN(Spiking Neural Network，简称SNN)方案，首先生成用于ANN转SNN的输入数据，其次利用模型转换工具链，调用ANN2SNN接口，实现模型转换，最后测试转换得到的SNN模型性能，调整转换对应的参数，直至性能效果不下降。
ANN中的ReLU(Rectified Linear Unit，修正线性单元)神经元非线性激活和SNN中IF神经元(采用减去阈值Vthreshold方式重置)的发放率有着极强的相关性，因此可以借助这个特性来进行ANN到SNN的转换，图6为SNN中IF神经元和ANN中ReLU激活函数的对比示意图，如图6所示，在一定范围内，SNN中的IF神经元是ReLU激活函数在时间上的无偏估计器，因此可以利用此特点执行ANN到SNN的转换，以降低模型推理过程中的功耗。
另外，理论上也可以说明ANN到SNN的转换的可行性，以下进行详细说明：
针对神经网络第一层即输入层，讨论SNN神经元的发放率r和对应ANN中激活的关系。假定输入恒定为z∈[0,1]。对于采用减法重置的IF神经元，其膜电位V随时间变化为：
Vt＝Vt-1+z-Vthresholdθt
其中：Vthreshold为发放阈值，通常设为1.0。θt为输出脉冲。T时间步内的平均发放率可以通过对膜电位求和得到：
将含有Vt的项全部移项到左边，两边同时除以T：
其中N为T时间步内脉冲数，N/T就是发放率r。利用z＝Vthreshold*a即：
故在仿真时间步T无限长情况下可以得到：
r＝a(a＞0)
类似地，针对神经网络的其他层，层间发放率满足：
由此，从理论上证明了ANN转换SNN的合理性。
步骤103、将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件。
模型转换之后，为实现路径规划的实施执行，可以将脉冲神经网络模型部署在硬件系统上，具体可以为通过工具链映射方式，生成用于将脉冲神经网络模型部署在硬件系统的帧文件。
步骤104、将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
本步骤中，硬件系统可以为现场可编程逻辑门阵列FPGA，将帧文件部署在硬件系统上，包括：将帧文件烧录在现场可编程逻辑门阵列上。硬件系统还可以为脉冲神经网络芯片PAICORE2.0，使用PAICORE2.0配套的工具链进行网络映射，即SNN2CG和CG2NoC环节，生成含有一系列帧的文件，用于将模型部署至PAICORE2.0芯片上。
通过上述步骤的模型转换及网络映射，获得可部署在硬件系统上的帧文件，从而可以将模型烧录在硬件系统如FPGA或PAICORE2.0芯片上，执行路径规划时，可以直接基于车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
本发明实施例通过采用DQN算法进行路径规划训练获取高精度的运算决策方式，再将已训练的路径规划网络中计算量大需高功耗的人工神经网络模型转换为低功耗的脉冲神经网络模型，实现了高精度和低功耗的有效结合，并通过硬件系统的工具链进行映射实现了路径规划方法在硬件终端的部署，对于终端硬件算力有限、功耗有限等因素限制条件下实现了路径规划终端部署应用。
与上述方法实施例对应，本发明实施例还提供一种路径规划装置，以下详细说明。
图7为本发明实施例提供的一种路径规划装置的结构示意图，如图7所示，本实施例中的装置，包括：获取模块10，用于获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；模型转换模块20，用于将人工神经网络模型通过工具链转换成脉冲神经网络模型；映射模块30，用于将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；部署模块40，用于将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
本实施例中，获取模块首先获取已训练的基于DQN算法的第一路径规划网络，由于该网络为人工神经网络，其所需计算资源较大，从而引起功耗过大，为降低功耗，模型转换模块将获取的第一路径规划网络的人工神经网络模型转换为具有低功耗性能的脉冲神经网络模型，再通过映射模块将脉冲神经网络模型进行硬件映射，生成适于将脉冲神经网络模型部署在硬件系统的帧文件，最后部署模块将帧文件部署在硬件系统上，从而该硬件系统可以基于获取模块输入的车辆实时行驶数据对车辆的路径进行实时控制。
在另一实施例中，路径规划装置还可以包括：模型训练模块，用于配置的高速公路上车辆行驶的参数、神经网络参数及奖励机制；基于DQN算法及参数配置训练并量化基于DQN算法的路径规划网络；以及网络收敛时将已训练的路径规划网络作为训练好的第一路径规划网络。模型训练模块可以单独在计算机上进行路径规划模型的训练，训练完成后将其依照上述图7所示实施例进行终端部署应用。
在实际应用场景中，上述实施例可以用于自动驾驶车辆的控制系统，作为自动驾驶车辆控制系统中的路径规划模块，以实现自动驾驶的路径规划控制。
本发明实施例中的装置或系统可以执行上述方法实施例的步骤流程，其工作原理及达到的效果类似，不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种路径规划方法，其特征在于，包括：
获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；
将人工神经网络模型通过工具链转换成脉冲神经网络模型；
将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；
将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
2.根据权利要求1所述的方法，其特征在于，在获取已训练好的基于DQN算法的第一路径规划网络之前，包括：
配置的高速公路上车辆行驶的参数、神经网络参数及奖励机制；
基于DQN算法及参数配置训练并量化基于DQN算法的路径规划网络；
网络收敛时，将已训练的路径规划网络作为训练好的第一路径规划网络。
3.根据权利要求2所述的方法，其特征在于，所述车辆行驶的参数包括：最高车速、刷新频率、最大加速度、最大减速度、单车道宽度、车辆长度、车辆宽度、车辆总数及车道数。
4.根据权利要求2所述的方法，其特征在于，所述神经网络参数中当前值网络及目标值网络均采用全连接网络结构，神经网络的输出层之前的每一层输出均采用ReLU函数进行非线性激活。
5.根据权利要求2所述的方法，其特征在于，所述奖励机制为动作奖励和状态奖励之和，其中，动作奖励为车辆做出的动作对应的奖励，状态奖励为车辆的状态所对应的奖励。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述硬件系统为脉冲神经网络芯片或现场可编程逻辑门阵列。
7.根据权利要求6所述的方法，其特征在于，所述将帧文件部署在硬件系统上，包括：将帧文件烧录在现场可编程逻辑门阵列上。
8.一种路径规划装置，其特征在于，包括：
获取模块，用于获取已训练好的基于DQN算法的第一路径规划网络及高速公路上车辆行驶的参数配置及行驶数据，所述第一路径规划网络为以高速公路上车辆行驶路径规划为应用场景进行训练获得的人工神经网络模型；
模型转换模块，用于将人工神经网络模型通过工具链转换成脉冲神经网络模型；
映射模块，用于将脉冲神经网络模型通过工具链映射，生成用于将脉冲神经网络模型部署在硬件系统的帧文件；
部署模块，用于将帧文件部署在硬件系统上以根据车辆的行驶数据对高速公路上自动驾驶车辆的路径进行实时控制。
9.根据权利要求8所述的装置，其特征在于，还包括：
模型训练模块，用于配置的高速公路上车辆行驶的参数、神经网络参数及奖励机制；基于DQN算法及参数配置训练并量化基于DQN算法的路径规划网络；以及网络收敛时将已训练的路径规划网络作为训练好的第一路径规划网络。
10.一种自动驾驶车辆控制系统，其特征在于，包括：如权利要求8或9所述的路径规划装置。
CN202310199868.8A 2023-03-06 2023-03-06 路径规划方法、装置及自动驾驶车辆控制系统 Pending CN116558517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310199868.8A CN116558517A (zh) 2023-03-06 2023-03-06 路径规划方法、装置及自动驾驶车辆控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310199868.8A CN116558517A (zh) 2023-03-06 2023-03-06 路径规划方法、装置及自动驾驶车辆控制系统

Publications (1)

Publication Number Publication Date
CN116558517A true CN116558517A (zh) 2023-08-08

Family

ID=87485075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310199868.8A Pending CN116558517A (zh) 2023-03-06 2023-03-06 路径规划方法、装置及自动驾驶车辆控制系统

Country Status (1)

Country Link
CN (1) CN116558517A (zh)

Similar Documents

Publication Publication Date Title
CN112703459B (zh) 对抗场景的迭代生成
Wang et al. Continuous control for automated lane change behavior based on deep deterministic policy gradient algorithm
CN106873585A (zh) 一种导航寻路方法、机器人及系统
CN111260027B (zh) 一种基于强化学习的智能体自动决策方法
CN107168303A (zh) 一种汽车的自动驾驶方法及装置
US20220156576A1 (en) Methods and systems for predicting dynamic object behavior
CN114162146B (zh) 行驶策略模型训练方法以及自动驾驶的控制方法
CN111580544A (zh) 一种基于强化学习ppo算法的无人机目标跟踪控制方法
CN112446468A (zh) 用于创建脉冲神经网络的方法、设备和计算机程序
EP3690756B1 (en) Learning method and learning device for updating hd map by reconstructing 3d space by using depth estimation information and class information on each object, which have been acquired through v2x information integration technique, and testing method and testing device using the same
Viswanath et al. End to end learning based self-driving using JacintoNet
CN114067166A (zh) 用于确定物理对象的物理特性的设备和方法
Zeng GraphLight: graph-based reinforcement learning for traffic signal control
CN114973650A (zh) 车辆匝道入口合流控制方法、车辆、电子设备及存储介质
Hussain et al. Optimizing traffic lights with multi-agent deep reinforcement learning and v2x communication
Yuan et al. Prioritized experience replay-based deep q learning: Multiple-reward architecture for highway driving decision making
CN114037050B (zh) 一种基于脉冲神经网络内在可塑性的机器人退化环境避障方法
Gong et al. A decentralized network level adaptive signal control algorithm by deep reinforcement learning
Li A hierarchical autonomous driving framework combining reinforcement learning and imitation learning
CN116558517A (zh) 路径规划方法、装置及自动驾驶车辆控制系统
CN116382267B (zh) 一种基于多模态脉冲神经网络的机器人动态避障方法
CN116127853A (zh) 融合时序信息的基于ddpg的无人驾驶超车决策方法
Benedetti et al. Application of deep reinforcement learning for traffic control of road intersection with emergency vehicles
Zhang et al. Autonomous car motion prediction based on hybrid resnet model
CN114970805A (zh) 用于操作机动车辆的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination