CN116513219A - 一种车辆自适应控制方法、系统、存储介质及车辆 - Google Patents
一种车辆自适应控制方法、系统、存储介质及车辆 Download PDFInfo
- Publication number
- CN116513219A CN116513219A CN202310811659.4A CN202310811659A CN116513219A CN 116513219 A CN116513219 A CN 116513219A CN 202310811659 A CN202310811659 A CN 202310811659A CN 116513219 A CN116513219 A CN 116513219A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- function
- reinforcement learning
- learning algorithm
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000006870 function Effects 0.000 claims abstract description 128
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 103
- 230000002787 reinforcement Effects 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005265 energy consumption Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000000547 structure data Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0014—Adaptive controllers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种车辆自适应控制方法、系统、存储介质及车辆，该方法包括：建立车辆动力学模型，通过车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；获取车辆的传感器数据，并将其作为深度强化学习算法的状态空间；设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据状态空间与奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；对深度神经网络进行在线或离线训练与更新，以实现VCU对车辆的自适应控制。本发明实现了车辆在不确定性环境中的高效、安全、舒适和稳定的运行。
Description
技术领域
本发明涉及车辆控制技术领域，具体涉及一种车辆自适应控制方法、系统、存储介质及车辆。
背景技术
VCU是Vehicle Control Unit的缩写，是车辆控制单元，是车辆的大脑，负责接收和处理来自各种传感器和执行器的信号，并根据预设的策略和规则，对车辆进行控制和优化。
而基于人工智能的VCU车辆自适应控制算法是一种利用深度强化学习技术，实现车辆在不确定性环境中的自主驾驶的算法。上述自适应控制算法包括基于确定性模型的VCU车辆控制算法、基于规则引擎的VCU车辆控制算法与基于强化学习的VCU车辆控制算法。
其中，基于确定性模型的VCU车辆控制算法：这种算法基于物理模型和动力学模型，对车辆进行控制和优化，但通常仅适用于特定、动态程度较低的场景，在复杂场景下缺乏实际应用的意义；基于规则引擎的VCU车辆控制算法：这种算法基于软件工程的先进理念，设计一系列规则和有限状态机来指导车辆行驶策略，但需要考虑多种不同类型的信息，难以覆盖到各种罕见的路况，而且规则的设计和维护需要大量的人工干预；基于强化学习的VCU车辆控制算法：这种算法利用强化学习技术，让车辆通过与环境的交互，自主学习和优化控制策略，但需要大量的训练数据和计算资源，而且难以保证安全性和稳定性。
因此，现有技术中对于车辆进行控制还存在无法根据实际的行车场景输出适应性的最优策略，对车辆的自适应控制不够精细准确的技术问题。
发明内容
针对现有技术的不足，本发明的目的在于提供一种车辆自适应控制方法、系统、存储介质及车辆，旨在通过对车辆动态行为的实时监测和数据分析，实现车辆自适应控制，从而更加精准地实现对车辆的控制和优化。
本发明的第一方面在于提供一种车辆自适应控制方法，所述方法包括：
根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
根据上述技术方案的一方面，根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入的步骤，包括：
根据车辆结构信息，建立非线性二自由度或非线性四自由度的车辆动力学模型；
通过所述车辆动力学模型描述不同道路条件下车辆的运动特性，以获取车辆的运动状态与控制输入。
根据上述技术方案的一方面，获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间的步骤，包括：
在车辆处于运动过程中，通过车辆上预设的传感器采集传感器数据；
基于与预设传感器之间的通信连接获取所述传感器数据；
其中，所述传感器数据包括车速、加速度、转向角、侧偏角、侧偏角速度、轮胎侧向力数据，将所述传感器数据作为深度强化学习算法的状态空间。
根据上述技术方案的一方面，设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数的步骤，包括：
根据其它车辆的历史通行数据，确定车辆在使用过程中的使用场景与实际需求；
根据所述使用场景与实际需求，设定目标函数中多个计算参数分别对应的权重系数，以得到所述目标函数；
将所述目标函数作为深度强化学习算法的奖励函数；
其中，所述目标函数包括最大化行驶效率、最小化能耗与最大化安全性。
根据上述技术方案的一方面，设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出的步骤，具体包括：
根据多层感知机或卷积神经构建深度神经网络；
设定所述深度神经网络作为深度强化学习算法的逼近最优值函数或最优策略函数；
根据所述状态空间与所述奖励函数，通过梯度下降，输入最优或次优的控制输入，以作为VCU车辆自适应控制算法的控制输出；
其中，所述控制输出包括电门指令、制动指令与转向指令。
根据上述技术方案的一方面，利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制的步骤，包括：
采用随机梯度下降或自适应扭矩估计，根据不同的控制算法选择不同的学习率与折扣因子；
根据选定的学习率与折扣因子，对所述深度神经网络进行在线或离线训练与更新；
使VCU执行所述深度神经网络以对车辆进行自适应控制。
本发明的第二方面在于提供一种车辆自适应控制系统，所述系统包括：
模型建模单元，用于根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
数据获取单元，用于获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
函数设定单元，用于设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
函数运算单元，用于设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
车辆控制单元，用于利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
根据上述技术方案的一方面，所述模型建模单元具体用于：
根据车辆结构信息，建立非线性二自由度或非线性四自由度的车辆动力学模型；
通过所述车辆动力学模型描述不同道路条件下车辆的运动特性，以获取车辆的运动状态与控制输入。
本发明的第三方面在于提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述技术方案当中所述方法的步骤。
本发明的第四方面在于提供一种车辆，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述技术方案当中所述方法的步骤。
与现有技术相比，采用本发明所示的车辆自适应控制方法、系统、存储介质及车辆，有益效果在于：
通过建立车辆动力学模型，该车辆动力学模型用于准确地描述车辆在不同道路条件下的运动特性，为控制算法提供可靠的基础；以及通过采集车辆运行过程中的各种传感器数据，用于反映车辆的实时状态和环境信息，为控制算法提供丰富的输入；而设定车辆运行过程中的目标函数，可以根据不同的场景和需求平衡各个目标之间的关系，为控制算法提供明确的指导；另外通过设计深度神经网络作为控制算法的值函数或策略函数，通过梯度下降等优化方法，逼近最优或次优的控制策略；最终利用车辆运行过程中产生的数据对深度神经网络进行在线或离线训练和更新，可以提高控制算法的性能和泛化能力。使用本发明所示方法，可以实现车辆在不确定性环境中的高效、安全、舒适和稳定的运行。
附图说明
本发明的上述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：
图1为本发明一实施例当中车辆自适应控制方法的流程示意图；
图2为本发明二实施例当中车辆自适应控制系统的结构框图。
具体实施方式
为使本发明的目的、特征与优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，本发明的第一实施例提供了一种车辆自适应控制方法，本实施例当中所示的自适应控制方法，包括步骤S10-S50：
步骤S10，根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
其中，车辆结构信息中包括有车辆结构数据，车辆结构数据包括三维数模数据，因此根据三维数模数据建立车辆动力学模型，以通过该车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入。
需要说明的是，不确定环境是指车辆使用过程中可能出现的任何环境，而控制输入是用于控制车辆进行运动的各项控制指令，例如电门指令、制动指令等，以通过车辆动力学模型描述车辆在接收到控制输入时的运动状态。
步骤S20，获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
在本实施例当中，在车辆的运动过程中，通过预设于车辆上的若干传感器采集传感器数据，并基于传感器与VCU之间的通信连接获取该传感器数据。
其中，传感器数据包括车速、加速度、转向角、侧偏角、侧偏角速度、轮胎侧向力数据，用于反映车辆的实时状态和环境信息，为控制算法提供丰富的输入，以将上传传感器数据作为深度强化学习算法的状态空间。
步骤S30，设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
在本实施例当中，设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数的步骤，包括：
根据其它车辆的历史通行数据，确定车辆在使用过程中的使用场景与实际需求；
根据所述使用场景与实际需求，设定目标函数中多个计算参数分别对应的权重系数，以得到所述目标函数；
将所述目标函数作为深度强化学习算法的奖励函数；
其中，所述目标函数包括最大化行驶效率、最小化能耗与最大化安全性。
在本实施例当中，在车辆运动的过程中，设定包括最大化行驶效率、最小化能耗与最大化安全性的目标函数，并将上述目标函数作为深度强化学习算法的奖励函数。
具体而言，在设定目标函数时，还需要根据其它车辆的历史通行数据来确定车辆在使用过程中的使用场景与实际需求，即批量车主驾驶车辆所遇到的绝大多数使用场景与用车需求，再根据该使用场景与实际需求这一数据，设定目标函数中多个计算参数分别对应的权重系数，以得到本实施例当中的目标函数，该目标函数可以根据不同的场景和需求平衡各个目标之间的关系，为控制算法提供明确的指导，并将其确定为深度强化学习算法的奖励函数。
步骤S40，设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
在本实施例当中，设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出的步骤，具体包括：
根据多层感知机或卷积神经构建深度神经网络；
设定所述深度神经网络作为深度强化学习算法的逼近最优值函数或最优策略函数；
根据所述状态空间与所述奖励函数，通过梯度下降，输入最优或次优的控制输入，以作为VCU车辆自适应控制算法的控制输出；
其中，所述控制输出包括电门指令、制动指令与转向指令。
步骤S50，利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
在本实施例当中，利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制的步骤，包括：
采用随机梯度下降或自适应扭矩估计，根据不同的控制算法选择不同的学习率与折扣因子；
根据选定的学习率与折扣因子，对所述深度神经网络进行在线或离线训练与更新；
使VCU执行所述深度神经网络以对车辆进行自适应控制。
与现有技术相比，采用本实施例当中所示的车辆自适应控制方法，有益效果在于：
通过建立车辆动力学模型，该车辆动力学模型用于准确地描述车辆在不同道路条件下的运动特性，为控制算法提供可靠的基础；以及通过采集车辆运行过程中的各种传感器数据，用于反映车辆的实时状态和环境信息，为控制算法提供丰富的输入；而设定车辆运行过程中的目标函数，可以根据不同的场景和需求平衡各个目标之间的关系，为控制算法提供明确的指导；另外通过设计深度神经网络作为控制算法的值函数或策略函数，通过梯度下降等优化方法，逼近最优或次优的控制策略；最终利用车辆运行过程中产生的数据对深度神经网络进行在线或离线训练和更新，可以提高控制算法的性能和泛化能力。使用本发明所示方法，可以实现车辆在不确定性环境中的高效、安全、舒适和稳定的运行。
实施例二
请参阅图2，本发明的第二实施例提供了一种车辆自适应控制系统，本实施例当中所示的自适应控制系统，包括：模型建模单元10、数据获取单元20、函数设定单元30、函数运算单元40与车辆控制单元50。
模型建模单元10，用于根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
其中，车辆结构信息中包括有车辆结构数据，车辆结构数据包括三维数模数据，因此根据三维数模数据建立车辆动力学模型，以通过该车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入。
需要说明的是，不确定环境是指车辆使用过程中可能出现的任何环境，而控制输入是用于控制车辆进行运动的各项控制指令，例如电门指令、制动指令等，以通过车辆动力学模型描述车辆在接收到控制输入时的运动状态。
在本实施例当中，所述模型建模单元10具体用于：
根据车辆结构信息，建立非线性二自由度或非线性四自由度的车辆动力学模型；
通过所述车辆动力学模型描述不同道路条件下车辆的运动特性，以获取车辆的运动状态与控制输入。
数据获取单元20，用于获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
在本实施例当中，在车辆的运动过程中，通过预设于车辆上的若干传感器采集传感器数据，并基于传感器与VCU之间的通信连接获取该传感器数据。
其中，传感器数据包括车速、加速度、转向角、侧偏角、侧偏角速度、轮胎侧向力数据，用于反映车辆的实时状态和环境信息，为控制算法提供丰富的输入，以将上传传感器数据作为深度强化学习算法的状态空间。
函数设定单元30，用于设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
在本实施例当中，函数设定单元30具体用于：
根据其它车辆的历史通行数据，确定车辆在使用过程中的使用场景与实际需求；
根据所述使用场景与实际需求，设定目标函数中多个计算参数分别对应的权重系数，以得到所述目标函数；
将所述目标函数作为深度强化学习算法的奖励函数；
其中，所述目标函数包括最大化行驶效率、最小化能耗与最大化安全性。
在本实施例当中，在车辆运动的过程中，设定包括最大化行驶效率、最小化能耗与最大化安全性的目标函数，并将上述目标函数作为深度强化学习算法的奖励函数。
具体而言，在设定目标函数时，还需要根据其它车辆的历史通行数据来确定车辆在使用过程中的使用场景与实际需求，即批量车主驾驶车辆所遇到的绝大多数使用场景与用车需求，再根据该使用场景与实际需求这一数据，设定目标函数中多个计算参数分别对应的权重系数，以得到本实施例当中的目标函数，该目标函数可以根据不同的场景和需求平衡各个目标之间的关系，为控制算法提供明确的指导，并将其确定为深度强化学习算法的奖励函数。
函数运算单元40，用于设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
在本实施例当中，函数运算单元40，具体用于：
根据多层感知机或卷积神经构建深度神经网络；
设定所述深度神经网络作为深度强化学习算法的逼近最优值函数或最优策略函数；
根据所述状态空间与所述奖励函数，通过梯度下降，输入最优或次优的控制输入，以作为VCU车辆自适应控制算法的控制输出；
其中，所述控制输出包括电门指令、制动指令与转向指令。
车辆控制单元50，用于利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
在本实施例当中，车辆控制单元50，具体用于：
采用随机梯度下降或自适应扭矩估计，根据不同的控制算法选择不同的学习率与折扣因子；
根据选定的学习率与折扣因子，对所述深度神经网络进行在线或离线训练与更新；
使VCU执行所述深度神经网络以对车辆进行自适应控制。
与现有技术相比，采用本实施例当中所示的车辆自适应控制系统，有益效果在于：
通过建立车辆动力学模型，该车辆动力学模型用于准确地描述车辆在不同道路条件下的运动特性，为控制算法提供可靠的基础；以及通过采集车辆运行过程中的各种传感器数据，用于反映车辆的实时状态和环境信息，为控制算法提供丰富的输入；而设定车辆运行过程中的目标函数，可以根据不同的场景和需求平衡各个目标之间的关系，为控制算法提供明确的指导；另外通过设计深度神经网络作为控制算法的值函数或策略函数，通过梯度下降等优化方法，逼近最优或次优的控制策略；最终利用车辆运行过程中产生的数据对深度神经网络进行在线或离线训练和更新，可以提高控制算法的性能和泛化能力。使用本发明所示方法，可以实现车辆在不确定性环境中的高效、安全、舒适和稳定的运行。
实施例三
本发明的第三实施例提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实施例当中所述方法的步骤。
实施例四
本发明的第四实施例提供了一种车辆，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例当中所述方法的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体与详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形与改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车辆自适应控制方法，其特征在于，所述方法包括：
根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
2.根据权利要求1所述的车辆自适应控制方法，其特征在于，根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入的步骤，包括：
根据车辆结构信息，建立非线性二自由度或非线性四自由度的车辆动力学模型；
通过所述车辆动力学模型描述不同道路条件下车辆的运动特性，以获取车辆的运动状态与控制输入。
3.根据权利要求1所述的车辆自适应控制方法，其特征在于，获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间的步骤，包括：
在车辆处于运动过程中，通过车辆上预设的传感器采集传感器数据；
基于与预设传感器之间的通信连接获取所述传感器数据；
其中，所述传感器数据包括车速、加速度、转向角、侧偏角、侧偏角速度、轮胎侧向力数据，将所述传感器数据作为深度强化学习算法的状态空间。
4.根据权利要求1所述的车辆自适应控制方法，其特征在于，设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数的步骤，包括：
根据其它车辆的历史通行数据，确定车辆在使用过程中的使用场景与实际需求；
根据所述使用场景与实际需求，设定目标函数中多个计算参数分别对应的权重系数，以得到所述目标函数；
将所述目标函数作为深度强化学习算法的奖励函数；
其中，所述目标函数包括最大化行驶效率、最小化能耗与最大化安全性。
5.根据权利要求1所述的车辆自适应控制方法，其特征在于，设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出的步骤，具体包括：
根据多层感知机或卷积神经构建深度神经网络；
设定所述深度神经网络作为深度强化学习算法的逼近最优值函数或最优策略函数；
根据所述状态空间与所述奖励函数，通过梯度下降，输入最优或次优的控制输入，以作为VCU车辆自适应控制算法的控制输出；
其中，所述控制输出包括电门指令、制动指令与转向指令。
6.根据权利要求1所述的车辆自适应控制方法，其特征在于，利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制的步骤，包括：
采用随机梯度下降或自适应扭矩估计，根据不同的控制算法选择不同的学习率与折扣因子；
根据选定的学习率与折扣因子，对所述深度神经网络进行在线或离线训练与更新；
使VCU执行所述深度神经网络以对车辆进行自适应控制。
7.一种车辆自适应控制系统，其特征在于，所述系统包括：
模型建模单元，用于根据车辆结构信息建立车辆动力学模型，通过所述车辆动力学模型描述车辆在不确定环境中的运动状态与控制输入；
数据获取单元，用于获取车辆在运动过程中所产生的传感器数据，并将其作为深度强化学习算法的状态空间；
函数设定单元，用于设定车辆在运动过程中的目标函数，并将其作为深度强化学习算法的奖励函数；
函数运算单元，用于设定深度神经网络作为深度强化学习算法的值函数或策略函数，根据所述状态空间与所述奖励函数，输入最优或次优的控制输入，并将其作为VCU车辆自适应控制算法的控制输出；
车辆控制单元，用于利用车辆运动过程中产生的数据对所述深度神经网络进行在线或离线训练与更新，提升深度强化学习算法的性能与泛化能力，以实现VCU对车辆的自适应控制。
8.根据权利要求7所述的车辆自适应控制系统，其特征在于，所述模型建模单元具体用于：
根据车辆结构信息，建立非线性二自由度或非线性四自由度的车辆动力学模型；
通过所述车辆动力学模型描述不同道路条件下车辆的运动特性，以获取车辆的运动状态与控制输入。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6任意一项所述方法的步骤。
10.一种车辆，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811659.4A CN116513219A (zh) | 2023-07-04 | 2023-07-04 | 一种车辆自适应控制方法、系统、存储介质及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811659.4A CN116513219A (zh) | 2023-07-04 | 2023-07-04 | 一种车辆自适应控制方法、系统、存储介质及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116513219A true CN116513219A (zh) | 2023-08-01 |
Family
ID=87399833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310811659.4A Pending CN116513219A (zh) | 2023-07-04 | 2023-07-04 | 一种车辆自适应控制方法、系统、存储介质及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116513219A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647839A (zh) * | 2019-09-18 | 2020-01-03 | 深圳信息职业技术学院 | 自动驾驶策略的生成方法、装置及计算机可读存储介质 |
| DE102019216232A1 (de) * | 2019-10-22 | 2021-04-22 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Bereitstellen einer Fahrstrategie für das automatisierte Fahren eines Fahrzeugs |
| CN114644017A (zh) * | 2022-05-06 | 2022-06-21 | 重庆大学 | 一种实现自动驾驶车辆安全决策控制的方法 |
| US20220363279A1 (en) * | 2021-04-21 | 2022-11-17 | Foundation Of Soongsil University-Industry Cooperation | Method for combating stop-and-go wave problem using deep reinforcement learning based autonomous vehicles, recording medium and device for performing the method |
-
2023
- 2023-07-04 CN CN202310811659.4A patent/CN116513219A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647839A (zh) * | 2019-09-18 | 2020-01-03 | 深圳信息职业技术学院 | 自动驾驶策略的生成方法、装置及计算机可读存储介质 |
| DE102019216232A1 (de) * | 2019-10-22 | 2021-04-22 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Bereitstellen einer Fahrstrategie für das automatisierte Fahren eines Fahrzeugs |
| US20220363279A1 (en) * | 2021-04-21 | 2022-11-17 | Foundation Of Soongsil University-Industry Cooperation | Method for combating stop-and-go wave problem using deep reinforcement learning based autonomous vehicles, recording medium and device for performing the method |
| CN114644017A (zh) * | 2022-05-06 | 2022-06-21 | 重庆大学 | 一种实现自动驾驶车辆安全决策控制的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969848B (zh) | 一种对向双车道下基于强化学习的自动驾驶超车决策方法 | |
| CN111267831B (zh) | 一种混合动力车辆智能变时域模型预测能量管理方法 | |
| US20220363259A1 (en) | Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device | |
| CN113805572B (zh) | 运动规划的方法与装置 | |
| CN110347155B (zh) | 一种智能车辆自动驾驶控制方法及系统 | |
| CN111985614A (zh) | 一种构建自动驾驶决策系统的方法、系统和介质 | |
| CN112286218B (zh) | 基于深度确定性策略梯度的飞行器大迎角摇滚抑制方法 | |
| US20210263526A1 (en) | Method and device for supporting maneuver planning for an automated driving vehicle or a robot | |
| CN107092256B (zh) | 一种无人车转向控制方法 | |
| CN104942809A (zh) | 基于视觉伺服系统的机械臂动态模糊逼近器 | |
| US20210023905A1 (en) | Damper control system, vehicle, information processing apparatus and control method thereof, and storage medium | |
| CN111783994A (zh) | 强化学习的训练方法和装置 | |
| Ali et al. | Combined ANFIS method with FA, PSO, and ICA as Steering control optimization on electric car | |
| Kebbati et al. | Optimized adaptive MPC for lateral control of autonomous vehicles | |
| CN110879595A (zh) | 一种基于深度强化学习的无人矿卡循迹控制系统及方法 | |
| WO2020098226A1 (en) | System and methods of efficient, continuous, and safe learning using first principles and constraints | |
| Ercan et al. | An adaptive and predictive controller design for lateral control of an autonomous vehicle | |
| CN112193318A (zh) | 车辆路径控制方法、装置、设备及计算机可读存储介质 | |
| CN111813143B (zh) | 一种基于强化学习的水下滑翔机智能控制系统及方法 | |
| CN114987511A (zh) | 模拟人类驾驶行为以训练基于神经网络的运动控制器的方法 | |
| CN116513219A (zh) | 一种车辆自适应控制方法、系统、存储介质及车辆 | |
| US10831209B2 (en) | Using a long-term recurrent convolutional network to plan a sequence of lateral controls in autonomous driving | |
| CN114932546A (zh) | 一种基于未知机械臂模型的深度强化学习抑振系统及方法 | |
| CN112477880B (zh) | 一种无人驾驶汽车纵向控制方法 | |
| CN114527642A (zh) | 一种基于深度强化学习的agv自动调整pid参数的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230801 |