CN113777918A - 一种数字孪生架构的汽车智能线控底盘控制方法 - Google Patents
一种数字孪生架构的汽车智能线控底盘控制方法 Download PDFInfo
- Publication number
- CN113777918A CN113777918A CN202110860252.1A CN202110860252A CN113777918A CN 113777918 A CN113777918 A CN 113777918A CN 202110860252 A CN202110860252 A CN 202110860252A CN 113777918 A CN113777918 A CN 113777918A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- decision
- time
- digital twin
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims description 27
- 230000002787 reinforcement Effects 0.000 claims description 24
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种数字孪生架构的汽车智能线控底盘控制方法。本发明属于汽车底盘系统技术领域，提出的汽车智能线控底盘控制方法，从设计之初就考虑了汽车动力学等多个学科之间的复杂耦合关系，克服了传统底盘决策不能得到全局最优解的缺陷。通过将数字孪生系统的加入，降低了线控底盘决策的总体优化计算量，使得最优解的搜索能力和收敛速度有所提高，缩短了设计周期。在实际应用中，可以提高整车的安全性，改善驾驶员路感，同时更加节能。
Description
技术领域
本发明属于汽车底盘系统技术领域，尤其涉及一种数字孪生架构的汽车智能线控底盘控制方法。
背景技术
现有底盘往往是单一设计，成本高、适应性差，难以兼容多个车型进行匹配设计，且设计后无法进行虚实交互的性能优化，只能依赖汽车本体进行决策。数字孪生技术充分利用物理模型、传感器更新、运行历史等数据，在虚拟空间中完成映射，反映相对应的实体装备的全生命周期过程，从而可以通过虚拟的汽车底盘数字孪生系统进行决策，有效提升线控底盘控制的效率和容错的能力。
发明内容
针对于上述现有技术只能够依赖汽车本体进行决策的不足，本发明的目的在于提供一种数字孪生架构的汽车智能线控底盘控制方法，采用数字孪生系统辅助汽车进行决策，以克服现有技术中存在的问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种数字孪生架构的汽车智能线控底盘控制方法，包括如下步骤：
1.建立线控底盘数字孪生模型，考虑车辆的非完整约束条件，搭建基于阿克曼前轮转向的车辆运动学模型，车辆运动学模型的输入量为车辆行驶速度u和前轮转角δf，将其与非数字孪生的七自由度整车模型进行对比，在相同条件下输入初始条件，输出量为车辆位置和航向角的序列；
2.数字孪生系统基于车辆运动学模型，通过实时仿真进行轨迹预测；在轨迹预测范围内(预测的轨迹曲线与实际轨迹的曲线贴合度的均方根误差小于1.5)，对环境信息不确定性条件下的车辆碰撞概率进行分析；
3.数字孪生系统考虑传感器感知故障，针对环境感知传感器信号丢失和异常，计算传感器信号丢失或异常期间车辆的碰撞概率；
4.数字孪生系统建立车辆行为决策的BP神经网络模型，采用NGSIM数据库作为样本集训练神经网络；采用基于策略梯度的强化学习算法设计目标函数，基于强化学习算法-BP神经网络模型的决策方法，进行数字孪生系统的决策控制；
优选地，所述步骤1的线控底盘数字孪生模型，在Matlab/Simulink环境中搭建；车辆运动学模型和整车模型在Carsim中建立。
优选地，所述步骤2中的数字孪生系统，是和车辆本体参数一致的虚拟多学科物理模型，具有决策计算功能，能够实时获取车辆本体参数，并对车辆本体发送控制信号。
优选地，所述步骤2进行轨迹预测的方法为：
基于运动学模型的预测轨迹如下：
式中，Cx和Cy分别是两个常数；a为车辆的加速度；ω为车辆的横摆角速度；β为车辆的质心侧偏角；u为车辆的行驶速度。
当车辆的初始横摆角速度等于0时，预测轨迹如下：
优选地，所述步骤2车辆碰撞概率分析的方法为：
在轨迹预测范围内，计算某时刻交通环境中车辆(i,j)碰撞的概率P(Ci，j)：
P(Ci,j(t))＝∫∫C(oi(t),oj(t))p(oi(t),oj(t))doidoj t∈[t0,t0+Tp]
式中，oi(t)、oj(t)分别表示车辆i和车辆j在t时刻预测的位置；p(oi(t),oj(t))表示t时刻车辆i和车辆j在所预测位置的概率；t0表示预测开始时间；Tp表示预测时间范围；C(oi(t),oj(t))表示考虑了车辆物理性质的碰撞因子。
碰撞因子C(oi(t),oj(t))的表达式如下：
式中，S(oi(t))、S(oj(t))分别表示车辆i和车辆j所占用的位置空间。
若t时刻位置空间存在公共交集，则碰撞因子为1，两辆车在这一时刻发生碰撞。相反，若t时刻位置空间没有交集，则碰撞因子为0，两辆车在这一时刻没有发生碰撞。
在规划和预测范围内，t时刻自车规划的轨迹与交通环境中其他车辆的碰撞概率：
P(Ci,0(t))＝∫C(oi(t),o0(t))pi(oi(t))doi t∈[t0,t0+Tp]
式中，o0(t)表示自车在t时刻的位置；C(oi(t),o0(t))表示自车与其他车辆的碰撞因子。
优选地，所述步骤3中，环境感知传感器信号丢失或异常期间车辆的碰撞概率的计算表达式如下：
式中，Pk表示传感器信号丢失或异常期间车辆第k步行为的碰撞概率；N代表车辆i行为序列的大小；Psensor表示传感器信号丢失或异常的概率，Psensor服从高斯分布，即Psensor～N(μ(Y),∑(Y))。
优选地，所述步骤4中，BP神经网络模型具体形式为：
BP神经网络模型输入为目标车辆当前行为下与其他车辆之间的碰撞概率，隐含层中有7个神经元，输出层中有3个神经元，分别是智能车辆换道决策行为：左转、直行、右转，同时选取NGSIM数据集作为BP神经网络模型训练的样本数据集。
优选地，所述步骤4中，基于策略梯度的强化学习算法目标函数表示如下：
式中，λ表示最优参数；πλ表示参数λ对应的策略；τ表示策略搜索的轨迹；R(τ)表示轨迹τ的回报函数；P(τ；λ)表示轨迹τ在策略搜索中出现的概率。
根据参数λ对应的当前策略πλ采样的m条轨迹，可以利用经验平均估算方法逼近策略梯度
结果的表达式如下：
轨迹τ可以用一组状态—行为序列来表示，表达式如下：
τ＝s0,u0,...,sI,uI (4)
根据表达式(4)，由于轨迹τ是连续的动作空间，可以计算轨迹τ的似然率，其表达式如下：
式中，st和st+1分别表示t时刻和t+1时刻的车辆状态；ut表示t时刻智能车辆的执行动作。
优选地，所述步骤4中，基于强化学习算法-BP神经网络模型的决策方法，其具体步骤如下：
(1)设计并确定BP神经网络的多层前馈结构，初始化神经元的权值和阈值，设定学习速率，设置迭代次数为500次。
(2)建立基于策略梯度的强化学习算法的工况，设置各个车辆的参数。
(3)BP神经网络输入层的输入值为车辆的碰撞概率，在BP神经网络模型中传播，经过隐含层，输出层输出决策动作，将其中概率最大的输出动作选定为最终决策动作。
(4)设定强化学习算法中的目标参数λ为神经网络模型中的权值w1和w2，建立强化学习算法的回报函数R(τ)，选取最终决策动作，并通过回报函数得到该动作对应的回报函数值即收益R。
(5)根据选取的动作和当前车辆状态st可以得到新的车辆状态st+1。通过迭代学习，车辆状态s不断更新，执行动作和对应的回报值不断得到优化。
(6)设定强化学习算法中，探索学习500次记为一条轨迹τ。根据表达式(5)，可以得到在探索学习过程中轨迹τ可能出现的概率P(τ(i)；λ)和每次决策动作的回报值R(τ)。将P(τ(i)；λ)和回报R(τ)代入，得到算法的策略梯度
更新目标参数λ。
(7)重复步骤(3)～(6)，当达到设定的迭代次数时，获取到稳定权值，得到最优决策。
本发明的有益效果：
1.本发明提出的汽车智能线控底盘控制方法，从设计之初就考虑了汽车动力学等多个学科之间的复杂耦合关系，克服了传统底盘决策不能得到全局最优解的缺陷。
2.数字孪生系统的加入，降低了线控底盘决策的总体优化计算量，使得最优解的搜索能力和收敛速度有所提高，缩短了设计周期。
3.在实际应用中，可以提高整车的安全性，改善驾驶员路感，同时更加节能。
附图说明
图1为本发明的控制方法流程图。
图2为本发明的基于神经网络-强化学习算法的决策流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1、图2所示，本发明提供一种数字孪生架构的汽车智能线控底盘控制方法，包括如下步骤：
1.建立线控底盘数字孪生模型，考虑车辆的非完整约束条件，搭建基于阿克曼前轮转向的车辆运动学模型，车辆运动学模型的输入量为车辆行驶速度u和前轮转角δf，将其与非数字孪生的七自由度整车模型进行对比，在相同条件下输入初始条件，输出量为车辆位置和航向角的序列；
2.数字孪生系统基于车辆运动学模型，通过实时仿真进行轨迹预测；在轨迹预测范围内(预测的轨迹曲线与实际轨迹的曲线贴合度的均方根误差小于1.5)，对环境信息不确定性条件下的车辆碰撞概率进行分析；
3.数字孪生系统考虑传感器感知故障，针对环境感知传感器信号丢失和异常，计算传感器信号丢失或异常期间车辆的碰撞概率；
4.数字孪生系统建立车辆行为决策的BP神经网络模型，采用NGSIM数据库作为样本集训练神经网络；采用基于策略梯度的强化学习算法设计目标函数，基于强化学习算法-BP神经网络模型的决策方法，进行数字孪生系统的决策控制；
进一步的，线控底盘数字孪生模型，在Matlab/Simulink环境中搭建；车辆运动学模型和整车模型在Carsim中建立。
进一步的，数字孪生系统，是和车辆本体参数一致的虚拟多学科物理模型，具有决策计算功能，能够实时获取车辆本体参数，并对车辆本体发送控制信号。
进一步的，进行轨迹预测的方法为：
基于运动学模型的预测轨迹如下：
式中，Cx和Cy分别是两个常数；a为车辆的加速度；ω为车辆的横摆角速度；β为车辆的质心侧偏角；u为车辆的行驶速度。
当车辆的初始横摆角速度等于0时，预测轨迹如下：
进一步的，车辆碰撞概率分析的方法为：
在轨迹预测范围内，计算某时刻交通环境中车辆(i，j)碰撞的概率P(Ci，j)：
P(Ci,j(t))＝∫∫C(oi(t),oj(t))p(oi(t),oj(t))doidoj t∈[t0,t0+Tp]
式中，oi(t)、oj(t)分别表示车辆i和车辆j在t时刻预测的位置；p(oi(t),oj(t))表示t时刻车辆i和车辆j在所预测位置的概率；t0表示预测开始时间；Tp表示预测时间范围；C(oi(t),oj(t))表示考虑了车辆物理性质的碰撞因子。
碰撞因子C(oi(t),oj(t))的表达式如下：
式中，S(oi(t))、S(oj(t))分别表示车辆i和车辆j所占用的位置空间。
若t时刻位置空间存在公共交集，则碰撞因子为1，两辆车在这一时刻发生碰撞。相反，若t时刻位置空间没有交集，则碰撞因子为0，两辆车在这一时刻没有发生碰撞。
在规划和预测范围内，t时刻自车规划的轨迹与交通环境中其他车辆的碰撞概率：
P(Ci,0(t))＝∫C(oi(t),o0(t))pi(oi(t))doi t∈[t0,t0+Tp]
式中，o0(t)表示自车在t时刻的位置；C(oi(t),o0(t))表示自车与其他车辆的碰撞因子。
进一步的，环境感知传感器信号丢失或异常期间车辆的碰撞概率的计算表达式如下：
式中，Pk表示传感器信号丢失或异常期间车辆第k步行为的碰撞概率；N代表车辆i行为序列的大小；Psensor表示传感器信号丢失或异常的概率，Psensor服从高斯分布，即Psensor～N(μ(Y),∑(Y))。
进一步的，BP神经网络模型具体形式为：
BP神经网络模型输入为目标车辆当前行为下与其他车辆之间的碰撞概率，隐含层中有7个神经元，输出层中有3个神经元，分别是智能车辆换道决策行为：左转、直行、右转，同时选取NGSIM数据集作为BP神经网络模型训练的样本数据集。
进一步的，基于策略梯度的强化学习算法目标函数表示如下：
式中，λ表示最优参数；πλ表示参数λ对应的策略；τ表示策略搜索的轨迹；R(τ)表示轨迹τ的回报函数；P(τ；λ)表示轨迹τ在策略搜索中出现的概率。
根据参数λ对应的当前策略πλ采样的m条轨迹，可以利用经验平均估算方法逼近策略梯度
结果的表达式如下：
轨迹τ可以用一组状态—行为序列来表示，表达式如下：
τ＝s0,u0,...,sI，uI (4)
根据表达式(4)，由于轨迹τ是连续的动作空间，可以计算轨迹τ的似然率，其表达式如下：
式中，st和st+1分别表示t时刻和t+1时刻的车辆状态；ut表示t时刻智能车辆的执行动作。
进一步的，基于强化学习算法-BP神经网络模型的决策方法，其具体步骤如下：
(1)设计并确定BP神经网络的多层前馈结构，初始化神经元的权值和阈值，设定学习速率，设置迭代次数为500次。
(2)建立基于策略梯度的强化学习算法的工况，设置各个车辆的参数。
(3)BP神经网络输入层的输入值为车辆的碰撞概率，在BP神经网络模型中传播，经过隐含层，输出层输出决策动作，将其中概率最大的输出动作选定为最终决策动作。
(4)设定强化学习算法中的目标参数λ为神经网络模型中的权值w1和w2，建立强化学习算法的回报函数R(τ)，选取最终决策动作，并通过回报函数得到该动作对应的回报函数值即收益R。
(5)根据选取的动作和当前车辆状态st可以得到新的车辆状态st+1。通过迭代学习，车辆状态s不断更新，执行动作和对应的回报值不断得到优化。
(6)设定强化学习算法中，探索学习500次记为一条轨迹τ。根据表达式(5)，可以得到在探索学习过程中轨迹τ可能出现的概率P(τ(i)；λ)和每次决策动作的回报值R(τ)。将P(τ(i)；λ)和回报R(τ)代入，得到算法的策略梯度
更新目标参数λ。
(7)重复步骤(3)～(6)，当达到设定的迭代次数时，获取到稳定权值，得到最优决策。
以上实施方式仅为说明本发明的技术思想，并不用于限制本发明的保护范围，凡是按照本发明提出的技术思想，在本发明技术方案基础上所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种数字孪生架构的汽车智能线控底盘控制方法，包括如下步骤：
步骤1)，建立线控底盘数字孪生模型，考虑车辆的非完整约束条件，搭建基于阿克曼前轮转向的车辆运动学模型，车辆运动学模型的输入量为车辆行驶速度u和前轮转角δf，将其与非数字孪生的七自由度整车模型进行对比，在相同条件下输入初始条件，输出量为车辆位置和航向角的序列；
步骤2)，数字孪生系统基于车辆运动学模型，通过实时仿真进行轨迹预测；在轨迹预测范围内(预测的轨迹曲线与实际轨迹的曲线贴合度的均方根误差小于1.5)，对环境信息不确定性条件下的车辆碰撞概率进行分析；
步骤3)，数字孪生系统考虑传感器感知故障，针对环境感知传感器信号丢失和异常，计算传感器信号丢失或异常期间车辆的碰撞概率；
步骤4)，数字孪生系统建立车辆行为决策的BP神经网络模型，采用NGSIM数据库作为样本集训练神经网络；采用基于策略梯度的强化学习算法设计目标函数，基于强化学习算法-BP神经网络模型的决策方法，进行数字孪生系统的决策控制。
2.根据权利要求1所述，所述步骤1)的线控底盘数字孪生模型，在Matlab/Simulink环境中搭建；车辆运动学模型和整车模型在Carsim中建立。
3.根据权利要求1所述，所述步骤2)中的数字孪生系统，是和车辆本体参数一致的虚拟多学科物理模型，具有决策计算功能，能够实时获取车辆本体参数，并对车辆本体发送控制信号。
4.根据权利要求1所述，所述步骤2)进行轨迹预测的方法为：
基于运动学模型的预测轨迹如下：
式中，Cx和Cy分别是两个常数；a为车辆的加速度；ω为车辆的横摆角速度；β为车辆的质心侧偏角；u为车辆的行驶速度；
当车辆的初始横摆角速度等于0时，预测轨迹如下：
5.根据权利要求1所述，所述步骤2)车辆碰撞概率分析的方法为：
在轨迹预测范围内，计算某时刻交通环境中车辆(i,j)碰撞的概率P(Ci,j)：
P(Ci,j(t))＝∫∫C(oi(t),oj(t))p(oi(t),oj(t))doidoj t∈[t0,t0+Tp]
式中，oi(t)、oj(t)分别表示车辆i和车辆j在t时刻预测的位置；p(oi(t),oj(t))表示t时刻车辆i和车辆j在所预测位置的概率；t0表示预测开始时间；Tp表示预测时间范围；C(oi(t),oj(t))表示考虑了车辆物理性质的碰撞因子；
碰撞因子C(oi(t),oj(t))的表达式如下：
式中，S(oi(t))、S(oj(t))分别表示车辆i和车辆j所占用的位置空间；
若t时刻位置空间存在公共交集，则碰撞因子为1，两辆车在这一时刻发生碰撞；相反，若t时刻位置空间没有交集，则碰撞因子为0，两辆车在这一时刻没有发生碰撞；
在规划和预测范围内，t时刻自车规划的轨迹与交通环境中其他车辆的碰撞概率：
P(Ci,0(t))＝∫C(oi(t),o0(t))pi(oi(t))doi t∈[t0,t0+Tp]
式中，o0(t)表示自车在t时刻的位置；C(oi(t),o0(t))表示自车与其他车辆的碰撞因子。
6.根据权利要求1所述，所述步骤3)中，环境感知传感器信号丢失或异常期间车辆的碰撞概率的计算表达式如下：
式中，Pk表示传感器信号丢失或异常期间车辆第k步行为的碰撞概率；N代表车辆i行为序列的大小；Psensor表示传感器信号丢失或异常的概率，Psensor服从高斯分布，即Psensor～N(μ(Y),∑(Y))。
7.根据权利要求1所述，所述步骤4)中，BP神经网络模型具体形式为：
BP神经网络模型输入为目标车辆当前行为下与其他车辆之间的碰撞概率，隐含层中有7个神经元，输出层中有3个神经元，分别是智能车辆换道决策行为：左转、直行、右转，同时选取NGSIM数据集作为BP神经网络模型训练的样本数据集。
8.根据权利要求1所述，所述步骤4)中，基于策略梯度的强化学习算法目标函数表示如下：
式中，λ表示最优参数；πλ表示参数λ对应的策略；τ表示策略搜索的轨迹；R(τ)表示轨迹τ的回报函数；P(τ；λ)表示轨迹τ在策略搜索中出现的概率；
根据参数λ对应的当前策略πλ采样的m条轨迹，可以利用经验平均估算方法逼近策略梯度
结果的表达式如下：
轨迹τ可以用一组状态—行为序列来表示，表达式如下：
τ＝s0,u0,...,sI,uI (4)
根据表达式(4)，由于轨迹τ是连续的动作空间，可以计算轨迹τ的似然率，其表达式如下：
式中，st和st+1分别表示t时刻和t+1时刻的车辆状态；ut表示t时刻智能车辆的执行动作。
9.根据权利要求1所述，所述步骤4)中，基于强化学习算法-BP神经网络模型的决策方法，其具体步骤如下：
步骤1)，设计并确定BP神经网络的多层前馈结构，初始化神经元的权值和阈值，设定学习速率，设置迭代次数为500次；
步骤2)，建立基于策略梯度的强化学习算法的工况，设置各个车辆的参数；
步骤3)，BP神经网络输入层的输入值为车辆的碰撞概率，在BP神经网络模型中传播，经过隐含层，输出层输出决策动作，将其中概率最大的输出动作选定为最终决策动作；
步骤4)，设定强化学习算法中的目标参数λ为神经网络模型中的权值w1和w2，建立强化学习算法的回报函数R(τ)，选取最终决策动作，并通过回报函数得到该动作对应的回报函数值即收益R；
步骤5)，根据选取的动作和当前车辆状态st可以得到新的车辆状态st+1；通过迭代学习，车辆状态s不断更新，执行动作和对应的回报值不断得到优化；
步骤6)，设定强化学习算法中，探索学习500次记为一条轨迹τ；根据表达式(5)，可以得到在探索学习过程中轨迹τ可能出现的概率P(τ(i)；λ)和每次决策动作的回报值R(τ)；将P(τ(i)；λ)和回报R(τ)代入，得到算法的策略梯度
更新目标参数λ；
步骤7)，重复步骤步骤3)～步骤6)，当达到设定的迭代次数时，获取到稳定权值，得到最优决策。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860252.1A CN113777918A (zh) | 2021-07-28 | 2021-07-28 | 一种数字孪生架构的汽车智能线控底盘控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860252.1A CN113777918A (zh) | 2021-07-28 | 2021-07-28 | 一种数字孪生架构的汽车智能线控底盘控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113777918A true CN113777918A (zh) | 2021-12-10 |
Family
ID=78836605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110860252.1A Withdrawn CN113777918A (zh) | 2021-07-28 | 2021-07-28 | 一种数字孪生架构的汽车智能线控底盘控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113777918A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114647235A (zh) * | 2022-05-24 | 2022-06-21 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种线控底盘的控制方法、联合控制系统及服务器 |
| CN114706028A (zh) * | 2022-02-28 | 2022-07-05 | 合肥工业大学 | 基于漂移孪生体的智能网联汽车bms传感阵列失效云诊断方法 |
| CN116501005A (zh) * | 2023-06-30 | 2023-07-28 | 广州力控元海信息科技有限公司 | 一种数字孪生联动的工厂运行管理方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017217986A1 (de) * | 2017-10-10 | 2019-04-11 | Continental Automotive Gmbh | Verfahren und vorrichtung zum vorhersagen potenzieller kollisionen, fahrerassistenzsystem und fahrzeug |
| CN110716562A (zh) * | 2019-09-25 | 2020-01-21 | 南京航空航天大学 | 基于强化学习的无人驾驶汽车多车道行驶的决策方法 |
| WO2020056875A1 (zh) * | 2018-09-20 | 2020-03-26 | 初速度（苏州）科技有限公司 | 一种基于深度强化学习的停车策略 |
| CN210957726U (zh) * | 2019-10-31 | 2020-07-07 | 张金宁 | 一种架空电力输电线路可位移悬垂串 |
| CN112015843A (zh) * | 2020-09-02 | 2020-12-01 | 中国科学技术大学 | 基于多车意图交互结果的行车风险态势评估方法及系统 |
| CN112109704A (zh) * | 2020-09-22 | 2020-12-22 | 同济大学 | 一种基于精准轨迹预测的车辆避撞动态安全路径规划方法 |
| WO2021103834A1 (zh) * | 2019-11-27 | 2021-06-03 | 初速度（苏州）科技有限公司 | 换道决策模型生成方法和无人车换道决策方法及装置 |
| CN112995309A (zh) * | 2021-02-08 | 2021-06-18 | 南京航空航天大学 | 一种网联式云控智能线控底盘控制系统及其控制方法 |
| CN113002555A (zh) * | 2021-02-08 | 2021-06-22 | 南京航空航天大学 | 一种数字孪生驱动的智能线控底盘系统及其故障诊断方法 |
| US20210188263A1 (en) * | 2019-12-23 | 2021-06-24 | Baidu International Technology (Shenzhen) Co., Ltd. | Collision detection method, and device, as well as electronic device and storage medium |
| CN113119937A (zh) * | 2021-03-31 | 2021-07-16 | 南京航空航天大学 | 基于数字孪生的智能线控制动系统及其预测控制方法 |
-
2021
- 2021-07-28 CN CN202110860252.1A patent/CN113777918A/zh not_active Withdrawn
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017217986A1 (de) * | 2017-10-10 | 2019-04-11 | Continental Automotive Gmbh | Verfahren und vorrichtung zum vorhersagen potenzieller kollisionen, fahrerassistenzsystem und fahrzeug |
| WO2020056875A1 (zh) * | 2018-09-20 | 2020-03-26 | 初速度（苏州）科技有限公司 | 一种基于深度强化学习的停车策略 |
| CN110716562A (zh) * | 2019-09-25 | 2020-01-21 | 南京航空航天大学 | 基于强化学习的无人驾驶汽车多车道行驶的决策方法 |
| CN210957726U (zh) * | 2019-10-31 | 2020-07-07 | 张金宁 | 一种架空电力输电线路可位移悬垂串 |
| WO2021103834A1 (zh) * | 2019-11-27 | 2021-06-03 | 初速度（苏州）科技有限公司 | 换道决策模型生成方法和无人车换道决策方法及装置 |
| US20210188263A1 (en) * | 2019-12-23 | 2021-06-24 | Baidu International Technology (Shenzhen) Co., Ltd. | Collision detection method, and device, as well as electronic device and storage medium |
| CN112015843A (zh) * | 2020-09-02 | 2020-12-01 | 中国科学技术大学 | 基于多车意图交互结果的行车风险态势评估方法及系统 |
| CN112109704A (zh) * | 2020-09-22 | 2020-12-22 | 同济大学 | 一种基于精准轨迹预测的车辆避撞动态安全路径规划方法 |
| CN112995309A (zh) * | 2021-02-08 | 2021-06-18 | 南京航空航天大学 | 一种网联式云控智能线控底盘控制系统及其控制方法 |
| CN113002555A (zh) * | 2021-02-08 | 2021-06-22 | 南京航空航天大学 | 一种数字孪生驱动的智能线控底盘系统及其故障诊断方法 |
| CN113119937A (zh) * | 2021-03-31 | 2021-07-16 | 南京航空航天大学 | 基于数字孪生的智能线控制动系统及其预测控制方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114706028A (zh) * | 2022-02-28 | 2022-07-05 | 合肥工业大学 | 基于漂移孪生体的智能网联汽车bms传感阵列失效云诊断方法 |
| CN114706028B (zh) * | 2022-02-28 | 2023-02-28 | 合肥工业大学 | 基于漂移孪生体的智能网联汽车bms传感阵列失效云诊断方法 |
| CN114647235A (zh) * | 2022-05-24 | 2022-06-21 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种线控底盘的控制方法、联合控制系统及服务器 |
| CN116501005A (zh) * | 2023-06-30 | 2023-07-28 | 广州力控元海信息科技有限公司 | 一种数字孪生联动的工厂运行管理方法及系统 |
| CN116501005B (zh) * | 2023-06-30 | 2023-08-18 | 广州力控元海信息科技有限公司 | 一种数字孪生联动的工厂运行管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568760B (zh) | 适用于换道及车道保持的参数化学习决策控制系统及方法 | |
| CN112347567B (zh) | 一种车辆意图和轨迹预测的方法 | |
| CN113777918A (zh) | 一种数字孪生架构的汽车智能线控底盘控制方法 | |
| CN109866752B (zh) | 基于预测控制的双模式并行车辆轨迹跟踪行驶系统的方法 | |
| CN112356830B (zh) | 一种基于模型强化学习的智能泊车方法 | |
| Hecker et al. | Learning accurate, comfortable and human-like driving | |
| CN112622886A (zh) | 一种综合考虑前后障碍物的重型营运车辆防碰撞预警方法 | |
| CN114564016A (zh) | 一种结合路径规划和强化学习的导航避障控制方法、系统及模型 | |
| CN109808707A (zh) | 一种基于随机模型预测的汽车转向控制方法及控制器 | |
| CN113204920B (zh) | 基于支持向量机的智能车换道舒适性评估及其轨迹规划方法和装置 | |
| CN112389436A (zh) | 基于改进lstm神经网络的安全性自动驾驶换道轨迹规划方法 | |
| CN112249008A (zh) | 针对复杂动态环境的无人驾驶汽车预警方法 | |
| CN114580302A (zh) | 基于最大熵强化学习的自动驾驶汽车决策规划方法 | |
| CN111625989A (zh) | 一种基于a3c-sru的智能车汇入车流方法及系统 | |
| CN117141517A (zh) | 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法 | |
| CN112182785A (zh) | 一种基于数据驱动的汽车方向盘力感建模方法 | |
| CN115285135A (zh) | 融合驾驶风格的深度强化学习车辆跟驰模型的构建方法 | |
| CN114030485A (zh) | 一种考虑附着系数的自动驾驶汽车类人换道决策规划方法 | |
| CN113033902B (zh) | 一种基于改进深度学习的自动驾驶换道轨迹规划方法 | |
| CN114368387B (zh) | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 | |
| Chen et al. | An improved IOHMM-based stochastic driver lane-changing model | |
| CN114355897A (zh) | 一种基于模型和强化学习混合切换的车辆路径跟踪控制方法 | |
| CN117585017A (zh) | 一种自动驾驶车辆换道决策方法、装置、设备及存储介质 | |
| CN117031961A (zh) | 基于模型预测控制的自动驾驶汽车交互性决策规划方法 | |
| Zong et al. | Driving intention identification and maneuvering behavior prediction of drivers on cornering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211210 |