CN110497943A - 一种基于强化学习的城轨列车节能运行策略在线优化方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的城轨列车节能运行策略在线优化方法，首先对列车运行过程进行分析，建立多目标速度调整模型，然后基于强化学习算法对列车能耗优化问题进行求解。该方法不需要目标速度曲线，能够利用实时采集的列车速度、位置信息，在不同计划运行时间并满足安全、准点、舒适、精准停车的条件下选择节能策略运行，有效降低能耗，能够对实际运行过程中的扰动进行在线响应，适用性强。

Description

一种基于强化学习的城轨列车节能运行策略在线优化方法

技术领域

本发明涉及城市轨道交通列车运行控制领域，具体涉及一种基于强化学习的城轨列车节能运行策略在线优化方法。

背景技术

近年来，城市轨道交通因其安全、舒适、高效、环保等特点得到迅速发展，如何降低地铁列车的牵引能耗成为研究重点。列车牵引能耗很大程度上取决于列车的运行策略，经典的列车运行能耗优化问题就是已知列车特性和运行线路数据，离线搜索出满足超速防护、准点、舒适度、精准停车等约束条件下能耗最低的列车工况序列或目标速度曲线。

随着客运量的增加，网内列车群数量增多，城轨系统结构复杂度增大，列车运行过程中极易受到不同程度的外界扰动，而现有离线优化算法不能对实际扰动进行在线响应，因此需要一种在线优化方法。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于强化学习的城轨列车节能运行策略在线优化方法解决了现有离线算法不能对实际扰动进行在线响应的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于强化学习的城轨列车节能运行策略在线优化方法，包括以下步骤：

S1、确定待优化的列车线路区间的基本参数；

S2、根据列车线路区间的基本参数，将列车运行过程分为n个子阶段，建立列车能耗模型；

S3、建立多目标速度调整模型；

S4、使用强化学习算法，结合多目标速度调整模型，对能耗模型进行求解，得到列车节能运行策略。

进一步地：步骤S1中列车线路区间的基本参数包括：列车参数、线路参数和运营参数；

所述列车参数包括：列车质量、牵引特性曲线、制动特性曲线、最大限制速度和最大加速度；

所述线路参数包括：线路的限速、长度、坡度和曲率；

所述运营参数为列车线路区间的计划运行时间。

进一步地：步骤S2中，所述列车能耗模型为：

其中，E为列车能耗，f_i为第i个阶段的列车单位质量牵引力或制动力，ξ为牵引工况判断系数，S_i为第i个阶段的行驶距离，0≤i≤n。

进一步地：步骤S3中多目标速度调整模型包括：超速防护模型、准点速度调整模型和精准停车模型。

进一步地：步骤S4中的强化学习算法采用深度Q学习算法；所述步骤S4包括以下步骤：

S41、定义列车状态和动作；

S42、根据多目标速度调整模型对列车动作进行调整，得到新的环境状态；

S43、根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略。

进一步地：步骤S41包括以下步骤：

S411、将列车运行模型重新定义为马尔可夫决策过程，将每一子阶段的时间间隔Δt设为0.2s，将深度Q学习算法中智能体选择的动作定义为每一子阶段内牵引力或制动力使用系数μ，动作空间A设置为μ_i∈|A(s_i)|＝[0，0.1，0.5，1]，0≤i≤n，其中，s_i为环境状态；

S412、将深度Q学习算法中的环境状态s_i定义为：s_i＝[x_i，v_i，T-t_i，f_i，g_i，f_FSB(x_i)]，其中，x_i为i阶段列车位置、v_i为i阶段列车速度、T-t_i为i阶段剩余运行时间、f_i为i阶段单位质量牵引力或制动力、g_i为i阶段线路坡道值和f_FSB(x_i)为i阶段位置x_i处FSB触发曲线限速值。

进一步地：步骤S42中根据超速防护模型对列车动作进行调整包括以下步骤：

A1、在列车处于状态s_i时，判断速度v_i是否大于位置x_i处的EB触发曲线限速值f_EB(x_i)，若是，则跳转至A2，若否，则跳转至A3；

A2、以紧急制动率矫正列车当前加速度；

A3、判断速度v_i是否大于位置x_i处的FSB触发曲线限速值f_FSB(x_i)，若是，则跳转至A4，若否，则保持列车当前加速度；

A4、以全常用制动率矫正列车当前加速度。

进一步地：步骤S42中根据准点速度调整模型对列车动作进行调整包括以下步骤：

B1、在列车处于状态s_i时，判断速度v_i是否小于剩余时间分配算法计算的最优运行速度，若是，则跳转至步骤B2，若否，保持列车当前牵引力或制动力使用系数μ；

B2、矫正牵引力或制动力使用系数μ使列车进入牵引工况。

进一步地：步骤S42中根据精准停车模型对列车动作进行调整包括以下步骤：

C1、在列车处于状态s_i时，判断速度v_i是否大于停车曲线上当前位置x_i处所对应的速度，若是，则跳转至步骤C2，若否，则保持当前加速度；

C2、进入停车阶段，以停车制动率a_i矫正列车当前加速度，所述停车制动率a_i的计算公式为：

其中，为i-1阶段的实际制动率，a_i-1为i-1阶段调整后的停车制动率，ρ为学习率，ρ＝0.1，a_i ^*为i阶段理论停车制动率，x_stop目标停车点。

进一步地：步骤S43中根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略满足以下公式：

其中，r_i(*)为i阶段奖励函数，γ为衰减因子，γ＝0.99，ξ为牵引工况判断系数，Q_π(*)为Q函数，ε为贪婪随机策略中的随机概率，ε＝0.5，μ_i为i阶段牵引力或制动力使用系数。

本发明的有益效果为：通过对列车运行过程进行分析建立能耗模型，充分考虑到列车运行的约束条件，不需要目标速度曲线，能够利用实时采集的列车速度、位置信息，在不同计划运行时间时均能满足安全、准点、舒适、精准停车的条件选择节能策略运行，克服了离线优化算法不能对实际扰动进行在线响应的问题，具有灵活性、可适用性强的特点。

附图说明

图1为一种基于强化学习的城轨列车节能运行策略在线优化方法流程图。

图2为超速防护模型示意图。

图3为剩余时间分配算法示意图。

图4为停车曲线示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于强化学习的城轨列车节能运行策略在线优化方法，包括以下步骤：

S1、确定待优化的列车线路区间的基本参数；

步骤S1中列车线路区间的基本参数包括：列车参数、线路参数和运营参数；

所述列车参数包括：列车质量、牵引特性曲线、制动特性曲线、最大限制速度和最大加速度；

所述线路参数包括：线路的限速、长度、坡度和曲率；

所述运营参数为列车线路区间的计划运行时间。

S2、根据列车线路区间的基本参数，将列车运行过程分为n个子阶段，建立列车能耗模型；

步骤S2中，所述列车能耗模型为：

其中，E为列车能耗，f_i为第i个阶段的列车单位质量牵引力或制动力，ξ为牵引工况判断系数，S_i为第i个阶段的行驶距离，0≤i≤n。

S3、建立多目标速度调整模型；

步骤S3中多目标速度调整模型包括：超速防护模型、准点速度调整模型和精准停车模型。

超速防护模型包括EB包络线、EB触发曲线和FSB触发曲线，当列车实际运行速度超过限速值时，系统将激活相应制动率进行强制制动。

准点速度调整模型即根据列车当前位置限速值、当前剩余运行时间、剩余运行距离和实际运行速度，实时计算列车运行过程中，对应于每一限速区间的平均速度，当列车实际运行速度小于该速度时，列车需牵引加速才能满足准点到站要求；如图3所示，计算列车沿最小时间运行曲线运行至位置时的当前限速区段内的最小运行时间和运行至目标停车点x_stop的最小运行时间则剩余运行时间t_ri分配给当前限速区间内的部分可由下式计算：

则由点Q(x_i，v_i)运行至位置时的平均速度为：

S4、使用强化学习算法，结合多目标速度调整模型，对能耗模型进行求解，得到列车节能运行策略。

步骤S4中的强化学习算法采用深度Q学习算法；所述步骤S4包括以下步骤：

S41、定义列车状态和动作；

步骤S41包括以下步骤：

S411、将列车运行模型重新定义为马尔可夫决策过程，将每一子阶段的时间间隔Δt设为0.2s，将深度Q学习算法中智能体选择的动作定义为每一子阶段内牵引力或制动力使用系数μ，动作空间A设置为μ_i∈|A(s_i)|＝[0，0.1，0.5，1]，0≤i≤n，其中，s_i为环境状态；

S412、将深度Q学习算法中的环境状态s_i定义为，s_i＝[x_i，v_i，T-t_i，f_i，g_i，f_FSB(x_i)]，其中，x_i为i阶段列车位置、v_i为i阶段列车速度、T-t_i为i阶段剩余运行时间、f_i为i阶段单位质量牵引力或制动力、g_i为i阶段线路坡道值和f_FSB(x_i)为i阶段位置x_i处FSB触发曲线限速值。

S42、根据多目标速度调整模型对列车动作进行调整，得到新的环境状态；

如图2所示，步骤S42中根据超速防护模型对列车动作进行调整包括以下步骤：

A1、在列车处于状态s_i时，判断速度v_i是否大于位置x_i处的EB触发曲线限速值f_EB(x_i)，若是，则跳转至A2，若否，则跳转至A3；

A2、以紧急制动率矫正列车当前加速度；

A3、判断速度v_i是否大于位置x_i处的FSB触发曲线限速值f_FSB(x_i)，若是，则跳转至A4，若否，则保持列车当前加速度；

A4、以全常用制动率矫正列车当前加速度。

如图3所示，步骤S42中根据准点速度调整模型对列车动作进行调整包括以下步骤：

B1、在列车处于状态s_i时，判断速度v_i是否小于剩余时间分配算法计算的最优运行速度，若是，则跳转至步骤B2，若否，保持列车当前牵引力或制动力使用系数μ；

B2、矫正牵引力或制动力使用系数μ使列车进入牵引工况。

如图4所示，步骤S42中根据精准停车模型对列车动作进行调整包括以下步骤：

C1、在列车处于状态s_i时，判断速度v_i是否大于停车曲线上当前位置x_i处所对应的速度，若是，则跳转至步骤C2，若否，则保持当前加速度；

C2、进入停车阶段，以停车制动率a_i矫正列车当前加速度，所述停车制动率a_i的计算公式为：

其中，为i-1阶段的实际制动率，a_i-1为i-1阶段调整后的停车制动率，ρ为学习率，ρ＝0.1，a_i ^*为i阶段理论停车制动率，X_stop目标停车点。

S43、根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略。

步骤S43中根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略满足以下公式：

其中，r_i(*)为i阶段奖励函数，γ为衰减因子，γ＝0.99，ξ为牵引工况判断系数，Q_π(*)为Q函数，ε为贪婪随机策略中的随机概率，ε＝0.5，μ_i为i阶段牵引力或制动力使用系数。

本发明的有益效果为：通过对列车运行过程进行分析建立能耗模型，充分考虑到列车运行的约束条件，不需要目标速度曲线，能够利用实时采集的列车速度、位置信息，在不同计划运行时间时均能满足安全、准点、舒适、精准停车的条件选择节能策略运行，克服了离线优化算法不能对实际扰动进行在线响应的问题，具有灵活性、可适用性强的特点。

Claims (10)

1.一种基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，包括以下步骤：

S1、确定待优化的列车线路区间的基本参数；

S2、根据列车线路区间的基本参数，将列车运行过程分为n个子阶段，建立列车能耗模型；

S3、建立多目标速度调整模型；

S4、使用强化学习算法，结合多目标速度调整模型，对能耗模型进行求解，得到列车节能运行策略。

2.根据权利要求1所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S1中列车线路区间的基本参数包括：列车参数、线路参数和运营参数；

所述列车参数包括：列车质量、牵引特性曲线、制动特性曲线、最大限制速度和最大加速度；

所述线路参数包括：线路的限速、长度、坡度和曲率；

所述运营参数为列车线路区间的计划运行时间。

3.根据权利要求1所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S2中，所述列车能耗模型为：

其中，E为列车能耗，f_i为第i个阶段的列车单位质量牵引力或制动力，ξ为牵引工况判断系数，S_i为第i个阶段的行驶距离，0≤i≤n。

4.根据权利要求1所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S3中多目标速度调整模型包括：超速防护模型、准点速度调整模型和精准停车模型。

5.根据权利要求4所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S4中的强化学习算法采用深度Q学习算法；所述步骤S4包括以下步骤：

S41、定义列车状态和动作；

S42、根据多目标速度调整模型对列车动作进行调整，得到新的环境状态；

S43、根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略。

6.根据权利要求5所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S41包括以下步骤：

S411、将列车运行模型重新定义为马尔可夫决策过程，将每一子阶段的时间间隔Δt设为0.2s，将深度Q学习算法中智能体选择的动作定义为每一子阶段内牵引力或制动力使用系数μ，动作空间A设置为μ_i∈|A(s_i)|＝[0,0.1,0.5,1]，0≤i≤n，其中，s_i为环境状态；

S412、将深度Q学习算法中的环境状态s_i定义为：s_i＝[x_i,v_i,T-t_i,f_i,g_i,f_FSB(x_i)]，其中，x_i为i阶段列车位置、v_i为i阶段列车速度、T-t_i为i阶段剩余运行时间、f_i为i阶段单位质量牵引力或制动力、g_i为i阶段线路坡道值和f_FSB(x_i)为i阶段位置x_i处FSB触发曲线限速值。

7.根据权利要求6所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S42中根据超速防护模型对列车动作进行调整包括以下步骤：

A1、在列车处于状态s_i时，判断速度v_i是否大于位置x_i处的EB触发曲线限速值f_EB(x_i)，若是，则跳转至A2，若否，则跳转至A3；

A2、以紧急制动率矫正列车当前加速度；

A3、判断速度v_i是否大于位置x_i处的FSB触发曲线限速值f_FSB(x_i)，若是，则跳转至A4，若否，则保持列车当前加速度；

A4、以全常用制动率矫正列车当前加速度。

8.根据权利要求6所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S42中根据准点速度调整模型对列车动作进行调整包括以下步骤：

B1、在列车处于状态s_i时，判断速度v_i是否小于剩余时间分配算法计算的最优运行速度，若是，则跳转至步骤B2，若否，保持列车当前牵引力或制动力使用系数μ；

B2、矫正牵引力或制动力使用系数μ使列车进入牵引工况。

9.根据权利要求6所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S42中根据精准停车模型对列车动作进行调整包括以下步骤：

C1、在列车处于状态s_i时，判断速度v_i是否大于停车曲线上当前位置x_i处所对应的速度，若是，则跳转至步骤C2，若否，则保持当前加速度；

C2、进入停车阶段，以停车制动率a_i矫正列车当前加速度，所述停车制动率a_i的计算公式为：

其中，为i-1阶段的实际制动率，a_i-1为i-1阶段调整后的停车制动率，ρ为学习率，ρ＝0.1，a_i ^*为i阶段理论停车制动率，x_stop目标停车点。

10.根据权利要求6所述的基于强化学习的城轨列车节能运行策略在线优化方法，其特征在于，所述步骤S43中根据调整后的列车动作和环境状态参数，通过能耗模型构建深度Q学习算法中Q网络的状态动作Q函数，使用训练后的Q网络得到列车节能运行策略满足以下公式：

其中，r_i(*)为i阶段奖励函数，γ为衰减因子，γ＝0.99，ξ为牵引工况判断系数，Q_π(*)为Q函数，ε为贪婪随机策略中的随机概率，ε＝0.5，μ_i为i阶段牵引力或制动力使用系数。