CN115130898A - 一种列车运行控制与调度一体化优化方法及系统 - Google Patents

Abstract

本发明实施例提供了一种列车运行控制与调度一体化优化方法及系统，包括：获取列车待执行的运行图以及待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；将待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；在运行图约束与列车区间运行约束下，根据一体化策略对待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对列车进行控制与调度。本发明能够提高突发事件下列车速度曲线优化和运行图调整速度和一体化方案的质量，抑制了线路上的晚点传播。

Description

一种列车运行控制与调度一体化优化方法及系统

技术领域

本发明涉及铁路运营调度技术领域，尤其涉及一种列车运行控制与调度一体化优化方法及系统。

背景技术

高速铁路具有速度快、运能大、节能环保和舒适便利等特点，是我国交通运输体系的大动脉，更是助力交通强国战略和促进国民经济高效可持续发展的动力。我国已建成世界范围内最复杂的高速铁路网络，网络化运营条件下的路网复杂性、列车间运行的强耦合性、运行环境的多变性等为高速铁路的安全高效运营带来了极大的挑战。

当前高速铁路运营中列车的调度指挥和运行控制处于分层架构，突发事件下调度员难以实时掌握全局列车信息并快速做出精准优化的调整决策，列车司机难以获取相邻列车的运行状态信息驾驶列车。因此，如何打破目前调度指挥与列运行控制的分层架构，对突发事件下列车运行秩序的快速恢复具有重要的作用。

发明内容

本发明的实施例提供了一种列车运行控制与调度一体化优化方法及系统，以克服现有技术的缺陷。

为了实现上述目的，本发明采取了如下技术方案。

一方面，本发明提供一种列车运行控制与调度一体化优化方法，包括：

获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

可选地，在所述将所述待执行的运行图、列车运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中之前，方法还包括：

利用预先构建的一体化策略预测模型从用于训练的运行图数据集中提取运行图状态信息；

根据所述运行图状态信息从动作可行集合中确定调整动作；

利用预设的奖励函数评价所述调整动作对运行图状态变化的影响，得到评价结果，并将所述评价结果作为所述预先构建的一体化策略预测模型的输入，用以训练得到所述预先训练好的一体化策略预测模型。

可选地，所述预设的奖励函数为列车晚点时间和运行能耗的加权和：

式中，w_t、w_e分别为晚点时间和能耗的比例系数，f、F分别为列车编号和列车总数，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，A_sta,A_int分别为非起始车站区段和区间区段，N,o,d分别为节点集合、起始节点和终止节点，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，E_f(i,j),

分别为列车在区间(i,j)的实际运行能耗和最小能耗。

可选地，所述运行图约束与列车区间运行约束，包括到站发车时间约束、列车区间运行约束、停站时间约束、发车间隔约束、次序一致性和唯一性约束、列车的最短区间运行时间、列车速度曲线优化模型目标函数、区间运行时间与能耗、列车动力学模型、牵引力与制动力模型、列车区间运行过程约束、ATP约束以及最小到站间隔时间约束。

可选地，所述到站发车时间约束为列车在每个车站的出发和到达时间不能早于待执行的运行图中给定的到站发车时间，且从前一区段的离开时间与进入后一区段的时间相等，保证列车从车站进入区间或从区间进入车站的时间一致，满足下式：

式中，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，f、F分别为列车编号和列车总数，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，A_sta为非起始车站区段，(j,k)为区段(i,j)的后一区段；

所述列车区间运行约束为列车的实际区间运行时间不小于最短区间运行时间，满足下式：

式中，r_f(i,j)为实时区间运行时间，

为最短区间运行时间，A_int为区间区段；

所述停站时间约束为列车在车站停站时间受到最小边界值和最大边界值约束，满足下式：

式中，

为最小边界值，

为最大边界值；

所述发车间隔约束为两列列车发车间隔所满足的最小间隔约束：

d_f′(i,j)+(1-θ(f,f′,i,j))×M≥d_f(i,j)+h,

d_f(i,j)+θ(f,f′,i,j)×M≥d_f′(i,j)+h,

式中，f’为另一列车编号，θ(f,f',i,j)为两列车的发车次序决策变量，M为足够大的正数，h为列车到站/发车最小安全间隔；

所述次序一致性和唯一性约束为保证列车从车站进入区间或从区间进入车站时次序保持一致，且任意两列列车发车次序的唯一性：

所述列车的最短区间运行时间

通过对最大列车速度进行距离上积分计算得到：

式中，

为最大列车速度，

分别为区段(i,j)的起点与终点；

所述列车速度曲线优化模型目标函数为最小化列车实际运行时间偏差与列车区间运行能耗的加权和：

式中，w_t,w_e分别为晚点时间和能耗的比例系数，T_f′(i,j)和r_f′(i,j)分别为图定和实际列车在区间(i,j)运行时间，E_f′(i,j)和

分别为列车在区间(i,j)的实际运行能耗和最短区间运行时间下的能耗；

所述区间运行时间与能耗为：

式中，p(x_f′),

A_f′(v_f′)分别为列车牵引/制动率、牵引力控制参数以及最大牵引力，v_f'(x_f')为列车速度；

所述列车动力学模型为：

式中，a_f′(x_f′)为列车加速度，F_f′(v_f′,x_f′)为列车牵引力和制动力的合力，D_f′(v_f′),G(x_f′)分别为列车运行过程的基本阻力和附加阻力，ρ,m_f′分别为列车的转动惯量和质量；

所述牵引力与制动力模型为：

p_f′(x)∈[0,1]

式中，

B_f′(v_f′)分别为制动力控制参数和最大制动力；

所述列车区间运行过程约束包括起始点速度为0、牵引加速度、制动加速度、冲击率约束：

所述ATP约束为：

式中，

为列车f′在位置x_f′处的ATP限速值，

为当前列车运行时间为t_f′时刻时前行列车f所处的闭塞区段，以

闭塞区段的入口位置为起点，反向计算ATP速度曲线，根据当前列车位置x_f′获得ATP速度曲线值；

所述最小到站间隔时间约束为：

式中，

分别为列车f'和列车f的到站时间。

第二方面，本发明还提供一种列车运行控制与调度一体化优化系统，包括：

信息获取模块，用于获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

策略预测模块，用于将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

调整模块，用于在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

第三方面，本发明还提供一种电子设备，包括存储器和处理器，处理器和存储器相互通信，存储器存储有可被处理器执行的程序指令，处理器调用程序指令执行如上的列车运行控制与调度一体化优化方法。

第四方面，本发明还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如上的列车运行控制与调度一体化优化方法。

本发明有益效果：利用基于深度强化学习的神经网络模型的复杂信息感知能力和控制决策能力优势生成列车运行一体化方案，并可转化为列车运行图调整策略和列车驾驶策略，该一体化策略预测模型还能进行离线训练，不断提高智能体的求解性能。在一体化策略预测模型训练过程中，将学习到的列车速度和运行图状态与策略的非线性关系保存到深度强化学习的神经网络参数中；通过预先训练好的一体化策略预测模型中的神经网络参数可快速恢复并实时利用，可保证列车速度曲线优化和运行图调整策略的质量和求解实时性。另外，在运行图调整过程中还考虑到了列车在各个车站的到站发车时间、发车次序、车站股道占用情况、列车最大运行次数及列车在车站的安全间隔和最短区间运行时间等，在列车运行控制中需要考虑列车自身的牵引制动特性、运行速度、位置、线路限速坡度、运行图给定的运行时间等等各种约束情况，使得调整后的待执行的运行图与调整后的列车运行速度曲线更加符合实际，可行性高。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种列车运行控制与调度一体化优化方法的流程示意图；

图2为本发明实施例提供的一体化策略预测模型训练过程的实现示意图；

图3为本发明实施例提供的调整后的运行图对应的示意图；

图4为本发明实施例提供的多列车三维速度示意图；

图5为本发明实施例提供的列车速度曲线示意图；

图6为本发明实施例提供的列车速度曲线对应的能耗示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

通过打破调度指挥与列车运行控制之间的分层架构需要提高两层之间的信息沟通效率，并在运行图调整过程中考虑列车在线路的运行状态信息，列车运行时考虑运行图给定的运行计划采取优化驾驶策略，从而解决上述突发事件下列车实绩运行图调整与列车速度曲线一体化生成问题。

另外，近年来，随着人工智能技术的发展，尤其是深度强化学习在复杂信息处理和控制决策面的优势，为解决突发事件下列车运行图调整与列车运行控制一体化也提供了算法基础。因此，研究突发事件下基于深度强化学习的列车运行控制与调度一体化智能优化具有理论和实践意义。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例1

本实施例1提供一种列车运行控制与调度一体化优化系统，包括：

信息获取模块，用于获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

策略预测模块，用于将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

调整模块，用于在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

本实施例1中，利用上述的列车运行控制与调度一体化优化系统，实现了列车运行控制与调度一体化优化方法，包括：

获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

在所述将所述待执行的运行图、列车运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中之前，方法还包括：

利用预先构建的一体化策略预测模型从用于训练的运行图数据集中提取运行图状态信息；

根据所述运行图状态信息从动作可行集合中确定调整动作；

利用预设的奖励函数评价所述调整动作对运行图状态变化的影响，得到评价结果，并将所述评价结果作为所述预先构建的一体化策略预测模型的输入，用以训练得到所述预先训练好的一体化策略预测模型。

所述预设的奖励函数为列车晚点时间和运行能耗的加权和：

式中，w_f、w_e分别为晚点时间和能耗的比例系数，f、F分别为列车编号和列车总数，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，A_sta,A_int分别为非起始车站区段和区间区段，N,o,d分别为节点集合、起始节点和终止节点，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，E_f(i,j),

分别为列车在区间(i,j)的实际运行能耗和最小能耗。

所述运行图约束与列车区间运行约束，包括到站发车时间约束、列车区间运行约束、停站时间约束、发车间隔约束、次序一致性和唯一性约束、列车的最短区间运行时间、列车速度曲线优化模型目标函数、区间运行时间与能耗、列车动力学模型、牵引力与制动力模型、列车区间运行过程约束、ATP约束以及最小到站间隔时间约束。

所述到站发车时间约束为列车在每个车站的出发和到达时间不能早于待执行的运行图中给定的到站发车时间，且从前一区段的离开时间与进入后一区段的时间相等，保证列车从车站进入区间或从区间进入车站的时间一致，满足下式：

式中，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，f、F分别为列车编号和列车总数，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，A_sta为非起始车站区段，(j,k)为区段(i,j)的后一区段；

所述列车区间运行约束为列车的实际区间运行时间不小于最短区间运行时间，满足下式：

式中，r_f(i,j)为实时区间运行时间，

为最短区间运行时间，A_int为区间区段；

所述停站时间约束为列车在车站停站时间受到最小边界值和最大边界值约束，满足下式：

式中，

为最小边界值，

为最大边界值；

所述发车间隔约束为两列列车发车间隔所满足的最小间隔约束：

d_f′(i,j)+(1-θ(f,f′,i,j))×M≥d_f(i,j)+h,

d_f(i,j)+θ(f,f′,i,j)×M≥d_f′(i,j)+h,

式中，f’为另一列车编号，θ(f,f',i,j)为两列车的发车次序决策变量，M为足够大的正数，h为列车到站/发车最小安全间隔；

所述次序一致性和唯一性约束为保证列车从车站进入区间或从区间进入车站时次序保持一致，且任意两列列车发车次序的唯一性：

所述列车的最短区间运行时间

通过对最大列车速度进行距离上积分计算得到：

式中，

为最大列车速度，

分别为区段(i,j)的起点与终点；

所述列车速度曲线优化模型目标函数为最小化列车实际运行时间偏差与列车区间运行能耗的加权和：

式中，w_t,w_e分别为晚点时间和能耗的比例系数，T_f′(i,j)和r_f′(i,j)分别为图定和实际列车在区间(i,j)运行时间，E_f′(i,j)和

分别为列车在区间(i,j)的实际运行能耗和最短区间运行时间下的能耗；

所述区间运行时间与能耗为：

式中，p(x_f′),

A_f′(v_f′)分别为列车牵引/制动率、牵引力控制参数以及最大牵引力，v_f'(x_f')为列车速度；

所述列车动力学模型为：

式中，a_f′(x_f′)为列车加速度，F_f′(v_f′,x_f′)为列车牵引力和制动力的合力，D_f′(v_f′),G(x_f′)分别为列车运行过程的基本阻力和附加阻力，ρ,m_f′分别为列车的转动惯量和质量；

所述牵引力与制动力模型为：

p_f′(x)∈[0,1]

式中，

B_f′(v_f′)分别为制动力控制参数和最大制动力；

所述列车区间运行过程约束包括起始点速度为0、牵引加速度、制动加速度、冲击率约束：

所述ATP约束为：

式中，

为列车f′在位置x_f′处的ATP限速值，

为当前列车运行时间为t_f′时刻时前行列车f所处的闭塞区段，以

闭塞区段的入口位置为起点，反向计算ATP速度曲线，根据当前列车位置x_f′获得ATP速度曲线值；

所述最小到站间隔时间约束为：

式中，

分别为列车f'和列车f的到站时间。

实施例2

如图1所示，本实施例2提供一种列车运行控制与调度一体化优化方法，包括如下步骤：

步骤1：获取计划运行图(即待执行的运行图)与列车区间运行数据。

在本步骤中，根据列车计划运行图信息(包括各列车的到站发车时间、发车次序、列车等级以及车站股道数量)和列车区间运行信息(包括牵引制动特性、线路限速以及坡度)确定计划运行图和计划运行图对应的列车区间运行速度曲线。

需要说明的是，在高速铁路实际运营过程中，上下行线路独立运行，运行图调整时只考虑一个方向的列车，因此，本实施例中针对的是同一方向的列车运行调整问题。

步骤2：突发事件注入。即根据列车实际运行中受到的突发事件对列车运行和运行图设置不同的扰动参数，通常为导致列车的停站晚点时间和区间运行时间增加或列车区间停车。

具体地，考虑到列车运行过程中，各列车在各车站发生晚点时间是不确定的，因此设置了每列列车在每个车站都可发生不同时间的到站晚点和发车晚点的情况，从而形成突发事件。

另外，由于本实施例针对的是微干扰条件下的列车速度曲线优化和运行图调整一体化问题，列车在区间降低速度运行，不存区间停车的场景。因此，步骤2中设置的扰动参数只增加了列车的区间运行时间和在车站的停站时间。

步骤3：利用基于深度强化学习的一体化策略预测模型预测列车运行控制与调度一体化策略。

具体地，将计划运行图、列车区间运行信息及突发事件信息作为一体化策略预测模型的输入信息，生成列车运行图调整和列车速度曲线一体化策略，该一体化策略用于对列车到站发车时间的调整和列车区间运行的调整。

上述列车运行图调整和列车速度曲线一体化策略满足马尔可夫性，其过程可转化为马尔可夫决策过程，马尔可夫决策过程的参数化形式表达如下：<S,A,P,R>，式中，S,A,P,R分别表示状态空间、动作空间、状态转移概率和奖励函数空间。

一体化策略预测模型将深度学习的复杂信息提取能力与强化学习的决策控制能力相结合，实现从运行图和列车区间运行的状态信息(输入)到调整策略(输出)的直接控制与学习。如图2所示，一体化策略预测模型主要包括5部分：深度强化学习中的环境与状态、智能体(即一体化策略预测模型)与动作与奖励。具体地，通过列车速度曲线优化和运行图调整一体化环境模拟列车速度曲线计算和运行图调整过程，并接收智能体的动作调整运行图与优化列车速度曲线，并给出奖励函数值。

其中，环境与状态是指状态空间S，状态空间S中的运行图状态信息包括到发时间、列车等级、最小站间运行时间、停站计划、到站发车次序、停站时间和已调整的车站标志等，每个状态元素构成一个二维矩阵，采用卷积神经网络提取状态信息。以到站发车时间矩阵AD_i为例：

其中，d_j,k,a_j,k为列车j在车站k发车到站时间。

其余状态信息矩阵的维度与到站发车时间矩阵相同，其中列车等级、列车等级、停站计划、到站发车次序、已调整的车站标志采用离散数字表示不同的状态，并将每个状态元素堆叠为状态张量。

智能体与动作中的智能体相当于调度员，可以根据列车运行图状态信息从动作可行集合中选择一个调整动作。动作空间A则是根据状态空间S中的运行图状态信息生成的列车运行图调整动作，具体为列车的发车次序。

奖励函数空间R是指一体化环境执行智能体选择的动作后对状态进行评价，计算出该动作对环境状态变化的价值，在列车速度曲线优化过程和运行图调整过程涉及到的是区间运行能耗和列车晚点时间，因此，奖励函数可表示为列车晚点时间和运行能耗的加权和：

其中，w_t,w_e为晚点时间和能耗的比例系数，f,N为列车编号和列车总数，

a_f(i,j),d_f(i,j)分别为图定发车时间和到站时间、实际发车时间和到站时间，E_f(i,j),

为列车在区间(i,j)的实际运行能耗和最小能耗。通过对列车的晚点时间和区间运行能耗计算得到，晚点时间可从图3中得到，区间运行能耗可从图6得到。

状态转移概率P是指在当前状态下，执行智能体选择的动作转移到下一状态的概率矩阵，假设从一个状态转移到另一个状态的概率为1。

另外，本步骤还将运行图和列车运行状态信息、调整策略及调整方案的评价等组成样本数据进行保存，用于不断地训练提升一体化策略预测模型的最优性。

步骤4：在运行图约束与列车区间运行约束下，根据一体化策略生成可行的列车运行图和列车速度曲线。

具体地，涉及到的列车速度曲线优化和运行图调整的约束，分别为：

到站发车时间约束：列车在每个车站的出发和到达时间不能早于计划运行图中给定的到站发车时间，并且从前一区段的离开时间与进入后一区段的时间相等，保证列车从车站进入区间或从区间进入车站的时间是一致的，满足：

列车区间运行约束：列车的实际区间运行时间不小于最短区间运行时间，满足：

停站时间约束：列车在车站停站时间受到最小和最大边界值约束，满足：

发发间隔约束：两列列车发发间隔满足的最小间隔约束，满足：

d_f′(i,j)+(1-θ(f,f′,i,j))×M≥d_f(i,j)+h,

d_f(i,j)+θ(f,f′,i,j)×M≥d_f′(i,j)+h,

次序一致性和唯一性约束：保证列车从车站进入区间或从区间进入车站时次序保持一致，任意两列列车发车次序的唯一性，满足：

列车的最短区间运行时间：是对最大列车速度进行距离上积分计算得到：

列车速度曲线优化模型目标函数：最小化列车实际运行时间偏差与列车区间运行能耗的加权和：

区间运行时间与能耗：

列车动力学模型：

牵引力与制动力模型：

列车区间运行过程约束，包括起始点速度为0、牵引加速度、制动加速度、冲击率约束：

ATP约束：

最小到站间隔时间约束：

步骤5：一体化调整方案的评价与反馈，即根据一体化策略对列车运行图和列车速度曲线进行调整后，基于步骤4的可行的列车运行图和列车速度曲线来评价调整后的运行图的晚点时间和列车区间运行能耗进行评价，并将评价结果反馈至步骤3中，作为一体化策略预测模型的输入，从而不断训练提升一体化策略预测模型的准确性。

在本实施例中，基于深度强化学习的一体化方法生成的列车速度曲线优化和运行图调整的一体化方案，如图4所示，涉及列车时间、位置、速度三维信息。

步骤6：根据步骤4中的可行的列车运行图和列车速度曲线，分别转化得到对应运行图的调整结果和列车在区间的速度曲线。

在本实施例中，通过对图4的速度轴和时间轴压缩，从而得到如图3所示的运行图调整结果和如图5所示的速度曲线优化结果。

其中，步骤1-步骤5符合闭环反馈的控制结构，根据运行图和列车速度曲线的状态评价与反馈不断调整运行图的调整方法。

实施例3

本发明实施例3提供一种电子设备，包括存储器和处理器，处理器和存储器相互通信，存储器存储有可被处理器执行的程序指令，处理器调用程序指令执行列车运行控制与调度一体化优化方法，该方法包括如下流程步骤：

获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

实施例4

本发明实施例4提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现列车运行控制与调度一体化优化方法，该方法包括如下流程步骤：

获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

综上所述，利用基于深度强化学习的神经网络模型的复杂信息感知能力和控制决策能力优势生成列车运行一体化方案，并可转化为列车运行图调整策略和列车驾驶策略，该一体化策略预测模型还能进行离线训练，不断提高智能体的求解性能。在一体化策略预测模型训练过程中，将学习到的列车速度和运行图状态与策略的非线性关系保存到深度强化学习的神经网络参数中；通过预先训练好的一体化策略预测模型中的神经网络参数可快速恢复并实时利用，可保证列车速度曲线优化和运行图调整策略的质量和求解实时性。另外，在运行图调整过程中还考虑到了列车在各个车站的到站发车时间、发车次序、车站股道占用情况、列车最大运行次数及列车在车站的安全间隔和最短区间运行时间等，在列车运行控制中需要考虑列车自身的牵引制动特性、运行速度、位置、线路限速坡度、运行图给定的运行时间等等各种约束情况，使得调整后的待执行的运行图与调整后的列车运行速度曲线更加符合实际，可行性高。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种列车运行控制与调度一体化优化方法，其特征在于，包括：

获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，在所述将所述待执行的运行图、列车运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中之前，方法还包括：

利用预先构建的一体化策略预测模型从用于训练的运行图数据集中提取运行图状态信息；

根据所述运行图状态信息从动作可行集合中确定调整动作；

利用预设的奖励函数评价所述调整动作对运行图状态变化的影响，得到评价结果，并将所述评价结果作为所述预先构建的一体化策略预测模型的输入，用以训练得到所述预先训练好的一体化策略预测模型。

3.根据权利要求2所示的方法，其特征在于，所述预设的奖励函数为列车晚点时间和运行能耗的加权和R：

式中，w_t、w_e分别为晚点时间和能耗的比例系数，f、F分别为列车编号和列车总数，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，A_sta,A_int分别为非起始车站区段和区间区段，N,o,d分别为节点集合、起始节点和终止节点，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，E_f(i,j),

分别为列车在区间(i,j)的实际运行能耗和最小能耗。

4.根据权利要求1所述的方法，其特征在于，所述运行图约束与列车区间运行约束，包括到站发车时间约束、列车区间运行约束、停站时间约束、发车间隔约束、次序一致性和唯一性约束、列车的最短区间运行时间、列车速度曲线优化模型目标函数、区间运行时间与能耗、列车动力学模型、牵引力与制动力模型、列车区间运行过程约束、ATP约束以及最小到站间隔时间约束。

5.根据权利要求4所述的方法，其特征在于，所述到站发车时间约束为列车在每个车站的出发和到达时间不能早于待执行的运行图中给定的到站发车时间，且从前一区段的离开时间与进入后一区段的时间相等，保证列车从车站进入区间或从区间进入车站的时间一致，满足下式：

式中，

a_f(i,j),d_f(i,j)分别为预定的发车时间和到站时间、实际发车时间和到站时间，f、F分别为列车编号和列车总数，N\{d},N\{o}分别为不包含终点的节点集合和不包含起点的节点集合，A_sta为非起始车站区段，(j,k)为区段(i,j)的后一区段；

所述列车区间运行约束为列车的实际区间运行时间不小于最短区间运行时间，满足下式：

式中，r_f(i,j)为实时区间运行时间，

为最短区间运行时间，A_int为区间区段；

所述停站时间约束为列车在车站停站时间受到最小边界值和最大边界值约束，满足下式：

式中，

为最小边界值，

为最大边界值；

所述发车间隔约束为两列列车发车间隔所满足的最小间隔约束：

d_f′(i,j)+(1-θ(f,f′,i,j))×M≥d_f(i,j)+h,

d_f(i,j)+θ(f,f′,i,j)×M≥d_f′(i,j)+h,

式中，f’为另一列车编号，θ(f,f',i,j)为两列车的发车次序决策变量，M为足够大的正数，h为列车到站/发车最小安全间隔；

所述次序一致性和唯一性约束为保证列车从车站进入区间或从区间进入车站时次序保持一致，且任意两列列车发车次序的唯一性：

所述列车的最短区间运行时间

通过对最大列车速度进行距离上积分计算得到：

式中，

为最大列车速度，

分别为区段(i,j)的起点与终点；

所述列车速度曲线优化模型目标函数为最小化列车实际运行时间偏差与列车区间运行能耗的加权和：

式中，w_t,w_e分别为晚点时间和能耗的比例系数，T_f′(i,j)和r_f′(i,j)分别为图定和实际列车在区间(i,j)运行时间，E_f′(i,j)和

分别为列车在区间(i,j)的实际运行能耗和最短区间运行时间下的能耗；

所述区间运行时间T_f′(i,j)与能耗E_f′(i,j)为：

式中，p(x_f′),

A_f′(v_f′)分别为列车牵引/制动率、牵引力控制参数以及最大牵引力，v_f'(x_f')为列车速度；

所述列车动力学模型为：

式中，a_f′(x_f′)为列车加速度，F_f′(v_f′,x_f′)为列车牵引力和制动力的合力，D_f′(v_f′),G(x_f′)分别为列车运行过程的基本阻力和附加阻力，ρ,m_f′分别为列车的转动惯量和质量；

所述牵引力与制动力模型为：

p_f′(x)∈[0,1]

式中，

B_f′(v_f′)分别为制动力控制参数和最大制动力；

所述列车区间运行过程约束包括起始点速度为0、牵引加速度、制动加速度、冲击率约束：

所述ATP约束为：

式中，

为列车f′在位置x_f′处的ATP限速值，

为当前列车运行时间为t_f′时刻时前行列车f所处的闭塞区段，以

闭塞区段的入口位置为起点，反向计算ATP速度曲线，根据当前列车位置x_f′获得ATP速度曲线值；

所述最小到站间隔时间约束为：

式中，

分别为列车f'和列车f的到站时间。

6.一种列车运行控制与调度一体化优化系统，其特征在于，包括：

信息获取模块，用于获取列车待执行的运行图以及所述待执行的运行图对应的列车区间运行速度曲线；并获取突发事件信息；

策略预测模块，用于将所述待执行的运行图、列车区间运行速度曲线以及突发事件信息输入预先训练好的一体化策略预测模型中，预测得到一体化策略；

调整模块，用于在运行图约束与列车区间运行约束下，根据所述一体化策略对所述待执行的运行图和列车区间运行速度曲线进行调整，并基于调整后的待执行的运行图与调整后的列车运行速度曲线，对所述列车进行控制与调度；

其中，所述预先训练好的一体化策略预测模型为基于深度强化学习的神经网络模型。

7.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-5任一项所述的列车运行控制与调度一体化优化方法。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的列车运行控制与调度一体化优化方法。

Images