CN112329347B - 一种高速铁路列车停站方案优化方法 - Google Patents

Abstract

本发明公开了一种高速铁路列车停站方案优化方法，包括：步骤一：基于车站节点属性特征对车站等级进行划分；步骤二、基于马尔可夫决策过程建立列车停站方案模型，包括：(1)模型结构设置；(2)决策集合；(3)状态与状态过滤(4)受益值定义；(5)转移概率；(6)基于改进马尔可夫过程建立停站方案优化模型。本发明的优点是：各区段的列车运输能力得到更有效的利用。有利于减少浪费的列车运力和过度拥挤。减少浪费的列车运力可以提高乘客的载客率；减少拥挤可以提高舒适感。

Description

一种高速铁路列车停站方案优化方法

技术领域

本发明涉及列车运行管理技术领域，特别涉及一种基于车站节点属性特征的高速铁路列车停站方案优化方法。

背景技术

高速铁路具有可靠性、安全性、低排放和节能等优点，在日常生活中具有重要意义。随着旅客需求的增加和高速铁路网规模的不断扩大，运输组织变得越来越复杂。然而，列车运行管理必须保持在可接受的效率水平。列车停站方案是高速铁路运营计划中的关键要素，需要在满足不断增长的旅客需求的条件下，能尽可能降低铁路公司运营成本。停站方案直接影响到各车站服务水平和列车客座率，也直接影响到运输资源的利用。

在有限列车开行对数和车站容量下，停站方案必须同时考虑乘客需求和列车停靠模式，以实现服务的供需平衡。虽然增加停靠车站可以提供更好的旅客服务，但也会降低运输效率(增加旅行时间和降低客座率)。停站方案所面临的挑战是：铁路沿线需要足够数量的列车停靠站来服务乘客，但是过多的停站次数会导致运营效率降低和资源利用率低下。因此，必须找到一种有效的方法来平衡运输成本和不断变化的旅客需求。

停站方案规定了铁路线上每列列车的停站模式和停靠的车站节点，必须根据旅客需求为每列车选择停靠车站，需考虑的条件包括：列车运行区间、列车运行距离、车站等级、车站地理位置、车站容量、旅客需求、列车对数、停站次数、停站策略、列车类型。

将现有的车站等级作为固定条件优化列车停站方案，会因对车站所在城市出行热度的主要影响因素(即，城市行政级别、人口和GDP等)动态因素考虑不足，导致车站等级划分的适应性不足，制定的停站方案有效性受限，进而列车能力利用无法有效提高。

传统的车站等级划分结果，主要的依据来源于管理的经验，缺少数据量化分析的准确度，导致优化结果偏离实际情况，列车能力利用无法有效提高。

针对最优化问题求解的一个难题是，求解算法设计。由于优化问题的求解均会涉及到复杂的因素、变量的规模和约束条件。对于优化模型研究，这类问题属于NP难问题，即采用某些理想化的参数假设，这些假设会产生一些未经实证分析的变量，使得结果不准确，并且该类问题会导致求解耗时长，计算求解速度慢等问题。

发明内容

本发明针对现有技术的缺陷，提供了一种高速铁路列车停站方案优化方法，解决了现有技术中存在所获停站方案有效性受限和求解困难、时间长的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

本发明提出了一种高速铁路列车停站方案优化方法，包括如下步骤：

步骤一：基于车站节点属性特征对车站等级进行划分；

通过输入车站的特征变量，利用聚类分析实现动态划分车站等级，假设参数X＝{X₁,X₂,…,X_N}^T为代表沿线车站的样本，N为车站总数；每个站点都有p个特征变量，即

每个特征值可以从实际运行数据中提取出来，如列车类型、列车对数和停站策略；

利用模糊c均值聚类方法将车站样本分为C类；每个簇的特征是其样本平均值，称为质心；模型的目标是最小化每个样本和每个聚类的质心之间的加权距离之和，如等式(1)所示：

其中，i代表样本编号，j样本划分的簇数；

m∈[1,∞)是决定聚类结果模糊权重的模糊因子；

u_ij是聚类j中X_i的隶属度；

C_j是p维特征空间中j类的质心；

d_ij＝‖X_i-C_i‖表示X_i和C_i.之间的欧几里德距离；每个样本和每个簇质心之间的距离由方程(2)中的欧几里德范数计算得到，其中

表示第i个变换样本的第k个特征，

表示质心C_j在第k维的位置；

模糊划分是通过对方程(1)中所示的目标函数进行迭代优化来进行的，用方程(3)计算更新后的隶属度u_ij；

簇的质心C_j可以用方程(4)进行更新,h代表簇质心的序号；

当‖C^t+1-C^t‖≤ε时，迭代算法终止，其中ε是停止准则，C^t是一个最大迭代次数t时，k×p簇的质心；根据Xie-Beni和分离系数方法得到最佳簇数；根据最佳簇数结果得到车站节点级数；根据各簇的平均得分，可得到各站的等级，各簇的平均得分根据特征平均值计算得到；f_i ^j为j簇中车站j的特征平均值；j组的平均分数F_j可表示为：

站点级别由平均分数组成：分数越大，站点级别越高；

步骤二、基于马尔可夫决策过程的建立列车停站方案模型；

(1)模型结构设置；

基于标准马尔可夫过程进行改进，设计列车停站方案优化模型；马尔可夫决策过程存在一个五元参数组<S，a，p，r，N>，其中：

S：是状态s的有限集合，表示每个车站的停站信息；

A：是决策a的有限集合，包括所有可能的决策；

p(s_t+1|s_t,a)：是状态s_t通过决策a转移到s_t+1的概率；

r(s_t+1,a)：是系统从s_t状态转换到s_t+1状态的受益值；

N：是一组有限的状态转移次数；N＝{1…T}，t∈[1…T]，T是最大次数；

模型的目标是寻找能产生最优策略π的一系列决策，使得最终受益值最大化；该目标通过效用函数的最大化表示:

R_π(s)＝R(s)+γ∑_s′p(s,π(s),s′)r_π(s′) (7)

R代表累计受益值，R_π代表最优累计受益值，参数γ是折扣因子，利于函数的收敛；

(2)决策集合；

决策集A的范围是从最小停站数到最大列车停站数m之间，表示为A＝{2,3,…,m}；每一次决策都对应一组停车方案，这组方案被称为状态子集，这是由于不同列车选择不同车站停靠方式而产生，决策参数即为列车停站次数；

(3)状态与状态过滤

本技术方案中包含两种状态集，一种是对应任意决策的状态子集，另一种是由各状态子集提取最大即时受益值而得到的适应性状态集；

令s为车站n的服务总次数，w_t为停车方案总数，t为当前状态转移次数t∈[1,2,…,T]，n＝{n₁,n₂,…,n_z,…,n_Z}；车站顺序表示为z∈{1,2,…,Z},1≤z≤Z；状态集可以表示为

S＝{s|s＝<n,w_t>＝<n₁,n₂,…,n_Z,w_t>} (8)

再定义两种约束：垂直约束与横向约束；

垂直约束由两部分组成：

第一部分是，在当前t内，每个车站的最大停站数必须小于或等于所有列车的最大停站数，所有列车的最大停站数表示为

每个车站的最大停站数为

n＝<n₁,n₂,…,n_Z>；

第二部分是，每个站点的剩余停站次数

从当前状态s到最后一个状态s在站点z的剩余停站次数必须等于剩余状态数

该值与每个车站的最大停站次数有关；

横向约束是每列车的最大停车次数；每列车的停站次数h_t必须小于或等于其阈值δ_t；

以γ_z为z站的列车停站率，由车站总数和各站的上下客流量决定，表示为：

式中，f₁和f₂分别是从车站i出发的客流和到达车站i的客流；ρ为该区间的客流密度；系数α是依据同一类型列车的平均停站次数来取值的，铁路部门通常会给出这个数值；β_z是基于车站等级的权重系数，表示为：

得到每个站点的最大停止时间q_z＝γ_z×Q，其中Q是最大站点数；

为了保持模型的性能，需要通过子状态集计算每一种决策的即时受益值，从子状态集中的所有备选方案中选择即时受益值最高的停车方案，进而得到适应性状态集，表示为max{r_m(s,a)},m∈[1,…,M]，M是决策a状态子集中最大停车方案数量；适应性状态集对应的停车方案集合表示为：

max{r_m(s,a)},m∈[1,…,M] (11)

(4)受益值定义；

受益值由每列车停车方案的跳站均衡值描述；有两种受益值：期望受益值和即时受益值；即时受益值是每一停车方案产生所得到的受益值；期望受益值可通过计算适应性状态集，即所有停车方案的即时受益值得到；令x_tz表示t次列车是否计划停靠z站，x_tz为0代表列车t不会停靠z站，如果为1则反之；

由此，受益值可函数表示为

式中：q_tz＝z·x_tz,x_tz≠0；z为按升序排列的车站序列值；v_t为t次列车停站平均跳过的车站数量；

是列车t的最大停车次数，期望受益值即为每次生成新停车方案的即时受益值之和；

(5)转移概率；

每一次决策中，生成不同停车方案的概率值，状态转移概率表示为：

式中

表示从当前状态s′，在决策a下转换到新状态s的概率；

(6)基于改进马尔可夫决策过程建立停站方案优化模型；

期望受益值通过迭代每次状态转移生成新停车方案的均衡指数来计算；因此，期望受益值通过每次不同的即时受益值迭代计算获得；而最优决策策略则应是具有最大期望受益值所对应的决策链，该策略可描述为：

其中γ∈[0,1]是折扣因子；该模型可以用经典的相对值迭代算法来求解。

与现有技术相比，本发明的优点在于：

各区段的列车通行能力得到了更有效的利用。这有利于减少浪费的列车运力和过度拥挤。减少浪费的列车运力可以提高乘客的载客率；减少拥挤可以提高舒适感。这表明，最佳的停站计划可以为乘客提供更高的收入和更高的服务质量。更能适应乘客需求，有利于提高效率带来收益。

附图说明

图1是本发明实施例高速铁路列车停站方案优化方法技术框图；

图2是本发明实施例约束条件下的状态过滤过程；

图3是本发明实施例各状态集的生成和过滤过程；

图4是本发明实施例停站方案优化结果；

图5是本发明实施例停站方案停站次数方差对比图；

图6是本发明实施例停站次数与其他属性方差对比图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

本发明提出了一种高速铁路列车停站方案优化方法，以深入挖掘车站属性特征，提出一种新的模型来实现优化停站方案。在第一阶段，运用无监督聚类分析方法，对车站进行分类。在第二阶段，利用改进的马尔可夫决策过程(MDP)对高速铁路停站方案进行优化。技术方案框架如图1所示。

第一阶段：一种基于车站节点属性特征的车站等级划分方法

本阶段通过输入车站的特征变量，利用聚类分析实现动态划分车站等级，而不是仅根据其在铁路网络中的规模和位置来考虑车站级别。模糊c均值聚类(FCM，Dunn，1973)是基于模糊集理论的。它是一种软分类，没有严格的隶属关系。在没有先验信息的情况下，将“相似”的样本放入同一组中，探索不同组所反映的模式是一种无监督的技术。由于没有理想化和实证性的假设，这种方法比其他方法更具适应性和实用性，有利于分析具有多种特征的台站。假设参数X＝{X₁,X₂,…,X_N}^T为代表沿线车站的样本，N为车站总数。每个站点都有p个特征变量，即

每个特征值可以从实际运行数据中提取出来，如列车类型、列车对数和停站策略。

利用FCM方法将车站样本分为C类。每个簇的特征是其样本平均值，称为质心。模型的目标是最小化每个样本和每个聚类的质心之间的加权距离之和，如等式(1)所示：

m∈[1,∞)是决定聚类结果模糊权重的模糊因子；u_ij是聚类j中X_i的隶属度；C_j是p维特征空间中j类的质心。设d_ij＝‖X_i-C_i‖表示X_i和C_i.之间的欧几里德距离。请注意，每个样本和每个簇质心之间的距离由方程(2)中的欧几里德范数测量，其中

表示第i个变换样本的第k个特征，

表示质心C_j在第k维的位置。

模糊划分是通过对方程(1)中所示的目标函数进行迭代优化来进行的，用方程(3)计算更新后的隶属度u_ij。

簇的质心C_j可以用方程(4)进行更新。

当‖C^t+1-C^t‖≤ε时，迭代算法终止，其中ε是停止准则，C^t是一个最大迭代次数t时，k×p簇的质心。根据Xie-Beni(Xie,X.L.,and Beini,G.(1991).A validity method forfuzzy clustering.IEEE Trans on Pattern Analysis and Machine Intelligence,13,8,841-847)和分离系数方法(Zahid,N.,Limouri,M.,and Essaid,A.(1999).A newcluster validity for fuzzy clustering.Pattern Recognition,32,7,1089-1097)可得到最佳簇数。从最佳簇数可以得到车站节点级的数目。根据各簇的平均得分(可根据特征平均值计算得到)，可得到各站的等级；f_i ^j为j簇中车站j的特征平均值；j组的平均分数F_j可表示为：

站点级别由平均分数组成：分数越大，站点级别越高。

阶段二：基于马尔可夫决策过程的列车停站方案模型

(1)模型结构

基于标准马尔可夫过程进行改进，设计列车停站方案优化模型。马尔可夫决策过程存在一个五元参数组<S，a，p，r，N>，其中：

S：是状态s的有限集合，表示每个车站的停站信息。

A：是决策a的有限集合，包括所有可能的决策。

p(s_t+1|s_t,a)：是状态s_t通过决策a转移到s_t+1的概率。

r(s_t+1,a)：是系统从s_t状态转换到s_t+1状态的受益值。

N：是一组有限的状态转移次数；N＝{1…T}，t∈[1…T]，T是最大次数。

模型的目标是寻找能产生最优策略π的一系列决策，使得最终受益值最大化。该目标可以通过效用函数的最大化表示:

U_π(s)＝R(s)+γ∑_s′N(s,π(s),s′)U_π(s′) (7)

参数γ是折扣因子，利于函数的收敛。

(2)决策集合

决策集A的范围是从最小停站数(两个：始发站和目的站)到最大列车停站数m之间，表示为A＝{2,3,…,m}。每一次决策都对应一组停车方案，这组方案被称为状态子集，这是由于不同列车选择不停车站停靠方式而产生，决策参数即为列车停站次数。

(3)状态与状态过滤

本技术方案中包含两种状态集，一种是对应任意决策得状态子集，另一种是由各状态子集提取最大即时受益值而得到得适应性状态集。

令s为车站n的服务总次数，w_t为停车方案总数，t为当前状态转移次数t∈[1,2,…,T]，n＝{n₁,n₂,…,n_z,…,n_Z}。车站顺序表示为z∈{1,2,…,Z},1≤z≤Z。状态集可以表示为

S＝{s|s＝<n,w_t>＝<n₁,n₂,…,n_Z,w_t>} (8)

再定义两种约束：垂直约束与横向约束。

垂直约束由两部分组成。一部分是，在当前t内，每个车站的最大停站数(表示为

n＝<n₁,n₂,…,n_Z>)必须小于或等于所有列车的最大停站数，可以表示为

第二部分是，每个站点的剩余停站次数

从当前状态s到最后一个状态s在站点z的剩余停站次数必须等于剩余状态数

该值与每个车站的最大停站次数有关。

横向约束是每列车的最大停车次数。每列车的停站次数(h_t)必须小于或等于其阈值δ_t，整个状态过滤过程如图2所示。

以γ_z为z站的列车停站率，由车站总数和各站的上下客流决定，表示为：

式中，f₁和f₂分别是从车站i出发的客流和到达车站i的客流。ρ为该区间的客流密度。系数α是依据同一类型列车的平均停站次数来取值的，铁路部门通常会给出这个数值。β_z是基于车站等级的权重系数，表示为：

可以得到每个站点的最大停止时间q_z＝γ_z×Q，其中Q是最大站点数。

为了保持模型的性能，需要通过子状态集计算每一种决策的即时受益值，从子状态集中的所有备选方案中选择即时受益值最高的停车方案，进而得到适应性状态集，表示为max{r_m(s,a)},m∈[1,…,M]，M是决策a状态子集中最大停车方案数量；适应性状态集对对应的停车方案集合可表示为：

max{r_m(s,a)},m∈[1,…,M] (11)

整个过程如图3所示；

(4)受益值定义

受益值由每列车停车方案的跳站均衡值描述。有两种受益值：期望受益值和即时受益值。期望受益值可通过计算适应性状态集不同停车方案的即时受益值得到。令x_tz表示t次列车是否计划停靠z站，x_tz为0代表列车t不会停靠z站，如果为1则反之。

由此，受益值可函数表示为

式中：q_tz＝z·x_tz,x_tz≠0；z为按升序排列的车站序列值；v_t为t次列车停站平均跳过的车站数量；

是列车t的最大停车次数，期望受益值即为每次生成新停车方案的即时受益值之和。

(5)转移概率

每一次决策中，生成不同停车方案的概率值，状态转移概率表示为：

式中

表示从当前状态s′，在决策a下转换到新状态s的概率。

(6)基于改进马尔可夫过程的停站方案优化模型

期望受益值可以通过迭代每次状态转移生成新停车方案的均衡指数来计算。因此，期望受益值可以通过每次不同的即时受益值迭代计算获得。而最优决策策略则应是具有最大期望受益值所对应的决策链，该策略可描述为：

其中γ∈[0,1]是折扣因子。该模型可以用经典的相对值迭代算法来求解。

本发明技术方案的效果以一实例分析结果来说明。

根据2017年京沪高速铁路连续3个月实际运营数据，进行试验分析。从收集的数据集中提取了56个具有代表性的特征，如表1所示。其中将全线沿途23个车站，即北京西—上海虹桥顺序编号。

表1车站节点属性特征变量

为了动态确定车站级别，采用本计算方案设计的模糊c-均值聚类方法对所有站点进行重分车站等级，其中车站特征属性考虑了行政级别、人口、GDP和距离等因素。通过该技术方法最终获得动态车站等级划分结果，如表2所示。

表2新车站等级划分结果

结合动态的车站等级划分结果，采用基于本技术方案提出的改进马尔可夫决策过程方法求解停站方案优化结果，如图4所示。

将该结果与原始停站方案进行比较，RMDP模型生成的优化结果比原方案的总停站总次数少2％。由于列车停站次数与运营费用直接相关，因此，本发明能降低运营总成本。

在给定的客流需求下，分析两种停站方案列车能力占用率曲线。采用新方法，各区段的列车通行能力得到了更有效的利用。这有利于减少浪费的列车运力和过度拥挤。减少浪费的列车运力可以提高乘客的载客率；减少拥挤可以提高舒适感。这表明，最佳的停站计划可以为乘客提供更高的收入和更高的服务质量。

图5是停站方案停站次数方差对比图；

图6是停站次数与其他属性方差对比图。

为了进一步分析该方法下的站点数量(ST)与其相关特征(包括人口、乘客需求和GDP)之间的关系，图6(b)结果表明，乘客需求与站点数量之间的方差最小。研究结果表明，最优策略更能适应乘客需求，有利于提高效率带来收益。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种高速铁路列车停站方案优化方法，其特征在于，包括如下步骤：

步骤一：基于车站节点属性特征对车站等级进行划分；

通过输入车站的特征变量，利用聚类分析实现动态划分车站等级，假设参数X＝{X₁,X₂,…,X_N}^T为代表沿线车站的样本，N为车站总数；每个站点都有p个特征变量，即

每个特征值可以从实际运行数据中提取出来，包括：列车类型、列车对数和停站策略；

利用模糊c均值聚类方法将车站样本分为C类；每个簇的特征是其样本平均值，称为质心；模型的目标是最小化每个样本和每个聚类的质心之间的加权距离之和，如等式(1)所示：

其中，i代表样本编号，j样本划分的簇数；

m∈[1,∞)是决定聚类结果模糊权重的模糊因子；

u_ij是聚类j中X_i的隶属度；

C_j是p维特征空间中j类的质心；

d_ij＝‖X_i-C_i‖表示X_i和C_i.之间的欧几里德距离；每个样本和每个簇质心之间的距离由方程(2)中的欧几里德范数计算得到，其中

表示第i个变换样本的第k个特征，

表示质心C_j在第k维的位置；

模糊划分是通过对方程(1)中所示的目标函数进行迭代优化来进行的，用方程(3)计算更新后的隶属度u_ij；

簇的质心C_j可以用方程(4)进行更新,h代表簇质心的序号；

当‖C^t+1-C^t‖≤ε时，迭代算法终止，其中ε是停止准则，C^t是一个最大迭代次数t时，k×p簇的质心；根据Xie-Beni和分离系数方法得到最佳簇数；根据最佳簇数结果得到车站节点级数；根据各簇的平均得分，可得到各站的等级，各簇的平均得分根据特征平均值计算得到；f_i ^j为j簇中车站j的特征平均值；j组的平均分数F_j可表示为：

站点级别由平均分数组成：分数越大，站点级别越高；

步骤二、基于马尔可夫决策过程的建立列车停站方案模型；

(1)模型结构设置；

基于标准马尔可夫过程进行改进，设计列车停站方案优化模型；马尔可夫决策过程存在一个五元参数组<S，a，p，r，N>，其中：

S：是状态s的有限集合，表示每个车站的停站信息；

A：是决策a的有限集合，包括所有可能的决策；

p(s_t+1|s_t,a)：是状态s_t通过决策a转移到s_t+1的概率；

r(s_t+1,a)：是系统从s_t状态转换到s_t+1状态的受益值；

N：是一组有限的状态转移次数；N＝{1…T}，t∈[1…T]，T是最大次数；

模型的目标是寻找能产生最优策略π的一系列决策，使得最终受益值最大化；该目标通过效用函数的最大化表示:

R_π(s)＝R(s)+γ∑_s′p(s,π(s),s′)r_π(s′) (7)

R代表累计受益值，R_π代表最优累计受益值，参数γ是折扣因子，利于函数的收敛；

(2)决策集合；

决策集A的范围是从最小停站数到最大列车停站数m之间，表示为A＝{2,3,…,m}；每一次决策都对应一组停车方案，这组方案被称为状态子集，这是由于不同列车选择不同车站停靠方式而产生，决策参数即为列车停站次数；

(3)状态与状态过滤

本技术方案中包含两种状态集，一种是对应任意决策的状态子集，另一种是由各状态子集提取最大即时受益值而得到的适应性状态集；

令s为车站n的服务总次数，w_t为停车方案总数，t为当前状态转移次数t∈[1,2,…,T]，n＝{n₁,n₂,…,n_z,…,n_Z}；车站顺序表示为z∈{1,2,…,Z},1≤z≤Z；状态集可以表示为

S＝{s|s＝<n,w_t>＝<n₁,n₂,…,n_Z,w_t>} (8)

再定义两种约束：垂直约束与横向约束；

垂直约束由两部分组成：

第一部分是，在当前t内，每个车站的最大停站数必须小于或等于所有列车的最大停站数，所有列车的最大停站数表示为

每个车站的最大停站数为

n＝<n₁,n₂,…,n_Z>；

第二部分是，每个站点的剩余停站次数

从当前状态s到最后一个状态s在站点z的剩余停站次数必须等于剩余状态数

该值与每个车站的最大停站次数有关；

横向约束是每列车的最大停车次数；每列车的停站次数h_t必须小于或等于其阈值δ_t；

以γ_z为z站的列车停站率，由车站总数和各站的上下客流量决定，表示为：

式中，f₁和f₂分别是从车站i出发的客流和到达车站i的客流；ρ为该区间的客流密度；系数α是依据同一类型列车的平均停站次数来取值的，铁路部门通常会给出这个数值；β_z是基于车站等级的权重系数，表示为：

得到每个站点的最大停止时间q_z＝γ_z×Q，其中Q是最大站点数；

为了保持模型的性能，需要通过子状态集计算每一种决策的即时受益值，从子状态集中的所有备选方案中选择即时受益值最高的停车方案，进而得到适应性状态集，表示为max{r_m(s,a)},m∈[1,…,M]，M是决策a状态子集中最大停车方案数量；适应性状态集对应的停车方案集合表示为：

max{r_m(s,a)},m∈[1,…,M] (11)

(4)受益值定义；

受益值由每列车停车方案的跳站均衡值描述；有两种受益值：期望受益值和即时受益值；即时受益值是每一停车方案产生所得到的受益值；期望受益值可通过计算适应性状态集，即所有停车方案的即时受益值得到；令x_tz表示t次列车是否计划停靠z站，x_tz为0代表列车t不会停靠z站，如果为1则反之；

由此，受益值可函数表示为

式中：q_tz＝z·x_tz,x_tz≠0；z为按升序排列的车站序列值；v_t为t次列车停站平均跳过的车站数量；

是列车t的最大停车次数，期望受益值即为每次生成新停车方案的即时受益值之和；

(5)转移概率；

每一次决策中，生成不同停车方案的概率值，状态转移概率表示为：

式中

表示从当前状态s′，在决策a下转换到新状态s的概率；

(6)基于改进马尔可夫决策过程建立停站方案优化模型；

期望受益值通过迭代每次状态转移生成新停车方案的均衡指数来计算；因此，期望受益值通过每次不同的即时受益值迭代计算获得；而最优决策策略则应是具有最大期望受益值所对应的决策链，该策略可描述为：

其中γ∈[0,1]是折扣因子；该模型可以用经典的相对值迭代算法来求解。

Images