CN109703606B - 基于历史运行数据的高速列车智能驾驶控制方法 - Google Patents

Abstract

本发明提供了一种基于历史运行数据的高速列车智能控制方法，包括：对列车的运行状态进行属性定义，根据定义的属性对高速列车的历史运行数据进行聚类分析；根据当前列车的运行状态和相似度指标从历史运行数据中找出与当前列车站间运行过程相似的数据集；根据当前列车的驾驶任务信息，将当前列车的未来站间运行过程转化为马尔科夫决策过程；根据加权欧式距离搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态；利用蒙特卡洛方法采样得到参考运行轨迹，通过强化学习方法对列车未来站间运行全过程的参考运行轨迹进行优化，得到列车智能控制策略对列车进行智能控制。本方法可以实现列车的自动驾驶，提高运营服务质量。

Description

基于历史运行数据的高速列车智能驾驶控制方法

技术领域

本发明涉及轨道交通列车自动驾驶技术领域，尤其涉及一种基于历史运行数据的高速列车智能驾驶控制方法。

背景技术

近年来，高速铁路以其高速度、大运量、全天候、低能耗、少排放等显著的技术经济优势，得到了世界各国的广泛认可，我国高速铁路的建设也正在如火如荼地进行。截至2017年底，全国铁路运营里程为12.7万公里，其中高速铁路达2.5万公里，预计到2020年将超过3万公里，建成世界上最现代化的铁路网和最发达的高铁网。

基于人工驾驶的列车运行控制系统，简称列控系统，对保障高速铁路的运行安全和运输效率发挥了重要的作用。目前，高速铁路使用的典型列控系统有我国的CTCS-3级列控系统、CTCS-2级列控系统，欧洲的ETCS(欧洲列车运行控制系统)和日本的DS-ATC等。随着列车运行密度的不断加大以及运行速度的提高,人工驾驶列车已经很难满足高速铁路对进一步提高运营效率的需求。因此，提高列车运行自动化程度是大势所趋。

另一方面，在整个轨道交通列车运行控制系统的发展进程中，城市轨道交通已经实现了列车自动驾驶系统(Automatic Train Operation，ATO)，并已大规模投入使用。但是，针对高速铁路自动驾驶系统的研究仍处于起步阶段。相比于城市轨道交通，高速铁路的运行站间距离长，其运行环境更为复杂，线路中存在更多的“特殊点”，如分相区，长大隧道等。

因此，虽然城轨ATO系统在实际应用中得到推广，但如果直接将现有的传统ATO算法引入到高速铁路列车的运行控制，会面临着诸多技术问题：第一，传统ATO算法采用PID(比例-积分-微分控制器，Proportion-Integral-Derivative controller)控制，这样虽能在保证时间准点的条件下精确跟踪目标曲线，但由于跟踪过程中牵引制动工况转换频繁，使得乘客舒适性差、系统能耗大；第二，高速铁路运行环境复杂，高速列车运行过程中运行参数的时变性以及较强的非线性，采用传统基于确定列车模型的驾驶控制方法在长大区间运行过程中累计误差较大，控制精度不高，影响高速列车驾驶控制的准时性；第三，由于现有的ATO算法智能性差，不能在线调整控制策略，当列车在运行途中遇到突发事件需动态调整运行时分时，列车控制模式必须切换为人工驾驶才能保证列车准点运行。因此，亟需一种高速列车智能驾驶控制方法。

发明内容

本发明提供了一种基于历史运行数据的高速列车智能驾驶控制方法，以实现列车的自动驾驶，满足进一步提高运营效率的需求，提高高速铁路运营服务质量。

为了实现上述目的，本发明采取了如下技术方案。

本发明提供了一种基于历史运行数据的高速列车智能控制方法，包括：

S1对列车的运行状态进行属性定义，根据定义的属性对高速列车的历史运行数据进行聚类分析；

S2根据当前列车的运行状态和相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h；

S3根据当前列车的驾驶任务信息，将当前列车的未来站间运行过程转化为马尔科夫决策过程；

S4根据加权欧氏距离从所述数据集C_h搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态；

S5利用蒙特卡洛方法采样得到当前列车未来站间运行全过程的参考运行轨迹，通过强化学习方法对所述的列车未来站间运行全过程的参考运行轨迹进行优化，得到列车智能控制策略；

S6根据所述列车智能控制策略对列车进行智能控制。

优选地，对列车的运行状态进行属性定义，所述的属性包括：列车运行的当前线路信息、车辆特性和实时运行数据。

优选地，根据定义的属性对高速列车的历史运行数据进行聚类分析，包括：根据定义的属性对所述历史运行数据集中的数据进行提取，并根据K-means方法对历史运行数据进行聚类分析，把列车的历史运行数据根据属性的不同划分为不相交的数据类。

优选地，根据当前列车的运行状态和相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h，包括，根据下式(1)的欧氏距离作为相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h：

其中s_i和s_j分别为当前列车运行数据的特征向量和历史列车运行数据的特征向量，s_i,z和s_j,z分别为s_i和s_j的第z维属性，

且i≠j，dist_ed(s_i,s_j)值越小，表示两者间的相似度越高。

优选地，将当前列车的未来站间运行过程转化为马尔科夫决策过程如下式(2)所示：

其中，初始状态为s₀，列车运行末状态为s_N，(s_i,a_i)为状态-动作对，从任意状态s_i开始，通过采取动作a_i得到下一状态s_i+1，a_i∈A，A＝{a₀，a₁，...，a_i，...，a_N-1}。

优选地，根据加权欧氏距离从所述数据集搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态，所述的加权欧氏距离如下式(3)所示：

其中，λ_z≥0且∑λ_z＝1，s_h为列车未来运行的某一片段，与s_h相似度最高的K个历史运行片段为

λ_z表示s_h的第z维属性的权重，s_h,z和s_j,z分别为s_h和s_j的第z维属性。

优选地，根据加权欧氏距离从所述数据集搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态，包括从列车的初始状态s₀开始，顺序搜索，直至列车运行末状态s_N，得到多条站间运行过程轨迹。

优选地，利用蒙特卡洛方法采样得到当前列车未来站间运行全过程的参考运行轨迹，通过强化学习方法对所述的列车未来站间运行全过程的参考运行轨迹进行优化，包括根据下述公式(4)对所述的未来运行轨迹进行优化：

其中，t∈{0,1,2,...,N-1}，R_i表示在状态s_i-1下，采取动作a_i-1得到的奖赏值，其表达式为：

其中，c₁和c₂为常数项；T表示计划运行时分，为已知项；E_i表示第i个运行片段的牵引能耗，T_p表示列车站间实际运行时间，E_i和T_p均可从历史运行数据中获得；参数σ衡量了列车准点目标于节能目标的相对重要性，σ值越大代表越注重列车准时性。

由上述本发明的基于历史运行数据的高速列车智能驾驶控制方法提供的技术方案可以看出，本发明的有益效果如下：

1、不需要精确的列车控制模型，克服了传统的基于确定的列车模型的方法存在的累计误差大和控制精度不高的问题；

2、本发明的方法可以实现列车的自动驾驶，大大降低了工作人员的劳动强度，增强了系统的可靠性，可满足进一步提高运营效率的需求；

3、本发明可以适应不同的运行环境，充分利用了大量列车历史运行数据，对列车运行过程直接通过数据进行建模、利用，提高了算法的鲁棒性；

4、在复杂多变的高速列车运行环境下，本发明的方法具有在途调整运行策略的功能，可保证列车运行的准时性，提高高速铁路的运营服务质量。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于历史运行数据的高速列车智能控制方法流程图；

图2为本发明实施例的一种基于历史运行数据的高速列车智能控制方法原理示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明。

实施例

图1为本发明实施例的一种基于历史运行数据的高速列车智能控制方法流程图，图2为本发明实施例的一种基于历史运行数据的高速列车智能控制方法原理示意图，参照图1和图2，该方法包括：

S1对列车的运行状态进行属性定义，根据定义的属性对高速列车的历史运行数据进行聚类分析。

对历史运行数据集中包含的线路条件和车辆参数相同的历史运行数据分别进行聚类分析，把每一类线路条件和车辆参数相同的历史运行数据根据属性的不同划分为不相交的数据类。

具体地，对历史运行数据集D进行聚类分析，D中包含在线路条件和车辆参数等相同条件下的J条历史运行数据案例，即D＝{x₁,x₂,...,x_J}，每条数据案例x_i＝(x_i,1；x_i,2；...；x_i,n)是一个n维特征向量。聚类分析的结果是把历史运行数据分为不同的运行数据类{C_l|l＝1,2,...,k}，其中

且

示意性地，聚类结果可以为风、雨、雪等不同天气下的运行数据类。根据当前列车的运行状态，即运行时是否为风、雨、雪等不同天气，从历史运行数据中提取出与当前列车的运行类别相同的历史运行案例。

对每个列车运行状态进行属性定义，属性包括：列车运行的当前线路信息、车辆特性和实时运行数据。具体地，每个列车运行状态s_i包括如下属性：列车运行的当前线路信息(如限速信息、线路坡度等)、车辆特性(如最大牵引力、最大制动力和列车质量等)和实时运行数据(如列车速度、加速度等)，即每个列车运行状态s_i如下式(1)所示：

其中，

表示线路限速，g_i表示线路坡度，F_max表示列车最大牵引力，B_max表示列车最大制动力，m表示列车质量，v_i表示列车速度，u_i表示列车加速度。

进一步地，根据定义的属性对所述历史运行数据集中的数据进行提取，并根据K-means方法对历史运行数据进行聚类分析，把列车的历史运行数据根据属性的不同划分为不相交的数据类。

历史运行数据集D中包含在线路条件和车辆参数相同情况下的J条历史运行数据案例，即D＝{x₁,x₂,...,x_J}。其中每条数据案例x_i＝(x_i,1；x_i,2；...；x_i,n)是一个n维特征向量，则聚类分析是把数据集例D划分为k个不相交的数据类{C_l|l＝1,2,...,k}，其中

且

S2根据当前列车的运行状态和相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h。

根据下式(2)的欧氏距离作为相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h：

其中s_i和s_j分别为当前列车运行数据的特征向量和历史列车运行数据的特征向量，s_i,z和s_j,z分别为s_i和s_j的第z维属性，

且i≠j，dist_ed(s_i,s_j)值越小，表示两者间的相似度越高。

因此，可根据上述相似度指标找到与当前列车相似的历史运行数据类C_h，其中h∈{1,2,...,k}。

S3根据当前列车的驾驶任务信息，将当前列车的未来站间运行过程转化为马尔科夫决策过程。

根据马尔科夫决策过程将当前列车的未来站间运行过程转化为马尔科夫决策过程如下式(3)所示：

其中，初始状态为s₀，列车运行末状态为s_N，(s_i,a_i)为状态-动作对，从任意状态s_i开始，通过采取动作a_i得到下一状态s_i+1，a_i∈A，A＝{a₀，a₁，...，a_i，...，a_N-1}。

S4根据加权欧氏距离从所述数据集C_h搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态。

在C_h中搜索与s_i相似度最高的K个历史运行状态

加权欧氏距离如下式(3)所示：

其中，λ_z≥0且∑λ_z＝1，s_h为列车未来运行的某一片段，与s_h相似度最高的K个历史运行片段为

λ_z表示s_h的第z维属性的权重，s_h,z和s_j,z分别为s_h和s_j的第z维属性。

从列车的初始状态s₀开始，顺序搜索，直至列车运行末状态s_N，得到多条站间运行过程轨迹。

S5利用蒙特卡洛方法采样得到当前列车未来站间运行全过程的参考运行轨迹，通过强化学习方法对所述的列车未来站间运行全过程的参考运行轨迹进行优化，得到列车智能控制策略。

在搜索K个相似度最高的历史运行状态

的同时，可以从历史运行数据类C_h中得到相应的状态-动作对，如下式(5)所示：

因此，通过在s_i状态下采取动作

可得到列车的下一运行状态

即得到列车运行轨迹的第i个运行片段。基于以上采样原理，从列车运行初始状态s₀开始，重复上述采样过程，直到达到列车运行末状态s_N，即得到M条列车参考运行轨迹：{τ_I|I＝1,2,...,M}。其中任意一条运行轨迹可表示为下式(6)所示：

τ_I＝{s₀,a₀,s₁,a₁,...,s_N-1,a_N-1,s_N} (5)

通过强化学习方法对所述的参考运行轨迹进行优化，包括根据下述公式(7)对所述的参考运行轨迹进行优化：

其中，G_t为最大化远期得到的累计奖赏值，是强化学习的优化目标；t∈{0,1,2,...,N-1}，R_i表示在状态s_i-1下，采取动作a_i-1得到的奖赏值，其表达式为：

其中，c₁和c₂为常数项；T表示计划运行时分，为已知项；E_i表示第i个运行片段的牵引能耗，T_p表示列车站间实际运行时间，E_i和T_p均可从历史运行数据中获得；参数σ衡量了列车准点目标于节能目标的相对重要性，σ值越大代表越注重列车准时性。

S6根据所述的优化后轨迹中包含的控制变量对列车进行智能控制。

本领域技术人员应能理解，图2仅为简明起见而示出的各类网络元素的数量可能小于一个实际网络中的数量，但这种省略无疑是以不会影响对发明实施例进行清楚、充分的公开为前提的。

综上所述，本发明实施例提供了一种基于历史运行数据的高速列车智能驾驶控制方法，实现了列车的自动驾驶，并且进一步提高了运营效率的需求和高速铁路运营的服务质量。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于历史运行数据的高速列车智能控制方法，其特征在于，包括：

对列车的运行状态进行属性定义，根据定义的属性对高速列车的历史运行数据进行聚类分析，包括：根据定义的属性对所述历史运行数据集中的数据进行提取，并根据K-means方法对历史运行数据进行聚类分析，把列车的历史运行数据根据属性的不同划分为不相交的数据类；

根据当前列车的运行状态和相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h；

根据当前列车的驾驶任务信息，将当前列车的未来站间运行过程转化为马尔科夫决策过程；

根据加权欧氏距离从所述数据集C_h搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态，所述的加权欧氏距离如下式(3)所示：

其中，λ_z≥0且∑λ_z＝1，s_h为列车未来运行的某一片段，与s_h相似度最高的K个历史运行片段为

λ_z表示s_h的第z维属性的权重，s_h,z和s_j,z分别为s_h和s_j的第z维属性；

利用蒙特卡洛方法采样得到当前列车未来站间运行全过程的参考运行轨迹，通过强化学习方法对所述的列车未来站间运行全过程的参考运行轨迹进行优化，得到列车智能控制策略；

根据所述列车智能控制策略对列车进行智能控制。

2.根据权利要求1所述的方法，其特征在于，所述的对列车的运行状态进行属性定义，所述的属性包括：列车运行的当前线路信息、车辆特性和实时运行数据。

3.根据权利要求1所述的方法，其特征在于，所述的根据当前列车的运行状态和相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h，包括，根据下式(1)的欧氏距离作为相似度指标从所述历史运行数据中找出与当前列车站间运行过程相似的数据集C_h：

其中s_i和s_j分别为当前列车运行数据的特征向量和历史列车运行数据的特征向量，s_i,z和s_j,z分别为s_i和s_j的第z维属性，

且i≠j，dist_ed(s_i,s_j)值越小，表示两者间的相似度越高。

4.根据权利要求1所述的方法，其特征在于，所述的将当前列车的未来站间运行过程转化为马尔科夫决策过程如下式(2)所示：

其中，初始状态为s₀，列车运行末状态为s_N，(s_i,a_i)为状态-动作对，从任意状态s_i开始，通过采取动作a_i得到下一状态s_i+1，a_i∈A，A＝{a₀，a₁，...，a_i，...，a_N-1}。

5.根据权利要求1所述的方法，其特征在于，所述的根据加权欧氏距离从所述数据集搜索出与当前列车的未来站间运行过程相似度最高的多个历史运行状态，包括从列车的初始状态s₀开始，顺序搜索，直至列车运行末状态s_N，得到多条站间运行过程轨迹。

6.根据权利要求1所述的方法，其特征在于，所述的利用蒙特卡洛方法采样得到当前列车未来站间运行全过程的参考运行轨迹，通过强化学习方法对所述的列车未来站间运行全过程的参考运行轨迹进行优化，包括根据下述公式（4）对所述的列车未来站间运行全过程的参考运行轨迹进行优化：

其中，t∈{0,1,2,...,N-1}，R_i表示在状态s_i-1下，采取动作a_i-1得到的奖赏值，其表达式为：

其中，c₁和c₂为常数项；T表示计划运行时分，为已知项；E_i表示第i个运行片段的牵引能耗，T_p表示列车站间实际运行时间，E_i和T_p均可从历史运行数据中获得；参数σ衡量了列车准点目标于节能目标的相对重要性，σ值越大代表越注重列车准时性。

Images