CN106844947B

CN106844947B - 一种基于高阶相关学习的机车节能优化自动驾驶方法

Info

Publication number: CN106844947B
Application number: CN201710038010.8A
Authority: CN
Inventors: 卢莎; 黄晋; 高跃; 夏雅楠; 杨英; 赵曦滨; 顾明
Original assignee: Tsinghua University; CRRC Dalian Institute Co Ltd; CRRC Information Technology Co Ltd
Current assignee: Tsinghua University; CRRC Dalian Institute Co Ltd; CRRC Information Technology Co Ltd
Priority date: 2017-01-18
Filing date: 2017-01-18
Publication date: 2019-11-26
Anticipated expiration: 2037-01-18
Also published as: CN106844947A

Abstract

本发明提供了一种基于高阶相关学习的机车节能优化自动驾驶方法，本发明首先对司机的实际驾驶数据进行经验梳理以及预处理，然后构建一个特征组来描述机车的驾驶状态，再基于由构建的特征组描述的司机实际驾驶数据作为训练数据构建超图，并通过归纳学习过程获取超图模型，所构建的超图模型可用于实时生成驾驶操作，最后通过不断的强化更新，即通过迭代训练的方式使得通过学习获得的超图模型更加准确。由于超图模型的训练不受到时间因素的限制，因此超图模型的学习拥有更好的优化空间，且机车运行过程中应用超图模型获取机车运行操纵档位时能够取得较好的节能效果。同时，将机车在线操纵运行结果作为数据输入，使得超图模型能够不断进行调整和优化。

Description

一种基于高阶相关学习的机车节能优化自动驾驶方法

技术领域

本发明涉及机车运行优化操纵技术，尤其涉及一种基于高阶相关学习的机车节能优化自动驾驶方法。

背景技术

铁路机车运行控制是一个典型的多目标、多约束、非线性的复杂实时变化过程。因此针对铁路机车的运行操纵问题是一个非线性有约束的动态优化问题。

现有工程领域应用中，复杂操纵序列优化的解决方案主要有数值搜索，解析求解和启发式策略设计三大类。

上述数值搜索方法即通过数值搜索算法对操纵序列进行寻优搜索从而得到优化的操纵序列。常见的算法有遗传算法、群搜索算法、动态规划等，这种方式耗时长，且短时间内无法收敛到最优结果，不适合在线控制系统优化。

上述解析求解方法即基于领域知识对操纵控制过程中不同状况下的关键转换点根据解析公式求解来得到最终的优化操纵序列。这种方式主要缺陷是转换点的解析公式推导过程复杂，较难处理多约束条件。

上述启发式策略设计即考虑诸多复杂因素，人工通过现有领域的一些操纵规范等启发式的进行策略设计。该种方式过多的引入人工的分析与设计，极大的降低了策略设计的效率，同时由于人思考范围有限，无法覆盖所有可能的情况，这势必会导致部分优化解遗漏。

通过上述分析可以看出，上述几种解决方案较难同时满足复杂操纵序列优化问题对计算效率和优化效果的需求。

发明内容

本发明的目的是提供一种基于高阶相关学习的机车节能优化自动驾驶方法，以便获得更好地控制和节能效果。

本发明通过如下技术方案实现：

一种基于高阶相关学习的机车节能优化自动驾驶方法，其特征在于，所述的方法包括：

步骤1)、获取司机对机车的实际驾驶数据和运行数据，并对实际驾驶数据和运行数据进行预处理；

步骤2)、确定影响机车油耗的因素，基于各因素的重要性提取与机车运行相关的特征组；

步骤3)、基于由构建的特征组描述的司机实际驾驶数据作为训练数据构建超图，并基于构建的超图训练学习模型，在训练过程中对训练数据进行标准化，调整所述特征组中至少部分特征的参数，同时通过迭代更新的方式训练学习模型；

步骤4)、将当前运行状态下的由特征组描述的机车数据输入训练好的学习模型，基于所述学习模型获得相应驾驶策略。

在一种优选实现方式中，所述预处理包括将机车运行数据中的坡度值进行分类合并。

在另一种优选实现方式中，影响机车油耗的因素至少包括：机车属性、线路特征和机车运行信息。

在一种优选实现方式中，所构建的超图定义为g＝(V,ε,w)，其中V是超图中顶点的集合，ε是超图中边的集合，w是超图中所有边的权重的集合，

构建超图的过程包括：将每一条训练数据视为一个顶点，通过对所有的训练数据进行聚类，每一个聚类为一条边。

在一种优选实现方式中，所述方法还包括，将超图表示成|V|×|ε|的关联矩阵。

在一种优选实现方式中，所述方法还包括，基于超图获得用于区别不同分类的学习投影矩阵M，所述学习投影矩阵M的代价函数包括以下三部分：超图拉普拉斯正则化Ω(M)、经验损失R_emp(M)以及投影矩阵的正则化φ(M)。

在一种优选实现方式中，所述方法还包括对所述超图模型进行强化更新，所述强化更新过程包括：

3-1、通过归纳学习方法，获得学习投影矩阵M；

3-2、获取选择的n_t条测试线路的仿真结果；

3-3、按评价标准对总共的n_r+n_t条线路进行排序，其中，n_r，T_i，E_i，W_i分别为用于提取训练数据的线路的数量、线路i的运行时间、油耗以及车重；

3-4、若收敛或者达到最大的迭代次数则退出，否则进入步骤3-5，

3-5、选择所述步骤3-3的排序结果中的前n_r条线路获取n_s个训练数据，进行预处理，然后返回步骤3-1)。

需要说明的是，在本发明中，每一条数据都是由特征组来描述的，比如在实例中一个特征组包括59维特征，那么每一条训练数据都是一组59维的特征数据组成，而一条训练数据就是超图中的一个点。而每一条线路都是由很多点组成。

在另一种优选实现方式中，所述超图的构建过程包括：

1)将超图的表达式定义为g＝(V,ε,w)，其中V是超图中顶点的集合，ε是超图中边的集合，w是超图中所有边的权重的集合，超图中每一条边e可和任意多个点相连，超图中每条边e都设置了权重w(e)；

2)、将超图表示为一个|V|×|ε|的关联矩阵，矩阵中每一个条目可定义如下：

对于每一个顶点v∈V，该顶点的度可定义如下：

d(v)＝∑_e∈εw(e)h(v,e)

对于每一条边e∈ε，该边的度可定义如下：

δ(e)＝∑_v∈Vh(v,e)

D_v和D_e分别为表示超图中顶点的度和边的度的对角矩阵，W为表示超图中各个边的权重的对角矩阵；

3)、将每一条训练数据视为一个顶点，通过对所有的训练数据进行聚类，每一个聚类即为一条边；

4)、在构建好超图之后，构建学习投影矩阵M，学习投影矩阵M的代价函数包括以下部分：超图拉普拉斯正则化Ω(M)、经验损失R_emp(M)，以及投影矩阵的正则化φ(M)：

Ψ＝{Ω(M)+λR_emp(M)+μφ(M)}

其中，λ和μ分别是R_emp(M)和正则化φ(M)的系数。

其中超图的拉普拉斯正则化为：

其中k是从1到c的临时变量，c的取值范围为1-17(档位的个数)，u,v表示超图中的点，e表示超图中的边，X表示由所有训练数据构成的矩阵，T是矩阵运算中的矩阵转置的符号。

经验损失定义如下：

R_emp(M)＝||X^TM-Y||

φ(M)是一个l₂范数正则式，其定义如下：

φ(M)＝||M||²

5)、利用所述学习投影矩阵M进行归纳学习，学习任务表示为argmin_M{Ω(M)+λR_emp(M)+μφ(M)}；

6)求解获得所述学习投影矩阵M＝λ(XΔX^T+λXX^T+μI)^-1XY。

7)得到投影矩阵后，利用当前运行状态下的特征组作为一个输入x，按照公式argmax x^TM可获得当前运行状态下的建议档位。

有益效果

本发明将超图模型引入到机车的控制系统中，离线训练学习模型的过程不受时间因素的限制，因此从铁路机车运行时间以及能耗角度具有更好的优化空间，且铁路机车运行过程中应用离线训练的学习模型获取铁路机车运行操纵档位时能够取得很好的节能效果。利用本发明的方法，可以更加准确地获得所需要的建议档位。

附图说明

图1表示在预处理阶段对坡度进行分类的坡度分类表；

图2表示所提取出的59维特征组图；

图3表示超图构建过程示意图；

图4表示牵引特性曲线和制动特性曲线；

图5表示超图预测结果和司机实际驾驶数据对比图。

具体实施方式

以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。

为使本发明更为清晰，下面对本发明进行详细的说明。

本发明第一实施例提供一种基于高阶相关学习的机车节能优化自动驾驶方法，其处理过程包括：

1.司机驾驶经验梳理及预处理。

机车驾驶的优化问题可视为一个常见的以离散的档位作为输出并需考虑机车属性，运行状态，线路属性等因素的优化问题。司机驾驶时所作的加档或减档操作的决定都是基于有经验的司机给予的指导或自身的驾驶经验。整个驾驶过程中每一个操作都会对总油耗以及花费的总时间产生影响。因此本发明分析大量的司机驾驶实际运行数据，从司机驾驶操作中发现一般化的模式。司机实际驾驶数据中隐藏的模式对于发现一个优化较好的驾驶方案能提供很重要的线索。因此本发明从有经验的司机的驾驶数据中学习较好的驾驶方案。

为了避免在上坡或下坡段出现过多的零碎档位，本发明在预处理阶段将坡度值进行分类合并，分类合并的标准如图1所示，并在新合并的坡度段上进行接下来的操作。

2.构建特征组。

通过分析实际运行数据可知，影响机车油耗的因素主要有机车属性、线路特征、运行信息、机车运行状态、人为因素以及其他一些干扰因素。根据以上因素构建特征组，图2给出其中一个实例，该特征组内的特征可以分为以下三类：机车属性，线路属性和运行信息。其中，机车属性包括车重、车长、重车数量和空车数量等四个特征；线路属性包括当前线路的坡度信息、限速信息以及前后两端线路的坡度信息和前后三段线路的限速信息等36个特征；运行信息包括当前公里标、当前速度、上一个档位等19个特征。因为最终运行操纵的预测是基于所给出的特征值进行的，因此所构建的特征组对于最终的训练得到的学习模型的预测性能有很大的影响。

3.构建超图，训练模型。

为了更好地从训练数据中学习出高阶关系，本发明提出根据实际运行数据构建超图，并基于构建的超图训练学习模型。

其中超图的构建过程如下：

超图即图中每一条边可和任意多个点相连，下面给出超图的一个初步定义，其中V是超图中顶点的集合，ε是超图中边的集合，w是超图中所有边的权重的集合。超图中每条边e都设置了权重w(e)。因此超图可表示为一个|V|×|ε|的关联矩阵，矩阵中每一个条目可定义如下：

对于每一个顶点v∈V，该顶点的度可定义如下：

d(v)＝∑_e∈εw(e)h(v,e)

对于每一条边e∈ε，该边的度可定义如下：

δ(e)＝∑_v∈vh(v,e)

D_v和D_e分别为表示超图中顶点的度和边的度的对角矩阵，W为表示超图中各个边的权重的对角矩阵。

在构建过程中将每一条训练数据视为一个顶点，通过对所有的训练数据进行聚类，每一个聚类即为一条边。具体聚类的方式如下，每次选一个点作为中心点，其本身与前n个距离最近的点构成一个聚类，即这些点由一条边相连，在本专利给出的实例中n选择为5。如图3给出了超图构建过程示意图。基于构建的超图，相应的关联矩阵H，表示超图的边的度的对角矩阵D_e以及表示超图的顶点的度的对角矩阵D_v都可相应的获得。

在构建好超图之后，通过基于超图的归纳学习过程以得出一个规范化的投影来区别不同的分类。学习投影矩阵M的代价函数包括以下三部分：超图拉普拉斯正则化Ω(M)，经验损失R_emp(M)，以及投影矩阵的正则化φ(M)：

Ψ＝{Ω(M)+λR_emp(M)+μφ(M)}

其中，λ和μ分别是公式中的系数，超图的拉普拉斯正则化是基于如下假设：强关联的顶点属于相似的类别，超图的拉普拉斯正则化如下：

经验损失定义如下：

R_emp(M)＝||X^TM-Y||

φ(M)是一个l₂范数正则式，主要用于避免M过度拟合，其定义如下：

φ(M)＝||M||²

基于超图的归纳学习任务可描述如下：

argmin_M{Ω(M)+λR_emp(M)+μφ(M)}

为了完成上述学习任务，我们对M进行求导，如下所示：

因此可得：

M＝λ(XΔX^T+λXX^T+μI)^-1XY

对于每一个需要进行预测的数据x，对于x的预测操作可以通过如下定义获取：

argmax_k x^TM

因此训练好超图模型后，即可为机车的实时驾驶生成实时的运行操纵档位。

4.调整以及高阶关系强化更新

在模型的训练过程中，本发明对构建的特征组中的特征进行了标准化。为了提高聚类的性能，特定参数比如上述公式中的λ也都针对特定的环境进行了调整。在训练和仿真的过程中也需调整主要特征的权重，比如车重，车长，限速等。同时，还需对一些跟安全相关的因素进行实现和调整。比如整个行驶过程中速度不能超过限速等。

由步骤3训练得出的超图模型可得出一个高于平均水平的运行方案。为了提高超图模型的质量，本发明提出通过强化更新的方式提高超图模型的质量。强化更新的算法如下算法1所示。在模型更新的代价中同时考虑了油耗以及花费的时间。

5.设置实验环境进行实验

本发明选用的进行实验的机车一共有17个档位，1～8档和-1～-8档以及0档。机车的功率特性曲线如图4所示，左侧为牵引力的功率特性曲线，右侧为制动力的功率特性曲线。

可选择不同车重范围内的训练数据来训练不同的超图模型以提高预测的准确率，在本发明所给出的实例中将上千条线路按照油耗和车重的比值进行排序，选择车重范围在3000吨到4000吨的前400条最好的数据进行训练。基于这400条线路通过预处理得到23499个训练数据，每个训练数据都有59维特征。参数λ通过测试结果分析对比，设置为0.1最佳。并对所有的数据进行归一化。在本发明给出的实例中选用两个车站总共15.85km的距离作为测试线路距离。通过对比训练数据和测试数据的平均油耗结果可知，由本发明提出的方法的平均油耗为159.95kg，由有经验的司机驾驶的平均油耗为160.68，对比降低了0.46％。由此可知本发明提出的方法在节能方面的效果跟提供的好的训练数据一样甚至更节能。选择的训练数据比所有司机的平均油耗要少7.7％，因此可知提出的方法在节能方面比所有司机的平均油耗要少8.16％。图5给出了由训练的模型得到的速度曲线和档位与司机实际驾驶的速度曲线和档位的对比图。之后根据步骤4中提出的算法1进行强化训练过程。通过10次迭代之后，平均油耗下降9.86％。因此也说明了本发明提出的方法的有效性。

以上所述仅为本发明的较佳实施例，并非对本发明做任何形式上的限制，凡在本发明的精神和原则之内，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明的保护范围之内。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims

1.一种基于高阶相关学习的机车节能优化自动驾驶方法，其特征在于，所述的方法包括：

所构建的超图定义为其中V是超图中顶点的集合，ε是超图中边的集合，w是超图中所有边的权重的集合，

构建超图的过程包括：将每一条训练数据视为一个顶点，通过对所有的训练数据进行聚类，每一个聚类为一条边；将超图表示成|V|×|ε|的关联矩阵；

基于超图获得用于区别不同分类的学习投影矩阵M，所述学习投影矩阵M的代价函数包括以下三部分：超图拉普拉斯正则化Ω(M)、经验损失R_emp(M)以及投影矩阵的正则化φ(M)；

2.根据权利要求1所述的基于高阶相关学习的机车节能优化自动驾驶方法，其特征在于，所述预处理包括将机车运行数据中的坡度值进行分类合并。

3.根据权利要求1所述的基于高阶相关学习的机车节能优化自动驾驶方法，其特征在于，影响机车油耗的因素至少包括：机车属性、线路特征和机车运行信息。