CN115512460A - 一种基于图注意力模型的高速列车轴温长时预测方法 - Google Patents
一种基于图注意力模型的高速列车轴温长时预测方法 Download PDFInfo
- Publication number
- CN115512460A CN115512460A CN202211212174.5A CN202211212174A CN115512460A CN 115512460 A CN115512460 A CN 115512460A CN 202211212174 A CN202211212174 A CN 202211212174A CN 115512460 A CN115512460 A CN 115512460A
- Authority
- CN
- China
- Prior art keywords
- model
- time
- grgat
- train
- axle temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 17
- 230000007774 longterm Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 101001014572 Homo sapiens MARCKS-related protein Proteins 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 102100032514 MARCKS-related protein Human genes 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 102100028187 ATP-binding cassette sub-family C member 6 Human genes 0.000 claims description 4
- 101000986621 Homo sapiens ATP-binding cassette sub-family C member 6 Proteins 0.000 claims description 4
- 102100028162 ATP-binding cassette sub-family C member 3 Human genes 0.000 claims description 3
- 101000986633 Homo sapiens ATP-binding cassette sub-family C member 3 Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000000737 periodic effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/006—Indicating maintenance
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了属于数据挖掘技术领域的一种基于图注意力模型的高速列车轴温长时预测方法，该方法首先从高速列车的转向架上采集传感器数据，使用嵌入式架构融合GAT模型和门限循环GRU模型构建GRGAT框架，用于对时空预测进行聚合；使用图注意力网络GAT模型和生成对抗网络GAN模型，分析列车运行周期性变化的特点，使用GAN网络构建时间条件序列对历史轴温信息进行融合，得到高速列车轴温长时预测的GA‑GRGAT模型，实验结果显示，本发明在进行长时预测时，在两个数据集上的准确度均高于80％以上，可以满足高精度、长时间的轴温预测需求。
Description
技术领域
本发明属于数据挖掘技术领域，特别涉及一种基于图注意力模型的高速列车 轴温长时预测方法。
背景技术
目前绝大多数关于轴温进行预测的模型都是短时预测模型，虽然能够取得不 错的效果，但是受限于预测模型感知范围，一般仅预测1小时之内的轴温变化情 况。这对于处理列车紧急故障而言已经有足够的时间，但是对于超过1天的列车 长时轴温预测没有过多的研究。
实际上，长时轴温预测在列车状态评估和日常维护中具有十分重要的作用。 例如，列车转向架作为机械部件，随着列车的运行，转向架也在不断地磨损。如 果可以提前预测转向架运行1天甚至是1周的状态变化情况，可以帮助列车管理 与维护人员提前对可能出现故障的部件进行检修和维护。此外，随着我国高速铁 路的发展，长时列车逐渐普遍。在高速列车实际开行计划中，有超过15h运行的 高速列车，而如何对长时轴温数据进行合理建模是一个亟待解决的难题。
随着移动互联网的发展和车载设备的更新迭代，轴温检测不再局限于人工巡 检方式，以传感器检测系统和大数据平台为依托的实时检测技术逐渐成为主流的 轴温检测手段。与此同时，列车运行信息也有了爆炸式增长。海量的列车实时检 测数据为轴温预测的研究提供了坚实的数据基础。受益于列车轴温数据的扩增， 基于数据驱动的机器学习模型可以更加有效地挖掘列车轴温数据中隐含的时间 特征和空间特征，在处理系统级别的轴温数据时，显示出比仿真等传统方法更强 大的潜力。
发明内容
本发明的目的是提出一种基于图注意力模型的高速列车轴温长时预测方法， 其特征在于，包括以下步骤：
步骤1、从高速列车的转向架上采集传感器数据，对传感器数据进行清洗、 去噪处理，使用皮尔森相关系数对转向架上的传感器进行特征筛选，得到与轴温 变化最相关的传感器数据；
步骤2、构建轴温信息图结构；
步骤3、获取步骤1的时间序列数据和步骤2的图结构，使用GRU(门限循 环单元)模型有效提取高速列车轴温的时序特征，使用GAT(图注意力网络)模 型有效提取列车转向架图结构的空间特征；结合GRU模型和GAT模型，使用GAT 单元代替GRU内部原有的线性连接层，从而构建可以融合列车轴温的时空信息的 GRGAT单元；
步骤4、基于生成对抗网络构建生成器和判别器，其中生成器和判别器都包 括了编码操作和解码操作；
步骤5、基于生产对抗网络和GRGAT单元构建高速列车轴温长时预测 GA-GRGAT模型；并基于Pytorch深度学习框架融合列车轴温的时空信息的GRGAT 单元的GA-GRGAT模型训练；
步骤6：使用高速列车真实在途运行数据带入GA-GRGAT模型，得到轴温的长 时预测值。
所述步骤2中图结构定义如下所示：
其中Graph代表一个网络，V是网络中的一组顶点，E是网络Graph中的一组 边，并且eij表示从节点vi到vj的方向；此外，W是网络Graph中的一组权重，wij表 示从节点vi到vj的权重。
所述步骤3具体按以下步骤实施：
步骤31，将t时刻的轴温数据输入Xt和t-1时刻的隐藏层输出ht-1横向拼接得 到更新门Zt＝[ht-1||Xt]，将GRU模型原有的线性重置门rt和更新门zt使用两个不同 的K层GAT网络替代；具体公式如下所示：
rt＝σ(GATr K(Zt))
zt＝σ(GATz K(Zt))
其中
σ(·)为sigmoid激活函数；
步骤,32：将t-1时刻的隐藏层输出ht-1与t时刻的重置门rt相乘，然后和t时刻 的轴温数据Xt输入，横向拼接得到Z′t＝[rt*ht-1||Xt]，将GRU模型原有的线性单元 GATx K使用一个K层GAT网络替代，从而计算t时刻的隐藏层ht输出；公式如下所 示：
ht＝(1-zt)⊙ht-1+zt⊙(tanh(σ(GATx K(Z′t))))。
所述步骤3中GAT模型，定义t时刻输入GAT模型的列车轴温数据为
列车转向架图结构的邻接矩阵A∈Rn×n，n为列车转向架图结构的顶点数量，p为 输入列车轴温属性的维度，
为可学习参数，q为输出的列车轴温的特征维 度，节点i的重构向量
如下所示
其中，LeakyReLU(wT[Wxi||Wxj])为激活函数，exp(LeakyReLU(wT[Wxi||Wxj])) 为指数操作，时刻i和时刻j的轴温为xi和xj，节点i和节点j的一阶领域为
和 
学习参数为W，训练参数为w。
所述步骤4具体按以下步骤实施：
步骤41，生成器构建
(1)编码器输入阶段，在该阶段首先将t时刻输入的列车转向架时序特征Ct， 通过fMLP映射为C′t∈Rn×1，然后将列车轴温数据Xt和时序特征C′t进行拼接，拼接的 结果作为GRGAT单元的输入；
(2)解码器生成阶段，首先将Ct按照Step 1的方法通过fMLP映射为C′t∈Rn×1， 然后将t-1时刻由Step 1输出的数据
和C′t进行拼接，拼接的结果作为GRGAT 单元的输入，经过循环收敛之后得到隐藏矩阵ht和输出矩阵yt。其中，需要在解 码器阶段使用注意力机制，使用注意力单元Att将yt映射为
步骤42，判别器构建
(1)t时刻输入的时序特征Ct，通过fMLP1映射为C′t∈Rn×1。映射向量C′t与温 度信息Xt进行拼接，输入GRGAT单元进行循环，迭代之后得到隐藏矩阵 H＝(h1,h2,...,hl+r)和输出矩阵Y＝(y1,y2,...,yl+r)；
(2)将yt映射为t时刻带有自注意力机制的映射向量；
(3)fMLP2将
映射为真实数据的概率P。
所述步骤6具体按以下步骤实施：
步骤61，生成器生成序列
在t时刻编码器(Encoder)的轴温数据Xt为输入和时序特征Ct，经过l步循 环迭代之后，得到Z和HE，在解码器(Decoder)的输入数据为上一时刻的
和 Ct，计算得到
再经过r步循环迭代之后得到
步骤62，判别器判别真伪
样本数据包含两个部分，分别是序列数据和标签数据。前者的长度为l+r， 包括Xt和Ct；后者为0或者1；
步骤63，对抗训练
对生成器G和判别器D进行初始化得到G0和D0，具体步骤如下所示：
(1)G0不变，优化D0得到D1，优化方法为梯度下降算法；
(2)D1不变，优化G0得到G1，优化方法与第一步相似；
(3)在模型收敛之前重复上述两个步骤对G和D进行优化，最终得到最佳 的G*和D*，其中，G*即为预测阶段使用的生成器。
所述步骤5基于Pytorch深度学习框架融合列车轴温的时空信息的GRGAT单 元的GA-GRGAT模型训练；GA-GRGAT模型的训练算法伪代码如下所示：
本发明的有益效果是本发明选取轴温作为轴承状态监测特征，将图结构引入 到高速列车轴温预测的场景中，形成轴温网络。基于轴温网络，使用嵌入式架构 融合图注意力网络GAT模型和门限循环单元GRU模型构建了GRGAT框架，其中GAT 模型较图卷积神经网络GCN模型而言，使用注意力机制针对不同的邻居学习不同 的权重，有效解决了图中的动态卷积操作；然后使用生成对抗网络GAN模型构建 时间时序特征，对历史列车轴温信息进行融合，从而提高GA-GRGAT模型的长时 预测准确度；本发明的轴温长时预测可以为列车日常维护和状态提供决策依据。
附图说明
图1动力转向架单轴温度传感器分布情况。
图2网络结构构造流程
图3 GRGAT单元的结构。。
图4 GA-GRGAT结构图。
图5数据集v1上不同时刻的24小时温度预测。
图6数据集v2上不同时刻的24小时温度预测。
图7高速列车轴温长时预测流程图。
具体实施方式
本发明提出一种基于图注意力模型的高速列车轴温长时预测方法，高速列车 轴温监测系统采用在转向架上电机、齿轮箱、轴箱等关键部件中轴承位置附近安 装温度传感器的方式来实现对轴承温度的实时采集监测功能。每个转向架配置有 两根轴，这两根车轴及其包括电机、轴箱、齿轮箱的关联结构是对称分布的，每 根轴对应有9个测点，如图1中标号①-⑨所示：
①：齿轮箱附近车轴测点 ②：车轮侧大齿轮箱测点 ③：车轮侧小齿轮箱测点
④：电机侧大齿轮箱测点 ⑤：电机侧小齿轮箱测点 ⑥：电机驱动端测点
⑦：电机定子测点 ⑧：电机非驱动端测点 ⑨：电机附近车轴测点
即每个转向架共装有18个温度传感器。下面结合附图对本发明予以进一步说明。本发明方法包括以下步骤(如图7所示)：
步骤1、从高速列车的转向架上采集传感器数据，对传感器数据进行清洗、 去噪处理，使用皮尔森相关系数对转向架上的传感器进行特征筛选，得到与轴温 变化最相关的传感器数据；
步骤2、构建轴温信息图结构；
步骤3、获取步骤1的时间序列数据和步骤2的图结构，使用GRU(门限循 环单元)模型有效提取高速列车轴温的时序特征，使用GAT(图注意力网络)模 型有效提取列车转向架图结构的空间特征；结合GRU模型和GAT模型，使用GAT 单元代替GRU内部原有的线性连接层，从而构建可以融合列车轴温的时空信息的 GRGAT单元；
步骤4、基于生成对抗网络构建生成器和判别器，其中生成器和判别器都包 括了编码操作和解码操作；
步骤5、基于生产对抗网络和GRGAT单元构建高速列车轴温长时预测 GA-GRGAT模型；并基于Pytorch深度学习框架融合列车轴温的时空信息的GRGAT 单元的GA-GRGAT模型训练；
步骤6：使用高速列车真实在途运行数据带入GA-GRGAT模型，得到轴温的长 时预测值。
具体说明如下：
(1)构建轴温信息图结构
图1展示了高速列车动力型车厢底部转向架的基本结构以及对应的温度传 感器安装布置情况。
本发明规定车辆数据检测点表示为高速列车图结构的顶点(如图1中标号① -⑨所示)，检测点之间的关系为图的边，检测点之间的相关系数为图结构边的权 重。另外，检测点之间的因果关系是图结构的边的方向。高速列车图结构定义如 下所示：
其中Graph代表一个网络，V是网络中的一组顶点，E是Graph中的一组边， 并且eij表示从节点vi到vj的方向。此外，W是Graph中的一组权重，wij表示从节 点vi到vj的权重。
由于列车转向架各个测点的空间相关性，可以根据转向架各个测点的实际结 构构造二维网络，作为后续的输入。我们将每个测点看作网络的顶点，将转向架 上各测点的实际连接关系抽象成网络的边，按照灰色-格兰杰构造(Gray– Granger Causality，即GGC)方法构造传感器数据网络。构造流程如图2所示。
(2)GAT模型架构
定义t时刻输入GAT模型的列车轴温数据为
列车转向架图结构的邻 接矩阵A∈Rn×n，n为列车转向架图结构的顶点数量，p为输入列车轴温属性的维 度，
为可学习参数，q为输出的列车轴温的特征维度，节点i的重构向量 
如下所示：
本发明选择GRU模型(门限循环单元)，有效提取高速列车轴温的时序特征， 使用GAT模型有效提取列车转向架图结构的空间特征。结合GRU模型和GAT模型， 使用GAT单元代替GRU内部原有的线性连接层，从而构建可以融合列车轴温的时 空信息的GRGAT框架。规定GRGAT框架中的重置门rt表示为GATr K，更新门zt表示 为GATz K，与横向X拼接后的线性单元GATx K，同时隐藏层单元数量为c。GRGAT 单元结构如图3所示。
GRGAT单元的计算过程如下所示：
步骤3-1：将t时刻的轴温数据Xt输入和t-1时刻的隐藏层ht-1为输出，横向拼 接得到Zt＝[ht-1||Xt]，将GRU模型原有的线性重置门rt和更新门zt使用两个不同的K层GAT网络替代，具体公式如下所示：
rt＝σ(GATr K(Zt))
zt＝σ(GATz K(Zt))
其中
σ(i)为sigmoid激活函数。
步骤3-2：将t-1时刻的隐藏层输出ht-1与t时刻的重置门rt相乘，然后和t时 刻的输入Xt横向拼接得到Z′t＝[rt*ht-1||Xt]，将GRU模型原有的线性单元GATx K使用 一个K层GAT网络替代，从而计算t时刻的输出ht，公式如下所示：
ht＝(1-zt)⊙ht-1+zt⊙(tanh(σ(GATxK(Z′t))))
(3)生成对抗网络构建
GAN主要由生成器和判别器组成。本发明生成器和判别器的构建，为后续 GA-GRGAT模型奠定了基础。生成器和判别器都包括了编码器(Encoder)和解码 器(Decoder)，具体过程如下所示：
步骤一：生成器构建
步骤1-1：编码器输入阶段
在该阶段首先将t时刻输入的Ct(列车转向架时序特征)通过fMLP映射为 C′t∈Rn ×1，然后将列车轴温数据Xt和C′t进行拼接，拼接的结果作为GRGAT单元的 输入，具体公式如下所示：
(Z,HE)＝GRGAT(l)(Xt||fMLP(Ct)；A)
其中GRGAT(l)表示将GRGAT单元循环迭代了l次，Z为隐藏矩阵，HE为隐藏 序列。
步骤1-2：解码器生成阶段
首先将Ct按照Step 1的方法通过fMLP映射为C′t∈Rn×1，然后将t-1时刻由Step 1输出的数据
和C′t进行拼接，拼接的结果作为GRGAT单元的输入，经过循环收 敛之后得到隐藏矩阵ht和输出矩阵yt。其中，需要在解码器阶段使用注意力机制， 使用注意力单元Att将yt映射为
具体的计算公式如下所示：
步骤二：判别器构建
在该模型中，高速列车转向架时序特征C＝(C1,C2,...,Cl+r)和状态序列 X＝(X1,X2,...,Xl)是G的输入数据；高速列车轴温预测序列
是G的输 出数据。生成序列定义为XG，真实序列定义为XR，对应的时序特征为C，没有 对应关系的时序特征为
则XG与XR的定义如下所示：
XR＝(X1,X2,…,Xl,Xl+1,…,Xl+r)
样本分为两类真实样本XReal和假样本XFake。XR和C作为XReal的输入特征，若 标签是1，则XReal为真。XReal的定义如下所示：
XReal＝{X＝XR&C；Y＝1}
假样本可以进一步划分为两类，第一类的输入特征是XG和C，第二类的输 入特征是XR和
两类假样本的输出结果(标签)均为0。假样本XFake的定义如 下所示：
温度时空数据XR与XG，时序特征C与
作为判别器M的输入序列数据， 能够使用GRGAT框架捕捉序列时空特征。为了进一步加强时空序列的特征融合能 力，在判别器中加入了Self-Attention模块。
综上，判别器M的计算过程如下所示：
Step 1：t时刻输入的时序特征Ct，通过fMLP1映射为C′t∈Rn×1。映射向量C′t与 温度信息Xt进行拼接，输入GRGAT单元进行循环。迭代之后得到隐藏矩阵 H＝(h1,h2,...,hl+r)和输出矩阵Y＝(y1,y2,...,yl+r)，计算公式如下所示：
(H,Y)＝GRGAT(l+r)(Xt||fMLP1(Ct)；A)
Step 2：Self-Attention将yt映射为
具体如下所示：
其中
表示在t时刻带有自注意力机制的映射向量，H表示计算注意力系数。
Step 3：fMLP2将
映射为真实数据的概率P，如下所示：
(4)GA-GRGAT长时预测模型
GA-GRGAT模型分为生成器G和判别器M两个部分，具体计算步骤如下所示：
步骤一：生成器生成序列
在t时刻译码器(Encoder)的输入数据为Xt和Ct，经过l步循环迭代之后， 得到Z和HE。Z的作用是使解码器初始化隐藏状态。在t时刻M的输入数据为上 一时刻的
和Ct，引入ATT(注意力机制)，计算得到
再经过r步循环迭代之 后得到
步骤二：判别器判别真伪
样本数据包含两个部分，分别是序列数据和标签数据。前者的长度为l+r， 包括Xt和Ct；后者为0或者1。在t时刻，判别器M的输入数据Xt和Ct，经过l+r 次循环之后，结合Self-Attention和MLP计算，得到判别数据P∈[0,1]。
步骤三：对抗训练
对生成器G和判别器D进行初始化得到G0和D0，具体步骤如下所示：
1)G0不变，优化D0得到D1，优化方法为梯度下降算法；
2)D1不变，优化G0得到G1，优化方法与第一步相似；
3)在模型收敛之前重复上述两个步骤对G和D进行优化，最终得到最佳的G*和D*，其中，G*即为预测阶段使用的生成器。
GA-GRGAT模型总体架构如图4所示。GA-GRGAT模型的构建和训练基于 Pytorch深度学习框架。则GA-GRGAT模型的训练算法伪代码如下所示：
(5)进一步说明本发明的有效性，本发明实验中使用的数据均来自高 速列车实际运行产生的状态监测数据，为了考虑外界温度对列车轴温序列 的影响，选择春天(日平均温度15℃)和夏天(日平均温度30℃)两个数 据集，数据集的时间范围分别为2019年3月15日至2019年4月15日和2019 年7月15日至2019年8月15日，具体划分日期和数据集大小如表1所示。
表1 GA-GRGAT数据集说明
如表1所示，将每个数据集按照训练集、测试集和验证集进行划分，划 分比例约为4:1:1(训练集22天，测试集5天，验证集5天)。规定输入序 列长度为l，输出序列长度为r，传感器数量为18，t时刻条件特征Ct是由5 个one-hot向量拼接而成的37维向量。
此外，考虑到长时列车轴温预测的实时性要求较低，GA-GRGAT模型训 练速度慢，本发明对列车轴温序列进行整时刻切分，采样的时间间隔为 5min，将样本集大小缩减到原来的1/12。数据示例如表2所示。
表2数据示例
1)评价标准
GA-GRGAT模型使用四种评价指标，分别是平均绝对误差(Mean Absolute Error，MAE)、均方根误差(Root Mean Square Error，RMSE)、平均绝对百 分比误差(MeanAbsolute Percentage Error，MAPE)和需求预测准确度 (Forecast Accuracy，Accuracy)作为评价指标。其中MAE直接表示绝对 误差大小；RMSE反映偏差分布的离散情况；MAPE为无量纲评价指标，反映 模型预测值的偏离程度和可信度；Accuracy指的是预测准确率(Forecast Accuracy)，一般使用1-MAPE的值表示。具体公式如下所示：
式中，s表示样本集内的样本个数，n表示轴温网络中监测点数量，
表示 预测值，yij表示真实值，
表示预测值的平均值，
表示真实值的平均 值。
2)实验环境
GA-GRGAT模型及其对比方法进行高速列车轴温长时预测的实验环境如 表3所示。其中，GA-GRGAT模型及其对比方法均使用Python语言实现，本 发明使用的深度学习架构均为PyTorch库。GA-GRGAT模型的训练主要在GPU 上进行。
表3实验环境说明
3)实验结果分析
本发明采用GRU、GOAMLP、DCNN、SVR、HA五种经典的时序预测模型和 GRGAT、GA-GRGAT模型对比。所有模型均使用相同的训练集和测试集，本发 明使用春天数据集v1和夏天数据集v2进行预测，预测结果如表4所示。
表4两个数据集在不同模型下的比较结果
从表4可以看出，GA-GRGAT模型所有评价指标均为最优。基于GRGAT框 架的GA-GRGAT模型和GRGAT模型排在前两位，预测性能较好，说明GRGAT 单元可以有效融合温度时空信息。同时GA-GRGAT模型优于GRGAT模型，说 明GAN的有效性。而在GRU模型、GOAMLP模型、DCNN模型、SVR模型和HA 模型中，经典神经网络模型(GRU模型、GOAMLP模型和DCNN模型)的效果 优于传统时序模型(SVR模型和HA模型)。SVR模型预测精度最低，甚至低 于HA模型。另外值得关注的是，GA-GRGAT模型的MAE值为2.58时，RMSE 值仅为3.91。而GRGAT模型的MAE值为5.85，RMSE值为8.8。从MAE值可 以看出，GA-GRGAT预测结果的聚合性比较强，也就是说模型的误差不分 散，体现在轴温上来看，GA-GRGAT模型预测的结果可以体现整体的温度变化趋势。
本发明对GA-GRGAT模型、GRGAT模型和GOAMLP模型和GRU模型不同步 长的准确率和消耗时间(Cost time)进行统计。具体结果如表5所示。
表5不同模型准确率和消耗时间的比较结果
从表5可以看出，GA-GRGAT模型的准确率在相同步长和数据集的情况下 高于GRGAT、GRU、GOAMLP和DCNN模型，且在两个数据集上GA-GRGAT模型 的准确率均大于85％，其中在24th、36th和48th的情况下准确率大于90％， 说明使用GA-GRGAT模型预测未来一天的列车轴温变化情况有较高的精度。 此外，对每个模型不同步长的准确率进行对比可以看出，随着步长增大， 模型的输入和输出数据量增加，导致消耗时间变长，但是准确率也会随之 提高。GA-GRGAT模型的消耗时间在所有模型中只比GOAMLP模型稍低，比其 他模型的时间更长，在48th时消耗时间为129.90s，约2min，可以保证列 车长时预测实时性的需要。
本发明选择GRGAT模型、GRU模型和COAMLP模型与GA-GRGAT模型进行 对比，直观观察每个模型的预测效果。分别从0时、6时、12时和18时开 始，输入序列长度l＝12，预测后续24小时之内的列车轴温数据。本发明使 用春天数据集v1和夏天数据集v2的测试集进行预测，预测效果如图5和图6 所示。
GA-GRGAT模型在图5(a)～(c)和图6(a)～(c)中明显优于GRGAT 模型、GRU模型和COAMLP模型。也就是说，GA-GRGAT模型从0：00、6：00 和12：00开始预测未来24小时内的轴温都有较为理想的效果。而比较四个 模型在18：00预测未来24小时内的轴温效果，可以看出GA-GRGAT模型和 COAMLP模型要明显优于GRGAT模型和GRGAT模型。
综上所述，本发明的轴温长时预测可以为列车日常维护和状态修提供 决策依据。本发明选取轴温作为轴承状态监测特征，将图结构引入到高速 列车轴温预测的场景中，形成轴温网络。基于轴温网络，使用嵌入式架构 融合图注意力网络(Graph AttentionNetwork，即GAT)模型和门限循环单 元(Gate Recurrent Unit，即GRU)模型构建了GRGAT框架，其中GAT模型 较图卷积神经网络(Graph Convolutional Network，即GCN)模型而言使用注意力机制针对不同的邻居学习不同的权重，有效解决了图中的动态卷 积操作；然后使用生成对抗网络(Generative Adversarial Networks，GAN) 模型构建时间时序特征对历史列车轴温信息进行融合，从而提高GA-GRGAT 模型的长时预测准确度和GCN模型。
Claims (7)
1.一种基于图注意力模型的高速列车轴温长时预测方法，其特征在于，包括以下步骤：
步骤1、从高速列车的转向架上采集传感器数据，对传感器数据进行清洗、去噪处理，使用皮尔森相关系数对转向架上的传感器进行特征筛选，得到与轴温变化最相关的传感器数据；
步骤2、构建轴温信息图结构；
步骤3、获取步骤1的时间序列数据和步骤2的图结构，使用GRU(门限循环单元)模型有效提取高速列车轴温的时序特征，使用GAT(图注意力网络)模型有效提取列车转向架图结构的空间特征；结合GRU模型和GAT模型，使用GAT单元代替GRU内部原有的线性连接层，从而构建可以融合列车轴温的时空信息的GRGAT单元；
步骤4、基于生成对抗网络构建生成器和判别器，其中生成器和判别器都包括了编码操作和解码操作；
步骤5、基于生产对抗网络和GRGAT单元构建高速列车轴温长时预测GA-GRGAT模型；并基于Pytorch深度学习框架融合列车轴温的时空信息的GRGAT单元的GA-GRGAT模型训练；
步骤6：使用高速列车真实在途运行数据带入GA-GRGAT模型，得到轴温的长时预测值。
2.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，其特征在于，所述步骤2中图结构定义如下，：
其中D代表一个网络，V是网络中的一组顶点，E是网络D中的一组边，并且eij表示从节点vi到vj的方向；此外，W是网络D中的一组权重，wij表示从节点vi到vj的权重。
3.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，
其特征在于，所述步骤3具体按以下步骤实施：
步骤31，将t时刻的轴温数据输入Xt和t-1时刻的隐藏层输出ht-1横向拼接得到更新门Zt＝[ht-1||Xt]，将GRU模型原有的线性重置门rt和更新门zt使用两个不同的K层GAT网络替代；具体公式如下所示：
其中
σ(·)为sigmoid激活函数；
步骤,32：将t-1时刻的隐藏层输出ht-1与t时刻的重置门rt相乘，然后和t时刻的轴温数据Xt输入，横向拼接得到Z′t＝[rt*ht-1||Xt]，将GRU模型原有的线性单元
使用一个K层GAT网络替代，从而计算t时刻的隐藏层ht输出；公式如下所示：
4.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，其特征在于，所述步骤3中GAT模型，定义t时刻输入GAT模型的列车轴温数据为
列车转向架图结构的邻接矩阵A∈Rn×n，n为列车转向架图结构的顶点数量，p为输入列车轴温属性的维度，
为可学习参数，q为输出的列车轴温的特征维度，节点i的重构向量
如下所示
其中，LeakyReLU(wT[Wxi||Wxj])为激活函数，exp(LeakyReLU(wT[Wxi||Wxj]))为指数操作，时刻i和时刻j的轴温为xi和xj，节点i和节点j的一阶领域为
和
学习参数为W，训练参数为w。
5.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，
其特征在于，所述步骤4具体按以下步骤实施：
步骤41，生成器构建
(1)编码器输入阶段，在该阶段首先将t时刻输入的列车转向架时序特征Ct，通过fMLP映射为C′t∈Rn×1，然后将列车轴温数据Xt和时序特征C′t进行拼接，拼接的结果作为GRGAT单元的输入；
(2)解码器生成阶段，首先将Ct按照Step 1的方法通过fMLP映射为C′t∈Rn×1，然后将t-1时刻由Step 1输出的数据
和C′t进行拼接，拼接的结果作为GRGAT单元的输入，经过循环收敛之后得到隐藏矩阵ht和输出矩阵yt。其中，需要在解码器阶段使用注意力机制，使用注意力单元Att将yt映射为
步骤42，判别器构建
(1)t时刻输入的时序特征Ct，通过fMLP1映射为C′t∈Rn×1。映射向量C′t与温度信息Xt进行拼接，输入GRGAT单元进行循环，迭代之后得到隐藏矩阵H＝(h1,h2,...,hl+r)和输出矩阵Y＝(y1,y2,...,yl+r)；
(2)将yt映射为t时刻带有自注意力机制的映射向量；
(3)fMLP2将
映射为真实数据的概率P。
6.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，其特征在于，所述步骤6具体按以下步骤实施：
步骤61，生成器生成序列
在t时刻编码器(Encoder)的轴温数据Xt为输入和时序特征Ct，经过l步循环迭代之后，得到Z和HE，在解码器(Decoder)的输入数据为上一时刻的
和Ct，计算得到
再经过r步循环迭代之后得到
步骤62，判别器判别真伪
样本数据包含两个部分，分别是序列数据和标签数据。前者的长度为l+r，包括Xt和Ct；后者为0或者1；
步骤63，对抗训练
对生成器G和判别器M进行初始化得到G0和M0，具体步骤如下所示：
(1)G0不变，优化M0得到M1，优化方法为梯度下降算法；
(2)M1不变，优化G0得到G1，优化方法与第一步相似；
(3)在模型收敛之前重复上述两个步骤对G和M进行优化，最终得到最佳的G*和M′，其中，G*即为预测阶段使用的生成器。
7.根据权利要求1所述的基于图注意力模型的高速列车轴温长时预测方法，其特征在于，所述步骤5基于Pytorch深度学习框架融合列车轴温的时空信息的GRGAT单元的GA-GRGAT模型训练；GA-GRGAT模型的训练算法伪代码如下所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211212174.5A CN115512460B (zh) | 2022-09-29 | 2022-09-29 | 一种基于图注意力模型的高速列车轴温长时预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211212174.5A CN115512460B (zh) | 2022-09-29 | 2022-09-29 | 一种基于图注意力模型的高速列车轴温长时预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115512460A true CN115512460A (zh) | 2022-12-23 |
| CN115512460B CN115512460B (zh) | 2024-04-16 |
Family
ID=84508718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211212174.5A Active CN115512460B (zh) | 2022-09-29 | 2022-09-29 | 一种基于图注意力模型的高速列车轴温长时预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115512460B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109084980A (zh) * | 2018-10-10 | 2018-12-25 | 北京交通大学 | 基于均等分割的轴承故障预测方法及装置 |
| JP2020068000A (ja) * | 2018-10-19 | 2020-04-30 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 訓練装置、訓練方法、予測装置、予測方法及びプログラム |
| CN113129148A (zh) * | 2021-04-16 | 2021-07-16 | 北京航空航天大学 | 一种融合生成对抗网络与二维注意力机制的股票预测方法 |
| CN113784380A (zh) * | 2021-07-28 | 2021-12-10 | 南昌航空大学 | 一种采用图注意力网络与融合邻域的拓扑预测方法 |
| CN113920390A (zh) * | 2021-09-17 | 2022-01-11 | 北京交通大学 | 一种基于多模态深度学习模型的列车延误预测方法 |
| CN114495507A (zh) * | 2022-02-25 | 2022-05-13 | 南京工业大学 | 融合时空注意力神经网络和交通模型的交通流预测方法 |
| CN114528755A (zh) * | 2022-01-25 | 2022-05-24 | 国网冀北电力有限公司 | 一种基于注意力机制结合gru的电力设备故障检测模型 |
| CN114818515A (zh) * | 2022-06-24 | 2022-07-29 | 中国海洋大学 | 一种基于自注意力机制和图卷积网络的多维时序预测方法 |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
-
2022
- 2022-09-29 CN CN202211212174.5A patent/CN115512460B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109084980A (zh) * | 2018-10-10 | 2018-12-25 | 北京交通大学 | 基于均等分割的轴承故障预测方法及装置 |
| JP2020068000A (ja) * | 2018-10-19 | 2020-04-30 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 訓練装置、訓練方法、予測装置、予測方法及びプログラム |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
| CN113129148A (zh) * | 2021-04-16 | 2021-07-16 | 北京航空航天大学 | 一种融合生成对抗网络与二维注意力机制的股票预测方法 |
| CN113784380A (zh) * | 2021-07-28 | 2021-12-10 | 南昌航空大学 | 一种采用图注意力网络与融合邻域的拓扑预测方法 |
| CN113920390A (zh) * | 2021-09-17 | 2022-01-11 | 北京交通大学 | 一种基于多模态深度学习模型的列车延误预测方法 |
| CN114528755A (zh) * | 2022-01-25 | 2022-05-24 | 国网冀北电力有限公司 | 一种基于注意力机制结合gru的电力设备故障检测模型 |
| CN114495507A (zh) * | 2022-02-25 | 2022-05-13 | 南京工业大学 | 融合时空注意力神经网络和交通模型的交通流预测方法 |
| CN114818515A (zh) * | 2022-06-24 | 2022-07-29 | 中国海洋大学 | 一种基于自注意力机制和图卷积网络的多维时序预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIE MAN: "A novel deep learning model for high-speed train axle temperature long term forecasting", SCIENCEDIRECT * |
| 徐文龙: "高铁轨道动检数据配准及异常检测算法研究", CNKI优秀硕士学位论文全文库 * |
| 曾义夫: "基于图和深度神经网络的会话推荐算法设计与实现", CNKI优秀硕士学位论文全文库 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115512460B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN111798051B (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN109697852B (zh) | 基于时序交通事件的城市道路拥堵程度预测方法 | |
| CN113487066B (zh) | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 | |
| Tan et al. | Short-term traffic prediction based on dynamic tensor completion | |
| Xu et al. | Short-term traffic flow prediction using a methodology based on autoregressive integrated moving average and genetic programming | |
| CN114299723B (zh) | 一种交通流量预测方法 | |
| CN110163449B (zh) | 一种基于主动时空图卷积的机动车排污监测节点部署方法 | |
| CN113487855B (zh) | 一种基于emd-gan神经网络结构的交通流预测方法 | |
| CN112232543A (zh) | 一种基于图卷积网络的多站点预测方法 | |
| CN114676742A (zh) | 一种基于注意力机制和残差网络的电网异常用电检测方法 | |
| CN114707688A (zh) | 基于卫星云图和时空神经网络的光伏功率超短期预测方法 | |
| CN114692762A (zh) | 一种基于图注意力交互机制的车辆轨迹预测方法 | |
| CN115759461A (zh) | 一种面向物联网的多元时间序列预测方法及系统 | |
| CN116523177A (zh) | 融合机理和深度学习模型的车辆能耗预测方法及装置 | |
| Liu et al. | Multi-stage residual life prediction of aero-engine based on real-time clustering and combined prediction model | |
| CN113064222B (zh) | 雷电预警预报方法和系统 | |
| Zhang et al. | A spatial correlation prediction model of urban PM2. 5 concentration based on deconvolution and LSTM | |
| CN113627676A (zh) | 一种基于多注意力因果关系的交通预测方法及系统 | |
| CN115512460A (zh) | 一种基于图注意力模型的高速列车轴温长时预测方法 | |
| Ramhormozi et al. | Multi-task graph neural network for truck speed prediction under extreme weather conditions | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN115964621A (zh) | 区域路网尾气排放数据补全方法 | |
| CN116861250A (zh) | 一种故障诊断模型训练方法及装置 | |
| CN113285721B (zh) | 一种面向稀疏移动感知数据的重构与预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |