CN116127395A - 一种高速列车自动防护系统实时异常感知方法 - Google Patents

Abstract

本发明公开了一种高速列车自动防护系统实时异常感知方法，以ATP所有子设备的实时运行数据作为分析对象，通过编码解码网络实现了ATP系统日志序列的记忆和日志信息前后的相关性分析，引入多头注意力机制分层处理每个设备的运行数据，解决多设备同时产生数据的并发性需求。最后系统性聚合，实时准确捕捉任一子设备的异常行为，在最小粒度上综合及时判定明确的故障部位。

Description

一种高速列车自动防护系统实时异常感知方法

技术领域

本发明涉及轨道交通技术领域，尤其涉及一种高速列车自动防护系统实时异常感知方法。

背景技术

列车自动防护系统(Automatic Train Protection，ATP)是保障高速列车安全高效运行的核心，被称为高速列车的“神经中枢”。该系统安装在高速列车的两端，采用冗余结构，与列车和监测系统等外部设备连接，主要由安全计算机(Vital Computer，VC)、测速测距单元(Speed&Distance Processing Unit，SDU)、应答器信息接收单元(BaliseTransmission Module，BTM)、轨道电路读取器(Track Circuit Reader，TCR)、列车接口(Train Interface Unit，TIU)、人机界面(Driver-Machine Interface，DMI)、无线传输单元(GSM-Railway，GSM-R)、司法数据记录单元(Juridical Recorder Unit，JRU)等子设备组成。各子设备相互配合，共同保障列车安全。任一子设备故障，都会影响ATP系统的正常工作。

截止2022年底，全路规模化运用的ATP系统有5种类型，包括300T、300S、300H、200H和200C。系统上线运用后，每种类型的子设备表现出若干种故障模式，比如300T型ATP系统主要配件有107个，单BTM相关的故障就分为运行时BSA(Balise Service Available，应答器传输服务可用性)、启机BSA、BTM端口无效、BTM无法正确解析报文、例行测试失败等5种。由此可见，每种类型ATP系统可能的故障模式有成千上万个，系统一旦发生故障，精准的故障定位相对困难。

从既有的运维现状看，各种ATP系统故障诊断和定位基本全部依赖人工，存在故障定位耗时、准确度不高、自动化程度偏低等问题。另外，执行运输任务的ATP系统在线路上发生故障，通常是由司机或者随车机械师临时处置，由于专业技能的壁垒或盲区等，存在故障处置流程不熟悉、处置方法不得当、复杂场景无能为力等情形，由此所造成的故障延时和影响范围较大。

根据研究对象和诊断方式的不同，目前对于ATP的故障诊断主要是如下三类方法：基于经验知识的方法、基于解析模型的方法和基于数据驱动的方法。随着机器学习等人工智能新技术的发展，以及故障诊断算法对ATP运用场景适应性的要求，基于数据驱动的方法成为趋势和主流。近年来，学者们陆续提出贝叶斯网络、Labeled-LDA(Latent DirichletAllocation)、卷积神经网络、极端梯度提升(extreme Gradient Boosting，XGBoost)等方法用于ATP的故障诊断和分类，虽然从实验结果看，这些方法有一定的有效性。但是，从ATP实际运用场景看，前后运行数据之间具有时序相关性。此外，运行数据由若干个设备同时独立产生，故障定位需要并行融合多方面的信息综合判定，具有并发性。遗憾的是，以上方法并未同时满足ATP故障诊断的时序相关性和并发性需求。

发明内容

本发明的目的是提供一种高速列车自动防护系统实时异常感知方法，可以同时满足ATP故障诊断的时序相关性、快速性和并发性需求，准确的实现高速列车自动防护系统实时异常感知。

本发明的目的是通过以下技术方案实现的：

一种高速列车自动防护系统实时异常感知方法，包括：

构建ATP系统异常感知模型，包括：编码网络、解码网络、注意力机制层与分类器；所述ATP系统为高速列车自动防护系统；

训练阶段：通过编码网络对历史时刻ATP系统中各子设备的日志数据进行编码，每一时刻编码时采用一个内部状态进行线性的循环信息传递，记忆之前时刻的信息，再结合内部状态计算隐状态，获得所有时刻的隐状态；将最后一个时刻的隐状态作为解码网络的初始时刻的隐状态，之后，解码网络的每一时刻的隐状态，均通过多头注意力机制层结合上一时刻的隐状态与所述所有时刻编码网络的隐状态，计算出的注意力函数确定；将解码网络的最后一个时刻的隐状态输入至分类器，输出预测信息，利用预测信息与真实信息的差异训练所述ATP系统异常感知模型；其中，每一子设备对应一个注意力机制层；

感知阶段：通过训练后的ATP系统异常感知模型，对ATP系统正常运行时实时产生的日志数据进行异常感知。

由上述本发明提供的技术方案可以看出，以ATP所有子设备的实时运行日志(日志数据)作为分析对象，通过编码解码网络实现了ATP系统日志序列的记忆和日志信息前后的相关性分析，引入多头注意力机制分层处理每个设备的运行日志，解决多设备同时产生日志的快速性和并发性需求。最后系统性聚合，实时准确捕捉任一子设备的异常行为，在最小粒度上综合及时判定明确的故障部位。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种高速列车自动防护系统实时异常感知方法的流程图；

图2为本发明实施例提供的ATP系统异常感知脉络示意图；

图3为本发明实施例提供的ATP系统异常感知模型架构示意图；

图4为本发明实施例提供的ATP异常处置流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。

下面对本发明所提供的一种高速列车自动防护系统实时异常感知方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。

本发明实施例提供一种高速列车自动防护系统实时异常感知方法，以ATP所有子设备的实时运行日志作为分析对象，利用长短时记忆神经网络巧妙的隐藏层结构设计刻画运行日志之间的时序相关性，然后引入多头注意力机制分层处理每个设备的运行日志，解决多设备同时产生日志的并发性需求。最后系统性聚合，实时准确捕捉任一子设备的异常行为。在最小粒度上综合及时判定明确的故障部位。结合确切的故障点，构建异常处置有限状态机模型，给出详细的异常处置方案，指导司机或者随车机械师快速处置异常，缩小故障影响范围。如图1所示，该方法主要包括如下步骤：

步骤1、构建ATP系统异常感知模型，包括：编码网络、解码网络、注意力机制层与分类器。

步骤2、模型训练阶段。

训练过程如下：通过编码网络对历史时刻ATP系统中各子设备的日志数据进行编码，每一时刻编码时采用一个内部状态进行线性的循环信息传递，记忆之前时刻的信息，再结合内部状态计算隐状态，获得所有时刻编码网络的隐状态；将编码网络最后一个时刻的隐状态作为解码网络的初始时刻的隐状态，之后，解码网络的每一时刻的隐状态，均通过多头注意力机制层(每一子设备对应一个注意力机制层)结合上一时刻的隐状态与所述所有时刻的编码网络的隐状态，计算出的注意力函数确定；将解码网络的最后一个时刻的隐状态输入至分类器，输出预测信息，利用预测信息与真实信息的差异训练所述ATP系统异常感知模型。此部分中，输入日志数据的类型不同其对应不同的预测信息，例如，输入日志数据为日志键序列，则输出为日志的条件概率分布；如果输入日志数据为参数值向量序列，则输出为预测向量，具体在后文进行说明。

本发明实施例中，所述编码网络通过长短时记忆神经网络(LSTM)实现，每一时刻，根据输入的日志数据，计算候选状态、遗忘门、输入门与输出门，利用遗忘门、输入门与候选状态计算内部状态，再利用内部状态与输出门计算隐状态，将所有时刻的隐状态记为

其中，输入的日志数据为历史时刻ATP系统中各子设备产生的日志数据形成的日志序列，m表示日志序列的长度，等于时刻总数，

表示i时刻的隐状态，i＝1,…,m。具体的：利用遗忘门、输入门与候选状态计算内部状态，再利用内部状态与输出门计算隐状态表示为：

其中，c_i表示i时刻的内部状态，f_i表示i时刻的遗忘门，i_i表示i时刻的输入门，

表示i时刻的候选状态，⊙表示向量元素乘积，c_i-1表示i-1时刻的内部状态，当i＝1时，c_i-1为初始化的内部状态，一般可以设为0。

本发明实施例中，通常按照时间顺序将所有子设备产生的日志信息汇总，形成一个日志序列，每个时刻处理日志序列中的一个日志信息，因此，日志序列的长度m等于时刻总数。此外，日志数据包含日志键和向量参数两类，每一类对应日志序列都分别输入至编码网络以获得对应隐状态。

本发明实施例中，解码网络同样采用LSTM实现，解码网络每一时刻的隐状态，均通过多头注意力机制层结合上一时刻的隐状态与所述编码网络所有时刻的隐状态，计算出的注意力函数确定；具体的：使用多头注意力机制，每一子设备对应一个注意力机制，对于第s个子设备，l时刻中，利用l-1时刻对应的隐状态

作为查询向量，通过第s个子设备对应的注意力机制层与编码网络所有时刻的隐状态H^enc，计算出第s个子设备对应的l时刻的注意力函数，将所有设备对应的l时刻的注意力函数拼接作为解码网络的l时刻的注意力函数ca_l，再利用l时刻的注意力函数ca_l与解码网络l-1时刻的隐状态

计算解码网络l时刻的隐状态

其中，解码网络每一时刻的隐状态包含了所有子设备对应的隐状态。

此部分中，解码网络输出隐状态的原理和编码网络类似。区别主要在于，编码网络的输入是日志序列，而解码网络的输入是注意力函数ca_l。

对于l时刻，第s个子设备对应的注意力函数

通过如下公式计算：

其中，att(.)表示注意力机制层，H^enc表示编码网络所有时刻的隐状态，将H^enc表示为键值对(K^enc,V^enc)，

和

为利用第s个子设备对应注意力机制中的参数矩阵

与

计算出的键向量矩阵与值向量矩阵，计算方式为：

为键向量矩阵

的第i个键向量，

为值向量矩阵

的第i个值向量，

表示编码网络i时刻的隐状态，

表示第s个子设备l-1时刻对应的隐状态，

表示第s个子设备对应的注意力分布。

的计算公式如下：

其中，s(.)表示注意力打分函数，使用缩放点积模型计算，

为键向量矩阵

的第j个键向量。

之后，将所有子设备对应的注意力函数拼接，得到解码网络的l时刻的注意力函数ca_l。

步骤3、感知阶段。

通过训练后的ATP系统异常感知模型，对ATP系统正常运行时实时产生的日志数据进行异常感知，即采用与预测阶段相同的方式输出预测信息，利用预测信息进行正常或异常的分类。

本发明实施例中，所述ATP系统异常感知模型主要包括：日志键异常感知模块和参数值异常感知模块。所述日志键异常感知模块和参数值异常感知模块的结构相同，均包含对应的编码网络、解码网络、注意力机制层与分类器。预先将历史时刻的日志进行解析，获得两部分日志数据，一部分为日志键，另一部分为向量参数；其中，将由日志键组成的日志数据输入至日志键异常感知模块，采用训练阶段的方式训练日志键异常感知模块，以及将由参数值向量组成的日志数据输入至参数值异常感知模块，采用前述训练阶段介绍的方式训练参数值异常感知模块；感知阶段，对ATP系统正常运行时实时产生的日志进行解析，将解析获得的由日志键组成的日志数据与由向量参数组成的日志数据分别对应地输入至训练后的日志键异常感知模块与参数值异常感知模块；当日志键异常感知模块或参数值异常感知模块输出结果为异常时，则认定ATP系统异常。

本发明实施例中，所述日志键异常感知模块在训练阶段，将km_g∈K作为目标日志键的条件概率分布，根据与相应时刻的真实日志键的差异构建损失函数来训练日志键异常感知模块，以更新日志键异常感知模块的内部参数，目标是学习一个能够最大化训练日志键序列的条件概率分布；其中，K＝{k₁,k₂,…,k_u}表示ATP系统一组指定的日志键集合，u为日志键数目；感知阶段，对于目标日志键km_g，基于输入的日志键窗口w，计算条件概率分布Pt[km_g|w]＝{k₁:p₁,k₂:p₂,…,k_u:p_u}，其中，w＝{km_g-h,…,km_g-2,km_g-1}包含目标日志键km_g前h个最近的日志键，w中的任意元素均属于集合K，k₁:p₁,k₂:p₂,…,k_u:p_u分别表示与日志键k₁对应的概率为p₁，与日志键k₂对应的概率为p₂，与日志键k_u对应的概率为p_u，按照概率大小对日志键做降序排列，确定前q个日志键为对应的候选日志键；如果日志键在前q个候选值之内，则标记为正常，否则，标记为异常。

本发明实施例中，所述参数值异常感知模块在训练阶段，每次输入为向量参数，输出为一个实数值向量，作为下一个输入的向量参数的预测值，通过动态调整ATP系统异常感知模型的权重，减少下一个输入的向量参数与下一个输入的向量参数的预测值之间的误差；感知阶段，将输入的向量参数与预测值之间的误差建模为高斯分布，如果误差在预测值的置信区间内，则输入的向量参数被标记为正常，否则异常。

本发明实施例中，当感知阶段认定ATP系统异常时，通过扩展DMI的显示，发出预警提示，引导用户执行异常处理流程，具体的：将不同的异常处理流程抽象为有限状态自动机，用有限状态自动机的状态转移和执行顺序刻画系统异常处理流程，在此基础上，形成知识库，复用于全路不同运维主体对相同类异常的处置。

为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的一种高速列车自动防护系统实时异常感知方法进行详细描述。

一、整体原理介绍。

如图2所示，为ATP系统实时异常感知方法的整体脉络图。首先，对ATP运行过程中产生的日志数据预处理，基于公共子序列的思想，将非结构化的日志在线解析为结构化的日志键和参数向量。然后通过异常感知模型分别检测日志键和参数向量的异常。最后，根据准确定位的异常结果，自动触发对应的异常处置方案，指导解决异常。如下分别说明每部分的技术实现方法。

1、ATP运行日志解析。

ATP系统从启机运行开始，不断产生日志消息，这些文本类型的日志消息是非结构化的，不利于计算机处理，需要将非结构化的日志自动解析为结构化的表示形式。本发明基于最长公共子序列(Longest Common Subsequence，LCS)方法设计日志解析器，在线实时解析系统产生的日志条目。基本思想是从每个日志条目中提取一个日志键和向量参数。日志条目e的日志键指源码中print语句中的字符串常量k，日志键中参数被抽象为符号*。这些参数值反应了ATP系统的性能状态，用向量v表示。由此可知，所有日志条目都可以解析为日志键k和向量参数v，从而对日志进行归类。

设计解析器的核心是通过比较提取日志键。比如300T型ATP系统的某个日志条目e₁：Profibus ATP to JRU connected。

再次输入日志条目e₂：Profibus TI-H to TSG connected。

然后遍历日志对象列表，发现有一个对象的日志键属性为：Profibus ATP to JRUconnected。

那么，计算日志键k为：Profibus<*>to<*>connected。向量参数v为：[TI-H,TSG]。

2、日志序列的记忆和日志信息前后的相关性分析。

长短时记忆神经网络(Long Short-Term Memory Network，LSTM)在隐藏层引入新的内部状态和门控机制控制信息传递的路径。采用一个内部状态(向量)c_i∈R^D专门进行线性的循环信息传递，然后，非线性地输出信息给隐藏层的外部状态(隐状态，向量)h_i∈R^D。状态c_i和h_i的计算公式为：

h_i＝o_i⊙tanh(c_i)                       (2)

其中，f_i表示i时刻的遗忘门，i_i表示i时刻的输入门，o_i表示i时刻的输出门，

表示通过tanh激活函数得到的i时刻的候选状态，⊙表示向量元素乘积，c_i-1表示i-1时刻的内部状态，R表示实数集符号，D为向量维度。

内部状态c_i类似一个传送带，信息在传送带上传递但是状态不改变。c_i可以在某个时刻捕捉某些关键信息，并有能力将此关键信息保存一定的时间间隔，意味着c_i可以记录截止到当前时刻的所有ATP运行历史信息。

门控机制通过巧妙的门设计，去除或者增加信息到内部状态c_i，三个门f_i、i_i和o_i的取值均在(0,1)之间，表示只有一定比例的信息被允许通过。

候选状态和三个门的计算方式如下：

其中，x_i为i时刻的输入，所有时刻的输入可以看做一个日志序列，记做x_1:M＝(x₁,x₂,..,x_M)，M为序列的长度；h_i-1为上一时刻(i-1时刻)的隐状态；W_∈R ^D×M为状态输入权重矩阵；b∈R^D为偏置向量。σ为Logistic激活函数，其输出区间为(0,1)，定义为

以上计算过程可以描述为：

1)利用上一时刻的隐状态h_i-1和i时刻的输入x_i，计算i时刻的f_i,i_i,o_i,

2)结合i时刻的遗忘门f_i和输入门i_i更新i时刻的内部状态c_i。

3)结合i时刻的输出门o_i，将i时刻的内部状态的信息传递给i时刻的隐状态h_i。

通过如上步骤，整个网络实现了较长距离的时序关系依赖，也就实现了ATP系统日志序列的记忆和日志信息前后的相关性分析。

3、注意力机制。

注意力机制的核心是每一步都监视一个更大的信息集合，对输入设置不同的权重参数，学习过程中获得每个元素的重要度，抽取更为重要和关键的信息。注意力聚焦的过程体现在权重参数的计算上，权重越大表明越聚焦于其对应的日志信息，也就是权重代表了日志的重要程度。由此，使得模型做出更准确和更快速的判断。

注意力机制的计算分为两步：首先在所有输入X上计算注意力分布，然后根据注意力分布计算输入信息的加权平均值。

为了从输入向量X＝[x₁,x₂,..,x_N]中选择和特定任务相关的信息，引入和任务相关的表示记做查询向量q，N为输入数据的数目，用注意力变量z∈[1,N]表示被选择信息的索引位置，z＝n表示选择了第n个向量。给定输入X和查询向量q前提下，选择第n个向量的概率α_n为：

其中，α_n为注意力分布，softmax是激活函数，s(x,q)为注意力打分函数，通常由缩放点积模型计算：

其中，D为向量维度。

α_n解释了在给定特定任务相关的查询向量q时，第n个向量受到关注的程度。采用加权平均的方式对输入信息汇总，即为注意力函数：

如果输入信息用更一般的键值对(K,V)＝[(k₁,v₁),(k₂,v₂),…,(k_N,v_N)]表示。键向量矩阵K用于计算注意力分布α_n，值向量矩阵V基于α_n用于计算聚合信息，则，修正后的注意力函数为：

式中，n,j∈[1,2,…,N]为注意力函数的输出和输入X向量序列的位置，α_nj表示第n个输出关注到第j个输入的权重。ATP系统运行过程中，VC、SDU、BTM等设备同时产生运行日志数据，为了并行处理这些信息，借用多头注意力的思想。采用多个查询向量Q＝[q₁,q₂,..,q_M]，并行地从输入信息中挑选多组关键信息，每个注意力关注输入X的不同部分。比如，一个注意力更多关注VC产生的运行信息，另一个注意力更多关注SDU产生的信息。此时，注意力函数写为如下式样：

式中，⊕表示向量拼接，每一个子部分的计算如式(7)所示。

综上，由于注意力机制的聚焦特征以及多头注意力的并行特征，解决了ATP系统异常感知的快速性和并发性问题。

二、ATP系统异常感知模型。

基于上述原理构建ATP系统异常感知模型，可以根据ATP系统运用场景的实际特点，可同时满足ATP异常感知的时序相关性、快速性和并发性要求。并且，可以缩小高铁ATP系统故障影响范围，精准定位系统异常。具体的：

ATP系统运行过程中实时产生的日志数据可以看做是遵循某些模式和语法规则的序列元素，它由逻辑严密且流程规整的计算机程序生成，非常类似于自然语言。基于深度学习方法处理“自然语言”，挖掘其中存在的信息价值，从而实现精准的异常感知。这一过程面临的挑战是：

时序相关性要求。ATP系统执行一次运输任务，由于运行场景的连贯性，运行数据均为顺序生成，前后数据在业务上有明显的关联性。异常感知不能孤立地抓取当前时刻的其中一两个日志判断，而需要记忆一段时间的信息，深入分析运行信息之间的相关性。

快速性要求。如果ATP系统有异常，则需要第一时间感知到并迅速做出响应，及时干预系统正在进行的攻击或异常。要求异常感知方案又快速又准确，且为故障处置提供详细明确的指引和操作流程。

并发性要求。ATP系统运行信息由关键的若干个设备同时、独立产生，日志消息来源于几个不同的线程或者同时运行的任务，而最终的故障诊断和定位又需要集成相关设备的所有信息综合判断、系统评估。此外，各设备由于功能各异，产生的运行信息在业务上有明显的层次性。异常感知需要在多设备上并行进行，并且最终结果需要有机融合。

通过长短时记忆神经网络巧妙的隐藏层结构设计，记忆某一时间段的运行信息，解决异常感知的时序相关性问题；引入注意力机制，对输入信息设置不同的权重参数，解决异常感知的快速性问题；通过多头注意力机制，为ATP每种子设备划分不同的注意力函数，解决异常感知的并发性问题。最后，建立基于长短时记忆神经网络+注意力机制的ATP系统实时异常感知模型。下面针对各部分做详细介绍。

1、实现框架和流程。

如图3所示，为ATP系统异常感知模型架构图。ATP系统异常感知的本质是用神经网络估计日志的条件概率p_θ(x_L|x_1:(L-1))，p_θ(x_L|x_1:(L-1))表示根据历史数据x_1:(L-1)预测未来数据x_L的条件概率，1:(L-1)表示第1个时刻至第L-1时刻，L表示未来一个时刻，即为深度序列模型思想，实现序列到序列的直接方法是使用LSTM网络编码(Encoder)和解码(Decoder)。图3中，A表示编码器的LSTM网络，A′表示解码器的LSTM网络，具体实现思路和方法如下。

(1)编码网络由LSTM组成，编码输入日志数据为日志序列x_1:m＝(x₁,x₂,..,x_m)，m为输入日志序列的长度，根据前述式(1)和(2)得到最后一个隐藏状态h和内部状态c，作为编码网络的输出(h,c)。

由式(2)可知，编码网络的内部状态信息c包含在了隐状态h中，为了后续表述方便，编码网络的任一输出直接记为

记

表示编码网络的所有输出，则

本领域技术人员可以理解，神经网络结构通常包含三个层：输入层、隐藏层、输出层。LSTM属于神经网络的一种，其输入层主要负责对日志数据进行编码(例如，使用独热编码)，隐藏层主要负责隐状态的计算，输出层主要负责输出隐状态。

(2)解码网络也由LSTM组成，网络的隐状态记做

初始状态用

表示，初始输入是编码网络的最后一个输出

由于增加了注意力机制，编码网络的所有状态都需要保留，根据式(4)计算

和每一个

的相关性，即注意力分布α_i。因为编码网络有m个输出状态，于是会得到m个α，一个α_i对应一个

然后计算m个状态的加权平均。

(3)解码过程的l时刻，用l-1时刻的隐状态

作为查询向量，从输入序列H^enc中选取有用信息。意味着每一时刻都通过注意力机制从所有编码网络的隐状态中选择相关信息。

此外，ATP系统包含多个子设备(例如，VC、SDU、BTM等S个设备)，这些子设备都会产生日志信息，那么，对于不同子设备而言，注意力机制中的参数矩阵不同，因此，采用多头注意力机制，分别计算每一子设备对应的注意力函数，之后，再拼接得到注意力函数ca_l。每一子设备对应的注意力函数的计算过程中涉及了键向量、值向量(即键值对)、查询向量(即每一子设备对应的上一时刻的隐状态)，虽然每一头注意力机制中输入是相同的，但是，由于不同子设备对应注意力机制中的参数矩阵以及子设备对应的上一时刻的隐状态不同，因此，通过下述公式可以计算出每个子设备对应的注意力函数，每一时刻子设备对应的隐状态都包含在解码网络相应时刻的隐状态中。本发明实施例中，多头注意力机制的具体数目与子设备数目相关，例如4个子设备，则采用4头注意力机制，但是，本申请并不对多头注意力机制的具体数目进行限定。

第s个子设备对应的注意力函数

通过如下式子计算：

式中，l＝1,2,…,t，t表示解码网络的隐状态总数，也即解码网络的时刻总数；s＝1,2,…,S，将H^enc表示为键值对(K^enc,V^enc)，

和

为利用第s个子设备对应注意力机制中的参数矩阵

与

计算出的键向量矩阵与值向量矩阵，计算方式为：

为键向量矩阵

的第i个键向量，

为值向量矩阵

的第i个值向量；查询向量是

即第s个子设备在解码网络l-1时刻的隐状态，如此再按照式(7)可计算式(9)，得到第s个子设备对应的注意力函数

通过上述方式计算出S个子设备对应的注意力函数后，通过前述式(8)拼接S个子设备对应的注意力函数，得到注意力函数ca_l。对于式(9)所示注意力函数，进一步解释说明使用注意力机制前后的区别：

一方面，计算任意时刻l的注意力函数，于是，每一个ca_l均对应一个解码网络的状态

不使用注意力机制时，解码网络的隐状态

更新只依赖于上一状态，未关注编码网络的状态。使用注意力机制后，状态更新除了与上一状态相关外，还与ca_l相关，即与编码网络的状态相关。

另一方面，由于注意力函数包含了输入x₁至x_m的完整信息，而解码网络的新状态

依赖于注意力函数，说明编码网络的输入信息传递到了解码网络，实现了信息记忆。

此外，基于注意力机制的序列编码可以看做全连接的前馈神经网络，由于每一时刻的ca_l均不同，那么，意味着第l层的每个位置都接受第l-1层位置输出的同时，连接权重也动态变化。

(4)将ca_l作为解码网络l时刻的输入，得到l时刻的隐状态

并重复执行前述步骤(3)，直至获得最后一个时刻的隐状态

其中，解码网络每一时刻的隐状态包含了所有子设备对应的隐状态。

(5)将解码网络最后一个时刻的隐状态

输入分类器g(·)，输出预测信息；训练阶段，可以利用输出的预测信息进行网络训练；感知阶段，则利用输出的预测信息进行正常或异常的分类。此部分中，如果输入日志数据为日志键序列，则输出为日志的条件概率分布；如果输入日志数据为参数值向量序列，则输出为预测向量，具体在后文进行说明。

2、异常感知的思路和方法。

如图3所示，异常感知模型包括两部分：日志键异常感知模块和参数值异常感知模块。

模型训练阶段：训练数据是ATP系统各子设备产生的日志文件，经过解析，每个日志条目由一个日志键和一个参数值向量组成，且按时间顺序排列；将由日志键组成的日志数据(日志键序列)输入至日志键异常感知模块，采用前述训练阶段介绍的方式训练日志键异常感知模块，以及将由参数值向量组成的日志数据(参数值向量序列)输入至参数值异常感知模块，采用前述训练阶段介绍的方式训练参数值异常感知模块。此处的日志键序列与参数值向量序列均可以统称为前文所述的日志序列。

模型感知阶段：ATP系统正常运行，实时产生一条新的日志条目，即时解析为一个日志键和一个参数值向量。通过日志键异常感知模块检测传入的日志键是否正常，如果是，通过参数值异常感知模块检测参数值向量。如果该日志条目中日志键或者参数值向量被检测为异常，则将其标记为异常，此时，模型在车载人机界面(Driver-Machine Interface，DMI)上提供语义告示，第一时间发出预警，并给出明确的指引操作和应急处置方案。如果异常标记最终被证实为误报，则更新模型，使其适应新的模式。

如下分别说明日志键异常感知和参数值异常感知的方法。

(1)日志键异常感知。

日志数据由ATP系统特定的程序生成，其种类是恒定的。令K＝{k₁,k₂,…,k_u}表示ATP系统一组特定的日志键集合，日志键序列反映了ATP系统运行的业务逻辑顺序。令km_i表示某个日志键序列中位置i处的日志键，显然，km_i为K中u个日志键之一，并且很大程度上取决于km_i之前最近的日志键。

由于日志类型是恒定的，因而，将日志键异常感知抽象为一个多分类问题，不同的日志键定义为不同的类。多分类器的输入是最近日志键的历史记录，假设为h个最近的日志键窗口w，即w＝{km_g-h,…,km_g-2,km_g-1}，其中，w中的任意元素均属于集合K，g是目标日志键k_a的序列Id。输入层将来自集合K中的u个可能的日志键编码为独热向量。输出是利用分类函数将解码网络最后一个时刻的隐状态转换为u个日志键的条件概率分布，以确定目标日志键的条件概率分布，即Pr[km_g＝k_a|w]，其中，k_a∈K(a＝1,2,…,u)。

训练阶段：日志键异常感知模块将km_g∈K作为目标日志键的条件概率分布，以更新模型本身，目标是学习一个能够最大化训练日志键序列的条件概率分布。这里，将条件概率分布中前q个日志键记为正常。q为正整数，q值对异常感知率和假报警率之间的权衡做了调节；q是个变量，需要根据训练结果调整；示例性的：初始化时，人工设置一个q值，例如，8；测试日志键异常感知模块的各种指标(例如，精度、召回率等)；然后再修改q值，例如，10；再测试日志键异常感知模块的各种指标。以此类推，直到最后得到满意的指标对应的q值。

感知阶段：为了感知一个目标日志键km_g是否异常，其策略是排序所有可能的日志键K。基于输入的日志键窗口w而得到条件概率分布Pt[km_g|w]＝{k₁:p₁,k₂:p₂,…,k_u:p_u}，其中，k₁:p₁,k₂:p₂,…,k_u:p_u分别表示与日志键k₁对应的概率为p₁，与日志键k₂对应的概率为p₂，与日志键k_u对应的概率为p_u，按照概率大小对日志键做降序排列，确定前q个日志键为对应的候选日志键；如果km_g在q个候选日志键之内，则目标日志键km_g标记为正常，否则，标记为异常。

感知阶段中，如果日志键序列中某个目标日志键被标记为异常，则认定它对应的子设备工作异常。

(2)参数值异常感知。

日志键序列对于ATP系统的异常感知非常有用，但是在部分场景下，ATP系统异常并非表现为执行序列异常，而是表现为不规则的参数值。这些参数值向量v构成参数值向量序列，即参数矩阵。将参数值向量序列作为单独的时间序列训练参数值异常感知模块。每一列是一个一元时间序列，构成的矩阵有多列，可看做多元时间序列。基于LSTM方法，输入为：最近历史记录构成的向量参数序列，从每一行的角度看，每个时间实例t_i是该时间戳中的向量参数；输出为：一个实数值向量，作为下一个参数值向量的预测值。

训练阶段：动态调整LSTM模型的权重，最大程度减少预测值与观测值之间的误差。

感知阶段：每个时刻中，将输入的向量参数与预测值之间的误差建模为高斯分布，如果误差在预测值的置信区间内，则输入的向量参数被标记为正常，否则异常。

同样的，如果参数值向量序列中某个向量参数被标记为异常，则认定它对应的子设备工作异常。

3、异常处置方案。

异常感知模型实现故障快速准确定位后，接下来就是如何处置的问题。ATP系统不同的异常状态对应着不同的工作流，异常处理方式不尽相同。

将不同的异常处理流程抽象为有限状态自动机(Finite State Automaton，FSA)，用自动机的状态转移和严密执行顺序刻画系统异常处理流程。在此基础上，形成知识库，复用于全路不同运维主体对此类异常的快速处置。示例如图4所示，当模型感知为BTM软件配置异常时，处理方式为：司机应重启ATP系统，列车入库之后，维修人员检查测试；当感知为BSA异常时，处理方式为：列车制动停车后，若文本消失，司机须与调度人员确认前方进路正常后，方可行车，否则重启ATP系统。全路不同的电务段(或高铁段)优化完善管内发生的ATP异常处理流程，随后在统一平台上共享，其他电务段若遇到类似故障，可直接复用也可继续完善。如此循环，在全路范围形成ATP系统规范化的故障处理流程，然后一一抽象为自动机模型，嵌入至异常感知模型中。当感知到某个异常时，激活自动机，自启动该异常对应的处理流程和方案。可通过扩展丰富DMI的提示实现，指导随车机械师和司机快速处置异常。

本发明实施例提供的上述方案主要获得如下有益效果：

1)实现了ATP运行信息的记忆和前后时序相关性分析。

2)设计搭建了加入注意力机制的编码-解码架构，编码器和解码器均由LSTM网络构成。模型在众多输入日志序列矩阵中聚焦关键位置，解码器的前一时刻隐状态作为查询向量，每一步动态计算与编码器隐状态不同的注意力函数，得到不同的连接权重更新解码器的隐状态输出。由于对输入设置了不同的权重，解决了ATP系统异常感知的快速性要求。

3)利用多头注意力机制抽象多个设备同时产生运行信息的场景，刻画信息的层次特征，并行地从输入信息中挑选多组关键信息。每个注意力关注输入序列的不同部分，然后再综合构成一个统一的注意力函数，解决了ATP系统异常感知的并发性问题。

4)提出了统一的一种方法，在线感知ATP系统异常，可同时满足ATP实际运用场景需要的时序相关性、快速性和并发性要求。

5)通过历史日志数据训练模型，得到最优的模型参数。然后使用最优模型在线处理日志信息并感知异常，解决故障定位困难、司机应急处置不当等问题。

6)将ATP系统不同异常状态的处理流程抽象为有限状态自动机，形成统一的知识库，复用于全路其他类似的场景。司机或随车机械师可准确快速地处置异常，缩小故障延时和影响范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种高速列车自动防护系统实时异常感知方法，其特征在于，包括：

构建ATP系统异常感知模型，包括：编码网络、解码网络、注意力机制层与分类器；所述ATP系统为高速列车自动防护系统；

训练阶段：通过编码网络对历史时刻ATP系统中各子设备的日志数据进行编码，每一时刻编码时采用一个内部状态进行线性的循环信息传递，记忆之前时刻的信息，再结合内部状态计算隐状态，获得所有时刻的隐状态；将最后一个时刻的隐状态作为解码网络的初始时刻的隐状态，之后，解码网络的每一时刻的隐状态，均通过多头注意力机制层结合上一时刻的隐状态与所述所有时刻编码网络的隐状态，计算出的注意力函数确定；将解码网络的最后一个时刻的隐状态输入至分类器，输出预测信息，利用预测信息与真实信息的差异训练所述ATP系统异常感知模型；其中，每一子设备对应一个注意力机制层；

感知阶段：通过训练后的ATP系统异常感知模型，对ATP系统正常运行时实时产生的日志数据进行异常感知。

2.根据权利要求1所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，所述通过编码网络对历史时刻ATP系统中若干子设备的日志数据进行编码，每一时刻编码时采用一个内部状态进行线性的循环信息传递，记忆之前时刻的信息，再结合内部状态计算隐状态，获得所有时刻的隐状态包括：

所述编码网络通过长短时记忆神经网络实现，每一时刻，根据输入的日志数据，计算候选状态、遗忘门、输入门与输出门，利用遗忘门、输入门与候选状态计算内部状态，再利用内部状态与输出门计算隐状态，将所有时刻的隐状态记为

其中，输入的日志数据为ATP系统中若干子设备产生的日志数据形成的日志序列，m为输入日志序列的长度，等于时刻总数，

表示i时刻的隐状态，i＝1,…,m。

3.根据权利要求2所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，利用遗忘门、输入门与候选状态计算内部状态，再利用内部状态与输出门计算隐状态表示为：

其中，c_i表示i时刻的内部状态，f_i表示i时刻的遗忘门，i_i表示i时刻的输入门，o_i表示i时刻的输出门，

表示i时刻的候选状态，⊙表示向量元素乘积，c_i-1表示i-1时刻的内部状态，

表示i时刻的隐状态。

4.根据权利要求1所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，所述解码网络的每一时刻的隐状态，均通过多头注意力机制层结合上一时刻的隐状态与所述编码网络所有时刻的隐状态，计算出的注意力函数确定包括：

使用多头注意力机制，每一子设备对应一个注意力机制，对于第s个子设备，l时刻中，利用l-1时刻对应的隐状态

作为查询向量，通过第s个子设备对应的注意力机制层与编码网络所有时刻的隐状态H^enc，计算出第s个子设备对应的l时刻的注意力函数，将所有子设备对应的l时刻的注意力函数拼接作为解码网络的l时刻的注意力函数ca_l，再利用l时刻的注意力函数ca_l与解码网络l-1时刻的隐状态

计算解码网络l时刻的隐状态

其中，解码网络每一时刻的隐状态包含了所有子设备对应的隐状态。

5.根据权利要求4所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，通过多头注意力机制层结合上一时刻的隐状态与所述编码网络所有时刻的隐状态，计算注意力函数包括：

对于l时刻，第s个子设备对应的注意力函数

通过如下公式计算：

其中，att(.)表示注意力机制层，H^enc表示所有时刻的隐状态，将H^enc表示为键值对(K^enc,V^enc)，

和V_s ^enc为利用第s个子设备对应注意力机制中的参数矩阵

与

计算出的键向量矩阵与值向量矩阵，计算方式为：

为键向量矩阵

的第i个键向量，

为值向量矩阵V_s ^enc的第i个值向量，

表示编码网络i时刻的隐状态，

表示第s个子设备l-1时刻对应的隐状态，

表示第s个子设备对应的注意力分布，输入的日志数据为ATP系统中若干子设备产生的日志数据形成的日志序列，m为输入日志序列的长度，等于时刻总数；

的计算公式如下：

其中，s(.)表示注意力打分函数，使用缩放点积模型计算，

为键向量矩阵

的第j个键向量；

将所有子设备对应的注意力函数拼接，得到解码网络的l时刻的注意力函数ca_l。

6.根据权利要求1～5任一项所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，所述ATP系统异常感知模型包括：日志键异常感知模块与参数值异常感知模块；所述日志键异常感知模块和参数值异常感知模块的结构相同，均包含对应的编码网络、解码网络、注意力机制层与分类器；

预先将历史时刻的日志进行解析，获得两部分日志数据，一部分为日志键，另一部分为向量参数；其中，将由日志键组成的日志数据输入至日志键异常感知模块，采用训练阶段的方式训练日志键异常感知模块，以及将由参数值向量组成的日志数据输入至参数值异常感知模块，采用训练阶段的方式训练参数值异常感知模块；

感知阶段，对ATP系统正常运行时实时产生的日志进行解析，将解析获得的由日志键组成的日志数据与由向量参数组成的日志数据分别对应的输入至训练后的日志键异常感知模块与参数值异常感知模块；当日志键异常感知模块或参数值异常感知模块输出结果为异常时，则认定ATP系统异常。

7.根据权利要求6所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，所述日志键异常感知模块在训练阶段，将km_g∈K作为目标日志键的条件概率分布，根据与相应时刻的真实日志键的差异构建损失函数来训练日志键异常感知模块，以更新日志键异常感知模块的内部参数，目标是学习一个能够最大化训练日志键序列的条件概率分布；其中，K＝{k₁,k₂,…,k_u}表示ATP系统一组指定的日志键，u为日志键数目；训练时，将条件概率分布中前q个日志键标记为正常；q为正整数，用于权衡异常感知率和假报警率；

感知阶段，对于目标日志键km_g，基于输入的日志键窗口w，计算条件概率分布Pt[km_g|w]＝{k₁:p₁,k₂:p₂,…,k_u:p_u}，其中，w＝{km_g-h,…,km_g-2,km_g-1}包含目标日志键km_g前h个最近的日志键，w中的任意元素均属于集合K，k₁:p₁,k₂:p₂,…,k_u:p_u分别表示与日志键k₁对应的概率为p₁，与日志键k₂对应的概率为p₂，与日志键k_u对应的概率为p_u，按照概率大小对日志键做降序排列，确定前q个日志键为对应的候选日志键；如果km_g在q个候选日志键之内，则目标日志键km_g标记为正常，否则，标记为异常。

8.根据权利要求6所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，所述参数值异常感知模块在训练阶段，每次输入为向量参数，输出为一个实数值向量，作为下一个输入的向量参数的预测值，通过动态调整LSTM模型的权重，减少下一个输入的向量参数与下一个输入的向量参数的预测值之间的误差；

感知阶段，每个时刻中，将输入的向量参数与预测值之间的误差建模为高斯分布，如果误差在预测值的置信区间内，则输入的向量参数被标记为正常，否则异常。

9.根据权利要求6所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，当感知阶段认定ATP系统异常时，通过扩展DMI的显示，发出预警提示，引导用户执行异常处理流程。

10.根据权利要求9所述的一种高速列车自动防护系统实时异常感知方法，其特征在于，将不同的异常处理流程抽象为有限状态自动机，用有限状态自动机的状态转移和执行顺序刻画系统异常处理流程，在此基础上，形成知识库，复用于全路不同运维主体对相同类异常的处置。

Images