CN115776449B - 列车以太网通信状态监测方法及系统 - Google Patents

Abstract

本发明提供一种列车以太网通信状态监测方法及系统，属于通信技术领域，采集不同业务下TRDP数据流；对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；基于计算的性能统计指标，结合局部相关度计算、聚类算法D‑Stream以及衰减窗口技术识别数据流中的异常情况。本发明实现高效率的数据采集；利用大数据平台具备的数据分析以及分布式存储的能力来保证对以太网通信数据的性能指标统计的实时性以及数据的高效存取；结合局部相关度计算、D‑Stream算法以及衰减窗口技术自适应识别以太网多通信业务数据流中的异常情况，提高了异常情况监测的准确性。

Description

列车以太网通信状态监测方法及系统

技术领域

本发明涉及通信技术领域，具体涉及一种列车以太网通信状态监测方法及系统。

背景技术

在列车以太网通信过程中，列车以太网进行数据交换主要依赖于TRDP。TRDP是一种基于IP协议的网络通信协议，在TCP/IP协议中位于应用层和传输层中间，具有实时性以及可靠性等特点。目前列车以太网通讯技术已成为了新一代列车通讯技术，拥有大带宽传输更多业务的数据信息，然而在通信过程中仍然存在不可避免的设备故障、网络通信链路异常等问题。此外，列车通信网络错综复杂，列车通信过程中列车各子系统以及设备之间进行信息交互时会产生大量的通信数据，数据传输的正确性以及实时性对于列车的安全运行起着关键的作用。因此，建立一套实时监测列车通信网络中各类业务的通信状况的平台对于列车设备以及通信网络的维护具有重要的现实意义。

网络测量是量化网络性能指标，了解网络行为最基本和最有效的手段。当前对网络测量技术以及系统，这分别从流量特征、网络拓扑和性能评价等方面对网络进行测量，但是由于业务需求的不同并不能完全适用于列车以太网通信网络的监测。为避免在监测过程中对列车通信网络造成影响，列车以太网的监测一般采用被动测量的方式，要求准确定位异常位置并对统计结果进行回溯。由于列车网络业务众多，TRDP数据包数量巨大，对于网络数据的嗅取、算法的效率以及前端的渲染提出了巨大的挑战，利用传统网络测量方式对网络数据进行存储以及计算，效率低下，且难以保证计算的准确性。

除了满足列车以太网通信的可靠性和实时性以外，还应充分考虑列车通信网络的信息安全威胁，引入有效的安全机制。异常检测技术作为一种高效主动的防御机制，能够实时监测到网络数据流中的异常情况并做出报告，为列车的正常运行提供保障。然而，针对TRDP网络状态监视和健康评估方面的研究仍然存在较大缺口。常见的异常检测算法例如iForest、OCSVM多基于静态数据或单数据流进行建模，忽略了以太网通信数据流的持续性、大量性以及各设备产生的数据流之间的相关性，并且没有考虑到近期和历史数据的重要性并不相同，对于异常数据检测的准确性和自适应性较低。

综上，现有研究未充分考虑TRDP数据包的特点，面对连续不断的巨大的列车通信网络流量的采集和计算速度较慢，实时性不高，且不对列车通信业务类别加以区分，导致异常溯源能力较差；此外，没有对列车以太网通信数据流的连续性、多维相关性、数据陈旧性等问题深入分析，导致异常监测结果的准确性较低。

发明内容

本发明的目的在于提供一种列车以太网通信状态监测方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种列车以太网通信状态监测方法，包括：

采集不同业务下TRDP数据流；

对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

优选的，采集不同业务下TRDP数据流，包括：车载网系统会将网络链路数据镜像映射到一台交换机，从交换机中获取列车以太网TRDP网络数据包；对于获取的网络数据包得到的数据类型为十六进制ASCii码，首先是将抓取的数据包数据转化为十六进制字节，之后直接解析出数据包的Comid，通过根据每类业务Comid的唯一性，将数据包存入不同的先进先出队列当中，存入队列之后由对应进程解析出数据包内容，并将解析出的数据包内容赋值于数据包对象。

优选的，解析出的数据包内容包括：源IP地址、目的IP地址、Comid(业务编码)、序列号、消息类型、etbTopoCnt(数据是否连续标记)、opTrnTopoCnt(控制通信标记)、datasetLength(数据长度)。

优选的，聚类算法D-Stream，包括：

首先定义一组离散的时间步长，t表示当前时间步长，当前到达的多数据流X^t＝{X₁,X₂,X₃,...,X_i...}，其中每一条数据记录X_i＝{x_i1,x_i2,...,x_id}，d表示数据记录的特征维度；当t为0时，创建一个空的哈希表grid，在每一个时间步长读入新的X_i，决定X_i的映射的密度网格g，如果g不存在grid中，就将其插入，之后更新网格g的特征向量。

优选的，当t第一次到达时间间隔gap时，调用函数对grid进行初始化，获得一个初始集群，此后，每隔一个gap的时间步长就对网格进行探测，移除零星的网格并调整集群。其中，网格的零星与否通过网格密度所在的区间判定，该区间通过参数D_m和D_l决定：

其中，N表示数据空间中划分出的网格总数，C_m和C_l是两个常数，C_m＞1，0＜C_l＜1；λ表示衰减因子。

优选的，衰减窗口技术包括：采用增量思想，当数据到达后，乘以一个权重，该权重是一个时间相关的函数，数据在空间内留存的时间越长，权重越小；其中，衰减函数为：

f(t)＝λ^t-t′；

其中，0＜λ＜1，其表示衰减因子，λ越大，数据的衰减速度越快，历史数据对当前聚类结果的影响越小；t表示当前数据到达该网格的时间，t′表示该网格内上一个数据到达的时间。

第二方面，本发明提供一种列车以太网通信状态监测系统，包括：

采集模块，用于采集不同业务下TRDP数据流；

监测模块，用于对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

识别模块，用于基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

优选的，还包括数据传输模块，用于利用Kafka消息队列作为分布式实时数据传输通道，将采集模块采集的不同业务下TRDP数据流发送到监测模块。

优选的，还包括存储模块，用于将监测模块处理后的数据存储在Hadoop平台下的InfluxDB和MySQL数据库中。

第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的列车以太网通信状态监测方法。

第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的列车以太网通信状态监测方法。

第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的列车以太网通信状态监测方法的指令。

本发明有益效果：全面分析了TRDP协议的特征，既考虑了列车以太网通信过程中复杂的多通信业务异常监测的时效性和可靠性需求，也考虑到列车以太网通信的信息防护需求；通过Wireshark对TRDP数据包进行捕获，并按需抽取和分割，从而实现高效率的数据采集；利用大数据平台具备的数据分析以及分布式存储的能力来保证对以太网通信数据的性能指标统计的实时性以及数据的高效存取；结合局部相关度计算、D-Stream算法以及衰减窗口技术自适应识别以太网多通信业务数据流中的异常情况，提高了异常情况监测的准确性。

本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的列车实时以太网监测系统架构图。

图2为本发明实施例所述的TRDP数据包采集流程图。

图3为本发明实施例所述的Flink引擎数据处理流程图。

图4为本发明实施例所述的面向多维数据流的D-Stream算法框架图。

具体实施方式

下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。

还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。

本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。

实施例1

本实施例1提供一种列车以太网通信状态监测系统，该系统包括：

采集模块，用于采集不同业务下TRDP数据流；

监测模块，用于对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

识别模块，用于基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

列车以太网通信状态监测系统还包括数据传输模块，该模块用于利用Kafka消息队列作为分布式实时数据传输通道，将采集模块采集的不同业务下TRDP数据流发送到监测模块。

还包括存储模块，用于将监测模块处理后的数据存储在Hadoop平台下的InfluxDB和MySQL数据库中。

本实施例1中，利用上述的系统实现了列车以太网通信状态监测方法，包括如下步骤：

利用采集模块采集不同业务下TRDP数据流；

利用监测模块对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

利用识别模块基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

其中，数据传输模块利用Kafka消息队列作为分布式实时数据传输通道，将上一层采集到的网络数据发送到网络性能监测模块(监测模块)。监测模块处理后的网络数据被存储在数据存储层的Hadoop平台下的InfluxDB和MySQL数据库中，以方便数据的存取。

采集不同业务下TRDP数据流，包括：车载网系统会将网络链路数据镜像映射到一台交换机，从交换机中获取列车以太网TRDP网络数据包；对于获取的网络数据包得到的数据类型为十六进制ASCii码，首先是将抓取的数据包数据转化为十六进制字节，之后直接解析出数据包的Comid，通过根据每类业务Comid的唯一性，将数据包存入不同的先进先出队列当中，存入队列之后由对应进程解析出数据包内容，并将解析出的数据包内容赋值于数据包对象。

解析出的数据包内容包括：源IP地址、目的IP地址、Comid(业务编码)、序列号、消息类型、etbTopoCnt(数据是否连续标记)、opTrnTopoCnt(控制通信标记)、datasetLength(数据长度)。

聚类算法D-Stream，包括：

首先定义一组离散的时间步长，t表示当前时间步长，当前到达的多数据流X^t＝{X₁,X₂,X₃,...,X_i...}，其中每一条数据记录X_i＝{x_i1,x_i2,...,x_id}，d表示数据记录的特征维度；当t为0时，创建一个空的哈希表grid，在每一个时间步长读入新的X_i，决定X_i的映射的密度网格g，如果g不存在grid中，就将其插入，之后更新网格g的特征向量。

当t第一次到达时间间隔gap时，调用函数对grid进行初始化，获得一个初始集群，此后，每隔一个gap的时间步长就对网格进行探测，移除零星的网格并调整集群。其中，网格的零星与否通过网格密度所在的区间判定，该区间通过参数D_m和D_l决定：

其中，N表示数据空间中划分出的网格总数，C_m和C_l是两个常数，C_m＞1，0＜C_l＜1；λ表示衰减因子。

衰减窗口技术包括：采用增量思想，当数据到达后，乘以一个权重，该权重是一个时间相关的函数，数据在空间内留存的时间越长，权重越小；其中，衰减函数为：

f(t)＝λ^t-t′；

其中，0＜λ＜1，其表示衰减因子，λ越大，数据的衰减速度越快，历史数据对当前聚类结果的影响越小；t表示当前数据到达该网格的时间，t′表示该网格内上一个数据到达的时间。

实施例2

如图1所示，本实施例2中，构建了一种集数据采集层(即采集模块)、数据传输层(即数据传输模块)、网络性能监测模块(即监测模块)、数据存储层(即存储模块)及数据应用层(该数据应用层包含了识别模块)为一体的列车以太网实时监测系统。

本实施例2中，上述列车以太网实时监测系统具体实施流程如下：

1)数据采集层获得不同业务下TRDP数据包的大小和发送周期，之后选择需要采集数据包的网卡进行数据包采集，数据包采集流程如图2所示。

在实际应用过程中，车载网系统会将网络链路数据镜像映射到一台交换机，之后将采集设备接入到交换机当中，从而捕获到列车以太网TRDP网络数据包。因此数据包采集程序必须要能够有搜索与车载网通信的网卡的功能，在选择对应网卡之后，便开始对网络数据包开始抓取，抓取到网络数据包之后开始对网络数据包进行解析。

对于WinPcap中抓取到网络数据包得到的数据类型为十六进制ASCii码，首先是将抓取的数据包数据转化为十六进制字节，之后直接解析出数据包的Comid，目前解析的数据包主要是基于UDP传输的过程数据，直接根据TRDP协议格式对网络数据包进行解析，对于无法解析成TRDP网络数据包进行丢弃。由于根据TRDP网络数据包的序列号实现对网络通信的监测，因此需要每一类业务数据在传输和存储的过程中保证顺序性，通过根据每类业务Comid的唯一性，将数据包存入不同的先进先出队列当中，存入队列之后由对应进程解析出数据包内容，解析内容包括源IP地址、目的IP地址、Comid、序列号、消息类型、etbTopoCnt、opTrnTopoCnt、datasetLength等信息，并将这些信息赋值于数据包对象。

数据传输层利用Kafka消息队列作为分布式实时数据传输通道，将上一层采集到的网络数据发送到网络性能监测模块；

网络性能监测模块接收上游传输过来的网络数据流，利用Flink实时流数据处理平台对网络数据包进行计算，汇总数据流的多个性能统计指标，得出最后的统计结果以判断数据流的乱序和丢包情况。数据处理流程如图3所示。

处理后的网络数据被存储在数据存储层的Hadoop平台下的InfluxDB和MySQL数据库中，以方便数据的存取。

数据应用层实现历史数据获取、异常检测、界面可视化和异常报告导出。首先，历史数据获取模块获取存入在数据存储层中的数据，接着通过异常检测模块(即识别模块，用于基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况)检测网络中的异常情况，然后由报告导出模块根据异常数据生成报告，并由界面可视化模块对检测结果进行大屏展示。其中，异常检测采用一种多数据流聚类算法实现对网络数据的检测。

本实施例2中，多数据流聚类的以太网异常检测方法的具体思路为：

以太网通信数据流按照维度高低分为单数据流及多数据流，关键的单数据流反映了列车上某一设备的重要状态信息，而多数据流的异常是各维度数据综合作用的结果，体现了各设备之间的关联性。以streamID作为来自不同数据源头的数据流编号，那么考虑随时间的推移顺序流入的多数据流形式为为连续三元组序列<streamID,timestamp,value>。假设X₁＝{x₁₁,x₁₂,...,x_1d}和X₂＝{x₂₁,x₂₂,...,x_2d}分别为某时刻到达的两个数据流，d表示单数据流的特征维度，根据多时间序列数据流的特点，本实施例2中，通过以下方式计算两个数据流之间的局部相关度：

其中，x_1,i表示数据流1中的数据i，x_2,i表示数据流2中的数据i。

以太网通信数据流具有数据量无限、到达速度快、不可再现、随时间改变等特点，不可能对其进行全部存储，如果没有对已经到达的数据进行及时处理，旧数据就会被新数据覆盖，造成有价值信息的丢失。以太网通信数据的异常检测本质上是对流式数据的异常检测，列车工作者大多更加关注最近一段时间内的数据的异常情况，因此有必要考虑到数据流处理的时序范围。

此外，以太网通信数据流随时间持续到达，不能在检测时获得全部数据，异常模式不能通过离线数据完全建立。因此，本实施例2中引入基于网格和密度的聚类算法D-Stream来对TRDP数据流中的异常情况进行检测分析。

D-Stream算法实现了一种增量式的数据处理方式以满足用户任何时刻的聚类请求，其聚类过程为：首先初始化密度网格和网格群列表，之后循环读入数据并进行处理，数据处理分为在线和离线两部分进行。在线部分是算法的更新过程。当有数据流到达时，对于每一个时间步长，在线组件不断读取新的数据元素，将多维数据映射到多维空间中对应的离散化密度网格中，然后更新密度网格的特征向量。离线部分是算法的聚类过程。离线组件在每个间隔时间步长动态调整集群。图4展示了面向多维数据流的D-Stream的算法框架。由于数据流的大量、无限性的特点，无法将其全部存储，D-Stream将多维数据空间划分为了多个密度网格，并在此基础上形成簇。

表1展示了D-Stream算法的整体流程。算法首先定义了一组离散的时间步长，其中步长通过0,1,2,...n,..进行标记。t表示当前时间步长，当前到达的多数据流X^t＝{X₁,X₂,X₃,...,X_i,...}，其中每一条数据记录X_i＝{x_i1,x_i2,...,x_id}，d表示数据记录的特征维度。当t为0时，创建一个空的哈希表grid，在每一个时间步长读入新的X_i，决定X_i的映射的密度网格g，如果g不存在grid中，就将其插入，之后更新网格g的特征向量。当t第一次到达时间间隔gap(整数参数)时，算法将会调用函数对grid进行初始化，获得一个初始集群，此后，每隔一个gap的时间步长就对网格进行探测，移除零星的网格并调整集群。其中，网格的零星与否通过网格密度所在的区间判定，该区间通过参数D_m和D_l决定：

其中，N表示数据空间中划分出的网格总数，C_m和C_l是两个常数，C_m＞1，0＜C_l＜1；λ表示衰减因子。该区间将网格分为了稠密、稀疏和过渡三种。

表1

因为数据流不能被全部存储，所以对数据流的处理方法在一个高效的聚类算法中尤为重要。衰减窗口技术是较为普遍的一种数据流处理方法，其采用了一种增量的思想，当数据到达后，不考虑它的离开，而是为它乘以一个权重，该权重是一个时间相关的函数，数据在空间内留存的时间越长，权重越小，因此从整体上看，历史数据对当前的影响会越来越小。衰减函数为：f(t)＝λ^t-t′；其中，0＜λ＜1，其表示衰减因子，λ越大，数据的衰减速度越快，历史数据对当前聚类结果的影响越小；t表示当前数据到达该网格的时间，t′表示该网格内上一个数据到达的时间。

综上，本实施例2中，利用基于Wireshark的大数据文件高效分割方法，通过使用Lua插件，对每片数据进行控制，大大加快切割速度，通过对TRDP数据包文件进行高效率地按需抽取和分割来实现高效的数据采集。

通过Flink的窗口机制、键值状态、水印等特性实现对基于TRDP协议的列车通信网络的实时高性能计算。在Flink流式计算过程中对网络链路中的每一类业务进行分组计算，必须对主流信息进行处理。

通过数据流中唯一的特性Comid，以Comid作为分组键值，使用KeyBy()方法对数据流进行分组。分组之后便可以对各类业务分别进行丢包、乱序、时延等计算。

针对列车通信网络业务数据流的特点，通过局部相关度计算捕获多数据流之间的关联性，采用高效的基于网格和密度的多数据流聚类算法D-Stream学习网络数据协议特征库，进而实现基于特征的数据挖掘分析。

该算法考虑到高维数据之间的相关性，利用密度衰减技术降低了历史数据对聚类结果的影响，并且能够自适应不断变化的数据流，提高异常检测的速率和准确性。

实施例3

本发明实施例3提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现列车以太网通信状态监测方法，该方法包括：

采集不同业务下TRDP数据流；

对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

实施例4

本发明实施例4提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现列车以太网通信状态监测方法的指令，该方法包括：

采集不同业务下TRDP数据流；

对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况。

综上所述，本发明实施例提出列车以太网实时监测方法与系统，解决传统网络监测无法实时分析出列车以太网通信过程中众多复杂业务的通信质量和异常监测的问题，对列车通信网络流量进行实时捕获，计算各类业务的列车实时数据协议(Train Real-timeData Protocol，TRDP)数据包的丢失、乱序以及时延波动等情况，并提出基于多数据流聚类的以太网异常检测算法来监测TRDP数据包的异常信息，建立多数据流的潜在相关性，通过衰减技术降低历史数据带来的影响，实现对异常情况的实时准确预警。监测过程中对列车以太网的性能指标信息以及异常信息进行实时展示，并实现统计数据的管理及监测报告的导出。通过大数据分布式处理技术、分布式架构技术实现对列车以太网通信情况的远程、实时、长时间的监测以及对列车各类通信业务的性能指标统计，为列车网络运维人员分析列车各设备的网络链路运行情况提供帮助。

其中，在数据包采集过程中，根据TRDP数据包的Comid和序列号对数据包进行分业务、顺序采集，不仅能够提升下游网络性能监测的数据计算效率和正确率，还能够提升列车的多通信业务异常定位的可溯源性。

在数据传输过程中利用具有良好吞吐量的Kafaka作为数据传输通道，提升传输效率；InfluxDB常用于监测数据统计，在数据存储过程中利用InfluxDB作为存储工具，实现高性能数据查询和存储。

在网络性能监测过程中，依靠Flink数据处理引擎进行数据处理，通过Flink的数据流式处理的方式实现对网络性能的实时统计，包括丢失、乱序以及时延波动，提升数据处理的效率，保证了列车以太网异常监测的时效性和可靠性。

在列车以太网异常监测过程中，通过局部相关度计算建立多维数据流之间的关联性，捕获多设备对异常结果的综合作用；通过D-Stream和密度衰减技术来捕获网络数据流的动态变化，随着时间的推移自适应地衰减历史数据对检测结果的影响，保证了在海量高维的列车以太网通信数据下的异常检测的速度和灵活性。通过这种方法，实现对异常情况的实时准确预警。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种列车以太网通信状态监测方法，其特征在于，包括：

采集不同业务下TRDP数据流；

对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况；

其中，局部相关度计算包括：假设X₁＝{x₁₁,x₁₂,...,x_1d}和X₂＝{x₂₁,x₂₂,...,x_2d}分别为某时刻到达的两个数据流，d表示单数据流的特征维度，通过以下方式计算两个数据流之间的局部相关度：

其中，x_1,i表示数据流1中的数据i，x_2,i表示数据流2中的数据i；

聚类算法D-Stream，包括：首先定义一组离散的时间步长，t表示当前时间步长，当前到达的多数据流X^t＝{X₁,X₂,X₃,...,X_i...}，其中每一条数据记录X_i＝{x_i1,x_i2,...,x_id}，d表示数据记录的特征维度；当t为0时，创建一个空的哈希表grid，在每一个时间步长读入新的X_i，决定X_i的映射的密度网格g，如果g不存在grid中，就将其插入，之后更新网格g的特征向量；

衰减窗口技术包括：采用增量思想，当数据到达后，乘以一个权重，该权重是一个时间相关的函数，数据在空间内留存的时间越长，权重越小；其中，衰减函数为：

f(t)＝λ^t-t′；

其中，0＜λ＜1，其表示衰减因子，λ越大，数据的衰减速度越快，历史数据对当前聚类结果的影响越小；t表示当前数据到达该网格的时间，t′表示该网格内上一个数据到达的时间。

2.根据权利要求1所述的列车以太网通信状态监测方法，其特征在于，采集不同业务下TRDP数据流，包括：车载网系统会将网络链路数据镜像映射到一台交换机，从交换机中获取列车以太网TRDP网络数据包；对于获取的网络数据包得到的数据类型为十六进制ASCii码，首先是将抓取的数据包数据转化为十六进制字节，之后直接解析出数据包的Comid，通过根据每类业务Comid的唯一性，将数据包存入不同的先进先出队列当中，存入队列之后由对应进程解析出数据包内容，并将解析出的数据包内容赋值于数据包对象。

3.根据权利要求2所述的列车以太网通信状态监测方法，其特征在于，解析出的数据包内容包括：源IP地址、目的IP地址、业务编码、序列号、消息类型、数据是否连续标记、控制通信标记、数据长度。

4.根据权利要求1所述的列车以太网通信状态监测方法，其特征在于，当t第一次到达时间间隔gap时，调用函数对grid进行初始化，获得一个初始集群，此后，每隔一个gap的时间步长就对网格进行探测，移除零星的网格并调整集群；其中，网格的零星与否通过网格密度所在的区间判定，该区间通过参数D_m和D_l决定：

其中，N表示数据空间中划分出的网格总数，C_m和C_l是两个常数，C_m＞1，0＜C_l＜1；λ表示衰减因子。

5.一种列车以太网通信状态监测系统，其特征在于，包括：

采集模块，用于采集不同业务下TRDP数据流；

监测模块，用于对采集的TRDP数据流进行计算，汇总数据流的性能统计指标；其中，所述性能统计指标包括丢包情况、时延、规则匹配及吞吐量；

识别模块，用于基于计算的性能统计指标，结合局部相关度计算、聚类算法D-Stream以及衰减窗口技术识别数据流中的异常情况；

其中，局部相关度计算包括：假设X₁＝{x₁₁,x₁₂,...,x_1d}和X₂＝{x₂₁,x₂₂,...,x_2d}分别为某时刻到达的两个数据流，d表示单数据流的特征维度，通过以下方式计算两个数据流之间的局部相关度：

其中，x_1,i表示数据流1中的数据i，x_2,i表示数据流2中的数据i；

聚类算法D-Stream，包括：首先定义一组离散的时间步长，t表示当前时间步长，当前到达的多数据流X^t＝{X₁,X₂,X₃,...,X_i...}，其中每一条数据记录X_i＝{x_i1,x_i2,...,x_id}，d表示数据记录的特征维度；当t为0时，创建一个空的哈希表grid，在每一个时间步长读入新的X_i，决定X_i的映射的密度网格g，如果g不存在grid中，就将其插入，之后更新网格g的特征向量；

衰减窗口技术包括：采用增量思想，当数据到达后，乘以一个权重，该权重是一个时间相关的函数，数据在空间内留存的时间越长，权重越小；其中，衰减函数为：

f(t)＝λ^t-t′；

其中，0＜λ＜1，其表示衰减因子，λ越大，数据的衰减速度越快，历史数据对当前聚类结果的影响越小；t表示当前数据到达该网格的时间，t′表示该网格内上一个数据到达的时间。

6.根据权利要求5所述的列车以太网通信状态监测系统，其特征在于，还包括数据传输模块，用于利用Kafka消息队列作为分布式实时数据传输通道，将采集模块采集的不同业务下TRDP数据流发送到监测模块。

7.根据权利要求6所述的列车以太网通信状态监测系统，其特征在于，还包括存储模块，用于将监测模块处理后的数据存储在Hadoop平台下的InfluxDB和MySQL数据库中。

8.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-4任一项所述的列车以太网通信状态监测方法的指令。