CN116644061B - 一种铁路信号集中监测系统数据清洗方法及系统 - Google Patents

Abstract

本发明属于轨道交通信号处理技术领域，特别涉及一种铁路信号集中监测系统数据清洗方法及系统，首先通过将铁路信号的原始监测数据划分到不同级别的桶中进行处理，再分别对最小单元的桶内的监测数据进行单独清洗和分析，再将分析后的数据进行逐级合并；上述方法可以将监测数据中同类型、同时间段或者相似度较大的监测数据分开处理，可以简化整个数据清洗的难度，也可以节省聚类分析的时间，可以更为有效地识别和处理异常数据，通过补全或者剔除异常数据的方式，从而提高数据的质量，同时因为该方法中可以对数据进行预处理，从而减少模型需要处理的数据量，提高模型的效率和准确性，也可以缓解模型准确度不够的问题。

Description

一种铁路信号集中监测系统数据清洗方法及系统

技术领域

本发明属于轨道交通信号处理技术领域，特别涉及一种铁路信号集中监测系统数据清洗方法及系统。

背景技术

铁路信号集中监测系统是一个重要的安全保障系统，其主要作用是实时监测铁路信号系统的状态，并在发生故障或异常情况时及时进行报警和处理。但是由于网络波动、设备老化、环境变化等原因，采集到的数据存在一定程度的噪声和误差，这会对监测系统的报警精度造成一定的影响。

现有技术中，公开号为CN111090619A的中国申请采用基于哈希的对Map输出的中间数据的优化技术对轨道交通监测大规模流数据进行快速处理；通过采用Hash桶的方式，将具有相同key值的(ki，value)对散列到同一个桶，ki表示数据编号，value为映射的数据，在内存中，以Hash B+树作为存储结构；指定一个范围的重要key值，设计Hash函数h1，通过h1将Map的输出结果分成n个桶，其中第一个桶为D1，使D1包含这些重要的key值，以进行快速的处理。公开号为CN109918367B的中国专利提出了一种结构化数据的清洗方法，通过在当前待清洗的结构化数据中提取出至少一个键值对数据，将各键值对数据划分到与其对应的当前属性分桶中；按照当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。上述清洗算法虽然将待清洗的数据进行了分桶处理，但对于每个桶内的数据的划分规则和每个桶内的特征转换规则较为复杂，且基于哈希的优化技术和结构化数据清洗方法适用于特定类型的数据，对于较为复杂的数据类型则难以处理。

发明内容

为了解决或者部分解决现有数据清洗方法中所存在的缓解数量质量不高和模型准确度不够的问题，本发明提出了一种铁路信号集中监测系统数据清洗方法，所述方法包括以下步骤：

按照设定规则对原始监测数据进行分桶，包括外部桶和将每个外部桶划分后的内部桶；

采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗；

将每个内部桶中清洗后的监测数据进行整合。

进一步地，所述原始监测数据包括从铁路信号系统或设备的对应传感器或监测设备中采集的实时数据。

进一步地，所述按照设定规则对原始监测数据进行分桶，包括：

按照设定规则将原始监测数据划分为多个外部桶；

将每个外部桶划分为包含相同数量原始监测数据的内部桶。

进一步地，所述设定规则包括时间序列、数据的极限值或者数据类型。

进一步地，所述将每个外部桶划分为包含相同数量原始监测数据的内部桶，具体包括：

使用均匀分割或等间隔分割的方法进行划分。

进一步地，所述采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗，具体包括：

对每个内部桶内的原始监测数据进行数据清洗，并对清洗后的监测数据进行聚类分析；

其中，所述数据清洗包括识别和剔除原始监测数据中的异常数据，所述异常数据包括重复数据和不完整数据；

所述数据清洗还包括去除原始监测数据中的噪声、干扰和非信号数据。

进一步地，所述对每个内部桶内的监测数据进行聚类分析，包括：

在每个内部桶中选取k个监测数据点，作为聚类中心；

计算每个监测数据点分别到k个聚类中心的聚类；

将每个监测数据点分到最近的聚类中心，形成k个簇；

重新计算每个簇的质心，直到质心的位置不再发生变化或者达到设定的迭代次数；

按照上述步骤将每个监测数据点分配到不同的聚类中心，得到每个内部桶中的聚类结果。

进一步地，在所述将每个内部桶中清洗后的监测数据进行整合，还包括：

将由同一个外部桶划分的所有内部桶内的监测数据的聚类结果进行合并，得到每个外部桶的聚类结果；

将所有外部桶的聚类结果进行整合，得到所有监测数据的聚类分析结果。

另一方面，本发明还提出了一种铁路信号集中监测系统数据清洗系统，所述数据清洗由数据处理模块实现，所述数据处理模块包括：

数据划分单元，用于按照设定规则对原始监测数据进行分桶，包括外部桶和将每个外部桶划分后的内部桶；

数据清洗单元，用于采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗；

数据整合单元，用于将每个内部桶中清洗后的监测数据进行整合。

进一步地，所述系统还包括数据采集模块、数据传输模块和数据显示模块；

其中，

数据采集模块，用于从不同的传感器或监测设备中采集原始监测数据，并将所述原始监测数据转换为数字信号；

数据传输模块，用于将所述原始监测数据发送至数据处理模块；

数据显示模块，用于将整合后的监测数据以图形化或表格化的形式展示给用户。

第三方面，本发明还提出了一种铁路信号集中监测系统数据清洗的电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现述的铁路信号集中监测系统数据清洗方法。

第四方面，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的铁路信号集中监测系统数据清洗方法。

本发明的有益效果：

本发明首先通过将铁路信号的原始监测数据划分到不同级别的桶中进行处理，再分别对最小单元的桶内的监测数据进行单独清洗和分析，再将分析后的数据进行逐级合并；上述方法可以将监测数据中同类型、同时间段或者相似度较大的监测数据分开处理，可以简化整个数据清洗的难度，也可以节省聚类分析的时间，可以更为有效地识别和处理异常数据，通过补全或者剔除异常数据的方式，从而提高数据的质量，同时因为该方法中可以对数据进行预处理，从而减少模型需要处理的数据量，提高模型的效率和准确性，也可以缓解模型复杂度不够的问题。并且本发明提出的清洗算法通过分桶处理后可以缓解数据质量不高和模型准确度不够的问题，可以进一步提高数据精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中的铁路信号集中监测系统数据清洗系统的结构示意图；

图2示出了本发明提出的一种铁路信号集中监测系统数据清洗算法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

铁路信号的集中监测是包括对铁路信号系统或信号设备的运行状态进行监测，以保证铁路上行车、调车作业安全，提高车站、区间通过能力及列车解编能力。铁路信号系统包括车站信号控制系统、编组站调车控制系统、区间信号控制系统、行车指挥控制系统及列车运行控制系统等。信号设备包括车站联锁、区间闭塞、机车信号、超速防护、调度监督、调度集中、调车场控制及道口信号等设备。由信号系统或设备对乘务人员和行车有关人员发出指示运行条件的命令，指挥行车和调车的信号，其信号显示的意义是与行车、调车安全联系在一起的，只有在安全条件具备时，即没有危及行车、调车安全的情况存在时，才给出允许列车或调车车列行进的信号。因此铁路信号集中监测系统是一个重要的安全保障系统，其主要作用是实时监测铁路信号系统的状态，并在发生故障或异常情况时及时进行报警和处理。

铁路信号一般会从数据的采集、处理、分析以及存储等方面进行处理，具体涉及到传感器技术、数字信号处理技术、机器学习技术、实时计算技术以及数据库据技术。其中，数字信号处理技术是对采集到的信号进行数学分析和处理的方法，其中包括滤波、去噪、降采样、重采样等操作。这些操作可用于去除原始信号中的噪声、干扰和非信号成分，从而得到更为纯净的信号数据。但在现有技术中，由于网络波动、设备老化、环境变化等原因，采集到的数据存在一定程度的噪声和误差，对监测系统的报警精度造成一定的影响。

基于此，本发明提出了一种基于两层桶算法的集中监测系统中的数据清洗算法。本发明实施例以有轨电车信号集中监测系统为例对集中监测系统中的数据清洗算法进行详细说明。两层桶数据清洗算法可以适用于各种类型的数据，包括结构化数据和非结构化数据，并且可以快速地识别和处理异常数据，从而提高数据的质量，同时也可以减少模型需要处理的数据量，提高模型的效率和准确性。

如图1所示，整个有轨电车信号集中监测系统包括数据采集模块、数据传输模块、和数据显示模块。其中，数据清洗算法主要应用在数据处理模块中。

数据采集模块获取原始数据，并将其发送到数据传输模块中；数据传输模块接收原始数据后，将数据发送到数据处理模块中进行分析和加工；数据处理模块使用数据清洗算法对原始数据进行处理和清洗，然后应用其他算法进行分析和计算，并将结果发送到数据显示模块中；数据显示模块最终将处理和清洗后的数据以可视化的形式呈现给用户。

具体的；

数据采集模块用于从铁路信号系统或设备的对应传感器或监测设备中采集的实时数据，并将实时数据转化为数字信号。通常包括数据采集卡、传感器、放大器等组件，速度传感器进一步包括加速度传感器、气压传感器等。

数据传输模块用于将采集到的原始数据通过网络或其他方式传输到数据处理模块中。数据传输模块的传输方式包括无线传输或有线传输，例如Wi-Fi、蓝牙、RS-485等协议或接口。

数据处理模块用于对原始监测数据进行划分、筛选和过滤，然后再应用各种算法进行分析和加工，本模块中可以采用数据清洗算法对数据进行处理，根据原始数据的特点和规律，自动识别和剔除异常值、重复数据、不完整数据等，去除原始信号中的噪声、干扰和非信号成分，从而得到更为纯净的信号数据。

数据处理模块的功能由以下单元实现：

数据划分单元，用于按照设定规则对原始监测数据进行分桶，包括外部桶和将每个外部桶划分后的内部桶；

数据清洗单元，用于采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗；

数据整合单元，用于将每个内部桶中清洗后的监测数据进行整合。

数据显示模块用于将整合后的监测数据以图形化或表格化的形式展示给用户。通常包括图像处理软件、Web界面、报告生成工具等。

本发明基于两层桶算法对原始数据进行清洗，如图2所示，具体包括以下步骤：

按照设定规则对原始监测数据进行分桶，包括外部桶和将每个外部桶划分后的内部桶；

具体为：将原始监测数据按照设定规则划分为多个外部桶。所述设定规则包括时间序列、数据特点等一定规则，具体地，时间序列规则可以将同一个时间点/同一个时间区段的数据划分成一个外部桶；数据特点规则可以是数据的极限值，包括上限值/下限值将数据的最大值和最小值划分为不同的外部桶。

将外部桶划分为内部桶：将每个外部桶划分为多个内部桶，每个内部桶包含相同数量的监测数据。具体地，可以使用均匀分割或等间隔分割的方法将外部桶划分为内部桶。每个内部桶包含相同数量的监测数据，可以进一步保证数据的均衡性和提高数据处理的效率，如果每个桶包含的数据量不同，那么可能会出现某些桶过于拥挤或者过于空闲的情况，从而导致数据处理的效率和准确性下降。例如，如果某个桶包含的数据量过多，那么可能会导致该桶的处理时间过长，从而影响整个数据处理的速度；而如果某个桶包含的数据量过少，那么可能会导致该桶的利用率过低，从而浪费内存资源，这种方法也可以充分利用内存空间，方便管理和维护，易于扩展和优化。

对每个内部桶进行聚类：对于每个内部桶中的数据点，使用聚类算法将数据点分配到不同的聚类中心，形成每个内部桶内的聚类结果。聚类分析可以将数据按照相似性进行分类，从而将相似的数据放在同一个桶中，方便后续的数据处理和分析；并可以进一步识别和处理异常数据，从而提高数据的质量，避免异常数据对后续的数据处理和分析产生影响。还可以对数据进行分析和挖掘，发现数据中的规律和趋势，从而为后续的数据处理和分析提供参考，聚类分析可以将数据可视化，以图形化的方式展示数据的分布和特征，方便用户进行数据分析和决策。

本实施例以k-means聚类算法为例，对内部桶中的监测数据进行说明：

S1：在每个内部桶中选取k个监测数据点，作为聚类中心；

S2：计算每个监测数据点分别到k个聚类中心的聚类，然后将该点分到最近的聚类中心，形成k个簇；

S3：再重新计算每个簇的质心（均值）；

S4：重复以上S2~S3步骤，直到质心的位置不再发生变化或者达到设定的迭代次数后，得到聚类结果。

合并内部桶的聚类结果：对于同一个外部桶中的所有内部桶的聚类结果进行合并，得到该外部桶的聚类结果。

合并所有外部桶的聚类结果：将所有外部桶的聚类结果进行合并，得到最终的聚类结果。

基于本发明的同一构思，本发明还提出了一种铁路信号集中监测系统数据清洗的电子设备和计算机可读存储介质；

所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现所述的铁路信号集中监测系统数据清洗方法。

所述计算机程序被处理器执行时实现所述的铁路信号集中监测系统数据清洗方法。

本实施例以对铁路信号中的某个设备进行监测为例对上述清洗方法进行示例行说明，具体为：

S1：将所有从数据传输模块接收的原始监测数据按照时间顺序分成多个时间段，每个时间段的长度可以根据具体情况进行选择。收集到的原始监测数据如表1所示：

表1 原始数据

本实施例中按照时间顺序将原始数据分成1：00和2：00两个时间段，每个时间段长度为1小时，即得到外部桶一和外部桶二。

外部桶一和外部桶二内的监测数据分别如表2和表3所示：

表2 外部桶一数据

表3 外部桶二数据

S2：对每个时间段中的监测数据进行划分，即将外部桶一和外部桶二中的数据再次分成多个内部桶，每个桶中包含的数据应该尽量相似。比如可以根据信号类型、位置、设备编号等因素进行划分。

本实施例中将外部桶一和外部桶二继续按照信号类型和设备编号进行划分，得到4个内部桶，分别为内部桶一、内部桶二、内部桶三和内部桶四；每个内部桶内的数据分别如表4、表5、表6和表7所示：

表4 内部桶一数据

表5 内部桶二数据

表6 内部桶三数据

表7 内部桶四数据

S3：对每个桶中的数据进行进一步的清洗再将清洗后的数据进行整合，如去除空值、重复数据、删除不合法数据、填充缺失数据等。对于铁路信号系统，可能需要进行一些特殊的处理，如对于同一信号设备的多个传感器数据进行协调，去除异常数据（例如表格中的负值-1和远超平均值的值999）等。

本实施例中将内部桶一、内部桶二、内部桶三和内部桶四中的数据进行清洗处理去掉空值和异常数据后，得到的数据集如表8所示：

表8

本发明提出的两层桶数据清洗算法还可以根据实际需求进行扩展和优化，例如可以根据数据的特点设计不同的桶大小和Hash函数，以适应不同的数据分布和处理需求。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种铁路信号集中监测系统数据清洗方法，其特征在于，所述方法包括以下步骤：

按照时间序列、数据的极限值或者数据类型将原始监测数据划分为多个外部桶；将每个外部桶划分为包含相同数量原始监测数据的多个内部桶；

采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗；具体包括：对每个内部桶内的原始监测数据进行数据清洗，并对清洗后的监测数据进行聚类分析；其中，所述数据清洗包括识别和剔除原始监测数据中的异常数据，所述异常数据包括重复数据和不完整数据；所述数据清洗还包括去除原始监测数据中的噪声、干扰和非信号数据；

将每个内部桶中清洗后的监测数据进行整合，具体为：将由同一个外部桶划分的所有内部桶内的监测数据的聚类结果进行合并，得到每个外部桶的聚类结果；将所有外部桶的聚类结果进行整合，得到所有监测数据的聚类分析结果。

2.根据权利要求1所述的铁路信号集中监测系统数据清洗方法，其特征在于，

所述原始监测数据包括从铁路信号系统或设备的对应传感器或监测设备中采集的实时数据。

3.根据权利要求1所述的铁路信号集中监测系统数据清洗方法，其特征在于，

所述将每个外部桶划分为包含相同数量原始监测数据的内部桶，具体包括：

使用均匀分割或等间隔分割的方法进行划分。

4.根据权利要求1所述的铁路信号集中监测系统数据清洗方法，其特征在于，

所述对每个内部桶内的监测数据进行聚类分析，包括：

在每个内部桶中选取k个监测数据点，作为聚类中心；

计算每个监测数据点分别到k个聚类中心的聚类；

将每个监测数据点分到最近的聚类中心，形成k个簇；

重新计算每个簇的质心，直到质心的位置不再发生变化或者达到设定的迭代次数；

按照上述步骤将每个监测数据点分配到不同的聚类中心，得到每个内部桶中的聚类结果。

5.一种铁路信号集中监测系统数据清洗系统，其特征在于，所述数据清洗由数据处理模块实现，所述数据处理模块包括：

数据划分单元，用于按照时间序列、数据的极限值或者数据类型将原始监测数据划分为多个外部桶；将每个外部桶划分为包含相同数量原始监测数据的多个内部桶；

数据清洗单元，用于采用逐一处理的方法对所述内部桶中的原始监测数据进行分别清洗；具体包括：对每个内部桶内的原始监测数据进行数据清洗，并对清洗后的监测数据进行聚类分析；其中，所述数据清洗包括识别和剔除原始监测数据中的异常数据，所述异常数据包括重复数据和不完整数据；所述数据清洗还包括去除原始监测数据中的噪声、干扰和非信号数据；

数据整合单元，用于将每个内部桶中清洗后的监测数据进行整合；具体为：将由同一个外部桶划分的所有内部桶内的监测数据的聚类结果进行合并，得到每个外部桶的聚类结果；将所有外部桶的聚类结果进行整合，得到所有监测数据的聚类分析结果。

6.根据权利要求5所述的铁路信号集中监测系统数据清洗系统，其特征在于，

所述系统还包括数据采集模块、数据传输模块和数据显示模块；

其中，

数据采集模块，用于从不同的传感器或监测设备中采集原始监测数据，并将所述原始监测数据转换为数字信号；

数据传输模块，用于将所述原始监测数据发送至数据处理模块；

数据显示模块，用于将整合后的监测数据以图形化或表格化的形式展示给用户。

7.一种铁路信号集中监测系统数据清洗的电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4中任一项所述的铁路信号集中监测系统数据清洗方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的铁路信号集中监测系统数据清洗方法。