CN114116742B - 一种基于地铁综合监控系统的时序数据填补方法及装置 - Google Patents

一种基于地铁综合监控系统的时序数据填补方法及装置 Download PDF

Info

Publication number
CN114116742B
CN114116742B CN202111371508.9A CN202111371508A CN114116742B CN 114116742 B CN114116742 B CN 114116742B CN 202111371508 A CN202111371508 A CN 202111371508A CN 114116742 B CN114116742 B CN 114116742B
Authority
CN
China
Prior art keywords
data
time sequence
sequence data
filling
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111371508.9A
Other languages
English (en)
Other versions
CN114116742A (zh
Inventor
秦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Technology Group Co Ltd
PCI Technology and Service Co Ltd
Original Assignee
PCI Technology Group Co Ltd
PCI Technology and Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Technology Group Co Ltd, PCI Technology and Service Co Ltd filed Critical PCI Technology Group Co Ltd
Priority to CN202111371508.9A priority Critical patent/CN114116742B/zh
Publication of CN114116742A publication Critical patent/CN114116742A/zh
Application granted granted Critical
Publication of CN114116742B publication Critical patent/CN114116742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请实施例公开了一种基于地铁综合监控系统的时序数据填补方法及装置。本申请实施例提供的技术方案，通过获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。本申请实施例能够解决时序数据缺失问题，提升数据传输的完整性。

Description

一种基于地铁综合监控系统的时序数据填补方法及装置
技术领域
本申请实施例涉及地铁交通技术领域，尤其涉及一种基于地铁综合监控系统的时序数据填补方法及装置。
背景技术
随着交通的快速发展，公共交通工具成为人们出行的必备工具，其中公共地铁是人们日常出行重要交通工具。地铁作为人们每天必备的公共交通工具，其正常运行与否，以及其运行状态，需要进行密切的关注。因此，地铁综合监控系统成为地铁交通领域十分重要的一个监视系统。
地铁综合监控系统(ISCS)是一个高度集成的综合自动化监控系统，其目的是通过集成地铁多个主要弱电系统，形成统一的监控层硬件平台和软件平台，从而实现对地铁弱电设备的集中监控和管理功能，实现对列车运行情况和客流统计数据的关联监视功能，最终实现相关各系统之间的信息共享和协调互动功能。
在地铁综合监控系统中，对地铁机电设备的电流，电压，温度，开度反馈及输出频率等指标进行实时监控是保证地铁列车安全运行的重要措施之一。此外，通过对地铁机电设备监控数据的采集分析，可以帮助地铁运营维护技工对机电设备进行健康诊断和维修。然而，由于在实际运营过程中受到各种不确定因素干扰，如通信系统故障，设备临时维修等，机电设备实时运行状态并不能够很好传送到ISCS系统，造成监控系统输出中断，带来时序数据缺失的问题，从而干扰了ISCS监控人员或者列车司机对列车状态的判断。
发明内容
本申请实施例提供一种地铁综合监控系统的时序数据填补方法及装置，能够解决时序数据缺失问题，提升数据传输的完整性。
在第一方面，本申请实施例提供了一种地铁综合监控系统的时序数据填补方法，包括：
获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
进一步的，所述获取时序数据并进行数据预处理，具体为：
对获取的时序数据进行数据预处理得到平均值；
根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；
过滤异常数据，得到数据预处理后的数据。
进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：
日期维度的独热编码特征值设置为31个；
星期维度的独热编码特征值设置为7个；
小时维度的独热编码特征值设置为24个；
分钟维度的独热编码特征值设置为60个。
进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
在第二方面，本申请实施例提供了一种地铁综合监控系统的时序数据填补装置，包括：
第一数据处理单元，用于获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
时序数据输出单元，用于将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
第二数据处理单元，用于对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
进一步的，第一数据处理单元，还用于对获取的时序数据进行数据预处理得到平均值；
根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；
过滤异常数据，得到数据预处理后的数据。
进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：
日期维度的独热编码特征值设置为31个；
星期维度的独热编码特征值设置为7个；
小时维度的独热编码特征值设置为24个；
分钟维度的独热编码特征值设置为60个。
进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的地铁综合监控系统的时序数据填补方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的地铁综合监控系统的时序数据填补方法。
本申请实施例通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
附图说明
图1是本申请实施例一提供的一种地铁综合监控系统的时序数据填补方法的流程图；
图2是本申请实施例一中特征值构建示意图；
图3是本申请实施例二提供的一种地铁综合监控系统的时序数据填补装置的结构示意图；
图4是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的地铁综合监控系统的时序数据填补方法及装置，旨在通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。相对于传统的时序数据填补方式，其解决了时间依赖性和填补长度不固定的影响。传统的时序数据填补方式通过如按特殊值填补、插值填补、就近规则填补和聚类填补等方式均难以解决时间依赖性和填补长度不固定的影响。基于此，提供本申请实施例的地铁综合监控系统的时序数据填补方法，以解决现有时序数据缺失的问题。
实施例一：
图1给出了本申请实施例一提供的一种地铁综合监控系统的时序数据填补方法的流程图，本实施例中提供的地铁综合监控系统的时序数据填补方法可以由地铁综合监控系统的时序数据填补设备执行，该地铁综合监控系统的时序数据填补设备可以通过软件和/或硬件的方式实现，该地铁综合监控系统的时序数据填补设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该地铁综合监控系统的时序数据填补设备可以是终端设备，如计算机等。
下述以计算机为执行地铁综合监控系统的时序数据填补方法的主体为例，进行描述。参照图1，该地铁综合监控系统的时序数据填补方法具体包括：
S101、获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理。
在实施例中，首先是对时序数据进行采集，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值，且所述时序数据还包括时间维度的信息，包括日期信息、时刻信息、是否是节假日、是否是高峰期等等。其次，对于采集得到的时序数据进行数据预处理，所述数据预处理包括过滤异常数据处理。
具体的，所述过滤异常数据处理包括对获取的时序数据进行数据预处理得到平均值；根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；过滤异常数据，得到数据预处理后的数据。
示例性的，过滤异常数据处理是指过滤掉时序数据因偶发因素引起机电设备极端状态的离群点，所述离群点数据不仅不能反应设备真实状态，还会干扰数据处理的过程。过滤异常数据主要通过两个步骤进行，首先是识别出异常数据点，然后过滤识别出的异常数据点。具体过滤异常数据处理步骤如下：对获取的时序数据进行数据预处理得到所述时序数据的平均值，根据所述平均值计算并筛选出高于所述平均值三倍的标准差的数据点为异常数据点；删除所述异常数据点，得到过滤异常数据点后的时序数据。
示例性的，所述过滤异常数据处理还包括对数值为0的数据的过滤。对时序数据进行数据预处理，筛选出数值为0的数据点为异常数据点，删除所述异常数据点，得到过滤异常数据点后的时序数据。
S102、将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据。
具体的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。日期维度的独热编码特征值设置为31个；星期维度的独热编码特征值设置为7个；小时维度的独热编码特征值设置为24个；分钟维度的独热编码特征值设置为60个。
示例性的，参照图2，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值，还包括时间维度的信息，包括日期信息、时刻信息、是否是节假日、是否是高峰期等等。因此，可以对时序数据提取对应的时间维度独热编码特征值。例如所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。所述日期维度的独热编码特征值设置为31个，例如2021年1月1日、2021年1月2日、2021年1月3日等；星期维度的独热编码特征值设置为7个，例如星期一、星期二、星期三等；小时维度的独热编码特征值设置为24个，例如12时、13时、14时等；分钟维度的独热编码特征值设置为60个，例如1分钟、2分钟、3分钟等。所述时间维度的特征值可以根据实际需要而进行设定，例如还可以设定节日，例如节假日、工作日、周末等。以采集时序数据为电流的时序数据为例，在2021年1月1日8时8分采集得到的电流数据，则对应的时间维度数据为日期为2021年1月1日、星期为星期五、小时为8时、分钟为8分所对应的特征值为1，其他日期、星期、小时、分钟对应的特征值均为0。
在一实施例中，所述独热编码即One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。在本实施例中，通过将所述时序数据进行时间维度的one-hot编码得到每个数据对应的各时间维度对应的特征值。在所述预设的时序数据填补模型中，提取时间维度one-hot编码特征值进行数据分析处理，输出至少一组填补后的时序数据。通过one-hot编码得到每个样本数据只对应于一个类别(即只在对应的特征处值为1，其余地方值为0)，因此使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率。
在一实施例中，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
在一实施例中，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
示例性的，所述预设的时序数据填补模型包括LightGBM模型，采用机器学习中五折交叉验证方法处理。首先对原始数据进行数据预处理并拆分成5份，每份数据以4:1比例拆分成训练集和验证集，利用5份训练集数据进行训练得到5个LightGBM初步模型，利用5份验证集数据对所述5个LightGBM初步模型进行验证得到最终的5个LightGBM模型。
示例性的，所述预设的时序数据填补模型包括LightGBM模型，其中模型训练涉及的参数如下：
参数名称 中文解释 取值
boosting_type 迭代类型 gbdt
objective 优化函数目标 regression_l2
metric 评价指标 mean_squared_error
num_leaves 叶子数 64
learning_rate 学习率 0.1
feature_fraction 特征抽取比例 0.3
bagging_fraction 样本抽样比例 0.8
bagging_freq 样本抽样频次 5
verbose 是否打印输出 1
device 运行设备 gpu
S103、对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
具体的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，对应输出的多组填补后的时序数据结果，对输出多组填补后的时序数据结果进行加权平均处理得到最终时序数据。
示例性的，所述预设的时序数据填补模型包括5个LightGBM模型，将数据预处理后的数据输入所述5个LightGBM模型中，在所述5个LightGBM模型中，提取时间维度独热编码特征值进行数据分析处理，输出5组填补后的时序数据，对所述5组填补后的时序数据进行加权平均处理，得到一组完整的时序数据。
上述，通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
实施例二：
在上述实施例的基础上，图3为本申请实施例二提供的一种地铁综合监控系统的时序数据填补装置的结构示意图。参考图3，本实施例提供的地铁综合监控系统的时序数据填补装置具体包括：第一数据处理单元21、时序数据输出单元22和第二数据处理单元23。
其中，第一数据处理单元21，用于获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
时序数据输出单元22，用于将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；
第二数据处理单元23，用于对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
进一步的，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
进一步的，所述第一数据处理单元21，还用于对获取的时序数据进行数据预处理得到平均值；根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；过滤异常数据，得到数据预处理后的数据。
进一步的，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
进一步的，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
进一步的，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：日期维度的独热编码特征值设置为31个；星期维度的独热编码特征值设置为7个；小时维度的独热编码特征值设置为24个；分钟维度的独热编码特征值设置为60个。
进一步的，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
上述，通过对获取可能有缺失的时序数据进行数据预处理后，将预处理后的数据输入预设的时序数据填补模型中提取时间维度独热编码特征值进行数据分析处理，输出对应的至少一组填补后的时序数据，并对输出的至少一组填补后的时序数据进行加权平均处理得到最终时序数据。采用上述技术手段，通过时间维度特征值进行数据处理，由于时间变量是时刻存在的，解决了时间依赖性和填补数据长度不固定的问题，提高了输出填补完整的时序数据的有效性和完整性；进一步的，通过对时间维度的特征值用独热编码进行编码表示，使得后续的数据处理十分的便捷，从而在预设的模型中进行数据分析处理时，提高了数据分析处理的工作效率；而且通过经过训练得到的预设的时序数据填补模型进行数据处理，并对输出的至少一组数据进行加权平均处理，提高了输出数据的准确性。
本申请实施例二提供的地铁综合监控系统的时序数据填补装置可以用于执行上述实施例一提供的地铁综合监控系统的时序数据填补方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图4，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的地铁综合监控系统的时序数据填补方法对应的程序指令/模块(例如，地铁综合监控系统的时序数据填补装置中的第一数据处理单元、时序数据输出单元和第二数据处理单元)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的地铁综合监控系统的时序数据填补方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的地铁综合监控系统的时序数据填补方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种地铁综合监控系统的时序数据填补方法，该地铁综合监控系统的时序数据填补方法包括：获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据；对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的地铁综合监控系统的时序数据填补方法，还可以执行本申请任意实施例所提供的地铁综合监控系统的时序数据填补方法中的相关操作。
上述实施例中提供的地铁综合监控系统的时序数据填补装置、存储介质及电子设备可执行本申请任意实施例所提供的地铁综合监控系统的时序数据填补方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的地铁综合监控系统的时序数据填补方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于地铁综合监控系统的时序数据填补方法，其特征在于，包括：
获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型；
对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
2.根据权利要求1所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，所述时间维度独热编码特征值包括日期、星期、小时和分钟对应的独热编码特征值。
3.根据权利要求1所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，所述获取时序数据并进行数据预处理，具体为：
对获取的时序数据进行数据预处理得到平均值；
根据得到的平均值筛选出高于标准差预设倍数的数据为异常数据；
过滤异常数据，得到数据预处理后的数据。
4.根据权利要求1所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，还包括：
通过将训练数据拆分成多份形成多个训练集，利用所述多个训练集训练得到对应的多个基于梯度的提升算法机器模型。
5.根据权利要求1所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，所述时序数据包括电流值、电压值、温度值、开度反馈值和输出频率值。
6.根据权利要求2所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，所述时间维度独热编码特征值分为日期、星期、小时和分钟对应的独热编码特征值，具体为：
日期维度的独热编码特征值设置为31个；
星期维度的独热编码特征值设置为7个；
小时维度的独热编码特征值设置为24个；
分钟维度的独热编码特征值设置为60个。
7.根据权利要求1所述的基于地铁综合监控系统的时序数据填补方法，其特征在于，所述预设的时序数据填补模型为多个基于梯度的提升算法机器模型，通过将训练数据拆分成多份，每份数据以预设的比例拆分成训练集和验证集，利用训练集数据进行训练得到多个初步基于梯度的提升算法机器模型，利用验证集对所述多个初步基于梯度的提升算法机器模型进行验证得到最终的多个基于梯度的提升算法机器模型。
8.一种基于地铁综合监控系统的时序数据填补装置，其特征在于，包括：
第一数据处理单元，用于获取时序数据并进行数据预处理，所述数据预处理包括过滤异常数据处理；
时序数据输出单元，用于将数据预处理后的数据输入预设的时序数据填补模型，在所述预设的时序数据填补模型中，提取时间维度独热编码特征值进行数据分析处理，输出至少一组填补后的时序数据，所述预设的时序数据填补模型包括多个基于梯度的提升算法机器模型；
第二数据处理单元，用于对所述输出至少一组填补后的时序数据进行加权平均处理得到最终时序数据。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的方法。
CN202111371508.9A 2021-11-18 2021-11-18 一种基于地铁综合监控系统的时序数据填补方法及装置 Active CN114116742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111371508.9A CN114116742B (zh) 2021-11-18 2021-11-18 一种基于地铁综合监控系统的时序数据填补方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111371508.9A CN114116742B (zh) 2021-11-18 2021-11-18 一种基于地铁综合监控系统的时序数据填补方法及装置

Publications (2)

Publication Number Publication Date
CN114116742A CN114116742A (zh) 2022-03-01
CN114116742B true CN114116742B (zh) 2023-08-08

Family

ID=80397665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111371508.9A Active CN114116742B (zh) 2021-11-18 2021-11-18 一种基于地铁综合监控系统的时序数据填补方法及装置

Country Status (1)

Country Link
CN (1) CN114116742B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579643A (zh) * 2022-05-05 2022-06-03 国家邮政局邮政业安全中心 快递业务量预测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991696A (zh) * 2019-11-04 2020-04-10 广州丰石科技有限公司 一种客流数据缺失填补的方法
CN112700072A (zh) * 2021-03-24 2021-04-23 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN113177643A (zh) * 2021-05-24 2021-07-27 北京融七牛信息技术有限公司 一种基于大数据的自动建模系统
CN113569972A (zh) * 2021-08-03 2021-10-29 中国科学院地理科学与资源研究所 气象数据插补方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019650A1 (en) * 2012-07-10 2014-01-16 Zhi Bin Li Multi-Write Bit-Fill FIFO

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991696A (zh) * 2019-11-04 2020-04-10 广州丰石科技有限公司 一种客流数据缺失填补的方法
CN112700072A (zh) * 2021-03-24 2021-04-23 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN113177643A (zh) * 2021-05-24 2021-07-27 北京融七牛信息技术有限公司 一种基于大数据的自动建模系统
CN113569972A (zh) * 2021-08-03 2021-10-29 中国科学院地理科学与资源研究所 气象数据插补方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
公交客流数据填补与短时客流预测方法研究;贾世康;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑 》;第2021年卷(第01期);第C034-925页 *

Also Published As

Publication number Publication date
CN114116742A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111367961B (zh) 基于图卷积神经网络的时序数据事件预测方法、系统及其应用
Cody et al. Decision tree learning for fraud detection in consumer energy consumption
CN106528865A (zh) 一种快速精准的交通大数据清洗方法
CN105469219A (zh) 一种基于决策树的电力负荷数据处理方法
CN114116742B (zh) 一种基于地铁综合监控系统的时序数据填补方法及装置
CN113327417B (zh) 基于3d动态时空残差卷积关联网络的交通流预测方法
CN110738523A (zh) 一种维修订单量预测方法及装置
Park et al. Missing-insensitive short-term load forecasting leveraging autoencoder and LSTM
CN115375205B (zh) 一种用水用户画像的确定方法、装置及设备
CN108683658B (zh) 基于多rbm网络构建基准模型的工控网络流量异常识别方法
CN105139150A (zh) 一种交费大数据的用户电费风险评估系统
CN114638425B (zh) 一种基于历史数据的大用户月度用电量预测方法及系统
CN116452280A (zh) 一种电动汽车充电桩订单异常的清分结算方法及装置
CN112396437A (zh) 一种基于知识图谱的贸易合同验证方法及装置
CN110059126B (zh) 基于lkj异常值数据的复杂关联网络分析方法及系统
CN111242779B (zh) 金融数据特征选择和预测方法、装置、设备及存储介质
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
CN115438190B (zh) 一种配电网故障辅助决策知识抽取方法及系统
CN111555908A (zh) 基于专家经验规则的电网复杂故障事件识别方法、装置及系统
CN114416686B (zh) 一种车辆设备指纹carid识别系统及识别方法
CN115373366A (zh) 一种交互式诊断系统、诊断方法及存储介质
CN115470854A (zh) 信息系统故障分类方法及分类系统
CN113779391A (zh) 基于建模的智能锁开锁推荐方法、系统、装置及存储介质
CN112445948A (zh) 一种配网线变关系数据诊断分析软件系统
CN117057941B (zh) 基于多维度数据分析的异常消费检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant