CN108170825A - 基于云平台的分布式能源数据监控清洗方法 - Google Patents

基于云平台的分布式能源数据监控清洗方法 Download PDF

Info

Publication number
CN108170825A
CN108170825A CN201810011720.6A CN201810011720A CN108170825A CN 108170825 A CN108170825 A CN 108170825A CN 201810011720 A CN201810011720 A CN 201810011720A CN 108170825 A CN108170825 A CN 108170825A
Authority
CN
China
Prior art keywords
data
cloud platform
distributed energy
method based
cleaning method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810011720.6A
Other languages
English (en)
Other versions
CN108170825B (zh
Inventor
曹超
马玉鑫
常悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Distributed Energy Technology Co Ltd
Original Assignee
Shanghai Electric Distributed Energy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Distributed Energy Technology Co Ltd filed Critical Shanghai Electric Distributed Energy Technology Co Ltd
Priority to CN201810011720.6A priority Critical patent/CN108170825B/zh
Publication of CN108170825A publication Critical patent/CN108170825A/zh
Application granted granted Critical
Publication of CN108170825B publication Critical patent/CN108170825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于云平台的分布式能源数据监控清洗方法，包括：第一步骤：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；第二步骤：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。

Description

基于云平台的分布式能源数据监控清洗方法
技术领域
本发明涉及分布式能源数据处理领域，尤其涉及一种基于云平台的分布式能源数据监控清洗方法。
背景技术
现实生活中，数据总是不完整的，缺少某些值得关注的属性或者仅包含统计数据，也有可能含有错误或存在偏离期望的孤立点值。数据可能需要将多个数据源合并，由此带来偏差冲突或者矛盾等诸多问题。
越干净的数据集进行数据挖掘的效果越好，如果数据质量很差，那么数据分析的效果一定与真实的结果有很大的偏差。
随着电力大数据时代的来临，电力企业信息化与智能电力系统的建成使电力数据的体量以前所未有的速度增长；电力大数据应用中，对行业内外诸如能源、天气等数据的关联分析需求使得收集的电力数据类型出现明显的增多；电力大数据分析高实时性的需求使数据处理的速度必须更高。
近几年分布式能源迅速发展，产生的数据参差不齐，基于云平台对数据进行预处理，包括数据清洗、集成、转换与约简，是大数据时代的一个重要难题，通过数据质量监控可以很快的发现并排除数据问题，对数据进行处理可以使数据更加准确可靠，为进行分布式能源的数据统计和预测调度提供了数据支持。
离群点检测是基于密度的LOF算法开发的策略，该策略对于阈值、选取数据的长度都有要求，当前策略的阈值是固定值，可能对离群点选择会有影响，修正缺失值和离群点值采用常规的均值插值法，未根据数据的特征采用算法进行补值，会对结果的准确性产生影响。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于云平台的分布式能源数据监控清洗方法。
为实现上述目的，本发明提供了一种基于云平台的分布式能源数据监控清洗方法，包括：第一步骤：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；第二步骤：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。
优选地，在判别出现报文数据全为0的情况时，发送相应的第一警告信息；在判别出现报文数据中出现连续预定条数据卡死的情况时，发送相应的第二警告信息。
优选地，第一警告信息和第二警告信息以邮件的形式发送给用户。
优选地，每日运行数据清洗包括下述处理中的一种或多种：对数据进行完整度查询测试以判断数据的完整性，对数据进行一致性查询测试以判断数据是否出现卡死的情况，对数据采用LOF算法进行离群点错误点查询，对数据进行错误查询修正处理，对数据进行缺失数据补全处理。
优选地，在对数据进行完整度查询测试以判断数据的完整性时，查看数据中空数据占整个一天数据的比例，如果该比例超过预定阈值，则删除该天数据。
优选地，在对数据进行一致性查询测试时，如果出现连续预定条数据相同的情况，则判定数据出现卡死。
优选地，对数据采用LOF算法进行离群点错误点查询包括：将测试数据和预设数据库数据放入测试算法中进行计算以找出离群点，并且对离群点进行修正。
优选地，对数据进行错误查询修正处理包括：将超过最大发电功率的数据值修正为额定功率值。
本发明基于云平台处理数据快速的特点，对远程运维报文数据解析结束后，增加数据质量监控功能，判别数据全为0或数据卡死情况，在数据的源头发现问题，以诸如邮件的形式及时通知运维人员，针对每天存储的发电功率和负荷功率数据，对数据进行完整度查询、一致性查询、采用LOF算法离群点错误点查询、错误缺失数据补全等全流程的数据清洗，完成全方位的数据检测和清洗。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1是根据本发明优选实施例的基于云平台的分布式能源数据监控清洗方法的流程图。
图2是根据本发明优选实施例的数据质量监控的具体示例的流程图。
图3是根据本发明优选实施例的每日运行数据清洗的具体示例的流程图。
图4是根据本发明优选实施例的数据重复性测试的示意图。
图5是根据本发明优选实施例的错误数据测试的示意图。
图6是根据本发明优选实施例的离群点检测的示意图。
图7是根据本发明优选实施例的离群点数据修正的示意图。
需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
本发明利用基于云平台的处理数据性能优势，针对分布式能源原始报文数据进行数据监控，在数据源头将数据出现丢失卡死的情况进行查找并处理；而且针对每天存储的发电功率和负荷功率数据，对数据进行完整度查询、一致性查询、离群点错误点查询、离群点缺失数据补全等全流程的数据清洗，保证数据质量。
具体地，图1是根据本发明优选实施例的基于云平台的分布式能源数据监控清洗方法的流程图。
如图1所示，根据本发明优选实施例的基于云平台的分布式能源数据监控清洗方法包括：
第一步骤S1：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；
而且，进一步地，可以在判别出现报文数据全为0的情况时，发送相应的第一警告信息；而且进一步地，可以在判别出现报文数据中出现连续预定条数据卡死的情况时，发送相应的第二警告信息。
优选地，第一警告信息和第二警告信息以邮件的形式发送给用户。
第二步骤S2：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。
优选地，每日运行数据清洗包括下述处理中的一种或多种：对数据进行完整度查询测试以判断数据的完整性，对数据进行一致性查询测试以判断数据是否出现卡死的情况，对数据采用LOF算法进行离群点错误点查询，对数据进行错误查询修正处理，对数据进行缺失数据补全处理。
<数据质量监控的具体示例>
本发明提出执行数据质量监控，其中判别报文数据全为0的情况或连续预定条数据出现卡死的情况，提前对数据质量的监控，对出现问题反馈至运维人员。
例如，如图2所示，在具体实施时，首先，利用Kafka消息队列对远程运维下发的报文数据进行解析，报文数据的格式：时间-项目号-表头-数据2016-12-1100:00:52{T:V2,N:SE13-J01,c10:68,c11:73,c12:67,c13:0}，其中c1表示1号通讯管理机。一共有4个通讯管理机，python分别读取4个通讯管理机的数据并将数据进行分类汇总，数据作为kafka的生产者发送给impala中间件，对数据解析后通过hive传入Hbase数据库。
随后，分类汇总的4个通讯管理机的报文数据进行判断，如果通过程序报文解析后发现任一出现的数据全为0的情况，将时间和全为0的情况存储的log.txt中进行记录。同时，启动邮件提醒功能，向运维人员或者负责人的邮箱发送邮件，告知几号通讯管理机出现数据全为0的情况，提醒运维人员查看。为了避免过于频繁的对运维人员或负责人的提醒和打扰，可以将邮箱发送时间间隔设置为例如2小时。
例如，如果一批报文的数据是来自1号通讯管理机发来的数据，发现数据出现全为0，对于这种情况，有可能出现数据丢失等问题，需要把出现的数据情况告诉给运维人员和负责人员。
如果一批报文的数据是来自1号通讯管理机发来的数据，发现每一批数据都是相同的，对于这种情况，通讯管理机有可能出现数据卡死等问题，需要把出现的数据情况告诉给运维人员和负责人员。
例如，从邮箱中收取到来自于分布式远程运维系统的邮件提醒，运维人员或者项目负责人可以根据邮件提醒去数据中心或者实验室查询故障。
<每日运行数据清洗的具体示例>
本发明提出执行每日运行数据清洗，如图3所示，在具体实施时，对于发电功率和负荷功率重要数据信息，利用Hive工具提取Hbase数据库中的一天数据存入csv中。未经处理的数据库中每日数据库中的数据会出现类似缺失、重复性、有错误点、离群点存在等问题，对于数据统计和预测会产生一定的影响，所以对每日的数据进行数据清洗。
(1)在系统运行一天结束后，利用Matlab读取一天的数据，格式为csv，利用Matlab的xlsread的函数命令，读取所需要数据。每个项目会有编号，所取数据项目进行工程分类，确定该工程对应的参数，比如采样频率、数据丢失比例、连续卡死数据个数、连续卡死时间N等
(2)数据进行完整度查询，查看数据中空数据占整个一天数据的比例，如果比例大于数据丢失比例，则删除该天数据，如果数据比例小于数据丢失比例，则保留数据，进行下一步判定。
(3)从数据层面进行重复性检测(即，一致性查询检测)：如果在数据完整度满足的前提下，出现连续N时刻数据相同的，则该数据出现数据卡死情况，删除该天数据。
(4)利用经验知识进行判断，检测并修正错误数据，如果数据不符合经验知识，则利用经验知识形成的条件判断或约束方法进行修正。
(5)数据离群点检测并修正，LOF(局部异常因子)就是用于识别基于密度的局部异常值的算法。离群点被定义为相对于全局的局部离群点，这与传统异常点的定义不同，异常点不再是一个二值属性(要么是异常点，要么是正常点，实际上的定义类似于98％的可能性是一个异常点)，它摈弃了以前所有的异常定义中非此即彼的绝对异常观念，更加符合现实生活中的应用数据一致性检测。采用LOF算法找出离群点，对离群点进行修正。
(6)从时间层面进行重复性检测：如果出现日期相同情况，表明同一时刻通讯管理机发送的数据有两个值，对这种出在是时间层面存在数据卡死的情况，删除或修改同一时刻重复数据，确保同一时刻数据准确唯一性，对缺失的时刻对应的数据需要补全。
(7)采用线性拟合的方法进行对空缺数据、离群点等数据进行插值补全。
例如，完整性测试数据test_wanzhengdu.csv，其中有大于30％的空数据，设置lossrate为0.3，当空数据所占整个数据的比例大于30％，说明这一天的数据已经失去用处，对后面的统计分析和预测不能提供数据完整性的支持，可以删除test_wanzhengdu.csv，并在控制台中提示到“数据已经删除”。
对于数据重复性测试，测试数据test_data_repeated.csv如图4所示，在图书长方形框图圈出的地方，发现数据出现连续相同的情况，对于这种数据出现卡死的情况，当数据卡死的比例超过一定范围，说明这一天的数据已经失去用处，对后面的统计分析和预测不能提供数据支持，可以删除test_data_repeated.csv，并在控制台中提示“数据卡死”。
对于错误数据测试，测试数据test_data_wrongdata.csv如图5所示，可以发现出现一个为4kW的功率值的数据，超过了光伏最大发电功率，对于出现这种结果，需要在程序中将该结果进行修正，在超过最大发电功率的时刻中将该值修正为额定功率值，避免这种错误结果对数据的正确性造成影响。
对于离群点检测，采用基于LOF算法的局部离群点检测算法，算法中有一个小型的数据库，将测试数据和小型数据库数据放入测试算法中进行计算，从图6中可以看出离群点大概在217的位置，算法找出离群点同时并进行修正后重新入库，并提示离群点数据已经修正，如图7所示。
对于空数据处理，如果在某个时刻点上出现空数据，则通过程序中运算后，通过插值法将连那个时刻的空数据进行补全。
总之，本发明基于云平台，在数据解析源头将由于网络、设备原因导致数据全为0或数据卡死情况进行排除，并针对日发电功率和负荷功率数据进行一致性、离群点检测等，可以提高数据的质量，对分布式能源数据统计和预测提供了数据支持。
上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于云平台的分布式能源数据监控清洗方法，其特征在于包括：
第一步骤：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；
第二步骤：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。
2.如权利要求1所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，在判别出现报文数据全为0的情况时，发送相应的第一警告信息；在判别出现报文数据中出现连续预定条数据卡死的情况时，发送相应的第二警告信息。
3.如权利要求2所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，第一警告信息和第二警告信息以邮件的形式发送给用户。
4.如权利要求1或2所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，每日运行数据清洗包括下述处理中的一种或多种：对数据进行完整度查询测试以判断数据的完整性，对数据进行一致性查询测试以判断数据是否出现卡死的情况，对数据采用LOF算法进行离群点错误点查询，对数据进行错误查询修正处理，对数据进行缺失数据补全处理。
5.如权利要求4所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，在对数据进行完整度查询测试以判断数据的完整性时，查看数据中空数据占整个一天数据的比例，如果该比例超过预定阈值，则删除该天数据。
6.如权利要求4所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，在对数据进行一致性查询测试时，如果出现连续预定条数据相同的情况，则判定数据出现卡死。
7.如权利要求4所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，对数据采用LOF算法进行离群点错误点查询包括：将测试数据和预设数据库数据放入测试算法中进行计算以找出离群点，并且对离群点进行修正。
8.如权利要求4所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，对数据进行错误查询修正处理包括：将超过最大发电功率的数据值修正为额定功率值。
9.如权利要求4所述的基于云平台的分布式能源数据监控清洗方法，其特征在于，对数据进行缺失数据补全处理包括：通过插值法将空数据进行补全。
CN201810011720.6A 2018-01-05 2018-01-05 基于云平台的分布式能源数据监控清洗方法 Active CN108170825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810011720.6A CN108170825B (zh) 2018-01-05 2018-01-05 基于云平台的分布式能源数据监控清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810011720.6A CN108170825B (zh) 2018-01-05 2018-01-05 基于云平台的分布式能源数据监控清洗方法

Publications (2)

Publication Number Publication Date
CN108170825A true CN108170825A (zh) 2018-06-15
CN108170825B CN108170825B (zh) 2022-08-12

Family

ID=62517394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011720.6A Active CN108170825B (zh) 2018-01-05 2018-01-05 基于云平台的分布式能源数据监控清洗方法

Country Status (1)

Country Link
CN (1) CN108170825B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188094A (zh) * 2019-05-29 2019-08-30 国网山东省电力公司电力科学研究院 一种基于lof算法的主变油色谱数据清洗方法
CN112579352A (zh) * 2020-12-14 2021-03-30 广州信安数据有限公司 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009070941A1 (fr) * 2007-12-06 2009-06-11 Jiangxi Peako Biomass Energy Co., Ltd. Système intégré de génération de gaz combustible de biomasse
US20150254285A1 (en) * 2012-10-04 2015-09-10 Alcatel Lucent Data logs management in a multi-client architecture
CN105069710A (zh) * 2015-09-11 2015-11-18 国网江西省电力公司信息通信分公司 一种智能电网的数据处理方法及系统
WO2015191845A1 (en) * 2014-06-11 2015-12-17 Rengaswamy Mohan Methods and apparatus for harmonization of data stored in multiple databases using concept-based analysis
CN105608758A (zh) * 2015-12-17 2016-05-25 山东鲁能软件技术有限公司 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
US20160248760A1 (en) * 2010-04-30 2016-08-25 T-Central, Inc. System and Method to Enable PKI- and PMI- Based Distributed Locking of Content and Distributed Unlocking of Protected Content and/or Scoring of Users and/or Scoring of End-Entity Access Means - Added
CN106257511A (zh) * 2016-04-14 2016-12-28 江苏瑞中数据股份有限公司 一种电网故障特征数据质量评价方法
CN106557991A (zh) * 2016-11-04 2017-04-05 广东电网有限责任公司电力科学研究院 电压监测数据平台
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN106709035A (zh) * 2016-12-29 2017-05-24 贵州电网有限责任公司电力科学研究院 一种电力多维全景数据的预处理系统
CN107037062A (zh) * 2017-05-17 2017-08-11 中天射频电缆有限公司 同轴电缆材料微波特性在线监测和诊断装置及方法
CN107066500A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 一种基于pms模型的电网海量数据质量校验方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009070941A1 (fr) * 2007-12-06 2009-06-11 Jiangxi Peako Biomass Energy Co., Ltd. Système intégré de génération de gaz combustible de biomasse
US20160248760A1 (en) * 2010-04-30 2016-08-25 T-Central, Inc. System and Method to Enable PKI- and PMI- Based Distributed Locking of Content and Distributed Unlocking of Protected Content and/or Scoring of Users and/or Scoring of End-Entity Access Means - Added
US20150254285A1 (en) * 2012-10-04 2015-09-10 Alcatel Lucent Data logs management in a multi-client architecture
WO2015191845A1 (en) * 2014-06-11 2015-12-17 Rengaswamy Mohan Methods and apparatus for harmonization of data stored in multiple databases using concept-based analysis
CN105069710A (zh) * 2015-09-11 2015-11-18 国网江西省电力公司信息通信分公司 一种智能电网的数据处理方法及系统
CN105608758A (zh) * 2015-12-17 2016-05-25 山东鲁能软件技术有限公司 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
CN106257511A (zh) * 2016-04-14 2016-12-28 江苏瑞中数据股份有限公司 一种电网故障特征数据质量评价方法
CN106557991A (zh) * 2016-11-04 2017-04-05 广东电网有限责任公司电力科学研究院 电压监测数据平台
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN106709035A (zh) * 2016-12-29 2017-05-24 贵州电网有限责任公司电力科学研究院 一种电力多维全景数据的预处理系统
CN107066500A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 一种基于pms模型的电网海量数据质量校验方法
CN107037062A (zh) * 2017-05-17 2017-08-11 中天射频电缆有限公司 同轴电缆材料微波特性在线监测和诊断装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SAUL GILL、BRIAN A.LEE: ""A Framework for Distributed Cleaning of Data Streams"", 《PROCEDIA COMPUTER SCIENCE》 *
WANGYIBO0201: ""异常点/离群点检测算法-LOF"", 《CSDN-HTTPS://BLOG.CSDN.NET/WANGYIBO0201/ARTICLE/DETAILS/51705966》 *
王寅生、朱志成、王其乐、尹诗: ""基于云计算的风电经营管控数据平台技术研究"", 《电力大数据》 *
王焘、魏峻、张文博、钟华: ""基于负载模式识别的Web应用在线异常检测方法"", 《软件学报.》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188094A (zh) * 2019-05-29 2019-08-30 国网山东省电力公司电力科学研究院 一种基于lof算法的主变油色谱数据清洗方法
CN112579352A (zh) * 2020-12-14 2021-03-30 广州信安数据有限公司 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统

Also Published As

Publication number Publication date
CN108170825B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US6604208B1 (en) Incremental alarm correlation method and apparatus
CN107561997B (zh) 一种基于大数据决策树的电力设备状态监测方法
CN110135538A (zh) 基于rfid的带电作业工器具全生命库房管理方法及其系统
CN101958804B (zh) 提升告警处理效率的方法、服务器及系统
CN111241072B (zh) 一种判断数据段连续性的方法及其系统
CN111949480B (zh) 一种基于组件感知的日志异常检测方法
CN114866396B (zh) 基于文本相似度的实现资源不准下网络故障定位的方法
CN107820692A (zh) 一种告警同步方法和系统
CN108170825A (zh) 基于云平台的分布式能源数据监控清洗方法
CN114429256A (zh) 数据监测方法、装置、电子设备及存储介质
CN110503247A (zh) 电信网络告警预测方法及系统
CN116185758A (zh) 一种基于滑动窗口和关联规则分析的告警数据收敛方法
CN112699281B (zh) 一种基于gspan算法的告警事件规则挖掘方法与系统
CN105634781B (zh) 一种多故障数据解耦方法和装置
CN108173711B (zh) 企业内部系统数据交换监控方法
Wang et al. An algorithm for mining of association rules for the information communication network alarms based on swarm intelligence
US7813974B1 (en) Method and apparatus for duplicate shipment detection
CN105678456B (zh) 一种电能计量装置运行状态自动评估方法及其系统
CN116308679A (zh) 供应链异常订单处理方法、装置、设备及存储介质
CN116303402A (zh) 一种基于数据仓库的数据清洗方法
CN116150253A (zh) 一种基于多模态信号的生产设备预测性维护方法和系统
CN112347069B (zh) 一种基于制造大数据的制造企业预测型维修服务方法
CN109143878B (zh) 多路采集通道的遥信消息和soe消息处理方法
CN109960231A (zh) 一种基于物联网的生产管理系统及其方法
CN116186616A (zh) 一种巡检管理系统及巡检管理方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant