CN110413622A - 一种基于电力大数据平台的数据处理方法 - Google Patents

一种基于电力大数据平台的数据处理方法 Download PDF

Info

Publication number
CN110413622A
CN110413622A CN201910706047.2A CN201910706047A CN110413622A CN 110413622 A CN110413622 A CN 110413622A CN 201910706047 A CN201910706047 A CN 201910706047A CN 110413622 A CN110413622 A CN 110413622A
Authority
CN
China
Prior art keywords
data
electric power
data processing
method based
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910706047.2A
Other languages
English (en)
Other versions
CN110413622B (zh
Inventor
任春雷
李鹏飞
李尧
白雨佳
卢颖辉
张悦
张洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Original Assignee
East Inner Mongolia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East Inner Mongolia Electric Power Co Ltd filed Critical East Inner Mongolia Electric Power Co Ltd
Priority to CN201910706047.2A priority Critical patent/CN110413622B/zh
Publication of CN110413622A publication Critical patent/CN110413622A/zh
Application granted granted Critical
Publication of CN110413622B publication Critical patent/CN110413622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Water Supply & Treatment (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明涉及一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。

Description

一种基于电力大数据平台的数据处理方法
技术领域
本发明涉及电力大数据技术领域，具体涉及一种基于电力大数据平台的数据处理方法。
背景技术
电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。
电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性，一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多(Variety)、四是价值大(Value)、五是精确性高(Veracity)。
现有的大数据处理方法一般是将海量的电力大数据进行去噪处理，然后进行分析，但是异常数据常常包含着巨大的研究价值，能够对用电行为分析、故障点预测、节能等方面提供新的思路。
发明内容
为解决现有技术的不足，本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：
一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，该方法顺序的包括如下步骤：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；
其中，步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析。
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
本发明能够同时对不同类型的数据进行多样化处理，提高了数据存储和处理的效率；而且本发明不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。
具体实施方式
本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；
其中，步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析。
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (4)

1.一种基于电力大数据平台的数据处理方法，其特征在于，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，该方法顺序的包括如下步骤：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算。
2.根据权利要求1所述的一种基于电力大数据平台的数据处理方法，其特征在于，所述步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析；
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
3.根据权利要求1所述的一种基于电力大数据平台的数据处理方法，其特征在于，所述数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式。
4.根据权利要求1所述的一种基于电力大数据平台的数据处理方法，其特征在于，所述数据存储方式采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储。
CN201910706047.2A 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法 Active CN110413622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706047.2A CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706047.2A CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Publications (2)

Publication Number Publication Date
CN110413622A true CN110413622A (zh) 2019-11-05
CN110413622B CN110413622B (zh) 2023-01-24

Family

ID=68365105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706047.2A Active CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Country Status (1)

Country Link
CN (1) CN110413622B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111509849A (zh) * 2020-04-22 2020-08-07 广东电网有限责任公司 一种基于流式计算的数字电网系统
CN111711190A (zh) * 2020-06-18 2020-09-25 国网河北省电力有限公司石家庄供电分公司 一种电力稳定系统及其电力稳定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630885A (zh) * 2015-12-18 2016-06-01 国网福建省电力有限公司泉州供电公司 一种用电异常检测方法及系统
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
US20170060931A1 (en) * 2015-08-31 2017-03-02 Accenture Global Solutions Limited Intelligent data munging
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
US20190005165A1 (en) * 2006-02-14 2019-01-03 Power Analytics Corporation Systems and methods for real-time dc microgrid power analytics for mission-critical power systems
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005165A1 (en) * 2006-02-14 2019-01-03 Power Analytics Corporation Systems and methods for real-time dc microgrid power analytics for mission-critical power systems
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
US20170060931A1 (en) * 2015-08-31 2017-03-02 Accenture Global Solutions Limited Intelligent data munging
CN105630885A (zh) * 2015-12-18 2016-06-01 国网福建省电力有限公司泉州供电公司 一种用电异常检测方法及系统
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刁赢龙等: "大规模配电网负荷数据在线清洗与修复方法研究", 《电网技术》 *
杨漾等: "电力大数据平台建设及实时线损异常检测应用", 《现代计算机(专业版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111509849A (zh) * 2020-04-22 2020-08-07 广东电网有限责任公司 一种基于流式计算的数字电网系统
CN111711190A (zh) * 2020-06-18 2020-09-25 国网河北省电力有限公司石家庄供电分公司 一种电力稳定系统及其电力稳定方法

Also Published As

Publication number Publication date
CN110413622B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
Nie et al. Hybrid of ARIMA and SVMs for short-term load forecasting
Li et al. Predicting short-term electricity demand by combining the advantages of arma and xgboost in fog computing environment
CN105740975B (zh) 一种基于数据关联关系的设备缺陷评估与预测方法
CN110059356A (zh) 一种基于大数据和人工智能的大电网智能调控系统和方法
Hazra et al. Power grid transient stability prediction using wide area synchrophasor measurements
Sequeira et al. Energy cloud: Real-time cloud-native energy management system to monitor and analyze energy consumption in multiple industrial sites
Liu et al. Real-time complex event processing and analytics for smart grid
Babakmehr et al. Smart-grid topology identification using sparse recovery
CN110413622A (zh) 一种基于电力大数据平台的数据处理方法
Shobol et al. Overview of big data in smart grid
CN103077484A (zh) 基于电网历史信息统计分析的多维度潮流评价指标方法
Jin et al. Design and implementation of an Agricultural IoT based on LoRa
CN106849064B (zh) 一种基于气象数据的区域电网负荷预测管理系统
CN101534010B (zh) 基于微扰的割集电压稳定域局部边界求解方法
Ye et al. Big data processing framework for manufacturing
Joseph et al. Stream computing framework for outage detection in smart grid
Ju et al. The use of edge computing-based internet of things big data in the design of power intelligent management and control platform
Duan et al. Data mining & pattern recognition of voltage sag based on K-means clustering algorithm
Ramesh et al. Data aggregation strategies for aligning PMU and AMI measurements in electric power distribution networks
CN105046583A (zh) 一种适用于分布式实时数据处理的电网模型分区方法
Guerrero et al. Intelligent Information System as a Tool to Reach Unaproachable Goals for Inspectors
CN112787322B (zh) 基于scada系统和多时间尺度的电网动态管理方法
Pinzón et al. Chaos in power systems: towards short-term voltage stability analysis
Drakontaidis et al. Towards energy-proportional anomaly detection in the smart grid
CN105138819A (zh) 空间计算域计算强度表面生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200728

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER Co.,Ltd. INFORMATION AND COMMUNICATION BRANCH

Address before: 010010 information and communication branch of State Grid Inner Mongolia East Electric Power Co., Ltd., No.11, Ordos East Street, Ruyi Development Zone, Saihan District, Hohhot City, Inner Mongolia Autonomous Region

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER Co.,Ltd. INFORMATION AND COMMUNICATION BRANCH

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant