CN110413622B - 一种基于电力大数据平台的数据处理方法 - Google Patents

一种基于电力大数据平台的数据处理方法 Download PDF

Info

Publication number
CN110413622B
CN110413622B CN201910706047.2A CN201910706047A CN110413622B CN 110413622 B CN110413622 B CN 110413622B CN 201910706047 A CN201910706047 A CN 201910706047A CN 110413622 B CN110413622 B CN 110413622B
Authority
CN
China
Prior art keywords
data
utilization information
processing
data processing
electric power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910706047.2A
Other languages
English (en)
Other versions
CN110413622A (zh
Inventor
任春雷
李鹏飞
李尧
白雨佳
卢颖辉
张悦
张洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid East Inner Mogolia Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910706047.2A priority Critical patent/CN110413622B/zh
Publication of CN110413622A publication Critical patent/CN110413622A/zh
Application granted granted Critical
Publication of CN110413622B publication Critical patent/CN110413622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Water Supply & Treatment (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明涉及一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。

Description

一种基于电力大数据平台的数据处理方法
技术领域
本发明涉及电力大数据技术领域，具体涉及一种基于电力大数据平台的数据处理方法。
背景技术
电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。
电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性，一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多(Variety)、四是价值大(Value)、五是精确性高(Veracity)。
现有的大数据处理方法一般是将海量的电力大数据进行去噪处理，然后进行分析，但是异常数据常常包含着巨大的研究价值，能够对用电行为分析、故障点预测、节能等方面提供新的思路。
发明内容
为解决现有技术的不足，本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：
一种基于电力大数据平台的数据处理方法，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，该方法顺序的包括如下步骤：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；
其中，步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析。
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
本发明能够同时对不同类型的数据进行多样化处理，提高了数据存储和处理的效率；而且本发明不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析。
具体实施方式
本发明提供了一种基于电力大数据平台的数据处理方法，不仅能够对海量的电力大数据进行处理，还能针对异常数据进行分析，具体技术方案如下：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，例如采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；
其中，步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷等信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析。
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (2)

1.一种基于电力大数据平台的数据处理方法，其特征在于，其利用数据处理装置实现，其中数据处理装置包括数据采集装置、数据存储装置、数据处理器、数据展示装置和数据监控装置，该方法顺序的包括如下步骤：
(1)利用数据采集装置获取用电信息，每隔10min的间隔周期向电网发送实时用电信息；
其中，数据采集装置为双向通信能力的智能电表；
(2)接受来自数据采集装置发送的用电信息，利用数据存储装置进行存储；
其中，数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式，采用HDFS、Hive、HBase、MangoDB中的一种或多种来存储；
(3)利用数据处理器对存储的用电信息抽取出异常数据，然后进行大数据统一处理，再对多源数据进行整合，批量生成分布式数据库，然后采用Storm组件进行实时计算；
所述步骤(3)中对于抽取的异常数据，处理步骤如下：
A.将获取的用电信息实时的存储于内存数据库中；
B.然后对数据进行预处理，按照对每户用电负荷信息进行计算，形成各个用户的数据曲线图；
C.用步骤B每个数据曲线上的点进行求平均，得到平均数据变化曲线图，每个用户数据曲线与平均数据变化曲线图进行比较，根据离散程度大小得到异常曲线图；
D.对得到的异常曲线去进行分析；
(4)利用数据展示装置对上述数据处理结果进行可视化处理；
(5)利用数据监控装置进行监控。
2.根据权利要求1所述的一种基于电力大数据平台的数据处理方法，其特征在于，所述数据存储装置根据数据类型和数据处理的要求采用不同的数据存储方式。
CN201910706047.2A 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法 Active CN110413622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706047.2A CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706047.2A CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Publications (2)

Publication Number Publication Date
CN110413622A CN110413622A (zh) 2019-11-05
CN110413622B true CN110413622B (zh) 2023-01-24

Family

ID=68365105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706047.2A Active CN110413622B (zh) 2019-08-01 2019-08-01 一种基于电力大数据平台的数据处理方法

Country Status (1)

Country Link
CN (1) CN110413622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111509849A (zh) * 2020-04-22 2020-08-07 广东电网有限责任公司 一种基于流式计算的数字电网系统
CN111711190A (zh) * 2020-06-18 2020-09-25 国网河北省电力有限公司石家庄供电分公司 一种电力稳定系统及其电力稳定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046458A1 (en) * 2006-02-14 2017-02-16 Power Analytics Corporation Systems and methods for real-time dc microgrid power analytics for mission-critical power systems
US10565750B2 (en) * 2015-08-31 2020-02-18 Accenture Global Solutions Limited Intelligent visualization munging
CN105630885B (zh) * 2015-12-18 2019-05-28 国网福建省电力有限公司泉州供电公司 一种用电异常检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大规模配电网负荷数据在线清洗与修复方法研究;刁赢龙等;《电网技术》;20151105(第11期);全文 *

Also Published As

Publication number Publication date
CN110413622A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN109145957B (zh) 基于大数据的配电网异常指标的识别与处理方法及装置
CN113240289B (zh) 一种电网调度控制系统运行状态评估方法及系统
CN108376982B (zh) 负载相序的识别方法及装置
CN106709651B (zh) 一种基于风险理论的电力系统安全性评估系统
CN108667005B (zh) 一种计及新能源影响的电网静动态结合脆弱性评估方法
CN110413622B (zh) 一种基于电力大数据平台的数据处理方法
CN108053095B (zh) 一种电能质量扰动事件特征提取方法及系统
CN111178587A (zh) 一种基于spark框架的短期电力负荷快速预测方法
CN213754105U (zh) 一种基于大数据的光伏电站智能管理系统
Kaplan et al. A novel method based on Weibull distribution for short-term wind speed prediction
Xue et al. Adaptive ultra-short-term wind power prediction based on risk assessment
CN110389268B (zh) 一种电力系统的在线监测系统
CN117473384A (zh) 一种电网线路安全约束辨识方法、装置、设备及存储介质
CN105046583A (zh) 一种适用于分布式实时数据处理的电网模型分区方法
CN109767062B (zh) 一种电网任务处置方案的动态生成方法
CN111882284A (zh) 一种分布式电源并网的运行监控方法和系统
CN110990382A (zh) 一种信息运营监测用数据溯源管理系统
Vergura Big data and efficiency of PV plants
CN116910681B (zh) 一种基于物联网的电力数据分析方法及系统
CN114997549B (zh) 黑盒模型的解释方法、装置及设备
Azzolini et al. Visualization Methods for Quasi-Static Time-Series (QSTS) Simulations with High PV Penetration
Liangzhi et al. Research on fault prediction and diagnosis of power equipment based on big data
Chen et al. Research on energy big data cleaning based on multi-source data analysis
Liang et al. Intelligent early warning system for power theft in distribution network based on IOT technology
Wang et al. Study and comparison of wind power correlation using two types of dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200728

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER Co.,Ltd. INFORMATION AND COMMUNICATION BRANCH

Address before: 010010 information and communication branch of State Grid Inner Mongolia East Electric Power Co., Ltd., No.11, Ordos East Street, Ruyi Development Zone, Saihan District, Hohhot City, Inner Mongolia Autonomous Region

Applicant before: STATE GRID INNER MONGOLIA EASTERN ELECTRIC POWER Co.,Ltd. INFORMATION AND COMMUNICATION BRANCH

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant