CN108228683A - 一种基于云计算的分布式智能电网数据分析平台 - Google Patents
一种基于云计算的分布式智能电网数据分析平台 Download PDFInfo
- Publication number
- CN108228683A CN108228683A CN201611250639.0A CN201611250639A CN108228683A CN 108228683 A CN108228683 A CN 108228683A CN 201611250639 A CN201611250639 A CN 201611250639A CN 108228683 A CN108228683 A CN 108228683A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- cloud computing
- data analysis
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 13
- 238000013515 script Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 abstract description 3
- 230000005611 electricity Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于云计算的分布式智能电网数据分析平台，该平台包括数据归集层、云计算层、中间层和表现层。各下层向对应的上层提供信息和数据服务。其中数据归集层采集分布式的电能数据并对数据进行预处理，向云计算层提供原始的电能数据；云计算层引入Hadoop平台对电能数据执行用户用电分析、电能分布统计等数据分析任务；中间层包括Web的后台程序、连通Web应用和Hadoop的通信服务模块WebHadoopServer、结果数据的存储与加载模块；表现层实现了电能数据分析结果的呈现。本平台利用云计算平台在处理海量数据的优势以提高电能数据分析任务的效率。
Description
技术领域
本发明涉及云计算的数据分析处理领域，特别涉及面向分布式电能数据的云计算数据分析平台。
背景技术
近年来，随着智能电网的发展，涌现海量的分布式的电能数据。这些数据包括电网系统运行过程中产生的电网全景实时数据、设备检查监测产生的数据、智能终端采集的用电数据和在应用过程中采集的外部能源、气象等多类型数据。另外，这些海量的电网数据隐藏着许多有价值的信息，包括电力设备的运行状况、用户用电行为规律、不同用户的负荷特性等。从这些数据的分析和研究得到有用的知识，能对供给侧电能质量评估、需求侧用电管理和政府的电价制定等问题提供用的参考。然而，电网数据的指数级增长对传统的数据存储和数据分析技术带来很大的挑战。
Hadoop是云计算领域的一个主要应用平台，是Apache下的一个开源项目。它的核心组件是分布式文件存储系统(HDFS)和并行计算框架(MapReduce)。分别用于解决海量数据的存储和处理的问题。Hadoop具有可伸缩性、高可靠性、低成本性和高效性的优点。Hadoop分布式技术的良好集群特性、强大的数据存储和并行计算能力，为海量智能电网数据的分析和处理提供了技术支持。
综合上述两点，本文的发明提供一种基于云计算的分布式智能电网数据分析平台，拟解决海量的电网数据存储和分析处理的问题。
发明内容
本发明要解决的技术问题在于提供一种基于云计算的分布式智能电网数据分析平台。旨在利用Hadoop对海量数据处理的优势，提高对电能数据的分析处理能力。
本发明的作业流程包括如下步骤：
步骤1：软件平台收到电网数据分析任务请求后，通过中间层的程序调用Hadoop平台的计算资源，启动云计算层中的数据分析模型，对数据归集层所采集到的数据进行分析处理；
步骤2：Hadoop平台会从HDFS和HBASE中调用已经存储的任务所需的海量电能数据；
步骤3：经过数据分析模型分析后的电能数据所得到的输出结果存储到关系数据库中；
步骤4：Web后台程序根据任务的需求，从关系数据库中查找数据分析的结果，并通过网页的图表形式呈现给用户。
本发明在结构设计上是这样实现的：
一种基于云计算的分布式智能电网数据分析平台，包括数据归集层、云计算层、中间层和表现层。下层为上层提供信息和数据服务。所述的数据归集层采集分布式的智能电网数据并对这些数据进行预处理，向云计算层提供规范化的原始数据；云计算层引入Hadoop平台对上述电能数据执行用户用电分析、电能分布统计等数据分析任务；中间层负责Web应用与Hadoop平台的通信，并对数据的分析结果进行存储；表现层实现了人机界面的交互，同时对数据分析结果进行可视化展示。
进一步，数据归集层包括数据同步模块、电能数据采集模块、备份数据库、数据预处理模块。数据同步模块主要包含数据同步代码，负责对分布在各处的电能数据同步归集；电能数据采集模块收集电力系统的实时数据；备份数据库是本地的关系数据库，存储备份的原始数据；数据预处理模块负责对电能原始数据的抽取、转换和加载。将数据转化成适合云计算层进行统计分析的格式。
进一步，云计算层通过引入Hadoop平台，依靠MapReduce框架对数据分析处理任务进行分布式并行处理，提高计算的运算速度；其中经过下层预处理电能数据高效持久化地存储于列式数据库HBASE中，分布式文件系统HDFS是列式数据库的基础；数据分析模型是电能数据分析的核心，本平台的做法是将数据分析任务进行并行化编程，如电能的用户用电分析、用电量分布统计、常见的关系数据库的投影、连接、最值、分组等任务实现成适合在MapReduce框架上运行的程序，并且上述的数据分析模型采用参数化编程，实际的运算依赖于传入的参数。
进一步，中间层包括Web后台程序、WebHadoopServer、数据加载模块、关系数据库。其中Web后台负责实现表现层的业务逻辑，如用户操作的响应，将分析好的电能结果数据转换成适合可视化图形界面的数据；
WebHadoopServer一个自主研发的介于Web应用和Hadoop平台的通信程序。它将需要计算任务的参数传递到下层的数据分析模型，并且通过命令脚本让Hadoop平台运行上述数据分析模型，得到分析结果。WebHadoopServer的结构下文附图说明；数据加载模块负责与关系数据库交互，从关系数据中获取结果数据；关系数据库就存储了云计算层的电能数据的分析结果。
进一步，表现层包括操作界面、数据分析结果展示。操作界面给用户提供友好的操作引导，其包括已有的数据分析模型、参数输入控件；数据分析结果展示包括表格、统计图形的多维呈现。
本发明提供的技术方案具有以下的优点和特点：
1.快速高效。本发明有效利用了云计算的分布式并行计算、面向海量数据的优势，提高了电能数据分析处理的能力。
2.处理过程自动化。本发明提出了一种基于Web和Hadoop的通信程序，可以让Web应用于云计算平台无缝连接，中间过程不需要人工干预。
3.经济和易扩展。采用开源的云计算框架Hadoop，可以用较廉价的PC搭建集群；系统采用分层设计，易于部署实施，可以方便地添加集群节点、数据分析模型来满足业务需要扩展的需求。
附图说明
图1为一种基于云计算的分布式智能电网数据分析平台的架构图。
图2为WebHadoopServer通信程序的工作原理图。
具体实施方式
为将本发明的技术方案优势描述的更加清楚，下面结合附图对本发明的具体实施方式作进一步的详细阐述。
具体实施步骤如下：
如图1所示一种基于云计算的分布式智能电网数据分析平台的体系结构包括数据归集层、云计算层、中间层和表现层。下层为上层提供信息和数据服务。所述的数据归集层采集分布式的智能电网数据并对这些数据进行预处理，向云计算层提供规范化的原始电网数据；云计算层引入Hadoop平台对电能数据执行用户用电分析、电能分布统计等数据分析任务；中间层负责Web应用与Hadoop平台的通信，并对电网数据的分析结果进行存储；表现层实现了人机界面的交互，同时对电能数据分析结果进行可视化展示。在实际的部署和应用需要实现以下的关键步骤：
搭建实验平台，包括硬件平台和软件平台，具体来说包括数据归集层的Oralce10g，电能数据采集设备，ETL工具软件；
安装和配置Hadoop集群；
将数据分析所需要的算法实现成基于MapReduce框架的计程序实体，并将对应的jar格式的程序包上传到Hadoop平台的主节点；
在中间层实现WebHadoopServer通信程序，让Web应用与Hadoop平台进行无缝的连接；
最后在表现层，实现可视化界面，界面主要包括已有的计算模型列表、结果数据的展示。
其中，上述的WebHadoopServer通信程序的工作原理如图2所示，其工作原理包括以下几步：
首先，WebHadoopServer接收到来自Web端程序的连接请求，并与Web端程序建立连接；
Web端程序向WebHadoopServer发送数据分析命令字符串，该字符串包括数据分析模型的主要输入参数，即数据分析模型的标识、数据的输入路径参数、数据分析模型的其它主要参数、数据的输出路径等；
WebHadoopServer接收到上述Web端程序发送的字符串，并将进行解析处理，按照一定的格式组合成可以在Hadoop平台运行的Shell脚本命令。通过执行Shell脚本，可以调用Hadoop集群的资源，执行数据分析模型得到所需要的结果。
Claims (3)
1.一种基于云计算的分布式智能电网数据分析平台，其特征在于，作业处理流程包括以下步骤：
步骤1：软件平台收到电网数据分析任务请求后，通过中间层的程序调用Hadoop平台的计算资源，启动云计算层中的数据分析模型，对数据归集层所采集到的数据进行分析处理；
步骤2：Hadoop平台会从HDFS和HBASE中调用已经存储的任务所需的海量电能数据；
步骤3：经过数据分析模型分析后的电能数据所得到的输出结果存储到关系数据库中；
步骤4：Web后台程序根据任务的需求，从关系数据库中查找数据分析的结果，并通过网页的图表形式呈现给用户。
2.根据权利要求1所述的一种基于云计算的分布式智能电网数据分析平台，其特征在于：
所述平台是采用分层设计的，包括数据归集层、云计算层、中间层和表现层。下层为上层提供信息和数据服务。
数据归集层包括数据同步模块、电能数据采集模块、备份数据库、数据预处理模块。数据同步模块主要包含数据同步代码，负责对分布在各处的电能数据同步归集；电能数据采集模块收集电力系统的实时数据；备份数据库是本地的关系数据库，存储备份的原始数据；数据预处理模块负责对电能原始数据的抽取、转换和加载，将数据转化成适合云计算层进行统计分析的格式。云计算层通过引入Hadoop平台，依靠MapReduce框架对数据分析处理任务进行分布式并行处理，提高计算的运算速度。中间层包括Web后台程序、WebHadoopServer、数据加载模块、关系数据库。表现层包括操作界面、数据分析结果展示。操作界面给用户提供友好的操作引导，包括显示已有的数据分析模型、参数输入控件；数据分析结果展示包括表格、统计图形的多维呈现。
3.根据权利要求1所述的一种基于云计算的分布式智能电网数据分析平台，其特征在于：
其中WebHadoopServer一个自主研发的介于Web应用和Hadoop平台的通信程序。它将需要计算任务的参数传递到下层的数据分析模型，并且通过命令脚本让Hadoop平台运行上述数据分析模型，得到分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611250639.0A CN108228683A (zh) | 2016-12-21 | 2016-12-21 | 一种基于云计算的分布式智能电网数据分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611250639.0A CN108228683A (zh) | 2016-12-21 | 2016-12-21 | 一种基于云计算的分布式智能电网数据分析平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108228683A true CN108228683A (zh) | 2018-06-29 |
Family
ID=62657267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611250639.0A Pending CN108228683A (zh) | 2016-12-21 | 2016-12-21 | 一种基于云计算的分布式智能电网数据分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108228683A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542859A (zh) * | 2018-10-18 | 2019-03-29 | 天津大学 | 一种基于云计算的海事信息处理模型 |
| CN110109973A (zh) * | 2019-04-30 | 2019-08-09 | 温州职业技术学院 | 一种云计算系统数据处理方法 |
| CN110908994A (zh) * | 2018-09-14 | 2020-03-24 | 北京京东金融科技控股有限公司 | 数据模型处理方法、系统、电子设备及可读介质 |
| CN111061756A (zh) * | 2019-10-16 | 2020-04-24 | 智慧足迹数据科技有限公司 | 数据平台、数据处理方法及电子设备 |
| CN111190957A (zh) * | 2019-11-22 | 2020-05-22 | 国家电网有限公司 | 一种基于云计算的输配电网运行特性一体化整定计算系统 |
| CN111861016A (zh) * | 2020-07-24 | 2020-10-30 | 北京合众伟奇科技有限公司 | 电网预测售电量的汇总分析管理方法及管理系统 |
| CN117194020A (zh) * | 2023-09-04 | 2023-12-08 | 北京宝联之星科技股份有限公司 | 一种云计算的原始大数据处理方法、系统和存储介质 |
-
2016
- 2016-12-21 CN CN201611250639.0A patent/CN108228683A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908994A (zh) * | 2018-09-14 | 2020-03-24 | 北京京东金融科技控股有限公司 | 数据模型处理方法、系统、电子设备及可读介质 |
| CN109542859A (zh) * | 2018-10-18 | 2019-03-29 | 天津大学 | 一种基于云计算的海事信息处理模型 |
| CN110109973A (zh) * | 2019-04-30 | 2019-08-09 | 温州职业技术学院 | 一种云计算系统数据处理方法 |
| CN111061756A (zh) * | 2019-10-16 | 2020-04-24 | 智慧足迹数据科技有限公司 | 数据平台、数据处理方法及电子设备 |
| CN111061756B (zh) * | 2019-10-16 | 2021-01-19 | 智慧足迹数据科技有限公司 | 数据平台、数据处理方法及电子设备 |
| CN111190957A (zh) * | 2019-11-22 | 2020-05-22 | 国家电网有限公司 | 一种基于云计算的输配电网运行特性一体化整定计算系统 |
| CN111861016A (zh) * | 2020-07-24 | 2020-10-30 | 北京合众伟奇科技有限公司 | 电网预测售电量的汇总分析管理方法及管理系统 |
| CN111861016B (zh) * | 2020-07-24 | 2024-03-29 | 北京合众伟奇科技股份有限公司 | 电网预测售电量的汇总分析管理方法及管理系统 |
| CN117194020A (zh) * | 2023-09-04 | 2023-12-08 | 北京宝联之星科技股份有限公司 | 一种云计算的原始大数据处理方法、系统和存储介质 |
| CN117194020B (zh) * | 2023-09-04 | 2024-04-05 | 北京宝联之星科技股份有限公司 | 一种云计算的原始大数据处理方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108228683A (zh) | 一种基于云计算的分布式智能电网数据分析平台 | |
| CN108039959B (zh) | 一种数据的态势感知方法、系统及相关装置 | |
| CN104616205A (zh) | 一种基于分布式日志分析的电力系统运行状态监视方法 | |
| CN112104751B (zh) | 调控云数据处理方法、装置及系统 | |
| CN113176948B (zh) | 边缘网关、边缘计算系统及其配置方法 | |
| CN110572435B (zh) | 一种云计算系统的数据处理方法 | |
| CN104750780A (zh) | 一种基于统计分析的Hadoop配置参数优化方法 | |
| CN109639791A (zh) | 一种容器环境下云工作流调度方法及系统 | |
| CN107463706A (zh) | 一种基于Hadoop的海量录波数据存储和解析方法及系统 | |
| CN109522297A (zh) | 一种电网运行监测云平台 | |
| CN113516331A (zh) | 一种建筑数据处理方法及装置 | |
| CN108337122B (zh) | 基于分布式流计算的运维管理系统 | |
| CN113688490A (zh) | 网络共建共享处理方法、装置、设备及存储介质 | |
| CN113032379A (zh) | 面向配网运检多源数据采集的方法 | |
| CN110533320B (zh) | 一种基于Hadoop平台的电力设备停电计划编制方法 | |
| CN109523031B (zh) | 一种用于深度分析的大数据智能机器学习系统 | |
| CN114756301B (zh) | 日志处理方法、装置和系统 | |
| CN104090813B (zh) | 一种云数据中心的虚拟机cpu使用率的分析建模方法 | |
| CN114997574A (zh) | 一种基于业务中台的配电台区弹性资源管理方法及装置 | |
| CN109508354A (zh) | 一种并行处理系统 | |
| CN113282568B (zh) | 一种iot大数据实时时序流分析应用技术方法 | |
| Yang et al. | An extensible Hadoop framework for monitoring performance metrics and events of OpenStack cloud | |
| CN104239630A (zh) | 一种支持试验设计的仿真调度系统 | |
| CN113055447A (zh) | 一种电力设备状态数据采集与智能分析装置及方法 | |
| KR101878291B1 (ko) | 에너지 빅데이터 관리 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Guangdong University of Technology Document name: Notification of Publication of the Application for Invention |
|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Guangdong University of Technology Document name: Notification of before Expiration of Request of Examination as to Substance |
|
| DD01 | Delivery of document by public notice | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180629 |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Guo Jingwen Document name: Notification that Application Deemed to be Withdrawn |
|
| DD01 | Delivery of document by public notice |