CN109542828A - 一种电力大数据实验平台 - Google Patents
一种电力大数据实验平台 Download PDFInfo
- Publication number
- CN109542828A CN109542828A CN201710866769.5A CN201710866769A CN109542828A CN 109542828 A CN109542828 A CN 109542828A CN 201710866769 A CN201710866769 A CN 201710866769A CN 109542828 A CN109542828 A CN 109542828A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- big data
- electric power
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims abstract description 9
- 241001269238 Data Species 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000005611 electricity Effects 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 7
- 238000005265 energy consumption Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010348 incorporation Methods 0.000 claims description 3
- 238000012482 interaction analysis Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010206 sensitivity analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract description 4
- 239000000306 component Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电力大数据实验平台，包括硬件层和与其通讯的软件层，所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互。本发明的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。
Description
技术领域
本发明涉及一种电力大数据实验平台。
背景技术
大数据已经成为左右各行各业竞争能力和生存发展的必要因素，先行者已通过技术手段确立或扭转了市场地位，而像Oracle、SAP、Microsoft、IBM等传统数据库厂商，依靠在传统数据库上的市场优势，逐渐向客户提供端到端的大数据解决方案。都相继推出大数据整套产品，从数据存储、数据计算、数据探索、数据展现等方面，帮助企业解决大数据问题，提高企业竞争力。
随着智能电网的深化建设，电力系统生产、运行、销售、管理等过程产生出大量数据，迫切需要利用大数据技术，高效挖掘多源异构电力数据，深度发现电力数据价值，提升电网发展运营水平，提高对社会经济的服务水平。
发明内容
本发明的目的是克服现有技术的缺陷，提供一种电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。
实现上述目的的技术方案是：一种电力大数据实验平台，包括硬件层和与其通讯的软件层，其中:
所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；
所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、Inceptor SQL引擎、数据挖掘机器学习模块、Hyper base列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置TranswarpErasure Code；所述资源管理模块内置Transwarp Extension。
上述的一种电力大数据实验平台，所述硬件层中：所述千兆管理网络包括两台千兆交换机；所述万兆数据网络包括两台万兆交换机。
上述的一种电力大数据实验平台，所述软件层中：
所述Inceptor SQL引擎，支持完整的SQL语法；
所述Hyper base列式数据库，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；
所述数据挖掘机器学习模块支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；
所述流处理引擎支持流式数据的实时处理；
所述安全管控模块用于对电力大数据进行行列安全控制；
所述数据集成模块，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。
上述的一种电力大数据实验平台中，所述安全管控模块自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层，存储了对于文件、数据库和缓存数据的安全控制策略；
第二层是安全策略执行引擎，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；
第三层是安全接口层，包括身份认证、授权管理和多租户管理三个接口组件，实现对访问层的安全接口；
第四层是大数据组件层，包括SQL引擎、M/R引擎、可视化引擎和RStudio，是大数据的使用组件，用户需借助这些组件访问、获取和分析电力大数据。
上述的一种电力大数据实验平台中，所述电力大数据实验平台用于实现电力大数据的多源集成、统一存储、高效处理和业务应用，实现用户/台区/线路海量用电负荷时序数据存储和索引、居民及工商业用电特性聚类及用电敏感性分析、行业用电分析、特殊用电分析和台区/线路用电预测功能，建立用户侧至电网侧数据的关联集成，并与GIS空间可视化技术融合，实现营配调业务贯通和全景能耗监测。
本发明的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。
附图说明
图1为本发明的电力大数据实验平台的硬件层的结构示意图；
图2为本发明的电力大数据实验平台的软件层的结构示意图；
图3为本发明的电力大数据实验平台的安全管控模块的结构示意图。
具体实施方式
为了使本技术领域的技术人员能更好地理解本发明的技术方案，下面结合附图对其具体实施方式进行详细地说明：
请参阅图1、图2和图3，本发明的最佳实施例，一种电力大数据实验平台，包括硬件层和与硬件层通讯的软件层。
请参阅图1，硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点A、11个配用电大数据混合并行计算节点B、4个配用电大数据高性能计算节点C、3个分布式数据采集节点D、2个大数据集群管理节点E和3个大数据可视化节点F，各节点之间通过千兆管理网络G和万兆数据网络H进行信息交互。千兆管理网络G包括两台千兆交换机G1；万兆数据网络H包括两台万兆交换机H1。
请参阅图2，软件层包括安全管控模块21、优化存储模块22、全文搜索模块23、实时同步模块24、数据集成模块25、日志采集模块26、消息队列模块27、资源管理模块28、批处理模块29、批处理框架模块30、工作流模块31、交互分析模块32、交互工具模块33、InceptorSQL引擎34、数据挖掘机器学习模块35、Hyper base列式数据库36、流处理引擎37和协作服务模块38，优化存储模块22内置Transwarp Erasure Code；资源管理模块28内置TranswarpExtension。Inceptor SQL引擎34支持完整的SQL语法；Hyper base列式数据库36，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；数据挖掘机器学习模块35支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；流处理引擎37支持流式数据的实时处理；安全管控模块21用于对电力大数据进行行列安全控制；数据集成模块25，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。
安全管控模块21自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层211，存储了对于文件、数据库和缓存数据的安全控制策略；第二层是安全策略执行引擎212，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；第三层是安全接口层213，包括身份认证、授权管理和多租户管理三个接口组件，实现对访问层的安全接口；第四层是大数据组件层214，包括SQL引擎、M/R引擎、可视化引擎和RStudio，是大数据的使用组件，用户需借助这些组件访问、获取和分析电力大数据。
本发明的一种电力大数据实验平台，用于实现电力大数据的多源集成、统一存储、高效处理和业务应用，实现用户/台区/线路海量用电负荷时序数据存储和索引、居民及工商业用电特性聚类及用电敏感性分析、行业用电分析、特殊用电分析和台区/线路用电预测功能，建立用户侧至电网侧数据的关联集成，并与GIS空间可视化技术融合，实现营配调业务贯通和全景能耗监测。可以在分布式和开放的环境下为众多单位和用户提供服务。
综上所述，本发明的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (5)
1.一种电力大数据实验平台，其特征在于，包括硬件层和与其通讯的软件层，其中:
所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；
所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、Inceptor SQL引擎、数据挖掘机器学习模块、Hyperbase列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置Transwarp ErasureCode；所述资源管理模块内置Transwarp Extension。
2.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述硬件层中：所述千兆管理网络包括两台千兆交换机；所述万兆数据网络包括两台万兆交换机。
3.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述软件层中：
所述Inceptor SQL引擎，支持完整的SQL语法；
所述Hyper base列式数据库，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；
所述数据挖掘机器学习模块支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；
所述流处理引擎支持流式数据的实时处理；
所述安全管控模块用于对电力大数据进行行列安全控制；
所述数据集成模块，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。
4.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述安全管控模块自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层，存储了对于文件、数据库和缓存数据的安全控制策略；
第二层是安全策略执行引擎，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；
第三层是安全接口层，包括身份认证、授权管理和多租户管理三个接口组件，实现对访问层的安全接口；
第四层是大数据组件层，包括SQL引擎、M/R引擎、可视化引擎和RStudio，是大数据的使用组件，用户需借助这些组件访问、获取和分析电力大数据。
5.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述电力大数据实验平台用于实现电力大数据的多源集成、统一存储、高效处理和业务应用，实现用户/台区/线路海量用电负荷时序数据存储和索引、居民及工商业用电特性聚类及用电敏感性分析、行业用电分析、特殊用电分析和台区/线路用电预测功能，建立用户侧至电网侧数据的关联集成，并与GIS空间可视化技术融合，实现营配调业务贯通和全景能耗监测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710866769.5A CN109542828A (zh) | 2017-09-22 | 2017-09-22 | 一种电力大数据实验平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710866769.5A CN109542828A (zh) | 2017-09-22 | 2017-09-22 | 一种电力大数据实验平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109542828A true CN109542828A (zh) | 2019-03-29 |
Family
ID=65830730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710866769.5A Pending CN109542828A (zh) | 2017-09-22 | 2017-09-22 | 一种电力大数据实验平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542828A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110362572A (zh) * | 2019-06-25 | 2019-10-22 | 浙江邦盛科技有限公司 | 一种基于列式存储的时序数据库系统 |
| CN110941681A (zh) * | 2019-12-11 | 2020-03-31 | 南方电网数字电网研究院有限公司 | 电力系统的多租户数据处理系统、方法和装置 |
| CN111768063A (zh) * | 2019-12-30 | 2020-10-13 | 深圳市恒泰能源科技有限公司 | 面向电力需求侧的节能管理系统、节能方法 |
-
2017
- 2017-09-22 CN CN201710866769.5A patent/CN109542828A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110362572A (zh) * | 2019-06-25 | 2019-10-22 | 浙江邦盛科技有限公司 | 一种基于列式存储的时序数据库系统 |
| CN110362572B (zh) * | 2019-06-25 | 2022-07-01 | 浙江邦盛科技股份有限公司 | 一种基于列式存储的时序数据库系统 |
| CN110941681A (zh) * | 2019-12-11 | 2020-03-31 | 南方电网数字电网研究院有限公司 | 电力系统的多租户数据处理系统、方法和装置 |
| CN110941681B (zh) * | 2019-12-11 | 2021-02-23 | 南方电网数字电网研究院有限公司 | 电力系统的多租户数据处理系统、方法和装置 |
| CN111768063A (zh) * | 2019-12-30 | 2020-10-13 | 深圳市恒泰能源科技有限公司 | 面向电力需求侧的节能管理系统、节能方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN109582667A (zh) | 一种基于电力调控大数据的多数据库混合存储方法及系统 | |
| CN103106249B (zh) | 一种基于Cassandra的数据并行处理系统 | |
| CN109840253A (zh) | 企业级大数据平台架构 | |
| CN109582717A (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及系统 | |
| CN103440288A (zh) | 一种大数据存储方法及装置 | |
| CN102521364B (zh) | 一种图上两点间最短路径查询方法 | |
| Ngu et al. | B+-tree construction on massive data with Hadoop | |
| CN109542828A (zh) | 一种电力大数据实验平台 | |
| CN114297173B (zh) | 一种面向大规模海量数据的知识图谱构建方法和系统 | |
| Gomes et al. | Towards an infrastructure to support big data for a smart city project | |
| CN103489139A (zh) | 城市配电网规划综合分析与管理系统 | |
| Shouaib et al. | Survey on iot-based big data analytics | |
| Ravichandran | Big Data processing with Hadoop: a review | |
| Lee et al. | A big data management system for energy consumption prediction models | |
| CN112308738A (zh) | 一种水务数据分析处理系统 | |
| Tang et al. | Research and application of improving the field service ability of electric power marketing measuring mobile operating based on cloud computing technology | |
| CN111695001B (zh) | 一种大数据场景下的混合数据管理系统 | |
| Pan et al. | An open sharing pattern design of massive power big data | |
| Li | [Retracted] Multiparty Coordinated Logistics Distribution Route Optimization Based on Data Analysis and Intelligent Algorithm | |
| Sun et al. | Cloud-based data analysis of user side in smart grid | |
| CN110955521A (zh) | 一种基于大数据的配电网广域分布式下沉计算系统和方法 | |
| Jain et al. | Data optimization techniques using bloom filter in big data | |
| Yuan et al. | Patented network analysis on cloud computing technology in internet of things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190329 |