CN112860687A - 能源数据预处理系统 - Google Patents
能源数据预处理系统 Download PDFInfo
- Publication number
- CN112860687A CN112860687A CN202011181425.9A CN202011181425A CN112860687A CN 112860687 A CN112860687 A CN 112860687A CN 202011181425 A CN202011181425 A CN 202011181425A CN 112860687 A CN112860687 A CN 112860687A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- module
- energy
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 42
- 238000013480 data collection Methods 0.000 claims description 22
- 238000010223 real-time analysis Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
- Y04S20/30—Smart metering, e.g. specially adapted for remote reading
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Power Sources (AREA)
Abstract
本发明涉及能源数据预处理系统，更具体地说，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
Description
技术领域
本发明涉及能源数据预处理系统，更具体地说，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
背景技术
未来的能源数据技术将通过对收集到的电力数据进行实时数据分析而发展成一种智能服务，为了顺畅地支持这种功能，早期阶段就开始掌握用于信息的有效收集·管理·分析的各种技术的应用范围和特征而充分反应电力数据的特性的数据分析系统开发是非常重要的。
然而，当前的国内电力系统以封闭的网络运行，正在通过一些智能电网演进，但是由于建立和运行标准化的面向服务的基础设施，目前仍处于停滞状态。
尤其，需要根本上改善在接受针对超连接社会的能源数据预处理技术方面存在困难的电力领域连接网。
此外，为了开发利用能源数据预处理技术来有效识别日后浪费的能源的能源管理系统，智能的能量感知(Energy Aware)技术、用于节约能源的用户中心的节能系统的构建、用于实时/智能地处理/分析多种电力数据收集装置中收集的大数据的能源大数据分析平台技术的开发属于关键问题。
发明内容
(一)要解决的技术问题
本发明为了解决上述问题而提供一种能源数据预处理系统，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
(二)技术方案
为了达成所述目的，本发明提供一种能源数据预处理系统，包括：数据收集模块，接收由电力数据测量装置(RTU)接收到的能源数据、各种开放数据(iSMART数据等)并记录到数据文件；预处理模块，接收所述数据文件并记录到Hbase通道或实时分析通道；数据存储模块，从所述预处理模块接收所述Hbase通道的数据并存储；以及实时监测模块，从所述预处理模块接收所述实时分析通道的数据并处理实时分析信息。
根据优选实施例，所述数据收集模块包括：FEP(Front-End Processor：前端处理器)，将与PDC进行通信而接收的能源数据记录到数据文件；数据库，存储数据；变更资料收集器，数据内容发生变更时，收集变更内容；以及数据收集代理，将从变更资料收集器接收的数据传送到所述预处理模块。
并且，所述预处理模块包括：信息源收集器，从所述数据收集代理接收数据文件并记录到所述Hbase通道或所述实时分析通道；Hbase储存器，将所述Hbase通道的数据存储到所述数据存储模块；以及实时分析传送器，将所述实时分析通道的数据传送到所述实时信息处理模块。
(三)有益效果
本发明具有如下优异效果。
根据本发明的能源数据预处理系统，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
附图说明
图1是示出本发明的一个实施例的能源数据预处理系统的连接环境的图。
图2是示出本发明的一个实施例的能源数据预处理系统的结构图。
图3是本发明的一个实施例的能源数据预处理系统的数据收集模块的结构图。
图4是本发明的一个实施例的能源数据预处理系统的预处理模块的结构图。
具体实施方式
本发明中使用的术语尽可能选择了当前广泛使用的一般术语，特定的情况下，还使用了申请人任意选择的术语，此时，不应简单地根据术语的名称，而应考虑到说明书部分记载或使用的意思。
以下参照附图示出的优选实施例详细描述本发明的技术结构。
但是，本发明并不受限于这里描述的实施例，而是可以呈现为其他形态。整个说明书中相同的附图标记示出相同的构件。
本发明涉及能源数据预处理系统，更具体地说，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
图1是示出本发明的一个实施例的能源数据预处理系统的连接环境的图，图2是示出本发明的一个实施例的能源数据预处理系统的结构图，图3是本发明的一个实施例的能源数据预处理系统的数据收集模块的结构图，图4是本发明的一个实施例的能源数据预处理系统的预处理模块的结构图。
参照图1，根据本发明的一个实施例的能源数据预处理系统，抄表服务器以Ni-Fi形式传送数据，由Kafka Cluster进行数据收集、缓冲、分配作业之后，由Spark Cluster对数据进行加载、分析、验证/更正/估计、汇总/分析，最终在Mongo DB In Memory DBCluster，由RDBMS、DW Appliance、Hadoop Cluster实时收集并统计数据。
并且，参照图2，所述能源数据预处理系统包括数据收集模块、预处理模块、数据存储模块。
所述数据收集模块从所述收集节点接收能源数据、各种开放数据(iSMART数据等)并记录到数据文件。
并且，所述数据收集模块分别分配收集对象，同时支持各节点间相同表名称的存储及不同表名称的存储，从而实现并行数据查询处理。
另外，可以在操作过程中添加并行节点，或在其他节点删除特定区域的数据源并重构，并在执行特定期间的总结或检索时，按照各节点，以精炼的形式执行查询，只传送其结果。
另外，当数据处理量太多而无法执行的情况和累积的数据超过单个服务器的物理扩展空间时，符合逻辑地设置用户将连接到的主节点(查询节点)并分散这些节点。
并且，参照图3进行更详细的描述，所述数据收集模块包括
FEP、数据库、变更资料收集器及数据收集代理。
所述数据收集模块与PDC进行通信，将接收的传感器数据记录到数据文件。
并且，所述数据库是存储数据的存储库。
并且，所述变更资料收集器在变更数据内容时，收集变更内容并传送到所述数据收集代理。
并且，所述数据收集代理将由所述变更资料收集器传送的数据传送到下面将描述的预处理模块。
所述预处理模块从所述数据收集模块接收数据文件并记录到Hbase通道或实时分析通道。
并且，参照图4，所述预处理模块包括信息源收集器、Hbase通道、实时分析通道、Hbase储存器及实时分析传送器。
所述信息源收集器从所述数据收集代理接收数据文件并记录到所述Hbase通道或所述实时分析通道。
并且，所述Hbase通道是需要存储的数据队列(Queue)。
并且，所述实时分析通道是需要实时分析的数据队列。
并且，所述Hbase储存器向下述的数据存储模块传送被存储于所述Hbase通道的数据，保障多行(Row)事务处理。
并且，所述实时分析传送器将所述实时分析通道的数据传送到下述的实时监测模块。
所述数据存储模块从所述预处理模块接收存储到所述Hbase储存器的数据并存储为大数据。
并且，通过访问队列并并行处理相应主题(Topic)的数据来分散存储所述数据。
所述实时监测模块从所述预处理模块接收所述实时分析通道的数据并处理实时分析信息。
因此，本发明的一个实施例的能源数据预处理系统的优点在于，将电力数据测量装置(RTU)接收的能源数据、各种开放数据(iSMART数据等)存储到一个系统并将其加工，并创建并行数据结构而存储为大数据，以确保在与单个服务器相同的环境下访问数据。
如上所述，参照优选实施例对本发明进行了描述，但本发明并不受限于所述实施例，在不脱离本发明的思想的范围内，本领域普通技术人员可以对本发明实施多种变更和修改。
Claims (3)
1.一种能源数据预处理系统，包括：
数据收集模块，接收能源数据、各种开放数据并记录到数据文件；
预处理模块，接收所述数据文件并记录到Hbase通道或实时分析通道；
数据存储模块，从所述预处理模块接收所述Hbase通道的数据并存储；以及
实时监测模块，从所述预处理模块接收所述实时分析通道的数据并处理实时分析信息。
2.根据权利要求1所述的能源数据预处理系统，其特征在于，
所述数据收集模块包括：前端处理器，将与PDC进行通信而接收的能源数据记录到数据文件；
数据库，存储数据；
变更资料收集器，监测数据，当内容发生变更时，收集变更内容；以及
数据收集代理，将从变更资料收集器接收的数据传送到所述预处理模块。
3.根据权利要求1所述的能源数据预处理系统，其特征在于，
所述预处理模块包括：信息源收集器，从所述数据收集代理接收数据文件并记录到所述Hbase通道或所述实时分析通道；
Hbase储存器，将所述Hbase通道的数据存储到所述数据存储模块；以及
实时分析传送器，将所述实时分析通道的数据传送到所述实时监测模块。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2019-0154210 | 2019-11-27 | ||
| KR1020190154210A KR20210065453A (ko) | 2019-11-27 | 2019-11-27 | 에너지 데이터 전처리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112860687A true CN112860687A (zh) | 2021-05-28 |
Family
ID=75996223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011181425.9A Withdrawn CN112860687A (zh) | 2019-11-27 | 2020-10-29 | 能源数据预处理系统 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20210065453A (zh) |
| CN (1) | CN112860687A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN109784719A (zh) * | 2019-01-14 | 2019-05-21 | 中国建筑科学研究院有限公司 | 一种大数据驱动的针对既有建筑综合性能的监测系统 |
| KR20190078745A (ko) * | 2017-12-27 | 2019-07-05 | 주식회사 엘시스 | 에너지 IoT TOC 플랫폼 분산처리 시스템 |
| CN110119421A (zh) * | 2019-04-03 | 2019-08-13 | 昆明理工大学 | 一种基于Spark流式分类的电力窃电用户识别方法 |
-
2019
- 2019-11-27 KR KR1020190154210A patent/KR20210065453A/ko unknown
-
2020
- 2020-10-29 CN CN202011181425.9A patent/CN112860687A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| KR20190078745A (ko) * | 2017-12-27 | 2019-07-05 | 주식회사 엘시스 | 에너지 IoT TOC 플랫폼 분산처리 시스템 |
| CN109784719A (zh) * | 2019-01-14 | 2019-05-21 | 中国建筑科学研究院有限公司 | 一种大数据驱动的针对既有建筑综合性能的监测系统 |
| CN110119421A (zh) * | 2019-04-03 | 2019-08-13 | 昆明理工大学 | 一种基于Spark流式分类的电力窃电用户识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210065453A (ko) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100449543C (zh) | 一种日志保存方法及装置 | |
| CN107818120B (zh) | 基于大数据的数据处理方法和装置 | |
| CN105069703B (zh) | 一种电网海量数据管理方法 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN111432295A (zh) | 一种基于分布式技术的用电信息采集主站系统 | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN102902813A (zh) | 日志收集系统 | |
| CN102111285A (zh) | 一种日志信息管理方法及系统 | |
| CN105447146A (zh) | 一种海量数据的收集与交换系统及方法 | |
| CN112632025A (zh) | 一种基于paas平台的电网企业管理决策支持应用系统 | |
| CN111061802A (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
| KR20190078745A (ko) | 에너지 IoT TOC 플랫폼 분산처리 시스템 | |
| CN109614380A (zh) | 日志处理方法、系统、计算机设备及可读介质 | |
| CN109446167A (zh) | 一种日志数据存储、提取方法及装置 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN112860687A (zh) | 能源数据预处理系统 | |
| KR20210054674A (ko) | 분산자원 중개거래 플랫폼 분산처리 시스템 | |
| CN116016117A (zh) | 网络设备运维数据采集方法、系统、电子设备及存储介质 | |
| CN110377757A (zh) | 一种实时知识图谱构建系统 | |
| KR20230076627A (ko) | 아이오티 플랫폼 분산처리 시스템 | |
| KR20220028881A (ko) | 전력 데이터 전처리 시스템 | |
| KR20200058113A (ko) | 스마트 에너지 관리 플랫폼 분산처리 시스템 | |
| KR20230077038A (ko) | 스마트팜 에너지 데이터 분산처리 시스템 | |
| KR20210055166A (ko) | 에너지 통합관제시스템(toc)플랫폼 분산처리 시스템 | |
| CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210528 |
|
| WW01 | Invention patent application withdrawn after publication |