CN112699162A - 一种用于源网荷多元数据处理的系统 - Google Patents
一种用于源网荷多元数据处理的系统 Download PDFInfo
- Publication number
- CN112699162A CN112699162A CN202011478470.0A CN202011478470A CN112699162A CN 112699162 A CN112699162 A CN 112699162A CN 202011478470 A CN202011478470 A CN 202011478470A CN 112699162 A CN112699162 A CN 112699162A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- platform
- module
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 238000007726 management method Methods 0.000 claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 238000013500 data storage Methods 0.000 claims abstract description 34
- 238000007405 data analysis Methods 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000007418 data mining Methods 0.000 claims abstract description 15
- 238000013523 data management Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims description 49
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012986 modification Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000013499 data model Methods 0.000 claims description 12
- 238000011068 loading method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000007619 statistical method Methods 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000007792 addition Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 230000001681 protective effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 238000012098 association analyses Methods 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种用于源网荷多元数据处理的系统，属于大电网安全技术领域。本发明系统包括：数据传输及交换模块，数据处理模块，数据存储模块，数据计算模块，数据分析及挖掘模块，支撑引擎模块，数据管理模块，安全管理模块，平台管理模块，平台服务模块。本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。
Description
技术领域
本发明涉及大电网安全技术领域，并且更具体地，涉及一种用于源网荷多元数据处理的系统。
背景技术
目前各个省份或国网的网源荷储相关的平台在系统的安全稳定运行起到了至关重要的作用，但也存在一些不足，仿真计算跟不上电网实时变化，计算结果不够准确影响了电网消纳新能源能力。
系统中新能源的“下沉”特性，给系统的认知、控制与防御带来根本性变化，亟需一次调频评估、扰动源定位、惯量评估等安全评估手段。同时网源管理业务在线化程度不高，管理效率较低，亟需实现电源涉网智能支撑系统、涉网试验流程管理系统等，目前也缺少有效的引导新型用能、储能、供能设备与电网互动的机制与手段，同时也缺少有效的分析和控制手段应对泛在资源所带来的不确定性问题。
在数据方面目前通过各专业获得的量测数据无法支撑系统全面准确感知，需要补充测量手段及测点，同时国网公司不同专业的数据属于不同部门管理，数据流动存在多重障碍，缺少数据统一的手段，没有共享的基础和条件。在数据处理方面由于采集数据量大而庞杂，需要对数据进行处理，
各地建立的源网监控平台、源网荷互动调控平台及需求侧管理平台等独立发展，功能各有侧重，需统筹各地相关平台并形成企业级源网荷储协同系统,实现企业级源网荷储数据处理方法，从公司层面实现源网荷储业务的全局协同最优，对外提供多种形式的增值服务。
发明内容
针对上述问题，本发明提供了一种用于源网荷多元数据处理的系统，包括：
数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；
数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；
数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；
数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；
数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；
支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；
数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；
安全管理模块，所述安全管理模块用于对平台的安全管理；
平台管理模块，所述平台管理模块用于对平台的配置调度管理；
平台服务模块，所述平台服务模块用于对平台服务的调度管理。
可选的，数据传输及交换模块，包括：
数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；
数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。
可选的，数据处理模块，包括：
关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；
时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；
文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。
可选的，数据存储模块包括：实时数据存储模块及非实时数据存储模块；
所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；
所述实时数据存储单元用于实时数据的存储及读取；
所述时序数据存储单元用于存储和管理时间序列数据；
所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；
所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；
所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；
所述列式数据库存储单元用于列式数据库数据存储、访问和管理；
所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；
所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。
可选的，数据计算模块，包括：
批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；
内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；
流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。
可选的，数据分析及挖掘模块包括：
模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；
统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；
多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；
自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；
数据挖掘单元，对数据挖掘的模型进行分析及评估；
数据可视化单元，自定义数据可视化的展示效果。
可选的，支撑引擎模块，包括：
规则引擎单元，提供规则引擎，且包括对规则引擎的增删改操作；
复杂事件处理单元，对复杂事件进行处理，包括：多事件之间的安全管理，异常处理，平台事件之间的事件传输。
可选的，数据管理模块，包括：
数据目录单元，对平台数据目录进行增删改操作，针对数据目录进行统计；
标签管理单元，对平台的数据添加标签；
数据模型管理单元，对接入平台的数据结构进行管理，对创建或者添加的数据模型进行统计；
数据质量管理单元，记录数据修改前后的版本信息；
主数据管理单元，对数据修改前后进行统计及对比，根据统计对比结果，生成图形和报表。
可选的，安全管理模块，包括：
用户管理单元，对平台用户的基础信息进行管理，对平台用户进行授权登录；
权限管理单元，对不同的平台用户进行功能权限控制，及数据权限控制；
身份验证单元，对访问平台的用户进行身份认证；
存储安全单元，对敏感数据进行加密处理；
接入安全单元，提供平台用户接入时安全的登录环境。
可选的，平台管理模块，包括：
配置管理单元，对平台通用参数进行配置维护，对平台资源进行配置维护；
服务管理单元，对平台服务进行配置操作、查询、监控、及故障追踪处理；
版本管理单元，对平台的应用程序及组件的版本进行管理；
集群管理单元，对平台集群的安装部署及配置进行管理；
日志管理单元，对平台的日志进行归档分类；
作业管理单元，对平台的作业应用进行管理；
监控警告单元，对监控预警参数进行配置，对警告数据进行监测及报警；
任务调度单元，对平台的定时任务进行管理，对运行时任务进行协调调度。
可选的，平台服务模块包括：
数据服务单元，对关系型数据库、非关系型数据库、实时数据库的访问管理；
计算服务单元，对平台外提供流计算服务、批量计算服务，和内存计算服务；
分析服务单元，对平台外提供报表相关的服务接口、数据统计查询分析及挖掘服务；
服务目录单元，根据不同的数据属性，创建服务目录，对服务目录进行配置及管理。
本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。
附图说明
图1为本发明一种用于源网荷多元数据处理的系统的结构图；
图2为使用本发明进行数据管理的流程图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
本发明提供了一种用于源网荷多元数据处理的系统，如图1所示，包括：
数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；
数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；
数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；
数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；
数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；
支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；
数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；
安全管理模块，所述安全管理模块用于对平台的安全管理；
平台管理模块，所述平台管理模块用于对平台的配置调度管理；
平台服务模块，所述平台服务模块用于对平台服务的调度管理。
其中，数据传输及交换模块，包括：
数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；
数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。
其中，数据处理模块，包括：
关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；
时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；
文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。
其中，数据存储模块包括：实时数据存储模块及非实时数据存储模块；
所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；
所述实时数据存储单元用于实时数据的存储及读取；
所述时序数据存储单元用于存储和管理时间序列数据；
所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；
所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；
所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；
所述列式数据库存储单元用于列式数据库数据存储、访问和管理；
所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；
所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。
其中，数据计算模块，包括：
批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；
内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；
流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。
其中，数据分析及挖掘模块包括：
模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；
统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；
多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；
自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；
数据挖掘单元，对数据挖掘的模型进行分析及评估；
数据可视化单元，自定义数据可视化的展示效果。
其中，支撑引擎模块，包括：
规则引擎单元，提供规则引擎，且包括对规则引擎的增删改操作；
复杂事件处理单元，对复杂事件进行处理，包括：多事件之间的安全管理，异常处理，平台事件之间的事件传输。
其中，数据管理模块，包括：
数据目录单元，对平台数据目录进行增删改操作，针对数据目录进行统计；
标签管理单元，对平台的数据添加标签；
数据模型管理单元，对接入平台的数据结构进行管理，对创建或者添加的数据模型进行统计；
数据质量管理单元，记录数据修改前后的版本信息；
主数据管理单元，对数据修改前后进行统计及对比，根据统计对比结果，生成图形和报表。
其中，安全管理模块，包括：
用户管理单元，对平台用户的基础信息进行管理，对平台用户进行授权登录；
权限管理单元，对不同的平台用户进行功能权限控制，及数据权限控制；
身份验证单元，对访问平台的用户进行身份认证；
存储安全单元，对敏感数据进行加密处理；
接入安全单元，提供平台用户接入时安全的登录环境。
其中，平台管理模块，包括：
配置管理单元，对平台通用参数进行配置维护，对平台资源进行配置维护；
服务管理单元，对平台服务进行配置操作、查询、监控、及故障追踪处理；
版本管理单元，对平台的应用程序及组件的版本进行管理；
集群管理单元，对平台集群的安装部署及配置进行管理；
日志管理单元，对平台的日志进行归档分类；
作业管理单元，对平台的作业应用进行管理；
监控警告单元，对监控预警参数进行配置，对警告数据进行监测及报警；
任务调度单元，对平台的定时任务进行管理，对运行时任务进行协调调度。
可选的，平台服务模块包括：
数据服务单元，对关系型数据库、非关系型数据库、实时数据库的访问管理；
计算服务单元，对平台外提供流计算服务、批量计算服务，和内存计算服务；
分析服务单元，对平台外提供报表相关的服务接口、数据统计查询分析及挖掘服务；
服务目录单元，根据不同的数据属性，创建服务目录，对服务目录进行配置及管理。
本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。
使用本发明进行管理，可以使用三个步骤，如图2所示，包括：步骤1，为数据预处理，对于平台接收到或抽取到的数据进行入库前的规则存储处理：
数据校验、上下限、质量状态码等判断以及异步触发计算点的分布式计算，有告警消息的，通过消息总线发送告警通知；其中，实时数据还需要进行遥测、遥信、网络拓扑等处理；
步骤2，为数据计算：通过分布式调度，定时触发实时数据计算、运行数据统计、大数据分析存储；
步骤3，为数据挖掘：在时序历史库、数据统计分析库基础上，进行深入的数据挖掘关联分析，存入HIVE、MPP。
本发明利用源网荷储多元数据处理方法，从调度、营销等部门已有数据采集系统中提取数据，汇集与融合电源、电网、用户、储能四大类海量数据，构建千万测点级源网荷储数据处理平台，支持PB级海量数据的高通量采集、亚秒级计算分析处理、秒级高并发存储检索，实现弹性横向扩展资源、具有高可用性、高容错性、易扩展、兼容性强等优点，在数据处理基础上，构建源网荷储协同互动业务应用，全国范围内实现对系统中实现对各类可控资源的透明感知、特性建模和性能评估，为电网安全和促进新能源消纳提供评估手段，为电网安全稳定运行保驾护航。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种用于源网荷多元数据处理的系统，所述系统，包括：
数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；
数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；
数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；
数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；
数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；
支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；
数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；
安全管理模块，所述安全管理模块用于对平台的安全管理；
平台管理模块，所述平台管理模块用于对平台的配置调度管理；
平台服务模块，所述平台服务模块用于对平台服务的调度管理。
2.根据权利要求1所述的系统，所述数据传输及交换模块，包括：
数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；
数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。
3.根据权利要求1所述的系统，所述数据处理模块，包括：
关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；
时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；
文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。
4.根据权利要求1所述的系统，所述数据存储模块包括：实时数据存储模块及非实时数据存储模块；
所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；
所述实时数据存储单元用于实时数据的存储及读取；
所述时序数据存储单元用于存储和管理时间序列数据；
所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；
所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；
所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；
所述列式数据库存储单元用于列式数据库数据存储、访问和管理；
所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；
所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。
5.根据权利要求1所述的系统，所述数据计算模块，包括：
批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；
内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；
流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。
6.根据权利要求1所述的系统，所述数据分析及挖掘模块包括：
模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；
统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；
多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；
自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；
数据挖掘单元，对数据挖掘的模型进行分析及评估；
数据可视化单元，自定义数据可视化的展示效果。
7.根据权利要求1所述的系统，所述支撑引擎模块，包括：
规则引擎单元，提供规则引擎，且包括对规则引擎的增删改操作；
复杂事件处理单元，对复杂事件进行处理，包括：多事件之间的安全管理，异常处理，平台事件之间的事件传输。
8.根据权利要求1所述的系统，所述数据管理模块，包括：
数据目录单元，对平台数据目录进行增删改操作，针对数据目录进行统计；
标签管理单元，对平台的数据添加标签；
数据模型管理单元，对接入平台的数据结构进行管理，对创建或者添加的数据模型进行统计；
数据质量管理单元，记录数据修改前后的版本信息；
主数据管理单元，对数据修改前后进行统计及对比，根据统计对比结果，生成图形和报表。
9.根据权利要求1所述的系统，所述安全管理模块，包括：
用户管理单元，对平台用户的基础信息进行管理，对平台用户进行授权登录；
权限管理单元，对不同的平台用户进行功能权限控制，及数据权限控制；
身份验证单元，对访问平台的用户进行身份认证；
存储安全单元，对敏感数据进行加密处理；
接入安全单元，提供平台用户接入时安全的登录环境。
10.根据权利要求1所述的系统，所述平台管理模块，包括：
配置管理单元，对平台通用参数进行配置维护，对平台资源进行配置维护；
服务管理单元，对平台服务进行配置操作、查询、监控、及故障追踪处理；
版本管理单元，对平台的应用程序及组件的版本进行管理；
集群管理单元，对平台集群的安装部署及配置进行管理；
日志管理单元，对平台的日志进行归档分类；
作业管理单元，对平台的作业应用进行管理；
监控警告单元，对监控预警参数进行配置，对警告数据进行监测及报警；
任务调度单元，对平台的定时任务进行管理，对运行时任务进行协调调度。
11.根据权利要求1所述的系统，所述平台服务模块包括：
数据服务单元，对关系型数据库、非关系型数据库、实时数据库的访问管理；
计算服务单元，对平台外提供流计算服务、批量计算服务，和内存计算服务；
分析服务单元，对平台外提供报表相关的服务接口、数据统计查询分析及挖掘服务；
服务目录单元，根据不同的数据属性，创建服务目录，对服务目录进行配置及管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011478470.0A CN112699162A (zh) | 2020-12-15 | 2020-12-15 | 一种用于源网荷多元数据处理的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011478470.0A CN112699162A (zh) | 2020-12-15 | 2020-12-15 | 一种用于源网荷多元数据处理的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699162A true CN112699162A (zh) | 2021-04-23 |
Family
ID=75508141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011478470.0A Pending CN112699162A (zh) | 2020-12-15 | 2020-12-15 | 一种用于源网荷多元数据处理的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699162A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780870A (zh) * | 2021-09-22 | 2021-12-10 | 南方电网数字电网研究院有限公司 | 一种电网多组数据在线管理系统 |
| CN115392855A (zh) * | 2022-08-10 | 2022-11-25 | 山东大学 | 流域水环境大数据挖掘与业务决策支持系统 |
-
2020
- 2020-12-15 CN CN202011478470.0A patent/CN112699162A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780870A (zh) * | 2021-09-22 | 2021-12-10 | 南方电网数字电网研究院有限公司 | 一种电网多组数据在线管理系统 |
| CN115392855A (zh) * | 2022-08-10 | 2022-11-25 | 山东大学 | 流域水环境大数据挖掘与业务决策支持系统 |
| CN115392855B (zh) * | 2022-08-10 | 2023-10-24 | 山东大学 | 流域水环境大数据挖掘与业务决策支持系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102111B (zh) | 一种发电厂数据智能处理系统 | |
| CN108039959B (zh) | 一种数据的态势感知方法、系统及相关装置 | |
| CN106778253A (zh) | 基于大数据的威胁情景感知信息安全主动防御模型 | |
| CN108763957A (zh) | 一种数据库的安全审计系统、方法及服务器 | |
| US20060074621A1 (en) | Apparatus and method for prioritized grouping of data representing events | |
| CN108733532B (zh) | 大数据平台的健康度管控方法、装置、介质及电子设备 | |
| CN111815132A (zh) | 一种电力监控系统网络安全管理信息发布方法及系统 | |
| CN112651126B (zh) | 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质 | |
| CN112632135A (zh) | 一种大数据平台 | |
| CN104537015A (zh) | 一种日志分析的计算机实现的方法、计算机和系统 | |
| CN112699162A (zh) | 一种用于源网荷多元数据处理的系统 | |
| CN112001586A (zh) | 基于区块链共识机制的企业联网大数据审计风险控制架构 | |
| CN110598051A (zh) | 一种电力行业监控系统、方法及装置 | |
| CN107770153B (zh) | 一种基于协同安全防护模型的电力信息通用采集系统 | |
| US20230409567A1 (en) | Managing Multiple Types of Databases Using a Single User Interface (UI) That Includes Voice Recognition and Artificial Intelligence (AI) | |
| Shih et al. | Implementation and visualization of a netflow log data lake system for cyberattack detection using distributed deep learning | |
| CN113986656B (zh) | 一种基于数据中台的电网数据安全监测系统 | |
| CN112749197B (zh) | 数据分片刷新方法、装置、设备及存储介质 | |
| CN115587083A (zh) | 一种数字林草系统 | |
| CN113610190A (zh) | 基于大数据的异常网络行为挖掘系统 | |
| Boubiche et al. | Integrating Big data paradigm in WSNs | |
| CN110879857A (zh) | 一种隧道运维数据分析方法和系统 | |
| CN117032906B (zh) | 农产品基础数据资源池管理方法及系统 | |
| Sun et al. | PLMSys: A Cloud Monitoring System Based on Cluster Performance and Container Logs | |
| Lighari | Reviewing the security surveillance of AMI using big data analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |