CN110059138A - 一种基于大数据平台数据分析域构架方法 - Google Patents
一种基于大数据平台数据分析域构架方法 Download PDFInfo
- Publication number
- CN110059138A CN110059138A CN201910184337.5A CN201910184337A CN110059138A CN 110059138 A CN110059138 A CN 110059138A CN 201910184337 A CN201910184337 A CN 201910184337A CN 110059138 A CN110059138 A CN 110059138A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- storage
- service
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000013500 data storage Methods 0.000 claims abstract description 42
- 238000003860 storage Methods 0.000 claims abstract description 36
- 238000002474 experimental method Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007418 data mining Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000009412 basement excavation Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013497 data interchange Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012482 interaction analysis Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 239000000306 component Substances 0.000 description 23
- 238000012545 processing Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 244000309464 bull Species 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及电力大数据分析领域，具体地而言为一种基于大数据平台数据分析域构架方法，该方法包括：在应用层次上，将数据分析域分为应用区和探索区，将应用区划分为数据接入层将数据进行接入、数据存储计算层对接入的数据进行数据存储与数据计算和统一分析服务并存储数据；所述探索区包括开放实验环境层和临时工作环境层，所述探索区与所述应用区通过数据存储计算层将所述数据存储计算层输出至探索区。提高了数据准确性、避免了数据反复抽取、冗余存储、质量不高等问题。
Description
技术领域
本发明涉及电力大数据分析领域，具体地而言为一种基于大数据平台数据分析域构架方法。
背景技术
随着电力系统信息化的建设，各业务条线信息系统建设和应用的不断深入，暴露出跨专业业务协同与信息共享不足，数据多头输入，数据准确性、实时性不强，数据反复抽取、冗余存储、质量不高等问题。同时，加快构建全球能源互联网，对全业务协同、全流程贯通提出了更高要求，深入挖掘数据价值、用数据管理企业、用信息驱动业务的需求更为迫切。数据是信息化的核心，建设全业务统一数据中心是源端全业务融合、后端大数据分析的必然选择，对建设信息化企业具有重要意义。
发明内容
本发明所要解决的技术问题在于提供一种基于大数据平台数据分析域构架方法，解决数据多头输入，数据准确性、实时性不强，数据反复抽取、冗余存储、质量不高等问题。
本发明是这样实现的，一种基于大数据平台数据分析域构架方法，该方法包括：
在应用层次上，将数据分析域分为应用区和探索区，
将应用区划分为数据接入层将数据进行接入、数据存储计算层对接入的数据进行数据存储与数据计算和统一分析服务并存储数据；所述探索区包括开放实验环境层和临时工作环境层，所述探索区与所述应用区通过数据存储计算层将所述数据存储计算层输出至探索区。
进一步地，所述数据接入层包括：结构化数据接入组件、采集量测数据接入组件以及非结构化数据接入组件，分别将源端业务系统中的结构化数据、采集量测数据、非结构化数据汇集至分析域；
其中所述结构化数据接入组件包括数据同步复制和数据抽取转换加载；采集量测数据接入组件通过接口适配器获取源端系统采集量测数据后对数据格式进行解析与转换，并按照量测类数据存储模型要求加载至采集量测类存储组件；
非结构化数据接入组件对系统日志、数据交换文件、照片、视频非结构化数据的统一汇聚。
进一步地，数据存储计算层，包括数据计算组件和数据存储层，其中数据计算组件提供分布式运行引擎和协同计算功能，并通过统一分析服务实现计算任务的统一管理，数据存储层包括对不同数据进行存储。
进一步地，所述数据存储层包括：基础数据层、整合明细层、轻度汇总层和数据集市层，其中所述基础数据层对业务系统数据将根据数据归仓、数据分析业务需求，进行整合和处理；
所述整合明细层将数据分为结构化数据存储、采集量测数据存储和非结构化数据存储；
所述轻度汇总层用于存储经过轻量汇总、轻量合并处理后的数据；
数据集市层面向业务或分析应用的数据集合，只存储应用所需数据，对数据明细层或轻度汇总层的数据再次进行挖掘、分析、复杂计算和自由剪裁加工处理，直接支撑前端的应用需求。
进一步地，基础数据层包括贴源历史区和纵向历史区，所述贴源历史区与源业务系统表结构保持一致，全量存储来自源端业务系统的结构化数据，为后续清洗转换提供原始基础数据，长期保存历史数据，追溯数据来源，屏蔽对源系统的影响；纵向历史区存储纵向交互数据；业务系统数据进入贴源历史区和纵向历史区，将根据数据归仓、数据分析业务需求，进行整合和处理。
进一步地，所述开放实验环境层和临时工作环境层，其中开放实验环境层将存储数据存储计算层中脱敏后数据用于公开访问，临时工作环境层按照需求调用存储数据存储计算层数据用于实验探索。
进一步地，统一分析服务根据数据存储计算以及数据存储的数据，面向各类分析应用提供统一的数据接口服务、数据挖掘服务、自助式分析服务，其中数据接口服务的数据接口服务组件封装不同数据存储类型及计算需求，实现跨库及不同存储类型的多表或视图联接合并机制，实现数据服务接口调用的标准化和规范化，数据挖掘服务的数据接口服务组件以服务方式支撑面向历史数据的挖掘和趋势预测、面向实时的判别和实时分析和面向未来的预测和模拟数据挖掘分析；自助式分析服务的组件提供直观、易用的拖放式界面，通过选择主题相关的表及相应的图表、文字展现形式，设置布局、样式信息，实现对数据信息集中、动态、实时、交互的分析和展现。
进一步地，数据计算组件包括流计算组件、内存计算组件和批量计算组件通过统一分析服务实现计算任务的统一管理。
本发明与现有技术相比，有益效果在于：本发明通过分析域构架，包括数据接入层、数据存储计算层以及统一分析服务，通过将数据进行统一接入分类，并对数据进行基础数据层、整合明细层、轻度汇总层和数据集市层的分类存储，结合业需求进行相应数据的调取，提高了数据准确性、避免了数据反复抽取、冗余存储、质量不高等问题。
附图说明
图1为本发明实施例提供的本发明方法构建的分析域总体框架图；
图2为本发明实施例提供的数据存储构架图；
图3为本发明实施提供的数据计算图；
图4为本发明实施例提供的数据流转图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1所示，一种基于大数据平台数据分析域构架方法，其特征在于，该方法包括：
在应用层次上，将数据分析域分为应用区和探索区，
将应用区划分为数据接入层将数据进行接入、数据存储计算层对接入的数据进行数据存储与数据计算和统一分析服务并存储数据；所述探索区包括开放实验环境层和临时工作环境层，所述探索区与所述应用区通过数据存储计算层将所述数据存储计算层输出至探索区。
数据接入层包括：结构化数据接入组件、采集量测数据接入组件以及非结构化数据接入组件，分别将源端业务系统中的结构化数据、采集量测数据、非结构化数据汇集至分析域；
其中所述结构化数据接入组件包括数据同步复制和数据抽取转换加载；采集量测数据接入组件主要实现将业务系统产生的采集量测数据接入分析域，通过接口适配器获取源端系统采集量测数据后对数据格式进行解析与转换，并按照量测类数据存储模型要求加载至采集量测类存储组件；
非结构化数据接入组件主要负责将源端业务系统中的非结构化数据接入至分析域，对系统日志、数据交换文件、照片、视频非结构化数据的统一汇聚。
数据存储计算层，包括数据计算组件和数据存储层，其中数据计算组件提供分布式运行引擎和协同计算功能，并通过统一分析服务实现计算任务的统一管理，数据存储层包括对不同数据进行存储。
参见图2所示，数据存储层包括：基础数据层、整合明细层、轻度汇总层和数据集市层，其中所述基础数据层对业务系统数据将根据数据归仓、数据分析业务需求，进行整合和处理；
所述整合明细层将数据分为结构化数据存储、采集量测数据存储和非结构化数据存储；
所述轻度汇总层用于存储经过轻量汇总、轻量合并处理后的数据；
数据集市层面向业务或分析应用的数据集合，只存储应用所需数据，对数据明细层或轻度汇总层的数据再次进行挖掘、分析、复杂计算和自由剪裁加工处理，直接支撑前端的应用需求。
基础数据层包括贴源历史区和纵向历史区，所述贴源历史区与源业务系统表结构保持一致，全量存储来自源端业务系统的结构化数据，为后续清洗转换提供原始基础数据，长期保存历史数据，追溯数据来源，屏蔽对源系统的影响；纵向历史区存储纵向交互数据；业务系统数据进入贴源历史区和纵向历史区，将根据数据归仓、数据分析业务需求，进行整合和处理。
整合明细层（SG-CIM）包括结构化数据存储、采集量测数据存储和非结构化数据存储。
结构化数据存储组件实现SG-CIM全模型落地，以企业级视角建立数据仓库，用于存储经过编码统一、数据同源和数据规范化等清洗转换后形成的业务明细数据，满足编码统一、数据同源、语义清晰、技术参数合理和数据内容一致的要求，经过加工处理后形成的数据应具有业务唯一性，是分析域数据分析、挖掘的权威数据源。
采集量测数据存储组件主要用于采集量测类数据，通过分布式列式存储和分布式内存存储等方式，提供针对曲线数据和断面数据的海量存储，满足业务应用对采集量测数据的高并发读写、高效率存储、高扩展性等要求。其中，列式存储主要用于提供较低延迟的读写访问，承受高并发的访问请求；内存存储主要应用于高性能实时查询分析场景。
非结构化数据存储组件主要用于存储视频、文档、图片等非结构化数据，通过分布式文件的数据存储架构，实现非结构化数据在线存储，满足大量、多样化数据的低成本存储需求。
轻度汇总层用于存储经过轻量汇总、轻量合并等处理后的数据，具有面向主题、集成的、稳定的和随时间增长的基本特征，为公司各类分析应用提供统一的汇总数据服务。在前面数据层次的基础上，结合大数据分析场景、经济活动分析、各业务辅助决策等分析展现需求，按需进行模型设计工作。
数据集市层面向业务部门或分析应用专题的数据集合，只存储应用所需数据，对数据明细层或轻度汇总层的数据再次进行挖掘、分析、复杂计算和自由剪裁等加工处理，直接支撑前端的应用需求。
开放实验环境层和临时工作环境层，其中开放实验环境层将存储数据存储计算层中脱敏后数据用于公开访问，临时工作环境层按照需求调用存储数据存储计算层数据用于实验探索。
统一分析服务根据数据存储计算以及数据存储的数据，面向各类分析应用提供统一的数据接口服务、数据挖掘服务、自助式分析服务，其中数据接口服务的数据接口服务组件封装不同数据存储类型及计算需求，实现跨库及不同存储类型的多表或视图联接合并机制，实现数据服务接口调用的标准化和规范化，数据挖掘服务的数据接口服务组件以服务方式支撑面向历史数据的挖掘和趋势预测、面向实时的判别和实时分析和面向未来的预测和模拟数据挖掘分析；自助式分析服务的组件提供直观、易用的拖放式界面，通过选择主题相关的表及相应的图表、文字展现形式，设置布局、样式信息，实现对数据信息集中、动态、实时、交互的分析和展现。
参见图3所示，数据计算组件包括流计算组件、内存计算组件和批量计算组件通过统一分析服务实现计算任务的统一管理。
其中，storm计算组件提供流计算集群运行环境及其计算任务的发布运行管理功能。通过将流式数据直接导入内存进行业务逻辑计算、生成计算结果，实现业务数据实时处理及响应。Storm计算组件适用于对动态产生的数据进行实时计算并及时反馈结果的应用场景，包括采集量测类应用、实时计算场景等场景。例如，输变电设备状态监测系统的实时监测、营销费控系统的实时电量电费统计等。
Spark组件提供内存计算集群运行环境及其计算任务的发布运行管理功能，通过并行利用CPU和内存的速度和性能优势，有效地消除磁盘I/O性能瓶颈，实现高实时高响应计算。主要适用于需多次迭代的离线分析挖掘和基于内存的在线高速分析场景，包括决策分析类应用、采集量测类应用、实时计算场景等场景。例如，全省用电量在线统计。
Spark内存计算架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；Worker相当于是计算节点，接收主节点命令与进行状态汇报；Executor负责任务的执行；Client作为用户的客户端负责提交应用，Driver负责控制一个应用的执行。
批量计算组件（MR）适用于大规模数据的离线数据处理、非实时（响应时间要求在分钟级以上）或者无交互的数据应用场景，包括决策分析类应用、采集量测类应用等场景。例如，用电信息采集领域的全省域电网用户电量计算统计、台区线损计算等分析。
批量计算是大数据平台的核心组件之一，大数据平台分布式包括两部分，一个是分布式文件系统,另一个是分布式计算框架，就是批量计算。批量计算是一种处理海量数据的并行编程模式，用于大规模数据集（通常大于1TB）的并行运算。“映射”、“化简”的概念和主要思想，都是从函数式编程语言和矢量编程语言借鉴。
批量计算处理大数据集的过程，简而言之，就是将大数据集分解为成百上千的小数据集，每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理，并生成中间结果，然后这些中间结果又由大量的结点进行合并，形成最终结果。
参见图4本发明通过多种数据整合技术，将结构化数据、采集监测数据、非结构化数据统一汇聚整合到全业务统一数据中心分析域，支撑分析决策、实时计算、采集量测等应用，结构化数据：采用ETL、OGG方式将结构化数据抽取至基础数据层的贴源历史区；采用数据传输组件将纵向交互数据抽取至基础数据层的纵向历史区；基础数据层数据通过ETL方式进行清洗转换至整合明细层结构化数据存储区域；采用ETL方式将结构化数据存储区域数据转换加载至轻度汇总层。
采集量测数据：采集量测数据接入组件从采集源系统获取增量采集数据，形成统一格式中间文件，采集存储至整合明细层采集量测存储区域；采用ETL方式将采集量测存储区域数据转换加载至轻度汇总层。
非结构化数据：采用非结构化数据接入组件采集非结构化数据至整合明细层非结构化存储区域；采用非结构化转换组件将非结构化存储区域数据转换至轻度汇总层。
对于流转至轻度汇总层的结构化数据、采集量测数据、非结构化数据，通过ETL方式转换加载至数据集市层，用以支撑分析决策、实时计算、采集量测等应用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大数据平台数据分析域构架方法，其特征在于，该方法包括：
在应用层次上，将数据分析域分为应用区和探索区，
将应用区划分为数据接入层将数据进行接入、数据存储计算层对接入的数据进行数据存储与数据计算和统一分析服务并存储数据；所述探索区包括开放实验环境层和临时工作环境层，所述探索区与所述应用区通过数据存储计算层将所述数据存储计算层输出至探索区。
2.按照权利要求1所述的方法，其特征在于，所述数据接入层包括：结构化数据接入组件、采集量测数据接入组件以及非结构化数据接入组件，分别将源端业务系统中的结构化数据、采集量测数据、非结构化数据汇集至分析域；
其中所述结构化数据接入组件包括数据同步复制和数据抽取转换加载；采集量测数据接入组件通过接口适配器获取源端系统采集量测数据后对数据格式进行解析与转换，并按照量测类数据存储模型要求加载至采集量测类存储组件；
非结构化数据接入组件对系统日志、数据交换文件、照片、视频非结构化数据的统一汇聚。
3.按照权利要求1所述的方法，其特征在于，数据存储计算层，包括数据计算组件和数据存储层，其中数据计算组件提供分布式运行引擎和协同计算功能，并通过统一分析服务实现计算任务的统一管理，数据存储层包括对不同数据进行存储。
4.按照权利要求3所述的方法，其特征在于，所述数据存储层包括：基础数据层、整合明细层、轻度汇总层和数据集市层，其中所述基础数据层对业务系统数据将根据数据归仓、数据分析业务需求，进行整合和处理；
所述整合明细层将数据分为结构化数据存储、采集量测数据存储和非结构化数据存储；
所述轻度汇总层用于存储经过轻量汇总、轻量合并处理后的数据；
数据集市层面向业务或分析应用的数据集合，只存储应用所需数据，对数据明细层或轻度汇总层的数据再次进行挖掘、分析、复杂计算和自由剪裁加工处理，直接支撑前端的应用需求。
5.按照权利要求4所述的方法，其特征在于，基础数据层包括贴源历史区和纵向历史区，所述贴源历史区与源业务系统表结构保持一致，全量存储来自源端业务系统的结构化数据，为后续清洗转换提供原始基础数据，长期保存历史数据，追溯数据来源，屏蔽对源系统的影响；纵向历史区存储纵向交互数据；业务系统数据进入贴源历史区和纵向历史区，将根据数据归仓、数据分析业务需求，进行整合和处理。
6.按照权利要求4所述的方法，其特征在于，所述开放实验环境层和临时工作环境层，其中开放实验环境层将存储数据存储计算层中脱敏后数据用于公开访问，临时工作环境层按照需求调用存储数据存储计算层数据用于实验探索。
7.按照权利要求1所述的方法，其特征在于，统一分析服务根据数据存储计算以及数据存储的数据，面向各类分析应用提供统一的数据接口服务、数据挖掘服务、自助式分析服务，其中数据接口服务的数据接口服务组件封装不同数据存储类型及计算需求，实现跨库及不同存储类型的多表或视图联接合并机制，实现数据服务接口调用的标准化和规范化，数据挖掘服务的数据接口服务组件以服务方式支撑面向历史数据的挖掘和趋势预测、面向实时的判别和实时分析和面向未来的预测和模拟数据挖掘分析；自助式分析服务的组件提供直观、易用的拖放式界面，通过选择主题相关的表及相应的图表、文字展现形式，设置布局、样式信息，实现对数据信息集中、动态、实时、交互的分析和展现。
8.按照权利要求3所述的方法，其特征在于，数据计算组件包括流计算组件、内存计算组件和批量计算组件通过统一分析服务实现计算任务的统一管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184337.5A CN110059138A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据分析域构架方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184337.5A CN110059138A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据分析域构架方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059138A true CN110059138A (zh) | 2019-07-26 |
Family
ID=67316219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910184337.5A Pending CN110059138A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据分析域构架方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059138A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078950A (zh) * | 2019-11-29 | 2020-04-28 | 国网福建省电力有限公司经济技术研究院 | 一种基于全业务统一数据中心的xml数据接入方法及系统 |
| CN111104527A (zh) * | 2019-12-18 | 2020-05-05 | 写逸网络科技(上海)有限公司 | 一种富媒体文件解析方法 |
| CN112163039A (zh) * | 2020-09-21 | 2021-01-01 | 国家电网有限公司大数据中心 | 基于企业级数据中台分析域的数据资源标准化管理系统 |
| CN113656370A (zh) * | 2021-08-16 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 电力量测系统数据处理方法、装置和计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095653A (zh) * | 2015-07-13 | 2015-11-25 | 湖南互动传媒有限公司 | 医疗大数据应用基础服务系统 |
| CN107993009A (zh) * | 2017-12-01 | 2018-05-04 | 赫普科技发展（北京）有限公司 | 一种发电侧电力辅助服务交易系统 |
| CN108108517A (zh) * | 2017-11-23 | 2018-06-01 | 江苏瑞中数据股份有限公司 | 一种基于大数据的电网规划智能辅助分析方法 |
| CN207529420U (zh) * | 2017-12-01 | 2018-06-22 | 赫普科技发展（北京）有限公司 | 一种发电侧电力辅助服务交易系统 |
-
2019
- 2019-03-12 CN CN201910184337.5A patent/CN110059138A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095653A (zh) * | 2015-07-13 | 2015-11-25 | 湖南互动传媒有限公司 | 医疗大数据应用基础服务系统 |
| CN108108517A (zh) * | 2017-11-23 | 2018-06-01 | 江苏瑞中数据股份有限公司 | 一种基于大数据的电网规划智能辅助分析方法 |
| CN107993009A (zh) * | 2017-12-01 | 2018-05-04 | 赫普科技发展（北京）有限公司 | 一种发电侧电力辅助服务交易系统 |
| CN207529420U (zh) * | 2017-12-01 | 2018-06-22 | 赫普科技发展（北京）有限公司 | 一种发电侧电力辅助服务交易系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨华飞: "基于全业务数据中心分析域实现数据资源统一汇聚及共享的方法及研究", 《电子技术应用》 * |
| 胡小磊等: "基于全业务统一数据中心数据分析域统一分析服务的电网企业电力设备资产精益化管理", 《2017 年"电子技术应用"智能电网会议论文集》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078950A (zh) * | 2019-11-29 | 2020-04-28 | 国网福建省电力有限公司经济技术研究院 | 一种基于全业务统一数据中心的xml数据接入方法及系统 |
| CN111078950B (zh) * | 2019-11-29 | 2022-10-04 | 国网福建省电力有限公司经济技术研究院 | 一种基于全业务统一数据中心的xml数据接入方法 |
| CN111104527A (zh) * | 2019-12-18 | 2020-05-05 | 写逸网络科技(上海)有限公司 | 一种富媒体文件解析方法 |
| CN111104527B (zh) * | 2019-12-18 | 2023-06-23 | 写逸网络科技(上海)有限公司 | 一种富媒体文件解析方法 |
| CN112163039A (zh) * | 2020-09-21 | 2021-01-01 | 国家电网有限公司大数据中心 | 基于企业级数据中台分析域的数据资源标准化管理系统 |
| CN113656370A (zh) * | 2021-08-16 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 电力量测系统数据处理方法、装置和计算机设备 |
| CN113656370B (zh) * | 2021-08-16 | 2024-04-30 | 南方电网数字电网集团有限公司 | 电力量测系统数据处理方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059138A (zh) | 一种基于大数据平台数据分析域构架方法 | |
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN103593422B (zh) | 一种异构数据库的虚拟访问管理方法 | |
| CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| Geimer et al. | A scalable tool architecture for diagnosing wait states in massively parallel applications | |
| CN107301205A (zh) | 一种大数据分布式实时查询方法及系统 | |
| CN109299180B (zh) | 一种数据仓库etl操作系统 | |
| CN103430144A (zh) | 数据源分析 | |
| CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
| CN110188149A (zh) | 一种数据仓库系统 | |
| CN111061732A (zh) | 一种基于大数据处理的报表生成方法 | |
| CN111753034A (zh) | 一种一站式地理大数据平台 | |
| CN104809246A (zh) | 充电数据的处理方法及装置 | |
| Liu et al. | Exploring query processing on cpu-gpu integrated edge device | |
| Li et al. | Deep-level quality management based on big data analytics with case study | |
| Sun et al. | SETL: A scalable and high performance ETL system | |
| Yuan et al. | Study on distributed complex event processing in Internet of Things based on query plan | |
| Wang et al. | FineQuery: Fine-grained query processing on CPU-GPU integrated architectures | |
| Mohr et al. | Performance measurement and analysis tools for extremely scalable systems | |
| Geimer et al. | Recent developments in the scalasca toolset | |
| CN103455364A (zh) | 一种多核环境并行程序Cache性能在线获取系统及方法 | |
| Lee et al. | A Case Study of Data Management Challenges Presented in Large-Scale Machine Learning Workflows | |
| Wolf et al. | Large event traces in parallel performance analysis. | |
| CN115714807A (zh) | 工业场景数据中台的设计系统 | |
| Jiang | Research and practice of big data analysis process based on hadoop framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |