CN109582717B - 一种面向电力大数据的数据库统一平台及其读取方法 - Google Patents
一种面向电力大数据的数据库统一平台及其读取方法 Download PDFInfo
- Publication number
- CN109582717B CN109582717B CN201811203969.3A CN201811203969A CN109582717B CN 109582717 B CN109582717 B CN 109582717B CN 201811203969 A CN201811203969 A CN 201811203969A CN 109582717 B CN109582717 B CN 109582717B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- platform
- different types
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000008520 organization Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012800 visualization Methods 0.000 claims abstract description 7
- 238000013439 planning Methods 0.000 claims abstract description 5
- 238000013500 data storage Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 238000007726 management method Methods 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010205 computational analysis Methods 0.000 claims description 2
- 238000013211 curve analysis Methods 0.000 claims description 2
- 238000007418 data mining Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 7
- 238000007670 refining Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种面向电力大数据的数据库统一平台及其读取方法，包括：启动；验证：数据库平台检验用户身份；传递：接收来自用户的数据访问请求；跨库判断：所述业务需求涉及的数据访问为跨库数据请求时，令数据访问组件将业务需求转发至数据混合处理引擎；业务统筹：令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据；将数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化技术提供给用户。本发明平台，具有速度快、配置灵活、跨数据库等特点，无障碍地同时访问多种数据库和数据类型，同时为电力数据库统一平台上层业务应用的快速开发提供了保证，使上层应用的设计与实现无需考虑底层数据库类型的差异。
Description
技术领域
本发明属于电力自动化技术领域，具体涉及一种面向电力大数据的数据库统一平台及其读取方法。
背景技术
随着我国调度自动化的发展，电力调度中心的自动化系统也随之增加。为了促进调度中心各应用功能的协调运转，需要构建调度中心跨越安全分区的综合应用支撑平台，即调度数据服务平台。这个调度数据服务平台作为整个调度中心的模型中心、数据中心和图形中心，将采用商用数据进行信息的存储。为屏蔽上层应用对底层数据库访问的差异，调度数据服务平台需要一套通用的数据库访问方法来访问ORACLE、SYBASE、DB2、SQLSERVER、MYSQL等商用数据库。针对调度中心遗留的众多应用系统，调度数据服务平台还需要从这些遗留应用中获取基础模型信息，因此通用的数据访问接口还应具有同时连接多个异构数据库的能力。
尤其是随着当前计算机技术发展，对数据库访问能力越来越重要，开发者在实现某种系统应用同时，必须考虑不同类型的关系数据库的部署，以适应企业已有的IT管理架构。不同企业对数据库系统的选择不同，如果一个应用系统强制要求数据库服务器类型，有可能需要增加企业在数据库服务器方面的投资，增加数据库服务的维护投入。而如果一个系统应用能够按照企业已有的数据库服务器进行部署，则能够节省企业在数据库方面的投资，有利于保护原有投资，简化系统部署的方案和成本。这就要求开发者在实现一个具体的系统应用时，能够兼顾不同类型的数据库及不同类型的数据。
因此，开发一套方便的电力数据库统一平台及其数据访问的方法是目前电力数据管理领域亟待解决的问题。
发明内容
现有数据库种类包括关系数据库、列式数据库、实时数据库和MPP数据库等，每种数据库在电力调控大数据的存储中各有优劣。其中，关系数据库按照行进行存储，关系数据库擅长随机读操作，不适合用于大数据，主要用于数据访问的实时性不高的场合。列式存储适合于较低延迟的读写访问、高并发的访问请求。基于列存储的数据存储与管理装载速度快、易于压缩、易于做聚合分析，适宜于大数据规模下的统计、分析等应用功能。列式数据库按照键值对(Key-Value Pair)进行组织、索引和存储，适合结构复杂、关联较少的半结构化数据存储。分布式实时数据库基于内存进行存储，支持对实时数据的快速存储和访问，提供高速的本地访问接口、远方服务访问接口，支持数据关系描述和检索，主要用于存储电网运行的实时信息。分布式文件系统适合存储海量非结构化数据，即将数据存储在物理上分散的多个存储节点上，统一管理和分配节点资源。MPP数据库采用shared nothing架构，具备数据高效存储、高并发查询功能，具有完全的可伸缩性、高可用、高性能、资源共享等优势，适用于海量数据的统计分析。
为了克服传统单一数据库平台在面对海量多源异构数据时的技术瓶颈，本发明提出了一种面向电力大数据的数据库统一平台的读取方法，所述电力数据库统一平台包括多个异构的基础数据库，多个基础数据库包括多种不同类型的数据，所述访问方法包括：
启动步骤，用户访问数据库平台，数据库平台启动；
验证步骤，数据库平台检验用户身份，如果身份验证通过，则进入下一步骤，如果身份验证被拒绝，则退出数据库平台；
传递步骤，接收来自用户的数据访问请求，将数据访问请求中的业务需求转发至数据访问组件，数据访问组件提取业务需求中的传递参数，对传递参数进行判断；
跨库判断步骤，当判断结果表明所述业务需求涉及的数据访问为跨库数据请求时，令数据访问组件将业务需求转发至数据混合处理引擎；
业务统筹步骤，令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据；
应用服务步骤，对业务数据进行再组织形成特定场景使用的专用数据，并将专用数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化技术提供给用户。
及一种电力数据库统一平台，该系统包括：基础数据库、数据存储层、数据访问组件、数据混合处理引擎，用户访问所述电力数据库统一平台实现上述的数据访问方法。
本发明的有益效果包括：首先，通过电力数据库统一平台，具有速度快、配置灵活、跨数据库等特点，无障碍地同时访问多种数据库和数据类型，同时为电力数据库统一平台上层业务应用的快速开发提供了保证，使得上层应用的设计与实现无需考虑底层数据库类型的差异。其次，针对现有单一数据库在电力系统中包含的模型数据、历史数据和实时数据等多个类型的海量数据存储与应用方面的不足，建立电力数据库统一平台，对多种类型的调控大数据进行统一存储与管理，在此基础上提高调控大数据的采集与汇聚、存储及使用与展示等多个方面不同业务的数据性能，提高用户访问、操作多类型数据的便捷性。另外，提高了电网数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了电力调控系统的可靠性和性能；而且，可以在对数据执行一个或多个分析操作之后从多个基础数据库提取源数据，执行用于数据细化的操作以对数据进行分类，通过执行映射，变换等操作来进一步处理数据，提高了数据混合存储的准确率，提高了系统并行处理大数据的能力。采用多种类型数据抽取安全机制，保证数据采集的完整性和正确性，进而能够很好地满足用户数据访问的业务需求；最后，由于在存储不同种类的数据时，不同数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
附图说明
图1本发明的方法流程图；
图2本发明的系统框架图。
具体实施方式
为了更好地理解本发明，下面结合附图参考实施例的描述，对本发明的方法和系统进行进一步的说明。
为了全面理解本发明，在以下详细描述中提到了众多具体细节。但是本领域技术人员应该理解，本发明可以无需这些具体细节而实现。在实施例中，不详细描述公知的方法、过程、组件，以免不必要地使实施例繁琐。
参见图1所示，本发明提供了一种电力数据库统一平台的访问方法，所述电力数据库统一平台包括多个异构的基础数据库，多个基础数据库包括多种不同类型的数据，所述访问方法包括：
启动步骤，用户访问数据库平台，数据库平台启动；
验证步骤，数据库平台检验用户身份，如果身份验证通过，则进入下一步骤，如果身份验证被拒绝，则退出数据库平台；
传递步骤，接收来自用户的数据访问请求，将数据访问请求中的业务需求转发至数据访问组件，数据访问组件提取业务需求中的传递参数，对传递参数进行判断；
跨库判断步骤，当判断结果表明所述业务需求涉及的数据访问为跨库数据请求时，令数据访问组件将业务需求转发至数据混合处理引擎；
业务统筹步骤，令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据；
应用服务步骤，对业务数据进行再组织形成特定场景使用的专用数据，并将专用数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化技术提供给用户。
优选地，其中，所述数据访问请求的表现形式为结构化查询语言。
优选地，其中，所述验证步骤，数据库平台检验用户身份，为用户名和密码登录验证、指纹验证、面部识别之一。
优选地，其中，所述基础数据库包括：关系型数据库、MPP数据库、Hadoop数据库。
优选地，其中，所述应用服务步骤提供主题查询、实时关联查询、离线数据挖掘、历史曲线分析、系统管理、连表查询、报表统计、定时任务调度、数据审计、日志管理等功能。
优选地，其中，所述业务统筹步骤，令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据，具体包括：
数据采集步骤，从各电力业务系统中采集电力数据；
分类存储步骤，将电力业务系统中采集到的数据分为不同类型，根据不同类型数据的数据特征和业务需求，选择不同的基础数据库进行数据存储；
数据混合步骤，选择业务需求所需数据，对一种或多种不同类型的数据进行混合，将一个或多个基础数据库中的异构数据导入到集中的数据存储层，同时协调不同基础数据库的数据访问和不同数据源之间的信息，在数据导入基础上进行数据清洗和预处理，统一不同类型数据的存储方式，为下一步计算分析提供数据基础；
计算分析步骤，对混合存储的数据进行抽取、加工、融合，根据业务需求，对存储数据进行计算分析，形成业务数据；
其中，所述分类存储步骤，将电力业务系统中采集到的数据分为不同类型，根据不同类型数据的数据特征和业务需求，选择不同的基础数据库进行数据存储，具体包括：
判断步骤，对于采集的电力数据，首先判断其数据类型，所述数据类型包括模型数据、运行数据和统计分析数据；
对于模型数据，其数据量相对较少且更新频率稳定，存储在关系型数据库；
对于运行数据，电力系统产生各类运行数据，分为高活跃度数据和低活跃度数据，两种类型数据采用不同的存储策略：高活跃度数据为近期运行数据，将其存入MPP数据库，用于统计、分析、为应用提供数据支撑；低活跃度数据为活跃度较低的历史运行数据，将其存入Hadoop数据库，用于基于电网长期的运行规律进行挖掘、分析；
对于统计分析数据，其数据量相对较少、更新频率较快且对查询处理实时性要求较高，将其存入MPP数据库，便于应用查询与展示。
其中，所述计算分析步骤，对混合存储的数据进行抽取、加工、融合，具体包括：
数据提取步骤：从一种或多种不同类型的数据中提取业务所需数据；
数据转换步骤：将一种或多种不同类型的数据按照业务需求，转换成目的数据存储层要求的形式，并对数据进行清洗和加工；
数据加载步骤：将转换后的数据融合装载到计算分析模块。
优选地，其中，所述应用服务步骤，对业务数据进行再组织形成特定场景使用的专用数据，并将专用数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化技术提供给用户，具体包括：
数据连接步骤，使用数据连接器在平台和数据存储层之间建立统一的访问连接，通过配置数据存储位置IP地址、端口号和源数据类型，调用底层一种或多种数据连接协议，与数据之间建立数据传输通道，对数据进行访问和操作；
执行步骤，使用执行引擎执行操作序列，并返回查询的结果集；
组织步骤，对业务数据进行再组织形成特定场景使用的专用数据；
可视化步骤，将专用数据通过可视化技术实现于特定场景；
展示步骤，提供符合规范的直接访问的接口服务，前台展示页面与后台数据进行交互，将专用数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化场景将数据提供给用户。
优选地，其中，所述数据类型包括模型数据、运行数据和统计分析数据，
所述模型数据主要包含电力调度控制相关设备的电气参数、关联信息等基础数据、以及元数据、字典数据及配置参数，
所述运行数据主要包括传统的电气量数据，具体包括电压、电流、频率、有功、无功、电量、保护故障录波等数据、以及其它非电气量数据，具体包括监控告警信息、营销数据、运检信息、气象环境数据、地理信息等，
所述统计分析数据主要是根据业务需求对模型数据和运行数据进行分析处理后产生的各类指标参数等数据。
优选地，其中，所述数据混合步骤具体包括：
数据抽取步骤，执行一个或多个基本分析操作，以一种或多种数据格式从一个或多个基础数据库中抽取所需数据，所述一个或多个基础数据库具有一种或多种类型的约束和结构，其中所述一个或多个基本分析操作用于条件检查；
精炼步骤，在数据被抽取的同时执行数据精炼操作，所述数据精炼操作与基本分析操作并行地执行；
验证步骤，执行重复数据分拣操作，其中重复数据分拣操作将抽取的数据识别为有效数据和无效数据，并且将有效数据和无效数据存储在数据存储层的不同位置；
所述精炼步骤具体包括：
映射步骤，基于一个或多个映射规则执行不同类型数据的一种或多种映射操作，其中所述一种或多种映射操作包括从一个表到另一个表的数据映射，将数据分割成多个输出路径；
转换模块，基于一个或多个业务规则对所映射的不同类型数据执行二次分析转换操作以获得转换的不同类型数据，其中将所转换的不同类型数据存储在数据存储层中的目标区域中。
参见图2所示，本发明提供了一种电力数据库统一平台，该系统包括：基础数据库、数据存储层、数据访问组件、数据混合处理引擎，用户访问所述电力数据库统一平台实现上述的数据访问方法。
本发明与现有技术相比，其显著优点为：首先，通过电力数据库统一平台，具有速度快、配置灵活、跨数据库等特点，无障碍地同时访问多种数据库和数据类型，同时为电力数据库统一平台上层业务应用的快速开发提供了保证，使得上层应用的设计与实现无需考虑底层数据库类型的差异。其次，针对现有单一数据库在电力系统中包含的模型数据、历史数据和实时数据等多个类型的海量数据存储与应用方面的不足，建立电力数据库统一平台，对多种类型的调控大数据进行统一存储与管理，在此基础上提高调控大数据的采集与汇聚、存储及使用与展示等多个方面不同业务的数据性能，提高用户访问、操作多类型数据的便捷性。另外，提高了电网数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了电力调控系统的可靠性和性能；而且，可以在对数据执行一个或多个分析操作之后从多个基础数据库提取源数据，执行用于数据细化的操作以对数据进行分类，通过执行映射，变换等操作来进一步处理数据，提高了数据混合存储的准确率，提高了系统并行处理大数据的能力。采用多种类型数据抽取安全机制，保证数据采集的完整性和正确性，进而能够很好地满足用户数据访问的业务需求；最后，由于在存储不同种类的数据时，不同数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
这里只说明了本发明的优选实施例，但其意并非限制本发明的范围、适用性和配置。相反，对实施例的详细说明可使本领域技术人员得以实施。应能理解，在不偏离所附权利要求书确定的本发明精神和范围情况下，可对一些细节做适当变更和修改。
Claims (6)
1.一种面向电力大数据的数据库统一平台的读取方法，其特征在于：所述数据库统一平台包括多个异构的基础数据库，多个基础数据库包括多种不同类型的数据，所述读取方法包括：
启动步骤，用户访问数据库平台，数据库平台启动；
验证步骤，数据库平台检验用户身份，如果身份验证通过，则进入下一步骤，如果身份验证被拒绝，则退出数据库平台；
传递步骤，接收来自用户的数据访问请求，将数据访问请求中的业务需求转发至数据访问组件，数据访问组件提取业务需求中的传递参数，对传递参数进行判断；
跨库判断步骤，当判断结果表明所述业务需求涉及的数据访问为跨库数据请求时，令数据访问组件将业务需求转发至数据混合处理引擎；
业务统筹步骤，令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据；
应用服务步骤，对业务数据进行再组织形成特定场景使用的专用数据，并将专用数据形成用户所需数据的组织形式并返回到前台展示页面展示成表格，结合可视化技术提供给用户；
所述业务统筹步骤，令数据混合处理引擎进行不同类型的跨库数据的采集、存储和处理，生成业务数据，具体包括：
数据采集步骤，从各电力业务系统中采集电力数据；
分类存储步骤，将电力业务系统中采集到的数据分为不同类型，根据不同类型数据的数据特征和业务需求，选择不同的基础数据库进行数据存储；
数据混合步骤，选择业务需求所需数据，对一种或多种不同类型的数据进行混合，将一个或多个基础数据库中的异构数据导入到集中的数据存储层，同时协调不同基础数据库的数据访问和不同数据源之间的信息，在数据导入基础上进行数据清洗和预处理，统一不同类型数据的存储方式，为下一步计算分析提供数据基础；
计算分析步骤，对混合存储的数据进行抽取、加工、融合，根据业务需求，对存储数据进行计算分析，形成业务数据；
其中，所述分类存储步骤，将电力业务系统中采集到的数据分为不同类型，根据不同类型数据的数据特征和业务需求，选择不同的基础数据库进行数据存储，具体包括：
判断步骤，对于采集的电力数据，首先判断其数据类型，所述数据类型包括模型数据、运行数据和统计分析数据；
对于模型数据，其数据量相对较少且更新频率稳定，存储在关系型数据库；
对于运行数据，电力系统产生各类运行数据，分为高活跃度数据和低活跃度数据，两种类型数据采用不同的存储策略：高活跃度数据为近期运行数据，将其存入MPP数据库，用于统计、分析、为应用提供数据支撑；低活跃度数据为活跃度较低的历史运行数据，将其存入Hadoop数据库，用于基于电网长期的运行规律进行挖掘、分析；
对于统计分析数据，其数据量相对较少、更新频率较快且对查询处理实时性要求较高，将其存入MPP数据库，便于应用查询与展示；
其中，所述计算分析步骤，对混合存储的数据进行抽取、加工、融合，具体包括：
数据提取步骤：从一种或多种不同类型的数据中提取业务所需数据；
数据转换步骤：将一种或多种不同类型的数据按照业务需求，转换成目的数据存储层要求的形式，并对数据进行清洗和加工；
数据加载步骤：将转换后的数据融合装载到计算分析模块。
2.根据权利要求1所述的方法，其特征在于，所述数据访问请求的表现形式为结构化查询语言。
3.根据权利要求1所述的方法，其特征在于，所述验证步骤，数据库平台检验用户身份，为用户名和密码登录验证、指纹验证、面部识别之一。
4.根据权利要求1所述的方法，其特征在于，所述基础数据库包括：关系型数据库、MPP数据库、Hadoop数据库。
5.根据权利要求1所述的方法，其特征在于，所述应用服务步骤提供主题查询、实时关联查询、离线数据挖掘、历史曲线分析、系统管理、连表查询、报表统计、定时任务调度、数据审计和日志管理功能。
6.如权利要求1所述的面向电力大数据的数据库统一平台读取方法的数据库统一平台，其特征在于，该系统包括：基础数据库、数据存储层、数据访问组件、数据混合处理引擎，用户访问所述电力数据库统一平台实现如权利要求1-5任一项所述的读取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203969.3A CN109582717B (zh) | 2018-10-16 | 2018-10-16 | 一种面向电力大数据的数据库统一平台及其读取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203969.3A CN109582717B (zh) | 2018-10-16 | 2018-10-16 | 一种面向电力大数据的数据库统一平台及其读取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109582717A CN109582717A (zh) | 2019-04-05 |
| CN109582717B true CN109582717B (zh) | 2022-06-07 |
Family
ID=65920065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811203969.3A Active CN109582717B (zh) | 2018-10-16 | 2018-10-16 | 一种面向电力大数据的数据库统一平台及其读取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582717B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046094A (zh) * | 2019-11-09 | 2020-04-21 | 许继集团有限公司 | 一种电力系统主站数据管理方法及系统 |
| CN110909389B (zh) * | 2019-11-27 | 2021-09-21 | 成都天府通金融服务股份有限公司 | 一种用于互联网金融平台的个人信息储存方法、装置及电子设备 |
| CN111242669A (zh) * | 2019-12-17 | 2020-06-05 | 武汉匠楚科技有限公司 | 一种定制化健身课程营销系统及方法 |
| CN111159180A (zh) * | 2019-12-18 | 2020-05-15 | 国家电网有限公司大数据中心 | 一种基于数据资源目录构建的数据处理方法及系统 |
| CN112434095A (zh) * | 2020-11-24 | 2021-03-02 | 医渡云（北京）技术有限公司 | 数据采集系统、方法、电子设备及计算机可读介质 |
| CN112667738B (zh) * | 2020-12-24 | 2023-03-14 | 山东鲁能软件技术有限公司 | 一种兼容实时数据库与关系数据库的可视化系统及方法 |
| CN112669015B (zh) * | 2020-12-31 | 2023-04-07 | 广东电网有限责任公司电力调度控制中心 | 一种电力调度微服务构建系统和方法 |
| CN112765232B (zh) * | 2021-01-05 | 2024-03-19 | 广东核电合营有限公司 | 核电厂重大设备的数据管理方法及系统 |
| CN112732749A (zh) * | 2021-01-26 | 2021-04-30 | 长威信息科技发展股份有限公司 | 一种大数据混合计算和统一访问的方法和系统 |
| CN113242265A (zh) * | 2021-07-09 | 2021-08-10 | 中移(上海)信息通信科技有限公司 | 一种网关数据处理系统、方法和电子设备 |
| CN113742405A (zh) * | 2021-07-30 | 2021-12-03 | 浙江工商大学 | 一种面向异构大数据的筛选、度量抽取方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326331A (zh) * | 2016-06-29 | 2017-01-11 | 河南许继仪表有限公司 | 一种基于云计算的智能用电数据服务系统 |
| CN107066499A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
| CN107818127A (zh) * | 2017-09-09 | 2018-03-20 | 国网浙江省电力公司 | 一种用于多源数据的查询方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326321B (zh) * | 2015-07-10 | 2022-01-28 | 中兴通讯股份有限公司 | 大数据交换方法及装置 |
-
2018
- 2018-10-16 CN CN201811203969.3A patent/CN109582717B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326331A (zh) * | 2016-06-29 | 2017-01-11 | 河南许继仪表有限公司 | 一种基于云计算的智能用电数据服务系统 |
| CN107066499A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
| CN107818127A (zh) * | 2017-09-09 | 2018-03-20 | 国网浙江省电力公司 | 一种用于多源数据的查询方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109582717A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582717B (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN112685385B (zh) | 一种用于智慧城市建设的大数据平台 | |
| CN109582667A (zh) | 一种基于电力调控大数据的多数据库混合存储方法及系统 | |
| CN111640040A (zh) | 基于客户画像技术的供电客户价值评价方法及大数据平台 | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
| US11238045B2 (en) | Data arrangement management in a distributed data cluster environment of a shared pool of configurable computing resources | |
| KR20160075971A (ko) | 공공민원 데이터 서비스를 위한 빅 데이터 관리시스템 | |
| CN111625510A (zh) | 一种基于云映射的多源数据共享系统及方法 | |
| CN103440288A (zh) | 一种大数据存储方法及装置 | |
| CN113094385B (zh) | 一种基于软件定义开放工具集的数据共享融合平台及方法 | |
| Bellini et al. | Data flow management and visual analytic for big data smart city/IOT | |
| US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
| CN114297173A (zh) | 一种面向大规模海量数据的知识图谱构建方法和系统 | |
| CN113535846B (zh) | 一种大数据平台及其构建方法 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN112651872A (zh) | 一种基于数据中台的社区综合治理的系统和方法 | |
| CN116166191A (zh) | 湖仓一体系统 | |
| Wu et al. | An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop | |
| CN113721856A (zh) | 一种数字化社区管理数据存储系统 | |
| CN110134688B (zh) | 一种在线社交网络中热点事件数据存储管理方法及系统 | |
| CN112306992A (zh) | 一种基于互联网的大数据平台 | |
| CN112269913A (zh) | 一种企业级全量数据智能搜索实现方法及系统 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN116776543A (zh) | 一种面向智能电网的电力大数据应用方法 | |
| Mishra et al. | Challenges in big data application: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |