CN110019462B - 电力科研生产数据分析方法、装置、系统及存储介质 - Google Patents
电力科研生产数据分析方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN110019462B CN110019462B CN201711123863.8A CN201711123863A CN110019462B CN 110019462 B CN110019462 B CN 110019462B CN 201711123863 A CN201711123863 A CN 201711123863A CN 110019462 B CN110019462 B CN 110019462B
- Authority
- CN
- China
- Prior art keywords
- data
- data analysis
- instruction
- mart
- analysis tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 343
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 43
- 238000011160 research Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000007726 management method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008520 organization Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 6
- 230000004044 response Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005553 drilling Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种电力科研生产数据分析方法、装置、系统及存储介质，接收数据分析请求指令，所述数据分析请求指令包括身份信息；根据所述的数据分析请求指令对身份信息进行验证；验证通过后向数据分析工具发送获取权限指令；接收获取权限成功信息；基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令链接数据集市；接收链接成功信息；基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。解决了快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高的问题。
Description
技术领域
本发明涉及数据管理领域，特别是涉及一种电力科研生产数据分析方法、装置、系统、计算机设备及存储介质。
背景技术
随着时代的发展，各个企业业务数据呈爆炸性增长，企业对大规模数据价值的深度挖掘、可视化、知识发现与综合利用的需求越来越迫切。针对越来越庞大的数据资产，衍生出了众多与数据管理相关的系统，对数据资产、数据质量进行管理。
但就目前技术而言，大多数仍然停留在数据管理层面，包括数据完整性、规范性、一致性等方面，对数据深层次的挖掘较少，数据挖掘与分析业务最终目标是将正确的结果以可视化的方式呈现给用户，随着业务不断扩展，关注点在不断变换，对数据分析及结果呈现会有不同的需求。
目前大部分数据分析系统，主要根据用户需求，定制分析后的结果，因此针对快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高。
发明内容
基于此，有必要针对快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高的问题，提供一种电力科研生产数据分析方法、装置、系统、计算机设备及存储介质。
一种电力科研生产数据分析方法，包括：
接收数据分析请求指令，所述数据分析请求指令包括身份信息；
根据所述的数据分析请求指令对身份信息进行验证；
验证通过后向数据分析工具发送获取权限指令；
接收获取权限成功信息；
基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令链接数据集市；
接收链接成功信息；
基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
在其中一个实施例中，在所述基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据数据分析指令将链接的数据集市中的数据进行分析步骤之后还包括步骤：向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
在其中一个实施例中，所述验证通过后向数据分析工具发送获取权限指令的步骤包括：
验证通过后，向数据分析工具发送查询配置信息指令；
并接收数据分析工具反馈的配置信息；
基于所述接收到配置信息后向所述数据分析工具发送获取权限指令。
在其中一个实施例中，所述基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据链接数据集市指令链接数据集市的步骤包括：
向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息；
使所述数据分析工具根据链接数据集市指令调用数据中心，并在数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具。
在其中一个实施例中，所述基于链接成功后向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示的步骤包括：
向所述数据分析工具发送展示数据分析结果指令；
使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果进行集成，并将集成后的数据分析结果展示在展示平台。
在其中一个实施例中，一种电力科研生产数据分析装置，包括：
数据分析请求指令接收模块，用于接收数据分析请求指令，所述数据分析请求指令包括身份信息；
身份验证模块，用于根据所述的数据分析请求指令对身份信息进行验证；
获取权限指令发送模块，用于验证通过后向数据分析工具发送获取权限指令；
获取权限成功信息接收模块，用于接收获取权限成功信息；
链接数据集市指令发送模块，用于基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具链接数据集市；
链接成功信息接收模块，用于接收链接成功信息；
数据分析模块，用于基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
在其中一个实施例中，还包括：
展示分析结果模块，用于在所述基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析步骤之后还包括步骤：向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
在其中一个实施例中，一种电力科研生产数据分析系统，包括：
数据源层，用于存储初始数据源；
数据缓存层，用于缓存需要的数据；
数据仓库层，用于将需要的数据按照主题组织存放；
数据集市层，用于将需要的数据按照实际业务类别分别建立数据集市；数据分析层，对数据进行的查询和分析；
数据应用层，用于接收包括输入、分析、配置管理至少一种以上的操作指令；
所有内部数据和/或外部数据统一存储在所述数据源层，所述需要的数据从所述数据源层中提取出来并缓存在所述数据缓存层；所述数据仓库层对所述数据缓存层缓存的数据按照主题组织存放；数据集市层对所述数据仓库层按照主题组织存放的数据建立数据集市；数据分析层对所述数据集市中的数据进行数据分析并将数据分析结果通过所述数据应用层进行展示；数据应用层展示所述数据分析结果并在展示所述数据分析结果的基础上接收输入、分析、配置管理的至少一种以上的操作指令。
在其中一个实施例中，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的电力科研生产数据分析方法。
在其中一个实施例中，一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的电力科研生产数据分析方法。
上述电力科研生产数据分析方法、装置、系统、计算机设备及存储介质，进行以下步骤：接收数据分析请求指令，所述数据分析请求指令包括身份信息；根据所述的数据分析请求指令对身份信息进行验证；验证通过后向数据分析工具发送获取权限指令；接收获取权限成功信息；基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令链接数据集市；接收链接成功信息；基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。通过给数据分析工具发送数据分析指令，使数据分析工具直接链接数据集市，将数据集市的数据进行分析，解决了快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高的问题。
附图说明
图1为本发明一个实施例中电力科研生产数据分析方法的架构图；
图2为本发明一个实施例中电力科研生产数据分析方法的流程示意图；
图3为本发明一个实施例中电力科研生产数据分析装置的结构示意图；
图4为本发明一个实施例中电力科研生产数据分析系统的结构示意图；
图5为本发明一个实施例中电力科研生产数据分析系统中的可视化服务内部逻辑图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
请参阅图1，在进行数据分析之前，用户先查看数据中心的数据集市，查看数据中心有没有进行数据分析时所需要的数据建立的数据集市，没有，则对建立一个进行数据分析时所需要的数据集市。通过以下方法建立数据集市：
把需要的数据在数据库307进行存储。
其中，数据库307是本地数据库，存储从各业务系统抽取到的数据；当需要的数据发生变化时，数据共享308(为数据集市和各业务系统提供数据同步功能，当业务系统数据发生变化时及时同步到数据集市数据库中，支持差异化增量同步)及时同步到数据库307中，支持差异化增量同步。
将存储在数据库307中需要的数据从数据库307中临时存放到数据缓存区309中；其中，完成源数据在数据仓库平台上的统一存储，是方便之后对数据进行整合和处理。
使数据缓存区309将需要的数据按照数据仓库数据模型的要求经过转换、清洗、汇总等操作后加载到数据仓库310；其中，数据仓库310的数据粒度与数据缓存区309缓冲区一致或粗于数据缓存区309。
将需要的数据从数据仓库310中抽取出来，建立数据集市311。
当有相应的数据集市后服务器则通过以下步骤实现对数据进行分析：
请参阅图2，一种电力科研生产数据分析方法，在数据中心有相应的数据集市的前提下，执行以下步骤S210至步骤S222：
步骤S210，接收数据分析请求指令，所述数据分析请求指令包括身份信息；
其中，接收用户发送的数据分析请求指令，数据分析请求指令中有用户的身份信息。
步骤S212，根据所述的数据分析请求指令对身份信息进行验证；
其中，当接收到用户的数据分析请求指令后，对用户的身份进行验证，根据验证结果开放用户访问的权限。
具体地，当用户身份验证通过后才可以执行下面的步骤，当用户身份验证通过则不能执行以下步骤。
步骤S214，验证通过后向数据分析工具发送获取权限指令；
其中，在使用数据分析工具时，需要获取到数据分析工具的使用权限。
具体地，所述验证通过后向数据分析工具发送获取权限指令的步骤包括：验证通过后，向数据分析工具发送查询配置信息指令；并接收数据分析工具反馈的配置信息；基于所述接收到配置信息后向所述数据分析工具发送获取权限指令。
步骤S216，接收获取权限成功信息；
步骤S218，基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令链接数据集市；
其中，链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使数据分析工具打开数据中心的数据集市，查找包含需要的数据内容数据集市，将查找到的数据集市链接数据分析工具。
步骤S220，接收链接成功信息；
步骤S222，基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
其中，实现数据分析可以是利用数据筛选、数据着色、数据下钻、图表整合交互及高级数据分析计算等功能实现对数据的分析。
具体地，所述基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据链接数据集市指令链接数据集市的步骤包括：
向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息；
使所述数据分析工具根据链接数据集市指令调用数据中心，并在数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具。
上述电力科研生产数据分析方法，通过给数据分析工具发送数据分析指令，使数据分析工具直接链接数据集市，将数据集市的数据进行分析，不需要进行针对性的开发代码来实现数据分析功能，减少了工作，进行数据分析操作简便灵活。
请参阅图2，在其中一个实施例中，在步骤S222之后还包括步骤S224：
步骤S224，向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
其中，向数据分析工具发送数据分析结果展示指令，使数据分析工具将数据分析结果集成到不同的应用中后，将数据分析结果展示在网页上。数据分析结果可以是各种曲线图、柱状图、地理图等图表形式，也可以是其他可以展示结果的方式。
具体地，所述基于链接成功后向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示的步骤包括：
向所述数据分析工具发送展示数据分析结果指令；
使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果进行集成，并将集成后的数据分析结果展示在展示平台。
上述电力科研生产数据分析方法，可以将数据分析结果直接利用数据分析工具在展示平台进行展示，对不同的数据分析结果进行展示时，不需要重新制作展示平台，利用数据分析工具直接将数据分析结果展示在原有的展示平台上。
请参阅图1，一种电力科研生产数据分析方法，当用户有一个数据分析需求时，接收到浏览器301发起的数据分析请求指令，请求指令中包含用户信息，对用户信息进行验证，验证用户信息不通过则为普通用户，只能访问数据分析结果发布平台的网页312；验证用户信息通过为管理员，则还可以对数据分析工具Tableau(桌面系统简单的商业智能工具软件。其中，数据分析工具Tableau支持连接到存储在各个地方的各种数据(数据可以存储在excel(电子表格)或各类关系数据库中)，并提供数据预处理功能。本数据集市中，在开展项目管理数据分析、构建图表前，应用Tableau连接到数据集市数据，通过Tableau提供的联接、数据混合等功能建立数据库中数据关系，再通过Tableau提供的字段类型变换、数据筛选、字段拆分等功能，对数据集市中项目管理数据进行进一步加工处理，使数据满足分析要求。Tableau目前在数据挖掘分析及可视化方面非常热门，能够快速处理海量数据，易上手并能够提供几乎所有图表进行分析。将Tableau与数据集市进行集成，通过Tableau提供的接口，可以将其与R语言打通，并可以在Tableau中运行R脚本，从而将R语言或挖掘结果在Tableau中进行展示，再通过将项目管理数据分析结果嵌入到页面中集成到数据集市的数据分析功能中。通过Tableau提供的各种曲线图、柱状图、地理图等图表，利用数据筛选、数据着色、数据下钻、图表整合交互及高级数据分析计算等功能，实现在项目管理业务域的深入定制化分析)。
验证通过则利用配置的负载均衡策略，将用户的数据分析请求指令均衡的发送至配置项管理303，并向配置项管理303查询数据集市可视化工具Tableau关联配置信息，并接收配置项管理303反馈的信息。同时运行状态监测、负载均衡等功能。
接收到配置项管理303反馈的信息后，发送身份认证信息给Tableau的身份认证机制304，对用户请求的权限进行判断，确定用户是否能够访问项目管理数据分析的结果。
接收到认证通过的信息后，向Tableau Server 305(Tableau Server是软件应用程序，将Tableau Desktop中最新的交互式数据可视化内容、仪表盘、报告与工作簿的共享变得迅速简便。利用企业级的安全性与性能来支持大型部署。此外，提取选项帮助您管理您关键业务数据库上的负载。)发送获取权限指令，取得管理数据源和内容的权限。并向Tableau Server 305发送监控项目管理数据分析性能及应用情况指令，使Tableau Server305监控项目管理数据分析性能及应用情况。
接收到获取权限成功信息后，向Tableau Desktop306(Tableau Desktop是基于斯坦福大学突破性技术的软件应用程序。它帮助您生动地分析实际存在的任何结构化数据，以在几分钟内生成美观的图表、坐标图、仪表盘与报告。利用Tableau简便的拖放式界面，您可以自定义视图、布局、形状、颜色等等，帮助您展现自己的数据视角。)数据分析指令，数据分析指令中包括所需要的数据内容，使Tableau Desktop306打开数据中心的数据集市311，查找包含需要的数据内容数据集市311，将查找到的数据集市311链接到TableauDesktop306，使Tableau Desktop306对数据集市311中的数据进行分析，使TableauDesktop306通过与数据集市311的数据进行集成，把项目管理的相关数据分析并通过各类图表将分析结果可视化。
向Tableau Desktop306发送数据分析结果展示指令，使Tableau Desktop306将数据分析结果发送至Tableau Server305，使Tableau Server305将数据分析结果集成到不同的应用中后，将数据分析结果展示在网页312上。
请参阅图3，一种电力科研生产数据分析装置，包括：数据分析请求指令接收模块310、身份验证模块312、获取权限指令发送模块314、获取权限成功信息接收模块316、链接数据集市指令发送模块318、链接成功信息接收模块320、数据分析模块322。
数据分析请求指令接收模块310，用于接收数据分析请求指令，所述数据分析请求指令包括身份信息；
其中，接收用户发送的数据分析请求指令，数据分析请求指令中有用户的身份信息。
身份验证模块312，用于根据所述的数据分析请求指令对身份信息进行验证；
其中，当接收到用户的数据分析请求指令后，对用户的身份进行验证，根据验证结果开放用户访问的权限。
具体地，当用户身份验证通过后才可以执行下面的步骤，当用户身份验证通过则不能执行以下步骤。
获取权限指令发送模块314，用于验证通过后向数据分析工具发送获取权限指令；
其中，在使用数据分析工具时，需要获取到数据分析工具的使用权限。
获取权限指令发送模块314包括：
查询配置信息指令发送单元，用于验证通过后，向数据分析工具发送查询配置信息指令；
信息接收单元，用于并接收数据分析工具反馈的配置信息；
获取权限指令发送单元，用于基于所述接收到配置信息后向所述数据分析工具发送获取权限指令。
获取权限成功信息接收模块316，用于接收获取权限成功信息；
链接数据集市指令发送模块318，用于基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具链接数据集市；
其中，链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使数据分析工具打开数据中心的数据集市，查找包含需要的数据内容数据集市，将查找到的数据集市链接数据分析工具。
链接成功信息接收模块320，用于接收链接成功信息；
数据分析模块322，用于基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
其中，实现数据分析可以是利用数据筛选、数据着色、数据下钻、图表整合交互及高级数据分析计算等功能实现对数据的分析。
数据分析模块322包括：
链接数据集市指令发送单元，用于向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息；
链接数据集市单元，用于使所述数据分析工具根据链接数据集市指令调用数据中心，并在数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具。
上述电力科研生产数据分析装置，通过给数据分析工具发送数据分析指令，使数据分析工具直接链接数据集市，将数据集市的数据进行分析，不需要进行针对性的开发代码来实现数据分析功能，减少了工作，进行数据分析操作简便灵活。
在其中一个实施例中，电力科研生产数据分析装置还包括展示分析结果模块324：
展示分析结果模块324，用于在所述基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析步骤之后还包括步骤：向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
其中，向数据分析工具发送数据分析结果展示指令，使数据分析工具将数据分析结果集成到不同的应用中后，将数据分析结果展示在网页上。数据分析结果可以是各种曲线图、柱状图、地理图等图表形式，也可以是其他可以展示结果的方式。
具体地，展示分析结果模块324包括：
展示数据分析结果指令发送单元，向所述数据分析工具发送展示数据分析结果指令；
数据分析结果展示单元，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果进行集成，并将集成后的数据分析结果展示在展示平台。
上述电力科研生产数据分析方法，可以将数据分析结果直接利用数据分析工具在展示平台进行展示，对不同的数据分析结果进行展示时，不需要重新制作展示平台，利用数据分析工具直接将数据分析结果展示在原有的展示平台上。
请参阅图4，一种电力科研生产数据分析系统，包括：数据源层、数据缓存层、数据集市层、数据分析层、数据应用层。
数据源层，用于存储初始数据源；数据缓存层，用于缓存需要的数据；数据仓库层，将需要的数据按照主题组织存放；数据集市层，将需要的数据按照实际业务类别分别建立数据集市；数据分析层，对数据进行的查询和分析；数据应用层，用于接收包括：输入、分析、配置管理至少一种以上的操作指令；
把所有内部数据或外部数据统一存储在数据源层，将需要的数据从数据源层中提取出来数据缓存层进行缓存；通过数据仓库层对数据缓存层缓存的数据按照主题组织存放；对数据仓库层按照主题组织存放的数据在数据集市层建立数据集市；在数据分析层对数据集市中的数据进行数据分析并将数据分析结果进行展示；数据应用层可在展示的数据结果基础上接收输入、分析、配置管理的操作。
其中：
数据源层：数据源层包含现有的科研综合管理系统、实验室管理系统、运维监控系统、科研生产系统等源数据，以及外部数据项目管理域等数据。数据源格式包括结构化、非结构化和时序实时数据，通过ETL(用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)工具接入数据缓存层存储。
数据缓存层：数据缓存层通过ETL将包含有结构化数据、非结构化数据、实时数据等数据进行缓存，详细的业务数据进入数据仓库前，要存储在数据缓存层，数据缓存层相当于缓冲区，主要功能就是为具体的应用程序临时保存数据，为数据仓库提供数据流。缓冲区存储的数据与源系统基本保持一致。
数据仓库层：数据仓库层通过ETL工具接入数据将包含有结构化数据、非结构化数据、实时数据、元数据等数据进行存储，仓库区是数据集市架构中基础数据存储区域，它包含一个相对稳定的、企业级的数据仓库数据模型，支撑大部分数据应用，数据按照主题组织和存放，数据模型满足第三范式。
数据集市层：数据集市层通过ETL工具接入数据将按照实际业务类别分别建立数据集市，包括项目管理域、生产域、实验室管理域、物资管理、人力资源、绩效管理、运营分析、运维管理、信息安全、计划管理、财务管理、科技成果管理等。数据集市的建立由业务需求驱动，当产生新的数据分析需求时，将视具体情况决定是否新建数据集市，还是使用已建数据集市。
数据分析层：数据集市的的核心目的就是要对项目关系数据及相关业务数据进行的查询和分析，数据分析层提供多维的表示，提供联机分析处理、机器学习、多维数据分析、通用推荐、数据可视化和数据挖掘等服务，通过Tableau工具对用户提供数据和可视化服务，以便对决策分析等高级应用提供支撑。用户需要对某个主题进行分析时，数据分析层就根据主题应用Tableau进行相应的数据分析，所分析的数据来源于数据集市，分析完毕将结果通过服务提供给数据应用层，最后以Tableau图或报表的形式展示给用户。
其中，请参阅图5，可视化服务401是一个可独立运行的功能实体，包括展示层、接口、业务逻辑层和数据层。
展示层402：可视化分析结果可被直接访问和运行，能够完成信息展示、数据输入、输出和统计分析等。
业务逻辑层403：不同可视化分析过程具备特有的业务逻辑，通过和内部逻辑运算交互具备业务流程控制能力，能够进行业务逻辑计算。
接口404：可视化结果提供交互API(应用程序编程接口)，各可视化结果间通过接口进行相互通信完成工作协同。
数据缓存层405：各个可视化服务拥有自己独有的数据，但所有微服务方式各可视化服务间采用共享数据集的方式实现数据互访，以降低统计分析功能数据访问的复杂度。
具体地，数据缓存层405的数据经过业务逻辑层403进行行业务逻辑计算后提供给展示层402完成信息展示、数据输入、输出和统计分析，当有多个可视化服务时，利用接口404实现各个可视化服务的相互通信。
请继续参阅图4，数据应用层：数据应用层面向最终用户，可直接接受用户输入、分析、配置管理等操作，通过Tableau提供丰富的智能报表、数据管理、专用数据分析应用、BI工具、数据可视化公共数据应用，同时根据数据探索服务可实现统计分析、决策分析、运营分析等高级决策系统和专业分析等高级应用。
请参阅图4，在另一个实施例中，电力科研生产数据分析系统还包括数据共享单元，为数据集市和各业务系统提供数据同步功能，当业务系统数据发生变化时及时同步到数据集市和各业务系统的数据库中，支持差异化增量同步
在一个实施例中，电力科研生产数据分析系统还包括公司数据中心，将公司数据中心内的一体化系统数据、海量实时数据等相关数据链接到数据仓库和数据集市，实现数据交互。
在一个实施例中，还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种电力科研生产数据分析方法。
该计算机设备，其处理器执行程序时，通过实现如上述各实施例中的任意一种电力科研生产数据分析方法，从而可以通过给数据分析工具发送数据分析指令，使数据分析工具直接链接数据集市，将数据集市的数据进行分析，解决了快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高的问题。
此外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各电力科研生产数据分析方法的实施例的流程。
在一个实施例中，还提供一种存储介质，其上存储有计算机程序，
其中，该程序被处理器执行时实现如上述各实施例中的任意一种电力科研生产数据分析方法。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
该计算机存储介质，其存储的计算机程序，通过实现包括如上述各电力科研生产数据分析方法的实施例的流程，从而可以通过给数据分析工具发送数据分析指令，使数据分析工具直接链接数据集市，将数据集市的数据进行分析，解决了快速变更的需求需要进行功能改造，工作量大，响应速度慢，成本高的问题。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力科研生产数据分析方法，其特征在于，包括：
接收数据分析请求指令，所述数据分析请求指令包括身份信息；
根据所述的数据分析请求指令对身份信息进行验证；
验证通过后向数据分析工具发送获取权限指令；
接收获取权限成功信息；
基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令调用数据中心，并在所述数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具；
接收链接成功信息；
基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
2.根据权利要求1所述的电力科研生产数据分析方法，其特征在于，在所述基于链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据数据分析指令将链接的数据集市中的数据进行分析步骤之后还包括步骤：向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
3.根据权利要求1所述的电力科研生产数据分析方法，其特征在于，所述验证通过后向数据分析工具发送获取权限指令的步骤包括：
验证通过后，向数据分析工具发送查询配置信息指令；
并接收数据分析工具反馈的配置信息；
基于所述接收到配置信息后向所述数据分析工具发送获取权限指令。
4.根据权利要求1所述的电力科研生产数据分析方法，其特征在于，所述基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据链接数据集市指令链接数据集市的步骤包括：
向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息；
使所述数据分析工具根据链接数据集市指令调用数据中心，并在数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具。
5.根据权利要求2所述的电力科研生产数据分析方法，其特征在于，所述基于链接成功后向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示的步骤包括：
向所述数据分析工具发送展示数据分析结果指令；
使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果进行集成，并将集成后的数据分析结果展示在展示平台。
6.一种电力科研生产数据分析装置，其特征在于，包括：
数据分析请求指令接收模块，用于接收数据分析请求指令，所述数据分析请求指令包括身份信息；
身份验证模块，用于根据所述的数据分析请求指令对身份信息进行验证；
获取权限指令发送模块，用于验证通过后向数据分析工具发送获取权限指令；
获取权限成功信息接收模块，用于接收获取权限成功信息；
链接数据集市指令发送模块，用于基于获取权限成功后向所述数据分析工具发送链接数据集市指令，所述链接数据集市指令包括所需数据集市信息，使所述数据分析工具根据所述链接数据集市指令调用数据中心，并在所述数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析工具；
链接成功信息接收模块，用于接收链接成功信息；
数据分析模块，用于基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析。
7.根据权利要求6所述的电力科研生产数据分析装置，其特征在于，还包括：
展示分析结果模块，用于在所述基于接收链接成功后向所述数据分析工具发送数据分析指令，使所述数据分析工具根据所述数据分析指令将链接的数据集市中的数据进行分析步骤之后还包括步骤：向所述数据分析工具发送展示数据分析结果指令，使所述数据分析工具根据所述展示数据分析结果指令将数据分析结果在展示平台进行展示。
8.一种电力科研生产数据分析系统，其特征在于，包括：数据源层、数据缓存层、数据仓库层、数据集市层、数据分析层、数据应用层、数据共享单元以及公司数据中心；
所述数据源层，用于存储初始数据源；
所述数据缓存层，用于缓存需要的数据；
所述数据仓库层，用于将需要的数据按照主题组织存放；
所述数据集市层，用于将需要的数据按照实际业务类别分别建立数据集市，以及链接所述数据分析层，所述数据分析层基于链接数据集市指令，调用数据中心，在所述数据中心查找所需要的数据集市，将查找到的数据集市链接所述数据分析层；
所述数据分析层，对数据进行的查询和分析；
所述数据应用层，用于接收包括输入、分析、配置管理一种以上的操作指令；
所述数据共享单元，用于为数据集市层和各业务系统提供数据同步功能，当数据发生变化时及时同步到数据集市层和各业务系统的数据库中；
所述公司数据中心，用于将公司数据中心内的一体化系统数据、海量实时数据链接到数据仓库层和数据集市层；
所有内部数据和/或外部数据统一存储在所述数据源层，所述需要的数据从所述数据源层中提取出来并缓存在所述数据缓存层；所述数据仓库层对所述数据缓存层缓存的数据按照主题组织存放；数据集市层对所述数据仓库层按照主题组织存放的数据建立数据集市；数据分析层对所述数据集市中的数据进行数据分析并将数据分析结果通过所述数据应用层进行展示；数据应用层展示所述数据分析结果并在展示所述数据分析结果的基础上接收输入、分析、配置管理的一种以上的操作指令。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述的电力科研生产数据分析方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任意一项所述的电力科研生产数据分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123863.8A CN110019462B (zh) | 2017-11-14 | 2017-11-14 | 电力科研生产数据分析方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123863.8A CN110019462B (zh) | 2017-11-14 | 2017-11-14 | 电力科研生产数据分析方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110019462A CN110019462A (zh) | 2019-07-16 |
| CN110019462B true CN110019462B (zh) | 2021-09-03 |
Family
ID=67185923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711123863.8A Active CN110019462B (zh) | 2017-11-14 | 2017-11-14 | 电力科研生产数据分析方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019462B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046314A (zh) * | 2019-11-29 | 2020-04-21 | 贝壳技术有限公司 | 一种报表查看方法、装置、电子设备和存储介质 |
| CN111104454A (zh) * | 2019-12-19 | 2020-05-05 | 国网湖南省电力有限公司 | 面向云上电网监视需求的多维度数据处理方法、系统及介质 |
| CN111159154A (zh) * | 2019-12-31 | 2020-05-15 | 新奥数能科技有限公司 | 一种能源数据仓库系统 |
| CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
| CN111198918B (zh) * | 2020-01-17 | 2022-10-04 | 国网福建省电力有限公司 | 基于大数据平台的数据处理系统及链路优化方法 |
| CN114357088B (zh) * | 2021-12-14 | 2024-02-27 | 中核武汉核电运行技术股份有限公司 | 核电工业数据仓库系统 |
| CN116305253B (zh) * | 2023-02-13 | 2023-09-19 | 中国科学院计算机网络信息中心 | 一种基于数据缓冲区的跨域数据按需交换方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727478A (zh) * | 2008-10-23 | 2010-06-09 | 国际商业机器公司 | 动态建立并用储存库中的数据填充数据集市的方法和系统 |
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN104780038A (zh) * | 2014-01-15 | 2015-07-15 | 中国移动通信集团内蒙古有限公司 | 一种分布式协同加密方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1811446A1 (en) * | 2005-12-30 | 2007-07-25 | Accenture Global Services GmbH | Statistical modeling methods for determining customer distribution by churn probability within a customer population |
| US20150294335A1 (en) * | 2014-04-10 | 2015-10-15 | Mastercard International Incorporated | Geo-level consumer purchase penetration data mart |
| CN104754045B (zh) * | 2015-03-23 | 2018-04-27 | 国网辽宁省电力有限公司信息通信分公司 | 数据中心服务与应用接口管理平台 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN106776780B (zh) * | 2016-11-23 | 2020-05-01 | 中国科学院软件研究所 | 一种云环境中数据交换与共享方法及系统 |
-
2017
- 2017-11-14 CN CN201711123863.8A patent/CN110019462B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727478A (zh) * | 2008-10-23 | 2010-06-09 | 国际商业机器公司 | 动态建立并用储存库中的数据填充数据集市的方法和系统 |
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN104780038A (zh) * | 2014-01-15 | 2015-07-15 | 中国移动通信集团内蒙古有限公司 | 一种分布式协同加密方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110019462A (zh) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019462B (zh) | 电力科研生产数据分析方法、装置、系统及存储介质 | |
| Begoli et al. | Design principles for effective knowledge discovery from big data | |
| CN110188573B (zh) | 分区授权方法、装置、设备及计算机可读存储介质 | |
| US20140188845A1 (en) | Interoperable shared query based on heterogeneous data sources | |
| CN111666296A (zh) | 基于Flink的SQL数据实时处理方法、装置、计算机设备和介质 | |
| US20140344024A1 (en) | Business cockpits based on in-memory database | |
| Dong et al. | A framework of Web-based Decision Support Systems for portfolio selection with OLAP and PVM | |
| CN111813958A (zh) | 基于创新创业平台的智慧服务方法与系统 | |
| Jiang et al. | Application intelligent search and recommendation system based on speech recognition technology | |
| CN112286957A (zh) | 基于结构化查询语言的bi系统的api应用方法及系统 | |
| WO2023227012A1 (zh) | 产品数据处理方法、装置及存储介质 | |
| CN112966162A (zh) | 一种基于数据仓库与中间件的科技资源集成方法及装置 | |
| CN106897362A (zh) | 用于数据存储、查询的方法及系统 | |
| US11928083B2 (en) | Determining collaboration recommendations from file path information | |
| CN114969441A (zh) | 基于图数据库的知识挖掘引擎系统 | |
| CN113626285A (zh) | 基于模型的作业监控方法、装置、计算机设备和存储介质 | |
| CN115131007B (zh) | 异构集成微系统工艺库开发平台的过程管理方法及装置 | |
| CN108959309B (zh) | 数据分析的方法和装置 | |
| US10902370B1 (en) | Methods and systems for multidisciplinary research collaboration | |
| CN115168474B (zh) | 一种基于大数据模型的物联中台系统搭建方法 | |
| CN116010662A (zh) | 一种能源消费-碳排放查询系统的构建方法、装置及介质 | |
| CN106357510B (zh) | 一种企业管理数据交互系统与方法 | |
| CN115292580A (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
| Zheng-Ping et al. | Analysis on Cloud Data Service Platform for Digital Oilfields. | |
| Oliveira et al. | Evaluating Self-Service BI and Analytics Tools for SMEs. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |