CN106844398B - 一种多源异构能源数据汇集系统 - Google Patents
一种多源异构能源数据汇集系统 Download PDFInfo
- Publication number
- CN106844398B CN106844398B CN201510889120.6A CN201510889120A CN106844398B CN 106844398 B CN106844398 B CN 106844398B CN 201510889120 A CN201510889120 A CN 201510889120A CN 106844398 B CN106844398 B CN 106844398B
- Authority
- CN
- China
- Prior art keywords
- data
- source heterogeneous
- user
- collection system
- heterogeneous energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 12
- 238000007667 floating Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种多源异构能源数据汇集系统，包括：存储单元，用于定义人员用户、用户组及表单；表单单元，用于定义多源异构能源数据的数据类型；模型单元，用于将多源异构数据转换成其它形式数据。本发明技术方案解决了能源系统中隐含大量数据无法有效利用的问题，为今后能源系统中运用大数据技术进一步开展研究奠定基础。
Description
技术领域
本发明涉及能源数据汇集领域，更具体涉及一种多源异构能源数据汇集系统。
背景技术
在互联网蓬勃发展的背景下，大数据及数据融合技术无处不在，而大数据技术在能源领域的利用却十分缓慢，其主要障碍是多种能源设备间数据的异构性，以及现有能源数据平台的非开放性。限于目前电力系统甚至全行业普遍存在的数据封锁问题，目前没有相关方法能够覆盖并描述如此庞大的多源异构能源数据及其关系，获取能源设备数据信息的主要方法是通过专业数据平台，但数据平台间往往互相封锁互不兼容，平台数据库的操作往往需要特定开发人员，普通研究人员即便获得了某数据库的权限，也会因为数据的复杂结构定义无法与其他数据融合而不具备操作性。故需提出一种多源异构能源数据汇集系统的构建方法，以解决上述技术问题。
发明内容
本发明的目的是提供一种多源异构能源数据汇集系统，以解决能源系统中隐含大量数据无法有效利用的问题。
为实现上述目的，本发明采用以下技术方案：一种多源异构能源数据汇集系统，包括：
存储单元，用于定义人员用户、用户组及表单；
表单单元，用于定义多源异构能源数据的数据类型；
模型单元，用于将多源异构数据转换成其它形式数据。
所述人员用户是汇集系统的注册用户，负责创建并维护系统单元；所述用户组包括人员用户和设备用户；所述系统还包括设备用户，自动连接连接于系统中的能源设备。
所述表单单元包括时序文件STREAM和关系文件RELATIONAL_TABLE；时序文件STREAM由一列时间和一列数值构成，所述关系文件RELATIONAL_TABLE包括任意列数据信息。
所述多源异构能源数据的名称合法且唯一；有且仅有一条数据的首要值为真；数据间利用索引进行相关性查找；每条数据仅声明一个数据类型。
所述数据类型包括
a)BigInteger，记录所有非浮点数值的类型
b)BigDecimal，记录浮点数值的类型
c)String，记录文本值的类型。
所述时序文件STREAM的其中一列时间的数据类型为非浮点数值的时间值，另一列数值的数据类型为浮点数值的数据值，且时间值为主键。
所述其它形式数据包括原始数据、时段数据标准差和时段数据方差；并且当请求获取多种类型数据时，多个模型串接起来进行解释。
所述系统还包括系统网页用户界面和系统应用模块接口；所述系统网页用户界面设有管理权限的账号进行系统组件管理的web接口；所述系统应用程序接口为底层设备上传和下载数据提供了一个直接使用HTTP协议与系统底层连接的接口。
所述表单单元的创建过程包括：
定义表单；
将表单存储于可读文件；
通过Crul和wget的应用模块，将可读文件加载于系统的服务端。
在数据上传前，所述系统根据用户提供的数据描述文件进行预置；数据描述文件的形式包括包含所有属性名的首行，属性名、数据类型和属性名的声明表单的描述一致；上传文件包括应用模块接口识别码、上传的表单名和上传的表单结构；数据手动进行上传或根据用户定义定时上传；在数据上传过程仅需网络与多源异构能源数据汇集系统的连接。
在成功建立了网络连接后，通过验证用户信息，得到访问许可，并利用不同的请求模型直接下载经过转换成为其它形式数据。和最接近的现有技术比，本发明提供技术方案具有以下优异效果
1、本发明技术方案中的多源异构数据边界汇集，可有效利用数据；
2、本发明技术方案为今后能源系统中运用大数据技术进一步开展研究奠定基础；
3、本发明技术方案将有利于为发输配用各电力环节的运营制造提供咨询信息；
4、本发明技术方案在国家促进大数据发簪的背景下，为解决信息孤岛提供了新思路。
附图说明
图1为本发明实施例构建系统的结构示意图。
具体实施方式
下面结合实施例对发明作进一步的详细说明。
实施例1：
本例的发明提供一种多源异构能源数据汇集系统，通过一组标准的抽象建模协议规范化地存储和获取多源异构时间序列能源数据，通过灵活的上传、下载数据方式，可使研究人员便捷地获取感兴趣的原始数据或经过一定程度处理的数据，从而便于研究人员进一步利用大数据技术及数据分析方法挖掘有用信息。
(1)系统主要包括三类权限：人员用户、设备用户、用户组。人员用户是系统的注册用户，负责创建并维护系统组件，如数据库、表单、设备用户、用户组及其他。设备用户定义了连接于系统中的能源设备，具备自动连接系统而不需提供验证信息的功能。用户组定义了相关的人员用户和设备用户，对用户组的权限操作可同时下发至它所包括的所有人员用户与设备用户。
(2)系统的结构定义、存储和连接主要依赖三个组件：存储单元、表单和模型，如图1所示，其中所述存储单元为数据库。
1)数据库是一组相关的人员用户、用户组及表单的定义，是用户存储读取数据的最大存储单元。一个数据库存储数据的例子为：
| 数据库名： | 宁夏风电数据 |
| 人员用户： | 张某，李某 |
| 用户组： | 风电研究组，统计分析 |
| 表单： | 风电103，风电104，风电105 |
2)表单是描述数据多源异构数据意义的主要依据。表单中所含数据可由用户自行定义，但必须为数据库提供两个主要表结构：时序文件(STREAM)以及关系文件(RELATIONAL_TABLE)。对于时序数据STREAM只能包含一列时间、一列数值，对于相关性数据RELATIONAL_TABLE可包含任意列数据相关性信息。
表单定义了多源异构能源数据的数据类型。数据名必须合法且全局唯一；有且仅有一条数据的“首要值”属性为真；数据间利用“索引”属性进行相关性查找；每条数据必须声明一类数据类型，所述数据类型共3种。
a)BigInteger，记录所有非浮点数值
b)BigDecimal，记录浮点数值
c)String，记录文本值
特别对于时序文件STREAM，有且仅有两列数据，其中一列是数据类型为非浮点数值的时间值，另一列是数据类型为浮点数值的数据值，且时间值必须为主键。
3)模型是将多源异构数据转换成多种形式数据的依据。基于上述两种表单结构，模型可在请求数据的过程中将数据处理成几种形式，如原始数据、某时段数据标准差、某时段数据方差，并且当一个请求需要多种类型数据时，多个模型可串接起来进行解释。如：
a)标准偏差(StdDevMod)类型：STREAM
b)样条曲线(SplinesMod)类型：STREAM
c)SQL模块类型：RELATIONAL_TABLE，STREAM
(3)系统提供两种不同的获取数据方式：系统网页用户界面或系统应用程序接口。前者是拥有管理权限的账号进行系统组件管理的web接口，后者为底层设备上传、下载数据提供了一个直接使用HTTP协议与系统底层连接的方式。
(4)数据库的创建主要是对于数据库中表单的定义，如(3)所述也同样包括步骤相同的两种方式，现简述如下：
a)定义表单；
b)将表单存储于可读文件；
c)利用如Crul和wget的应用程序，将文件加载于系统服务端。
(5)数据上传前，系统需要根据用户提供的数据描述文件进行预置。描述文件的形式需要包括：包含所有属性名的首行，必须注意属性名与数据类型与其声明表单的描述一致。另外，在后续上传数据的过程中，必须在上传文件中包含：应用程序接口识别码、所上传的表单名、所上传的表单结构，如：
| 用户名 | 用户类型 | 应用程序识别码 |
| 张某 | 人员用户 | someuniquekeyforregistration |
另外，数据的上传可手动进行，也可以根据用户定义定时上传。上传过程只需保证网络与多源异构能源数据汇集系统的连接。
(6)数据下载。在成功建立了网络连接后，通过验证用户信息，得到访问许可，并利用不同的请求模型直接下载原始数据、某时段数据、某时段标准差、某时段方差等其他经过简单处理的数据。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员尽管参照上述实施例应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种多源异构能源数据汇集系统，其特征在于，包括：
存储单元，用于定义人员用户、用户组及表单；
表单单元，用于定义多源异构能源数据的数据类型；
模型单元，用于将多源异构数据转换成其它形式数据；
所述表单单元包括时序文件STREAM和关系文件RELATIONAL_TABLE；时序文件STREAM由一列时间和一列数值构成，所述关系文件RELATIONAL_TABLE包括任意列数据信息。
2.如权利要求1所述的一种多源异构能源数据汇集系统，其特征在于：所述人员用户是汇集系统的注册用户，负责创建并维护系统单元；所述用户组包括人员用户和设备用户；所述系统还包括设备用户，自动连接连接于系统中的能源设备。
3.如权利要求1所述的一种多源异构能源数据汇集系统，其特征在于：所述多源异构能源数据的名称合法且唯一；有且仅有一条数据的首要值为真；数据间利用索引进行相关性查找；每条数据仅声明一个数据类型。
4.如权利要求2所述的一种多源异构能源数据汇集系统，其特征在于，所述数据类型包括：
a)BigInteger，记录所有非浮点数值的类型，
b)BigDecimal，记录浮点数值的类型，
c)String，记录文本值的类型。
5.如权利要求3所述的一种多源异构能源数据汇集系统，其特征在于：所述时序文件STREAM中，时间数据类型为非浮点数值的时间值，数值数据类型 为浮点数值的数据值，且时间值为主键。
6.如权利要求1所述的一种多源异构能源数据汇集系统，其特征在于：所述其它形式数据包括原始数据、时段数据标准差和时段数据方差；并且当请求获取多种类型数据时，多个模型串接起来进行解释。
7.如权利要求1所述的一种多源异构能源数据汇集系统，其特征在于：所述系统还包括系统网页用户界面和系统应用模块接口；所述系统网页用户界面设有管理权限的账号进行系统组件管理的web接口；所述系统应用模块接口为底层设备上传和下载数据提供了一个直接使用HTTP协议与系统底层连接的接口。
8.如权利要求7所述的一种多源异构能源数据汇集系统，其特征在于，包括：
定义表单；
将表单存储于可读文件；
通过Curl和wget的应用模块，将可读文件加载于系统的服务端。
9.如权利要求7所述的一种多源异构能源数据汇集系统，其特征在于：在数据上传前，所述系统根据用户提供的数据描述文件进行预置；数据描述文件的形式包括包含所有属性名的首行，属性名、数据类型和属性名的声明表单的描述一致；上传文件包括应用模块接口识别码、上传的表单名和上传的表单结构；数据手动进行上传或根据用户定义定时上传；在数据上传过程仅需网络与多源异构能源数据汇集系统的连接。
10.如权利要求9所述的一种多源异构能源数据汇集系统，其特征在于：在成功建立了网络连接后，通过验证用户信息，得到访问许可，并利用不同的请求模型直接下载其它形式数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510889120.6A CN106844398B (zh) | 2015-12-07 | 2015-12-07 | 一种多源异构能源数据汇集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510889120.6A CN106844398B (zh) | 2015-12-07 | 2015-12-07 | 一种多源异构能源数据汇集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106844398A CN106844398A (zh) | 2017-06-13 |
| CN106844398B true CN106844398B (zh) | 2020-08-18 |
Family
ID=59150446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510889120.6A Active CN106844398B (zh) | 2015-12-07 | 2015-12-07 | 一种多源异构能源数据汇集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106844398B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590749A (zh) * | 2017-09-07 | 2018-01-16 | 北京国电通网络技术有限公司 | 一种配用电数据的处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| CN103902286A (zh) * | 2014-03-12 | 2014-07-02 | 郑州轻工业学院 | 基于soa的层级式多源数据融合方法 |
| WO2014106046A2 (en) * | 2012-12-28 | 2014-07-03 | Datalytics Technologies Holdings Inc. | Systems and methods for multi-source data-warehousing |
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
-
2015
- 2015-12-07 CN CN201510889120.6A patent/CN106844398B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| WO2014106046A2 (en) * | 2012-12-28 | 2014-07-03 | Datalytics Technologies Holdings Inc. | Systems and methods for multi-source data-warehousing |
| CN103902286A (zh) * | 2014-03-12 | 2014-07-02 | 郑州轻工业学院 | 基于soa的层级式多源数据融合方法 |
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多源异构电网参数融合方法及工程应用;谢国财等;《电力系统自动化》;20150325;第39卷(第6期);第121-127页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106844398A (zh) | 2017-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104572895B (zh) | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 | |
| CN104111996A (zh) | 基于hadoop平台的医保门诊大数据抽取系统及方法 | |
| CN104200402A (zh) | 一种电网多个数据源的源数据发布方法及系统 | |
| CN104376053A (zh) | 一种基于海量气象数据的存储与检索方法 | |
| CN104317864B (zh) | 一种基于iec61850逻辑节点的信息模型自动识别的方法 | |
| CN105183834A (zh) | 一种基于本体库的交通大数据语义应用服务方法 | |
| CN104572833B (zh) | 一种映射规则创建方法及装置 | |
| CN104318481A (zh) | 一种面向电网运行的全息时标量测数据萃取转换方法 | |
| US20190387056A1 (en) | Irc-infoid data standardization for use in a plurality of mobile applications | |
| CN106528898A (zh) | 将非关系型数据库数据转换到关系型数据库的方法及装置 | |
| CN107590749A (zh) | 一种配用电数据的处理方法及系统 | |
| CN106383720A (zh) | 一种软件产品原型的云端分享协作方法 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN105007314A (zh) | 面向海量读者阅读数据的大数据处理系统 | |
| CN105335366A (zh) | 一种sql语句处理方法、装置和服务器 | |
| CN103455896A (zh) | 基于物联网的无纸化装配质量控制方法 | |
| CN106528896A (zh) | 一种数据库优化方法和装置 | |
| CN103606032B (zh) | 一种二维电网gis数据集中的方法 | |
| CN105956932A (zh) | 配用电数据融合方法和系统 | |
| CN106844398B (zh) | 一种多源异构能源数据汇集系统 | |
| CN103092574B (zh) | 一种基于递归自主式复杂任务分解系统及方法 | |
| CN115827885A (zh) | 一种运维知识图谱的构建方法、装置及电子设备 | |
| CN105740997A (zh) | 一种控制任务流程的方法、装置及数据库管理系统 | |
| CN110020031A (zh) | 一种电子档案数据管理系统 | |
| CN110222022B (zh) | 智能算法优化的数据图书馆建设方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |