CN103617231A - 大数据管理系统 - Google Patents
大数据管理系统 Download PDFInfo
- Publication number
- CN103617231A CN103617231A CN201310611002.XA CN201310611002A CN103617231A CN 103617231 A CN103617231 A CN 103617231A CN 201310611002 A CN201310611002 A CN 201310611002A CN 103617231 A CN103617231 A CN 103617231A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- local
- management system
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种大数据管理系统，总体上采用分布式架构，包括：本地数据服务器，提供本地集群数据库，本地集群数据库采用双机和磁盘阵列组成高可用集群；主体数据服务器，提供集群代理服务，集群代理服务是本地集群数据库的数据访问代理服务。可选的，大数据管理系统还包括：一个或多个客户端，适于通过访问所述集群代理服务来确定是否有权限访问目标数据点并获取目标数据点所属的本地集群数据库的位置信息，还适于直接访问该位置信息对应的本地集群数据库。本发明公开的实施方式（1）采用分布式高可用集群架构解决系统管理超大规模数据能力；（2）采用本地实时数据库解决高频率数据采样处理能力。
Description
技术领域
本发明涉及海量数据元管理及处理领域，尤其涉及一种大数据管理系统。
背景技术
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
云计算技术的飞速发展对大数据管理提出更高的要求，尤其是面向生产领域的数据中心，数据量已经超亿点规模，且存贮量占比很大部分是实时和准实时生产过程数据。
现有技术无法在数据点容量和系统响应速度方面达到要求。
发明内容
本发明要解决的技术问题是，针对现有技术的不足，提供一种大数据管理系统，在数据点容量和系统响应速度方面更好的满足用户需求。
根据本发明一个方面，提供一种大数据管理系统，总体上采用分布式架构，包括：本地数据服务器，提供本地集群数据库，本地集群数据库采用双机和磁盘阵列组成高可用集群；主体数据服务器，提供集群代理服务，集群代理服务是本地集群数据库的数据访问代理服务。
可选的，大数据管理系统还包括：一个或多个客户端，适于通过访问所述集群代理服务来确定是否有权限访问目标数据点并获取目标数据点所属的本地集群数据库的位置信息，还适于直接访问该位置信息对应的本地集群数据库。
可选的，本地数据服务器还适于提供前置通用数据网关，通过统一的数据采集接口采集数据点的数据，并保存到所述本地集群数据库中。
可选的，大数据管理系统还包括：应用运行平台，适于基于对集群代理服务的访问，来对所获取的数据进行实时页面展示、趋势分析、报表浏览，以及基于所获取的数据进行报警处理以及控制逻辑执行操作；其中，集群代理服务还适于提供本地集群数据库上的数据统一访问接口层。
可选的，本地集群数据库包括实时数据库和关系数据库；实时数据库适于存储和检索连续变化的过程数据；关系数据库适于处理关系类型数据。
可选的，所述实时数据库位于实时数据库服务器；前置通用数据网关提供数据缓存功能，实时数据库停机或网络中断时，前置通用数据网关将数据缓存，等实时数据库服务器工作正常或网络连通后，自动将缓存的数据发送到实时数据库服务器。
本发明公开的实施方式与现有技术相比，还具有如下优点：
（1）采用分布式高可用集群架构解决系统管理超大规模数据能力；
（2）采用本地实时数据库解决高频率数据采样处理能力。
附图说明
图1是根据本发明一个实施例提供的大数据管理系统的简单结构图；
图2是根据本发明一个实施例提供的客户端访问数据方法流程图；
图3是根据本发明一个实施例提供的大数据管理系统的详细结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
发明人经研究发现：分布式处理架构尽管具备很大的灵活性和降低系统硬件成本优势，但普遍存在数据版本容易出现不一致问题、数据难以备份问题、对病毒比较敏感和数据管理复杂问题。采用折中处理方式的分布式高可用集群架构可以有效解决集中和分散的各自缺点，均衡利用各自优点来解决分布式数据处理问题。
实时数据库（RTDB－Real Time DataBase）是数据库系统发展的一个重要的分支。经过十多年的飞速发展，实时数据库今天已经广泛应用于电力、钢铁、石油、石化、交通、航空、水利、环保等重要行业和领域。从功能上看，实时数据库不仅包括实时数据存储及事务处理，通常还包括实时数据采集与监视、历史数据管理及实时历史数据的分析与展现。
发明人经研究还发现：根据生产时序数据的特点，利用实时数据库，在保证数据精度的情况下，可以快速高效的对数据进行采集、压缩、存储和访问。
根据本发明一个实施例，提供一种大数据管理系统，架构如附图1所示，总体上采用分布式架构，包括：
本地数据服务器，提供本地集群数据库；
主体数据服务器，提供集群代理服务。
其中，本地集群数据库采用双机和磁盘阵列组成高可用集群方案，保证本地集群数据库的高可用性。同时可以通过在线增加本地集群数据库节点来实现整个大数据管理系统的动态平滑扩容，总体处理能力在一定范围内随内部节点机的数量呈几近线性增长，从而实现了系统的超大规模数据处理能力。
其中，集群代理服务是本地集群数据库的数据访问代理服务，本地集群数据库的节点由集群代理服务进行管理，集群代理服务同样采用双机集群处理方案，保证代理服务的高可用性。
根据本发明另一个实施例，大数据管理系统还包括一个或多个客户端。
继续参考图1，根据本发明一个实施例，提供一种客户端访问集群数据库的方法。如图2所示，该方法包括：
S11、客户端首先访问集群代理服务，确定是否有权限访问并获取数据点（例如变电站，对其采集的数据是非关系型的，例如电压）所属的本地集群数据库节点位置信息；
S12、根据集群代理服务返回的访问目标的位置信息，例如包括节点IP地址、服务端口号、用户名、密码，客户端对位置信息对应的本地集群数据库进行直接访问，访问完毕后断开与相应本地集群数据库的连接。
在步骤S12中，让客户端对在位置信息的本地集群数据库进行直接访问，比通过集群代理服务转发数据更高效。
进一步的，为提高数据访问效率，根据本发明另一个实施例，客户端初次访问数据点/测点时，从集群代理服务获取数据点的位置信息，之后的访问则通过初次访问时保存在客户端本地的缓存得到位置信息。这样不仅提高了数据访问效率，也减轻了集群代理服务的负荷。
参考图3，根据本发明另一个实施例，提供一种大数据管理系统，包括：
本地数据服务器，适于提供前置通用数据网关（图中显示为实时数据采集系统），还适于提供本地集群数据库（图中显示为分布式实时数据库集群系统）；
主体数据服务器，适于提供集群代理服务（图中显示为数据访问接口）；
应用运行平台，适于基于对集群代理服务的访问，来对所获取的数据进行实时页面展示、趋势分析、报表浏览等，以及基于所获取的数据进行报警处理以及控制逻辑执行等操作。
各部分以本地集群数据库节点共同组成的群集数据库为中心，通过统一访问接口彼此协作，使整个系统具备大规模、高频率采样能力，并支持过程数据高压缩率存储、具备快速高效的数据存储和访问机制，可以灵活方便的构建各类工业自动化系统。
根据本发明另一个实施例，上述大数据管理平台还包括应用开发平台，方便用户进行二次开发。
继续参考图3，集群代理服务提供本地集群数据库上的数据统一访问接口层，例如，可以提供自定义API接口、OPC接口和基于JSON格式的WEB访问接口。自定义API接口采用主流ICE通讯中间件技术，可以对数据进行透明转发，支持跨越主流开发语言，为应用开发提供极大的便利性。WEB服务方式接口采用简单数据交换格式JSON，从而提高接口数据处理效率，并简化客户端WEB开发。
根据本发明另一个实时例，为了适应不同数据类型和数据特性，本地集群数据库包括实时数据库（例如位于实时数据库服务器）和关系数据库（例如位于关系数据库服务器）。
实时数据库技术是实时系统和数据库技术相结合的产物；实时数据库适于存储和检索连续变化的过程数据，主要用于处理不断更新的、快速变化的数据及具有时间限制的事务处理。
实时数据库根据时序数据的特点，采用先进的数据处理技术，在保证数据精度的情况下，快速高效地对数据进行采集、压缩、存储和访问。例如，实时数据库具有高频率采样和存贮处理能力。
采用关系数据库来处理复杂逻辑关系类型数据；实时数据库与关系数据库横向互补，为各种类型应用提供数据支撑。
根据本发明另一个实施例，大数据管理系统的实时数据采集系统提供数据缓存功能，实时数据库服务器（提供实时数据库）停机或网络中断时，接口机可以将数据缓存在本地，等实时数据库服务器工作正常或网络连通后，自动将缓存的数据发送到实时数据库服务器。
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
Claims (9)
1.一种大数据管理系统，总体上采用分布式架构，包括：
本地数据服务器，提供本地集群数据库，本地集群数据库采用双机和磁盘阵列组成高可用集群；
主体数据服务器，提供集群代理服务，集群代理服务是本地集群数据库的数据访问代理服务。
2.根据权利要求1所述的大数据管理系统，还包括：
一个或多个客户端，适于通过访问所述集群代理服务来确定是否有权限访问目标数据点并获取目标数据点所属的本地集群数据库的位置信息，还适于直接访问该位置信息对应的本地集群数据库。
3.根据权利要求2所述的大数据管理系统，其中，所述客户端还适于缓存已访问的目标数据点所属的本地集群数据库的位置信息。
4.根据权利要求1所述的大数据管理系统，其中，本地数据服务器还适于提供前置通用数据网关，通过统一的数据采集接口采集数据点的数据，并保存到所述本地集群数据库中。
5.根据权利要求1所述的大数据管理系统，还包括：
应用运行平台，适于基于对集群代理服务的访问，来对所获取的数据进行实时页面展示、趋势分析、报表浏览，以及基于所获取的数据进行报警处理以及控制逻辑执行操作；
其中，集群代理服务还适于提供本地集群数据库上的数据统一访问接口层。
6.根据权利要求1所述的大数据管理系统，还包括：应用开发平台，方便用户进行二次开发。
7.根据权利要求1所述的大数据管理系统，其中，本地集群数据库包括实时数据库和关系数据库；
实时数据库适于存储和检索连续变化的过程数据；
关系数据库适于处理关系类型数据。
8.根据权利要求4所述的大数据管理系统，其中，本地集群数据库包括实时数据库和关系数据库；
实时数据库适于存储和检索连续变化的过程数据；
关系数据库适于处理关系类型数据。
9.根据权利要求8所述的大数据管理系统，其中，所述实时数据库位于实时数据库服务器；
前置通用数据网关提供数据缓存功能，实时数据库停机或网络中断时，前置通用数据网关将数据缓存，等实时数据库服务器工作正常或网络连通后，自动将缓存的数据发送到实时数据库服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310611002.XA CN103617231A (zh) | 2013-11-26 | 2013-11-26 | 大数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310611002.XA CN103617231A (zh) | 2013-11-26 | 2013-11-26 | 大数据管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103617231A true CN103617231A (zh) | 2014-03-05 |
Family
ID=50167934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310611002.XA Pending CN103617231A (zh) | 2013-11-26 | 2013-11-26 | 大数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103617231A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361425A (zh) * | 2014-10-14 | 2015-02-18 | 许继电气股份有限公司 | 基于代理的智能变电站全景信息综合集成展示方法 |
| CN104462586A (zh) * | 2014-12-29 | 2015-03-25 | 芜湖乐锐思信息咨询有限公司 | 一种大数据管理系统 |
| CN105430055A (zh) * | 2015-11-02 | 2016-03-23 | 武大吉奥信息技术有限公司 | 基于分布式及多层次汇交的大数据交换系统及方法 |
| CN105574072A (zh) * | 2015-11-11 | 2016-05-11 | 国网冀北电力有限公司信息通信分公司 | 一种基于iec61970标准的实时数据库群集实现方法 |
| CN105784937A (zh) * | 2016-03-11 | 2016-07-20 | 郑州航空工业管理学院 | 气体苯系物探测的数据可视化方法及系统 |
| CN105827678A (zh) * | 2015-01-07 | 2016-08-03 | 中国移动通信集团山东有限公司 | 一种基于高可用架构下的通信方法和节点 |
| CN106254121A (zh) * | 2016-08-11 | 2016-12-21 | 浪潮软件股份有限公司 | 一种自动化部署与管理大数据集群的方法 |
| CN106301823A (zh) * | 2015-05-19 | 2017-01-04 | 中兴通讯股份有限公司 | 一种关键组件的故障告警方法、装置及大数据管理系统 |
| CN106383886A (zh) * | 2016-09-21 | 2017-02-08 | 深圳市博瑞得科技有限公司 | 一种基于大数据分布式编程框架的大数据预统系统及方法 |
| CN106598647A (zh) * | 2016-11-09 | 2017-04-26 | 许继集团有限公司 | 一种智能装置开发平台 |
| CN106845276A (zh) * | 2017-02-13 | 2017-06-13 | 湖南财政经济学院 | 一种基于网络安全的大数据实施系统 |
| CN107870924A (zh) * | 2016-09-26 | 2018-04-03 | 华为技术有限公司 | 查询数据的方法和数据查询系统 |
| CN110019148A (zh) * | 2018-09-07 | 2019-07-16 | 网联清算有限公司 | 数据库容量管理方法、装置、存储介质及计算机设备 |
| CN112612802A (zh) * | 2020-12-19 | 2021-04-06 | 前海飞算科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
| CN112612802B (zh) * | 2020-12-19 | 2024-05-28 | 飞算数智科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
-
2013
- 2013-11-26 CN CN201310611002.XA patent/CN103617231A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361425A (zh) * | 2014-10-14 | 2015-02-18 | 许继电气股份有限公司 | 基于代理的智能变电站全景信息综合集成展示方法 |
| CN104462586A (zh) * | 2014-12-29 | 2015-03-25 | 芜湖乐锐思信息咨询有限公司 | 一种大数据管理系统 |
| CN105827678A (zh) * | 2015-01-07 | 2016-08-03 | 中国移动通信集团山东有限公司 | 一种基于高可用架构下的通信方法和节点 |
| CN105827678B (zh) * | 2015-01-07 | 2019-03-05 | 中国移动通信集团山东有限公司 | 一种基于高可用架构下的通信方法和节点 |
| CN106301823A (zh) * | 2015-05-19 | 2017-01-04 | 中兴通讯股份有限公司 | 一种关键组件的故障告警方法、装置及大数据管理系统 |
| CN105430055A (zh) * | 2015-11-02 | 2016-03-23 | 武大吉奥信息技术有限公司 | 基于分布式及多层次汇交的大数据交换系统及方法 |
| CN105574072A (zh) * | 2015-11-11 | 2016-05-11 | 国网冀北电力有限公司信息通信分公司 | 一种基于iec61970标准的实时数据库群集实现方法 |
| CN105784937B (zh) * | 2016-03-11 | 2017-09-22 | 郑州航空工业管理学院 | 气体苯系物探测的数据可视化方法及系统 |
| CN105784937A (zh) * | 2016-03-11 | 2016-07-20 | 郑州航空工业管理学院 | 气体苯系物探测的数据可视化方法及系统 |
| CN106254121A (zh) * | 2016-08-11 | 2016-12-21 | 浪潮软件股份有限公司 | 一种自动化部署与管理大数据集群的方法 |
| CN106383886A (zh) * | 2016-09-21 | 2017-02-08 | 深圳市博瑞得科技有限公司 | 一种基于大数据分布式编程框架的大数据预统系统及方法 |
| CN107870924A (zh) * | 2016-09-26 | 2018-04-03 | 华为技术有限公司 | 查询数据的方法和数据查询系统 |
| CN106598647A (zh) * | 2016-11-09 | 2017-04-26 | 许继集团有限公司 | 一种智能装置开发平台 |
| CN106845276A (zh) * | 2017-02-13 | 2017-06-13 | 湖南财政经济学院 | 一种基于网络安全的大数据实施系统 |
| CN110019148A (zh) * | 2018-09-07 | 2019-07-16 | 网联清算有限公司 | 数据库容量管理方法、装置、存储介质及计算机设备 |
| CN110019148B (zh) * | 2018-09-07 | 2021-05-25 | 网联清算有限公司 | 数据库容量管理方法、装置、存储介质及计算机设备 |
| CN112612802A (zh) * | 2020-12-19 | 2021-04-06 | 前海飞算科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
| CN112612802B (zh) * | 2020-12-19 | 2024-05-28 | 飞算数智科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103617231A (zh) | 大数据管理系统 | |
| CN110022226B (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN103761309B (zh) | 一种运营数据处理方法及系统 | |
| CN110047014A (zh) | 一种基于负荷曲线和历史电量的用户电量数据修复方法 | |
| CN103824442B (zh) | 一种基于电力物联网的用电信息实时查询系统 | |
| CN103955509A (zh) | 一种海量电力计量数据的快速检索方法 | |
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| CN106649828A (zh) | 一种数据查询方法及系统 | |
| CN108573029A (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
| CN102200979A (zh) | 一种分布式并行信息检索系统及其方法 | |
| CN108108517A (zh) | 一种基于大数据的电网规划智能辅助分析方法 | |
| US11372937B1 (en) | Throttling client requests for web scraping | |
| CN102609464A (zh) | Mongodb分片联表查询方法及装置 | |
| CN109918425A (zh) | 一种实现数据导入非关系型数据库的方法和系统 | |
| CN106599190A (zh) | 基于云计算的动态Skyline查询方法 | |
| CN105260479A (zh) | 一种基于观察者模式的实时数据库实时数据发布方法 | |
| CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
| CN204066111U (zh) | 一种海量电力计量数据的快速检索系统 | |
| CN103530335A (zh) | 电力计量采集系统的入库操作方法及装置 | |
| CN107276854A (zh) | 一种大数据下molap统计分析的方法 | |
| CN102737061A (zh) | 分布式话单查询管理系统及方法 | |
| CN109544207A (zh) | 一种信息处理方法、存储介质和服务器 | |
| CN109726219A (zh) | 数据查询的方法及终端设备 | |
| CN103246695A (zh) | 海迅实时数据库与ies600p系统的集成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140305 |