CN102609463B - 一种基于准实时平台的数据集群管理系统 - Google Patents

Abstract

本发明公开了一种基于准实时平台的数据集群管理系统，包括存储载体层和集群数据访问中间件；所述存储载体层是由若干子节点组成的集群数据库，所述的每个子节点为一个物理数据库服务器；所述集群数据库访问中间件包括集群管理模块、通讯管理模块、执行引擎模块和连接管理模块。本方法将多个实时数据库和关系数据库组成集群数据库，对外提供统一的访问接口，实现测点位置对访问接口透明，对外提供统一透明的数据访问服务，满足准实时平台海量数据的集中存储与共享。

Description

一种基于准实时平台的数据集群管理系统

技术领域

本发明涉及一种实时数据处理方法，具体来说涉及一种基于准实时平台的数据集群管理系统。

背景技术

随着电力信息化的不断发展，智能电网试点建设逐步开展，产生了大量的与公司生产运行密切相关的实时、准实时数据，继而沉淀成海量的历史数据，连同调度生产大区电网运行方式、关口电量、保护、雷电等实时数据一起形成了海量的数据，这些数据都是公司的宝贵财富，是实现精益化管理的基础。同时，随着智能电网进一步发展，新型业务应用的不断深化，各级单位及各业务部门对海量准实时数据的集中存储与访问提出了更高的要求，因此，在这样的背景下，电网企业提出了企业级海量准实时平台建设。

目前在电力行业广泛应用于企业数据存储与管理的数据库主要有实时数据库和关系数据库。其中实时数据库典型代表有：OSIsoft公司的PI、InStep公司的eDNA、Honeywell公司的PHD等，国产数据库代表有江苏瑞中HiSoon、中科院Agilor、华北电力大学Vestore等。关系数据库典型代表有：Oracle、DB2、SQL Server等。

实时数据库是一种专门用于处理海量实时信息、基于测点模型的数据库，广泛应用于电力、石化、冶金等工业自动化领域，针对实时采集的具有时序特征的海量生产数据具有极高的事务处理能力、数据压缩比和查询检索速度。实时数据库逻辑上包含实时数据库、历史数据库和测点数据库三部分。实时数据库维护实时数据，实时数据为每个测点时间戳最大的量测值(也就是当前值)；历史数据库维护历史数据，历史数据由实时数据不断归档沉淀后产生，实时数据库中往往采用压缩的方式存储历史数据；测点数据库则维护所有测点的各种属性信息。

关系数据库是以关系模型组织数据并以集合论和关系代数为理论基础处理数据，数据的存储载体为多个有关联关系的二维表。关系数据库的主要功能是查询处理、存储管理和事务处理，事务处理要求保证事务的原子性、一致性、隔离性和持久性。关系数据库主要应用于管理信息领域。

目前，在面对海量准实时数据存储时，不论采用实时数据库还是关系数据库，均不能够完全满足，具体表现在以下两个方面：

·单套实时数据库测点容量有限

随着智能电网建设的不断推进，各级单位准时数据的集中与共享后，需要存储的数据规模将接近数百万或千万级，而当前国内、外主流数据库如PI/eDNA/PHD以及国产HighSoon/Agilor等实时数据库单库数据测点规模至多达到百万级，数据测点容量的限制难以满足电网企业当前及未来几年业务发展的对海量准实时数据存储的需要。

·关系数据库存储实时数据库性能瓶颈

关系数据库虽然对测点规模没有限制，但对实时数据的写入、访问和归档速度较慢，特别是写入速度将是一个很大的瓶颈，同时，关系库不支持直接对历史数据压缩，不适宜对有海量历史数据存储与频繁访问需求的数据进行存储。

发明内容

本发明的目的在于提供一种基于准实时平台的数据集群管理系统，本方法将多个实时数据库和关系数据库组成集群数据库，对外提供统一的访问接口，实现测点位置对访问接口透明，对外提供统一透明的数据访问服务，满足准实时平台海量数据的集中存储与共享。

本发明的目的可通过以下的技术措施来实现：

一种基于准实时平台的数据集群管理系统，包括存储载体层和集群数据访问中间件；所述存储载体层是由若干子节点组成的集群数据库，所述的每个子节点为一个物理数据库服务器，所述集群数据库访问中间件包括集群管理模块、通讯管理模块、执行引擎模块和连接管理模块；

所述集群管理模块，包括节点数据库管理子模块、数据库服务运行状态管理子模块和全局日志管理子模块；

所述节点数据库管理子模块，维护管理子节点的注册、注销、配置信息；

所述数据库服务运行状态管理子模块，对子节点服务的启动、停止状态进行维护，并浏览查询子节点的状态；

所述全局日志管理子模块，通过查找各个子节点的运行日志、分析日志并及时排除子节点的故障，保证子节点上数据库实例的稳定运行；

所述通讯管理模块，通过标准的访问接口接受客户端应用程序发送的访问请求，经身份验证通过后即可成功建立连接，连接请求代理为每个连接创建一个服务线程，在连接生命期内提供数据访问服务；

所述执行引擎模块，包括集群数据的查询操作处理子模块和任务调度处理子模块；

其中，所述查询操作处理子模块将客户端对集群数据库的查询语句进行分析和处理，根据全局测点数据分布信息将全局数据的访问解析为对各子节点上的数据库实例读写操作；

所述任务调度处理子模块：负责各子节点上的数据库实例操作指令信息发布，管理各子节点上数据库实例实时任务调度，协调多个子节点之间任务的执行，保证实时任务在时间截止期内完成；

所述连接管理模块：实现各子节点上数据库实例的一个连接池以及一套连接使用、分配、治理策略。使得该连接池中的连接可以得到高效、安全的复用，避免各节点上数据库连接的频繁建立、关闭的开销。

所述连接池为每个实时数据库以及关系数据库维护了若干个连接以满足集群数据库并发数据访问需求。

所述并发数据访问过程为：业务应用访问连接请求代理进程，通过身份验证后成功建立与集群数据库的连接；连接请求代理进程为每个连接创建一个服务线程，服务线程在连接请求代理进程生命期内提供数据访问服务；业务应用提交测点数据访问请求给服务线程后，服务线程首先通过测点位置解析服务获取所访问的测点数据存储于哪个数据库中，然后从连接池获取数据库的连接并把测点数据访问请求通过连接发送给相应的数据库，最后将访问结果返回给业务应用。

所述子节点上运行的数据库实例为实时数据库或关系数据库；每个所述的子节点中包括多个实时数据库和一个关系数据库。

所述节点数据库管理子模块管理的配置信息包括各节数据库IP地址、端口号的维护管理及浏览查询。

所述集群数据库中的数据采用数据划分(Sharding)方式存储数据，所述数据划分方式是：将数据切割成多个数据集，分散到多个子节点中；所述数据集包括：实时数据集(Real time Collection)、准实时数据集(Qua Real time Collection)和事件数据集(Event Collection)。

本发明对比现有技术，有如下优点：本发明通过将分布于不同节点服务器上的数据库测点以及数据库的管理维护进行封装，通过全局测点位置信息建立与各节点上数据库测点的映射，对外提供统一透明的数据访问服务，满足准实时平台海量数据的集中存储与共享。

附图说明

图1是本发明的数据集群管理系统的结构图；

图2是本发明的数据集群管理系统的模块组成结构示意图；

图3是本发明的数据集群管理系统进行数据存储的流程图。

具体实施方式

本发明方法首先将多个实时数据库，甚至关系数据库进行联合部署，组成一个逻辑的数据库——集群数据库，如图1所示。

将分布于不同节点服务器上的数据库测点以及数据库的管理维护进行封装，通过全局测点元数据建立与各节点上数据库测点的映射，对外提供统一透明的数据访问服务，满足准实时平台海量数据的集中存储与共享。

如图2所示，本方法的基于准实时平台的数据集群管理系统包括存储载体层和集群数据访问中间件；存储载体层是由若干数据库服务器组成的集群数据库，每个数据库服务器作为一个子节点，集群数据库访问中间件包括集群管理模块、通讯管理模块、执行引擎模块和连接管理模块；数据库服务器上运行的数据库实例为实时数据库或关系数据库。

整个中间件对底层的物理数据库进行了封装，所以在中间件中维护了有全局测点数据分布信息。如图3所示，客户端访问集群数据库，首先需要访问集群数据访问中间件，经身份验证通过后即可建立与数据库的连接，中间件维护并管理客户端的访问请求，为客户端提供透明高效的数据存储与访问服务。

1)集群管理模块包括节点数据库管理子模块、数据库服务运行状态管理子模块和全局日志管理子模块；

节点数据库管理子模块维护管理子节点数据库的注册、注销、配置信息；配置信息包括各节数据库IP地址、端口号的维护管理及浏览查询。

数据库服务运行状态管理子模块对子节点数据库服务的启动、停止状态进行维护，并浏览查询子节点数据库的状态；

全局日志管理子模块通过查找各个子节点数据库的运行日志、分析日志并及时排除子节点数据库的故障，保证节点上数据库实例稳定运行；

2)通讯管理模块，通过标准的访问接口接受客户端应用程序发送的访问请求，经身份验证通过后即可成功建立连接，连接请求代理为每个连接创建一个服务线程，在连接生命期内提供数据访问服务；

3)执行引擎模块，包括集群数据的查询操作处理子模块和任务调度处理子模块；

其中，查询操作处理子模块：将客户端对集群数据库的查询语句进行分析和处理，根据全局测点数据分布信息将全局数据的访问解析为对各子节点上的数据库实例读写操作；

任务调度处理子模块：负责各子节点数据库上的数据库实例操作指令信息发布，管理各子节点数据库上数据库实例实时任务调度，协调多个节点之间任务的执行，保证实时任务在时间截止期内完成；

4)连接管理模块：实现各子节点数据库上数据库的一个连接池以及一套连接使用、分配、治理策略。使得该连接池中的连接可以得到高效、安全的复用，避免各节点上数据库连接的频繁建立、关闭的开销。

连接池为每个实时数据库以及关系数据库维护了若干个连接以满足集群数据库并发数据访问需求。连接可以是tcp/ip协议中的socket连接等。所谓维护，即预先建立好“连接”数组，需要使用时直接从该数组中获取。

并发数据访问过程为：业务应用访问连接请求代理进程，通过身份验证后成功建立与集群数据库的连接；连接请求代理进程为每个连接创建一个服务线程，服务线程在连接请求代理进程生命期内提供数据访问服务；业务应用提交测点数据访问请求给服务线程后，服务线程首先通过测点位置解析服务获取所访问的测点数据存储于哪个数据库中，然后从连接池获取数据库的连接并把测点数据访问请求通过连接发送给相应的数据库，最后将访问结果返回给业务应用。

所述集群数据库中的数据采用数据划分(Sharding)方式存储数据，所述数据划分方式是：将数据切割成多个数据集，分散到多个子节点中；所述数据集包括：实时数据集(Real time Collection)、准实时数据集(Qua Real time Collection)和事件数据集(Event Collection)。每个子节点上可以根据服务器的性能部署多个数据库实例，分别对海量数据进行分布式存储。

实现数据合理的分布存储。数据分布对整个系统的可用性、可靠性及效率有着重要影响，需要对海量准实时数据按照一定的原则进行分类并进行分布式存储，达到数据的高效存储。

根据海量准实时数据特征，结合业务应用对数据访问的要求，将数据按照频度初步划分为实时数据、准实时数据和事件数据。

本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (5)

1.一种基于准实时平台的数据集群管理系统，其特征在于：包括存储载体层和集群数据访问中间件；所述存储载体层是由若干子节点组成的集群数据库，所述的每个子节点为一个物理数据库服务器，所述集群数据库访问中间件包括集群管理模块、通讯管理模块、执行引擎模块和连接管理模块；数据库服务器上运行的数据库实例为实时数据库或关系数据库；所述集群数据库中的数据采用数据划分方式存储数据，所述数据划分方式是：将数据切割成多个数据集，分散到多个子节点中；所述数据集包括：实时数据集、准实时数据集和事件数据集；每个子节点上可以根据服务器的性能部署多个数据库实例，分别对海量数据进行分布式存储；实现数据合理的分布存储，数据分布对整个系统的可用性、可靠性及效率有着重要影响，需要对海量准实时数据按照一定的原则进行分类并进行分布式存储，达到数据的高效存储；根据海量准实时数据特征，结合业务应用对数据访问的要求，将数据按照频度初步划分为实时数据、准实时数据和事件数据；所述集群管理模块，包括节点数据库管理子模块、数据库服务运行状态管理子模块和全局日志管理子模块；

所述节点数据库管理子模块，维护管理子节点的注册、注销、配置信息； 

所述数据库服务运行状态管理子模块，对子节点服务的启动、停止状态进行维护，并浏览查询子节点的状态；

所述全局日志管理子模块，通过查找各个子节点的运行日志、分析日志并及时排除子节点的故障，保证子节点上数据库实例的稳定运行；

所述通讯管理模块，通过标准的访问接口接受客户端应用程序发送的访问请求，经身份验证通过后即可成功建立连接，连接请求代理为每个连接创建一个服务线程，在连接生命期内提供数据访问服务；

所述执行引擎模块，包括集群数据的查询操作处理子模块和任务调度处理子模块；

其中，所述查询操作处理子模块将客户端对集群数据库的查询语句进行分析和处理，根据全局测点数据分布信息将全局数据的访问解析为对各子节点上的数据库实例读写操作； 

所述任务调度处理子模块：负责各子节点上的数据库实例操作指令信息发布，管理各子节点上数据库实例实时任务调度，协调多个子节点之间任务的执行，保证实时任务在时间截止期内完成；

所述连接管理模块：实现各子节点上数据库实例的一个连接池以及一套连接使用、分配、治理策略。

2.根据权利要求1所述的基于准实时平台的数据集群管理系统，其特征在于：所述连接池为每个实时数据库以及关系数据库维护了若干个连接以满足集群数据库并发数据访问需求；实现各子节点数据库上数据库的一个连接池以及一套连接使用、分配、治理策略；使得该连接池中的连接可以得到高效、安全的复用，避免各节点上数据库连接的频繁建立、关闭的开销；连接池为每个实时数据库以及关系数据库维护了若干个连接以满足集群数据库并发数据访问需求；连接是tcp/ip协议中的socket连接；所谓维护，即预先建立好“连接”数组，需要使用时直接从该数组中获取。

3.根据权利要求2所述的基于准实时平台的数据集群管理系统，其特征在于：并发数据访问过程为：业务应用访问连接请求代理进程，通过身份验证后成功建立与集群数据库的连接；连接请求代理进程为每个连接创建一个服务线程，服务线程在连接请求代理进程生命期内提供数据访问服务；业务应用提交测点数据访问请求给服务线程后，服务线程首先通过测点位置解析服务获取所访问的测点数据存储于哪个数据库中，然后从连接池获取数据库的连接并把测点数据访问请求通过连接发送给相应的数据库，最后将访问结果返回给业务应用。

4.根据权利要求1至3任意一项所述的基于准实时平台的数据集群管理系统，其特征在于：所述子节点上运行的数据库实例为实时数据库或关系数据库；每个所述的子节点中包括多个实时数据库和一个关系数据库。

5.根据权利要求1所述的基于准实时平台的数据集群管理系统，其特征在于：所述节点数据库管理子模块管理的配置信息包括各节数据库IP地址、端口号的维护管理及浏览查询。