CN103095806A - 一种面向大电网的实时数据库系统的负载均衡管理系统 - Google Patents

Abstract

本发明为一种面向大电网的实时数据库系统的负载均衡管理系统，实时数据库系统为一个并行的数据库系统，其表文件被分成M个子表，存储在Q个数据节点上；本发明负载均衡管理系统包括表文件拆分模块，存储模块，心跳模块，元数据管理模块，负载均衡判断模块；表文件拆分模块用于根据数据节点数目和表文件大小拆分表文件；存储模块用于将拆分后的表文件存储在各个数据节点上；心跳模块用于各个数据节点与管理节点之间的通信；元数据管理模块：用于管理子表与数据节点的对应关系；负载均衡判断模块用于判断当前系统负载是否均衡。本发明在保证并行实时数据库高并发响应的基础上，保证集群中的节点都是负载均衡的，且每个数据库表文件也是负载均衡的。

Description

一种面向大电网的实时数据库系统的负载均衡管理系统

技术领域

本发明属于电力系统控制技术领域，具体涉及一种面向大电网的实时数据库系统的负载均衡管理系统。

背景技术

在现有电力调度技术支持系统中，使用实时数据库存储和管理遥测量、遥信量等实时数据。随着电网的发展，实时量测数据量不断变大，现有调度自动化系统所使用的实时数据库效率和存储的瓶颈越来越显著。

为了解决以上问题，分布式并行实时数据库应运而生。分布式并行实时数据库由多个节点组成，它们同时提供服务，给高并发访问提供了非常有力的支持。

但是，直接将分布式并行实时数据库应用在电力系统中是无法支持负载均衡的。电力系统的分布式并行实时数据库是将分布在不同地方的单机实时数据库组合起来的。对每个单机实时数据库的访问频率和访问数据量大小不尽相同。所以，在实际应用中，并行实时数据库需要满足负载均衡。分布式并行实时数据库中，如何让每个节点都和其他节点保持负载均衡，甚至每个实时数据库的表文件之间也是负载均衡的，这是目前分布式并行实时数据库面临的较大问题。

发明内容

针对现有技术的不足，本发明提出一种面向大电网的实时数据库系统的负载均衡管理系统，从静态和动态两方面实现负载均衡。

本发明提供的一种面向大电网的实时数据库系统的负载均衡管理系统，所述实时数据库系统为一个并行的数据库系统，数据库系统的表文件被分成M个子表，存储在Q个数据节点上；其改进之处在于，

所述负载均衡管理系统包括表文件拆分模块，存储模块，心跳模块，元数据管理模块，负载均衡判断模块；

所述表文件拆分模块用于根据节点数目和表文件大小拆分表文件；

所述存储模块用于将拆分后的表文件存储在各个数据节点上；

所述心跳模块用于各个数据节点与管理节点之间的通信；

所述元数据管理模块：用于管理子表与数据节点的对应关系；

所述负载均衡判断模块用于判断当前系统负载是否均衡。

其中，所述表文件拆分模块、所述心跳模块、所述元数据管理模块和所述负载均衡判断模块放置在管理节点中，所述存储模块放置在实时数据库的数据节点中；所述管理节点和所述实时数据库的数据节点通过网络通信。

其中，所述表文件拆分模块包括：

表文件读取模块，用于从数据库中读取表文件，

表文件分片模块，用于对读取到表文件分片；和

本地元数据管理器，用于管理表文件与分片文件之间的对应关系。

其中，所述存储模块包括：

负载判断模块，用于判断本地的负载情况；和

数据模块，用于当本节点被选为存储节点时，就地存储表文件的子表数据。

其中，所述心跳模块包括：

发送消息模块，用于当该节点不是管理节点时，定时将本节点上的负载信息发送给管理节点；

广播模块，用于将本机的负载和判断负载的时间广播给其他所有节点；和

接受消息模块，用于接受来自其他节点的心跳信息，并将这些心跳信息更新在元数据管理。

其中，所述元数据管理模块包括：

节点管理模块，用于管理集群中各个数据节点的存活状态；

表文件管理模块，用于管理集群中各个数据节点上存储的表文件信息，包括子表信息；和

负载管理模块：用于管理集群中各个数据节点的负载情况。

其中，所述负载均衡判断模块包括：

负载采集模块，用于接受来自其他节点发送过来的广播消息，采集各个数据节点的负载情况，包括其他节点的心跳信息；和

负载比较模块：用于比较各个数据节点的负载情况，找出最小负载的数据节点。

与现有技术比，本发明的有益效果为：

本发明可以在保证并行实时数据库高并发响应的基础上，集群中的每个数据节点都是负载均衡的，并且每个实时数据库表文件也是负载均衡的。

本发明提供的面向大电网的并行实时数据库系统的负载均衡管理方法。在实时数据库节点数量足够多的情况下，并行实时数据库将显著的提高数据操作性能；并且，在不影响并行实时数据库访问功能的前提下，提供负载均衡的策略，不会出现严重热点。在分布式并行实时数据库系统中，每个数据节点上的负载情况是相当的。通过本发明提供的分布式实时数据库负载均衡方法，可以在不影响单机版调度技术支持本地计算的情况下，支持更加丰富的应用。

附图说明

图1为本发明提供的管理节点和实时数据库节点的对应关系图。

图2为本发明提供的负载均衡判断模块实现负载均衡的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本实施例提出的负载均衡管理系统，从静态和动态两方面实现了负载均衡，其过程如下：

本实施例提供的一种面向大电网的实时数据库系统的负载均衡管理系统，所述实时数据库系统为N个并行的数据库系统，每个数据库系统的表文件被分成M个子表，存储在Q个数据节点上，N、M、Q为正整数。

所述负载均衡管理系统包括表文件拆分模块，存储模块，心跳模块，元数据管理模块，负载均衡判断模块；

所述表文件拆分模块用于根据节点数目和表文件大小拆分表文件；

所述存储模块用于将拆分后的表文件存储在各个数据节点上；

所述心跳模块用于各个数据节点与管理节点之间的通信，该信息交流既包括数据节点的存活状态，也包括各个数据节点的负载情况；

所述元数据管理模块：用于管理子表与数据节点的对应关系；元数据是指每个子表所分配机器以及子表的副本分配的机器；

所述负载均衡判断模块用于判断当前系统负载是否均衡。

本实施例的所述表文件拆分模块、所述心跳模块、所述元数据管理模块和所述负载均衡判断模块放置在管理节点中，所述存储模块放置在实时数据库的各节点中；所述管理节点和所述实时数据库的各数据节点通过网络通信。

其中：所述表文件拆分模块包括：

表文件读取模块，用于从数据库中读取表文件，

表文件分片模块，用于对读取到表文件分片；和

本地元数据管理器，用于管理表文件与分片文件之间的对应关系。

所述存储模块包括：

负载判断模块，用于判断本地的负载情况，如CPU，内存还有网络带宽；可以使用简单的带权平均数得到最终的负载结果；和

数据模块，用于当本节点被选为存储节点时，就地存储表文件的子表数据。

所述心跳模块包括：

发送消息模块，用于当该节点不是管理节点时，定时将本节点上的负载信息发送给管理节点；

广播模块，用于将本机的负载和判断负载的时间广播给其他所有数据节点；和

接受消息模块，用于接受来自其他节点的心跳信息，并将这些心跳信息更新在元数据管理。当一段时间没有收到心跳信息，就表明该节点已经失效，将该节点从集群中去除。

所述元数据管理模块包括：

节点管理模块，用于管理集群中各个数据节点的存活状态，包括节点上次发心跳的时间；

表文件管理模块，用于管理集群中各个数据节点上存储的表文件信息，包括子表信息；和

负载管理模块：用于管理集群中各个数据节点的负载情况。

所述负载均衡判断模块包括：

负载采集模块，用于采集各个数据节点的负载情况，包括其他节点的心跳信息；

负载比较模块：用于比较各个数据节点的负载情况，找出最小负载的节点。

所述负载均衡判断模块产生负载均衡表，供管理人员查阅。

本实施例通过表文件拆分模块根据节点数目和表文件大小拆分表文件，将拆分后的子表均衡的放置各数据节点中，实现了静态的负载均衡；每个子表都有多个备份，负载均衡既存在于机器与机器之间，也存在于表文件的多个备份之间。

本实施例的动态均衡过程如下：

本实施例通过表文件拆分模块将数据库的表文件拆分成多个子表，根据元数据管理模块中的对应关系，通过存储模块存在多个数据节点上。每个子表都有多个备份，存在与不同的节点上。管理节点和各个数据节点之间采用心跳模块相互读取信息，当有子表文件需要读取或存储时，根据访问管理节点的信息，采用负载均衡判断模块判断，找到负载最小节点，然后读取或存储，实现动态的负载均衡。其中，其找到负载最小节点的过程如图2所示，具体步骤如下：

A、根据客户请求，访问管理节点；请求包括读写或者存储等；

B、管理节点中的负载均衡判断模块通过心跳模块实时监测其他节点上负载情况，找出负载最小节点；

C、进行客户的请求处理。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种面向大电网的实时数据库系统的负载均衡管理系统，所述实时数据库系统为一个并行的数据库系统，数据库系统的表文件被分成M个子表，存储在Q个数据节点上；其特征在于，

所述负载均衡管理系统包括表文件拆分模块，存储模块，心跳模块，元数据管理模块，负载均衡判断模块；

所述表文件拆分模块用于根据节点数目和表文件大小拆分表文件；

所述存储模块用于将拆分后的表文件存储在各个数据节点上；

所述心跳模块用于各个数据节点与管理节点之间的通信；

所述元数据管理模块：用于管理子表与数据节点的对应关系；

所述负载均衡判断模块用于判断当前系统负载是否均衡。

2.如权利要求1所述的负载均衡管理系统，其特征在于，所述表文件拆分模块、所述心跳模块、所述元数据管理模块和所述负载均衡判断模块放置在管理节点中，所述存储模块放置在实时数据库的数据节点中；所述管理节点和所述实时数据库的数据节点通过网络通信。

3.如权利要求1所述的负载均衡管理系统，其特征在于，所述表文件拆分模块包括：

表文件读取模块，用于从数据库中读取表文件，

表文件分片模块，用于对读取到表文件分片；和

本地元数据管理器，用于管理表文件与分片文件之间的对应关系。

4.如权利要求1所述的负载均衡管理系统，其特征在于，所述存储模块包括：

负载判断模块，用于判断本地的负载情况；和

数据模块，用于当本节点被选为存储节点时，就地存储表文件的子表数据。

5.如权利要求1所述的负载均衡管理系统，其特征在于，所述心跳模块包括：

发送消息模块，用于当该节点不是管理节点时，定时将本节点上的负载信息发送给管理节点；

广播模块，用于将本机的负载和判断负载的时间广播给其他所有节点；和

接受消息模块，用于接受来自其他节点的心跳信息，并将这些心跳信息更新在元数据管理。

6.如权利要求1所述的负载均衡管理系统，其特征在于，所述元数据管理模块包括：

节点管理模块，用于管理集群中各个数据节点的存活状态；

表文件管理模块，用于管理集群中各个数据节点上存储的表文件信息，包括子表信息；和

负载管理模块：用于管理集群中各个数据节点的负载情况。

7.如权利要求1所述的负载均衡管理系统，其特征在于，所述负载均衡判断模块包括：

负载采集模块，用于接受来自其他节点发送过来的广播消息，采集各个数据节点的负载情况，包括其他节点的心跳信息；和

负载比较模块：用于比较各个数据节点的负载情况，找出最小负载的数据节点。

Images