CN103139302B - 考虑负载均衡的实时副本调度方法 - Google Patents

Abstract

本发明涉及计算机应用领域，公开了一种考虑负载均衡的实时副本调度方法，包括主管理节点、存储节点，所述存储节点组成存储节点集群，所述主管理节点用于管理所述存储节点集群中的存储节点，所述存储节点负责数据文件的存储，具体步骤包括重载节点检测步骤、重载节点文件排序步骤、副本调度步骤。本发明的优点在于，考虑了系统的负载均衡，可以快速恢复重载节点的负载，减少重载节点出现的机率，令系统负载更为均衡，提升了系统性能。

Description

考虑负载均衡的实时副本调度方法

技术领域

本发明涉及计算机应用领域，特别涉及一种考虑负载均衡的实时副本调度方法。

背景技术

传统的数据存储技术在可扩展性，高可用性等方面远远无法满足当今的数据存储需求，20世纪80年代，分布式文件存储的概念被提出。

分布式文件存储是指一些不一定直接连接在本地节点上的物理存储资源，通过计算机网络与节点相连，被存储系统统一管理，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。分布式文件存储系统通过分布式的架构支持海量文件数据的存储。通过分布式文件存储，可以将各类存储设备结合使用，提供良好的可扩展的存储服务。相比传统的存储设备，其在扩展性，安全性，可靠性等方面，都有了很大的提升。

在分布式文件存储系统中，文件副本策略的提出，主要是为了解决两个关键的问题。一方面是为了保证存储系统的高可用性和高可靠性。另一方面是提升系统的整体性能。例如通过在存储服务器中增加副本，让更多的存储服务器提供服务，增强系统的负载均衡能力。

近年来提出了很多的分布式架构下的文件存储副本管理方案。主要可以分为静态副本管理策略和动态副本管理策略。

静态副本管理策略：文件在生成的时候就已经决定了文件的数量和文件的存放位置，当系统状态发生改变时，文件的数量和存放位置不会做相应的调整。

动态副本管理策略：副本的策略会跟着系统的改变而做出相应的调整。这个调整可以是文件数量的调整，也可以是文件存储位置的调整。

传统的副本管理策略存在以下不足：

对于副本的数量和存储位置的调整往往是在副本生成的时候进行或者周期性的进行，无法针对系统实时的负载均衡状况进行及时的处理。

执行副本策略的文件对象往往是针对整个系统的文件或者大部分的文件，针对性不强。

发明内容

本发明针对现有技术的缺点，提供了一种能够快速地进行负载恢复，可以快速地平衡系统负载的新型考虑负载均衡的实时副本调度方法。

为实现上述目的，本发明可采取下述技术方案：

考虑负载均衡的实时副本调度方法，包括主管理节点、存储节点，所述存储节点组成存储节点集群，所述主管理节点用于管理所述存储节点集群中的存储节点，所述存储节点负责数据文件的存储，具体步骤包括：

重载节点检测：所述主管理节点周期性地统计所述存储节点的负载权值，将所述资源使用百分比大于90%的存储节点确定为重载节点，通知所述重载节点执行实时副本调度机制；

重载节点文件排序：所述重载节点检测步骤中通知执行实时副本调度机制的重载节点依据所述数据文件的访问热度对所述数据文件进行排序，按照所述访问热度从高到低的顺序分别对所述数据文件执行副本调度，所述访问热度为依据所述数据文件的历史访问记录获得的访问频率；

副本调度：包括增加副本步骤和迁移副本步骤，其中，

增加副本步骤包括：

1）所述重载节点确定所述增加文件的副本数，所述增加文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2）所述重载节点向所述主管理节点发送副本增加请求；

3）所述主管理节点接收所述副本增加请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4）所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5）所述主管理节点接收所述副本复制完成通知，通知所述重载节点；

迁移副本步骤包括：

1’）所述重载节点确定所述迁移文件的副本数，所述迁移文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2’）所述重载节点向所述主管理节点发送副本迁移请求；

3’）所述主管理节点接收所述副本迁移请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4’）所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5’）所述主管理节点接收所述副本复制完成通知，通知所述重载节点；

6’）所述重载节点接收步骤5’中所述主管理节点的通知，删除所述迁移文件；

其中，所述负载权值为所述存储节点集群的性能指标的权值，所述目标文件为所述重载节点文件排序步骤中进行副本调度的数据文件的副本，所述源节点为所存储的数据文件包括所述目标文件的存储节点，所述目标节点为所存储的数据文件不包括所述目标文件的存储节点，所述源节点和目标节点为所述负载权值最大的存储节点。

作为优选，所述负载权值的计算步骤为：

$V_{s_i}=C\_V_{s_i}+M\_V_{s_i}+D\_V_{s_i}+\mathrm{HD}\_V_{s_i}+\mathrm{NR}\_V_{s_i}+\mathrm{NS}\_V_{s_{\text{i}}}$

，其中，表示所述存储节点的负载权值，表示所述存储节点的CPU权值，表示所述存储节点的内存权值，表示所述存储节点的磁盘I/O权值，表示所述存储节点的磁盘存储空间权值，表示所述存储节点的网络接收速率权值，表示所述存储节点的网络发送速率权值；

所述权值的计算步骤为：

$X\_V_{s_i}=X_W*\frac{(1-X_{U_{s_i}})*X_{R_{s_i}}}{{\mathrm{\Σ}}_{i=1}^n{X}_{R_{s_i}}},$

$X_W=X_U=[X\_R_{s_1},X\_R_{s_2},...,X\_R_{s_n}]*\left[\begin{array}{c}X\_R_{s_1}\\ X\_R_{s_2}\\ ......\\ X\_R_{s_n}\end{array}\right]/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}X\_R_{s_i}$

，其中，X表示所述负载权值的计算步骤中的C、M、D、HD、NR或者NS，V表示权值，W表示权重值，U表示资源使用百分比，Ｒ表示CPU、内存、磁盘I/O、磁盘存储空间、网络接收速率或者网络发送速率的理论最大可利用资源数，s_i表示存储节点。

作为优选，所述重载节点检测步骤还包括，所述主管理节点建立和维护重载队列，对所述重载队列中的重载节点分别执行实施副本调度机制，所述重载队列由多个重载节点组成。

作为优选，还包括验证重载节点负载权值：在所述重载节点文件排序步骤中，所述重载节点完成副本调度步骤后，所述主管理节点重新统计所述存储节点的负载权值；如果所述重载节点的负载权值低于所述存储节点集群的平均权值，所述重载节点继续所述重载节点文件排序步骤的执行；如果所述重载节点的负载权值等于或者高于所述存储节点集群的平均权值，所述重载节点终止所述重载节点文件排序剩余步骤的执行。

本发明由于采用了以上技术方案，具有显著的技术效果：

能够依据存储节点集群的负载情况进行，快速、实时地进行重载节点的检测，找到重载节点，并进行副本调度，减少重载节点的负载，实时地消灭重载节点，从而达到平衡系统负载，提高整体系统性能，减少因为负载不均衡导致的个别存储节点负载过高的现象，减少因为长时间处于高负载状态导致的故障。

特别地，本发明还包括可以快速计算存储节点的权值的方法，可以快速、准确地得到相应存储节点的负载情况。

执行副本调度的对象为重载节点上的特定文件，无需对重载节点中所存储的所有文件执行副本调度，针对性强，效率较高，副本调度所造成的系统额外的性能开支较少。

增加验证重载节点负载权值步骤，更为突出副本调度的实时性。

附图说明

图1为本发明的分布式文件存储系统的结构示意图。

图2为所述副本调度步骤的流程示意图。

图3为所述增加副本步骤的流程示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

实施例1

考虑负载均衡的实时副本调度方法，本实施例中使用中心化分布式文件存储系统，整个系统采用分布式架构，如图1所示，包括主管理节点、存储节点，所述存储节点组成存储节点集群，这里用主管理服务器作为主管理节点，用存储服务器作为存储节点，系统支持大规模的高并发访问与缓存服务器集群的动态扩展，主管理服务器的主要功能是管理存储服务器集群中的存储节点和存储系统中文件的元数据信息。存储服务器集群可实现动态加载和删除节点的功能，以提供动态可扩展的存储服务，其主要功能是负责数据文件的实际存储。当系统出现重载节点时，可执行本发明提出的实时副本调度方法，具体步骤包括：

重载节点检测：所述主管理节点周期性地统计所述存储节点的负载权值，一个统计周期即表示一轮的实时副本调度策略的执行过程，主管理节点将所述负载权值最小的存储节点确定为重载节点，在实际的应用中，为了能够减少判定重载节点的运算步骤和计算难度，一般确定所述重载节点为所述资源使用百分比大于90%的存储节点，这里的资源使用百分比是包括CPU、内存、磁盘I/O、磁盘存储空间、网络接收速率、网络发送速率在内的资源的使用百分比，确定百分比后，主管理节点通知所述重载节点执行实时副本调度机制。同时，由于主管理节点找到的重载节点可能有多个，主管理节点还需要将多个重载节点组成一个重载队列，建立和维护一个重载队列，对所述重载队列中的重载节点分别执行实施副本调度机制。当有存储节点进入重载队列时，则认为是需要进行实时副本调度的重载节点，也就是说，重载节点的监控是和通过存储节点的权值计算决定的，从而触发副本的实时调度。

所述负载权值可以由以下步骤进行计算：

$V_{s_i}=C\_V_{s_i}+M\_V_{s_i}+D\_V_{s_i}+\mathrm{HD}\_V_{s_i}+\mathrm{NR}\_V_{s_i}+\mathrm{NS}\_V_{s_{\text{i}}}$

，其中，表示所述存储节点的负载权值，表示所述存储节点的CPU权值，表示所述存储节点的内存权值，表示所述存储节点的磁盘I/O权值，表示所述存储节点的磁盘存储空间权值，表示所述存储节点的网络接收速率权值，表示所述存储节点的网络发送速率权值。

存储节点所有资源的权值统一由以下公式得到：

$X\_V_{s_i}=X_W*\frac{(1-X_{U_{s_i}})*X_{R_{s_i}}}{{\mathrm{\Σ}}_{i=1}^n{X}_{R_{s_i}}},$

$X_W=X_U=[X\_R_{s_1},X\_R_{s_2},...,X\_R_{s_n}]*\left[\begin{array}{c}X\_R_{s_1}\\ X\_R_{s_2}\\ ......\\ X\_R_{s_n}\end{array}\right]/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}X\_R_{s_i}$

，其中，X表示所述负载权值的计算步骤中的C（CPU）、M（内存）、D（磁盘I/O）、HD（磁盘存储空间）、NR（网络接收速率）或者NS（网络发送速率），V表示权值，W表示资源在存储节点中的权重值，U表示资源使用百分比，Ｒ表示CPU、内存、磁盘I/O、磁盘存储空间、网络接收速率或者网络发送速率的理论最大可利用资源数，具体而言，这里的R对于不同的资源有不同的内容，在CPU指CPU频率，在内存指内存大小，在磁盘I/O指磁盘的最大读写速率，在磁盘存储空间则是磁盘的最大存储空间，网络接收速率和网络发送速率则分别指代网络的下载和上载的最大带宽速率，s_i表示存储节点。

重载节点文件排序：所述重载节点检测步骤中通知执行实时副本调度机制的重载节点依据所述数据文件的访问热度对所述数据文件进行排序，按照所述访问热度从高到低的顺序分别对所述数据文件执行副本调度，所述访问热度为依据所述数据文件的历史访问记录获得的访问频率。

副本调度：其实质是重载节点的热点文件的副本更新，首先通过维护固定大小的最小堆，挑选出热度最高的H个文件逐一进行副本的更新操作，其主要流程如图2所示，按访问热度从高到低依次取文件，根据文件访问热度计算文件合理需增副本数N。如果N<0，那么判断下一个文件。如果N=0，那么选择将此文件进行存储位置的迁移，即发送请求给主管理节点，由主管理节点选择迁移的存储节点并发起通知。然后删除存储节点的文件。如果N>0,那么选择增加此文件的副本数，当前存储节点发送增加副本的请求，由主管理节点选择N个轻载的存储节点，并发起复制副本的命令给相应的存储节点。具体包括增加副本步骤和迁移副本步骤，其中，

增加副本步骤包括：

1）所述重载节点确定所述增加文件的副本数，所述增加文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2）所述重载节点向所述主管理节点发送副本增加请求；

3）所述主管理节点接收所述副本增加请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4）所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5）所述主管理节点接收所述副本复制完成通知，通知所述重载节点。

例如，副本更新线程首先根据热度算法计算某文件的副本数，假设需要增加两个副本，接着检查文件的操作权限，如果文件正处于编辑状态，即用户请求写入状态，那么继续更新下一个文件副本数，如果文件处于正常可读状态，那么接着根据存储服务器的权值，按照概率选择主的复制服务器，以及被复制的存储服务器，权值越大，越空闲的服务器有更大的概率被选中成为主复制服务器和复制目标服务器。如图3所示，选中C为主复制服务器，D和E为复制目标服务器。然后主服务器向存储服务器C发送复制命令，传输信息包括文件ID和复制目标服务器的信息。存储服务器根据自身的复制文件方法将文件push给D和E。当文件复制完成后，存储服务器C返回信息给主管理服务器，主管理服务器收到消息后，更新元数据表。删除副本的实现流程基本类似。

迁移副本步骤包括：

1’）所述重载节点确定所述迁移文件的副本数，所述迁移文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2’）所述重载节点向所述主管理节点发送副本迁移请求；

3’）所述主管理节点接收所述副本迁移请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4’）所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5’）所述主管理节点接收所述副本复制完成通知，通知所述重载节点；

6’）所述重载节点接收步骤5’中所述主管理节点的通知，删除所述迁移文件。

其中，所述负载权值为所述存储节点集群的性能指标的权值，所述目标文件为所述重载节点文件排序步骤中进行副本调度的数据文件的副本，所述源节点为所存储的数据文件包括所述目标文件的存储节点，所述目标节点为所存储的数据文件不包括所述目标文件的存储节点，所述源节点和目标节点为所述负载权值最大的存储节点。

每完成一个副本的更新操作（包括副本增加和副本迁移），都需要对当前存储服务器的权值进行计算，直到该存储服务器的权值不低系统平均权值，具体步骤如下：

验证重载节点负载权值：在所述重载节点文件排序步骤中，所述重载节点完成副本调度步骤后，所述主管理节点重新统计所述存储节点的负载权值；如果所述重载节点的负载权值低于所述存储节点集群的平均权值，所述重载节点继续所述重载节点文件排序步骤的执行；如果所述重载节点的负载权值等于或者高于所述存储节点集群的平均权值，所述重载节点终止所述重载节点文件排序剩余步骤的执行。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (4)

1.一种考虑负载均衡的实时副本调度方法，其特征在于，包括主管理节点、存储节点，所述存储节点组成存储节点集群，所述主管理节点用于管理所述存储节点集群中的存储节点，所述存储节点负责数据文件的存储，具体步骤包括：重载节点检测：所述主管理节点周期性地统计所述存储节点的负载权值，将资源使用百分比大于90％的存储节点确定为重载节点，通知所述重载节点执行实时副本调度机制；

重载节点文件排序：所述重载节点检测步骤中通知执行实时副本调度机制的重载节点依据所述数据文件的访问热度对所述数据文件进行排序，按照所述访问热度从高到低的顺序分别对所述数据文件执行副本调度，所述访问热度为依据所述数据文件的历史访问记录获得的访问频率；

副本调度：包括增加副本步骤和迁移副本步骤，其中，

增加副本步骤包括：

1)所述重载节点确定增加文件的副本数，所述增加文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2)所述重载节点向所述主管理节点发送副本增加请求；

3)所述主管理节点接收所述副本增加请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4)所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5)所述主管理节点接收所述副本复制完成通知，通知所述重载节点；

迁移副本步骤包括：

1’)所述重载节点确定迁移文件的副本数，所述迁移文件为所述重载节点文件排序步骤中进行副本调度的数据文件；

2’)所述重载节点向所述主管理节点发送副本迁移请求；

3’)所述主管理节点接收所述副本迁移请求后，选择源节点和目标节点，向所述源节点发送增加副本命令；

4’)所述源节点接收所述增加副本命令后，向所述目标节点传送目标文件，在完成所述目标文件的传送后，向所述主管理节点发送副本复制完成通知；

5’)所述主管理节点接收所述副本复制完成通知，通知所述重载节点；

6’)所述重载节点接收步骤5’中所述主管理节点的通知，删除所述迁移文件；其中，所述负载权值为所述存储节点集群的性能指标的权值，所述目标文件为所述重载节点文件排序步骤中进行副本调度的数据文件的副本，所述源节点为所存储的数据文件包括所述目标文件的存储节点，所述目标节点为所存储的数据文件不包括所述目标文件的存储节点，所述源节点和目标节点为所述负载权值最大的存储节点。

2.根据权利要求1所述的考虑负载均衡的实时副本调度方法，其特征在于，所述负载权值的计算步骤为：

$V_{s_i}={C\_V}_{s_i}+{M\_V}_{s_i}+{D\_V}_{s_i}+{\mathrm{HD}\_V}_{s_i}+{\mathrm{NR}\_V}_{s_i}+{\mathrm{NS}\_V}_{s_i}$

，其中，表示所述存储节点的负载权值，表示所述存储节点的CPU权值，表示所述存储节点的内存权值，表示所述存储节点的磁盘I/O权值，表示所述存储节点的磁盘存储空间权值，表示所述存储节点的网络接收速率权值，表示所述存储节点的网络发送速率权值；

所述权值的计算步骤为：

${X\_V}_{s_i}=X_W*\frac{(1-X_{U_{s_i}})*X_{R_{s_i}}}{{\mathrm{\&Sigma;}}_{i=1}^n{X}_{R_{s_i}}}$

，

$X_W=X_U=[{X\_R}_{s_1},{X\_R}_{s_2},...,{X\_R}_{s_n}]*\begin{array}{c}\left[\begin{array}{c}{X\_R}_{s_1}\\ {X\_R}_{s_2}\\ ......\\ {X\_R}_{s_n}\end{array}\right]/\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X\_R}_{s_i}\end{array}$

，其中，X表示所述负载权值的计算步骤中的C、M、D、HD、NR或者NS，V表示权值，W表示权重值，U表示资源使用百分比，R表示CPU、内存、磁盘I/O、磁盘存储空间、网络接收速率或者网络发送速率的理论最大可利用资源数，s_i表示存储节点。

3.根据权利要求2所述的考虑负载均衡的实时副本调度方法，其特征在于，所述重载节点检测步骤还包括，所述主管理节点建立和维护重载队列，对所述重载队列中的重载节点分别执行实施副本调度机制，所述重载队列由多个重载节点组成。

4.根据权利要求1所述的考虑负载均衡的实时副本调度方法，其特征在于，还包括验证重载节点负载权值：在所述重载节点文件排序步骤中，所述重载节点完成副本调度步骤后，所述主管理节点重新统计所述存储节点的负载权值；如果所述重载节点的负载权值低于所述存储节点集群的平均权值，所述重载节点继续所述重载节点文件排序步骤的执行；如果所述重载节点的负载权值等于或者高于所述存储节点集群的平均权值，所述重载节点终止所述重载节点文件排序剩余步骤的执行。