CN104580306A - 一种多终端备份服务系统及其任务调度方法 - Google Patents

Abstract

本发明公开了一种多终端备份服务系统及其任务调度方法，该方法包括：步骤一，客户端为每个用户终端设置备份策略，并按照该备份策略形成任务请求，并将该任务请求发送至服务端；步骤二，服务端接收所述任务请求，并设置一定长度的观测窗对原始任务队列进行排序，并将排序后的任务依次插入到执行任务队列中，通过任务处理节点对执行任务队列中的任务进行处理，以给任务分配相应的任务资源。本发明综合考虑了多个任务属性因素的影响，可以在服务端集中合理地将并发任务分配给处理节点并根据任务特性赋予其相应的任务资源，从而减少服务端的任务处理压力和网络负载压力。

Description

一种多终端备份服务系统及其任务调度方法

技术领域

本发明涉及计算机信息存储技术和数据备份技术领域，特别是涉及一种多终端备份服务系统及其任务调度方法。

背景技术

随着计算机技术和个人PC的发展，大量重要数据分散存储在工作者各自的电脑里，这些终端设备安全性差，易导致数据丢失，给用户带来损失，终端备份服务系统应运而生，备份服务系统既能节约存储资源，又能大大提高数据的安全性。传统的终端备份服务系统主要是采用按照时间顺序备份用户的数据，且备份任务分散执行，面对多用户大数据量时，备份服务系统中的用户互相任意竞争资源使用，导致网络拥堵，使重要数据或重要的用户无法优先将数据备份到系统中。

随着计算机网络技术的发展，任务调度算法越来越受到广泛的重视，任务调度是根据一定的调度规则和调度策略，把组成并行程序的一组任务，按照一定执行时序分配到系统的多个处理线程上，以最小化并行应用程序的完成时间，以期取得较好的系统性能。因此需要提出一种能够在多终端备份服务系统中根据数据关键等级，用户重要级别，合理分配处理优先级和资源带宽的分组调度方法，以克服了传统备份服务系统任务处理时对优先级和带宽使用不合理的现象。并能够根据任务的优先级合理分配任务执行顺序和使用的带宽资源，从而能够在确保满足网络中所有业务时延的要求的同时有效地改善突发强度高的业务和尽力传送业务的时延性能，在衡量调度算法的各项指标(包括时延、公平性、复杂度)中，使得算法是一种综合性能较理想的分组调度算法。

发明内容

本发明的目的在于提供一种多终端备份服务系统及其任务调度方法，用于实现多个终端连接一个备份服务端时，各终端能够顺利的将本端数据按策略备份到服务端，并且可以尽量减轻服务端的处理压力和网络传输负载压力。

为了实现上述目的，本发明提供一种多终端备份服务系统，其特征在于，包括：客户端和服务端；

所述客户端，用于为每个用户终端设置备份策略，并按照该备份策略形成任务请求，并将该任务请求发送至所述服务端；

所述服务端，用于接收所述任务请求，并设置一定长度的观测窗对原始任务队列中的任务进行排序，并将排序后的任务依次插入到执行任务队列中，通过任务处理节点对执行任务队列中的任务进行处理，以给任务分配相应的任务资源。

所述的多终端备份服务系统，其中，所述服务端根据所述任务请求的接收顺序将任务插入到原始任务队列中。

所述的多终端备份服务系统，其中，所述服务端对原始任务队列中的任务按照敏感因素对任务的优先级进行加权值计算排序，公式如下：

Z=ax1+bx2+cx3；

其中：

Z为加权值；

x1为文件级别；

x2为用户级别；

x3为文件大小；

a、b、c为加权系数。

所述的多终端备份服务系统，其中，所述服务端将排序后的任务按照加权值由大到小的顺序依次插入到执行任务队列中。

所述的多终端备份服务系统，其中，所述服务端按照资源由大到小的顺序对任务处理节点进行排序，并将所述执行任务队列中的任务按照取出顺序依次分配给排序后的任务处理节点，以实现按照任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配。

为了实现上述目的，本发明提供一种多终端备份服务系统的任务调度方法，其特征在于，包括：

步骤一，客户端为每个用户终端设置备份策略，并按照该备份策略形成任务请求，并将该任务请求发送至服务端；

步骤二，服务端接收所述任务请求，并设置一长度的观测窗对原始任务队列进行排序，并将排序后的任务依次插入到执行任务队列中，通过任务处理节点对执行任务队列中的任务进行处理，以给任务分配相应的任务资源。

所述的多终端备份服务系统的任务调度方法，其中，所述步骤二中，包括：

所述服务端根据所述任务请求的接收顺序将任务插入到原始任务队列中。

所述的多终端备份服务系统的任务调度方法，其中，所述步骤二中，包括：

所述服务端对原始任务队列中的任务按照敏感因素对任务的优先级进行加权值计算排序，公式如下：

Z=ax1+bx2+cx3；

其中：

Z为加权值；

x1为文件级别；

x2为用户级别；

x3为文件大小；

a、b、c为加权系数。

所述的多终端备份服务系统的任务调度方法，其中，所述步骤二中，包括：

所述服务端将排序后的任务按照加权值由大到小的顺序依次插入到执行任务队列中。

所述的多终端备份服务系统的任务调度方法，其中，所述步骤二中，包括：

所述服务端按照资源由大到小的顺序对任务处理节点进行排序，并将所述执行任务队列中的任务按照取出顺序依次分配给排序后的任务处理节点，以实现按照任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配。

与现有技术相比，本发明的有益技术效果是：

本发明提出了一种多终端备份服务系统的任务调度方法。该方法可以使服务端集中处理大量任务时，占用较少的系统资源，减轻备份服务器压力，并且使重要级别较高的文件和级别较高的用户备份较大数据量时得到更优先的顺序和更加多的带宽资源，以加快其备份任务的执行。同时保证了所有任务的执行是在按时间先后顺序的大原则下进行的。

附图说明

图1是本发明多终端备份服务系统的工作流程图；

图2是本发明多终端备份服务系统的任务调度方法流程图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明多终端备份服务系统的工作流程图；图2是本发明多终端备份服务系统的任务调度方法流程图。

在图1中，多终端备份服务系统采用C/S架构实现，包括客户端和服务端两部分。在企业用户中，通常在企业网内设置一台磁盘阵列作为服务端，企业内所有终端用户都可作为客户端与服务端进行连接。

客户端的主要功能是负责为每个用户终端制定备份策略，并按照该策略形成备份任务请求。其中备份策略采用按基准时间周期性的对某个目录文件进行备份或当某个目录文件发生变化时实时将该目录文件进行备份。按照这样的策略在客户端生成任务，任务的具体信息包括任务提交者、文件级别和本次任务数据量等信息。然后将任务请求通过网络发送到服务端。等待服务端处理，允许客户端发送备份的文件数据。

服务端是由单一服务构成，其主要功能是接收多个终端的任务请求，并将任务按照敏感因素对任务的重要性/优先级进行加权计算排序，其中敏感因素主要包括任务提交者的职位级别，文件数据的重要级别和备份数据量的大小等。为每个任务计算出一个加权值，并按该加权值对任务进行排序。不同敏感因素的加权系数不同，敏感因素越重要其加权系数越大。可以认为任务加权值越大，该备份任务越紧急，需要占用更多的资源优先进行备份。服务端的任务处理节点按照排序后的任务进行处理，并给任务分配相应的任务资源以最大程度平衡任务处理时给网络带来的负载压力。

任务处理节点拥有不同的任务处理资源，且按资源由大到小的顺序进行排列，服务端将执行任务队列中取出的任务按其取出顺序依次分配给各处理节点，以实现按照任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配，从而保证了优先的任务占用相对多的资源进行处理。

在图1中，该备份服务系统应用于1000个终端用户的企业网内。该企业的特点是数据文件级别有严格的区分定义，用户职位级别也有较明确的区分。其中1000客户端运行在windows操作系统上，服务端运行在一台磁盘阵列的linux操作系统上。客户端通过网络将任务请求发送到服务端，由服务端集中进行调度处理。具体实施过程如下：

1.第一步，客户端可由用户设置各种备份策略，可设置为周期备份也可设置为实时备份。当策略生效时则在客户端生成任务请求。该任务请求携带有描述任务的重要信息。然后将该任务请求通过网络发送到服务端。任务单元包含了任务的主要属性重要信息，其具体任务结构体定义为：

typedef struct task

{

Time create_time;

Int file_level;

Int user_level;

Int data_size;

……

};

可以认为影响本次数据备份任务的主要因素有待备份文件数据的重要级别，提交备份任务的用户的级别，和本次预计备份的数据量，任务创建时间等。在理想的单位任务完成时间一定的情况下，预计备份的数据量直接决定了本次备份任务预计完成时间。

2.第二步，服务端接收大量来自客户端发送任务请求的连接。按接收顺序将备份任务插入原始任务队列中，若任务的数量已达到原始任务队列的最大限度，则驳回该客户端的任务请求。

假设原始任务队列长度为n。执行任务队列长度为m，任务处理节点个数为m。原始任务集合V{v1，v2，…vn}，执行任务集合E{e1，e2，…em}。对原始任务队列中的任务进行排序优化。采用一定长度（如m）的观测窗口划分排序的范围，即每次对原始任务队列中的m个任务进行排序。

排序的具体方法是：采用加权算法对任务的优先级进行计算，按照任务属性中各敏感因素的重要程度不同而采用不同的加权系数，为每个观测窗口内的任务进行加权计算。计算公式：

Z=ax1+bx2+cx3，

其中：

x1为文件级别；

x2为用户级别；

x3为文件大小；

a、b、c，为加权系数。

三个因素中，文件级别x1所占比重最大，因为重要的文件总是优先权较高，该因素取值为一般、重要、非常重要，对应数值取值为1、2、3，或根据实际需要进行设定。其次是用户级别x2，级别越高的用户具有越高的优先权，该因素的取值为初级、中级、高级，对应数值取值为1、2、3，或根据实际需要进行设定。最后是备份数据量因素，即x3，该值须统一数据单位如Mb。数据量较大，需要较大的处理带宽来处理，因此优先级也会更高，由于数据量的数值通常是较大的，因此这里给数据量的加权系数相比之下最小。

可以根据不同应用系统中敏感因素的重要度不同来确定系数a、b、c的大小。例如在某个单位中认为文件级别是最重要因素，文件级别越高优先级越高，其次是用户级别，该用户的职位级别越高，其数据的重要性相对越高，文件大小则是最次要因素。那么可给a一个较大的值，b，c次之，即a>b>c。

由以上规则计算出观测窗口内的任务优先级的加权值为Z1，Z2，…Zm。

3.第三步，按照原始任务队列观测窗口中的各任务计算出的加权值由大到小的顺序将任务插入到执行任务队列中。从执行任务队列中取出m个任务分配到m个空闲线程，其中m个空闲线程已经按照资源由大到小的顺序排列好。这样任务分配顺序可以按照每个线程提供的带宽资源由大到小依次分配。即可实现加权值相对较大的任务会占用到相对多的带宽资源进行执行。

这样顺序滑动观测窗口进行任务排序，可以使任务的执行总是服从了时间先后的原则。

4.m个任务处理节点分配了不同的任务资源，且按照资源由大到小顺序将任务处理节点排序。对于备份服务系统来说最主要的任务资源即为传输网络带宽。假设备份服务系统可占整个网络带宽具有一个总体的带宽限制BW，那么各任务处理节点可占用的带宽对BW的百分比依次为P1，P2，…Pm，且P1〉P2…〉Pm，以固定值分配到了各处理节点上。例如当m取值为5时，一种资源的分配顺序可以依次为总带宽BW的30%,25%,20%,15%,10%。该取值当系统确定好后，即固定不变。可根据不同系统的要求进行相应比例的调整。当检测到任务处理节点空闲时，将执行任务队列中的任务取出，这样即可按任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配，从而以较为匹配的资源带宽进行备份任务处理。

使用该方法可以利用较少的任务处理节点来处理任务，使相对更加重要的文件，重要的用户，备份数据量较大的任务得到优先执行，且被分配到更多的带宽资源，缩短任务执行时间。可以完成该企业内1000个用户终端按时按序按级别进行数据备份任务，从而减少了服务器的压力，并降低网络负载，减少因网络繁忙阻塞任务提交和处理。

本发明提供了一种多终端备份服务系统的任务调度方法。该终端备份服务系统采用C/S架构实现。由多个终端连接一个备份服务端，每个终端按照策略形成本端的备份任务请求，将请求发送到服务端，等待服务端处理。服务端处理任务即控制终端将待备份的文件数据通过网络发送到服务端进行归档保存。因此备份服务端需要承担大并发任务处理并且网络传输也需要承担巨大的负载压力。本发明的任务调度方法综合考虑了多个任务属性因素的影响，可以在服务端集中合理地将并发任务分配给任务处理节点并根据任务特性赋予其相应的任务资源，从而减少服务端的任务处理压力和网络负载压力。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种多终端备份服务系统，其特征在于，包括：客户端和服务端；

所述客户端，用于为每个用户终端设置备份策略，并按照该备份策略形成任务请求，并将该任务请求发送至所述服务端；

所述服务端，用于接收所述任务请求，并设置一定长度的观测窗对原始任务队列中的任务进行排序，并将排序后的任务依次插入到执行任务队列中，通过任务处理节点对执行任务队列中的任务进行处理，以给任务分配相应的任务资源。

2.根据权利要求1所述的多终端备份服务系统，其特征在于，所述服务端根据所述任务请求的接收顺序将任务插入到原始任务队列中。

3.根据权利要求1或2所述的多终端备份服务系统，其特征在于，所述服务端对原始任务队列中的任务按照敏感因素对任务的优先级进行加权值计算排序，公式如下：

Z=ax1+bx2+cx3；

其中：

Z为加权值；

x1为文件级别；

x2为用户级别；

x3为文件大小；

a、b、c为加权系数。

4.根据权利要求3所述的多终端备份服务系统，其特征在于，所述服务端将排序后的任务按照加权值由大到小的顺序依次插入到执行任务队列中。

5.根据权利要求1、2或4所述的多终端备份服务系统，其特征在于，

所述服务端按照资源由大到小的顺序对任务处理节点进行排序，并将所述执行任务队列中的任务按照取出顺序依次分配给排序后的任务处理节点，以实现按照任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配。

6.一种多终端备份服务系统的任务调度方法，其特征在于，包括：

步骤一，客户端为每个用户终端设置备份策略，并按照该备份策略形成任务请求，并将该任务请求发送至服务端；

步骤二，服务端接收所述任务请求，并设置一长度的观测窗对原始任务队列进行排序，并将排序后的任务依次插入到执行任务队列中，通过任务处理节点对执行任务队列中的任务进行处理，以给任务分配相应的任务资源。

7.根据权利要求6所述的多终端备份服务系统的任务调度方法，其特征在于，所述步骤二中，包括：

所述服务端根据所述任务请求的接收顺序将任务插入到原始任务队列中。

8.根据权利要求6或7所述的多终端备份服务系统的任务调度方法，其特征在于，所述步骤二中，包括：

所述服务端对原始任务队列中的任务按照敏感因素对任务的优先级进行加权值计算排序，公式如下：

Z=ax1+bx2+cx3；

其中：

Z为加权值；

x1为文件级别；

x2为用户级别；

x3为文件大小；

a、b、c为加权系数。

9.根据权利要求8所述的多终端备份服务系统的任务调度方法，其特征在于，所述步骤二中，包括：

所述服务端将排序后的任务按照加权值由大到小的顺序依次插入到执行任务队列中。

10.根据权利要求6、7或9所述的多终端备份服务系统的任务调度方法，其特征在于，所述步骤二中，包括：

所述服务端按照资源由大到小的顺序对任务处理节点进行排序，并将所述执行任务队列中的任务按照取出顺序依次分配给排序后的任务处理节点，以实现按照任务的加权值从大到小对应任务资源带宽从大到小的顺序进行分配。