CN106020977B - 用于监控系统的分布式任务调度方法及装置 - Google Patents

Abstract

本发明适用于软件技术领域，提供了用于监控系统的分布式任务调度方法及装置，包括：根据任务项的资源占用量为每个任务项预先分配权重；遍历任务项；在所述遍历的过程中执行任务调度，包括：对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。在本发明中，以负载均衡的原则实现对任务项的动态调度，在服务器节点之间均衡地分配各任务项，保证足够的资源冗余，从而能够满足监控系统不间断服务的可靠性需求。

Description

用于监控系统的分布式任务调度方法及装置

技术领域

本发明属于软件技术领域，尤其涉及用于监控系统的分布式任务调度方法及装置。

背景技术

为了提高运行可靠性及处理效率，监控系统的软件部分通常采用功能模块化的方法进行设计、开发，并以主、备用方式进行部署，因此在任务调度过程中就必须要考虑到系统的处理能力和负载均衡，保证系统有足够的资源冗余，用于处理短时高负荷的任务。

然而，现有技术是依靠人工操作来决定任务运行在哪个服务器节点上，可靠性无法得到保障。

发明内容

有鉴于此，本发明实施例提供了用于监控系统的分布式任务调度方法及装置，以解决目前监控系统中对分布式任务的调度需要依靠人工操作来完成，可靠性得不到保障的问题。

第一方面，提供了一种用于监控系统的分布式任务调度方法，包括：

根据任务项的资源占用量为每个任务项预先分配权重；

遍历任务项；

在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。

第二方面，提供了一种用于监控系统的分布式任务调度装置，其特征在于，包括：

权重分配单元，用于根据任务项的资源占用量为每个任务项预先分配权重；

第一遍历单元，用于遍历任务项；

调度单元，用于在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。

在本发明实施例中，以负载均衡的原则实现对任务项的动态调度，在服务器节点之间均衡地分配各任务项，保证足够的资源冗余，从而能够满足监控系统不间断服务的可靠性需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的监控系统的任务调度示意图；

图2是本发明实施例提供的用于监控系统的分布式任务调度方法的实现流程图；

图3是本发明另一实施例提供的用于监控系统的分布式任务调度方法的实现流程图；

图4是本发明实施例提供的用于监控系统的分布式任务调度装置的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明实施例中，根据任务项的资源占用量为每个任务项预先分配权重；遍历任务项；在所述遍历的过程中执行任务调度，包括：对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。

为了更好地说明本发明所述的技术方案，先结合图1，对技术方案中出现的术语作如下定义：

任务类型(Work Type)：任务类型是指本发明技术方案中的调度计算对象，根据应用的不同，任务类型可以分为数据采集类型、数据处理服务类型等，在任务调度之前，可以预先为服务器节点配置其所支持的任务类型；

任务项(Work Item)：任务项是指任务类型中具体的待调度的对象，如数据采集类型任务的通道、数据处理类型任务的分区分流数据处理模块等，在本发明实施中，任务类型中的任务项是由支持该任务类型的的服务器节点共同承载，以完成整个监控系统的运行，并且任务类型中的任务项是按照负载均衡原理进行调度分配的，每个任务项根据工作时所占的资源被分配一定的权重，权重在整数1～10范围内取值；

服务器节点(SvrNode)：服务器节点是运行监控系统不同功能模块的平台，是由硬件、操作系统和运行时库等组成的运行环境，对任务项的调度就是在这些服务器节点间进行分配的，某服务器节点出现故障后，也需要在这些服务器节点间重新分配任务项；

心跳机制(Heart Beat)：心跳机制就是用来判断某服务器节点的健康状况的，如果某服务器节点在规定的时间内没有上报心跳信息，则判断为该服务器节点出现故障，该服务器节点上的任务项将被按照负载均衡原理转移到其他可用的服务器节点上去，为此，必须在每个服务器节点与任务调度算法模块之间建立网络连接，按照每秒钟(也可以为其他长度的时间间隔)发一次消息的机制发送消息，任务调度算法模块收到消息就认为该服务器节点健康运行，否则就将该服务器节点视为故障；

任务调度算法(Work Schedule Algorithm)：任务调度算法是本发明的核心，其调度策略是基于服务器节点资源均衡的原理，按照任务项的平均权重将各任务项在各服务器节点中进行动态调度。

基于上述术语定义，下面通过具体实施例来对本发明的技术方案进行详细说明。

图2示出了本发明实施例提供的用于监控系统的分布式任务调度方法的实现流程，在本发明实施例中，均以一种任务类型下的任务调度为例，阐述该任务类型下各任务项在支持该任务类型的服务器节点之间的调度方法。该流程详述如下：

在S201中，根据任务项的资源占用量为每个任务项预先分配权重。

对于监控系统中的一任务类型，可以预先评估其中每一任务项的资源占用量，并根据评估出的资源占用量为这些任务项配置权重，权重范围为整数1～10，资源占用量越高的任务项，对应的权重值越大。

此外，在S202遍历任务项之前，对于任务类型中不可调度的任务项，需要为其添加用于说明该任务项不参与调度的预设标识，保证任务调度算法不调度该任务，但该任务项仍会被预先分配权重，以便于任务调度算法进行权重计算。

在S202中，遍历任务项。

在遍历任务项的过程中，当遍历到具有上述预设标识的任务项，忽略该任务项，从而不对该任务项进行调度。

在S203中，在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。

对于每个服务器节点，会在遍历过程中实时计算每个服务器节点的当前权重值，即，每个服务器节点当前所运行的任务项的权重之和，那么在遍历任务项的过程中，当遍历到由多个服务器节点同时运行的任务项时，根据每个服务器节点的当前权重值，在当前权重值最大的服务器节点上停止该任务项，而对于遍历到的当前尚未启动的任务项，则根据每个服务器节点的当前权重值，将该任务项分配至当前权重值最小的服务器节点之上，这样一来，便可以以负载均衡的原则实现对任务项的动态调度，在服务器节点之间均衡地分配各任务项，保证足够的资源冗余，提高监控系统的可靠性。

进一步地，作为本发明的一个实施例，当某一任务类型下任务项的数量发生变化时，如图3所示，所述方法还包括：

在S301中，当任务项的数量发生变化时，计算平均权重，所述平均权重通过将所有任务项的权重之和除以运行任务项的服务器节点的数量得到。

其中，平均权重的计算方法，是根据S201的权重分配结果，将一任务类型下所有任务项的权重之和，与运行该任务类型的任务项的服务器节点的数量相除所得到的结果。

在S302中，遍历服务器节点。

具体地，遍历运行该任务类型下的任务项的服务器节点。

在S303中，当存在所述当前权重值大于所述平均权重的服务器节点，停止该服务器节点上运行的任务项。

当遍历到当前权重值大于平均构重的服务器节点时，停止该服务器节点上运行的任务项，停止方案在此不作限定，例如，可以通知该服务器节点按照任务项权重的大小，由大到小逐个停止任务项，或者，也可以停止该服务器节点中允许停止的任务项。在本发明实施例中，当任务项被停止时，被停止的任务项被标识为未启动的任务项。

基于本发明图3对应的实施例，可以在任务项数量发生变化时，保证监控系统的负载均衡，保证一定的资源冗余，提高监控系统的可靠性和稳定性。

进一步地，作为本发明的一个实施例，在任务调度过程中，还可以通过心跳机制维护服务器节点的在线列表。

具体地，由可运行任务项的在线服务器节点基于心跳机制定期上报其健康状况，以使得系统可以在线维护一个服务器节点的在线列表。基于该心跳机制，若某个服务器节点在心跳机制所要求的消息上报时间间隔之内未进行上报，则认为该服务器节点出现了故障，从在线列表中删除该服务器节点，与此同时，需要将该服务器节点上运行的任务项标记为未启动的任务项，由此一来，可以将故障服务器节点的任务项按照负载均衡原理转移到支持相同任务类型的健康服务器节点之上，在负载出错的情况下实现任务项的自动调度。

在本发明实施例中，以负载均衡的原则实现对任务项的动态调度，在服务器节点之间均衡地分配各任务项，保证足够的资源冗余，从而能够满足监控系统不间断服务的可靠性需求。

本发明技术方案的应用场景包括但不限于：

1、监控系统多通道、多前置信息的采集通道的调度分配；

2、监控系统中历史数据定期导出功能模块的调度分配；

3、监控系统(如配电自动化系统)分区分流数据模块的调度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的用于监控系统的分布式任务调度方法，图4示出了本发明实施例提供的用于监控系统的分布式任务调度装置的结构框图，所述用于监控系统的分布式任务调度装置可以内置于移动终端或移动终端的应用系统内。为了便于说明，仅示出了与本实施例相关的部分。

参照图4，该装置包括：

权重分配单元41，根据任务项的资源占用量为每个任务项预先分配权重；

第一遍历单元42，遍历任务项；

调度单元43，在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和。

可选地，所述装置还包括：

计算单元，当任务项的数量发生变化时，计算平均权重，所述平均权重通过将所有任务项的权重之和除以运行任务项的服务器节点的数量得到；

第二遍历单元，遍历服务器节点；

停止单元，当存在所述当前权重值大于所述平均权重的服务器节点，停止该服务器节点上运行的任务项。

可选地，所述装置还包括：

列表维护单元，通过心跳机制维护服务器节点的在线列表。

可选地，所述装置还包括：

标记单元，当在所述在线列表中删除一服务器节点时，将在该服务器节点上运行的任务项标记为未启动的任务项。

可选地，所述装置还包括：

标识添加单元，为不可调度的任务项添加预设标识；

所述第一遍历单元具体用于：

在遍历过程中，忽略具备所述预设标识的任务项。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于监控系统的分布式任务调度方法，其特征在于，包括：

根据任务项的资源占用量为每个任务项预先分配权重，所述任务项为待调度的对象；

遍历任务项；

在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和；

当任务项的数量发生变化时，计算平均权重，所述平均权重通过将所有任务项的权重之和除以运行任务项的服务器节点的数量得到；

遍历服务器节点；

当存在所述当前权重值大于所述平均权重的服务器节点，停止该服务器节点上运行的任务项；

通过心跳机制维护服务器节点的在线列表，具体为：基于所述心跳机制，若某个服务器节点在所述心跳机制所要求的消息上报时间间隔之内未进行上报，则认为该服务器节点出现故障，从所述在线列表中删除该服务器节点。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当在所述在线列表中删除一服务器节点时，将在该服务器节点上运行的任务项标记为未启动的任务项。

3.如权利要求1或2所述的方法，其特征在于，在所述遍历任务项之前，所述方法还包括：

为不可调度的任务项添加预设标识；

所述遍历任务项包括：

在遍历过程中，忽略具备所述预设标识的任务项。

4.一种用于监控系统的分布式任务调度装置，其特征在于，包括：

权重分配单元，用于根据任务项的资源占用量为每个任务项预先分配权重，所述任务项为待调度的对象；

第一遍历单元，用于遍历任务项；

调度单元，用于在所述遍历的过程中执行任务调度，包括：

对于同时由多个服务器节点运行的任务项，在当前权重值最大的服务器节点上停止该任务项；

对于未启动的任务项，将该任务项分配至当前权重值最小的服务器节点；

所述当前权重值为当前分配在该服务器节点上的任务项的权重之和；

计算单元，用于当任务项的数量发生变化时，计算平均权重，所述平均权重通过将所有任务项的权重之和除以运行任务项的服务器节点的数量得到；

第二遍历单元，用于遍历服务器节点；

停止单元，用于当存在所述当前权重值大于所述平均权重的服务器节点，停止该服务器节点上运行的任务项；

列表维护单元，用于通过心跳机制维护服务器节点的在线列表，具体为：基于所述心跳机制，若某个服务器节点在所述心跳机制所要求的消息上报时间间隔之内未进行上报，则认为该服务器节点出现故障，从所述在线列表中删除该服务器节点。

5.如权利要求4所述的装置，其特征在于，所述装置还包括：

标记单元，用于当在所述在线列表中删除一服务器节点时，将在该服务器节点上运行的任务项标记为未启动的任务项。

6.如权利要求4或5所述的装置，其特征在于，所述装置还包括：

标识添加单元，用于为不可调度的任务项添加预设标识；

所述第一遍历单元具体用于：

在遍历过程中，忽略具备所述预设标识的任务项。