CN103699443A - 任务分发方法及扫描器 - Google Patents

Abstract

本发明公开了一种任务分发方法及扫描器，该方法包括：节点类型为管理节点的扫描器需要分发任务时，针对所管理的各扫描器，分别执行下述操作：确定该扫描器执行待分发任务时的资源消耗指标以及该扫描器的当前剩余负载，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；根据所述资源消耗指标和当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，并将所述待分发任务分发给选择出的扫描器。本发明技术方案解决了现有技术难以保证负载均衡的效果的问题。

Description

任务分发方法及扫描器

技术领域

本发明涉及负载均衡技术领域，尤其涉及一种任务分发方法及扫描器。

背景技术

在扫描器组成的分布式网络架构中，为了使各扫描器能够均衡的分担各任务带来的负载，可以采用负载均衡技术来进行任务分发。其中，由节点类型为管理节点的扫描器根据负载均衡算法，将待分发任务分发给所管理的各扫描器。当前主流的负载均衡算法主要包含轮询算法、比率算法、优先权算法等。

在现有技术中，不管采用上述哪种算法进行任务分发，都只考虑了各扫描器的负载情况，也就是说，只考虑了扫描器的硬件环境因素。但是，不同扫描器执行同一任务时的执行情况也可能不同。例如，一台高带宽的扫描器1位于地点A，另一台低带宽的扫描器2位于地点B，扫描器1的硬件环境明显要优于扫描器2的硬件环境，节点类型为管理节点的扫描器如果需要分发一个爬取某网站的任务，则按照现有的负载均衡算法，会将该任务分发给硬件环境较好的扫描器1，但是，如果该网站的网站服务器设置在地点B，则扫描器1执行该任务时消耗的资源就比较多，执行效率较低，而扫描器2执行该任务时消耗的资源就比较少，执行效率较高。

由上可见，如果节点类型为管理节点的扫描器在分发任务时，只考虑所管理的各扫描器的硬件环境因素，则难以保证负载均衡的效果。

发明内容

本发明实施例提供一种任务分发方法及扫描器，用以解决现有技术难以保证负载均衡的效果的问题。

本发明实施例提供如下技术方案：

本发明实施例提供一种任务分发方法，该方法包括步骤：

节点类型为管理节点的扫描器需要分发任务时，针对所管理的各扫描器，分别执行下述操作：确定该扫描器执行待分发任务时的资源消耗指标以及该扫描器的当前剩余负载，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；根据所述资源消耗指标和当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，并将所述待分发任务分发给选择出的扫描器。

优选的，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

根据获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{t_j}{t_{\mathrm{ij}}^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；t_j为待分发任务所属的站点j对应的预估资源消耗值；t′_ij为扫描器i执行待分发任务所属的站点j下的各任务时的当前实际资源消耗值。

优选的，还包括：

接收选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

根据接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

优选的，还包括：

每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

确定该扫描器执行待分发任务时的资源消耗指标，还包括：

获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

根据获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

根据确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{q_i}{q_i^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；q_i为扫描器i执行每个原子任务时的预估资源消耗值；q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值。

优选的，确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值，具体包括：

获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目；

根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值；

根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

优选的，通过下述方式确定扫描器执行每个原子任务时的预估资源消耗值：

$q_i=\frac{u_i}{y_i}$

其中，q_i为扫描器i执行每个原子任务时的预估资源消耗值；u_i为扫描器i的系统状态权重值；y_i为扫描器i的最大性能系数；

通过下述方式确定扫描器执行每个原子任务时的当前实际资源消耗值：

$q_i^{\′}=\frac{z_i-g_i}{n_i}$

其中，q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值；z_i为扫描器i的当前总资源消耗值；g_i为扫描器i的基础平台固定资源消耗值；n_i为扫描器i当前所执行的原子任务的数目。

优选的，还包括：

接收所管理的各扫描器按照预设的参数更新周期分别上报的总资源消耗值和所执行的原子任务的数目；

针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

优选的，还包括：

每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储；

确定该扫描器执行待分发任务时的资源消耗指标，还包括：

获得预先存储的、该扫描器更新前总资源消耗值和更新前所执行的原子任务的数目；

根据获得的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值；

根据确定出的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，确定该扫描器的当前剩余负载，具体包括：

获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比；

根据获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

优选的，通过下述方式确定扫描器的当前剩余负载：

${\mathrm{load}}_i=w_i*(\frac{1}{v_i}-1)$

其中，load_i为扫描器i的当前剩余负载；w_i为扫描器i的当前系统状态占用比；v_i为扫描器i的当前性能占用比。

优选的，还包括：

接收所管理的各扫描器按照预设的参数更新周期分别上报的系统状态占用比以及性能占用比；

针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

优选的，还包括：

在将所述待分发任务分发给选择出的扫描器之后，根据所述待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新；

根据所述待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新；

根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

优选的，若选择出的扫描器的当前系统性能使用系数不为0，则通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+\frac{x_k*w_i}{s_i}$

其中，w′_i为选择出的扫描器i更新后的当前系统状态占用比；w_i为扫描器i更新前的当前系统状态占用比；x_k为所述待分发任务所属的任务类型k对应的系统资源消耗值；s_i为扫描器i的当前系统性能使用系数；

若选择出的扫描器的当前系统性能使用系数为0，则通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+(1-w_i)\×\frac{x_k}{y_i}$

其中，y_i为扫描器i的最大性能系数；

通过下述方式对选择出的扫描器的当前系统性能使用系数进行更新：

s′_i=s_i+x_k

其中，s′_i为选择出的扫描器i更新后的当前系统性能使用系数；

通过下述方式对选择出的扫描器的当前性能占用比进行更新：

$v_i^{\′}=\frac{s_i^{\′}}{y_i}$

其中，v′_i为选择出的扫描器i更新后的当前性能占用比。

优选的，通过下述方式确定扫描器执行所述待分发任务时的负载均衡因子：

Δ_i=CPI_i*load_i

其中，Δ_i为扫描器i执行所述待分发任务时的负载均衡因子；CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；load_i为扫描器i的当前剩余负载。

优选的，根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，具体包括：

在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子；

在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器；

在查找到的各扫描器中选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

本发明实施例还提供一种扫描器，包括：

资源消耗指标确定单元，用于在需要分发任务时，针对所管理的各扫描器，分别确定该扫描器执行待分发任务时的资源消耗指标，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；

当前剩余负载确定单元，用于针对所管理的各扫描器，分别确定该扫描器的当前剩余负载；

负载均衡因子确定单元，用于针对所管理的各扫描器，分别根据资源消耗指标确定单元确定出的所述资源消耗指标和当前剩余负载确定单元确定出的当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

扫描器选择单元，用于根据负载均衡因子确定单元确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器；

任务分发单元，用于将所述待分发任务分发给扫描器选择单元选择出的扫描器。

优选的，所述资源消耗指标确定单元具体包括：

第一资源消耗值获得子单元，用于获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

第一资源消耗指标确定子单元，用于根据第一资源消耗值获得子单元获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，还包括：

第一参数接收单元，用于接收扫描器选择单元选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

第一参数更新单元，用于根据第一参数接收单元接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

优选的，所述第一参数更新单元，还用于每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

所述资源消耗指标确定单元还包括：

第二资源消耗值获得子单元，用于获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

第二资源消耗指标确定子单元，用于根据第二资源消耗值获得子单元获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第三资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，所述资源消耗指标确定单元具体包括：

第一资源消耗值确定子单元，用于确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第一资源消耗值确定子单元确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，所述资源消耗值确定子单元，具体用于获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目；根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值；根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

优选的，还包括：

第二参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的总资源消耗值和所执行的原子任务的数目；

第二参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

优选的，所述第二参数更新单元，还用于每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储；

所述资源消耗指标确定单元还包括：

第三资源消耗值获得子单元，用于获得预先存储的、该扫描器更新前总资源消耗值和更新前所执行的原子任务的数目；

第二资源消耗值确定子单元，用于根据第三资源消耗值获得子单元获得的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第二资源消耗值确定子单元确定出的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第四资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，所述当前剩余负载确定单元具体包括：

状态参数获得子单元，用于获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比；

剩余负载确定子单元，用于根据状态参数获得子单元获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

优选的，还包括：

第三参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的系统状态占用比以及性能占用比；

第三参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

优选的，还包括：

第四参数更新单元，用于在将所述待分发任务分发给选择出的扫描器之后，根据所述待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新；

第五参数更新单元，用于根据所述待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新；

第六参数更新单元，用于根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

优选的，所述扫描器选择单元，具体用于在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子；在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器；在查找到的各扫描器中选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

由上可见，本发明实施例技术方案中，节点类型为管理节点的扫描器在分发任务时，不仅考虑所管理的各扫描器的负载情况（即硬件环境因素），还要考虑各扫描器执行待分发任务时的资源消耗情况（即任务执行情况），根据负载情况和资源消耗情况综合确定执行待分发任务的扫描器，因此能够改善负载均衡的效果，提高扫描器的任务执行效率，节省扫描器的处理资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一中，任务分发方法流程示意图；

图2为本发明实施例二中，管理节点扫描器向上一级管理节点扫描器上报各参数的过程示意图；

图3为本发明实施例二中，扫描节点扫描器向管理节点扫描器上报各参数的过程示意图；

图4为本发明实施例四中，扫描器结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术中，节点类型为管理节点的扫描器在分发任务时，只考虑所管理的各扫描器的硬件环境因素，因此难以保证负载均衡的效果。

有鉴于此，本发明实施例提出一种具有自学习特性的负载均衡算法，将扫描器执行任务时的资源消耗情况（即任务执行情况）加入负载均衡算法中，并通过自学习的特性，动态更新扫描器对应的负载情况和执行任务时的资源消耗情况，节点类型为管理节点的扫描器根据该负载均衡算法进行任务的分发，因此能够改善负载均衡的效果，提高扫描器的任务执行效率，节省扫描器的处理资源。

在扫描器组成的分布式网络架构中，扫描器的节点类型包含管理节点和扫描节点，节点类型为管理节点的扫描器负责任务分发以及参数管理等操作，节点类型为扫描节点的扫描器进行具体的任务执行。一个扫描器既可以为管理节点，也可以为扫描节点，也就是说，扫描器可以既具有管理其他扫描器的管理功能，也具有执行具体任务的任务执行功能，此时，该节点类型为管理节点的扫描器所管理的各扫描器中就包含该扫描器自身。

节点类型为管理节点的扫描器在进行任务分发时，将其管理的各扫描器均看作能够执行任务的扫描器，因此在所管理的各扫描器中选择出执行待分发任务的扫描器。若选择出的扫描器的节点类型为扫描节点，则由该扫描器执行该待分发任务，任务分发流程结束；若选择出的扫描器的节点类型为管理节点，则由选择出的该扫描器继续在所管理的各扫描器中选择出执行待分发任务的扫描器，依次类推，直至选择出节点类型为扫描节点的扫描器，由选择出的扫描器执行该待分发任务，任务分发流程结束。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

实施例一

如图1所示，为本发明实施例一提出的任务分发方法流程示意图，所述方法包括以下步骤：

步骤11，节点类型为管理节点的扫描器需要分发任务时，针对所管理的各扫描器，分别执行下述操作：确定该扫描器执行待分发任务时的资源消耗指标以及该扫描器的当前剩余负载，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；根据所述资源消耗指标和当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子。

节点类型为管理节点的扫描器（为了描述方便，以下简称管理节点扫描器）管理若干个扫描器，在进行任务分发时，可以先在管理的各扫描器中进行初步筛选，后续在初步筛选出的各扫描器中选择执行待分发任务的扫描器。

管理节点扫描器在进行初步筛选时，首先根据待分发任务的任务类型，在所管理的各扫描器中查找能够执行待分发任务的扫描器。任务类型包含单机任务、爬虫任务、扫描任务等，管理节点扫描器能够获知所管理的各扫描器能够执行的任务类型，然后在所管理的各扫描器中，查找出能够执行待分发任务所属的任务类型的各扫描器。例如，管理节点扫描器管理扫描器A、扫描器B和扫描器C，其中，扫描器A只能执行扫描任务，扫描器B和扫描器C能够执行爬虫任务和扫描任务，管理节点扫描器此时需要分发一个爬虫任务，因此管理节点扫描器首先要筛选出能够执行爬虫任务的扫描器（扫描器B和扫描器C）。

管理节点扫描器查找出能够执行待分发任务的扫描器后，确定查找到的各扫描器的当前剩余负载，然后选择当前剩余负载大于预设的负载阈值的扫描器，或者选择按照当前剩余负载由大到小的顺序，选择前规定数目个扫描器。

需要说明的是，上述初步筛选操作为任务分发流程中的可选步骤，当任务分发流程包含上述初步筛选步骤时，管理节点扫描器在初步筛选出的各扫描器中选择执行待分发任务的扫描器，即针对初步筛选出的各扫描器分别执行步骤11中的操作，能够有效地提高任务分发效率。当任务分发流程不包含上述初步筛选步骤时，管理节点扫描器直接在所管理的各扫描器中选择执行待分发任务的扫描器，即针对所管理的各扫描器分别执行步骤11中的操作。

管理节点扫描器需要分发任务时，需要确定所管理的各扫描器的负载均衡因子，在现有技术中，负载均衡因子一般为各扫描器的当前剩余负载，而本发明实施例一中，扫描器的负载均衡因子是由扫描器执行待分发任务时的资源消耗指标以及扫描器的当前剩余负载综合确定的，资源消耗指标表征了扫描器执行任务时的资源消耗情况，确定出的负载均衡因子不仅能够反映扫描器的负载情况，还能够反映扫描器执行待分发任务时资源消耗情况。

其中，管理节点扫描器确定所管理的各扫描器执行待分发任务时的资源消耗指标和当前剩余负载的过程将在实施例三中进行详细描述。

本发明实施例一提出，管理节点扫描器可以但不限于通过下述方式确定扫描器执行待分发任务时的负载均衡因子：

Δ_i=CPI_i*load_i

其中，Δ_i为扫描器i执行所述待分发任务时的负载均衡因子；CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；load_i为扫描器i的当前剩余负载。

步骤12，根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，并将所述待分发任务分发给选择出的扫描器。

由于步骤11确定出的负载均衡因子不仅能够反映扫描器的负载情况，还能够反映扫描器执行待分发任务时资源消耗情况，因此根据步骤11确定出的负载均衡因子进行任务分发能够改善负载均衡的效果，提高扫描器的任务执行效率，节省扫描器的处理资源。

本发明实施例一提出，管理节点扫描器可以直接将所管理的各扫描器中，对应的负载均衡因子最大的扫描器确认为满足预设的分发条件的扫描器，然后将所述待分发任务分发给选择出的扫描器。

优选的，管理节点扫描器也可以通过下述方式选择满足预设的分发条件的扫描器：

管理节点扫描器首先在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子，然后计算各负载均衡因子与最大的负载均衡因子之间的差值，在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器，在查找到的各扫描器中随机选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

通过上述方式，可以避免管理节点扫描器将任务连续分发到相同的扫描器，导致该扫描器负载过重的情况，从而进一步优化了负载均衡效果。

实施例二

本发明实施例二提出，预先设置参数更新周期，管理节点扫描器所管理的各扫描器周期性的向管理节点扫描器上报系统状态相关参数、系统性能相关参数以及任务执行相关参数。管理节点扫描器存储接收到的各参数。

一、首先介绍扫描器上报的各参数。

1、系统状态相关参数包含：系统状态占用比和系统状态权重。

系统状态占用比表征了扫描器的系统硬件计算资源的使用比率，是根据中央处理器（Central Processing Unit，CPU）利用率、内存利用率、上传下载速度、操作系统平均负载确定，通常以百分比表示，扫描器i的系统状态占用比为w_i；

系统状态权重是根据扫描器的硬件型号所预设的实际硬件性能系数，体现了扫描器的硬件计算能力，通常以数字表示，扫描器i的系统状态权重值为u_i。

扫描器的系统状态占用比随着资源占用情况不断变化，而扫描器的系统状态权重保持不变。

2、系统性能相关参数包含：最大性能系数、当前系统性能使用系数、性能占用比。

最大性能系数为扫描器和该扫描器所管理的所有扫描器的性能之和，表征了系统任务执行能力，通常以数字表示，可以用最多允许执行的任务数目来作为最大性能系数，扫描器i的最大性能系数为y_i；

当前系统性能使用系数为扫描器和该扫描器所管理的所有扫描器当前正在执行的各类任务（单机任务、爬虫任务、扫描任务）的加权计算结果，表征了系统任务执行能力的当前使用情况，通常以数字表示，扫描器i的当前系统性能使用系数为s_i；

性能占用比=当前系统性能使用系数/最大性能系数，扫描器i的性能占用比为v_i，即

3、任务执行相关参数包含：当前总资源消耗值、基础平台固定资源消耗值和当前所执行的原子任务的数目。

扫描器i的当前总资源消耗值为z_i，基础平台固定资源消耗值为g_i，当前所执行的原子任务的数目为n_i。原子任务为任务的最小执行单位，每个任务都由若干个原子任务组成，同一任务类型下的各任务包含相同数目的原子任务。

扫描器的当前系统性能使用系数、性能占用比、当前总资源消耗值和当前所执行的原子任务的数目随着任务执行情况不断变化，而扫描器的最大性能系数和基础平台固定资源消耗值保持不变。

此外，管理节点扫描器还存储有各任务类型对应的系统资源消耗值、各站点对应的预估资源消耗值。

任务类型对应的系统资源消耗值是针对各任务类型预先设置的，表征了任务类型对应的任务需要消耗的系统性能的量化值，可将任务类型对应的系统资源消耗值作为各任务类型的权重来计算当前系统性能使用系数，其中，任务类型k对应的系统资源消耗值为x_k；

站点对应的预估资源消耗值是针对各站点预先设置的，表征了站点下的各任务可能消耗的资源，其中，站点j对应的预估资源消耗值为t_j。

二、下面分别介绍管理节点扫描器和节点类型为扫描节点的扫描器（为了描述方便，以下简称扫描节点扫描器）确定各参数的过程。

1、扫描节点扫描器按照下述方式确定需要上报给管理节点扫描器的各参数。

系统状态占用比=f（CPU利用率、内存利用率、上传下载速度、操作系统平均负载），f为系统状态运算函数；

系统状态权重=根据扫描器的硬件型号所预设的实际硬件性能系数；

最大性能系数=预设的该扫描器最多允许执行的任务数目；

当前系统性能使用系数=该扫描器当前正在执行的各类任务（单机任务、爬虫任务、扫描任务）的加权计算结果；

性能占用比=当前系统性能使用系数/最大性能系数；

基础平台固定资源消耗值=系统基础平台固定消耗的资源值；

当前总资源消耗值=系统当前所消耗的总的资源值；

当前所执行的原子任务的数目=当前所执行的每个任务所包含的原子任务的数目之和。

2、管理节点扫描器按照下述方式确定需要上报给上一级管理节点扫描器的各参数，其中，管理节点扫描器所管理的每个扫描器均相当于该管理节点扫描器的一个子系统。

系统状态占用比=Σ（子系统状态占用比*子系统状态权重）/系统状态权重；

系统状态权重=Σ子系统状态权重；

最大性能系数=Σ子系统最大性能系数*性能损耗因子，其中，性能损耗因子可以为80%；

当前系统性能使用系数=Σ子系统当前系统性能使用系数；

性能占用比=当前系统性能使用系数/最大性能系数；

基础平台固定资源消耗值=Σ子系统基础平台固定资源消耗值；

当前总资源消耗值=Σ子系统当前总资源消耗值；

当前所执行的原子任务的数目=Σ子系统当前所执行的原子任务的数目。

两种节点参数的具体更新情况如下：

三、下面分别介绍管理节点扫描器和扫描节点扫描器上报各参数的过程。

1、如图2所示，为管理节点扫描器向上一级管理节点扫描器上报各参数的过程示意图，包含下述步骤：

步骤21，管理节点扫描器等待参数更新周期到达；

步骤22，若到达参数更新周期，则管理节点扫描器获取自身的系统状态相关参数、系统性能相关参数以及任务执行相关参数；

步骤23，管理节点扫描器接收所管理的其他扫描器上报的系统状态相关参数、系统性能相关参数以及任务执行相关参数；

步骤24，根据步骤22获取到的自身对应的各参数以及步骤23接收到的各参数，确定需要向上一级管理节点扫描器上报的各参数；

步骤25，管理节点扫描器将确定出的各参数上报给上一级管理节点扫描器，然后转至步骤21。

2、如图3所示，为扫描节点扫描器向管理节点扫描器上报各参数的过程示意图，包含下述步骤：

步骤31，扫描节点扫描器等待参数更新周期到达；

步骤32，若到达参数更新周期，则扫描节点扫描器获取自身的系统状态相关参数、系统性能相关参数以及任务执行相关参数；

步骤33，扫描节点扫描器将获取到的各参数上报给管理节点扫描器，然后转至步骤31。

实施例三

下面分别介绍确定资源消耗指标和当前剩余负载的过程。

一、确定扫描器执行待分发任务时的资源消耗指标的过程。

本发明实施例三提出，管理节点扫描器可以但不限于通过下述两种方式确定扫描器执行待分发任务时的资源消耗指标。

1、第一种确定资源消耗指标的方式。

管理节点扫描器若需要确定所管理的某个扫描器的资源消耗指标，则首先获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值，然后根据获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

若CPI_i为扫描器i执行待分发任务时的资源消耗指标，t_j为待分发任务所属的站点j对应的预估资源消耗值，t′_ij为扫描器i执行待分发任务所属的站点j下的各任务时的当前实际资源消耗值，则管理节点扫描器可以通过下述方式确定扫描器i执行待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{t_j}{t_{\mathrm{ij}}^{\′}}$

管理节点扫描器中存储有预先针对各站点设置的预估资源消耗值，初始时，由于管理节点扫描器中并未存储上述当前实际资源消耗值，因此可以将预估资源消耗值作为上述当前实际资源消耗值进行计算。

管理节点扫描器将待分发任务下发到扫描器后，该扫描器会执行该待分发任务，并在执行完所述待分发任务后，向管理节点扫描器上报的执行所述待分发任务时的实际资源消耗值，管理节点扫描器根据接收到的实际资源消耗值，对存储的该扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新，那么后续再次计算该扫描器的资源消耗指标时，就可以使用更新后的当前实际资源消耗值进行计算。

由于在扫描器每次执行完任务后，均根据该扫描器执行该任务时的实际资源消耗值，对该扫描器执行该任务所属的站点下的各任务时的当前实际资源消耗值进行更新，因此使得后续根据更新后的当前实际资源消耗值计算出的资源消耗指标更加准确，更加逼近真实值，进一步优化了负载均衡效果。

本发明实施例三提出，管理节点扫描器按照上述方式确定出资源消耗指标后，可以直接将确定出的资源消耗指标作为扫描器执行待分发任务时的资源消耗指标。

较优的，为了排除特异性，进一步优化负载均衡效果，管理节点扫描器可以使用更新后的当前实际资源消耗值确定出一个资源消耗指标，使用更新前的当前实际资源消耗值确定出一个资源消耗指标，将两个资源消耗指标的平均值作为扫描器执行待分发任务时的资源消耗指标，具体的：

管理节点扫描器每次更新完当前实际资源消耗值后，均将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储，也就是说，管理节点扫描器存储有两个实际资源消耗值，一个是更新后的当前实际资源消耗值，一个是更新前实际资源消耗值。管理节点扫描器若需要确定所管理的某个扫描器的资源消耗指标，则根据待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值，确定出该扫描器执行待分发任务时的资源消耗指标，并根据待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值，确定出该扫描器执行待分发任务时的更新前资源消耗指标，将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行待分发任务时的资源消耗指标。

2、第二种确定资源消耗指标的方式。

管理节点扫描器若需要确定所管理的某个扫描器的资源消耗指标，则首先确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值，根据获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

若CPI_i为扫描器i执行待分发任务时的资源消耗指标，q_i为扫描器i执行每个原子任务时的预估资源消耗值，q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值，则管理节点扫描器可以通过下述方式确定扫描器i执行待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{q_i}{q_i^{\′}}$

在上述方式中，确定预估资源消耗值以及当前实际资源消耗值的过程如下：

首先获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，然后根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值，根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

若u_i为扫描器i的系统状态权重值，y_i为扫描器i的最大性能系数，则管理节点扫描器可以通过下述方式确定扫描器i执行每个原子任务时的预估资源消耗值：

$q_i=\frac{u_i}{y_i}$

若z_i为扫描器i的当前总资源消耗值，g_i为扫描器i的基础平台固定资源消耗值，n_i为扫描器i当前所执行的原子任务的数目，则管理节点扫描器可以通过下述方式确定扫描器i执行每个原子任务时的当前实际资源消耗值：

$q_i^{\′}=\frac{z_i-g_i}{n_i}$

较优的，本发明实施例三还提出，管理节点扫描器所管理的各扫描器在到达参数更新周期时，分别向管理节点扫描器上报总资源消耗值和所执行的原子任务的数目，管理节点扫描器针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

由于管理节点扫描器根据各扫描器周期性上报的信息实时更新对应的当前总资源消耗值和当前所执行的原子任务的数目，因此使得后续根据更新后的当前总资源消耗值和当前所执行的原子任务的数目计算出的资源消耗指标更加准确，更加逼近真实值，进一步优化了负载均衡效果。

本发明实施例三提出，管理节点扫描器按照上述方式确定出资源消耗指标后，可以直接将确定出的资源消耗指标作为扫描器执行待分发任务时的资源消耗指标。

较优的，为了排除特异性，进一步优化负载均衡效果，管理节点扫描器可以使用更新后的总资源消耗值和所执行的原子任务的数目确定出一个资源消耗指标，使用更新前的总资源消耗值和所执行的原子任务的数目确定出一个资源消耗指标，将两个资源消耗指标的平均值作为扫描器执行待分发任务时的资源消耗指标，具体的：

管理节点扫描器每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，均将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储，也就是说，管理节点扫描器存储有两个总资源消耗值，一个是更新后的总资源消耗值，一个是更新前总资源消耗值，管理节点扫描器存储有两个当前所执行的原子任务的数目，一个是更新后的当前所执行的原子任务的数目，一个是更新前所执行的原子任务的数目。管理节点扫描器若需要确定所管理的某个扫描器的资源消耗指标，则根据该扫描器对应的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值，根据预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行待分发任务时的更新前资源消耗指标，并根据该扫描器对应的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值，将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，根据预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行待分发任务时的资源消耗指标，将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

二、确定扫描器的当前剩余负载。

管理节点扫描器若需要确定所管理的某个扫描器的当前剩余负载，则首先获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比，然后根据获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

若load_i为扫描器i的当前剩余负载，w_i为扫描器i的当前系统状态占用比，v_i为扫描器i的当前性能占用比，则管理节点扫描器可以通过下述方式确定扫描器i的当前剩余负载：

${\mathrm{load}}_i=w_i*(\frac{1}{v_i}-1)$

较优的，本发明实施例三提出，管理节点扫描器所管理的各扫描器在到达参数更新周期时，分别向管理节点扫描器上报对应的系统状态占用比以及性能占用比，管理节点扫描器针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

由于管理节点扫描器根据各扫描器周期性上报的信息实时更新对应的当前系统状态占用比和当前性能占用比，因此使得后续根据更新后的当前系统状态占用比和当前性能占用比计算出的当前剩余负载更加准确，更加逼近真实值，进一步优化了负载均衡效果。

较优的，本发明实施例三还提出，管理节点扫描器每次将待分发任务分发给选择出的扫描器之后，均根据待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新，以及根据待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新，然后根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

在上述过程中，首先对当前系统状态占用比进行更新，然后对当前系统性能使用系数进行更新，接着对当前性能占用比进行更新。

若选择出的扫描器的当前系统性能使用系数不为0，则管理节点扫描器可以通过下述方式对选择出的扫描器i的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+\frac{x_k*w_i}{s_i}$

其中，w′_i为选择出的扫描器i更新后的当前系统状态占用比，w_i为扫描器i更新前的当前系统状态占用比，x_k为待分发任务所属的任务类型k对应的系统资源消耗值，s_i为扫描器i的当前系统性能使用系数。

若选择出的扫描器的当前系统性能使用系数为0，则管理节点扫描器可以通过下述方式对选择出的扫描器i的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+(1-w_i)\×\frac{x_k}{y_i}$

其中，y_i为扫描器i的最大性能系数。

管理节点扫描器可以通过下述方式对选择出的扫描器i的当前系统性能使用系数进行更新：

s′_i=s_i+x_k

其中，s′_i为选择出的扫描器i更新后的当前系统性能使用系数。

管理节点扫描器可以通过下述方式对选择出的扫描器i的当前性能占用比进行更新：

$v_i^{\′}=\frac{s_i^{\′}}{y_i}$

其中，v′_i为选择出的扫描器i更新后的当前性能占用比。

实施例四

与本发明实施例一提出的任务分发方法对应，本发明实施例四提出一种扫描器，其结构如图4所示，包括：

资源消耗指标确定单元41，用于在需要分发任务时，针对所管理的各扫描器，分别确定该扫描器执行待分发任务时的资源消耗指标，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；

当前剩余负载确定单元42，用于针对所管理的各扫描器，分别确定该扫描器的当前剩余负载；

负载均衡因子确定单元43，用于针对所管理的各扫描器，分别根据资源消耗指标确定单元41确定出的所述资源消耗指标和当前剩余负载确定单元42确定出的当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

扫描器选择单元44，用于根据负载均衡因子确定单元43确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器；

任务分发单元45，用于将所述待分发任务分发给扫描器选择单元44选择出的扫描器。

优选的，所述资源消耗指标确定单元具体包括：

第一资源消耗值获得子单元，用于获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

第一资源消耗指标确定子单元，用于根据第一资源消耗值获得子单元获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，第一资源消耗指标确定子单元通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{t_j}{t_{\mathrm{ij}}^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；t_j为待分发任务所属的站点j对应的预估资源消耗值；t′_ij为扫描器i执行待分发任务所属的站点j下的各任务时的当前实际资源消耗值。

优选的，所述扫描器还包括：

第一参数接收单元，用于接收扫描器选择单元选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

第一参数更新单元，用于根据第一参数接收单元接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

优选的，所述第一参数更新单元，还用于每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

所述资源消耗指标确定单元还包括：

第二资源消耗值获得子单元，用于获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

第二资源消耗指标确定子单元，用于根据第二资源消耗值获得子单元获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第三资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，所述资源消耗指标确定单元具体包括：

第一资源消耗值确定子单元，用于确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第一资源消耗值确定子单元确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，第四资源消耗指标确定子单元通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{q_i}{q_i^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；q_i为扫描器i执行每个原子任务时的预估资源消耗值；q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值。

优选的，所述资源消耗值确定子单元，具体用于获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目；根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值；根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

优选的，所述资源消耗值确定子单元通过下述方式确定扫描器执行每个原子任务时的预估资源消耗值：

$q_i=\frac{u_i}{y_i}$

其中，q_i为扫描器i执行每个原子任务时的预估资源消耗值；u_i为扫描器i的系统状态权重值；y_i为扫描器i的最大性能系数；

所述资源消耗值确定子单元通过下述方式确定扫描器执行每个原子任务时的当前实际资源消耗值：

$q_i^{\′}=\frac{z_i-g_i}{n_i}$

其中，q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值；z_i为扫描器i的当前总资源消耗值；g_i为扫描器i的基础平台固定资源消耗值；n_i为扫描器i当前所执行的原子任务的数目。

优选的，所述扫描器还包括：

第二参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的总资源消耗值和所执行的原子任务的数目；

第二参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

优选的，所述第二参数更新单元，还用于每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储；

所述资源消耗指标确定单元还包括：

第三资源消耗值获得子单元，用于获得预先存储的、该扫描器更新前总资源消耗值和更新前所执行的原子任务的数目；

第二资源消耗值确定子单元，用于根据第三资源消耗值获得子单元获得的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第二资源消耗值确定子单元确定出的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第四资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，所述当前剩余负载确定单元具体包括：

状态参数获得子单元，用于获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比；

剩余负载确定子单元，用于根据状态参数获得子单元获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

优选的，剩余负载确定子单元通过下述方式确定扫描器的当前剩余负载：

${\mathrm{load}}_i=w_i*(\frac{1}{v_i}-1)$

其中，load_i为扫描器i的当前剩余负载；w_i为扫描器i的当前系统状态占用比；v_i为扫描器i的当前性能占用比。

优选的，所述扫描器还包括：

第三参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的系统状态占用比以及性能占用比；

第三参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

优选的，所述扫描器还包括：

第四参数更新单元，用于在将所述待分发任务分发给选择出的扫描器之后，根据所述待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新；

第五参数更新单元，用于根据所述待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新；

第六参数更新单元，用于根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

优选的，若选择出的扫描器的当前系统性能使用系数不为0，则第四参数更新单元通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+\frac{x_k*w_i}{s_i}$

其中，w′_i为选择出的扫描器i更新后的当前系统状态占用比；w_i为扫描器i更新前的当前系统状态占用比；x_k为所述待分发任务所属的任务类型k对应的系统资源消耗值；s_i为扫描器i的当前系统性能使用系数；

若选择出的扫描器的当前系统性能使用系数为0，则第四参数更新单元通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+(1-w_i)\×\frac{x_k}{y_i}$

其中，y_i为扫描器i的最大性能系数；

第五参数更新单元通过下述方式对选择出的扫描器的当前系统性能使用系数进行更新：

s′_i=s_i+x_k

其中，s′_i为选择出的扫描器i更新后的当前系统性能使用系数；

第六参数更新单元通过下述方式对选择出的扫描器的当前性能占用比进行更新：

$v_i^{\′}=\frac{s_i^{\′}}{y_i}$

其中，v′_i为选择出的扫描器i更新后的当前性能占用比。

优选的，负载均衡因子确定单元通过下述方式确定扫描器执行所述待分发任务时的负载均衡因子：

Δ_i=CPI_i*load_i

其中，Δ_i为扫描器i执行所述待分发任务时的负载均衡因子；CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；load_i为扫描器i的当前剩余负载。

优选的，所述扫描器选择单元，具体用于在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子；在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器；在查找到的各扫描器中选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种任务分发方法，其特征在于，包括：

节点类型为管理节点的扫描器需要分发任务时，针对所管理的各扫描器，分别执行下述操作：确定该扫描器执行待分发任务时的资源消耗指标以及该扫描器的当前剩余负载，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；根据所述资源消耗指标和当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，并将所述待分发任务分发给选择出的扫描器。

2.如权利要求1所述的方法，其特征在于，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

根据获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

3.如权利要求2所述的方法，其特征在于，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{t_j}{t_{\mathrm{ij}}^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；t_j为待分发任务所属的站点j对应的预估资源消耗值；t′_ij为扫描器i执行待分发任务所属的站点j下的各任务时的当前实际资源消耗值。

4.如权利要求2所述的方法，其特征在于，还包括：

接收选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

根据接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

5.如权利要求4所述的方法，其特征在于，还包括：

每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

确定该扫描器执行待分发任务时的资源消耗指标，还包括：

获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

根据获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

6.如权利要求1所述的方法，其特征在于，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

根据确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

7.如权利要求6所述的方法，其特征在于，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

${\mathrm{CPI}}_i=\frac{q_i}{q_i^{\′}}$

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；q_i为扫描器i执行每个原子任务时的预估资源消耗值；q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值。

8.如权利要求6所述的方法，其特征在于，确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值，具体包括：

获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目；

根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值；

根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

9.如权利要求8所述的方法，其特征在于，通过下述方式确定扫描器执行每个原子任务时的预估资源消耗值：

$q_i=\frac{u_i}{y_i}$

其中，q_i为扫描器i执行每个原子任务时的预估资源消耗值；u_i为扫描器i的系统状态权重值；y_i为扫描器i的最大性能系数；

通过下述方式确定扫描器执行每个原子任务时的当前实际资源消耗值：

$q_i^{\′}=\frac{z_i-g_i}{n_i}$

其中，q′_i为扫描器i执行每个原子任务时的当前实际资源消耗值；z_i为扫描器i的当前总资源消耗值；g_i为扫描器i的基础平台固定资源消耗值；n_i为扫描器i当前所执行的原子任务的数目。

10.如权利要求8所述的方法，其特征在于，还包括：

接收所管理的各扫描器按照预设的参数更新周期分别上报的总资源消耗值和所执行的原子任务的数目；

针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

11.如权利要求10所述的方法，其特征在于，还包括：

每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储；

确定该扫描器执行待分发任务时的资源消耗指标，还包括：

获得预先存储的、该扫描器更新前总资源消耗值和更新前所执行的原子任务的数目；

根据获得的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值；

根据确定出的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

12.如权利要求1所述的方法，其特征在于，确定该扫描器的当前剩余负载，具体包括：

获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比；

根据获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

13.如权利要求12所述的方法，其特征在于，通过下述方式确定扫描器的当前剩余负载：

${\mathrm{load}}_i=w_i*(\frac{1}{v_i}-1)$

其中，load_i为扫描器i的当前剩余负载；w_i为扫描器i的当前系统状态占用比；v_i为扫描器i的当前性能占用比。

14.如权利要求12所述的方法，其特征在于，还包括：

接收所管理的各扫描器按照预设的参数更新周期分别上报的系统状态占用比以及性能占用比；

针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

15.如权利要求12所述的方法，其特征在于，还包括：

在将所述待分发任务分发给选择出的扫描器之后，根据所述待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新；

根据所述待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新；

根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

16.如权利要求15所述的方法，其特征在于，若选择出的扫描器的当前系统性能使用系数不为0，则通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+\frac{x_k*w_i}{s_i}$

其中，w′_i为选择出的扫描器i更新后的当前系统状态占用比；w_i为扫描器i更新前的当前系统状态占用比；x_k为所述待分发任务所属的任务类型k对应的系统资源消耗值；s_i为扫描器i的当前系统性能使用系数；

若选择出的扫描器的当前系统性能使用系数为0，则通过下述方式对选择出的扫描器的当前系统状态占用比进行更新：

$w_i^{\′}=w_i+(1-w_i)\×\frac{x_k}{y_i}$

其中，y_i为扫描器i的最大性能系数；

通过下述方式对选择出的扫描器的当前系统性能使用系数进行更新：

s′_i=s_i+x_k

其中，s′_i为选择出的扫描器i更新后的当前系统性能使用系数；

通过下述方式对选择出的扫描器的当前性能占用比进行更新：

$v_i^{\′}=\frac{s_i^{\′}}{y_i}$

其中，v′_i为选择出的扫描器i更新后的当前性能占用比。

17.如权利要求1所述的方法，其特征在于，通过下述方式确定扫描器执行所述待分发任务时的负载均衡因子：

Δ_i=CPI_i*load_i

其中，Δ_i为扫描器i执行所述待分发任务时的负载均衡因子；CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；load_i为扫描器i的当前剩余负载。

18.如权利要求1所述的方法，其特征在于，根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，具体包括：

在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子；

在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器；

在查找到的各扫描器中选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

19.一种扫描器，其特征在于，包括：

资源消耗指标确定单元，用于在需要分发任务时，针对所管理的各扫描器，分别确定该扫描器执行待分发任务时的资源消耗指标，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；

当前剩余负载确定单元，用于针对所管理的各扫描器，分别确定该扫描器的当前剩余负载；

负载均衡因子确定单元，用于针对所管理的各扫描器，分别根据资源消耗指标确定单元确定出的所述资源消耗指标和当前剩余负载确定单元确定出的当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

扫描器选择单元，用于根据负载均衡因子确定单元确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器；

任务分发单元，用于将所述待分发任务分发给扫描器选择单元选择出的扫描器。

20.如权利要求19所述的扫描器，其特征在于，所述资源消耗指标确定单元具体包括：

第一资源消耗值获得子单元，用于获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

第一资源消耗指标确定子单元，用于根据第一资源消耗值获得子单元获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

21.如权利要求20所述的扫描器，其特征在于，还包括：

第一参数接收单元，用于接收扫描器选择单元选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

第一参数更新单元，用于根据第一参数接收单元接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

22.如权利要求21所述的扫描器，其特征在于，所述第一参数更新单元，还用于每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

所述资源消耗指标确定单元还包括：

第二资源消耗值获得子单元，用于获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

第二资源消耗指标确定子单元，用于根据第二资源消耗值获得子单元获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第三资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

23.如权利要求19所述的扫描器，其特征在于，所述资源消耗指标确定单元具体包括：

第一资源消耗值确定子单元，用于确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第一资源消耗值确定子单元确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

24.如权利要求23所述的扫描器，其特征在于，所述资源消耗值确定子单元，具体用于获得预先存储的该扫描器的系统状态权重值、最大性能系数、当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目；根据获得的所述系统状态权重值和最大性能系数，确定该扫描器执行每个原子任务时的预估资源消耗值；根据获得的当前总资源消耗值、基础平台固定资源消耗值以及当前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的当前实际资源消耗值。

25.如权利要求24所述的扫描器，其特征在于，还包括：

第二参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的总资源消耗值和所执行的原子任务的数目；

第二参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的总资源消耗值，对存储的该扫描器的当前总资源消耗值进行更新，以及根据该扫描器上报的所执行的原子任务的数目，对存储的该扫描器当前所执行的原子任务的数目进行更新。

26.如权利要求25所述的扫描器，其特征在于，所述第二参数更新单元，还用于每次更新完当前总资源消耗值和当前所执行的原子任务的数目后，将更新前的当前总资源消耗值作为更新前总资源消耗值进行存储，将更新前的当前所执行的原子任务的数目作为更新前所执行的原子任务的数目进行存储；

所述资源消耗指标确定单元还包括：

第三资源消耗值获得子单元，用于获得预先存储的、该扫描器更新前总资源消耗值和更新前所执行的原子任务的数目；

第二资源消耗值确定子单元，用于根据第三资源消耗值获得子单元获得的更新前总资源消耗值、基础平台固定资源消耗值以及更新前所执行的原子任务的数目，确定该扫描器执行每个原子任务时的更新前实际资源消耗值；

第四资源消耗指标确定子单元，用于根据第二资源消耗值确定子单元确定出的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

第四资源消耗指标确定子单元，用于将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

27.如权利要求19所述的扫描器，其特征在于，所述当前剩余负载确定单元具体包括：

状态参数获得子单元，用于获得预先存储的、该扫描器的当前系统状态占用比以及当前性能占用比；

剩余负载确定子单元，用于根据状态参数获得子单元获得的当前系统状态占用比以及当前性能占用比，确定该扫描器的当前剩余负载。

28.如权利要求27所述的扫描器，其特征在于，还包括：

第三参数接收单元，用于接收所管理的各扫描器按照预设的参数更新周期分别上报的系统状态占用比以及性能占用比；

第三参数更新单元，用于针对所管理的各扫描器，分别根据该扫描器上报的系统状态占用比，对存储的该扫描器的当前系统状态占用比进行更新，以及根据该扫描器上报的性能占用比，对存储的该扫描器的当前性能占用比进行更新。

29.如权利要求27所述的扫描器，其特征在于，还包括：

第四参数更新单元，用于在将所述待分发任务分发给选择出的扫描器之后，根据所述待分发任务所属的任务类型对应的系统资源消耗值以及选择出的扫描器的当前系统性能使用系数，对存储的、选择出的扫描器的当前系统状态占用比进行更新；

第五参数更新单元，用于根据所述待分发任务所属的任务类型对应的系统资源消耗值，对选择出的扫描器的当前系统性能使用系数进行更新；

第六参数更新单元，用于根据更新后的当前系统性能使用系数，对存储的、选择出的扫描器的当前性能占用比进行更新。

30.如权利要求19所述的扫描器，其特征在于，所述扫描器选择单元，具体用于在所管理的各扫描器分别对应的负载均衡因子中，选择出最大的负载均衡因子；在所管理的各扫描器中，查找对应的负载均衡因子与选择出的最大的负载均衡因子之间的差值不大于预设阈值的各扫描器；在查找到的各扫描器中选择一个扫描器，并将选择出的扫描器确认为满足预设的分发条件的扫描器。

Images