CN106534284A - 一种分布式系统中资源负载均衡方法及装置 - Google Patents

Abstract

本发明提供一种分布式系统中资源负载均衡方法及装置，属于计算机网络技术领域，其中，所述分布式系统中包括预设数量的服务器，所述方法包括：获取待处理的任务，所述任务由预设算法进行处理；确定所述预设算法在处理所述任务时所需占用的算法资源量；根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。本发明提供的一种分布式系统中资源负载均衡方法或装置，能够提高负载均衡的准确性。

Description

一种分布式系统中资源负载均衡方法及装置

技术领域

本发明涉及计算机网络技术领域，具体涉及一种分布式系统中资源负载均衡方法及装置。

背景技术

负载均衡技术是集群系统中的关键部分，影响着集群系统的性能。对负载均衡技术的研究随着集群系统的发展而不断发展并趋于完善。在网络服务中，一端是服务程序，另一端是客户程序，中间可能有代理程序。参照OSI(Open System Interconnection，开放式系统互联)模型，可以在不同的层次上实现多台服务器的负载均衡调度。在负载均衡技术的研究发展过程中，可以将其大致分为以下几类：

(1)基于RR-DNS(Round-Robin Domain Name System，轮转域名系统)的解决方法

(2)基于客户端的解决方法

(3)应用服务器的负载均衡技术

(4)网络地址转化负载均衡方法

(5)基于高层协议内容交换的负载均衡方法

以上五种负载均衡技术在各种集群系统中都有不同程度的应用，静态负载均衡策略不必考虑各节点服务器上的实际负载情况，只要根据预先设定好的方案来分配任务，这种算法的优点体现在其开销小和简单性上，但由于每个任务所占用的服务器资源不尽相同且难以预测，因此无法精确地实现负载均衡。动态负载均衡策略考虑各节点服务器的实时负载和响应情况，将新进来的请求优先分配到某一评价值最高服务器上，以此来提高整个系统的吞吐率和降低响应时间，其效果相对优于静态负载均衡策略。但动态负载均衡策略也存在自身的缺陷：收集各个服务器的实际负载会导致额外的开销，因而对服务器负载信息的收集只能间歇地进行，同样无法保证负载均衡的准确性。比如，在负载最小优先策略中，是将负载量作为评价值，则负载量越低评价值越高，新进的请求就会优先分配到负载量最低的那台服务器上。然而由于负载表在一个更新周期内并没有发生变化，下一个请求到来时，依旧将该请求优先分配到之前分配的一台服务器上，实际上这台服务器很可能已不是负载量最低的服务器了，却始终保持着最高的分配优先权，结果使得此台服务器在一个周期内接受了大量请求，从而无法实现资源负载均衡。由上可见，现有技术中的负载均衡方法，无法保证负载均衡的准确性。

发明内容

传统的负载均衡方法，往往是通过预先设置好的策略静态地实现负载均衡的过程，或者是按照固定的更新周期，动态地进行负载均衡的过程，然后无论哪种方式，均存在负载均衡不准确的问题。

有鉴于此，本发明实施例提供一种分布式系统中资源负载均衡方法或装置，能够提高负载均衡的准确性。

为实现上述目的，本发明实施例一方面提供一种分布式系统中资源负载均衡方法，所述分布式系统中包括预设数量的服务器，所述方法包括：获取待处理的任务，所述任务由预设算法进行处理；确定所述预设算法在处理所述任务时所需占用的算法资源量；根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

进一步地，确定所述预设算法在处理所述任务时所需占用的算法资源量的步骤具体包括：获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例；确定所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量；根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量；将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。

进一步地，按照下述公式确定所述预设算法处理单位数据所占用的资源量：

其中，n表示所述预设算法处理单位数据所占用的资源量，p_i表示所述预设算法在处理第i个任务用例时对应的资源占用总量，c_i表示所述预设算法在处理第i个任务用例时对应的处理数据总量，k表示所述任务用例样本集中任务用例的个数。

进一步地，按照下述公式确定各个所述服务器对应的当前资源占用率：

σ_i＝(L_i+n)/m_i

其中，σ_i表示第i个服务器对应的当前资源占用率，L_i表示所述第i个服务器已使用的资源量，n表示所述预设算法在所述第i个服务器中处理所述任务对应的算法资源量，m_i表示所述第i个服务器对应的资源总量。

进一步地，确定用于处理所述任务的目标服务器的步骤具体包括：根据各个所述服务器对应的当前资源占用率，筛选出当前资源占用率小于预设占用率阈值的至少一个服务器；将所述至少一个服务器中当前资源占用率最小的服务器确定为所述目标服务器。

进一步地，所述方法还包括：当所述分布式系统中各个服务器处理各自的任务达到预设时长时，统计所述分布式系统对应的平均资源占用量；基于各个服务器的当前资源占用量以及所述平均资源占用量，确定所述分布式系统对应的资源占用平均方差；基于各个服务器的当前资源占用量以及预设占用量阈值，确定所述分布式系统对应的最高资源占用平均方差。

进一步地，按照下述公式确定所述分布式系统对应的资源占用平均方差：

其中，Fn表示所述资源占用平均方差，L_i表示第i个服务器的当前资源占用量，m_ave表示所述平均资源占用量，k表示所述分布式系统中服务器的个数。

进一步地，按照下述公式确定所述分布式系统对应的最高资源占用平均方差：

其中，An表示所述最高资源占用平均方差，L_i表示第i个服务器的当前资源占用量，A表示所述预设占用量阈值，k表示所述分布式系统中服务器的个数。

为实现上述目的，本发明另一方面还提供一种分布式系统中资源负载均衡装置，所述分布式系统中包括预设数量的服务器，所述装置包括：任务获取单元，用于获取待处理的任务，所述任务由预设算法进行处理；算法资源量确定单元，用于确定所述预设算法在处理所述任务时所需占用的算法资源量；当前资源占用率确定单元，用于根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；目标服务器确定单元，用于根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

进一步地，所述算法资源量确定单元具体包括：样本集获取模块，用于获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例；用例参数确定模块，用于确定所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量；单位数据资源量确定模块，用于根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量；算法资源量确定模块，用于将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。

采用上述技术方案，本发明至少可取得下述技术效果：

在为服务器分配待处理的任务时，本发明会优先确定预设算法在处理该任务时所需占用的算法资源量，然后计算在分配任务之后各个服务器对应的当前资源占用率，从而可以根据当前资源占用率来确定分配该任务的目标服务器。进一步地，通过分析分布式系统对应的资源占用平均方差和最高资源占用平均方差，能够判断当前的分布式系统是否能够准确地实现资源负载均衡，从而能够对当前的分布式系统中的负载均衡策略进行实时调整，进而提高了负载均衡的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本实施例所述的分布式系统中资源负载均衡方法的流程图；

图2是本实施例所述的分布式系统中资源负载均衡装置的功能模块图。

贯穿附图，应该注意的是，相似的标号用于描绘相同或相似的元件、特征和结构。

具体实施方式

提供以下参照附图的描述来帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括帮助理解的各种具体细节，但是这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。

以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制由所附权利要求及其等同物限定的本公开的目的。

应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。

请参阅图1，本申请实施方式提供一种分布式系统中资源负载均衡方法。所述分布式系统中包括预设数量的服务器，所述预设数量的服务器用于处理分布式系统中的各项任务。需要说明的是，虽然下文描述的流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。所述方法包括以下步骤。

步骤S1：获取待处理的任务，所述任务由预设算法进行处理。

在本实施方式中，需要由分布式系统处理的任务可以预先分配至负载均衡装置中。所述负载均衡装置与所述分布式系统中的各个服务器保持通信连接，能够从各个服务器处收集服务器的各项信息。在本实施方式中，所述待处理的任务可以是由预设算法进行处理的。所述预设算法可以是所述任务在建立时预先指定的，针对不同的任务，可以采用不同的算法进行处理。例如，所述预设算法可以是贪心算法、分治算法、迭代算法等众多算法中的至少一种。

步骤S2：确定所述预设算法在处理所述任务时所需占用的算法资源量。

在本实施方式中，所述预设算法在服务器中处理所述任务时，通常需要占用一定量的算法资源量。为了能够更加准确地进行负载均衡，在本实施方式中可以预先确定所述预设算法处理所述任务时所需占用的算法资源量。

在实际处理过程中，由于所述预设算法在处理不同的任务用例时，占用的算法资源量可能会发生改变。因此，可以通过所述预设算法在处理不同任务用例时占用的资源量以及处理的数据量，来确定所述预设算法处理单位数据所占用的资源量。

在本申请一个实施方式中，在确定所述预设算法在处理所述任务时所需占用的算法资源量时，首先可以获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例。在本实施方式中，所述任务用例样本集中的任务用例可以是所述预设算法之前处理过的。并且所述预设算法在处理各个任务用例时，可以记录各个任务用例分别对应的资源占用总量以及处理数据总量。

在本实施方式中，在确定了所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量之后，便可以根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量。具体地，在本实施方式中可以按照下述公式确定所述预设算法处理单位数据所占用的资源量：

其中，n表示所述预设算法处理单位数据所占用的资源量，p_i表示所述预设算法在处理第i个任务用例时对应的资源占用总量，c_i表示所述预设算法在处理第i个任务用例时对应的处理数据总量，k表示所述任务用例样本集中任务用例的个数。这样，便可以将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。

在本实施方式中，对于各个不同的算法，均可以采用上述方式确定各个算法对应的算法资源量。这样，通过对比各个算法对应的算法资源量的大小，从而可以分析出算法异常的任务，从而能够对算法进行改进，以更好地适应不同的任务。

步骤S3：根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率。

在本实施方式中，在所述分布式系统中的每台服务器初始化时，可以获取每台服务器对应的资源总量。所述资源总量可以包括服务器的CPU资源总量，内存资源总量以及网络资源总量。对于每台服务器而言，这些资源总量通常都是固定值。

在本实施方式中，所述服务器已使用的资源量可以包括服务器中操作系统占用的资源量以及算法在服务器中处理任务时所占用的资源量等。所述操作系统占用的资源量可以在服务器上没有处理任何任务时获取。并且为了数据的准确性，可以通过长期获取操作系统占用的资源量，并将获取的各个资源量取平均值，从而可以得到相对准确的操作系统占用的资源量。

在本实施方式中，各个服务器当前已使用的资源量可以通过理论和实际两种方式来确定。理论的已使用的资源量可以根据服务器对应的操作系统占用的资源量以及该服务器当前处理的任务所占用的资源量之和来确定。例如，服务器中操作系统占用的资源量为S，服务器中当前共处理3个任务，这3个任务分别占用的资源量为R1，R2，R3，那么理论的已使用的资源量可以为S+R1+R2+R3。

在本实施方式中，实际的已使用的资源量可以通过直接从服务器中读取。具体地，可以通过服务器中的API(Application Programming Interface，应用编程接口)来读取服务器中当前已使用的资源量。

在本实施方式中，在获取了各个服务器当前已使用的资源量后，可以按照下述公式确定各个服务器对应的当前资源占用率：

σ_i＝(L_i+n)/m_i

其中，σ_i表示第i个服务器对应的当前资源占用率，L_i表示所述第i个服务器已使用的资源量，n表示所述预设算法在所述第i个服务器中处理所述任务对应的算法资源量，m_i表示所述第i个服务器对应的资源总量。

步骤S4：根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

在本实施方式中，在分配任务之前，可以预先设定分布式系统的性能目标。具体地，所述性能目标可以包括两方面：一方面，分布式系统中每台服务器的资源占用率尽可能大，但是每台服务器的资源占用率不能超过预设占用率阈值；另一方面，分布式系统中每台服务器的资源占用率要相对平均，不能出现资源占用率过高或者过低的情况。

鉴于此，在本实施方式中，在分配待处理的任务时，可以根据步骤S3中计算的当前资源占用率，来确定最终处理所述任务的目标服务器。在本实施方式中，所述当前资源占用率可以是指各个服务器在被分配了所述待处理的任务之后对应的资源占用率。那么为了保证每台服务器的资源占用率不能超过预设占用率阈值，首先可以根据各个所述服务器对应的当前资源占用率，筛选出当前资源占用率小于预设占用率阈值的至少一个服务器。在筛选出的所述至少一个服务器中，同时还需要满足每台服务器的资源占用率要相对平均的条件，因此，可以将所述至少一个服务器中当前资源占用率最小的服务器确定为所述目标服务器。这样，可以充分利用资源占用率较小的服务器的资源，保证负载均衡的准确性。

在本实施方式中，针对不同的待处理的任务，均可以执行上述步骤S1至S4中的方法，从而实现负载均衡的过程。为了保证本申请技术方案的完备性，可以在所述分布式系统中各个服务器处理各自的任务达到预设时长时，验证整个分布式系统中负载的均衡性。具体地，在本实施方式中可以通过资源占用平均方差和最高资源占用平均方差来衡量整个分布式系统中负载的均衡性。

在本实施方式中，当所述分布式系统中各个服务器处理各自的任务达到预设时长时，可以统计所述分布式系统对应的平均资源占用量。具体地，所述平均资源占用量m_ave＝可以按照下述公式确定：

其中，L_i表示第i个服务器的当前资源占用量，k表示所述分布式系统中服务器的个数。

进一步地，可以基于各个服务器的当前资源占用量以及所述平均资源占用量，确定所述分布式系统对应的资源占用平均方差。具体地，可以按照下述公式确定所述分布式系统对应的资源占用平均方差：

其中，Fn表示所述资源占用平均方差，L_i表示第i个服务器的当前资源占用量，m_ave表示所述平均资源占用量，k表示所述分布式系统中服务器的个数。

进一步地，可以基于各个服务器的当前资源占用量以及预设占用量阈值，确定所述分布式系统对应的最高资源占用平均方差。具体地，可以按照下述公式确定所述分布式系统对应的最高资源占用平均方差：

其中，An表示所述最高资源占用平均方差，L_i表示第i个服务器的当前资源占用量，A表示所述预设占用量阈值，k表示所述分布式系统中服务器的个数。

在本实施方式中，Fn和An越小，则表明分布式系统中负载的均衡性越好。如果Fn和An超过了预设阈值，便可以对分布式系统中的负载均衡策略进行调整，以使得分布式系统中的负载均衡性更好。

请参阅图2，本申请实施方式提供一种分布式系统中资源负载均衡装置，所述分布式系统中包括预设数量的服务器，所述装置包括：

任务获取单元100，用于获取待处理的任务，所述任务由预设算法进行处理；

算法资源量确定单元200，用于确定所述预设算法在处理所述任务时所需占用的算法资源量；

当前资源占用率确定单元300，用于根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；

目标服务器确定单元400，用于根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

在本申请一个实施方式中，所述算法资源量确定单元200具体包括：

样本集获取模块，用于获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例；

用例参数确定模块，用于确定所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量；

单位数据资源量确定模块，用于根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量；

算法资源量确定模块，用于将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。

需要说明的是，上述各个功能模块的具体实现方式与步骤S1至S4中的描述一致，这里便不再赘述。

采用上述技术方案，本发明至少可取得下述技术效果：

在为服务器分配待处理的任务时，本发明会优先确定预设算法在处理该任务时所需占用的算法资源量，然后计算在分配任务之后各个服务器对应的当前资源占用率，从而可以根据当前资源占用率来确定分配该任务的目标服务器。进一步地，通过分析分布式系统对应的资源占用平均方差和最高资源占用平均方差，能够判断当前的分布式系统是否能够准确地实现资源负载均衡，从而能够对当前的分布式系统中的负载均衡策略进行实时调整，进而提高了负载均衡的准确性。

应该注意的是，如上所述的本公开的各种实施例通常在一定程度上涉及输入数据的处理和输出数据的生成。此输入数据处理和输出数据生成可在硬件或者与硬件结合的软件中实现。例如，可在移动装置或者相似或相关的电路中采用特定电子组件以用于实现与如上所述本公开的各种实施例关联的功能。另选地，依据所存储的指令来操作的一个或更多个处理器可实现与如上所述本公开的各种实施例关联的功能。如果是这样，则这些指令可被存储在一个或更多个非暂时性处理器可读介质上，这是在本公开的范围内。处理器可读介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。另外，用于实现本公开的功能计算机程序、指令和指令段可由本公开所属领域的程序员容易地解释。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，对于装置实施方式而言，由于其基本相似于方法实施方式，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。

尽管已参照本公开的各种实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (10)

1.一种分布式系统中资源负载均衡方法，所述分布式系统中包括预设数量的服务器，其特征在于，所述方法包括：

获取待处理的任务，所述任务由预设算法进行处理；

确定所述预设算法在处理所述任务时所需占用的算法资源量；

根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；

根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

2.根据权利要求1所述的分布式系统中资源负载均衡方法，其特征在于，确定所述预设算法在处理所述任务时所需占用的算法资源量的步骤具体包括：

获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例；

确定所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量；

根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量；

将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。

3.根据权利要求2所述的分布式系统中资源负载均衡方法，其特征在于，按照下述公式确定所述预设算法处理单位数据所占用的资源量：

其中，n表示所述预设算法处理单位数据所占用的资源量，p_i表示所述预设算法在处理第i个任务用例时对应的资源占用总量，c_i表示所述预设算法在处理第i个任务用例时对应的处理数据总量，k表示所述任务用例样本集中任务用例的个数。

4.根据权利要求1所述的分布式系统中资源负载均衡方法，其特征在于，按照下述公式确定各个所述服务器对应的当前资源占用率：

σ_i＝(L_i+n)/m_i

其中，σ_i表示第i个服务器对应的当前资源占用率，L_i表示所述第i个服务器已使用的资源量，n表示所述预设算法在所述第i个服务器中处理所述任务对应的算法资源量，m_i表示所述第i个服务器对应的资源总量。

5.根据权利要求1或4所述的分布式系统中资源负载均衡方法，其特征在于，确定用于处理所述任务的目标服务器的步骤具体包括：

根据各个所述服务器对应的当前资源占用率，筛选出当前资源占用率小于预设占用率阈值的至少一个服务器；

将所述至少一个服务器中当前资源占用率最小的服务器确定为所述目标服务器。

6.根据权利要求1所述的分布式系统中资源负载均衡方法，其特征在于，所述方法还包括：

当所述分布式系统中各个服务器处理各自的任务达到预设时长时，统计所述分布式系统对应的平均资源占用量；

基于各个服务器的当前资源占用量以及所述平均资源占用量，确定所述分布式系统对应的资源占用平均方差；

基于各个服务器的当前资源占用量以及预设占用量阈值，确定所述分布式系统对应的最高资源占用平均方差。

7.根据权利要求6所述的分布式系统中资源负载均衡方法，其特征在于，按照下述公式确定所述分布式系统对应的资源占用平均方差：

其中，Fn表示所述资源占用平均方差，L_i表示第i个服务器的当前资源占用量，m_ave表示所述平均资源占用量，k表示所述分布式系统中服务器的个数。

8.根据权利要求6所述的分布式系统中资源负载均衡方法，其特征在于，按照下述公式确定所述分布式系统对应的最高资源占用平均方差：

其中，An表示所述最高资源占用平均方差，L_i表示第i个服务器的当前资源占用量，A表示所述预设占用量阈值，k表示所述分布式系统中服务器的个数。

9.一种分布式系统中资源负载均衡装置，所述分布式系统中包括预设数量的服务器，其特征在于，所述装置包括：

任务获取单元，用于获取待处理的任务，所述任务由预设算法进行处理；

算法资源量确定单元，用于确定所述预设算法在处理所述任务时所需占用的算法资源量；

当前资源占用率确定单元，用于根据各个所述服务器已使用的资源量以及所述算法资源量，确定各个所述服务器对应的当前资源占用率；

目标服务器确定单元，用于根据各个所述服务器对应的当前资源占用率，确定用于处理所述任务的目标服务器，并将所述任务分配至所述目标服务器处。

10.根据权利要求9所述的分布式系统中资源负载均衡装置，其特征在于，所述算法资源量确定单元具体包括：

样本集获取模块，用于获取所述任务的任务用例样本集，所述任务用例样本集中包括至少一个任务用例；

用例参数确定模块，用于确定所述预设算法在处理各个任务用例时分别对应的资源占用总量以及处理数据总量；

单位数据资源量确定模块，用于根据所述资源占用总量、所述处理数据总量以及所述任务用例样本集中任务用例的个数，确定所述预设算法处理单位数据所占用的资源量；

算法资源量确定模块，用于将所述预设算法处理单位数据所占用的资源量确定为所述算法资源量。