CN114070855B - 资源分配方法、资源分配装置、资源分配系统、存储介质 - Google Patents

Abstract

本发明提供一种资源分配方法、资源分配装置、资源分配系统以及存储介质。所述资源分配方法混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源,所述资源分配方法具有如下步骤:请求接收步骤,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；评估步骤,根据在所述请求接收步骤中接收到的所述混合部署请求,评估出预分配资源阈值；分配步骤,根据在所述评估步骤中评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配。

Description

资源分配方法、资源分配装置、资源分配系统、存储介质

技术领域

本公开涉及一种资源分配方法、资源分配装置、资源分配系统以及存储介质,更具体地，本公开涉及在云计算领域用于将大数据离线批处理(离线作业)与网络功能虚拟化(Network Functions Virtualization，以后简称为NFV)在线服务(在线作业)混合部署的资源分配方法。

背景技术

根据盖特纳和麦肯锡的调研数据，全球的服务器利用率并不高，只有6％到12％。即使通过虚拟化技术优化，服务器的利用率也还是只有7％－17％。互联网企业所要处理的数据十分庞大，针对这些数据的处理既包含在线数据服务，也包含离线大数据处理作业。因此互联网企业普遍在生产中构建在线服务与离线大数据处理作业混合部署的资源池。在庞大的数据中心服务器规模下，假设10万台服务器利用率从28％提升到40％就能节省出3万台机器，以一台机器成本为2万元计算节约的成本有6个亿。当然现实中远远不止于此。可见，如何有效利用在线服务与离线大数据处理作业混合部署的资源池是非常重要的课题。

发明内容

在现有技术中，存在互联网业务的离线批处理与在线服务的混合部署方法，以用于提高资源池利用率。具体而言，是根据针对特定业务的资源申请请求中包含的资源信息，从混合资源池选择资源，将选择的资源分配给特定业务。在资源调度方法上，采用了基于容器技术的在线与离线资源动态实时抢占方式。通过这种容器化加动态资源抢占可以最大程度提高资源利用率。具体示意图可参见附图1。

但是，现有的离线批处理与在线服务的混合部署方法中并没有考虑运营商的业务场景，也没有考虑是否会对大数据业务造成影响。另外，也没有考虑主机侧因容器技术资源隔离不够成熟而在资源抢占时出问题的情况。

另外，随着5G建设的推进，其对NFV云资源池的服务器需求不断增加。而运营商大数据的HDFS(Hadoop Distributed File System分布式文件系统)资源池以存储为主，CPU利用率较低，如何提高其利用率一直是个难题。

本公开是为了解决上述问题而被提出的，其目的在于提供一种能够考虑运营商的业务场景的基础上不会对现有大数据业务造成影响的提高资源利用效率的资源分配方法、资源分配装置、资源分配系统以及存储介质。

根据本公开的一个方面,提供一种资源分配方法,混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源,所述资源分配方法具有如下步骤:

请求接收步骤,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；

评估步骤,根据在所述请求接收步骤中接收到的所述混合部署请求,评估出预分配资源阈值；

分配步骤,根据在所述评估步骤中评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配。

根据本公开的另一个方面,提供一种资源分配装置,混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源,其特征在于具备:

编排部,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；

评估部,根据所述编排部接收的所述混合部署请求,评估出预分配资源阈值；

资源管理部,根据由所述评估部评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配。

根据本公开的又一方面,提供一种资源分配系统,其特征在于,包括处理器和计算机可读取的存储介质,所述计算机可读取的存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时,进行如下处理:请求接收步骤,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；评估步骤,根据在所述请求接收步骤中接收到的所述混合部署请求,评估出预分配资源阈值；分配步骤,根据在所述评估步骤中评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配。

根据本公开的又一方面,提供一种储存有资源分配程序的计算机可读取的存储介质,所述资源分配程序是混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源的程序,

所述资源分配程序用于使计算机执行如下处理:请求接收步骤,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；评估步骤,根据在所述请求接收步骤中接收到的所述混合部署请求,评估出预分配资源阈值；分配步骤,根据在所述评估步骤中评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配。

根据本公开的资源分配方法，能够更符合运营商技术与管理上的特点，并且避免主机侧因容器技术资源隔离不够成熟而在资源抢占时出问题。

在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更清楚地理解本公开，其中：

图1是现有技术的资源分配系统的应用场景示意图。

图2是本公开的资源分配装置的示意图。

图3是本公开的资源分配方法的流程图。

图4是本公开的混合部署冲突自动评估器的混合部署负载自动评估流程的流程图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为便于更好地理解根据本公开的技术方案，下面简单介绍本公开的实施例所提及的NFV技术。

NFV(Network Functions Virtualization)是表示网络功能虚拟化的简称，是一种对于网络架构(network architecture)的概念，利用虚拟化技术，将网络节点阶层的功能分割成几个功能区块，分别以虚拟方式实现，不再局限于硬件架构。但当然，关于NFV也有通信服务提供商(CSPs)使用了专用的硬件元素。

网络功能虚拟化(NFV)的核心是虚拟网络功能。当前的NFV将许多类型的网络设备(如服务器、交换机和存储器等)构建为一个数据中心网络(Data Center Network)，通过借用IT的虚拟化技术虚拟化形成VM(虚拟机，Virtual Machine)，然后将传统的通信技术业务部署到VM上。NFV技术的目标是在标准服务器上提供网络功能。

在本公开中，是涉及一种让NFV业务与现有大数据业务混合部署在大数据资源池的资源分配方法、资源分配装置、资源分配系统以及存储介质。

图2是示出本公开的资源分配装置的示意图。如图2所示，资源分配装置主要包括混合部署编排器101、混合部署冲突自动评估器102、混合部署资源池虚拟化管理平台104。除此以外，该资源分配装置还可以包括混合部署编排器适配器103、离线批处理编排器105以及NFV服务编排器106。其中，所述混合部署冲突自动评估器102作为一种评估部发挥功能,通过实际测试某种在线与离线作业组合在不同资源配比下的业务性能，自动得出此种混合部署组合最合适的虚拟机资源分配阈值。在本公开中是在运行未知的在线作业和离线作业组合前，混合部署冲突自动评估器102被通知对此种组合进行自动测试评估，得到防止资源冲突的预分配资源阈值。这里所谓预分配资源阈值既可以是防止资源冲突的离线作业虚拟机预分配资源阈值，也可以是防止资源冲突的在线作业虚拟机预分配资源阈值，可以根据实际情况等来决定。在决定出预分配资源阈值之后并且在运行此种在线作业与离线作业的组合前，混合部署编排器101会提前通知混合部署资源池虚拟化层调整主机上离线作业虚拟机或者在线作业虚拟机的预分配资源阈值。

所述混合部署编排器适配器103作为一种适配部发挥功能，是用来与混合部署资源池虚拟化管理平台104、离线批处理编排器105以及NFV服务编排器106对接的部件，其能够将来自混合部署编排器101、混合部署冲突自动评估器102的信息进行适配处理后发送给所述混合部署资源池虚拟化管理平台104、所述离线批处理编排器105以及所述NFV服务编排器106。当然，也可以将来自所述混合部署资源池虚拟化管理平台104、所述离线批处理编排器105以及所述NFV服务编排器106的信息经适配处理后发送给所述混合部署编排器101、所述混合部署冲突自动评估器102。在本公开中，设所述混合部署编排器适配器103受所述混合部署编排器101、所述混合部署冲突自动评估器102的控制，与所述合部署资源池虚拟化管理平台104、所述离线批处理编排器105、所述NFV服务编排器106进行对接，但当然连接关系不限于此。

混合部署资源池虚拟化管理平台104作为一种资源管理部发挥功能，其管理大量的宿主机1-N中所安装的虚拟机、例如HDFS(Hadoop Distributed File System分布式文件系统)虚拟机以及VNF(virtual network function：虚拟网络功能)虚拟机。该混合部署资源池虚拟化管理平台104经由所述混合部署编排器适配器103受所述混合部署编排器101控制，调整大数据离线作业的虚拟机的资源配额，为NFV服务编排器10分配VNF虚拟机所需资源。在后续将会说明最初如何构建混合部署资源池的流程。

混合部署编排器101作为一种编排部发挥功能，用于调用所述混合部署冲突自动评估器102获得的特定组合的混合部署负载(在线作业和离线作业)的最佳虚拟机资源分配阈值，通过所述混合部署编排器适配器103将包含该最佳虚拟机资源分配阈值的请求信息发送给所述混合部署资源池虚拟化管理平台104,使得所述混合部署资源池虚拟化管理平台104调整其管理的混合部署资源池的离线作业的虚拟机资源和在线作业的虚拟机资源的配额。

离线批处理编排器105是用来对离线批处理作业进行分配的大数据编排器。所述离线批处理编排器105按照需求对所述混合部署资源池虚拟化管理平台104所管理的HDFS虚拟机上的离线批处理作业自主调度。NFV服务编排器106是用来对在线作业进行分配的在线服务编排器。

资源分配方法是在该混合部署资源池上实现的。所以,在详细说明本公开的资源分配方法之前先说明由混合部署资源池虚拟化管理平台104管理的初始混合部署资源池的构建流程。在构建的最初,通过大数据集群管理平台使一台HDFS主机离线。然后在主机上安装虚拟机管理系统软件。接着,以使该主机的虚拟机管理系统被混合部署编排器纳管的方式进行操作。然后,创建占主机资源如30％的一台虚拟机，把原有主机所有数据盘直通给该虚拟机，在该虚拟机上部署与原主机HDFS软件一致的版本。最后,通过大数据集群管理平台使该虚拟机重新被HDFS集群纳管。通过这样操作,构建了初始的混合部署资源池。

以下,参照图3说明本公开的资源分配方法。图3是本公开的资源分配方法的流程图。

通过上述说明的方式构建了混合部署资源池。而混合部署资源池虚拟化管理平台104对这样的混合部署资源池进行管理。如在图2中所示那样,针对宿主机1-N,对其上安装的HDFS虚拟机以及VNF虚拟机进行管理。其中,HDFS虚拟机上的离线批处理作业被离线批处理编排器105按照其需求自主调度。VNF虚拟机的资源分配和启停是被混合部署编排器101按照NFV服务编排器106的要求进行管理。可以说混合部署编排器101对于NFV服务编排器106来说是一个实现NFVO接口的资源管理系统。

首先,在S1中,由NFV服务编排器106提出请求,要求变更在线作业的虚拟机资源分配。该请求信息经由混合部署编排器适配器103处理后,转发给混合部署编排器101。

当然这里的请求也可以不是由NFV服务编排器106提出,例如可以在想要运行未知的在线作业离线作业组合前,将这样的会改变当前在线作业与离线作业的资源分配比的新的在线作业离线作业组合的请求直接发送给混合部署编排器101、或者经由混合部署编排器适配器103发送给混合部署编排器101。

当所述混合部署编排器101接收到该请求信息之后,向所述混合部署冲突自动评估器102发送评估请求。所述混合部署冲突自动评估器102在接收到该评估请求之后,对此种组合进行自动测试评估，得到防止资源冲突的虚拟机预分配资源阈值。该虚拟机预分配资源阈值可以设为离线作业虚拟机预分配资源阈值,也可以设为在线作业虚拟机预分配资源阈值等,还可以是两者的比例阈值等,只要是能够判定出在线作业与离线作业的资源分配阈值的参数，则可以是任何参数。

然后,混合部署冲突自动评估器102将得到的虚拟机预分配资源阈值回送给混合部署编排器101。该混合部署编排器101将这一表示虚拟机预分配资源阈值的信息经由混合部署编排器适配器103发送给混合部署资源池虚拟化管理平台104。

然后,混合部署资源池虚拟化管理平台104根据接收到的虚拟机预分配资源阈值,,调整大数据离线作业的虚拟机的资源配额，为NFV服务编排器分配VNF虚拟机所需资源。

通过上述资源分配方法,能够良好地实现大数据离线批处理与NFV在线服务混合部署。

这里，在进一步参照图4，详细说明混合部署冲突自动评估器102的混合部署负载自动评估流程。图4是本公开的混合部署冲突自动评估器的混合部署负载自动评估流程的流程图。在步骤S41中，从业务侧获得尚未在混合部署资源池运行过、需要评估资源冲突对业务影响情况的混合部署任务的组合。这里的混合部署任务的组合例如是指在线作业与离线作业的组合。在步骤S42中，混合部署冲突自动评估器经由混合部署编排器适配器103在混合部署资源池选取空闲节点。在步骤S43中，混合部署冲突自动评估器102使用不同的资源配比，并行启动所述获得的在线作业与离线作业的组合，从各个资源配比的评估结果中自动提取离线处理的速度和在线服务的吞吐量。这里考虑到执行效率这一点，采用了并行启动方式，但是也可以是依次执行所述获得的在线作业与离线作业的组合。在S44步骤中，通过分析比较从而获得最佳的离线作业虚拟机预分配资源阈值。这里不限于离线作业虚拟机预分配资源阈值，也可以是在线作业虚拟机预分配资源阈值等其他参数。

根据本公开，利用混合部署冲突自动评估器预先通过测试而评估出针对在线作业和离线作业的资源的划分比例，基于评估出的划分比例进行大数据离线批处理与NFV在线服务混合部署。由于预先划分好各自资源配额并以通过虚拟机进行隔离的方式进行分配，即、利用虚拟机方式加预留资源的资源分配方法，所以能够避免主机侧因容器技术资源隔离不够成熟而在资源抢占时出问题。

另外，在本公开中，针对在线作业和离线作业的资源的划分比例是根据运维数据和仿真压力测试结果以若干天为周期进行慢速调整。由于是逐步扩大混合资源池的方法，所以可以安全平稳的扩展混合资源池规模而不会对现有大数据业务造成影响。

本公开让NFV业务与现有大数据业务混合部署在大数据资源池，从而能够根本性减少新服务器采购数量，实现节能减排。可以说,本公开能够更符合运营商技术与管理上的特点实现有效的资源分配。

应当理解，本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一具体实施例中。因此，在本说明书中，“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。

本领域技术人员应当知道，本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此，本公开可以实施为各种形式，例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等)，或者也可实施为软件与硬件的实施形式，在以下会被称为“电路”、“模块”或“系统”。此外，本公开也可以任何有形的媒体形式实施为计算机程序产品，其具有计算机可使用程序代码存储于其上。

本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块，以及流程图和/或框图中的块的任何组合，可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行，而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。

在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此，流程图或框图中的每个块可表示一模块、区段、或部分的程序代码，其包括一个或多个可执行指令，以实施指定的逻辑功能。另外应当注意，在某些其它的实施例中，块所述的功能可以不按图中所示的顺序进行。举例来说，两个图示相连接的块事实上也可以同时执行，或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意，每个框图和/或流程图的块，以及框图和/或流程图中块的组合，可藉由基于专用硬件的系统来实施，或者藉由专用硬件与计算机指令的组合，来执行特定的功能或操作。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种资源分配方法,混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源,所述资源分配方法具有如下步骤:

请求接收步骤,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；

评估步骤,根据在所述请求接收步骤中接收到的所述混合部署请求,评估出预分配资源阈值；

分配步骤,根据在所述评估步骤中评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配；

其中,所述评估步骤具备:

获取步骤,获取在线作业与离线作业的组合；

比对步骤,使用不同的资源配比,启动获取的所述在线作业与离线作业的组合；以及

分析步骤,通过比较分析基于不同资源配比运行的所述在线作业与离线作业的组合的结果,得出最佳的预分配资源阈值。

2.根据权利要求1所述的资源分配方法,其特征在于,

针对离线作业的虚拟机资源是分布式文件系统HDFS的资源池。

3.根据权利要求1所述的资源分配方法,其特征在于,

所述预分配资源阈值是离线作业虚拟机预分配资源阈值。

4.根据权利要求3所述的资源分配方法,其特征在于,

在所述分配步骤中,根据所述离线作业虚拟机预分配资源阈值,调整离线作业的虚拟机资源的比例。

5.一种资源分配装置,混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源,其特征在于具备:

编排部,接收与针对离线作业的虚拟机资源和针对在线作业的虚拟机资源有关的混合部署请求；

评估部,根据所述编排部接收的所述混合部署请求,评估出预分配资源阈值；

资源管理部,根据由所述评估部评估出的预分配资源阈值,对所述离线作业和所述在线作业进行资源分配；

其中,所述评估部从所述编排部获取在线作业与离线作业的组合,使用不同的资源配比启动获取的所述在线作业与离线作业的组合,通过比较分析基于不同资源配比运行的所述在线作业与离线作业的组合的结果,得出最佳的预分配资源阈值。

6.根据权利要求5所述的资源分配装置,其特征在于,

针对离线作业的虚拟机资源是分布式文件系统HDFS的资源池。

7.根据权利要求5所述的资源分配装置,其特征在于,

所述预分配资源阈值是离线作业虚拟机预分配资源阈值。

8.根据权利要求7所述的资源分配装置,其特征在于,

所述资源管理部根据所述离线作业虚拟机预分配资源阈值,调整离线作业的虚拟机资源的比例。

9.一种资源分配系统,其特征在于,包括处理器和计算机可读取的存储介质,所述计算机可读取的存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时,实现权利要求1-4任意一项所述的方法。

10.一种储存有资源分配程序的计算机可读取的存储介质,所述资源分配程序是混合部署针对离线作业的虚拟机资源与针对在线作业的虚拟机资源的程序,

所述资源分配程序用于使计算机执行权利要求1-4任意一项所述的方法。