CN114327846A - 集群的扩容方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，涉及云计算领域。该方法包括：获取预设的大数据集群的集群信息；当基于集群信息确定出所述大数据集群满足所述扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。本申请实现了在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

Description

集群的扩容方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及云计算技术领域，具体而言，本申请涉及一种集群的扩容方法、装置、电子设备及计算机可读存储介质。

背景技术

现有技术中，以Hadoop(分布式系统基础架构)生态为核心的大数据应用，通常都是直接部署在物理机或者虚拟机上，并通过Yarn(Yet Another Resource Negotiator，另一种资源协调者)作为资源管理者和调度引擎，每台物理机或者虚拟机上部署了节点管理器，用于管理单台节点的资源，与同一节点中的资源管理器保持通信。

但是现有技术中的Yarn需要提前完成部署，当出现大量的突发业务时，则无法满足大量的业务需求。目前业界也没有成熟的解决方案，通常有两种临时方案进行规避：方案1：业务突增时根据实际的需求量进行手动扩容；方案2：根据经验评估资源需求量，提前扩容以预防业务突增。

但是上述两种方案也存在相应的缺点：1)如果选择方案1临时扩容，则面对大量的突发业务时，手动扩容难以在系统性能达到瓶颈前完成扩容，这将会严重影响系统的可用性；2)如果选择方案2提前扩容，首先在资源利用率和成本上会带来额外的支出，其次根据经验评估资源需求量，往往无法精确的预备所需资源。预备少了，业务突发时仍然需要临时手动扩容，同样会遇到方案一提到的缺点；预备多了，势必加重资源和成本的浪费。

发明内容

本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，可以解决上述的问题。所述技术方案如下：

一方面，提供了一种集群的扩容方法，该方法包括：

获取预设的大数据集群的集群信息；

当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

优选地，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；

基于所述集群信息确定出所述大数据集群满足扩容条件，包括：

当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。

优选地，所述获取预设的大数据集群的集群信息，包括：

基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，

采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

优选地，所述向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器，包括：

基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。

优选地，所述集群信息还包括扩容时间点；基于所述集群信息确定出大数据集群是否满足预设的扩容条件，包括：

采用预设的定时组件检测是否达到所述扩容时间点；

若是，则判定所述大数据集群满足扩容条件。

另一方面，提供了一种集群的扩容方法，该方法包括：

接收预设的扩容组件发送的扩容请求，并从所述扩容请求中提取出资源模板；

基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。

优选地，所述基于所述资源模板生成对应的容器，包括：

基于所述资源模板从预设的镜像数据库下载得到节点管理器镜像；

依据所述节点管理器镜像创建节点管理器容器，并在所述节点管理器容器中运行节点管理器；

基于所述节点管理器镜像中预设的地址信息通过所述节点管理器向所述大数据集群中的资源管理器发起注册；

当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器

另一方面，提供了一种集群的扩容装置，该装置包括：

获取模块，用于获取预设的大数据集群的集群信息；

发送模块，用于当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

优选地，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；

优选地，还包括：

检测模块，用于当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。

优选地，所述获取模块具体用于：

基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，

采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

优选地，所述发送模块，包括：

生成子模块，用于基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

处理子模块，用于基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。

优选地，所述集群信息还包括扩容时间点；所述检测模块还用于：

采用预设的定时组件检测是否达到所述扩容时间点；若是，则判定所述大数据集群满足扩容条件。

另一方面，提供了一种集群的扩容装置，该装置包括：

接收模块，用于接收预设的扩容组件发送的扩容请求；

提取模块，用于从所述扩容请求中提取出资源模板；

生成模块，用于基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。

优选地，所述生成模块包括：

下载子模块，用于基于所述资源模板从预设的镜像数据库下载得到节点管理器镜像；

创建子模块，用于依据所述节点管理器镜像创建节点管理器容器，并在所述节点管理器容器中运行节点管理器；

注册子模块，用于基于所述节点管理器镜像中预设的地址信息通过所述节点管理器向所述大数据集群中的资源管理器发起注册，当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器。

另一方面，提供了一种电子设备，该电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面和第二方面所示的集群的扩容方法对应的操作。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面和第二方面所示的集群的扩容方法。

本申请提供的技术方案带来的有益效果是：

在本发明实施例中，通过预设的扩容组件获取预设的大数据集群的集群信息，当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请一种集群的扩容的系统架构图；

图2为本申请扩容组件的结构示意图；

图3为本申请大数据集群的架构示意图；

图4为本申请一个实施例提供的一种集群的扩容方法的流程示意图；

图5为本申请另一实施例提供的一种集群的扩容方法的流程示意图；

图6为本申请又一实施例提供的一种集群的扩容装置的结构示意图；

图7为本申请又一实施例提供的一种集群的扩容装置的结构示意图；

图8为本申请又一实施例提供的一种集群的扩容的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释：

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。

按照逻辑功能划分，在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。

本申请中的大数据集群可以由至少一个客户端和Yarn集群组成，Yarn集群由主控Master和多个节点Node组成。其中，Yarn是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

本申请中的容器云集群可以是Kubernetes集群。Kubernetes是一个用于管理云平台中多个主机上的容器化的应用，它支持自动化部署、大规模可伸缩、应用容器化管理。在Kubernetes中，可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

容器云集群的控制节点Kubernetes API Server：Kubernetes容器调度及编排集群的控制节点，对内提供编排、调度等服务，对外提供API(Application ProgrammingInterface，应用程序接口)服务，边缘节点正是通过该API注册到集群之中。

Yarn集群的资源管理器Yarn-ResourceManager：主控的控制节点，用于管理Yarn集群资源并调度任务事件。

Yarn集群的节点管理器Yarn-NodeManager：每个节点中的计算节点，用于维护本地资源并上报给Yarn-ResourceManager，接受Yarn-ResourceManager下发的任务并启动任务事件。

本申请提供的集群的扩容方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

本发明实施例提供了一种集群的扩容的系统架构图，参见图1，包括大数据集群和Kubernetes集群。其中，大数据集群包括至少一个客户端和Yarn集群，Yarn集群包括至少一个主控和至少一个节点，主控中包括资源管理器；Kubernetes集群包括扩容组件scaler-controller、容器云集群的控制节点，以及至少一个容器POD，每个容器中包括节点管理器。

进一步，如图2所示，扩容组件包括分析组件scale-analysis、处理组件scale-kube和定时组件scale-crontab。分析组件用于监听大数据集群的调度队列和负载情况，生成扩容信息并发送给处理组件；处理组件用于生成容器云集群可识别的资源模板，并基于该资源模板向容器云集群申请创建容器；定时组件用于根据用户配置的定时扩容计划，调用处理组件自动进行扩容。

需要说明的是，图1中客户端的数量、主控的数量和节点的数量仅仅只是举例说明，在实际应用中，三者的数量可以根据实际需求进行设置，本发明实施例对此不作限制。

而且，本申请以扩容组件部署在Kubernetes集群中为例进行说明。在实际应用中，扩容组件除了可以部署在Kubernetes集群中之外，也可以部署在大数据集群中，还可以部署在除了Kubernetes集群和大数据集群之外的第三方设备上，在实际应用中可以根据实际需求进行设置，本发明实施例对此也不作限制。

进一步，如图3所示的大数据集群的系统构架图中，包括Yarn集群和至少一个客户端301，Yarn集群包括主控302和至少一个节点303。其中，大数据集群可以应用于以Hadoop生态为核心的大数据应用场景中，大数据集群中的Yarn集群用于处理大数据集群中客户端发起的基于大数据的业务请求，比如金融行业、电商行业、交通行业的业务请求。客户端可以具有如下特点：

(1)在硬件体系上，设备具备中央处理器、存储器、输入部件和输出部件，也就是说，设备往往是具备通信功能的微型计算机设备。另外，还可以具有多种输入方式，诸如键盘、鼠标、触摸屏、送话器和摄像头等，并可以根据需要进行调整输入。同时，设备往往具有多种输出方式，如受话器、显示屏等，也可以根据需要进行调整；

(2)在软件体系上，设备必须具备操作系统，如Windows Mobile、Symbian、Palm、Android、iOS等。同时，这些操作系统越来越开放，基于这些开放的操作系统平台开发的个性化应用程序层出不穷，如通信簿、日程表、记事本、计算器以及各类游戏等，极大程度地满足了个性化用户的需求；

(3)在通信能力上，设备具有灵活的接入方式和高带宽通信性能，并且能根据所选择的业务和所处的环境，自动调整所选的通信方式，从而方便用户使用。设备可以支持GSM(Global System for Mobile Communication，全球移动通信系统)、WCDMA(Wideband CodeDivision Multiple Access，宽带码分多址)、CDMA2000(Code Division MultipleAccess，码分多址)、TDSCDMA(Time Division-Synchronous Code Division MultipleAccess，时分同步码分多址)、Wi-Fi(Wireless-Fidelity，无线保真)以及WiMAX(WorldwideInteroperability for Microwave Access，全球微波互联接入)等，从而适应多种制式网络，不仅支持语音业务，更支持多种无线数据业务；

(4)在功能使用上，设备更加注重人性化、个性化和多功能化。随着计算机技术的发展，设备从“以设备为中心”的模式进入“以人为中心”的模式，集成了嵌入式计算、控制技术、人工智能技术以及生物认证技术等，充分体现了以人为本的宗旨。由于软件技术的发展，设备可以根据个人需求调整设置，更加个性化。同时，设备本身集成了众多软件和硬件，功能也越来越强大。

进一步，在上述系统架构中可以执行一种集群的扩容方法，如图4所示，该方法可以应用于扩容组件，该方法包括：

步骤S401，获取预设的大数据集群的集群信息；

其中，扩容组件可以通过预设的方式来获取大数据集群的集群消息。其中，集群信息包括大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及大数据集群的平均负载。

具体地，大数据集群中的主控除了预设有资源管理器之外，还预设有任务事件的调度队列(图中未示出)。在实际应用中，用户通过客户端向主控发起任务事件，主控接收到任务事件后可以分配能够处理该任务事件的节点来处理该任务事件。但是，当大数据集群中没有节点能够处理该任务事件时，那么主控就可以将该任务事件存储在调度队列中，并将该任务事件的状态设置为“待处理”。

其中，每个节点都预设有硬件资源，包括但不限于CPU(central processingunit，中央处理器)核数、内存大小。节点在处理任一任务事件时需要消耗一定的硬件资源，当节点当前剩余的硬件资源不低于处理任务事件需要消耗的硬件资源时，即可判定该节点能够处理该任一任务事件。

而且，每个节点在处理任务事件时，可以将消耗的硬件资源与该节点的预设的全部硬件资源的比值记为负载。这样，就可以基于每个节点的负载即可计算出大数据集群的平均负载。

步骤S402，当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

扩容组件获取到大数据集群的集群信息之后，可以检测集群信息是否满足预设的扩容条件，如果是，那么就可以基于Kubernetes集群进行自动扩容；如果否，则表示大数据集群当前还可以对待处理的任务事件进行处理，不需要扩容。

扩容组件判定大数据集群满足扩容条件后，可以向容器云集群发送扩容请求，容器云集群接收到扩容请求后响应该扩容请求，生成与扩容请求对应的容器，也就是能够处理待处理的任务事件的容器。这样，调度队列中待处理的任务事件就可以在容器云集群中生成的容器中进行处理，从而实现了对大数据集群的自动扩容。

在本发明实施例中，通过预设的扩容组件获取预设的大数据集群的集群信息，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

在本发明实施例中继续对如图4所示的一种集群的扩容方法进行详细说明。

步骤S401，获取预设的大数据集群的集群信息；

其中，扩容组件可以通过预设的方式来获取大数据集群的集群消息。其中，集群信息包括大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及大数据集群的平均负载。

具体地，大数据集群中的主控除了预设有资源管理器之外，还预设有任务事件的调度队列(图中未示出)。在实际应用中，用户通过客户端向主控发起任务事件，主控接收到任务事件后可以分配能够处理该任务事件的节点来处理该任务事件。但是，当大数据集群中没有节点能够处理该任务事件时，那么主控就可以将该任务事件存储在调度队列中，并将该任务事件的状态设置为“待处理”。

其中，每个节点都预设有硬件资源，包括但不限于CPU核数、内存大小。节点在处理任一任务事件时需要消耗一定的硬件资源，当节点当前剩余的硬件资源不低于处理任务事件需要消耗的硬件资源时，即可判定该节点能够处理该任一任务事件。

而且，每个节点在处理任务事件时，可以将消耗的硬件资源与该节点的预设的全部硬件资源的比值记为负载。这样，就可以基于每个节点的负载即可计算出大数据集群的平均负载。

在本发明一种优选实施例中，获取预设的大数据集群的集群信息，包括：

基于预设的时间间隔采用预设的分析组件轮询资源管理器的调度队列，以及，

采用分析组件分析得到大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

具体而言，扩容组件中的分析组件可以基于预设的时间间隔对资源管理器的调度队列进行轮询，从而确定出调度队列中是否存在待处理的任务事件，比如，分析组件每隔1秒对调度队列进行轮询；同时，分析组件通过资源管理器获取得到大数据集群中每个节点的负载，然后基于每个节点的负载计算出每个节点的平均负载。

需要说明的是，调度队列的数量可以是一个，也可以是多个，在实际应用中可以根据实际需求进行设置，本发明实施例对此不作限制。

步骤S402，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器；

扩容组件获取到大数据集群的集群信息之后，可以检测集群信息是否满足预设的扩容条件，如果是，那么就可以基于Kubernetes集群进行自动扩容；如果否，则表示大数据集群当前还可以对待处理的任务事件进行处理，不需要扩容。

在本发明一种优选实施例中，基于集群信息确定出大数据集群满足扩容条件，包括：

当检测到调度队列中存在待处理的任务事件，同时平均负载超过平均负载阈值，则判定大数据集群满足预设的扩容条件。

具体而言，当调度队列中存在待处理的任务事件，且大数据集群的平均负载超过了平均负载阈值时，则判定大数据集群满足预设的扩容条件。比如，当调度队列中存在待处理的任务事件，而且大数据集群的平均负载为95％，超过了平均负载阈值88％，那么就可以判定大数据集群满足预设的扩容条件。

需要说明的是，在实际应用中，上述事例仅仅作为举例说明，平均负载阈值可以根据实际需求进行设置，本发明实施例对此不作限制。

在本发明一种优选实施例中，集群信息还包括扩容时间点；基于集群信息确定出大数据集群满足扩容条件，包括：

采用预设的定时组件检测是否达到扩容时间点；

若是，则判定大数据集群满足扩容条件。

具体而言，除了可以基于调度队列和平均负载来判定大数据集群是否满足扩容条件之外，还可以基于用户为大数据集群预设的扩容时间点来判定大数据集群是否满足扩容条件，当采用预设的定时组件检测到当前时间到达扩容时间点时，即可判定大数据集群满足预设的扩容条件。

扩容组件判定大数据集群满足扩容条件后，可以向容器云集群发送扩容请求，容器云集群接收到扩容请求后响应该扩容请求，生成与扩容请求对应的容器，也就是能够处理待处理的任务事件的容器。这样，调度队列中待处理的任务事件就可以在容器云集群中生成的容器中进行处理，从而实现了对大数据集群的自动扩容。

在本发明一种优选实施例中，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器，包括：

基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

基于配置信息通过预设的处理组件生成容器云集群中可识别的资源模板，并将包含资源模板的扩容请求发送给容器云集群，以使得容器云集群响应扩容请求并基于资源模板生成对应的容器；容器用于执行大数据集群接收到的待处理的任务事件。

具体而言，扩容组件中的分析组件可以进一步生成处理该待处理的任务事件所需要的配置信息，包括但不限于CPU核数、内存大小、任务名称、队列信息，然后将配置信息发送给处理组件。

处理组件基于配置信息生成容器云集群可识别的资源模板。这是因为容器云集群无法直接识别配置信息，所以需要通过处理组件对配置信息进行转化。然后基于资源模板生成扩容请求并将扩容请求发送至容器云集群，容器云集群接收到扩容请求后，响应该扩容请求，并基于扩容请求中的资源模板生成与资源模板(也就是配置信息)对应的容器，这样，调度队列中待处理的任务事件就可以在容器中处理了。

需要说明的是，本发明实施例仅仅只是以生成一个容器进行举例说明，在实际应用中，可以针对多个任务事件生成多个容器，并在多个容器中分别处理各个任务事件，具体可以根据实际需求进行设置，本发明实施例对此不作限制。

在本发明实施例中，通过预设的扩容组件获取预设的大数据集群的集群信息，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

在另一个实施例中提供了一种集群的扩容方法，如图5所示，该方法应用于容器云集群，该方法包括：

步骤S501，接收预设的扩容组件发送的扩容请求，并从扩容请求中提取出资源模板；

具体而言，容器云集群通过控制节点Kubernetes API Server接收扩容组件发送的扩容请求，然后从扩容请求中提取出资源模板。其中，资源模板为扩容组件中的处理组件生成，具体生成方式可参考步骤S303，在此就不赘述了。

步骤S502，基于资源模板生成与扩容请求对应的容器；容器用于处理预设的大数据集群接收到的待处理的任务事件。

提取得到资源模板后，控制节点即可基于资源模板生成扩容请求对应的容器，生成的容器用于处理大数据集群接收到的待处理的任务事件。

在本发明一种优选实施例中，基于资源模板生成对应的容器，包括：

基于资源模板从预设的镜像数据库下载得到节点管理器镜像；

依据节点管理器镜像创建节点管理器容器，并在节点管理器容器中运行节点管理器；

基于节点管理器镜像中预设的地址信息通过节点管理器向大数据集群中的资源管理器发起注册；

当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器。

具体而言，控制节点提取得到资源模板后，可以先从预设的镜像数据库中下载预设的节点管理器镜像，下载完成后，使用节点管理器镜像创建节点管理器容器，并在节点管理器容器中运行节点管理器NodeManager，节点管理器启动后，基于节点管理器镜像中预设的地址信息向大数据集群中的资源管理器发起注册。其中，地址信息为大数据集群中资源管理器的地址信息。由于控制节点部署在容器云集群中，而资源管理器部署在大数据集群中，所以，控制节点需要知道资源管理器的地址信息才能与资源管理器进行数据交互，从而实现大数据集群与容器云管理集群的数据交互。当资源管理器接收控制节点的注册后，控制节点的注册成功，从而得到用于处理大数据集群接收到的待处理的任务事件的容器。而且，由于生成的容器用来处理大数据集群接收到的任务事件，所以，容器中的节点管理器也相当于Yarn集群的节点管理器。

在本发明实施例中，通过容器云集群中的控制节点接收扩容组件发送的扩容请求，并从扩容请求中提取出资源模板，然后基于资源模板生成与扩容请求对应的容器；容器用于处理预设的大数据集群接收到的待处理的任务事件。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

图6为本申请又一实施例提供的一种集群的扩容装置的结构示意图，如图6所示，本实施例的装置可以应用于扩容组件，该装置包括：

获取模块601，用于获取预设的大数据集群的集群信息；

发送模块602，用于当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。

在本发明一种优选实施例中，集群信息包括大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及大数据集群的平均负载；

还包括：

检测模块，用于当检测到调度队列中存在待处理的任务事件，同时平均负载超过平均负载阈值，则判定大数据集群满足预设的扩容条件。

在本发明一种优选实施例中，获取模块具体用于：

基于预设的时间间隔采用预设的分析组件轮询资源管理器的调度队列，以及，

采用分析组件分析得到大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

在本发明一种优选实施例中，发送模块，包括：

生成子模块，用于基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

处理子模块，用于基于配置信息通过预设的处理组件生成容器云集群中可识别的资源模板，并将包含资源模板的扩容请求发送给容器云集群，以使得容器云集群响应扩容请求并基于资源模板生成对应的容器；容器用于执行大数据集群接收到的待处理的任务事件。

在本发明一种优选实施例中，集群信息还包括扩容时间点；检测模块还用于：

采用预设的定时组件检测是否达到扩容时间点；若是，则判定大数据集群满足扩容条件。

本实施例的集群的扩容装置可执行本申请第一个实施例、第二个实施例所示的集群的扩容方法，其实现原理相类似，此处不再赘述。

在本发明实施例中，通过预设的扩容组件获取预设的大数据集群的集群信息，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

图7为本申请又一实施例提供的一种集群的扩容装置的结构示意图，如图7所示，本实施例的装置可以应用于容器云集群，该装置包括：

接收模块701，用于接收预设的扩容组件发送的扩容请求；

提取模块702，用于从扩容请求中提取出资源模板；

生成模块703，用于基于资源模板生成与扩容请求对应的容器；容器用于处理预设的大数据集群接收到的待处理的任务事件。

在本发明一种优选实施例中，生成模块包括：

下载子模块，用于基于资源模板从预设的镜像数据库下载得到节点管理器镜像；

创建子模块，用于依据节点管理器镜像创建节点管理器容器，并在节点管理器容器中运行节点管理器；

注册子模块，用于基于节点管理器镜像中预设的地址信息通过节点管理器向大数据集群中的资源管理器发起注册，当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器。

在本发明实施例中，通过容器云集群中的控制节点接收扩容组件发送的扩容请求，并从扩容请求中提取出资源模板，然后基于资源模板生成与扩容请求对应的容器；容器用于处理预设的大数据集群接收到的待处理的任务事件。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

本申请的又一实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：通过预设的扩容组件获取预设的大数据集群的集群信息，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

在一个可选实施例中提供了一种电子设备，如图8所示，图8所示的电子设备8000包括：处理器8001和存储器8003。其中，处理器8001和存储器8003相连，如通过总线8002相连。可选地，电子设备8000还可以包括收发器8004。需要说明的是，实际应用中收发器8004不限于一个，该电子设备8000的结构并不构成对本申请实施例的限定。

处理器8001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器8001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线8002可包括一通路，在上述组件之间传送信息。总线8002可以是PCI总线或EISA总线等。总线8002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器8003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器8003用于存储执行本申请方案的应用程序代码，并由处理器8001来控制执行。处理器8001用于执行存储器8003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，通过预设的扩容组件获取预设的大数据集群的集群信息，当基于集群信息确定出大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得容器云集群响应扩容请求生成与扩容请求对应的容器。这样，在大数据集群无法处理接收到的任务事件时，可以通过预设的扩容组件来检测是否需要通过容器云集群进行扩容，如果需要，那么就向容器云集群发起扩容请求，容器云集群响应该扩容请求生成用于处理任务事件的容器，并在该容器中处理任务事件即可。这样，在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

进一步，通过部署扩容组件的方式即可实现自动扩容，即不需要对已部署的大数据集群和容器云集群的构架进行修改，大大减少了部署自动扩容的工作量；而且扩容组件可以部署在任何能够与大数据集群和容器云集群进行数据交互的地方，大大提高了自动扩容的灵活性。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现如下情况：

播放目标视频，并确定目标视频是否为互动视频；若确定目标视频为互动视频，则获取目标视频对应的互动内容和互动内容的显示时刻；在目标视频播放至显示时刻时，显示互动内容对应的互动展示页面；在获取到第一用户的互动消息时，基于互动内容和互动消息显示对应的互动反馈页面。

Claims (10)

1.一种集群的扩容方法，其特征在于，包括：

获取预设的大数据集群的集群信息；

当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

2.根据权利要求1所述的集群的扩容方法，其特征在于，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；

基于所述集群信息确定出所述大数据集群满足扩容条件，包括：

当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。

3.根据权利要求1或2所述的集群的扩容方法，其特征在于，所述获取预设的大数据集群的集群信息，包括：

基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，

采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

4.根据权利要求1-3任一所述的集群的扩容方法，其特征在于，所述向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器，包括：

基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。

5.一种集群的扩容方法，其特征在于，包括：

接收预设的扩容组件发送的扩容请求，并从所述扩容请求中提取出资源模板；

基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。

6.根据权利要求5所述的集群的扩容方法，其特征在于，所述基于所述资源模板生成对应的容器，包括：

基于所述资源模板从预设的镜像数据库下载得到节点管理器镜像；

依据所述节点管理器镜像创建节点管理器容器，并在所述节点管理器容器中运行节点管理器；

基于所述节点管理器镜像中预设的地址信息通过所述节点管理器向所述大数据集群中的资源管理器发起注册；

当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器。

7.一种集群的扩容装置，其特征在于，包括：

获取模块，用于获取预设的大数据集群的集群信息；

发送模块，用于当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

8.一种集群的扩容方法，其特征在于，包括：

接收模块，用于接收预设的扩容组件发送的扩容请求；

提取模块，用于从所述扩容请求中提取出资源模板；

生成模块，用于基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。

9.一种电子设备，其特征在于，其包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述权利要求1-6中任一项所述的集群的扩容方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1-6中任一项所述的集群的扩容方法。

Images