CN109976771A - 一种应用的部署方法及装置 - Google Patents

Abstract

本申请提供一种应用的部署方法及装置；其中，方法包括：接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；确定满足该业务运行资源量的容器实例数量N；根据业务标识从已设置的镜像库中获取匹配的业务镜像包；根据业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。如此，通过部署容器实例的方式将应用部署于系统的存储节点上，充分利用存储节点上已有的计算资源，降低成本。

Description

一种应用的部署方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种应用的部署方法及装置。

背景技术

目前，常用的大数据分析方法是利用服务器的计算资源和存储资源实现，存储资源在分布式文件系统进行部署，计算资源需要额外配置服务器进行部署。

并且当计算资源和存储资源分开部署在不同服务器上时，还需要通过外部总线将部署计算资源的服务器和部署存储资源的服务器进行互联，通过外部总线实现对存储的访问，效率较低，成本高。

发明内容

有鉴于此，本申请提供一种应用的部署方法及装置，以充分利用存储节点中的计算资源，降低成本。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种应用的部署方法，应用于大数据分析应用系统中的指定存储节点，所述指定存储节点被指定用于负责业务部署，所述方法包括：

接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；

确定满足所述业务运行资源量的容器实例数量N；

根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包；

根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。

第二方面，本申请实施例提供了一种应用的部署装置，所述装置包括：

接收模块，用于接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；

确定模块，用于确定满足所述业务运行资源量的容器实例数量N；

获取模块，用于根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包；

创建模块，用于根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。

第三方面，本申请实施例提供了一种机器可读存储介质，机器可读存储介质上存储有若干计算机指令，计算机指令被执行时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种电子设备，包括：机器可读存储介质和处理器，机器可读存储介质：存储指令代码，处理器：与机器可读存储介质通信，读取和执行机器可读存储介质中的指令代码，实现如第一方面所述的方法。

本申请实施例中提供的一种应用的部署方法及装置，在接收到业务请求以后，根据该业务请求中包含的服务策略确定满足该业务运行资源量的容器实例数量N，然后根据业务标识从已设置的镜像库中获取与业务标识匹配的业务镜像包，根据该业务镜像包在至少一个存储节点上创建N个容器实例，将该业务分担在所述N个容器实例上运行业务镜像包业务镜像包；如此，通过部署容器实例的方式将应用部署于系统的存储节点上，可以充分利用存储节点上已有的计算资源，无需额外配置服务器以提供计算资源，无需通过外部总线进行对存储的访问，提升了效率，且成本低。

附图说明

图1是本申请一示例性实施例示出的应用场景示意图；

图2是本申请一示例性实施例示出的一种应用的部署方法的流程示意图；

图3是本申请一示例性实施例示出的另一种应用的部署方法的流程示意图；

图4是本申请一示例性实施例示出的一种应用的部署装置的结构示意图；

图5是本申请一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

现有技术中，大数据分析系统中计算资源和存储资源是分开部署的，存储资源在分布式文件系统中进行部署，计算资源在额外配置服务器上进行部署，并且需要通过外部总线将部署计算资源的服务器和部署存储资源的服务器(存储节点)进行互联，以通过总线实现对存储的访问，效率较低，成本高；并且该方案中没有充分利用部署存储资源的服务器已有的计算资源。基于此，本申请实施例中提供了一种应用的部署方法及装置。

图1为本申请一个实施例的应用场景的示意图，一个应用中包含有多项业务，比如业务1、业务2和业务3，应用的部署是指将该应用中的某一项业务分别进行部署。本实施例中应用的部署的方法应用于大数据分析应用系统中的指定存储节点10，该指定存储节点10被指定用于负责业务部署。该实施例中，需要部署的业务向该指定存储节点10发送业务资源请求，该指定存储节点10用于根据该资源请求，为该业务部署容器实例，该容器实例可以是部署在本节点上，也可以是部署在其他存储节点20上。其中，上述的指定存储节点10可以是大数据分析应用系统中通过选举机制选举出的存储节点，本申请中不做限制。

图2为本申请实施例提供的一种应用的部署方法的流程示意图。该方法应用于大数据分析应用系统中的指定存储节点，该指定存储节点被指定用于负责业务部署，参照图2所示，该方法包括如下步骤：

S101、接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量。

应用的某一项业务需要部署时，该业务会向该指定存储节点发送资源请求，该资源请求中包含有该业务的业务标识和服务策略。上述的业务运行资源量即该业务运行所需的计算资源的大小。上述的业务标识可以是表示业务类型的字段，也可以是key-value值，本申请对此不作限定。

S102、确定满足所述业务运行资源量的容器实例数量N。

可选的，上述步骤S102具体包括如下步骤A10-A20：

步骤A10、计算所述业务运行资源量与预设的容器实例运行资源量的比值K。

上述服务策略中包含有业务运行资源量，指定存储节点可以根据该业务运行资源量与预设的容器实例运行资源量计算得到二者的比值K。

步骤A20、依据所述比值K确定满足所述业务运行资源量的容器实例数量N。

可选的，上述的N大于等于K。

S103、根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包。

预先设置镜像库，该镜像库中存储有建立容器实例所需的所有数据，比如可执行文件、配置文件和库文件等；并且该镜像库中存储有待部署的应用中所有业务的业务镜像包，该业务镜像包为该业务执行所需要的算法包。

S104、根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行。

指定存储节点通过获取镜像库中的建立容器所需的可执行文件、配置文件和库文件等建立容器，通过业务镜像包将建立的容器实例化，得到容器实例。

其中，上述根据所述业务镜像包在至少一个存储节点上创建N个容器实例，具体包括如下步骤B10-B30：

步骤B10、从所述存储节点中查找到满足条件的候选存储节点，所述条件为：剩余的业务运行资源量大于或等于N个容器实例中的一个的容器实例运行资源量。

本实施例中，为保证容器实例的正常运行，需在存储节点的剩余的业务运行资源量(剩余的计算资源)大于或等于一个容器实例运行资源量时，才在该存储节点上建立容器实例。

步骤B20、从所述候选存储节点上选择至少一个目标存储节点；所有目标存储节点的剩余业务运行资源量之和大于或等于N个容器实例运行资源量。

上述选择目标存储节点的方式有多种，比如优先选择剩余业务运行资源量最大的节点，具体在此不作限定。

步骤B30、在目标存储节点上创建容器实例，创建的容器实例数量之和为N。

示例性的，当有一个候选存储节点的剩余业务运行资源可以满足该N个容器实例所需的运行资源量时，可以是将该所有N个容器实例全部创建在该节点上。

容器实例可以执行该业务，示例性的，如果该系统的入口为API网关，安装在客户端的应用向API网关发送业务请求时，API网关会将该业务请求发送至该业务的某一个容器实例，由该容器实例执行该请求的处理操作。可选的，API网关可以是根据负载均衡机制，选择其中一个相对空闲的容器实例执行该请求的处理操作。

本申请上述实施例中，通过容器技术将应用部署于大数据分析应用系统的存储节点上，通过建立的容器实例执行业务，可以充分利用存储节点上已有的计算资源；进而无需额外配置服务器提供计算资源，无需通过外部总线进行对存储的访问，提升了效率，成本低。

本方案尤其适用于小型计算中心的部署，利用现有的存储设备执行数据分析、处理等业务，是一种低成本紧凑型部署方案。

图3为本申请一个实施例中的一种应用的部署方法的流程示意图。参照图3所示，该方法还包括如下步骤：

S105、实时监测所述N个容器实例的运行状况，根据所述N个容器实例的运行状况调整用于运行所述业务的容器实例的数量。

本实施例中，设置容器实例定时向指定存储节点上报该容器实例的运行状况，该运行状况包括：访问量、网络状态等；示例性的，当N个容器实例的访问量均超过预设阈值范围时，进行增加运行所述业务的容器实例。

进而，本申请实施例中，可以实现根据业务运行的需求进行灵活、弹性部署容器实例。

本实施例中的上述的大数据分析应用系统可以是采用是基于现有的Hadoop(Hadoop Distributed File System，分布式文件系统)分布式系统架构进行搭建，以对外提供稳定的数据分布式存储和分析能力，具体的大数据组件均可以采用现有技术实现，在本申请中不作限定。

图4是本申请一个实施例中提供的一种应用的部署装置的结构示意图。参照图4所示，该装置包括：

接收模块401，用于接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；

确定模块402，用于确定满足所述业务运行资源量的容器实例数量N；

获取模块403，用于根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包；

创建模块404，用于根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。

可选的，上述的确定模块402，具体用于：

计算所述业务运行资源量与预设的容器实例运行资源量的比值K；

依据所述比值K确定满足所述业务运行资源量的容器实例数量N。

可选的，上述的创建模块404，具体用于：

从所述存储节点中查找到满足条件的候选存储节点，所述条件为：剩余的业务运行资源量大于或等于N个容器实例中的一个容器实例运行资源量；

从所述候选存储节点上选择至少一个目标存储节点；所有目标存储节点的剩余业务运行资源量之和大于或等于N个容器实例运行资源量；

在目标存储节点上创建容器实例，创建的容器实例数量之和为N。

可选的，上述的装置，还包括：

监测模块(图中未示出)，用于实时监测所述N个容器实例的运行状况，根据所述N个容器实例的运行状况调整用于运行所述业务的容器实例的数量。

可选的，上述的监测模块，具体用于：

实时监测所述N个容器实例的访问量，当所述访问量的大于预设阈值范围时，增加运行所述业务的容器实例。

本申请另一实施例中还提供了一种机器可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述应用的部署方法的步骤。以实现通过部署容器实例的方式将应用部署于系统的存储节点上，可以充分利用存储节点上已有的计算资源，无需额外配置服务器以提供计算资源，无需通过外部总线进行对存储的访问，提升了效率，降低成本。

图5是本申请本申请实施例示出的一种计算机设备的结构示意图。参照图5所示，该计算机设备500，至少包括存储器502和处理器501；所述存储器502通过通信总线503和所述处理器501连接，用于存储所述处理器501可执行的指令代码；所述处理器501用于从所述存储器502读取和执行指令代码以实现上述任一实施例所述的应用的部署方法的步骤。以实现通过部署容器实例的方式将应用部署于系统的存储节点上，可以充分利用存储节点上已有的计算资源，无需额外配置服务器以提供计算资源，无需通过外部总线进行对存储的访问，提升了效率，降低成本。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种应用的部署方法，其特征在于，应用于大数据分析应用系统中的指定存储节点，所述指定存储节点被指定用于负责业务部署，所述方法包括：

接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；

确定满足所述业务运行资源量的容器实例数量N；

根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包；

根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。

2.根据权利要求1所述的方法，其特征在于，所述确定满足所述业务运行资源量的容器实例数量N，包括：

计算所述业务运行资源量与预设的容器实例运行资源量的比值K；

依据所述比值K确定满足所述业务运行资源量的容器实例数量N。

3.根据权利要求1所述的方法，其特征在于，所述根据所述业务镜像包在至少一个存储节点上创建N个容器实例，包括：

从所述存储节点中查找到满足条件的候选存储节点，所述条件为：剩余的业务运行资源量大于或等于N个容器实例中的一个容器实例运行资源量；

从所述候选存储节点上选择至少一个目标存储节点；所有目标存储节点的剩余业务运行资源量之和大于或等于N个容器实例运行资源量；

在目标存储节点上创建容器实例，创建的容器实例数量之和为N。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时监测所述N个容器实例的运行状况，根据所述N个容器实例的运行状况调整用于运行所述业务的容器实例的数量。

5.根据权利要求4所述的方法，其特征在于，所述实时监测N个容器实例的运行状况，根据N个容器实例的运行状况调整用于运行所述业务的容器实例的数量，包括：

实时监测所述N个容器实例的访问量，当所述访问量的大于预设阈值范围时，增加运行所述业务的容器实例。

6.一种应用的部署装置，其特征在于，所述装置包括：

接收模块，用于接收业务资源请求，所述资源请求中包含有业务标识和服务策略，所述服务策略用于指示请求的业务运行资源量；

确定模块，用于确定满足所述业务运行资源量的容器实例数量N；

获取模块，用于根据所述业务标识从已设置的镜像库中获取所述业务标识匹配的业务镜像包；

创建模块，用于根据所述业务镜像包在至少一个存储节点上创建N个容器实例，以将所述业务标识对应的业务分担在所述N个容器实例上运行业务镜像包业务镜像包。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：

计算所述业务运行资源量与预设的容器实例运行资源量的比值K；

依据所述比值K确定满足所述业务运行资源量的容器实例数量N。

8.根据权利要求6所述的装置，其特征在于，所述创建模块，具体用于：

从所述存储节点中查找到满足条件的候选存储节点，所述条件为：剩余的业务运行资源量大于或等于N个容器实例中的一个容器实例运行资源量；

从所述候选存储节点上选择至少一个目标存储节点；所有目标存储节点的剩余业务运行资源量之和大于或等于N个容器实例运行资源量；

在目标存储节点上创建容器实例，创建的容器实例数量之和为N。

9.根据权利要求6所述的装置，其特征在于，还包括：

监测模块，用于实时监测所述N个容器实例的运行状况，根据所述N个容器实例的运行状况调整用于运行所述业务的容器实例的数量。

10.根据权利要求9所述的装置，其特征在于，所述监测模块，具体用于：

实时监测所述N个容器实例的访问量，当所述访问量的大于预设阈值范围时，增加运行所述业务的容器实例。

11.一种机器可读存储介质，其特征在于，机器可读存储介质上存储有若干计算机指令，计算机指令被执行时执行如权利要求1-5任一所述的方法。

12.一种电子设备，其特征在于，包括：机器可读存储介质和处理器，机器可读存储介质：存储指令代码；处理器：与机器可读存储介质通信，读取和执行机器可读存储介质中的指令代码，实现如权利要求1-5任一所述的方法。