CN114296906A - 业务动态伸缩方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种业务动态伸缩方法、装置、设备及存储介质，属于通信技术领域。其包括：获取指标数据源服务提供的指标数据；指标数据的格式与指定格式不同；指定格式是指容器调度服务格式；对指标数据进行字段处理，得到预处理指标数据；对预处理指标数据进行格式转换，得到指定格式的指标数据；基于指定格式的指标数据，对业务进行伸缩处理。可以解决对于功能复杂的业务而言，改造难度较大，导致存在需要消耗大量的时间和资源完成改造的问题。

Description

业务动态伸缩方法、装置、设备及存储介质

技术领域

本申请属于通信技术领域，具体涉及一种业务动态伸缩方法、装置、设备及存储介质。

背景技术

在容器调度服务（Kubernetes，K8s）环境中，一个容器组中包括至少一个业务容器，而业务运行在业务容器中，为了在大并发场景下提升业务的处理能力，需要自动增加业务容器个数；为了在业务并发减少时，防止资源的浪费，需要自动减少业务容器个数。因此，业务动态伸缩是必不可少的功能。

传统的业务动态伸缩方法，包括：对业务进行改造，以输出容器调度服务格式的指标数据，容器组伸缩控制器（Horizontal Pod Autoscaling，HPA）通过容器调度服务格式的指标数据，对业务对应的业务容器个数进行修改，实现业务的动态伸缩。

然而，对于功能复杂的业务而言，改造难度较大，导致存在需要消耗大量的时间和资源完成改造的问题。

发明内容

本申请提供了业务动态伸缩方法、装置、设备及存储介质，可以解决对于功能复杂的业务而言，改造难度较大，导致存在需要消耗大量的时间和资源完成改造的问题。本申请提供如下技术方案：

第一方面，提供了一种业务动态伸缩方法，包括：获取指标数据源服务提供的指标数据；所述指标数据的格式与指定格式不同；所述指定格式是指容器调度服务格式；对所述指标数据进行字段处理，得到预处理指标数据；对所述预处理指标数据进行格式转换，得到指定格式的指标数据；基于所述指定格式的指标数据，对业务进行伸缩处理。

可选地，所述对所述指标数据进行字段处理，得到预处理指标数据，包括：获取第一预设字段；将所述第一预设字段作为前缀拼接到所述指标数据的头部。

可选地，所述将所述第一预设字段作为前缀拼接到所述指标数据的头部之后，还包括：在所述指标数据包含第二预设字段的情况下，将所述第二预设字段作为后缀拼接到所述指标数据的尾部。

可选地，所述对所述预处理指标数据进行格式转换，得到指定格式的指标数据，包括：获取预存的格式转换参数；基于所述格式转换参数，对所述预处理指标数据进行格式转换，得到指定格式的指标数据。

可选地，所述基于所述指定格式的指标数据，对业务进行伸缩处理，包括：获取所述业务对应的容器组的预定义指标数据；将所述预定义指标数据与所述指定格式的指标数据进行对比，得到对比结果；基于所述对比结果，对所述业务进行伸缩处理。

可选地，所述获取指标数据源服务提供的指标数据之前，还包括：获取预存的指标数据路径；基于所述指标数据路径，生成指标数据请求；将所述指标数据请求发送至所述指标数据源服务，以使所述指标数据源服务提供所述指标数据。

可选地，所述指标数据包括至少一个指标对应的关键字段、指标说明和指标值。

第二方面，提供了一种业务动态伸缩装置，所述装置包括：

数据获取模块，用于获取指标数据源服务提供的指标数据；所述指标数据的格式与指定格式不同；所述指定格式是指容器调度服务格式；

数据处理模块，用于对所述指标数据进行字段处理，得到预处理指标数据；

格式转换模块，用于对所述预处理指标数据进行格式转换，得到指定格式的指标数据；

伸缩控制模块，用于基于所述指定格式的指标数据，对业务进行伸缩处理。

第三方面，提供一种电子设备，包括存储器、控制器以及存储在存储器上并可在控制器上运行的计算机程序，所述控制器执行所述计算机程序时实现上述业务动态伸缩方法的步骤。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的业务动态伸缩方法。

本申请的有益效果至少包括：通过获取指标数据源服务提供的指标数据；对指标数据进行字段处理，得到预处理指标数据；对预处理指标数据进行格式转换，得到指定格式的指标数据；基于指定格式的指标数据，对业务进行伸缩处理。可以解决对于功能复杂的业务而言，改造难度较大，导致存在需要消耗大量的时间和资源完成改造的问题；通过对指标数据源服务提供的指标数据进行统一的字段处理，得到可以被普罗米修斯组件抓取的预处理指标数据，再对预处理数据进行格式转换，得到指定格式的指标数据，无需对业务系统进行改造，避免了因为业务系统改造而导致的资源损耗，因此，可以节省改造损耗的资源。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的用于业务动态伸缩方法的流程图；

图2是本申请一个实施例提供的一个指标数据的示意图；

图3是本申请一个实施例提供的另一个业务动态伸缩方法流程图；

图4是本申请一个实施例提供的业务动态伸缩装置的框图；

图5是本申请一个实施例提供的电子设备的框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本申请中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的，或者是针对部件本身在竖直、垂直或重力方向上而言的；同样地，为便于理解和描述，“内、外”是指相对于各部件本身的轮廓的内、外，但上述方位词并不用于限制本申请。

首先，对本申请实施例涉及的若干名词进行介绍。

容器调度服务（Kubernetes，k8s）：是一个开源的，用于管理云平台中多个主机上的容器化的应用，容器调度服务的目标是让部署容器化的应用简单并且高效。用于管理及调度容器服务，是目前云计算领域进行容器调度及管理的事实标准。

容器组（Pod）：是容器调度服务管理的最小单元，多个容器组合在一起叫做容器组，一个容器组中包括一个pause容器和至少一个业务容器。

容器组伸缩控制器（Horizontal Pod Autoscaling，HPA）：即容器组的水平自动扩展。根据容器组当前系统的负载来自动水平扩容，如果系统负载超过预定值，就开始增加容器组的个数，如果低于某个值，就自动减少容器组的个数。

通用数据采集程序（generic Exporter）：用于指标数据的采集，并将采集的指标数据暴露给普罗米修斯组件抓取。

普罗米修斯组件（Prometheus）：一个开源的系统监控和报警系统，用于采集和存储获取到的容器调度服务集群中各种指标数据，包括自定义的指标数据。

普罗米修斯适配器（k8s-prometheus-adapter）：用于实现普罗米修斯组件指标和容器调度服务指标的格式转换。

API Server：用于提供容器调度服务环境中各类资源对象的增删改查及watch等HTTP Rest接口，是整个系统的数据总线和数据中心。

下面对本申请提供的业务动态伸缩方法进行详细介绍。

如图1所示，本申请的实施例提供一种业务动态伸缩方法，可选地，本申请提供的业务动态伸缩方法的执行主体为电子设备，该电子设备可以为计算机、手机、平板电脑等终端，或者也可以为服务器，本实施例不对电子设备的实现方式作限定。该方法至少包括以下几个步骤：

步骤101，获取指标数据源服务提供的指标数据。

其中，指标数据的格式与指定格式不同，指定格式是指容器调度服务格式。

在本实施例中，指标数据包括至少一个指标对应的关键字段、指标说明和指标值。

如图2所示，关键字key可以为单词和下划线组合的指标关键字，关键字的末尾可以为指标数据的单位。指标说明help是指标数据的简要说明，相同指标数据的说明必须一致，指标说明中包括指标数据的单位。指标值value为指标数据对应的值。

其中，指标数据的单位包括但不限于 bytes、hertz、mbs、gbs、tbs、ops、ms、util、Bps、seconds、MBps和KBps等单位。

另外，获取指标数据源服务提供的指标数据之前，还包括：获取预存的指标数据路径；基于指标数据路径，生成指标数据请求；将指标数据请求发送至指标数据源服务，以使指标数据源服务提供指标数据。

在本实施例中，指标数据路径预存在部署物的配置文件中。其中，部署物在K8s环境中代表一组容器组，一组容器组中包括至少一个容器组。

配置文件中指定了数据源路径，并且数据源按照一定规则提供指标数据。将配置文件通过挂载卷的方式挂载到通用数据采集程序容器中。通用数据采集程序读取挂载进来的配置文件，获取数据源的路径，生成指标数据请求。

在实际实施时，还可以通过配置脚本文件的方式获取自定义的指标数据。其中，脚本文件可以为secret脚本文件。

步骤102，对指标数据进行字段处理，得到预处理指标数据。

通用数据采集程序在获得指标数据源服务提供的指标数据后，需要对指标数据进行字段处理。

具体地，对指标数据进行字段处理，得到预处理指标数据，包括：获取第一预设字段；将第一预设字段作为前缀拼接到指标数据的头部。

在本实施例中，第一预设字段包括generic字段和指标数据源的名称字段，其中，指标数据源的名称字段是指通过数据采集程序获取到的指标数据对应业务的预先定义的名称。

在实际实施时，还需要使用预设间隔符作为generic字段、指标数据源的名称字段和指标数据之间的间隔。其中，预设间隔符为“_”。

另外，在指标数据中包含第二预设字段的情况下，需要将第二预设字段拼接到指标数据的尾部，并且以预设间隔符作为第二预设字段与指标数据之间的间隔。其中，第二预设字段可以为unit字段。

具体地，将第一预设字段作为前缀拼接到指标数据的头部之后，还包括：在指标数据包含第二预设字段的情况下，将第二预设字段作为后缀拼接到指标数据的尾部。

步骤103，对预处理指标数据进行格式转换，得到指定格式的指标数据。

通用数据采集程序在得到预处理指标数据后，数据采集程序会将预处理指标数据暴露，此时，需要通过普罗米修斯组件抓取暴露的预处理指标数据，并将预处理指标数据发送给普罗米修斯适配器。

在通过普罗米修斯适配器接收预处理指标数据后，普罗米修斯适配器会对指标数据进行格式转换，得到指定格式的指标数据。其中，指定格式是指容器调度服务（K8s）格式。

具体地，对预处理指标数据进行格式转换，得到指定格式的指标数据，包括：获取预存的格式转换参数；基于格式转换参数，对预处理指标数据进行格式转换，得到指定格式的指标数据。

可选地，格式转换参数包括格式转换语句。格式转换语句预先存储在普罗米修斯适配器的配置文件中。

另外，在实际实施时，需要先通过API Server转发容器组伸缩控制器发送的指标数据查询指令至普罗米修斯适配器，以使普罗米修斯适配器在基于指标数据查询指令的内容生成指标数据获取指令后，将指标数据获取指令发送至普罗米修斯组件，使得普罗米修斯组件在接收到指标数据获取指令后，抓取数据采集程序暴露的预处理指标数据。

步骤104，基于指定格式的指标数据，对业务进行伸缩处理。

在本实施例中，普罗米修斯适配器在完成格式转换，得到指定格式的指标数据之后，会将指定格式的指标数据发送给容器组伸缩控制器，容器组伸缩控制器会将指定格式的指标数据与容器组创建时的预定义指标数据进行对比，根据对比结果，对业务进行伸缩处理。

具体地，基于指定格式的指标数据，对业务进行伸缩处理，包括：获取业务对应的容器组的预定义指标数据；将预定义指标数据与指定格式的指标数据进行对比，得到对比结果；基于对比结果，对业务进行伸缩处理。

另外，由于指标数据中包括至少一个指标的数据，因此，将预定义指标数据与指定格式的指标数据进行对比，是指将预定义指标数据中与指定格式的指标数据中一一对应的指标数据进行对比。

比如：将预定义指标数据中预先设置的内存占用数据与指定格式的指标数据中实际的内存占用数据进行对比；将预定义指标数据中预先设置的中央处理器的占用数据与指定格式的指标数据中实际的中央处理器的占用数据进行对比。

可选地，基于预定义指标数据确定扩容阈值和缩容阈值；在指定格式的指标数据大于或等于扩容阈值的情况下，容器组伸缩控制器通过增加业务对应的容器的数量，对业务进行扩容，提高业务的负载能力；在指定格式的指标数据小于或等于缩容阈值的情况下，容器组伸缩控制器通过减少业务对应的容器的数量，对业务进行缩容，以节省资源。

其中，扩容阈值包括至少一个指标对应的扩容阈值，缩容阈值包括至少一个指标对应的缩容阈值。同一个指标的扩容阈值大于缩容阈值。

综上所述，本实施例中，通过获取指标数据源服务提供的指标数据；对指标数据进行字段处理，得到预处理指标数据；对预处理指标数据进行格式转换，得到指定格式的指标数据；基于指定格式的指标数据，对业务进行伸缩处理。可以解决对于功能复杂的业务而言，改造难度较大，导致存在需要消耗大量的时间和资源完成改造的问题；通过对指标数据源服务提供的指标数据进行字段处理，得到可以被普罗米修斯组件抓取的预处理指标数据，再对预处理数据进行格式转换，得到指定格式的指标数据，无需对业务系统进行改造，避免了因为业务系统改造而导致的资源损耗，因此，可以节省改造损耗的资源。

为了更清楚地理解本申请提供的业务动态伸缩方法，下面对该方法举一个实例进行说明。在本实例中，以获取指标数据源服务提供的指标数据和对指标数据的字段处理为例进行说明，参考图3，该方法包括以下几个步骤：

步骤301，加载部署物配置文件，得到数据源路径；

步骤302，基于数据源路径，生成指标数据请求；

步骤303，向指标数据源服务发送指标数据请求，得到指标数据；

步骤304，将第一预设字段作为前缀与指标数据拼接；

步骤305，判断指标数据中是否包含第二预设字段，在指标数据中包含第二预设字段的情况下，执行步骤306，否则，执行步骤307；

步骤306，将第二预设字段作为后缀与指标数据拼接；

步骤307，将拼接后得到的预处理指标数据暴露。

综上所述，本实施例中，通过加载部署物配置文件，得到数据源路径；基于数据源路径，生成指标数据请求；向指标数据源服务发送指标数据请求，得到指标数据；将第一预设字段作为前缀与指标数据拼接；在指标数据中包含第二预设字段的情况下，将第二预设字段作为后缀与指标数据拼接；通过对指标数据的统一字段处理，得到预处理指标数据，并将预处理指标数据暴露，以使得普罗米修斯组件能够抓取预处理指标数据，无需对业务系统进行改造，避免了因业务系统改造而导致的资源损耗，因此，可以节省改造消耗的资源。

本实施例提供一种业务动态伸缩装置，如图4所示。该装置包括至少以下几个模块：数据获取模块410、数据处理模块420、格式转换模块430以及伸缩控制模块440。

数据获取模块410，用于获取指标数据源服务提供的指标数据；指标数据的格式与指定格式不同；指定格式是指容器调度服务格式；

数据处理模块420，用于对指标数据进行字段处理，得到预处理指标数据；

格式转换模块430，用于对预处理指标数据进行格式转换，得到指定格式的指标数据；

伸缩控制模块440，用于基于指定格式的指标数据，对业务进行伸缩处理。

相关细节参考上述方法和系统实施例。

需要说明的是：上述实施例中提供的业务动态伸缩装置在进行业务动态伸缩时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将业务动态伸缩装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的业务动态伸缩装置与业务动态伸缩方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本实施例提供一种电子设备，如图5所示。该电子设备至少包括处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的业务动态伸缩方法。

在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，计算机可读存储介质中存储有程序，程序由处理器加载并执行以实现上述方法实施例的业务动态伸缩方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，上述所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，可以做出其它不同形式的变化或变动，都应当属于本申请保护的范围。

Claims (10)

1.一种业务动态伸缩方法，其特征在于，所述方法包括：

获取指标数据源服务提供的指标数据；所述指标数据的格式与指定格式不同；所述指定格式是指容器调度服务格式；

对所述指标数据进行字段处理，得到预处理指标数据；

对所述预处理指标数据进行格式转换，得到指定格式的指标数据；

基于所述指定格式的指标数据，对业务进行伸缩处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述指标数据进行字段处理，得到预处理指标数据，包括：

获取第一预设字段；

将所述第一预设字段作为前缀拼接到所述指标数据的头部。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一预设字段作为前缀拼接到所述指标数据的头部之后，还包括：

在所述指标数据包含第二预设字段的情况下，将所述第二预设字段作为后缀拼接到所述指标数据的尾部。

4.根据权利要求1所述的方法，其特征在于，所述对所述预处理指标数据进行格式转换，得到指定格式的指标数据，包括：

获取预存的格式转换参数；

基于所述格式转换参数，对所述预处理指标数据进行格式转换，得到指定格式的指标数据。

5.根据权利要求1所述的方法，其特征在于，所述基于所述指定格式的指标数据，对业务进行伸缩处理，包括：

获取所述业务对应的容器组的预定义指标数据；

将所述预定义指标数据与所述指定格式的指标数据进行对比，得到对比结果；

基于所述对比结果，对所述业务进行伸缩处理。

6.根据权利要求1所述的方法，其特征在于，所述获取指标数据源服务提供的指标数据之前，还包括：

获取预存的指标数据路径；

基于所述指标数据路径，生成指标数据请求；

将所述指标数据请求发送至所述指标数据源服务，以使所述指标数据源服务提供所述指标数据。

7.根据权利要求1所述的方法，其特征在于，所述指标数据包括至少一个指标对应的关键字段、指标说明和指标值。

8.一种业务动态伸缩装置，其特征在于，所述装置包括：

数据获取模块，用于获取指标数据源服务提供的指标数据；所述指标数据的格式与指定格式不同；所述指定格式是指容器调度服务格式；

数据处理模块，用于对所述指标数据进行字段处理，得到预处理指标数据；

格式转换模块，用于对所述预处理指标数据进行格式转换，得到指定格式的指标数据；

伸缩控制模块，用于基于所述指定格式的指标数据，对业务进行伸缩处理。

9.一种电子设备，其特征在于，所述设备包括管理器和存储器；所述存储器中存储有程序，所述程序由所述管理器加载并执行以实现如权利要求1至7任一所述的业务动态伸缩方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被管理器执行时用于实现如权利要求1至7任一所述的业务动态伸缩方法。

Images