CN109150603A - 云服务端自动扩容方法及装置 - Google Patents

Abstract

本发明提供了一种云服务端自动扩容方法及装置，涉及云计算的技术领域，该方法包括：对业务应用进行数据采集，得到实时监控数据；使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果；根据分析结果判断是否需要对线上应用实例进行扩容；如果是，根据分析结果对线上应用实例进行自动扩容。本发明实施例提供的云服务端自动扩容方法及装置，通过预先训练的实例应用模型对采集的实时监控数据进行分析得到分析结果，根据分析结果判断是否需要对线上应用实例进行扩容，如果需要，进行自动扩容。可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本。

Description

云服务端自动扩容方法及装置

技术领域

本发明涉及云计算领域，尤其是涉及一种云服务端自动扩容方法及装置。

背景技术

云计算是网络计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。云计算将计算从用户终端集中到“云端”，是一种基于互联网的计算模式。按照云计算的运营模式，用户只需关心应用的功能，而不必关注应用的实现方式，即各取所需，便可以按自己的需求定制自己的应用。最简单的云计算技术在网络服务中已经随处可见，例如搜索引擎、网路信箱等，使用者只需要输入简单指令即可得到大量信息。云计算不仅用于资料搜寻和分析，未来还可以用于分析DNA结构、基因图谱定序等方面，“云计算”的模式具有规模经济性，所有的应用通过互联网提供给多个外部用户，多个用户共享同一个应用，进而实现计算在用户间的共享，提高处理器和存储设备的利用率。

随着云计算技术的快速发展，越来越多的企业为了降低运营成本，将大量的业务都部署在了云端。但是对于云服务端而言，如何做好应用的服务治理，如何应对访问流量暴增，如何降低人力运维成本，这些都是目前急需解决的问题。当前的主流技术主要是通过将监控数据与已经设定的规则进行匹配，然后触发告警，最后由系统进行处理或者由运维人员现场解决。但是，现有技术存在响应不及时、不精确，运维成本高等问题。

发明内容

有鉴于此，本发明的目的在于提供一种云服务端自动扩容方法及装置，可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本。

第一方面，本发明实施例提供了一种云服务端自动扩容方法，包括：对业务应用进行数据采集，得到实时监控数据；使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果；根据分析结果判断是否需要对线上应用实例进行扩容；如果是，根据分析结果对线上应用实例进行自动扩容。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，还包括：对训练数据进行预处理；使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型的步骤包括：从训练数据中取一个样本(X,Yp)，将X输入卷积神经网络模型；根据X计算出相应的实际输出Op；计算Op与Yp的差值；判断差值是否大于预设阈值；如果差值大于预设阈值，按极小化误差的方法反向传播并调整权值矩阵的值。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，还包括：如果差值小于或等于预设阈值，则继续执行从训练数据中取一个样本(X,Yp)，将X输入卷积神经网络模型的步骤。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预处理包括：数据清洗、数据集成、数据变换、数据归一化和数据标注。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，还包括：将扩容结果反馈到实例应用模型。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，对业务应用进行数据采集，得到实时监控数据的步骤包括：通过监控平台从多个维度对业务应用进行数据采集；在数据库中存储业务应用，得到实时监控数据。

第二方面，本发明实施例还提供一种云服务端自动扩容装置，包括：采集模块，用于对业务应用进行数据采集，得到实时监控数据；分析模块，用于使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果；第一判断模块，用于根据分析结果判断是否需要对线上应用实例进行扩容；扩容模块，用于如果是，根据分析结果对线上应用实例进行自动扩容。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：预处理模块，用于对训练数据进行预处理；训练模块，用于使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，还包括：输入模块，用于从训练数据中取一个样本(X,Yp)，将X输入卷积神经网络模型；第一计算模块，用于根据X计算出相应的实际输出Op；第二计算模块，用于计算Op与Yp的差值；第二判断模块，用于判断差值是否大于预设阈值；调整模块，用于如果差值大于预设阈值，根据差值按极小化误差的方法反向传播并调整权值矩阵的值。

本发明实施例带来了以下有益效果：

本发明实施例提供的云服务端自动扩容方法及装置，通过预先训练的实例应用模型对采集的实时监控数据进行分析得到分析结果，根据分析结果判断是否需要对线上应用实例进行扩容，如果需要，进行自动扩容。可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种云服务端自动扩容方法的流程图；

图2为本发明实施例提供的另一种云服务端自动扩容方法的流程图；

图3为本发明实施例提供的另一种云服务端自动扩容方法的流程图；

图4为本发明实施例提供的一种云服务端自动扩容装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，云计算技术的快速发展也带来了服务难治理、流量暴增、运维成本高等问题，而现有技术中采用的是通过监控数据与设定规则进行匹配的办法，存在着响应不及时、不精确，且人力运维成本较大的问题。基于此，本发明实施例提供的一种云服务端自动扩容方法及装置，可以缩短业务访问时间，提升响应的精确度、降低人力运维成本。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种云服务端自动扩容方法进行详细介绍。

实施例1

本发明实施例1提供了一种云服务端自动扩容方法，参见图1所示的一种云服务端自动扩容方法的流程图，包括如下步骤：

步骤S102，对业务应用进行数据采集，得到实时监控数据。

业务应用，是指通过云服务运行的各种业务。业务应用数据包括访问时间、访问流量、访问地址等。业务应用数据需要通过监控平台从多个维度采集并保存到数据库中，例如，可以按照以下步骤执行：

(1)通过监控平台从多个维度对业务应用进行数据采集。

监控平台软件是基于网络的全数字化的信息传输和管理系统，实现了监控联网、集中管理，授权用户可在网络的任何计算机上对监控现场实时监控，提供了强大的、灵活的网络集中监控综合解决方案。维度包括：CPU(Central Processing Unit，中央处理器)、内存、网络、I/O(Input/Output，输入/输出端口)、日志等。

(2)在数据库中存储业务应用，得到实时监控数据。

将采集得到的业务应用存储到数据库中，得到实时监控数据，包括实时访问时间。数据库可以为结构化数据库或非结构化数据库。

步骤S104，使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果。

在线上环境下，通过预先训练的实例应用模型，针对当前时间点采集的实时监控数据进行分析，得到分析结果。

步骤S106，根据分析结果判断是否需要对线上应用实例进行扩容。如果是，执行步骤S108；如果否，结束。

分析结果是指实例应用模型计算得到的是否需要扩容的结论。

步骤S108，根据分析结果对线上应用实例进行自动扩容。

如果通过实例应用模型计算，得到了需要扩容的结论，自动对应用实例进行合理的横向扩容。

本发明实施例提供的上述方法，通过预先训练的实例应用模型对采集的实时监控数据进行分析得到分析结果，根据分析结果判断是否需要对线上应用实例进行扩容，如果需要，进行自动扩容。可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本。

实例应用模型需要使用训练数据，通过训练得到。因此，在上述方法的基础上还包括训练实例应用模型的步骤，上述方法还包括：

(1)对训练数据进行预处理。

训练数据指的是历史监控数据，通过对业务应用数据采集得到。预处理在离线环境下进行，包括：数据清洗、数据集成、数据变换、数据归一化和数据标注。数据清洗是将一些垃圾信息、无效信息、不一致信息和重复信息进行过滤。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中。数据变换，是指将数据经过适当的转换，如平方根转换、对数转换、平方根反正弦转换，则可以使数据满足方差分析的要求。数据归一化就是将数据进行限制，利用离差标准化把数据映射到0-1范围之内。数据标注是指对训练数据进行整理与标注。

(2)使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

训练对象为卷积神经网络模型，通过预处理后的训练数据进行训练。实例应用模型为训练完成的卷积神经网络模型。卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。对卷积神经网络模型进行训练，参见图2所示的另一种云服务端自动扩容方法的流程图，包括如下步骤：

步骤S202，从训练数据中取一个样本(X,Yp)，将X输入卷积神经网络模型。

样本从预处理后的训练数据中得到，包括访问时间和访问流量。(X,Yp)中，X是指访问时间，Yp是指访问流量。

步骤S204，根据X计算出相应的实际输出Op。

通过预设的卷积神经网络模型，根据访问时间X，计算实际输出Op。Op可以按照以下算式计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果。

步骤S206，计算Op与Yp的差值。

比较实际输出Op与访问流量Yp的差值。

步骤S208，判断差值是否大于预设阈值。如果是，执行步骤S210；如果否，执行步骤S202。

步骤S210，按极小化误差的方法反向传播并调整权值矩阵的值。

如果差值大于预设阈值，通过极小化误差的方法反向传播并调整权值矩阵的值，改进卷积神经网络模型。如果差值小于等于预设阈值，则继续下一组样本计算。预设阈值可以手动设置。

本发明实施例提供的上述方法，通过训练卷积神经网络模型，得到实例应用模型，可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本。

为了进一步优化实例应用模型，需要将扩容结果反馈到实例应用模型。在上述方法还包括：将扩容结果反馈到实例应用模型。

扩容结果分为自动扩容的容量满足实际需要、超出实际需要和不足实际需要。

本发明实施例提供的上述方法，将扩容结果反馈到实例应用模型，可以对实例应用模型进行进一步的优化。

本实施例提供的一种云服务端自动扩容方法，通过预先训练的实例应用模型对采集的实时监控数据进行分析得到分析结果，根据分析结果判断是否需要对线上应用实例进行扩容，如果需要，进行自动扩容，训练卷积神经网络模型得到实例应用模型，并将扩容结果反馈到实例应用模型。可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本，对实例应用模型进行进一步的优化。

实施例2

本发明实施例2提供了一种云服务端自动扩容方法，参见图3所示的另一种云服务端自动扩容方法的流程图，包括如下步骤：

步骤S302，对业务应用进行数据采集，得到实时监控数据和训练数据。

根据访问时间，决定采集的业务数据属于实时监控数据或训练数据。如果访问时间与当前时间相差不超过设定阈值，即为实时监控数据，如果访问时间与当前时间相差超过设定阈值，即为训练数据。阈值可以手动设置

步骤S304，对训练数据进行预处理。

预处理包括数据清洗、数据集成、数据变换、数据归一化和数据标注。

步骤S306，使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

实例应用模型通过预处理后的训练数据对卷积神经网络模型得到，可以增加预测的准确性。

步骤S308，使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果。

预先训练的实例应用模型为卷积神经网络模型，使用该模型对实时监控数据进行分析并得到分析结果。

步骤S310，根据分析结果判断是否需要对线上应用实例进行扩容。如果是，执行步骤S312；如果否，结束。

分析结果是指实例应用模型计算得到的是否需要扩容的结论。

步骤S312，根据分析结果对线上应用实例进行自动扩容。

如果通过实例应用模型计算，得到了需要扩容的结论，自动对应用实例进行合理的横向扩容。

步骤S314，将扩容结果反馈到实例应用模型。

将扩容结果反馈到实例应用模型，对实例应用模型进行进一步的优化。

本实施例提供的一种云服务端自动扩容方法，采集业务应用得到实时监控数据和训练数据，使用预处理后的训练数据训练实例应用模型，通过实例应用模型对实时监控数据进行分析得到分析结果，根据分析结果判断是否需要对线上应用实例进行扩容，如果需要，进行自动扩容，并将扩容结果反馈到实例应用模型。可以缩短访问流量暴增时的响应时间，提升响应的精确度、降低人力运维成本，对实例应用模型进行进一步的优化。

实施例3

本发明实施例3提供一种云服务端自动扩容装置，参见图4所示的一种云服务端自动扩容装置的结构示意图，包括采集模块41、分析模块42、第一判断模块43和扩容模块44，上述各模块的功能如下：

采集模块41，用于对业务应用进行数据采集，得到实时监控数据；

分析模块42，用于使用预先训练的实例应用模型对实时监控数据进行分析，得到分析结果；

第一判断模块43，用于根据分析结果判断是否需要对线上应用实例进行扩容；

扩容模块44，用于如果是，根据分析结果对线上应用实例进行自动扩容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的云服务端自动扩容装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例提供的云服务端自动扩容装置，与上述实施例提供的云服务端自动扩容方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种云服务端自动扩容方法，其特征在于，包括：

对业务应用进行数据采集，得到实时监控数据；

使用预先训练的实例应用模型对所述实时监控数据进行分析，得到分析结果；

根据所述分析结果判断是否需要对线上应用实例进行扩容；

如果是，根据所述分析结果对所述线上应用实例进行自动扩容。

2.根据权利要求1所述的方法，其特征在于，还包括：

对训练数据进行预处理；

使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

3.根据权利要求2所述的方法，其特征在于，所述使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型的步骤包括：

从所述训练数据中取一个样本(X,Yp)，将所述X输入所述卷积神经网络模型；

根据所述X计算出相应的实际输出Op；

计算所述Op与所述Yp的差值；

判断所述差值是否大于预设阈值；

如果所述差值大于所述预设阈值，按极小化误差的方法反向传播并调整权值矩阵的值。

4.根据权利要求3所述的方法，其特征在于，还包括：

如果所述差值小于或等于所述预设阈值，则继续执行所述从所述训练数据中取一个样本(X,Yp)，将所述X输入所述卷积神经网络模型的步骤。

5.根据权利要求2所述的方法，其特征在于，所述预处理包括：数据清洗、数据集成、数据变换、数据归一化和数据标注。

6.根据权利要求1所述的方法，其特征在于，还包括：将扩容结果反馈到所述实例应用模型。

7.根据权利要求1所述的方法，其特征在于，所述对业务应用进行数据采集，得到实时监控数据的步骤包括：

通过监控平台从多个维度对业务应用进行数据采集；

在数据库中存储所述业务应用，得到实时监控数据。

8.一种云服务端自动扩容装置，其特征在于，包括：

采集模块，用于对业务应用进行数据采集，得到实时监控数据；

分析模块，用于使用预先训练的实例应用模型对所述实时监控数据进行分析，得到分析结果；

第一判断模块，用于根据所述分析结果判断是否需要对线上应用实例进行扩容；

扩容模块，用于如果是，根据所述分析结果对所述线上应用实例进行自动扩容。

9.根据权利要求8所述的装置，其特征在于，还包括：

预处理模块，用于对训练数据进行预处理；

训练模块，用于使用预处理后的训练数据对卷积神经网络模型进行训练，得到实例应用模型。

10.根据权利要求9所述的装置，其特征在于，还包括：

输入模块，用于从所述训练数据中取一个样本(X,Yp)，将所述X输入所述卷积神经网络模型；

第一计算模块，用于根据所述X计算出相应的实际输出Op；

第二计算模块，用于计算所述Op与所述Yp的差值；

第二判断模块，用于判断所述差值是否大于预设阈值；

调整模块，用于如果所述差值大于所述预设阈值，根据所述差值按极小化误差的方法反向传播并调整权值矩阵的值。