CN108984269A - 基于随机回归森林模型的容器资源供给方法及系统 - Google Patents

Abstract

本发明提供了一种基于随机回归森林模型的容器资源供给方法，其在负载动态变化的情况下，以用户实际响应时间和访问量为依据，迅速对变化为高负载的微服务进行扩容以解决大量用户一起访问同一个服务所造成的负载过重、响应时间过长的问题；并且当服务器为高负载服务集群提供大量容器资源后，负载突然递减时，能够对处于低负载的微服务快速回收资源，以达到保证用户服务质量和优化资源利用的目的。

Description

基于随机回归森林模型的容器资源供给方法及系统

技术领域

本发明涉及微服务网关技术领域，更具体地，涉及一种基于随机回归森林模型的容器资源供给方法及系统。

背景技术

随着互联网发展的日新月异，集群技术不断更新换代，传统的单体式应用随着时间推移，弊端不断显现。微服务架构（Microservice）顺应了互联网应用设计的思想，其细粒度模块划分、服务化接口封装、轻量级（Restful）通信交互，具有以下优势：

（1）每个服务都比较简单，只关注于一个业务功能；

（2）微服务架构方式是松耦合的，可以提供更高的灵活性；

（3）微服务可通过最佳及最合适的不同的编程语言与工具进行开发，能够做到有的放矢地解决针对性问题；

（4）每个微服务可由不同团队独立开发，互不影响，加快推出市场的速度；

（5）微服务架构是持续交付(CD)的巨大推动力，允许在频繁发布不同服务的同时保持系统其他部分的可用性和稳定性。

面对激增的互联网用户，微服务集群中的某些服务随时面临着负载动态变化的情况，尤其是负载爆发式增长的情况下如何去满足用户的需求是一个难题；并且当服务器为高负载服务集群提供大量容器资源后，负载突然递减时，怎样合理的收回部分容器以避免浪费是一个必须解决的问题。

当微服务集群中的服务面临过大负载时，用户将面临等待时间过长，或者出现拒绝访问的情况。当微服务集群中某些服务面对大量负载时，现阶段的策略是：一方面可以通过提高部署这些微服务的服务器处理性能，来提高集群整理性能，但单个服务器性能有上限，因此微服务总体性能也有上限；另一方面，可以通过适当扩展容器实例、扩大微服务集群容量来提高集群的整体性能，这种方法与前一种相比更加灵活方便。

在面对动态的负载变化时，既要保证服务的可用性和满足用户请求的等待时间，从而保证服务质量，也要保证最大化发挥资源价值，避免造成浪费。由于在同一时间内，不同服务的负载是不一样的，因此本发明提出一种动态负载情况下，微服务容器资源合理地调度方案，在保证用户服务质量的前提下以尽可能的减少容器资源损耗。

发明内容

本发明通过对现有的微服务负载调度的研究，借助新兴的Docker容器技术轻量化，启动快等特点，提出一种基于随机回归森林模型的容器资源供给方法。在负载动态变化的情况下，以用户实际响应时间和访问量为依据，迅速对变化为高负载的微服务进行扩容以解决大量用户一起访问同一个服务所造成的负载过重、响应时间过长的问题；并且当服务器为高负载服务集群提供大量容器资源后，负载突然递减时，能够对处于低负载的微服务快速回收资源，以达到保证用户服务质量和优化资源利用的目的。

为实现以上发明目的，采用的技术方案是：

一种基于随机回归森林模型的容器资源供给方法，包括以下步骤：

S1.数据采集器周期性从网关处统计用户访问的记录详情，统计出各服务的响应时间和访问量；

S2.服务调度器周期性地向数据采集器请求统计到的各个服务的响应时间和访问量，然后使用自回归时间序列方法分别基于各个服务的响应时间和访问量构建相应的预测模型，对各个服务未来一段时间内的响应时间和访问量进行预测；

S3.服务调度器根据预测的响应时间判断各个服务在未来一段时间内的负载状态，形成高负载列表、低负载列表、正常负载列表，交由调度执行器处理；

S4.调度执行器获得负载列表，将高负载列表和低负载列表交给有针对性弹性收缩器进行处理；所述有针对性弹性收缩器的分析处理数据模型为基于随机回归森林的模型；

S5.有针对性弹性收缩器对高、低负载列表中的服务分别进行遍历处理，对于每一个服务，根据统计到的在一个周期内服务的响应和访问量得到一个数值X，在此期间保护冷却时间调度，将高、低负载列表中的服务对应的X值交由调度执行器处理，最后执行相应的调度。

优选地，所述步骤S1对用户访问记录详情的响应时间和访问量进行实时的卡尔曼滤波处理。

优选地，所述服务调度器通过设置阈值进行对比判断来得到高负载列表、低负载列表、正常负载列表，其中设置的阈值包括R_u1 ⁱ，R_u2 ⁱ，R_u3 ⁱ，R_d1 ⁱ ，R_d2 ⁱ ，R_d3 ⁱ，其中R_u1 ⁱ，R_u2 ⁱ，R_u3 ⁱ反映高负载的负载过重程度，R_d1 ⁱ ，R_d2 ⁱ ，R_d3 ⁱ反应低负载的负载过轻程度。

优选地，所述有针对性弹性收缩器的分析处理数据模型需要经过训练过程的处理，其训练的具体过程如下：

(1) 给定训练集S（访问量，响应时间，建议开设容器数），测试集T（访问量，响应时间，建议开设容器数），特征维数F；

确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f；

终止条件：节点上最少样本数s，节点上最少的信息增益m；

对于第1-t棵树，i=1-t；

(2) 从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3) 如果当前节点上达到终止条件，则设置当前节点为叶子节点，预测输出为当前节点样本集各个样本值的平均值；然后继续训练其他节点；如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征；利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于阈值th的样本被划分到左节点，其余的被划分到右节点；继续训练其他节点；

(4) 重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点；

(5) 重复(2)，(3)，(4)直到所有CART都被训练过。

优选地，有针对性弹性收缩器的分析处理数据模型预测得到数值X的具体过程如下：

对于第1-t棵树，i=1-t：

(1) 从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点(<th)还是进入右节点(>=th)，直到到达某个叶子节点，并输出预测值X_i；

(2) 重复执行(1)直到所有t棵树都输出了预测值；输出为所有树的输出的平均值X。

优选地，将高、低负载列表中的服务对应的X值交由调度执行器处理的具体过程如下：

①对于高负载列表中的服务：

根据统计到的在一个周期内服务的响应和访问量得到一个数值X，将这个X值与此服务对应的资源池容器数量Y和此服务的实际开设容器数量Z的求和结果（Y+Z）进行比较，如果X不大于（Y+Z），则直接调用资源池中的容器进行扩容处理，否则在调用资源池中的容器的基础上，再额外启动（X-Y-Z）个容器；

②对于低负载列表中的服务：

根据统计到的在一个周期内服务的响应时间和访问量得到一个数值X，将这个X值与此服务的实际开设容器数量Z进行比较，如果X小于Z，则收回（Z-X）个容器，否则不做处理。

同时，本发明还提供了一种应用以上方法的系统，包括数据采集器、服务调度器、调度执行器和有针对性弹性收缩器。

附图说明

图1为方法的流程示意图。

图2为时间窗T内收集到的关于服务i的平均响应时间示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图1所示，一种基于随机回归森林模型的容器资源供给方法，包括有以下步骤：

步骤一、数据采集器周期性从网关处统计用户访问的记录详情，由于存在网络等不可控的因素，导致采集的数据可能出现大的波动，不能有效的反应服务当前的状态，所以采用卡尔曼滤波，对采集的响应时间和访问量进行实时滤波处理，使数据更加的平滑，更能反映出服务的状态。通过对记录详情进行分类、加权等的预处理，统计出各服务的响应时间和访问量。

步骤二、服务调度器周期性向数据采集器请求统计到的各个服务的响应时间和访问量，然后用自回归时间序列方法分别基于各个服务的响应时间和访问量的数据构建相应的预测模型，对各个服务未来一段时间内的响应时间和访问量进行预测；

步骤三、服务调度器根据预测的响应时间判断各个服务在未来一段时间内的负载状态，形成高负载列表、低负载列表、正常负载列表，交由调度执行器处理；

判断各个服务在未来一段时间内的负载状态的具体如图2所示，图中横坐标表示时间，纵坐标表示响应时间，图中的点表示一个时间窗T内收集到的关于服务i的平均响应时间，时间窗T的大小反映了此系统的灵敏程度，大小视情况而定。而负载状态的判断即高负载、低负载、正常负载的判断依据主要是微服务的负载“程度”。

本发明设定六个阈值，分别是：R_u1 ⁱ，R_u2 ⁱ，R_u3 ⁱ，R_d1 ⁱ ，R_d2 ⁱ ，R_d3 ⁱ,前三个阈值反映的是高负载的负载过重程度，后三个阈值反应的是低负载的负载过轻程度，其中R_u1 ⁱ<R_u2 ⁱ<R_u3 ⁱ，R_d1 ⁱ<R_d2 ⁱ<R_d3 ⁱ。

高负载判断公式如下：

Cu1i=（Ru1i）

步骤四、调度执行器获得负载列表，将高负载列表和低负载列表交给有针对性弹性收缩器进行处理。有针对性弹性收缩器的分析处理数据模型为基于随机回归森林的模型。

步骤五、有针对性弹性调度器对高、低负载列表中的服务分别进行遍历处理。对于每一个服务，根据统计到的在一个周期内服务的响应和访问量得到一个数值X，在此期间保护冷却时间调度，将高、低负载列表中的服务对应的X值交由调度执行器处理，最后执行相应的调度。

基于随机回归森林的模型指的是利用多棵树对样本进行训练并预测的一种分类器。简单来说，随机森林就是由多棵CART（Classification And Regression Tree）构成的。对于每棵树，它们使用的训练集是从总的训练集中有放回采样出来的，这意味着，总的训练集中的有些样本可能多次出现在一棵树的训练集中，也可能从未出现在一棵树的训练集中。在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机地无放回的抽取的，假设总的特征数量为M，这个比例可以是sqrt(M),1/2sqrt(M),2sqrt(M)。

因此，随机森林的训练过程可以总结如下：

(1) 给定训练集S（访问量，响应时间，建议开设容器数），测试集T（访问量，响应时间，建议开设容器数），特征维数F。确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f。终止条件：节点上最少样本数s，节点上最少的信息增益m。

对于第1-t棵树，i=1-t：

(2) 从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3) 如果当前节点上达到终止条件，则设置当前节点为叶子节点，预测输出为当前节点样本集各个样本值的平均值。然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点；

(4) 重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点；

(5) 重复(2),(3),(4)直到所有CART都被训练过。

利用随机森林的预测过程如下：

对于第1-t棵树，i=1-t：

(1) 从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点(<th)还是进入右节点(>=th)，直到到达，某个叶子节点，并输出预测值X_i。

(2) 重复执行(1)直到所有t棵树都输出了预测值。输出为所有树的输出的平均值X。

X值交由调度执行器处理具体步骤如下：

①对于高负载列表中的服务：

当微服务负载突然剧增时，高负载列表里的服务面临大量的访问量和较长的响应时间时，根据统计到的在一个周期内服务的响应和访问量得到一个数值X，将这个X值与此服务对应的资源池容器数量Y（后文有详细介绍）和此服务的实际开设容器数量Z的求和结果（Y+Z）即进行比较，如果X不大于（Y+Z），则直接调用资源池中的容器进行扩容处理，否则在调用资源池中的容器的基础上，再额外启动（X-Y-Z）个容器。这样就可以快速的降低此服务的负载，已达到与用户约定的服务标准；

②对于低负载列表中的服务：

当解决了高负载微服务的大规模访问量的情况后，势必会带来服务负载剧烈降低，容器资源过剩的问题，许多资源处于不工作状态，造成了资源的浪费。此时，根据统计到的在一个周期内服务的响应时间和访问量得到一个数值X，将这个X值与此服务的实际开设容器数量Z进行比较，如果X小于Z，则收回（Z-X）个容器，否则不做处理。

每个服务对应的资源池容器数量Y，是由近期数据库统计的此服务的响应时间和访问量再进行分类、加权等的预处理，最后得到一组具有能够衡量近期此服务的负载情况的数值对L（访问量，响应时间），将此数值对L交给有针对性弹性调度器进行处理得到W，再进行系数处理即Y = k_3*W，最后得到Y值。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于随机回归森林模型的容器资源供给方法，其特征在于：包括以下步骤：

S1.数据采集器周期性从网关处统计用户访问的记录详情，统计出各服务的响应时间和访问量；

S2.服务调度器周期性地向数据采集器请求统计到的各个服务的响应时间和访问量，然后使用自回归时间序列方法分别基于各个服务的响应时间和访问量构建相应的预测模型，对各个服务未来一段时间内的响应时间和访问量进行预测；

S3.服务调度器根据预测的响应时间判断各个服务在未来一段时间内的负载状态，形成高负载列表、低负载列表、正常负载列表，交由调度执行器处理；

S4.调度执行器获得负载列表，将高负载列表和低负载列表交给有针对性弹性收缩器进行处理；所述有针对性弹性收缩器的分析处理数据模型为基于随机回归森林的模型；

S5.有针对性弹性收缩器对高、低负载列表中的服务分别进行遍历处理，对于每一个服务，根据统计到的在一个周期内服务的响应和访问量得到一个数值X，在此期间保护冷却时间调度，将高、低负载列表中的服务对应的X值交由调度执行器处理，最后执行相应的调度。

2.根据权利要求1所述的基于随机回归森林模型的容器资源供给方法，其特征在于：所述步骤S1对用户访问记录详情的响应时间和访问量进行实时的卡尔曼滤波处理。

3.根据权利要求1所述的基于随机回归森林模型的容器资源供给方法，其特征在于：所述服务调度器通过设置阈值进行对比判断来得到高负载列表、低负载列表、正常负载列表，其中设置的阈值包括R_u1 ⁱ ，R_u2 ⁱ ，R_u3 ⁱ ，R_d1 ⁱ ，R_d2 ⁱ ，R_d3 ⁱ，其中R_u1 ⁱ ，R_u2 ⁱ ，R_u3 ⁱ反映高负载的负载过重程度，R_d1 ⁱ ，R_d2 ⁱ ，R_d3 ⁱ反应低负载的负载过轻程度。

4.根据权利要求1~3任一项所述的基于随机回归森林模型的容器资源供给方法，其特征在于：所述有针对性弹性收缩器的分析处理数据模型需要经过训练过程的处理，其训练的具体过程如下：

(1) 给定训练集S（访问量，响应时间，建议开设容器数），测试集T（访问量，响应时间，建议开设容器数），特征维数F；

确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f；

终止条件：节点上最少样本数s，节点上最少的信息增益m；

对于第1-t棵树，i=1-t；

(2) 从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3) 如果当前节点上达到终止条件，则设置当前节点为叶子节点，预测输出为当前节点样本集各个样本值的平均值；然后继续训练其他节点；如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征；利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于阈值th的样本被划分到左节点，其余的被划分到右节点；继续训练其他节点；

(4) 重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点；

(5) 重复(2)，(3)，(4)直到所有CART都被训练过。

5.根据权利要求4所述的基于随机回归森林模型的容器资源供给方法，其特征在于：有针对性弹性收缩器的分析处理数据模型预测得到数值X的具体过程如下：

对于第1-t棵树，i=1-t：

(1) 从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点(<th)还是进入右节点(>=th)，直到到达某个叶子节点，并输出预测值X_i；

(2) 重复执行(1)直到所有t棵树都输出了预测值；输出为所有树的输出的平均值X。

6.根据权利要求5所述的基于随机回归森林模型的容器资源供给方法，其特征在于：将高、低负载列表中的服务对应的X值交由调度执行器处理的具体过程如下：

对于高负载列表中的服务：

根据统计到的在一个周期内服务的响应和访问量得到一个数值X，将这个X值与此服务对应的资源池容器数量Y和此服务的实际开设容器数量Z的求和结果（Y+Z）进行比较，如果X不大于（Y+Z），则直接调用资源池中的容器进行扩容处理，否则在调用资源池中的容器的基础上，再额外启动（X-Y-Z）个容器；

对于低负载列表中的服务：

根据统计到的在一个周期内服务的响应时间和访问量得到一个数值X，将这个X值与此服务的实际开设容器数量Z进行比较，如果X小于Z，则收回（Z-X）个容器，否则不做处理。

7.一种根据权利要求1~6任一项所述方法的系统，其特征在于：包括数据采集器、服务调度器、调度执行器和有针对性弹性收缩器。