CN108874537A - 基于分段的自适应动态调整线程池大小的方法 - Google Patents

Abstract

本发明提供的是一种基于分段的自适应动态调整线程池大小的方法。一，配置线程池动态改变大小的上限T_max和下限T_min；二，如果用户请求数量处于上升阶段，使用调整因子向上调线程池的大小；三，如果用户请求数量处于平稳阶段，当用户的请求数大于线程池中的工作线程数量时，以用户请求量为调整线程池大小的目标；四，如果用户请求数量处于下降阶段，使用调整因子向下调线程池的大小；五，线程池大小调整分别同上限T_max和下限T_min比较，大于T_max时，使用T_max作为线程池大小；小于T_min时，使用T_min作为线程池的大小。本发明通过监测线程池的状态并对线程池的尺寸进行调整，最大限度地满足用户的需求。

Description

基于分段的自适应动态调整线程池大小的方法

技术领域

本发明涉及的是一种调整线程池大小的方法，具体地说是一种用于动态调整线程池大小的方法。

背景技术

在互联网技术中线程池得到了广泛的应用,通过引入线程池可以有效的管理线程、控制线程上限总数、以及减少创建和销毁线程所带来的开销。在实际应用中,随着业务的逐步庞大,一个系统对其他越来越多的系统调用增加,在系统中采用统一的线程池实例,可以统一有效的管理线程、减少创建和销毁线程的开销。

线程池技术正是减少线程创建和销毁开销需求的产物，是指在服务器内存中预先创建一定数量的线程，集中管理调度线程，从而来提高系统并发能力。线程池技术在网络类应用服务上有天然的优势，是因为线程池技术有以下特点：

1)线程池的大小可以控制；在内存中预先创建一定数量的线程，通过控制线程的数量，来控制线程池所消耗的内存。

2)对请求的响应速度快；请求到达时，直接使用已有的线程，不需要临时创建线程，可以在最短的时间内处理请求。多请求到达时，并发处理，不需要阻塞等待，并且能够复用线程资源，有效减少因为线程的创建和销毁引起的系统开销。

在线程池技术在应用服务上越来越流行，凡事都有两面性，线程池技术是基于多线程技术实现的，所以在克服传统多线程技术的缺点的同时，在应用的时候还是会有一定的风险，

(1)线程的数量没有上下限制，过于频繁的创建和销毁线程会增加系统的开销，与使用线程池的初衷(减少线程创建和销毁开销)相悖；当请求激增时，可能会因为资源耗尽引发系统的崩溃。

(2)线程的数量过大，系统中参与处理请求的线程过多，多线程之间的同步开销增减变得复杂，同时由于维持线程运行的系统内存开销加大，会造成系统响应的迟缓；

(3)线程的数量过小，线程池中的没有空闲线程，一个新的请求到达，需要放在阻塞队列中等待，影响系统的响应速度。

关于线程池大小调整的方法的公开文献较多，各有其优缺点。如申请号为201510974829.6的专利文件中公开的《用于调整线程池容量的方法及装置》只是对比系统资源对线程池大小的影响，从而找到最优的线程池大小。但是忽略了线程池大小中对任务或者用户请求的响应，导致在在多任务的硬件平台使用线程池时，调整策略失效。再如申请号为201610154360.6的专利文件中公开的《一种线程池管理方法及装置》，多任务共用同一个线程池，增加了线程池调度的复杂性，而且线程池的限制不合理，可能导致线程池频繁的创建和销毁线程池，增加了线程池使用时的资源消耗。

发明内容

本发明的目的在于提供一种能够更好地动态调整线程池大小的基于分段的自适应动态调整线程池大小的方法。

本发明的目的是这样实现的：

步骤一，对用户请求的历史数据进行分析，配置线程池动态改变大小的上限T_max和下限T_min；

步骤二，如果用户请求数量处于上升阶段，使用调整因子向上调线程池的大小，具体包括：当用户的请求数小于线程池中的工作线程数量时，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，使用平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子；

步骤三，如果用户请求数量处于平稳阶段，当用户的请求数小于线程池中的工作线程数量时，线程池的大小满足对用户请求的处理的需求；当用户的请求数大于线程池中的工作线程数量时，以用户请求量为调整线程池大小的目标；

步骤四，如果用户请求数量处于下降阶段，使用调整因子向下调线程池的大小，具体包括：当用户的请求数小于线程池中的工作线程数量时，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，使用平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子；

步骤五，线程池大小调整分别同上限T_max和下限T_min比较，大于T_max时，使用T_max作为线程池大小；小于T_min时，使用T_min作为线程池的大小。

通过对线程池中的相关问题分析以及动态线程池中基于平均数的自适动态线程池的分析，不难得到在动态线程池大小的调整的关键是在最大可能的程度上保证对用户请求的处理和响应的前提下，尽可能的节约系统资源。在动态线程池大小的调整时，首先要面向用户的请求，在有限的时间内尽可能的响应用户的请求，即系统平均响应时间短。其次要面向系统，在某一时间片内，动态线程池内的工作线程数量一定，但是系统接受的请求数确实一个为之的随机数，系统的处理能力需要有一定的伸缩性，以保证系统有高的吞吐率前提下，消耗资源降低

在系统接受的请求数下下降阶段时，线程池中的工作线程数大于系统当前的请求数，虽然可以对用户的请求快速响应，但是空置的线程浪费系统资源；在系统接受的请求数上升阶段时，线程池的工作线程数的增加对比系统当前请求数的变化有一定的滞后，在工作线程数达到上限时，不能快速的响应用户的请求。所以说基于平均数的自适应算法并不能很好的调整动态线程池的大小。

附图说明

图1为基于分段的自适应线程池大小调整方法实现流程。

图2是基于分段的自适应线程池的大小随请求变化示意图。

具体实施方式

本发明的主要技术步骤包括：

1)通过对用户请求的历史数据进行科学分析，配置线程池动态改变大小的上限T_max和下限T_min；

2)如果用户请求数量处于上升阶段，根据不同的情况，使用不同的调整因子向上调线程池的大小，从而满足用户需求；当用户的请求数小于线程池中的工作线程数量时，表示线程池的中的线程数量富余，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，小幅调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，表示线程池过载，通过平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子。

3)如果用户请求数量处于平稳阶段，表示用户请求稳定波动。当用户的请求数小于线程池中的工作线程数量时，线程池的大小满足对用户请求的处理的需求。当用户的请求数大于线程池中的工作线程数量时，以用户请求量为调整线程池大小的目标。

4)如果用户请求数量处于下降阶段，根据不同的情况，使用不同的调整因子向下调线程池的大小，从而满足用户需求；当用户的请求数小于线程池中的工作线程数量时，表示线程池的中的线程数量富余，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，小幅调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，表示线程池过载，通过平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子。

5)线程池大小调整分别同上限T_max和下限T_min比较，大于T_max时，使用T_max作为线程池大小；小于T_min时，使用T_min作为线程池的大小。

下面举例对本发明做更详细的描述。

在线程池大小动态调整时，首先要面向用户的请求，在有限的时间内尽可能的响应用户的请求，即系统平均响应时间短。其次要面向系统，系统有更高的吞吐量，而且系统的负载更低。在某一时间片内，线程池中的可用线程数量是一定的，而用户请求是随机的，这就会造成系统的处理能力与用户需求不匹配的情况。该方法的基本思想是监测线程池的状态，并对线程池的尺寸进行调整，以最大限度地满足用户的需求。

(1)线程池大小上限T_max和下限T_min的确定

根据系统在不同时段里的承受能里，做出相应的调整根据，可以根据用户访问数量，通过对历史访问量的科学统计，通过对不同时段用户请求数量的波峰和波谷的平均值，设定线程池的上限T_max和T_min。线程池的大小在上限T_max和下限T_min之间动态改变。由于动态线程池在创建和销毁工作线程时消耗一定的系统资源，所以在设定动态线程池的下线限T_min要适量增大；线程池的上限T_max要适量减小。

当线程池中的工作线程数量增加到上限后，就停止增长，维持在T_max避免因为线程数量过多造成系统资源耗尽。

当线程池中的工作线程数量减少到下限后，就停止减少，维持在T_min避免因为请求数量平凡增减引起的线程频繁创建和销毁。

(2)线程池大小在T_max和下限T_min之间的动态调整

线程池的大小自适应请求的变化而改变。对于任何系统，用户请求数量在一段时间内会呈现：请求数量增加阶段、请求数量平稳阶段、请求数量下降阶段。当前请求数量和线程数量分别为R_n、T_n；具有调整流程如图1所示。

在请求数量上升阶段，系统接受的请求数量增加，需要提高系统的并发处理请求能力，加大线程池的大小，新创建工作线程，来满足系统需求。

T_n+1＝R_n(1+α)，R_n≥R_n-1≥R_n-2且R_n≥T_n

T_n+1＝(T_n+R_n)/2+αR_n)，R_n≥R_n-1≥R_n-2且R_n＜T_n

上述等式中，α＝(R_n-R_n-1)/R_n，α为动态因子，使动态调整的线程池的大小预测的更加稳定。

在上升阶段，有两种情况出现，即当前系统接受的全部请求数R_n大于等于或者小于系统中当前的线程数量T_n。为了使用系统能够尽快的响应用户的请求，若R_n≥T_n，线程池里面的工作线程数量不能满足用户的需求，所以线程池的大小以R_n为调整基数；若R_n＜T_n，线程池里面的工作线程数量能满足用户的需求，但是由于处于用户请求增加阶段，所以线程池大小以(T_n+R_n)/2为调整基数，在这种情况下通过并改进基于平均数的自适应算法，不但保证了稳定性又同时能够满足用户需求，如图2所示，线程池中的工作线程数量，在用户请求数附近稳定波动。

在请求数平稳阶段，系统接受的用户请求数量总体呈稳定性的波动，通过以下算法来预测线程池的大小：

T_n+1＝R_n，R_n＞R_n-1＜R_n-2或R_n＜R_n-1＞R_n-2且R_n≥T_n

T_n+1＝T_n，R_n＞R_n-1＜R_n-2或R_n＜R_n-1＞R_n-2且R_n＜T_n

由于稳定波动，所以直接以系统接受的用户请求数和当前的线程池大小中，数量大的作为R_n+1，这样做可以使运算开销减小，线程池调整的频率降低，进而提升了系统性能。

在下降段，系统接受的用户请求整体上呈现下降趋势，这时需要下调线程池中的工作线程数量来满足用户的需求。

T_n+1＝R_n(1+α)，R_n≤R_n-1≤R_n-2且R_n≥T_n

T_n+1＝(T_n+R_n)/2+αR_n)，R_n≤R_n-1≤R_n-2且R_n＜T_n

上述等式中，α＝(R_n-R_n-1)/R_n，α为动态因子，使动态调整的线程池的大小预测的更加稳定。如图2所示，线程池中的工作线程数量，在用户请求数附近稳定波动。

在下降阶段，同样有两种情况出现，即当前系统接受的全部请求数R_n大于等于或者小于系统中当前的线程数量T_n。若R_n≥T_n，所以线程池的大小以R_n为调整基数；若R_n＜T_n，线程池大小以(T_n+R_n)/2为调整基数。

Claims (3)

1.一种基于分段的自适应动态调整线程池大小的方法，其特征是：

步骤一，对用户请求的历史数据进行分析，配置线程池动态改变大小的上限T_max和下限T_min；

步骤二，如果用户请求数量处于上升阶段，使用调整因子向上调线程池的大小；

步骤三，如果用户请求数量处于平稳阶段，当用户的请求数小于线程池中的工作线程数量时，线程池的大小满足对用户请求的处理的需求；当用户的请求数大于线程池中的工作线程数量时，以用户请求量为调整线程池大小的目标；

步骤四，如果用户请求数量处于下降阶段，使用调整因子向下调线程池的大小；

步骤五，线程池大小调整分别同上限T_max和下限T_min比较，大于T_max时，使用T_max作为线程池大小；小于T_min时，使用T_min作为线程池的大小。

2.根据权利要求1所述的基于分段的自适应动态调整线程池大小的方法，其特征是用户请求数量处于上升阶段，使用调整因子向上调线程池的大小的方法为：当用户的请求数小于线程池中的工作线程数量时，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，使用平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子。

3.根据权利要求1或2所述的基于分段的自适应动态调整线程池大小的方法，其特征是用户请求数量处于下降阶段，使用调整因子向下调线程池的大小的方法为：当用户的请求数小于线程池中的工作线程数量时，使用用户请求数和当前线程池大小的平均值为基准，最近一次的请求增量作为调整因子，调整线程池的大小；当用户的请求数大于线程池中的工作线程数量时，使用平均水平之上的线程池大小为基准，结合最近的请求增量作为调整因子。