CN103810048A - 一种面向资源利用最优的线程数量自动调整方法及装置 - Google Patents

Abstract

本发明公开了一种面向资源利用最优的线程数量自动调整方法及装置，包括资源监控模块，用于监控服务器各项计算资源的使用状况；训练模块，用于量化每类任务新增一个线程所使用的资源量；线程数量确定模块，用于对每类任务线程数量的确定并发出线程调整指令；线程管理模块，用于根据线程数量确定模块的指令动态管理线程，负责线程的创建、回收、销毁。可自动完成线程数量的调整。本发明利用资源监控及线程管理等方法，完全不需人工干涉即可完成线程数量的调整，节省了软件开发人员性能优化的工作量，并可动态、准确、快速地调整线程数量，使服务器资源利用达到或接近最优。

Description

一种面向资源利用最优的线程数量自动调整方法及装置

技术领域

本发明属于计算机工程技术领域，尤其涉及一种面向资源利用最优的线程数量自动调整方法及装置。

背景技术

对多任务并发执行的服务器，充分利用其各项资源可降低服务器的购置、维护成本。线程数量的确定是资源利用效率的关键因素，过低的线程数量导致资源不能充分利用，过高的线程数量会因资源争用、线程切换导致过多的资源消耗在非必要任务操作上。针对多类任务共享服务器的情形，为使资源利用最优，需确定及调整每类任务的线程数量。线程数量的调整是一项动态的且复杂的工作，大幅增加了软件开发人员的工作量。因此，亟需提供一种面向资源利用最优的线程数量自动调整方法及装置。

发明内容

为解决现有技术存在的不足，本发明公开了一种面向资源利用最优的线程数量自动调整方法及装置，服务器可动态地自动调整各类任务的线程数量，从而实现资源利用最优或接近最优。

为实现上述目的，本发明的具体方案如下：

一种面向资源利用最优的线程数量自动调整方法，包括以下步骤：

利用资源监控模块监控服务器的各项计算资源，将资源监控的数据提供给训练模块与线程数量确定模块；

利用训练模块量化每类任务新增一个线程所使用的资源数量，将训练后的数据储存，并提供给线程数量确定模块；

利用线程数量确定模块计算每一类任务的线程数，具体是：若资源使用不充分且任务队列中有任务等待执行则新增线程数量，若资源长时间占用过大则减少部分线程释放服务器资源，并将调整的方案发送给线程管理模块；

利用线程管理模块管理运行中的线程，根据线程数量的调整方案，对线程进行创建、回收、销毁。

利用资源监控模块监控服务器的各项计算资源，首先测试服务器每项资源的最大能力，并设最大能力为1，其次实时监测当前各项资源的使用数据，并与最大能力相比，以百分比的方式提供资源使用率信息。

量化的具体过程：

2-1）针对每类可并发执行的任务，首先初始化进程实例，并创建少量线程，使实例转为运行态；

2-2）每次增加一个线程，记录各项资源占用的增量，增量的计算方法为，计算任务线程的生命周期的平均资源占用增量；若为长任务，则给定一个时间周期t，计算任务线程t时间的平均资源占用增量；

2-3）重复步骤2-2），共增加n个线程；

2-4）计算增加n个线程的各项资源占用增量均值为线程占用各项资源量化值。

利用线程数量确定模块计算每一类任务的线程数，具体方法为:

3-1)周期性地监测资源，若资源使用率不均衡，导致资源使用出现瓶颈，则选择导致不均衡的线程，发出线程销毁指令，资源使用出现瓶颈是指因一项资源占用过大，从而导致其他资源不能充分利用的情形；

3-2）周期性地监测资源，若资源使用有空闲，且待执行任务队列仍有任务未执行，则需增加线程数量。

所述增加线程数量确定方法：

3-11）设定资源空闲阈值。设每类资源空闲阈值为L_i，即当一项资源低于L_i时视为该项资源空闲；

3-22）计算每项资源的可用剩余资源，设一项资源的当前利用率为U_i，则剩余资源C_i＝L_i-U_i；

3-33）给定每项的资源可用剩余资源，给定每类任务待执行队列，并从训练模块中得到每类任务线程的各项资源使用量，将各任务类型线程增加数量确定问题转换为三维装箱问题；

3-44）三维装箱问题使用枚举法或组合启发式算法解出。具体算法可参照：张德富等，软件学报，Vol18,No.9,September2007,pp.2083-2089

利用线程管理模块管理运行中的线程，具体方法如下：

4-1）线程创建，根据指令创建一定数量线程，在任务队列中提取待执行任务，在线程中执行；

4-2）线程销毁，根据指令销毁指定线程，将未执行完任务加入待执行任务队列，触发资源空闲判断事件；

4-3）线程回收，任务执行完成回收线程，若相同类型的待执行任务队列不为空，线程继续执行相同类型任务；若为空则加入线程池并触发资源空闲判断事件。

所述服务器的各项计算资源包括CPU、内存及磁盘读写。

一种面向资源利用最优的线程数量自动调整装置，包括资源监控模块、训练模块、线程数量确定模块及线程管理模块；

资源监控模块，用于监控服务器各项计算资源的使用状况，资源监控的数据提供给训练模块与线程数量确定模块；

训练模块，用于量化每类任务新增一个线程所使用的资源量，训练后的数据储存，并提供给线程数量确定模块；

线程数量确定模块，用于对每类任务线程数量的确定并发出线程调整指令，若资源使用不充分且任务队列中有任务等待执行则新增线程数量，若资源长时间占用过大则减少部分线程释放服务器资源，并将调整的方案发送给线程管理模块。

线程管理模块，用于根据线程数量确定模块的指令动态管理线程，负责线程的创建、回收、销毁。

所述资源监控模块，实时监控服务器的各项资源使用情况，首先测试服务器每项资源的最大能力，并设最大能力为1，其次实时监测当前各项资源的使用数据，并与最大能力相比，以百分比的方式提供资源使用率信息。

所述训练模块，量化每类并发任务的线程占用资源情况，针对每类可并发执行的任务，首先初始化进程实例，并创建少量线程，使实例转为运行态；

每次增加一个线程，记录各项资源占用的增量，增量的计算方法为，计算任务线程的生命周期的平均资源占用增量；若为长任务，则给定一个时间周期t，计算任务线程t时间的平均资源占用增量，并重复执行，共增加n个线程；

计算增加n个线程的各项资源占用增量均值为线程占用各项资源量化值。

所述线程数量确定模块，需计算出各类任务的线程数量，使资源利用最大化，周期性地监测资源，若资源使用率不均衡，导致资源使用出现瓶颈，则选择导致不均衡的线程，发出线程销毁指令，资源使用出现瓶颈是指因一项资源占用过大，从而导致其他资源不能充分利用的情形；

周期性地监测资源，若资源使用有空闲，且待执行任务队列仍有任务未执行，则需增加线程数量模块。

所述线程数量模块：设定资源空闲阈值，设每类资源空闲阈值为L_i，即当一项资源低于L_i时视为该项资源空闲；

计算每项资源的可用剩余资源，设一项资源的当前利用率为U_i，则剩余资源C_i＝L_i-U_i；

给定每项的资源可用剩余资源，给定每类任务待执行队列，并从训练模块中得到每类任务线程的各项资源使用量，将各任务类型线程增加数量确定问题转换为三维装箱问题；

三维装箱问题使用枚举法或组合启发式算法解出。具体算法可参照：张德富等，软件学报，Vol18,No.9,September2007,pp.2083-2089

所述线程管理模块中，需根据线程数量调整的指令自动管理线程，线程创建，根据指令创建一定数量线程，在任务队列中提取待执行任务，在线程中执行；

线程销毁，根据指令销毁指定线程，将未执行完任务加入待执行任务队列，触发资源空闲判断事件；

线程回收，任务执行完成回收线程，若相同类型的待执行任务队列不为空，线程继续执行相同类型任务；若为空则加入线程池并触发资源空闲判断事件。

所述服务器的各项计算资源包括CPU、内存及磁盘读写。

本发明的有益效果：

1.可自动完成线程数量的调整。本专利利用资源监控及线程管理等方法，完全不需人工干涉即可完成线程数量的调整，节省了软件开发人员性能优化的工作量。

2.可准确确定各类任务的线程数量，使资源利用率达到最优。当资源使用不均衡时，销毁占用瓶颈资源的线程，使资源利用均衡，提高总体资源利用率；当资源空闲时，增加线程以充分利用资源。

3.可动态调整线程数量。周期性的监测资源是否空闲或不均衡，能动态地调整线程数量，适应资源利用率动态变化的场景。

4.可快速调整线程数量达到资源利用最优。传统方法试探性地增加线程数量，使得线程数量调整缓慢。本专利将需增加线程的数量调整问题抽象为三维装箱问题，可快速地得到所需数值。

附图说明

图1本发明的模块框图；

图2本发明的流程示意图。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1所示，一种面向资源利用最优的线程数量自动调整装置，包括资源监控模块、训练模块、线程数量确定模块及线程管理模块；

资源监控模块，用于监控服务器各项计算资源的使用状况；

训练模块，用于量化每类任务新增一个线程所使用的资源量；

线程数量确定模块，用于对每类任务线程数量的确定并发出线程调整指令；

线程管理模块，用于根据线程数量确定模块的指令动态管理线程，负责线程的创建、回收、销毁。

如图2所示，为使本专业普通技术人员按照所描述的内容能够重现专利所述模型，结合附图对本发明具体实施方式作进一步详细的说明。

资源监控流程，实时监控服务器的各项资源使用情况。以服务器CPU、内存、磁盘读写为例，具体方法为：首先测试服务器每项资源的最大能力，并设最大能力为1；其次实时监测当前各项资源的使用数据，并与最大能力相比，以百分比的方式提供资源使用率信息。资源监控的信息提供给资源使用量化训练过程、资源瓶颈判断器与资源空闲判断器使用。

在资源使用量化训练过程中，量化每类并发任务的线程占用资源情况。每个服务器可部署若干个并发执行任务类型，即多类并发任务共享服务器。需要对每类任务的线程量化其资源占用情况，具体量化方法为：

a）针对每类可并发执行的任务，首先初始化进程实例，并创建少量线程，使实例转为运行态。

b）每次增加一个线程，记录各项资源占用的增量。增量的计算方法为，计算任务线程的生命周期的平均资源占用增量；若为长任务，则给定一个时间周期t，计算任务线程t间的平均资源占用增量。

c）重复步骤a，共增加n个线程。

d）计算增加n个线程的各项资源占用增量均值为线程占用各项资源量化值。

e)将量化的值存储。

任务占用各项资源量化值储存后，提供给可新增各类任务线程数量确定过程作为决策依据。以下为量化值的存储形式：任务类型T_i的线程资源占用为R_i，R_i=[r_i ¹，r_i ²，...r_i ^j],r_i ^j为服务器第j项资源的占用值。

任务等待判断器负责判断是否有未执行任务在等待运行。其从任务队列库中实时提取数据，如果有未执行任务，则启动资源空闲判断器及资源瓶颈判断器；若无，则继续实时监控任务队列库中的任务。

资源瓶颈判断器周期性地提取资源监控数据，判断服务器资源是否处于资源瓶颈状态。资源瓶颈状态是指服务器各项资源中有一项或多项资源处于使用饱和状态而其他资源使用较低。资源使用的理想状态为各项资源使用较为均衡，利用较为充分。如果达到资源瓶颈状态，则触发选择占用瓶颈资源线程过程；如果未达到，则继续周期性判断资源状态。

占用瓶颈资源线程选择过程，选择长时间占用大量服务器某项资源，且导致资源瓶颈的线程。并发送指令至线程销毁过程，销毁该线程。

资源空闲判断器周期性地提取资源监控数据，判断服务器资源是否处于资源空闲状态。若服务器有资源空闲，通知可新增各类任务线程数量确定过程，调整线程数量。

可新增各类任务线程数量确定过程，负责确定各类任务的线程数量调整。具体过程如下：

a）计算每项资源的可用剩余资源。设一项资源的当前利用率为U_i，则剩余资源C_i＝L_i-U_i；

b）给定每项资源的可用剩余资源，给定每类任务待执行队列，并从训练模块中得到每类任务线程的各项资源使用量，将各任务类型线程增加数量确定问题转换为三维装箱问题。

c）三维装箱问题可使用枚举法或组合启发式算法解出。

d)新增线程指令发给线程创建过程。

任务队列库，为每类任务分别创建队列。新到的任务需加入相对应的队列。任务队列向任务等待判断器提供待执行任务数量。

线程创建过程，在得到线程增加数量的指令后，创建线程并从任务队列库提取对应任务并运行。

线程销毁过程，在得到销毁指定线程的指令后，销毁线程并将未完成的任务返回到任务队列库。通知资源空闲判断器，判断因线程销毁而释放的资源是否导致资源出现空闲。

线程回收过程。任务执行完毕后，从任务队列库中提取新的任务，继续执行任务。若无待执行任务，则将线程加入线程库，等待任务到来。

Claims (12)

1.一种面向资源利用最优的线程数量自动调整方法，其特征是，包括以下步骤：

利用资源监控模块监控服务器的各项计算资源，将资源监控的数据提供给训练模块与线程数量确定模块；

利用训练模块量化每类任务新增一个线程所使用的资源数量，将训练后的数据储存，并提供给线程数量确定模块；

利用线程数量确定模块计算每一类任务的线程数，具体是：若资源使用不充分且任务队列中有任务等待执行则新增线程数量，若资源长时间占用过大则减少部分线程释放服务器资源，并将调整的方案发送给线程管理模块；

利用线程管理模块管理运行中的线程，根据线程数量的调整方案，对线程进行创建、回收、销毁。

2.如权利要求1所述的一种面向资源利用最优的线程数量自动调整方法，其特征是，利用资源监控模块监控服务器的各项计算资源时，首先测试服务器每项资源的最大能力，并设最大能力为1，其次实时监测当前各项资源的使用数据，并与最大能力相比，以百分比的方式提供资源使用率信息。

3.如权利要求1所述的一种面向资源利用最优的线程数量自动调整方法，其特征是，量化的具体过程：

2-1）针对每类可并发执行的任务，首先初始化进程实例，并创建少量线程，使实例转为运行态；

2-2）每次增加一个线程，记录各项资源占用的增量，增量的计算方法为，计算任务线程的生命周期的平均资源占用增量；若为长任务，则给定一个时间周期t，计算任务线程t时间的平均资源占用增量；

2-3）重复步骤2-2），共增加n个线程；

2-4）计算增加n个线程的各项资源占用增量均值为线程占用各项资源量化值。

4.如权利要求1所述的一种面向资源利用最优的线程数量自动调整方法，其特征是，利用线程数量确定模块计算每一类任务的线程数，具体方法为:

3-1)周期性地监测资源，若资源使用率不均衡，导致资源使用出现瓶颈，则选择导致不均衡的线程，发出线程销毁指令，资源使用出现瓶颈是指因一项资源占用过大，从而导致其他资源不能充分利用的情形；

3-2）周期性地监测资源，若资源使用有空闲，且待执行任务队列仍有任务未执行，则需增加线程数量。

5.如权利要求4所述的一种面向资源利用最优的线程数量自动调整方法，其特征是，所述增加线程数量确定方法：

3-11）设定资源空闲阈值。设每类资源空闲阈值为L_i，即当一项资源低于L_i时视为该项资源空闲；

3-22）计算每项资源的可用剩余资源，设一项资源的当前利用率为U_i，则剩余资源C_i＝L_i-U_i；

3-33）给定每项的资源可用剩余资源，给定每类任务待执行队列，并从训练模块中得到每类任务线程的各项资源使用量，将各任务类型线程增加数量确定问题转换为三维装箱问题；

3-44）三维装箱问题使用枚举法或组合启发式算法解出。

6.如权利要求1所述的一种面向资源利用最优的线程数量自动调整方法，其特征是，利用线程管理模块管理运行中的线程，具体方法如下：

4-1）线程创建，根据指令创建一定数量线程，在任务队列中提取待执行任务，在线程中执行；

4-2）线程销毁，根据指令销毁指定线程，将未执行完任务加入待执行任务队列，触发资源空闲判断事件；

4-3）线程回收，任务执行完成回收线程，若相同类型的待执行任务队列不为空，线程继续执行相同类型任务；若为空则加入线程池并触发资源空闲判断事件。

7.一种面向资源利用最优的线程数量自动调整装置，其特征是，包括资源监控模块、训练模块、线程数量确定模块及线程管理模块；

资源监控模块，用于监控服务器各项计算资源的使用状况，资源监控的数据提供给训练模块与线程数量确定模块；

训练模块，用于量化每类任务新增一个线程所使用的资源量，训练后的数据储存，并提供给线程数量确定模块；

线程数量确定模块，用于对每类任务线程数量的确定并发出线程调整指令，若资源使用不充分且任务队列中有任务等待执行则新增线程数量，若资源长时间占用过大则减少部分线程释放服务器资源，并将调整的方案发送给线程管理模块。

线程管理模块，用于根据线程数量确定模块的指令动态管理线程，负责线程的创建、回收、销毁。

8.如权利要求7所述的一种面向资源利用最优的线程数量自动调整装置，其特征是，所述资源监控模块，实时监控服务器的各项资源使用情况，首先测试服务器每项资源的最大能力，并设最大能力为1，其次实时监测当前各项资源的使用数据，并与最大能力相比，以百分比的方式提供资源使用率信息。

9.如权利要求7所述的一种面向资源利用最优的线程数量自动调整装置，其特征是，所述训练模块，量化每类并发任务的线程占用资源情况，针对每类可并发执行的任务，首先初始化进程实例，并创建少量线程，使实例转为运行态；

每次增加一个线程，记录各项资源占用的增量，增量的计算方法为，计算任务线程的生命周期的平均资源占用增量；若为长任务，则给定一个时间周期t，计算任务线程t时间的平均资源占用增量，并重复执行，共增加n个线程；

计算增加n个线程的各项资源占用增量均值为线程占用各项资源量化值。

10.如权利要求7所述的一种面向资源利用最优的线程数量自动调整装置，其特征是，所述线程数量确定模块，需计算出各类任务的线程数量，使资源利用最大化，周期性地监测资源，若资源使用率不均衡，导致资源使用出现瓶颈，则选择导致不均衡的线程，发出线程销毁指令，资源使用出现瓶颈是指因一项资源占用过大，从而导致其他资源不能充分利用的情形；

周期性地监测资源，若资源使用有空闲，且待执行任务队列仍有任务未执行，则需增加线程数量模块。

11.如权利要求10所述的一种面向资源利用最优的线程数量自动调整装置，其特征是，所述线程数量模块：设定资源空闲阈值，设每类资源空闲阈值为L_i，即当一项资源低于L_i时视为该项资源空闲；

计算每项资源的可用剩余资源，设一项资源的当前利用率为U_i，则剩余资源C_i＝L_i-U_i；

给定每项的资源可用剩余资源，给定每类任务待执行队列，并从训练模块中得到每类任务线程的各项资源使用量，将各任务类型线程增加数量确定问题转换为三维装箱问题；

三维装箱问题使用枚举法或组合启发式算法解出。

12.如权利要求7所述的一种面向资源利用最优的线程数量自动调整装置，其特征是，所述线程管理模块中，需根据线程数量调整的指令自动管理线程，线程创建，根据指令创建一定数量线程，在任务队列中提取待执行任务，在线程中执行；

线程销毁，根据指令销毁指定线程，将未执行完任务加入待执行任务队列，触发资源空闲判断事件；

线程回收，任务执行完成回收线程，若相同类型的待执行任务队列不为空，线程继续执行相同类型任务；若为空则加入线程池并触发资源空闲判断事件。

Images