CN105117284A - 一种基于优先级比例队列的工作线程的调度方法 - Google Patents

Abstract

本发明一种基于优先级比例队列的工作线程的调度方法，综合了顺序执行和优先级排队两种线程调度策略的优势，基于线程优先级对线程请求进行队列分组，同时增加了优先级比例参数，用于控制不同优先级队列的并发投递数量，每次处理都是从每个分组中获取一定比例的线程请求进行投递，避免高优先级的线程请求一直占用CPU，导致优先级低的线程请求长时间等待甚至出现线程饥饿。因此，本发明可以保证每个优先级队列按照预设的比例，得到相应比例的处理机会，避免由于大量高优先级请求堆积导致低优先级请求得不到处理，或者高优先级请求由于排队而得不到及时处理的问题，从根本上解决进程内部的线程饥饿问题，同时也提高了请求处理的及时性。

Description

一种基于优先级比例队列的工作线程的调度方法

技术领域

本发明涉及一种基于优先级比例队列的工作线程的调度方法。

背景技术

在并发服务器软件设计中，经常使用工作线程池实现服务并发处理。通过向工作线程池投递线程请求，等待处理回调实现高并发异步操作。常见的工作线程池或基于顺序执行或基于优先级排队决定线程调度的先后顺序，在高并发环境下都可能出现线程处理不及时甚至线程饥饿，导致服务响应不及时，影响用户体验。

发明内容

本发明的目的在于提供一种基于优先级比例队列的工作线程的调度方法，能改善不同优先级工作线程并发处理的及时性，提高多线程切换性能，解决由于线程排队和线程切换可能导致的处理延迟和线程饥饿问题，能提高工作线程并发处理性能和线程响应及时性，优化和提升服务器软件处理能力。

本发明一种基于优先级比例队列的工作线程的调度方法，首先，根据工作线程优先级的分级数目创建对应数量的优先级队列，用于存储应用层投递的工作线程请求，并设定各个优先级队列间的调度比例，所有优先级队列调度比例总和为100％，同时，创建当前待处理请求队列，每次向线程池投递请求时，根据预置的优先级调度比例，从各优先级队列中取出对应百分比数量的请求，并投递到当前待处理请求队列中等待进行并发处理。

具体包括如下步骤：

步骤1、创建优先级队列和初始化优先级调度比例

a)假设优先级分级数目为N，则创建N个优先级队列用于存储应用层投递的各优先级工作线程请求；

b)设置不同优先级队列的调度比例R_i，i＝1...N,且保证所有优先级调度比例之和为100％，即

步骤2、初始化线程池

a)初始化计算如下变量：

线程池数量Tcnt＝CPU核心数*2+2，用于初始化工作线程数量；

线程池最大待处理请求数Rmax＝2*50*Tcnt；

线程池当前待处理请求队列数量Rcur，初始值为0，用于计数统计当前已投递的待处理请求数；

b)初始化当前待处理请求队列，该队列用于存储所有应用层已投递到线程池的请求，按照投递顺序排列，该队列只是顺序处理，与具体优先级无关；

c)初始化创建完成端口，并创建与线程池数量Tcnt相等个数的线程，用于处理上层应用层投递的工作线程请求；每个线程的初始化状态为挂起，并循环等待完成端口消息触发状态，整个线程池的最底层通过完成端口完成请求投递和线程的切换调度；

步骤3、基于优先级调度比例的工作线程调度

a)应用层请求投递流程

根据应用层投递线程请求的优先级，将请求添加到对应优先级队列中，判断当前待处理请求队列是否需要投递下一批处理请求，是则投递，否则结束；

b)工作线程执行流程

线程初始处于挂起状态，一旦当前待处理请求队列中有新的请求投递时，则投递唤醒请求，唤醒其中一个线程进行处理；当线程被唤醒之后，先判断当前待处理请求队列是否为空，不为空则从当前待处理请求队列中取出一个请求进行处理，为空则结束处理；处理完一个请求之后，判断当前待处理请求队列是否需要继续投递下一批待处理请求，是则投递下一批待处理请求，否则不投递；最后，判断当前待处理请求队列是否为空，不为空则投递下一次线程唤醒请求，唤醒下一个线程继续处理，为空则结束处理；

c)投递下一批待处理请求流程

计算此次需要投递的待处理请求个数Rwait＝Rmax-Rcur，按照优先级从高到低依次枚举，从每一个优先级队列中根据对应比例R_i,i＝1...N,计算该优先级队列最大投递请求个数M_i＝Rwait*R_i，并获取当前优先级队列请求个数m_i,如果某一个优先级队列中的请求数大于计算结果m_i>＝M_i，则取出M_i个请求数投递到当前待处理请求队列中，否则将该优先级队列中的m_i个请求全部投递到当前待处理请求队列中，并从比当前优先级高的优先级队列中，按照优先级顺序从高到低，补充不足的请求数L_i＝M_i-m_i，然后继续下一个优先级队列的投递；当所有的优先级队列枚举完成之后，根据当前待处理请求队列中请求数，投递min(Rcur,Tcnt)个线程唤醒请求，唤醒线程进行处理。

本发明综合了顺序执行和优先级排队两种线程调度策略的优势，基于线程优先级对线程请求进行队列分组，同时增加了优先级比例参数用于控制不同优先级队列的并发投递数量，每次处理都是从每个分组中获取一定比例的线程请求进行投递，避免高优先级的线程请求一直占用CPU，导致优先级低的线程请求长时间等待甚至出现线程饥饿。因此，本发明可以保证每个优先级队列按照预设的比例，得到相应比例的处理机会，避免由于大量高优先级请求堆积导致低优先级请求得不到处理，或者高优先级请求由于排队而得不到及时处理的问题，从根本上解决进程内部的线程饥饿问题，同时也提高了请求处理的及时性。

附图说明

图1为本发明的工作原理图；

图2为本发明应用层请求投递流程图；

图3为本发明线程执行流程图；

图4为本发明投递下一批待处理请求的流程图。

以下结合附图和实施例对本发明做进一步详述。

具体实施方式

如图1所示，本发明一种基于优先级比例队列的工作线程的调度方法，首先，根据工作线程优先级的分级数目创建对应数量的优先级队列，用于存储应用层投递的工作线程请求，并设定各个优先级间的调度比例R(％)，所有优先级调度比例总和为100(％)，同时，创建当前待处理请求队列，每次向线程池投递请求时，根据预置的优先级调度比例，从各优先级队列中取出对应百分比数量的请求，并投递到当前待处理请求队列中等待进行并发处理，以此保证不同优先级线程都能得到特定比例的处理机会，避免线程饥饿，改善了线程处理的及时性。

本发明一种基于优先级比例队列的工作线程的调度方法，包括如下步骤：

步骤1、创建优先级队列和初始化优先级调度比例

a)假设优先级分级数目为N，则创建N个优先级队列用于存储应用层投递的各优先级工作线程请求；

b)设置不同优先级队列的调度比例R(％)，且保证所有优先级调度比例之和为100(％)，即：

步骤2、初始化线程池；

a)初始化计算如下变量：

线程池数量Tcnt＝CPU核心数*2+2，用于初始化处理线程数量，工作线程是请求的最终执行者，其处理流程如图3所示；

线程池最大待处理请求数Rmax＝2*50*Tcnt；放大50倍的目的是放大投递请求数，保证每个优先级比例算出来的投递请求数都是整数，放大2倍的目的是保证当前待处理队列处理超过1/2的时候能够马上投递请求数，保证处理和投递的延续性；

线程池当前待处理请求队列数量Rcur，初始值为0，用于计数统计当前已投递的待处理请求数；

b)初始化当前待处理请求队列，该队列用于存储所有应用层已投递到线程池的请求，按照投递顺序排列，该队列只是顺序处理，与具体优先级无关；

c)初始化创建完成端口，并创建与线程池数量Tcnt相等个数的线程，用于处理上层应用层投递的工作线程请求；每个线程的初始化状态为挂起，并循环等待完成端口消息触发状态，整个线程池的最底层通过完成端口完成请求投递和线程的切换调度；

步骤3、基于优先级调度比例的工作线程调度流程；

a)应用层请求投递流程

如图2所示，根据应用层投递线程请求的优先级，将请求添加到对应优先级队列中，判断当前待处理请求队列是否需要投递下一批处理请求，是则投递，否则结束；

b)工作线程执行流程

如图3所示，线程初始处于挂起状态，一旦当前待处理请求队列中有新的请求投递时，则投递唤醒请求，唤醒其中一个线程进行处理；当线程被唤醒之后，先判断当前待处理请求队列是否为空，不为空则从当前待处理请求队列中取出一个请求进行处理，为空则结束处理；处理完一个请求之后，判断当前待处理请求队列是否需要继续投递下一批待处理请求，是则投递下一批待处理请求，否则不投递；最后，判断当前待处理请求队列是否为空，不为空则投递下一次线程唤醒请求，唤醒下一个线程继续处理，为空则结束处理；

c)投递下一批待处理请求流程

开始投递下一批待处理请求的流程是本发明的主要核心。如图4所示，计算此次需要投递的待处理请求个数Rwait＝Rmax-Rcur，按照优先级从高到低依次枚举，从每一个优先级队列中根据对应比例R_i,i＝1...N,计算该优先级队列最大投递请求个数M_i＝Rwait*R_i，并获取当前优先级队列请求个数m_i,如果某一个优先级队列中的请求数大于计算结果m_i>＝M_i，则取出M_i个请求数投递到当前待处理请求队列中，否则将该优先级队列中的m_i个请求全部投递到当前待处理请求队列中，并从比当前优先级高的优先级队列中，按照优先级顺序从高到低，补充不足的请求数L_i＝M_i-m_i，然后继续下一个优先级队列的投递；当所有的优先级队列枚举完成之后，根据当前待处理请求队列中请求数，投递min(Rcur,Tcnt)个线程唤醒请求，唤醒线程进行处理。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于优先级比例队列的工作线程的调度方法，其特征在于：首先，根据工作线程优先级的分级数目创建对应数量的优先级队列，用于存储应用层投递的工作线程请求，并设定各个优先级队列间的调度比例，所有优先级队列调度比例总和为100％，同时，创建当前待处理请求队列，每次向线程池投递请求时，根据预置的优先级调度比例，从各优先级队列中取出对应百分比数量的请求，并投递到当前待处理请求队列中等待进行并发处理。

2.根据权利要求1所述的一种基于优先级比例队列的工作线程的调度方法，其特征在于包括如下步骤：

步骤1、创建优先级队列和初始化优先级调度比例

a)假设优先级分级数目为N，则创建N个优先级队列用于存储应用层投递的各优先级工作线程请求；

b)设置不同优先级队列的调度比例R_i，i＝1...N,且保证所有优先级调度比例之和为100％，即

步骤2、初始化线程池

a)初始化计算如下变量：

线程池数量Tcnt＝CPU核心数*2+2，用于初始化工作线程数量；

线程池最大待处理请求数Rmax＝2*50*Tcnt；

线程池当前待处理请求队列数量Rcur，初始值为0，用于计数统计当前已投递的待处理请求数；

b)初始化当前待处理请求队列，该队列用于存储所有应用层已投递到线程池的请求，按照投递顺序排列，该队列只是顺序处理，与具体优先级无关；

c)初始化创建完成端口，并创建与线程池数量Tcnt相等个数的线程，用于处理上层应用层投递的工作线程请求；每个线程的初始化状态为挂起，并循环等待完成端口消息触发状态，整个线程池的最底层通过完成端口完成请求投递和线程的切换调度；

步骤3、基于优先级调度比例的工作线程调度

a)应用层请求投递流程

根据应用层投递线程请求的优先级，将请求添加到对应优先级队列中，判断当前待处理请求队列是否需要投递下一批处理请求，是则投递，否则结束；

b)工作线程执行流程

线程初始处于挂起状态，一旦当前待处理请求队列中有新的请求投递时，则投递唤醒请求，唤醒其中一个线程进行处理；当线程被唤醒之后，先判断当前待处理请求队列是否为空，不为空则从当前待处理请求队列中取出一个请求进行处理，为空则结束处理；处理完一个请求之后，判断当前待处理请求队列是否需要继续投递下一批待处理请求，是则投递下一批待处理请求，否则不投递；最后，判断当前待处理请求队列是否为空，不为空则投递下一次线程唤醒请求，唤醒下一个线程继续处理，为空则结束处理；

c)投递下一批待处理请求流程

计算此次需要投递的待处理请求个数Rwait＝Rmax-Rcur，按照优先级从高到低依次枚举，从每一个优先级队列中根据对应比例R_i,i＝1...N,计算该优先级队列最大投递请求个数M_i＝Rwait*R_i，并获取当前优先级队列请求个数m_i,如果某一个优先级队列中的请求数大于计算结果m_i>＝M_i，则取出M_i个请求数投递到当前待处理请求队列中，否则将该优先级队列中的m_i个请求全部投递到当前待处理请求队列中，并从比当前优先级高的优先级队列中，按照优先级顺序从高到低，补充不足的请求数L_i＝M_i-m_i，然后继续下一个优先级队列的投递；当所有的优先级队列枚举完成之后，根据当前待处理请求队列中请求数，投递min(Rcur,Tcnt)个线程唤醒请求，唤醒线程进行处理。