CN101114984A

CN101114984A - 一种多线程网络负载控制方法

Info

Publication number: CN101114984A
Application number: CNA2006100889711A
Authority: CN
Inventors: 单良; 唐鲲鹏; 吕吉
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-07-27
Filing date: 2006-07-27
Publication date: 2008-01-30

Abstract

本发明公开了一种多线程网络负载控制方法，包括：将实时统计得出的系统统计信息和预设的指标进行比较来判断系统的过负荷状态，在系统处于过负荷状态时将系统暂时不能处理的线程作预定时间的挂起处理，并在一个有限容量的先进先出队列中保存所述被挂起线程对应的锁对象；另一个正常处理完成的线程从所述先进先出队列中取出未超过所述预定时间的被挂起线程对应的锁对象，并唤醒处于等待状态的所述被挂起线程；如果所述被挂起线程在所述预定时间内没有被唤醒，则在超过所述预定时间后结束所述被挂起线程。本发明具有能够为多线程的网络应用提供定制的过负荷保护的功能，并且具有实现简单，对业务流程影响小等特点。

Description

一种多线程网络负载控制方法

技术领域

本发明涉及互联网技术，特别是涉及网络应用过负荷保护的实现。

背景技术

随着互联网的普及，WEB(网络，环球网)应用越来越成为电信运营商向广大用户提供服务的重要的形式。各种各样的游戏、音乐、手机主题的下载就是很好的例子。在实际的运营中，WEB应用面对的是数量庞大的用户群，这样带来的后果是，巨大的服务压力和用户访问的不确定性。尽管有各种各样的服务器端的软件的和硬件的方案，比如分布式处理、负载平衡、应用集群、缓存等等，可以用来提高WEB应用响应用户请求的能力，但是应用这些方案带来的成本需要能够和实际获得的效益成正比。从运营商的角度来说，希望能够使用较少的硬件投入，为尽量多的用户提供稳定可靠的服务；从用户的角度分析，访问WEB应用有很大的不确定性。简单的说，就是用户单位时间的访问量在不同的时间有相当大的波动。那么，在系统设计的时候，就不能仅仅从最大可能的用户访问数出发设计系统的软硬件方案，否则的话，在大部分的时间里，系统的处理能力将处于闲置状态。另一方面、又必须有相应的措施应对在短时间内大用户访问数带来的对系统处理能力的压力。

一般来说，将系统应对超过其基本处理能力的访问请求的方法称为过负荷保护。这种过负荷保护方案要达到的目的有三个：首先是能够及时的判断出系统处于过负荷状态，或者是处于正常状态，也就是根据一些预定的指标和当前的统计信息的比较对系统状态进行迁移。第二个目的是能够平滑用户的请求，对于系统暂时没有能力及时处理的请求，能够在合理的等待后再进行处理，或者能够通知用户系统目前正处于忙碌状态。其主要防止的是出现系统崩溃的现象，也要避免由于很多的用户竞争系统资源造成系统对所有用户的响应都超出合理的时间范围。另一个很重要的问题是能够在系统处于忙碌状态时，能够及时的将这个信息记录下来并通知给管理人员，使得他们可以尽早的进行干预，避免系统陷入恶性循环。尤其是后一项功能对于电信运营商保证系统的稳定可靠是非常重要的。

由于目前WEB应用大多是搭建在一定的容器之上的，而这些容器一般都用流量控制的功能，所以最简单的过负荷保护措施就是直接利用容器的流量控制功能。容器提供的流量控制功能尽管能够提供上面提到的三个功能中第一个和第二个功能，但是它所提供的通常是通用的，和业务无关的保护功能，不能针对业务的特点进行定制，使得对各种不同的请求不能区别对待。另外，这种方法所能够使用的判别系统状态的指标是很有限的，一般都是根据用户的连接数来判断，不能根据系统当前的CPU占用率、内存占用率等其他信息综合判断系统是否需要进入过负荷保护状态。使用容器提供的流量控制功能的另一个缺点是不能使用集成在系统中的告警和日志功能。

发明内容

本发明所要解决的技术问题是提供一种多线程网络负载控制方法，解决现有过负荷控制技术不能针对业务的特点进行定制，不能区别对待各种不同请求的技术问题。

为达到上述目的，本发明提供了一种多线程网络负载控制方法，其特点在于，包括如下步骤：

步骤一，将实时统计得出的系统统计信息和预设的指标进行比较来判断系统的过负荷状态，在系统处于过负荷状态时将系统暂时不能处理的线程作预定时间的挂起处理，并在一个有限容量的先进先出队列中保存所述被挂起线程对应的锁对象；

步骤二，另一个正常处理完成的线程从所述先进先出队列中取出未超过所述预定时间的被挂起线程对应的锁对象，并唤醒处于等待状态的所述被挂起线程；

步骤三，如果所述被挂起线程在所述预定时间内没有被唤醒，则在超过所述预定时间后结束所述被挂起线程。

上述的方法，其特点在于，还包括步骤四：设置一个定时器，所述定时器以固定的时间间隔检查系统的状态并判断是否需要进行告警处理。

上述的方法，其特点在于，在所述步骤一中，根据在线处理的线程数、CPU占用率和/或内存占用率来确定所述预设的指标。

上述的方法，其特点在于，所述步骤一进一步包括：

步骤a，在系统中设置一个状态标志来保存系统的状态，系统的状态包括正常状态和过负荷状态；

步骤b，在系统中设置一种锁对象，锁对象中有两个布尔类型的属性，分别是：用来表示线程是否已经处理完成的结束标志和用来表示线程是否已经超时的超时标志，并在系统中设置一个容量有限的先进先出队列用于保存所述锁对象；

步骤c，当系统新收到一个用户请求时，由一个处理线程来处理这个请求，该处理线程首先根据所述状态标志来判断系统状态，如果系统处于正常状态，则对系统的统计信息进行累加计算，并将所述统计信息和系统预设的指标进行比较，以确定系统下一步的状态；

步骤d，如果系统已经处于过负荷状态，则首先判断先进先出队列是否已满，是则结束当前的处理线程，向用户返回出错信息；否则，创建一个锁对象，所述锁对象的结束标志设置为假、超时标志设置为真，并将所述锁对象加入到先进先出队列中，将当前处理线程暂时挂起一个预设的时间。

上述的方法，其特点在于，所述步骤二进一步包括：当系统中另一个处理线程处理完一个请求的时候，首先对系统的统计信息进行递减运算，并将所述统计信息和系统预设的指标进行比较，以确定系统下一步的状态；然后判断先进先出队列是否不为空，是则取出第一个处理结束标志为假的锁对象，并将这个锁对象的超时标志设为真，并唤醒这个锁对象对应的处理线程。

上述的方法，其特点在于，所述步骤三进一步包括：当等待的线程被唤醒或者由于等待超时而继续运行时，首先设置锁对象的结束标志为真，并判断锁对象的超时标志是否为真，是则结束当前处理线程并向用户返回出错信息；否则对系统的统计信息进行累加计算，并将统计信息和系统预设的指标进行比较，以确定系统下一步的状态。

上述的方法，其特点在于，所述过负荷状态进一步分为多种级别。

上述的方法，其特点在于，所述先进先出队列能进行如下操作：判断队列是否为空、判断队列是否已满、加入一个对象到队列尾、从队列头取出一个对象；所述各操作对于不同的线程是串行的，只有前一个线程对队列的操作完成之后，下一个操作才能够开始。

上述的方法，其特点在于，所述步骤四进一步包括：所述定时器以固定的时间间隔检查系统的状态，如果系统处于和前一次定时器运行时不同的状态，并且该状态是过负荷状态，则进行告警处理，如果该状态是正常状态，则进行告警恢复处理。

本发明的技术效果在于：

同现有的流量控制技术相比较，本发明具有能够为多线程的WEB应用提供定制的过负荷保护的功能，并且具有实现简单，对业务流程影响小等特点。

附图说明

图1是本发明提供的一个线程处理新的用户请求时负载控制流程图：

图2是本发明提供的一个线程处理用户请求结束时调用负载控制功能流程图；

图3是本发明提供的一个处于等待状态的处理线程被唤醒或者等待超时之后的处理流程图。

具体实施方式

下面结合附图进一步详细说明本发明的具体实施例。

由于WEB应用都是使用多线程来处理用户的请求，那么在进行过负荷保护时只要使这些处理线程暂时中止执行，直到系统处理完其他的请求时再加以唤醒，就可以起到平滑系统负载的效果。本发明过负荷负载控制的实现方法的基本工作原理是根据实时统计得出的值和预设的指标进行比较来判断系统的过负荷状态，在系统处于过负荷状态时将系统暂时不能处理的线程作挂起处理，并在一个先进先出队列中保存其对应的锁对象，另一个正常处理完成的线程会从先进先出队列中取出锁对象，并唤醒处于等待状态的那个线程。

图1是本发明提供的一个线程处理新的用户请求时负载控制流程图；如图所示，具体包括如下步骤：

步骤101，处理线程准备处理新的用户请求；

步骤102，判断系统是否处于正常状态，是则执行步骤108，否则执行步骤103；

步骤103，判断先进先出队列是否已满，是则执行步骤104，否则执行步骤105；

步骤104，通知用户，处理结束。

步骤105，创建锁对象，结束标志设置为假，超时标志设置为真；

步骤106，锁对象加入到先进先出队列中；

步骤107，处理线程挂起一个预设的时间。

步骤108，上接步骤102，计算统计值并和预设指标进行比较，确定系统下一步的状态；

步骤109，正常处理开始。

图2是本发明提供的一个线程处理用户请求结束时调用负载控制功能流程图，如图所示，具体包括如下步骤：

步骤201，处理线程结束处理一个用户请求；

步骤202，计算统计值并和预设指标进行比较，确定系统下一步的状态；

步骤203，判断队列是否为空，是则执行步骤210，否则执行步骤204；

步骤204，取出队列头中的锁对象；

步骤205，判断对象是否已经设置为处理结束，是则执行步骤206，否则执行步骤208；

步骤206，判断队列是否为空，是则执行步骤210，否则执行步骤207；

步骤207，取出队列头中的锁对象，返回步骤205；

步骤208，设置对象超时标志为真；

步骤209，唤醒等待在锁对象上的处理线程；

步骤210，正常处理结束。

图3是本发明提供的一个处于等待状态的处理线程被唤醒或者等待超时之后的处理流程图，如图所示，具体包括如下步骤：

步骤301，处理线程被唤醒或者等待超时；

步骤302，设置锁对象的结束标志为真；

步骤303，判断锁对象的结束标志是否为真，是则执行步骤304，否则执行步骤305；

步骤304，通知用户，处理结束。

步骤305，计算统计值并和预设指标进行比较，确定系统下一步的状态；

步骤306，正常处理开始。。

从附图1来看，描述了当一个新的用户请求到达时基本处理流程，其中已经涉及到系统状态、锁对象(结束标志和超时标志)、锁对象队列、处理线程挂起这些本发明中的主要内容。假如一个请求到达时，被加入到等待队列中，那么它将在何时被唤醒呢？从附图2中就可以得到答案，当一个正常处理的线程处理结束时，会不断地从等待队列中移出锁对象，直到找到一个还没有超时的锁对象，并唤醒等待在这个对象上的处理线程。还有一种情况就是，等待的线程并不是被正常唤醒的，而是由于等待超时而进入下一步流程，这在附图3中得到了描述。和前两个附图相对应地，这里的处理就是针对锁对象中的标志，保证前两个流程中对标志的判断是合理的。在这三个流程中，都涉及到计算统计值并确定系统的下一步状态，这个状态将用于附图1中的判断，因此可以看出，三个附图中说明的处理流程是相互配合的，可以正确完成本发明所要实现的过负荷保护功能。

系统中表示状态可以使用一个整形值变量。基本的状态可以使用预定义的常量来表示，一般预定义的状态有正常状态和过负荷状态，当然，还可以对过负荷状态进行细分，比如定义一级过负荷、二级过负荷，等等。不过预设的系统指标需要和状态定义保持一致，比如，定义了两级过负荷，就需要针对一个统计值定义两个门限指标。

系统中使用的判断过负荷的统计指标一般可以使用在线处理数，还可以用CPU占用率和内存占用率来加以辅助。还可以扩展其他的指标，这取决于应用的实际需要。

这里要说明的是，系统中设置的先进先出队列的长度是有限的。这主要是考虑到先进先出队列中保存的每一个对象都对应于处于等待状态的一个处理线程。线程数量增加会带来系统调度压力的增大，所以在实际的系统中，总的线程数量是有限的，所以先进先出队列的长度也是有限的。一般在实现中，队列通常可以用数组来实现，用一个头标志和尾标志来保存队列起始元素和结束元素对应的数组单元的下标。这个数组的长度就对应于队列的最大长度，而这个数组可以在系统启动时就一次创建完毕，在其他的运行期间其长度不再改变；另一种方式是在系统启动时只创建一定数量数组单元，需要时才扩展数组的长度，直到预设的最大长度，不过在每次扩展时不会只扩展一个单元，这样效率太低，而是使用一个系数乘以当前的数组长度来确定扩展后的数组长度。

之所以使用锁对象，是因为在实现线程挂起时一般使用等待在某一个对象的Monitor(监控器)上的技术。这样在另一个线程唤醒等待线程时，就是对这个对象的Monitor进行操作，触发操作系统或者虚拟机的调度。不过，在挂起线程时需要注意的是必须设置挂起时间，而不能是无限期的挂起，否则的话，系统中可能出现过多的等待线程，一旦总的线程数超过系统的运行上限，系统将处于死锁状态，不能够再为新的用户请求提供服务。这个最大挂起时间应该由系统预先配置。

本负载控制方法中使用定时器线程来处理告警和告警恢复等处理。定时器线程的超时间隔时间可以通过预配置的方式设定，其值不宜太小，比如可以设为5秒或者10秒。这样，一来对系统的性能压力比较小，毕竟在每次发送告警信息时业需要占用系统计算资源，何况这时系统可能处于过负荷的状态，二来也可以满足通知管理人员的需要。

使用本发明中所述的负载控制方法时，需要注意要在系统启动时初始化配置信息和各种标志，以及定时器和先进先出队列。在系统关闭时需要关闭定时器，释放分配的资源，还要检查队列中是否还有处于等待状态的处理线程，并且唤醒这些线程。

下面分别介绍本发明的六个实施例。

第一实施例

假设当前系统处于正常状态。

当系统新收到一个用户请求时，将由一个处理线程来处理这个请求。该处理线程首先判断系统状态，如果系统处于正常状态，则对系统的统计信息进行累加计算，比如当前增加的连接数，同时和系统预设的指标进行比较，以确定系统下一步的状态。这时可能还要把当前的CPU占用率或者内存占用率和相应的辅助指标进行比较来判断系统的下一步状态。

下一步，处理线程将继续处理这个请求。

第二实施例

假设当前系统处于过负荷状态，并且队列未满。

当系统新收到一个用户请求时，将由一个处理线程来处理这个请求。该处理线程首先判断系统状态，如果系统已经处于过负荷状态，则继续判断先进先出队列是否已满。如果未满的话，就创建一个锁对象(结束标志设置为假、超时标志设置为真)，并将这个对象加入到先进先出队列中，并将当前处理线程暂时挂起一个预设的时间。实际就是等待在这个锁对象对象的Monitor上。在挂起线程时需要注意的是必须设置挂起时间，而不能是无限期的挂起。

第三实施例

假设当前系统处于过负荷状态，并且队列已满。

当系统新收到一个用户请求时，将由一个处理线程来处理这个请求。该处理线程首先判断系统状态，如果系统已经处于过负荷状态，则继续判断先进先出队列是否已满。如果已满的话，就结束当前的处理线程，向用户返回出错信息。这样可以避免系统中出现太多的等待线程。

第四实施例

一个处理线程正常处理结束。

当系统中一个处理线程处理完一个请求的时候，需要进行负载控制操作。操作步骤是这样的：

首先对系统的统计信息进行递减运算，比如减少当前的连接数，同时和系统预设的指标进行比较，以确定系统下一步的状态。这时可能还要把当前的CPU占用率或者内存占用率和相应的辅助指标进行比较来判断系统的下一步状态。

然后判断当前先进先出队列是否不为空，如果是的话，取出第一个处理结束标志为假的锁对象，也就是说，这里要避免处理已经处于结束状态的锁对象，因为，它对应的处理线程已经超时退出了。如果一直取到队列为空时还没有这样的对象的话，本处理流程将结束。如果找到的话，就将这个锁对象的超时标志设为真，并唤醒这个锁对象对应的处理线程；

第五实施例

假设一个等待的处理线程没有被唤醒，而是超时了。

当一个处于等待状态的线程由于等待超时而继续运行时，会首先设置锁对象的结束标志为真(这样其他的线程处理结束时从队列中取出的该锁对象将被丢弃)，并判断锁对象的超时标志，由于这时还没有其他线程对其进行唤醒操作，所以其标志还是初始值，为真，这时就需要结束当前处理线程并向用户返回出错信息。

第六实施例

假设一个等待的处理线程没有超时，而是被其他线程唤醒了。

当一个处于等待状态的线程被其他线程唤醒而继续运行时，会首先设置锁对象的结束标志为真，并判断锁对象的超时标志，由于该线程是被其他线程所唤醒，所以超时标志已经被设置为假，所以下一步可以继续执行。

这时需要对系统的统计信息进行累加计算，比如当前增加的连接数，同时和系统预设的指标进行比较，以确定系统下一步的状态；这时可能还要把当前的CPU占用率或者内存占用率和相应的辅助指标进行比较来判断系统的下一步状态。

下一步，处理线程将继续处理这个请求。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被本发明的专利范围所涵盖。

Claims

1.一种多线程网络负载控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，还包括步骤四：设置一个定时器，所述定时器以固定的时间间隔检查系统的状态并判断是否需要进行告警处理。

3.根据权利要求1所述的方法，其特征在于，在所述步骤一中，根据在线处理的线程数、CPU占用率和/或内存占用率来确定所述预设的指标。

4.根据权利要求1所述的方法，其特征在于，所述步骤一进一步包括：

5.根据权利要求4所述的方法，其特征在于，所述步骤二进一步包括：当系统中另一个处理线程处理完一个请求的时候，首先对系统的统计信息进行递减运算，并将所述统计信息和系统预设的指标进行比较，以确定系统下一步的状态；然后判断先进先出队列是否不为空，是则取出第一个处理结束标志为假的锁对象，并将这个锁对象的超时标志设为真，并唤醒这个锁对象对应的处理线程。

6.根据权利要求5所述的方法，其特征在于，所述步骤三进一步包括：当等待的线程被唤醒或者由于等待超时而继续运行时，首先设置锁对象的结束标志为真，并判断锁对象的超时标志是否为真，是则结束当前处理线程并向用户返回出错信息；否则对系统的统计信息进行累加计算，并将统计信息和系统预设的指标进行比较，以确定系统下一步的状态。

7.根据权利要求1所述的方法，其特征在于，所述过负荷状态进一步分为多种级别。

8.根据权利要求1所述的方法，其特征在于，所述先进先出队列能进行如下操作：判断队列是否为空、判断队列是否已满、加入一个对象到队列尾、从队列头取出一个对象；所述各操作对于不同的线程是串行的，只有前一个线程对队列的操作完成之后，下一个操作才能够开始。

9.根据权利要求2所述的方法，其特征在于，所述步骤四进一步包括：所述定时器以固定的时间间隔检查系统的状态，如果系统处于和前一次定时器运行时不同的状态，并且该状态是过负荷状态，则进行告警处理，如果该状态是正常状态，则进行告警恢复处理。