CN111475387A - 一种服务器过载判断方法及服务器 - Google Patents

Abstract

本发明公开一种服务器过载判断方法及服务器，其中方法包括：服务器当接收到服务请求时，为该服务请求生成相应的任务；根据所述服务器中多个线程的空闲状态，为所述任务分配线程；根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态；根据所述服务器饱和状态信息，将所述服务器切换到过载状态。本发明基于同时正在执行任务的线程数进行过载判断，能够避免无法及时启动过载处理预案的问题，不需要频繁地更改阈值也能保持较高的机器资源利用率，达到最优的判断效果，也有利于降低运维的复杂性。

Description

一种服务器过载判断方法及服务器

技术领域

本发明涉及一种服务器过载判断方法及服务器，属于服务器过载保护技术领域。

背景技术

对于提供如地图搜索服务等实时在线服务的服务器，既要保证最大限度的利用机器资源提供能力范围内的服务，又需要有自我保护机制，确保服务器自身不会因为服务请求数量超出自己能力范围而垮掉。为此，提供这种服务的服务器应当具备过载判断功能，以判断收到的服务请求是否超出服务器自身的负载能力，如果超出则判断为发生了过载，需要采取相应的过载处理预案，如触发容灾机制、降级限流等。

现有的过载判断机制主要有如下几种：

1、基于当前服务容量的判断机制

这种机制根据服务器的当前服务容量设定一个固定的阈值，当收到的服务请求超过该阈值时，表明此时服务器没有足够的服务容量来满足该请求，据此判断为发生了过载。其中的服务容量可以表示为系统可以同时承载的并发用户数或每秒查询率(Query PerSecond，简称：QPS)。

然而，现有这种机制的主要缺点在于：一方面，随着服务的不断升级，升级过程中的性能会得到优化，从而也会带来服务容量的提升；而另一方面，服务升级过程中还会随着算法的升级导致计算复杂性变高，这又会造成服务容量的下降。这两种因素相互作用，使得服务器的服务容量总处在不断变化之中。如果总是随着服务容量的变化而不断地调整阈值，则会带来运维的复杂性；但如果总是设定一个比较保守的阈值，又会大幅降低机器资源的利用率，因此很难达到最优的效果。

2、基于队列状态的判断机制；

当多个服务请求到达时，如果服务器不能及时处理则需要将这些服务请求进行排队形成队列，按先后顺序依次进行处理。然而，当队列中的某些服务请求长时得不到处理时，则认为该队列发生了拥塞时，如果拥塞状态的持续时间超过了预定阈值，则判断为发生了过载。

然而，现有这种机制的主要缺点在于：由于这种机制当判断出发生了过载时，服务请求的队列已经发生了拥塞，服务器处理这些服务请求都力不从心，更没有余力去启动相应的过载处理预案，从而造成预案启动不及时。如果为了解放服务器能力而舍弃部分服务请求，则会影响用户体验。

3、基于CPU利用率的判断机制

这种机制预先设定一个阈值，当CPU利用率超过该阈值时，则判断为发生了过载。

然而，现有这种机制的主要缺点在于：CPU利用率总是随着计算量的变动而不断变化，而预设的阈值又不可能随着CPU利用率的变动而及时调整，所以这种判断机制的稳定性很差，经常会发生误判，从而导致反复在过载与未过载之间过度频繁地切换。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供一种服务器过载判断方法，能够更加准确地判断出服务器的过载状态，既保证过载处理预案的正常启动，又使服务器的机器资源得到充分利用。

本发明一方面提供一种服务器过载判断方法，其中包括：

服务器当接收到服务请求时，为该服务请求生成相应的任务；

根据所述服务器中多个线程的空闲状态，为所述任务分配线程；

根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态；

根据所述服务器饱和状态信息，将所述服务器切换到过载状态。

本发明另一方面提供一种服务器，其中包括：

任务生成模块，用于当接收到服务请求时，为该服务请求生成相应的任务；

线程分配模块，用于根据所述服务器中多个线程的空闲状态，为所述任务分配线程；

状态判断模块，用于根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态；

状态切换模块，用于根据所述服务器的饱和状态信息，将所述服务器切换到过载状态。

本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法。

本发明再一方面提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法。

本发明各实施例基于同时正在执行任务的线程数进行过载判断，能够在服务器的线程达到饱和之前判断出是否发生过载，从而能够避免无法及时启动过载处理预案的问题。并且由于线程的数量能比较准确地反应服务当时的负载且不会大幅波动，因此是一个相对稳定的指标，与CPU利用率和当前服务容量相比，不需要频繁地更改阈值也能保持较高的机器资源利用率，达到最优的判断效果，也有利于降低运维的复杂性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1提供的服务器过载判断方法的流程图；

图2A为一秒钟内任务活跃状态在无过载时的举例示意图；

图2B为一秒钟内任务活跃状态在有过载时的举例示意图；

图3为本发明实施例2提供的服务器过载判断方法的流程图；

图4为本发明所述过载保护防抖机制的曲线示意图；

图5为本发明实施例3提供的服务器的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

<实施例1>

本发明实施例1提供一种服务器过载判断方法，如图1所示，包括如下步骤：

步骤100，服务器当接收到服务请求时，为该服务请求生成相应的任务。

其中，所述服务是指服务器为满足用户需求而具备的功能，如地图搜索服务等；所述服务请求是用户根据自身需求为获得相应服务而向服务器发出的请求，例如，用户请求搜索天安门；所述任务是指服务器为了实现该服务而执行的操作，可以分为计算类任务和输出输出(Input/Output，简称：IO)类任务。

一般而言，服务器的内部结构通常包括：运算器与控制器(又被称为中央处理器，即CPU)、存储器、输入设备和输出设备，均通过系统总线连接在一起。在系统总线上一般有两个独立的单元即南桥芯片和北桥芯片。北桥芯片，离CPU最近，主要负责系统总线上的高速设备比如AGP(Accelerated Graphics Port，加速图形接口)、PCI-e(PeripheralComponent Interconnect-Express，外设部件互连标准－快速)、内存等与CPU的数据高速交换；南桥芯片相对北桥芯片离CPU较远，主要负责中低速外部设备比如USB(UniversalSerial Bus，通用串行总线)、PCI、IDE(Integrated Development Environment，集成开发环境)、SATA(Serial Advanced Technology Attachment，串行高级技术附件)、网卡等与CPU的数据低速交换。网卡、硬盘都由南桥芯片控制，并属于中低速设备，在服务器上进行网络通讯、网络传输、磁盘读写等操作均受南桥芯片控制。因此，本实施例中将经由南桥芯片的控制用以实现IO操作的任务称为IO类任务，将经由北桥芯片的控制用以实现计算操作的任务称为计算类任务。

具体地，服务器针对一个服务请求，根据具体服务的不同，既有可能只生成一个任务，也有可能生成多个任务，多个任务中既有可能包含IO类任务，也有可能包含计算类任务。例如，当用户请求搜索天安门时，服务只需要生成一个IO类任务，从在存储器中预先保存的地图数据中读出天安门的具体位置返回给用户即可。再例如，当用户请求搜索当前位置周围100米内的餐厅时，服务器至少需要生成一个计算类任务，确定用户当前位置周围100米内具体包含哪些餐厅，并且还要生成一个IO类任务，从在存储器中预先保存的地图数据中读出满足条件的这些餐厅的具体信息返回给客户。

步骤200，根据所述服务器中多个线程的空闲状态，为所述任务分配线程。

其中，所述线程是程序执行流的最小单元，每个线程既可以执行计算类任务，也可以执行IO类任务。线程在执行任务时处于活跃状态，在未执行任务时处于空闲状态。当有新的任务生成时，可以由在当前时刻处于空闲状态的线程来执行该任务。

例如，图2A为一秒钟内任务活跃状态示意图，其中，多个平行排列的长条状形状中的每一个分别表示一个线程，每个线程中填充有网格图案的方块分别表示一个任务，即该线程在该时间段正在执行该任务，因此处于活跃状态；除此之外，每个线程中填充有灰色的剩余部分表示该线程在该时间段内未执行任何任务，因此处于空闲状态。当有新的任务在第0秒生成时，可以选择在第0秒处于空闲状态的线程来执行该任务。

具体地，在图2A中，总线程数thrs＝9条，一秒钟内收到的服务请求qps＝20个，相应生成了20个任务，这些任务的平均执行时长ave＝60ms。依据本发明的判断机制，呈现出图2A所示任务活跃状态的服务器未发生过载。

相应地，如图2B所示，与图2A相比，可用线程数thrs仍然为9条，但一秒钟内收到的服务请求qps增加到26个，相应生成了26个任务，这些任务的平均执行时长ave也增加到80ms。随着qps和ave的增加，服务器的负载也相应增加，从而发生了过载。具体判断机制参见下一步骤。

此处需要说明的是，图2B所示情形中使服务器负载增加的原因是qps和ave的同时增加造成的，但实际上并不限于此，qps与ave的任意一个增加均有可能造成负载增加，并且thrs的减少也有可能造成负载增加。也就是说，本发明并不限定造成服务器负载增加的原因，从下一步骤的内容也可以看出，任何原因引起的负载增加都可以适用本发明的判断机制。

步骤300，根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态。

其中，所述最大活跃线程数是指在同一时刻或在同一时间段内正在执行所述任务的线程的数量中的最大值。例如，在图2A中，在T1时刻有3个线程正在执行任务，而在其他时刻最多只有两个线程正在执行任务，因此，最大活跃线程数为3个。再例如，在图2B中，T2时刻有7个线程正在执行任务，而在其他时刻最多只有3个线程正在执行任务，因此，最大活跃线程数为7个。

具体地，可以当判断出所述最大活跃线程数超过预设的线程阈值时，则判定所述服务器处于饱和状态。例如，可以预设一个数量阈值作为线程阈值，当判断出所述最大活跃线程数超过预设的数量阈值时，则判定所述服务器处于饱和状态。例如，该数量阈值为6，在图2B中的T2时刻或在3秒钟的时间段内同时正在执行任务的最大活跃线程数为7个线程，大于数量阈值6，因此判定该服务器处于饱和状态。

可选地，也可以预设一个比例阈值作为线程阈值，当判断出所述最大活跃线程数与线程的总数之比超过该比例阈值时，则判定所述服务器处于饱和状态。例如，该比例阈值为75％，图2B中在T1时刻或在T1～T2的时段内同时正在执行任务的线程数为7个线程，与全部的9个线程之比为77.8％，大于比例阈值75％，因此判定该服务器处于饱和状态。

其中，所述线程的总数是指能够执行被分配任务的工作线程的总数量。实际上，除了这些工作线程以外，服务器中还可能具有其他线程，例如：用于维持操作系统正常运转的系统线程；以及用于执行为各个工作线程分配任务等调度任务的主线程等，这些线程通常与用户请求关系不大，发生过载的机率也比较低，因此不属于本发明所要讨论的范畴。

具体地，由于服务器提供哪种类型的服务是可以预先得知的，因此，上述数量阈值和比例阈值可以根据所述服务的类型进行预先设定。例如，当服务器提供的服务为计算服务时，可以根据CPU核的数量设定上述数量阈值或比例阈值；当服务器提供的服务为输入输出服务时，可以根据所述输入输出服务在处于稳定状态时的最大活跃线程数设定上述数量阈值或比例阈值。

其中，计算服务是指所对应的任务以计算类任务为主的服务，由于计算类任务是由CPU执行的，服务器在处理计算服务时，CPU的负荷相对较高，因此，根据CPU核的数量设定上述数量阈值或比例阈值更能体现服务器此时的负载状况。输入输出服务是指所对应的任务以IO类任务为主的服务，服务器在处理输入输出服务时，CPU的负荷相对较低，因此为了能体现服务器此时的负载状况，可以根据以往已经结束的输入输出服务在处于稳定状态时的数据统计得到的最大活跃线程数作为最大活跃线程数来设定上述数量阈值或比例阈值。

步骤400，根据所述服务器的饱和状态信息，将所述服务器切换到过载状态。

具体地，可以当所述服务器处于饱和状态的持续时间达到第一时间阈值时，将所述服务器切换到过载状态。在过载状态中，可以采取相应的过载处理预案，例如：触发容灾机制，由备用服务器分流部分服务；或者采取降级限流措施，丢弃部分级别较低的服务请求。

例如，将第一时间阈值设为3秒，如果图2B所示的T2时刻的7个线程正在执行任务的状态持续3秒种以上，即后续图4中所示的时间段S1＝3秒，则认为最大活跃线程数为7个，表明服务器处于饱和状态。通过在预设的第一时间阈值内统计正在执行任务的线程数，有利于避免在过载状态与非过载状态之间发生频繁切换，从而规避由于判断失误导致的抖动问题。

本实施例所述方法基于同时正在执行任务的线程数进行过载判断，与现有技术相比具有如下技术效果：

1，与现有技术中的基于当前服务容量的判断机制相比，由于本发明实施例采用线程数量作为判断依据能够比较直接准确地反应服务器当时的负载，保证较高的机器资源利用率，因此不需要根据当前服务容量的变化而更改阈值，从而有利于降低运维的复杂性。

2，与现有技术中的基于队列状态的判断机制相比，由于本发明实施例在服务器的负载达到饱和之前便判断出是否发生过载，从而能够避免负载达到饱和之后无法及时启动过载处理预案的问题。

3，与现有技术中的基于CPU利用率的判断机制相比，由于本发明实施例所利用的线程数量是一个相对稳定的指标，与CPU利用率相比，不会大幅波动，因此也就不需要频繁地变更阈值。

<实施例2>

通过上述实施例中的步骤300的判断后，当判断为处于非饱和状态时，继续正常执行上述步骤；当判断为处理饱和状态时，在步骤400中将服务器切换到过载状态，此后执行如下的步骤：

步骤500，持续判断所述服务器是否处于饱和状态。

具体的判断方式与上述步骤300相同，此处不再赘述。

步骤600，根据所述服务器的非饱和状态信息，将所述服务器退出过载状态。

具体地，当所述服务器非饱和状态的持续时间达到第二时间阈值时，将所述服务器退出过载状态，此时可以结束相应的过载处理预案，恢复服务器在未过载状态下的正常工作。

其中，所述第二时间阈值可以与上述第一时间阈值相同或不同。在图4中显示了两种时间阈值不相同的情形。如图4所示，将第二时间阈值设为S3，针对由于处于过载阈值临界时可能出现的抖动状态，使判断是否进入过载状态的过载发现过程持续S1的时间段，使判断是否退出过载状态的过载退场过程持续S3的时间段，在S2的时间段内，服务器处于过载状态。例如，S1＝3秒，S2＝5秒

通过这种过载保护防抖机制，有效规避了在S2的时间范围内由于处于过载阈值临界而产生的抖动。经过长时间的实验发现，对于过载的判断准确率超过99％，而误入抖动状态的比例不到0.1％。

<实施例3>

本实施例提供一种服务器，如图5所示，该服务器包括：任务生成模块10、线程分配模块20、状态判断模块30和状态切换模块40，其工作原理如下：

当服务器接收到服务请求时，任务生成模块10为该服务请求生成相应的任务；线程分配模块20根据所述服务器中多个线程的空闲状态，为所述任务分配线程；状态判断模块30根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态。

其中，所述线程阈值可以根据服务器所提供的不同类型的服务进行相应设置。例如，当所述服务器用于提供计算服务时，根据所述服务器中的CPU核的数量预设所述线程阈值；当所述服务器用于提供输入输出服务时，根据所述输入输出服务在处于稳定状态时的最大活跃线程数预设所述线程阈值。

状态切换模块40根据所述服务器的饱和状态信息，将所述服务器切换到过载状态。具体地，当服务器饱和状态的持续时间达到第一时间阈值时，状态切换模块40将所述服务器切换到过载状态。

可选地，在状态切换模块40将所述服务器切换到过载状态之后，状态判断模块30还可以持续判断所述服务器是否处于饱和状态；所述状态切换模块40根据所述服务器的非饱和状态信息，将所述服务器退出过载状态。具体地，当所述服务器非饱和状态的持续时间达到第二时间阈值时，状态切换模块40将所述服务器退出过载状态。

本实施例的技术效果和具体实现方式可以参见上述方法实施例的相关内容，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种服务器过载判断方法，其特征在于，包括：

服务器当接收到服务请求时，为该服务请求生成相应的任务；

根据所述服务器中多个线程的空闲状态，为所述任务分配线程；

根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态；

根据所述服务器的饱和状态信息，将所述服务器切换到过载状态。

2.根据权利要求1所述的方法，其特征在于，根据所述服务器的饱和状态信息，将所述服务器切换到过载状态，包括：

当所述服务器饱和状态的持续时间达到第一时间阈值时，将所述服务器切换到过载状态。

3.根据权利要求1所述的方法，其特征在于，将所述服务器切换到过载状态之后，还包括：

持续判断所述服务器是否处于饱和状态，并根据所述服务器的非饱和状态信息，将所述服务器退出过载状态。

4.根据权利要求3所述的方法，其特征在于，根据所述服务器的非饱和状态信息，将所述服务器退出过载状态，包括：

当所述服务器非饱和状态的持续时间达到第二时间阈值时，将所述服务器退出过载状态。

5.根据权利要求1～4中任一项所述的方法，其特征在于，还包括：

当所述服务器用于提供计算服务时，根据所述服务器中的CPU核的数量预设所述线程阈值。

6.根据权利要求1～4中任一项所述的方法，其特征在于，还包括：

当所述服务器用于提供输入输出服务时，根据所述输入输出服务在处于稳定状态时的最大活跃线程数预设所述线程阈值。

7.一种服务器，其特征在于，包括：

任务生成模块，用于当接收到服务请求时，为该服务请求生成相应的任务；

线程分配模块，用于根据所述服务器中多个线程的空闲状态，为所述任务分配线程；

状态判断模块，用于根据所述服务器在同一时刻的活跃线程数是否大于线程阈值判断所述服务器是否处于饱和状态；

状态切换模块，用于根据所述服务器的饱和状态信息，将所述服务器切换到过载状态。

8.根据权利要求7所述的服务器，其特征在于：

所述状态判断模块还用于在所述状态切换模块将所述服务器切换到过载状态之后，持续判断所述服务器是否处于饱和状态；

所述状态切换模块还用于根据所述服务器的非饱和状态信息，将所述服务器退出过载状态。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6中任一项所述的方法。

10.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。

Images