CN106210129A - 一种基于Web服务器配置的限流方法及系统 - Google Patents

Abstract

本申请提供了一种基于Web服务器配置的限流方法及系统，其中，方法包括：计算Web服务器事务的平均处理时长；确定Web服务器网络流量控制的目标单位时间处理事务数；通过如下公式计算Web服务器允许客户端的最大连接数：MaxClients*Web服务器个数＝目标单位时间处理事务数*T，其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长；根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。本申请通过Web服务器配置能够实现系统层面的限流，使客户端请求数得到精细控制，相较于现有技术而言，控制效果更好。

Description

一种基于Web服务器配置的限流方法及系统

技术领域

本申请属于网络流量控制领域，特别涉及一种基于Web服务器配置的限流方法及系统。

背景技术

对于那些后台复杂、访问量在特殊时段有明显陡增的WEB应用，如电商网站的双十一整点秒杀，大型的新闻门户网站每日投放内容等，由于后台逻辑复杂，为了保证系统整体处理效率，避免网络访问的大量挤压，往往需要采用一些限流策略。

现有技术中，主要是通过增加流量控制器来实现网络层面的限流，该方法主要对应用和用户进行宽带的分配和监控，从而在网络层面实现流控的目的，这种方法并非针对请求数层面的控制，因此其流控策略精度不够，若访问应用不同接口的网络包字节数也不同，当一段时间内请求各接口的占比量出现明显偏差时，对应单位时间流量就会出现偏差，从而根据入口流量带宽限流就会出现偏差，从而起不到有效限流目的。

发明内容

本申请提供一种基于Web服务器配置的网络限流方法，用于解决现有技术中通过流量控制器实现网络层面的限流精度不高，起不到有效限流目的的问题。

为了解决上述技术问题，本申请的技术方案为提供一种基于Web服务器配置的网络限流方法，包括：

计算Web服务器事务的平均处理时长；

确定Web服务器网络流量控制的目标单位时间处理事务数(Transactions PerSecond，TPS)；

通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T，

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长；

根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

本申请方法的进一步实施例中，当所述MaxClients值为非整数时，对所述MaxClients值做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果为质数，则做加一处理，得到最终的MaxClients值。

本申请方法的进一步实施例中，得到最终的MaxClients值后还包括：根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，MaxClients为ThreadPerChild的整数倍；

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程的最大线程数。

本申请方法的进一步实施例中，根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流进一步为：

根据所述MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

本申请方法的进一步实施例中，计算Web服务器事务的平均处理时长的过程包括：

通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长；

对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。

本申请另一技术方案为提供一种基于Web服务器配置的限流系统，包括：

第一计算模块，用于计算Web服务器事务的平均处理时长；

确定模块，用于确定Web服务器网络流量控制的目标单位时间处理事务数；

第二计算模块，用于通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T，

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长；

设置模块，用于根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

本申请系统的进一步实施例中，所述第二计算模块具体用于当所述MaxClients值为非整数时，对所述MaxClients值做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果为质数，则做加一处理，得到最终的MaxClients值。

本申请系统的进一步实施例中，所述第二计算模块还用于根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，MaxClients为ThreadPerChild的整数倍；

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程中的最大线程数。

本申请系统的进一步实施例中，所述设置模块进一步用于根据所述MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

本申请系统的进一步实施例中，所述第一计算模块处理过程包括：

通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长；

对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。

本申请提供的基于Web服务器配置的限流方法及系统对Web服务器允许客户端连接数层面进行控制，在已知Web服务器事务的平均处理时长及网络流量控制的目标单位时间处理事务数的情况下，通过“MaxClients*Web服务器个数＝目标单位时间处理事务数*T”的计算公式得出MaxClients的设置值，能够实现客户端请求数流量的精细化控制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的基于Web服务器配置的限流方法流程图；

图2为本申请一实施例的计算Web服务器事务的平均处理时长的流程图；

图3为本申请一实施例的基于Web服务器配置的限流系统结构图。

具体实施方式

为了使本申请的技术特点及效果更加明显，下面结合附图对本申请的技术方案做进一步说明，本申请也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本申请的保护范畴。

在本说明书的描述中，参考术语“一实施例”、“一具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

关于申请中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于申请中所使用的用语“最大”为一定范围内的最大值，并非无限大。本领域技术人员应当了解，后续提及的数值可依实际需求而调整，并不做具体限定。

本申请提供的基于Web服务器配置的限流方法及装置适用于包括MaxClients、ServerLimit及ThreadPerChild参数的Web服务器，其中，MaxClients为Web服务器允许客户端的最大连接数，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程中的最大线程数，本申请所述的Web服务器如为IBM HTTP Server服务器(简称IHS服务器，是基于Apache Group开发的Apache Web服务器的Web服务器)。

如图1所示，图1为本申请一实施例的基于Web服务器配置的限流方法流程图。该方法能够实现客户端请求数流量的精细化控制。具体的，基于Web服务器配置的限流方法包括：

步骤101：计算Web服务器事务的平均处理时长。其中，一个事务是指一个客户端向服务器发送访问请求，然后服务器做出反应的过程。

步骤102：确定Web服务器网络流量控制的目标单位时间处理事务数。该单位时间如为秒(s)，单位时间处理事务数是服务器单位时间响应客户端访问请求的数量。实施时，目标单位时间处理事务数可根据历史记录数据确定。

步骤103：通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T， (1)

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长。

步骤104：根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

本实施例对Web服务器允许客户端连接数层面进行控制，在已知Web服务器事务的平均处理时长及网络流量控制的目标单位时间处理事务数的情况下，通过“MaxClients*Web服务器个数＝目标单位时间处理事务数*T”的计算公式得出MaxClients的设置值，能够实现客户端请求数流量的精细化控制。

详细的说，当计算得到的所述MaxClients值为非整数时，步骤103后还包括对所述MaxClients值做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果不为质数(即为合数)，则取整处理后得到最终的MaxClients值，如果为质数，则做加一处理，得到最终的MaxClients值。根据该最终的MaxClients值设置Web服务器。

例如：假设计算出的Web服务器的平均响应时长为0.39s，希望Web服务器网络流量控制的目标单位时间处理事务数达到500TPS，Web服务器个数为12台，将上述值带入公式(1)，得到MaxClients＝500TPS*0.39s/12＝16.25，16.25向上取整数为17，17为质数，对17做加1处理得到18，也就是说，每台Web服务器允许客户端的最大连接数为18，当12台Web服务器的MaxClients参数设置为18时，则在后台响应时间不变的前提下理论可以达到平均单位时间处理事务数为18*12/0.39＝554TPS。客户端请求数超过18后会报错，Web服务器返回拒绝访问，从而起到保护后台的作用。

进一步的，如图2所示，上述步骤101计算Web服务器事务的平均处理时长的过程进一步包括：

步骤201：通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长。

步骤202：对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。

实施时，本申请对访问日志文件包括的访问数量不做限定，只要保证计算出的平均处理时长能够达到一定精度即可。

一实施例中，上述取整、加一处理之后还包括根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，MaxClients为ThreadPerChild的整数倍； (2)

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程的最大线程数。

以IHS服务器为例，IHS服务器支持prefork.c和worker.c两种线程模块下的配置。其中，prefork.c线程模块下，一个进程只有一个线程，即ThreadPerChild＝1。worker.c线程模块下，一个进程可有多个线程。下面针对这两种线程模块，分别说明如何确定ServerLimit、ThreadPerChild值：

若是prefork.c模块，即一个进程只有一个线程，则ServerLimit应该和MaxClients保持一致，均设置为上述步骤103中计算的值，ThreadsPerChild参数将被忽略。

若是worker.c模块，即一个进程可有多个线程，则需要调整(如等比例调整)IHS服务器的最大进程数ServerLimit(默认为64)和每一进程的最大线程数ThreadPerChild(默认为16)的取值，使得满足ServerLimit*ThreadsPerChild>＝MaxClients，且MaxClients为ThreadsPerChild的整数倍。

进一步的，上述步骤104根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流进一步为：

根据最终的MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

如图3所示，图3为本申请一实施例的基于Web服务器配置的网络限流系统结构图。该系统可以通过逻辑电路实现运行于智能终端，例如手机、平板电脑等设备中，或者以功能模块的方式由软件实现各部件的功能，运行于所述智能终端上。

具体的，基于Web服务器配置的网络限流系统包括：

第一计算模块301，用于计算Web服务器事务的平均处理时长；

确定模块302，用于确定Web服务器网络流量控制的目标单位时间处理事务数；

第二计算模块303，用于通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T；

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长。

设置模块304，用于根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

本申请提供的基于Web服务器配置的限流系统，对Web服务器允许客户端连接数层面进行控制，在已知Web服务器事务的平均处理时长及网络流量控制的目标单位时间处理事务数的情况下，通过“MaxClients*Web服务器个数＝目标单位时间处理事务数*T”的计算公式得出MaxClients的设置值，能够实现客户端请求数流量的精细化控制。

详细的说，所述第一计算模块处理过程包括：通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长；对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。

所述第二计算模块具体用于当计算得到的所述MaxClients值为非整数时，对所述MaxClients做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果为质数，则做加一处理，得到最终的MaxClients值，如果不为质数，即为合数，则取整处理得到的MaxClients值为最终的MaxClients值。

进一步的，第二计算模块还用于根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，所述MaxClients为ThreadPerChild的整数倍；

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程中的最大线程数。

更进一步的，所述设置模块进一步用于根据计所述MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

本申请针对某些后台复杂、访问量在特殊时段有明显陡增的Web应用中，通过Web服务器配置能够实现系统层面的限流，使客户端请求数得到精细控制，相较于现有技术而言，控制效果更好。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅用于说明本申请的技术方案，任何本领域普通技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围应视权利要求范围为准。

Claims (10)

1.一种基于Web服务器配置的限流方法，其特征在于，包括：

计算Web服务器事务的平均处理时长；

确定Web服务器网络流量控制的目标单位时间处理事务数；

通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T，

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长；

根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

2.如权利要求1所述的基于Web服务器配置的限流方法，其特征在于，当所述MaxClients值为非整数时，还包括对所述MaxClients值做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果为质数，则做加一处理，得到最终的MaxClients值。

3.如权利要求2所述的基于Web服务器配置的限流方法，其特征在于，得到最终的MaxClients值后还包括：根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，所述MaxClients为ThreadPerChild的整数倍；

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程的最大线程数。

4.如权利要求3所述的基于Web服务器配置的限流方法，其特征在于，根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流进一步为：

根据所述MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

5.如权利要求1所述的基于Web服务器配置的限流方法，其特征在于，计算Web服务器事务的平均处理时长的过程包括：

通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长；

对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。

6.一种基于Web服务器配置的限流系统，其特征在于，包括：

第一计算模块，用于计算Web服务器事务的平均处理时长；

确定模块，用于确定Web服务器网络流量控制的目标单位时间处理事务数；

第二计算模块，用于通过如下公式计算Web服务器允许客户端的最大连接数：

MaxClients*Web服务器个数＝目标单位时间处理事务数*T，

其中，MaxClients为Web服务器允许客户端的最大连接数，T为事务的平均处理时长；

设置模块，用于根据计算得到的MaxClients值设置Web服务器，重启Web服务器以实现限流。

7.如权利要求6所述的基于Web服务器配置的限流系统，其特征在于，所述第二计算模块具体用于当所述MaxClients值为非整数时，对所述MaxClients值做向上取整处理，判断取整处理后的MaxClients值是否为质数，如果为质数，则做加一处理，得到最终的MaxClients值。

8.如权利要求7所述的基于Web服务器配置的限流系统，其特征在于，所述第二计算模块还用于根据最终的MaxClients值调整ServerLimit值及ThreadPerChild值使其满足如下公式：

ServerLimit*ThreadPerChild>＝MaxClients，所述MaxClients为ThreadPerChild的整数倍；

其中，ServerLimit为Web服务器的最大进程数，ThreadPerChild为Web服务器每一进程中的最大线程数。

9.如权利要求8所述的基于Web服务器配置的限流系统，其特征在于，所述设置模块进一步用于根据所述MaxClients、ServerLimit及ThreadPerChild值设置Web服务器，重启Web服务器以实现限流。

10.如权利要求6所述的基于Web服务器配置的限流系统，其特征在于，所述第一计算模块处理过程包括：

通过Web服务器的访问日志文件收集Web服务器事务的实际处理时长；

对收集的实际处理时长做加权平均处理得到Web服务器事务的平均处理时长。