CN115904944A - 多路服务器系统Web并发性能的测试方法 - Google Patents

Abstract

本发明涉及多路服务器系统Web并发性能的测试方法，包括如下步骤：检索操作系统关键信息；配置操作系统参数；配置I\O资源；获取最优CPU资源配置；配置服务端Web软件；测试并记录结果。本发明能够实现对多路服务器整机系统的Web并发能力的有效评估，真实全面地反映多路服务器整机系统的性能。

Description

多路服务器系统Web并发性能的测试方法

技术领域

本发明涉及信息测试技术领域，具体涉及多路服务器系统Web并发性能的测试方法。

背景技术

Web服务是服务器的一个重要应用场景，因此Web并发性能通常都是服务器整机系统性能的重要指标之一。Web并发性能是指服务端每秒处理请求的数量，能够最直观的反映了系统的处理能力。服务端每秒处理请求的数量是由客户端每秒发出请求的数量、网络延迟、服务端本身处理速度三个因素决定。一个性能表现良好的服务器系统，服务端每秒处理请求的数量和客户端每秒发出请求的数量几乎是相同的。

目前，Web并发性能的测试软件一般由服务端软件和客户端软件组成。其中，服务端软件一般采用Nginx，Nginx是一个高性能的、支持HTTP协议的轻量级Web服务器软件，其特点是占有内存少、并发能力强；客户端软件采用weihttp，weihttp是一款轻量的、支持多线程、异步IO的Web请求发送工具。Web并发性能的一般测试方法如下：

①配置nginx.conf的worker_processes参数为auto；

②配置nginx.conf中server相关项；

③启动nginx服务；

④用weihttp工具向服务端批量发送http请求并记录测试结果。

现有的Web并发性能测试方法在单路服务器、双路服务器上进行测试评估时都能较好地反映这类服务器整机系统的处理能力。但是当该方法在四路服务器、八路服务器等多路服务器上进行测试评估时，发现测得的Web并发性能数据与多路服务器整机系统的理论处理能力相差很多，不能真实地反映多路服务器整机系统的Web并发能力。导致这个问题的原因有以下几个方面：

①现有的Web并发性能测试方法中没有考虑服务器端操作系统基础配置对Web并发能力评估的影响；

②现有的Web并发性能测试方法中并没有考虑系统I\O资源(如网卡中断、网络带宽等)与CPU计算资源的整合利用，而多路服务器的一个显著特点是CPU计算资源充足，I\O资源是影响多路服务器整机系统性能的关键因素；

③现有的Web并发性能测试方法中服务端Nginx的并发配置不适用多路服务器，多路服务器整机系统的CPU架构采用了NUMA技术，当前Nginx的并发配置没有考虑NUMA架构的CPU亲和性。

发明内容

为了解决现有的Web并发性能测试方法评估多路服务器Web并发能力时存在的问题，本发明提出一种多路服务器系统Web并发性能的测试方法，包括如下步骤：

步骤S1：检索操作系统关键信息；

步骤S2：配置操作系统参数；

步骤S3：配置I\O资源；

步骤S4：获取最优CPU资源配置；

步骤S5：配置服务端Web软件；

步骤S6：测试并记录结果。

其中，所述步骤S1中，所检索的操作系统关键信息包括：

网卡的理论带宽networkSpeed；

系统预设的配置activeProfile；

内核可以同时打开的文件描述符的最大值openFiles；

网卡中断信息及CPU信息。

其中，网卡中断信息包括中断服务状态irqbalance、网卡中断所在的CPU节点号numaNodeID、中断绑定队列数irqCombined及网卡名ethName；

CPU信息包括CPU主频-cpuHz、CPU个数-cpuNum、单个CPU的核数-coresPerCpu、CPU节点总数-nodeNum、每个节点的CPU核数-coresPerNode。

其中，所述步骤S2包括：

步骤S21：若系统预设的配置activeProfile值不为“网络吞吐优先”设置，则通过操作系统命令将其设定为“网络吞吐优先”配置模式；

步骤S22：若被测多路服务器CPU主频不是多路服务器搭载的CPU支持的最高主频，则通过修改系统配置设定为最高主频；

步骤S23：若被测多路服务器系统的中断服务状态irpbalance值是激活状态，则通过系统命令停止该服务并设置为disable状态；

步骤S24：若内核可以同时打开的文件描述符的最大值openFiles小于服务端Web软件每秒处理请求的数量，则通过系统命令将该值修改为服务端Web软件每秒处理请求的数量。

其中，所述步骤S24中，服务端Web软件每秒处理请求的数量通过“networkSpeed/(dataSize*8)”估算，其中，dataSize为服务端Web软件处理一次请求响应需传递的数据大小。

其中，所述步骤S3包括：

步骤S31：读取步骤S1所检索到的网卡中断所在的CPU节点号numaNodeID、每个节点的CPU核数-coresPerNode、中断绑定队列数irqCombined及网卡名ethName；

步骤S32：获取中断将绑定的起始CPU核ID-startCPUCoreID，获取ethName网卡设备的中断号列表到irq_list数组中；

步骤S33：通过系统命令，顺次逐一将中断绑定队列中的每个网卡中断与网卡中断所在CPU节点的CPU核绑定，其中，CPU核从起始CPU核ID-startCPUCoreID起顺次与中断绑定队列中的每个网卡中断绑定。

其中，所述步骤S32中，起始CPU核ID-startCPUCoreID通过如下公式获取：startCPUCoreID＝numaNodeID*coresPerNode；通过命令“echo bindCPUCoreID>/proc/irq/irq_list[n]/smp_affinity_list”实现绑定，其中，“irq_list[n]”是需要绑定的网卡中断对应的网卡中断号。

其中，所述步骤S4包括：

步骤S41：初始化最优性能测试结果best_test_result、最优工作进程数best_worker_processes均为0，Web服务端软件的工作进程数worker_processes设定初值为单个CPU的核数coresPerCpu，工作进程绑核worker_cpu_affinity绑定worker_processes个连续的工作进程到CPU核，其起始核＝网卡中断所在的CPU节点号*单个CPU的核数＝numaNodeID*coresPerNode,初始化总CPU核数totalCPUCore＝CPU个数*单个CPU的核数＝cpuNum*coresPerCpu；

步骤S42：判断worker_processes设定值是否小于或等于总CPU核数totalCPUCores，若是则进行一次模拟Web并发测试，并记录结果到test_result，若否则直接跳转到步骤S46；

步骤S43：如果test_result大于已记录的最优性能测试结果best_test_result，则将最优性能测试结果best_test_result的值修改为test_result，同时将最优工作进程数best_worker_processes的值修改为当前的worker_processes值；否则直接进入下一步；

步骤S44：worker_cpu_affinity增加相应核的绑定设置；

步骤S45：将worker_processes值增加单个CPU的核数，同时，跳转到步骤S42；

步骤S46：获得能达到最好Web并发性能的最优工作进程数best_worker_processes，与之对应的worker_cpu_affinity配置为最优配置。

其中，所述步骤S5中，根据步骤S2及步骤S4的结果优化服务端Web软件Nginx的配置文件。

其中，所述步骤S5中，根据最优工作进程数best_worker_processes、工作进程绑核worker_cpu_affinity、单个Nginx进程可打开的最大文件描述符数目worker_rlimit_nofile参数优化服务端Web软件Nginx的配置文件，其中，单个Nginx进程可打开的最大文件描述符数目worker_rlimit_nofile＝内核可以同时打开的文件描述符的最大值openFiles/最优工作进程数best_worker_processes。

本发明提供的多路服务器系统Web并发性能的测试方法，能够实现对多路服务器整机系统的Web并发能力的有效评估，真实全面地反映多路服务器整机系统的性能。

附图说明

图1：本发明的多路服务器系统Web并发性能的测试方法评测模型图。

图2：本发明的多路服务器系统Web并发性能的测试方法的检索操作系统关键信息程序流程图。

图3：本发明的多路服务器系统Web并发性能的测试方法的I/O资源配置程序流程图。

图4：本发明的多路服务器系统Web并发性能的测试方法的CPU资源配置择优过程。

具体实施方式

为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。

提出一种全新的多路服务器系统Web并发性能评测模型。根据Web并发性能与服务器整机系统各项关键组成的相关性，综合利用服务器操作系统特性、多路服务器的资源分布与调度特征、服务端Web软件Nginx的并发特性，提出一种全新的多路服务器系统Web并发性能评测模型，见图1。该模型描述了测试多路服务器系统Web并发性能的必要过程，包括检索操作系统关键信息、配置操作系统参数、配置I\O资源、获取最优CPU资源配置、配置服务端Web软件、测试并记录结果。

一、检索操作系统关键信息

本步骤主要对影响Web并发性能的各项操作系统关键信息进行提取和输出，涉及的操作系统关键信息项包括系统预设的配置、内核可以同时打开的文件描述符的最大值、网卡的理论带宽、网卡中断信息、CPU信息。检索操作系统关键信息的流程图参见图2。本步骤检索结果的输出格式如下，

其中，activeProfile表示系统预设的配置，openFiles表示内核可以同时打开的文件描述符的最大值，networkSpeed表示网卡的理论带宽，网卡中断信息包括中断服务状态(以下记为irqbalance)、网卡中断所在的CPU节点号(以下记为numaNodeID)、中断绑定队列数(以下记为irqCombined)、网卡名(以下记为ethName)，CPU信息包括CPU主频(以下记为cpuHz)、CPU个数(以下记为cpuNum)、单个CPU的核数(以下记为coresPerCpu)、CPU节点总数(以下记为nodeNum)、每个节点的CPU核数(以下记为coresPerNode)。

二、配置操作系统参数

本步骤主要对影响Web并发性能的系统参数进行检查和配置，主要包括系统预设的Tuned特性配置、CPU主频、硬件中断分配服务和内核可以同时打开的文件描述符的最大值四类参数。基于步骤1的结果，配置过程如下：

1、若被测多路服务器系统预设的Tuned特性配置即“activeProfile”值不为“网络吞吐优先”配置，则通过操作系统命令将其设定为“网络吞吐优先”配置模式，确保系统的主要参数被设定为适应高Web并发场景的值；

2、若被测多路服务器CPU主频不是多路服务器搭载的CPU支持的最高主频，则通过修改系统配置设定为最高主频，CPU主频是影响Web并发的重要因素之一，因此需将其主频设定为最高主频，确保多路服务器的硬件能力被充分发挥；

3、若被测多路服务器系统的硬件中断分配服务状态即irpbalance值是激活状态，则通过系统命令停止该服务并设置为disable状态，以便后续步骤中按需配置I\O资源；

4、根据网卡带宽(记为networkSpeed，单位：Mbit/s)理论、服务端Web软件处理一次请求响应需传递的数据大小(记为dataSize，单位：byte)可估得被测多路服务器“每秒处理请求的数量”的理论值，估算公式：每秒处理请求的数量＝networkSpeed/(dataSize*8)。由于服务端Web软件每处理一次请求响应需要打开一个文件，为了确保服务器系统内核支持的最大文件描述符数不成为Web并发性能的瓶颈，需要配置该参数。若内核可以同时打开的文件描述符的最大值(记为openFiles)小于每秒处理请求的数量，则通过系统命令将该值修改为每秒处理请求的数量。

三、配置I\O资源

主要涉及网卡中断的绑核配置。基于步骤1检索结果中的网卡设备所属NUMA架构下的CPU节点序号、单个节点包含的核数、网卡中断队列数和网卡名按照图3程序流程完成网卡中断的绑核配置。网卡中断绑核流程概述如下：

1、读取步骤1检索结果中的网卡设备所属NUMA架构下的网卡中断所在CPU节点序号(图3中记为numaNodeID)、单个节点包含的核数(图3中记为coresPerNode)、中断绑定队列数(图3中记为irqCombined)和网卡名(图3中记为ethName)；

2、计算得到中断将绑定的起始CPU核ID(即图3中的startCPUCoreID)，startCPUCoreID＝网卡中断所在CPU节点号numaNodeID*每个节点的CPU核数coresPerNode；读取ethName网卡设备的中断号列表到irq_list数组中，将n值初始化为startCPUCoreID；因为多路服务器的网卡中断所在CPU节点号numaNodeID是不确定的，所以本发明中网卡中断队列绑定CPU核的起始CPU核ID不一定是0。

3、将中断绑定队列中的每个网卡中断与网卡设备所属Numa Node的CPU核通过系统命令逐一进行绑定，每个CPU核ID(即图3中的bindCPUCoreID)可与1个或多个网卡中断(即图3中的irq_list[n])绑定，绑核命令为“echo bindCPUCoreID>/proc/irq/irq_list[n]/smp_affinity_list”其中，“irq_list[n]”是需要绑定的网卡中断对应的网卡中断号。

图3中，“bindCPUCoreID”代表CPU核ID的标识。

四、获取最优CPU资源配置，以充分发挥服务端Web软件并发特性

为适应多路CPU技术，服务端Web软件支持CPU亲和力配置特性，提供工作进程数(以下记为worker_processes)和工作进程绑核(以下记为worker_cpu_affinity)配置，这两个参数的设定与CPU的个数、核数、Numa架构特性和网卡中断绑核情况密切相关，并且需要禁止硬件中断分配服务。worker_processes代表处理响应请求的并发工作进程数，不是越大越好，受限于物理资源即CPU核数和网卡队列数。worker_cpu_affinity将worker_processes设定的工作进程逐一绑定到不同CPU核，为了尽可能减少进程切换开销，最好将工作进程绑定到网卡中断所在CPU的邻近CPU核上，以便能获取最优性能。因此基于步骤1获取的CPU信息、步骤2的硬件中断分配服务状态配置、步骤3的网卡中断绑核结果和多路服务器上NUMA架构CPU亲和力特征可以确定服务端Web软件的worker_processes参数范围为单个CPU核数-所有CPU总核数，服务端Web软件的worker_cpu_affinity参数绑定的CPU核应尽可能与网卡中断绑定的CPU核在同一个CPU上，若worker_processes值大于网卡中断所在CPU的核数，则增加绑定亲和力较好的其他邻近CPU的核。为了确定worker_processes参数，需在worker_processes参数范围内动态调整worker_processes、worker_cpu_affinity的值进行多轮模拟测试并记录结果，最终选取测试结果最优的worker_processes、worker_cpu_affinity值作为最终测试的并发参数配置，择优过程参见附图图4。获取最优CPU资源配置的过程概述如下：

1、初始化最优性能测试结果(即图4中的best_test_result)、最优工作进程数(即图4中的best_worker_processes)初为0，Web服务端软件的worker_processes设定初值为单个CPU的核数(即图4中的coresPerCpu)，worker_cpu_affinity绑定worker_processes个连续cpu核，其起始核为“网卡中断所在的CPU节点号*单个CPU的核数”(即图4中的numaNodeID*coresPerNode),初始化总CPU核数为“CPU个数*单个CPU的核数”(即图4中的totalCPUCores＝cpuNum*coresPerCpu)；

2、worker_processes设定值小于总CPU核数(即图4中的totalCPUCores)，则进行一次模拟Web并发测试，并记录结果到test_result，否则直接跳转到步骤6；

3、如果test_result大于已记录的最优性能测试结果(即图4中的best_test_result)，则将最优性能测试结果的值修改为test_result，同时将最优工作进程数best_worker_processes的值修改为当前的worker_processes值，否则直接进入下一步；

4、将worker_processes值增加单个CPU的核数，也即，worker_processes参数调整规则是以单个CPU核数为起点，每次调整在上次基础上增加一个CPU节点的核数即coresPerNode；

5、worker_cpu_affinity增加相应核的绑定设置，跳转到步骤2；

6、获得能达到最好Web并发性能的best_worker_processes，与之对应的worker_cpu_affinity配置为最优配置。

五、配置服务端Web软件。

基于步骤2中的“内核可以同时打开的文件描述符的最大值”、步骤4的择优结果，优化服务端Web软件Nginx的配置文件，包括最优工作进程数best_worker_processes、worker_cpu_affinity、worker_rlimit_nofile参数。其中worker_processes、worker_cpu_affinity参数使用步骤4中的最优参数配置。worker_rlimit_nofile是指单个Nginx进程可打开的最大文件描述符数目，其值根据步骤2中的openFiles和步骤4中的worker_processes计算得出，即worker_rlimit_nofile＝openFiles/best_worker_processes。

六、测试并记录结果。

本步骤将在调优后的环境中启动服务端、客户端Web测试软件完成测试，并记录结果。

本发明的一个具体实施例如下：

本发明在某国产四路服务器(系统为银河麒麟高级服务器操作系统)整机性能评测中进行了应用，具体实施过程如下：

1、按照附图图2的程序流程编写检索操作系统关键信息的程序，再运行程序获得操作系统关键信息如下。

2、根据步骤1的返回结果，配置操作系统参数：

(1)由于activeProfile值不为“network-throughput”，则通过tuned-adm命令将系统配置设定为“network-throughput”；

(2)被测多路服务器CPU主频已是最高主频，无需修改；

(3)被测多路服务器系统的irpbalance服务是激活状态，通过systemctl命令停止该服务并设置为disable状态；

(4)被测多路服务器系统的服务端web软件Nginx完成一次请求响应的datasize为850byte，每秒处理请求的数量＝10000*1024*1024/(850*8)≈1542024，由于openfiles<1542024，则通过ulimit命令将该值修改为1542024。

3、根据步骤1的返回结果，按照附图图3程序流程编写网卡中断绑定程序，再运行程序完成网卡中断绑定。

4、根据步骤1的返回结果，服务端Web软件Nginx的worker_processes参数范围为64-256，其worker_cpu_affinity参数绑定的CPU核应尽可能使用网卡中断所在的CPU0上的核，若worker_processes值大于CPU0的核数，再增加绑定其他邻近CPU的核。按照附图图4的择优过程开展多轮模拟测试取得最优worker_processes＝128、worker_cpu_affinity绑定0～128核。

5、根据步骤2、步骤4的成果，获得服务端Web软件Nginx的优化配置参数值，即worker_processes＝128、worker_cpu_affinity绑定0-128、worker_rlimit_nofile＝1542024/128≈12047，将配置参数修改到服务端Web软件Nginx的nginx.conf文件。

6、在调优后的环境中运行服务端、客户端Web测试软件完成测试，并记录结果，测试结果符合预期。

本发明的有益效果如下：

1.本发明提出的多路服务器系统Web并发性能评测模型描述了测试多路服务器系统Web并发性能的必要过程，各过程相互关联、紧密结合，尤其系统资源的评估与配置相关过程都具备环境自适应性，使得该评测模型可适应于各类多路服务器系统的Web并发性能评估。

2.本发明根据Web并发性能与服务器整机系统各项关键组成的相关性，综合利用服务器操作系统特性、多路服务器的资源分布与调度特征、服务端Web软件Nginx的并发特性，通过检索操作系统关键信息、配置操作系统参数、配置I\O资源、获取最优CPU资源配置、配置服务端Web软件等步骤调优多路服务器系统的基础配置和服务端Web软件的参数配置，确保多路服务器系统的各项计算资源在评测过程中被充分有效的利用，从而实现对多路服务器整机系统的Web并发能力的有效评估，真实全面地反映多路服务器整机系统的性能。

虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。

Claims (10)

1.多路服务器系统Web并发性能的测试方法，其特征在于，包括如下步骤：

步骤S1：检索操作系统关键信息；

步骤S2：配置操作系统参数；

步骤S3：配置I\O资源；

步骤S4：获取最优CPU资源配置；

步骤S5：配置服务端Web软件；

步骤S6：测试并记录结果。

2.如权利要求1所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S1中，所检索的操作系统关键信息包括：

网卡的理论带宽networkSpeed；

系统预设的配置activeProfile；

内核可以同时打开的文件描述符的最大值openFiles；

网卡中断信息及CPU信息。

3.如权利要求2所述的多路服务器系统Web并发性能的测试方法，其特征在于，

网卡中断信息包括中断服务状态irqbalance、网卡中断所在的CPU节点号numaNodeID、中断绑定队列数irqCombined及网卡名ethName；

CPU信息包括CPU主频-cpuHz、CPU个数-cpuNum、单个CPU的核数-coresPerCpu、CPU节点总数-nodeNum、每个节点的CPU核数-coresPerNode。

4.如权利要求3所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S2包括：

步骤S21：若系统预设的配置activeProfile值不为“网络吞吐优先”设置，则通过操作系统命令将其设定为“网络吞吐优先”配置模式；

步骤S22：若被测多路服务器CPU主频不是多路服务器搭载的CPU支持的最高主频，则通过修改系统配置设定为最高主频；

步骤S23：若被测多路服务器系统的中断服务状态irpbalance值是激活状态，则通过系统命令停止该服务并设置为disable状态；

步骤S24：若内核可以同时打开的文件描述符的最大值openFiles小于服务端Web软件每秒处理请求的数量，则通过系统命令将该值修改为服务端Web软件每秒处理请求的数量。

5.如权利要求4所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S24中，服务端Web软件每秒处理请求的数量通过“networkSpeed/(dataSize*8)”估算，其中，dataSize为服务端Web软件处理一次请求响应需传递的数据大小。

6.如权利要求4所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S3包括：

步骤S31：读取步骤S1所检索到的网卡中断所在的CPU节点号numaNodeID、每个节点的CPU核数-coresPerNode、中断绑定队列数irqCombined及网卡名ethName；

步骤S32：获取中断将绑定的起始CPU核ID-startCPUCoreID，获取ethName网卡设备的中断号列表到irq_list数组中；

步骤S33：通过系统命令，顺次逐一将中断绑定队列中的每个网卡中断与网卡中断所在CPU节点的CPU核绑定，其中，CPU核从起始CPU核ID-startCPUCoreID起顺次与中断绑定队列中的每个网卡中断绑定。

7.如权利要求6所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S32中，起始CPU核ID-startCPUCoreID通过如下公式获取：startCPUCoreID＝numaNodeID*coresPerNode；通过命令“echo bindCPUCoreID>/proc/irq/irq_list[n]/smp_affinity_list”实现绑定，其中，“irq_list[n]”是需要绑定的网卡中断对应的网卡中断号。

8.如权利要求6所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S4包括：

步骤S41：初始化最优性能测试结果best_test_result、最优工作进程数best_worker_processes均为0，Web服务端软件的工作进程数worker_processes设定初值为单个CPU的核数coresPerCpu，工作进程绑核worker_cpu_affinity绑定worker_processes个连续的工作进程到CPU核，其起始核＝网卡中断所在的CPU节点号*单个CPU的核数＝numaNodeID*coresPerNode,初始化总CPU核数totalCPUCore＝CPU个数*单个CPU的核数＝cpuNum*coresPerCpu；

步骤S42：判断worker_processes设定值是否小于或等于总CPU核数totalCPUCores，若是则进行一次模拟Web并发测试，并记录结果到test_result，若否则直接跳转到步骤S46；

步骤S43：如果test_result大于已记录的最优性能测试结果best_test_result，则将最优性能测试结果best_test_result的值修改为test_result，同时将最优工作进程数best_worker_processes的值修改为当前的worker_processes值；否则直接进入下一步；

步骤S44：worker_cpu_affinity增加相应核的绑定设置；

步骤S45：将worker_processes值增加单个CPU的核数，同时，跳转到步骤S42；

步骤S46：获得能达到最好Web并发性能的最优工作进程数best_worker_processes，与之对应的worker_cpu_affinity配置为最优配置。

9.如权利要求8所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S5中，根据步骤S2及步骤S4的结果优化服务端Web软件Nginx的配置文件。

10.如权利要求9所述的多路服务器系统Web并发性能的测试方法，其特征在于，所述步骤S5中，根据最优工作进程数best_worker_processes、工作进程绑核worker_cpu_affinity、单个Nginx进程可打开的最大文件描述符数目worker_rlimit_nofile参数优化服务端Web软件Nginx的配置文件，其中，单个Nginx进程可打开的最大文件描述符数目worker_rlimit_nofile＝内核可以同时打开的文件描述符的最大值openFiles/最优工作进程数best_worker_processes。

Images