CN102082707B

CN102082707B - 多核防火墙并行处理性能测试方法

Info

Publication number: CN102082707B
Application number: CN 201010603833
Authority: CN
Inventors: 王瑞; 高春华; 聂娟娟
Original assignee: Opzoon Technology Co Ltd
Current assignee: Opzoon Technology Co Ltd
Priority date: 2010-12-24
Filing date: 2010-12-24
Publication date: 2013-05-08
Anticipated expiration: 2030-12-24
Also published as: CN102082707A

Abstract

本发明提供了一种多核防火墙并行处理性能测试方法，包括：基线性能测试过程和模拟现网测试过程，其特征在于，所述基线性能测试过程包括：分别测试待测多核防火墙在单条和多条连接状态下的吞吐率；基于已知的吞吐率，分别在轻载、重载和满载状态下测试待测多核防火墙的时延值；以及，分别测试待测多核防火墙的一对接口和多对接口的新建连接速率。本发明对现有的单核防火墙性能测试方法进行了改进，其可以与现有的测试方法结合使用，为用户提供更直观的反映防火墙并行处理能力的指标参数。

Description

多核防火墙并行处理性能测试方法

技术领域

本发明涉及计算机网络技术领域，特别是涉及一种用于测试基于X86平台的多核架构的防火墙设备的并行处理性能的方法。

背景技术

随着网络用户对信息安全性要求的提高，防火墙产品已逐渐发展成为网络安全防护所必不可少的组成部分。对一款防火墙产品进行性能评估，主要分为两个步骤：防火墙基线性能测试以及模拟实际应用环境下的性能测试。基线性能是防火墙在理想状态下表现出来的性能指标，具有测试结果比较稳定、流量模型可控的优点。但在实际应用中，经过防火墙的流量要比测试基线性能时的流量复杂得多，往往达不到防火墙产品实际标称的基线性能。因此评估防火墙性能时，不仅需要对基线性能进行评估，更重要的是模拟实际应用环境进行评估。

防火墙基线性能测试依据的标准主要有两种，分别是针对TCP/IP2-3层的RFC2544和针对TCP/IP 4-7层的RFC3511。其中，RFC2544标准包括：吞吐量、延时、丢包率、背靠背、系统恢复和复位等测试项目；RFC3511标准包括：IP吞吐量、并发TCP连接数、最大TCP连接建立速率、最大TCP连接释放速率、抗DoS攻击、HTTP传输速率、最大HTTP传输速率、非法数据流的处理能力、IP碎片处理能力和延时等测试项目。而模拟环境下的防火墙性能测试主要包括：多应用协议吞吐量测试、DDoS攻击条件下的转发性能测试、一定负载条件下的新建连接测试等。这些测试标准已经成为了防火墙产品采购时主要参考的性能指标。

目前，基于X86平台的多核架构的防火墙因其大幅度提高的网络处理性能成为主流，其优势在于利用多核内部处理器实现代码并行化，而现有的测试方法只是使用类黑盒测试手段显示设备外在的性能体现。因此，急需一种测试多核防火墙内部并发处理流量的性能优劣的方法。

发明内容

（一）、要解决的技术问题

本发明要解决的技术问题在于，如何对现有的防火墙性能测试方法进行改进，以获取能够表现基于X86平台的多核架构的防火墙的并行处理性能的数据。

（二）、技术方案

为解决上述技术问题，本发明的技术方案提供了一种多核防火墙并行处理性能测试方法，包括：

对于多个待测试多核防火墙设备，

S1：分别测试每一待测设备在单条和多条连接状态下的吞吐率，并根据测试结果计算吞吐率增长率；

基于已知的吞吐率，分别在轻载、重载和满载状态下测试待测设备的时延值，并根据测试结果计算时延值变化幅度；

分别测试待测设备的一对接口和多对接口的新建连接速率，并根据测试结果计算新建连接速率的增长率；

S2：通过比较所述多个待测试多核防火墙设备的所述吞吐率增长率、时延值变化幅度、新建连接速率增长率的大小比较其并行处理性能；

其中，具有更高的吞吐率增长率和新建连接速率增长率以及更小的时延值变化幅度的待测设备具有更好的并行处理性能。

优选地，步骤S1中，所述多条连接状态为200条连接。

优选地，步骤S1中，所述的多对接口的数目为待测设备的最大接口数。

其中，所述轻载、重载、满载状态分为为10%吞吐率状态、90%吞吐率状态以及100%吞吐率状态。

优选地，所述测量吞吐率的过程通过二分法实现，初始发送速率为100%。

进一步地，所述方法还包括模拟现网测试过程，包括：对于多个待测多核防火墙设备，

S1：模拟现网正常并发流量，分别测试每一待测设备的各功能模块进程是否均开启、运行中的信息日志是否正常，及其新建连接速率或数据包双向转发速率；

S2：对于运行正常的待测设备，进一步模拟现网网络攻击，分别测试每一待测设备能否识别网络攻击；

S3：对于能够识别网络攻击的待测设备，测试其在网络攻击下的新建连接速率或数据包双向转发速率；

S4：计算每一待测设备在网络攻击下的新建连接速率或数据包双向转发速率相较于正常并发流量下的降低率；

S5：根据所述降低率大小比较所述多个待测多核防火墙设备的并行处理性能优劣；

其中，具有更小的降低率的待测设备具有更好的并行处理性能。

优选地，所述模拟现网正常并发流量包括：模拟SIP语音流量、TCP应用流量以及VLAN底层流量的并发状态。

优选地，所述模拟现网网络攻击包括：模拟SYN flood攻击和UDP flood攻击。

（三）、有益效果

本发明的技术方案弥补了国内相关领域空白，提供了一种多核防火墙性能测试方法，其可以与现有的单核测试方法结合使用，为用户提供更直观的反映防火墙并行处理能力的指标参数。

附图说明

图1为本发明的多核防火墙性能测试方法中基线性能测试的流程图；

图2为本发明的多核防火墙性能测试方法中一个实施例的模拟现网示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明的目的，但不用来限定本发明的范围。

本发明的多核处理器并行处理性能测试方法包括两个部分：基线性能测试和模拟现网测试。本发明提供的技术方案中，基线性能测试方法中的测试指标包括吞吐率、时延和新建速率；模拟线网测试方法包括：模拟现网正常并发流量，测试待测多核防火墙的各功能模块进程是否均开启、运行中的信息日志是否正常；以及模拟现网处于异常攻击状态下，测试待测多核防火墙的连接处理能力及数据包转发能力。

如图1所示，本发明提供的基线性能测试方法包括以下步骤：

S1A：分别测试待测设备在单条和多条连接状态下的吞吐率，并根据测试结果计算吞吐率增长率；

防火墙吞吐率是指在没有帧丢失的情况下，待测设备能够接受的最大速率；吞吐率测试结果以比特/秒或字节/秒表示。

由于主流高端多核防火墙的并发连接数为200W，以并发能力的万分之一作为评测标准。因此，本步骤中，对单条连接和200条连接状态下的待测试设备分别执行以下操作：以一定初始速率发送一定数量的帧，并计算待测设备传输的帧，如果发送的帧与接收的帧数量相等，就将发送速率提高并重新测试；如果接收帧少于发送帧，则降低发送速率重新测试，直至完全没有帧丢失，此时的发送速率即为待测设备能够接受的最大速率。

优选地，采用二分法实现上述步骤：初始速率设为100%，如果发送的帧与接收的帧数量不相等，则使用50%速率继续测试；若此时发送的帧与接收的帧数量相等，则再使用75%速率测试，以此类推。

传统X86平台单核设备多条连接的吞吐率会相对单条连接有所下降，而X86平台多核设备由于有多个内核轮询处理并发流量，所以多条连接吞吐率应该比单条连接吞吐率有很大的提升。在获取单条及多条连接下分别的吞吐率后，进一步计算吞吐率的增幅程度。对于多个待测设备，相同的测量环境下，吞吐率增长率越大，并行处理性能越好。

本发明的一个实施例中，根据步骤A中的方案，对两个待测多核防火墙设备A和B的一对千兆路由转发接口，在双向全双工模式下，分别测试其1条连接和200条连接的吞吐率。测试中分别采用了64、128、256、512、1024、1280及1518共七种RFC2544中定义的标准包长。测试结果如表1和表2所示：

表1

表2

由表1中数据可知，待测设备A在处理多条并发流时吞吐率有了较大幅度的提升：在64、128、256的标准包长下提升率分别为81%、61%和88%；在512的标准包长下吞吐率达到100%。

由表2中数据可知，待测设备B在处理多条并发流时吞吐率也有了一定幅度的提升：在64、128、256、512的标准包长下提升率分别为37%，56%，86%和56%；在1024的标准包长下吞吐率达到了100%。

根据上述数据分析结果，待测设备A在RFC2544定义的标准包长下测试获得的吞吐率提升率均高于待测设备B。

S1B：基于已知的待测设备吞吐率指标，分别在轻载、重载和满载状态下测试待测设备的时延值，。

防火墙时延值是指：已知待测设备在某种帧长下的吞吐率，以特定长度帧的吞吐率所对应的发送速率向待测设备发送该长度的帧，并在入口处的某一帧上标记时戳；经待测设备传输后，在出口处也标记时戳；两个时戳之间的差值即为时延值。时延值以毫秒或微秒表示。

本步骤中，分别测试待测设备在轻载（10%吞吐率）、重载(90%吞吐率)、满载（100%吞吐率）状态下的时延值。时延值的测试方法包括比特转发（CT）和存储转发（S&F）两种计算方式。其中，比特转发方式包括：将入口处输入帧第1个比特到达被测设备至出口处输出帧的第1个比特输出时所用的时间间隔计为时延值；存储转发方式包括：将入口处输入帧最后1个比特到达被测设备至出口处输出帧的第1个比特输出时所用的时间间隔计为时延值。优选采用存储转发方式。

多核防火墙在设备支持的吞吐率下，无论轻载、重载、满载情况，设备的时延指标不会存在大的波动。通过上述测试方法获得待测设备在三种负载状态下的时延值后，根据时延值的波动范围值评测待测设备的并发处理性能。对于多个待测设备，在相同的测量环境下，时延值的变化幅度越小，并行处理性能越好。

本发明的一个实施例中，对两个待测设备A和B的一对千兆接口，在双向全双工模式下，采用64byte-1518byte七种RFC2544标准包长，分别进行10%、90%和100%负载的时延值测试。测试结果如表3和表4所示：（单位：us）

表3

表4

由表3中数据可知，对于不同的标准包长，待测设备A在轻载至满载的过程中，时延值波动幅度分别为20.7%；13.5%；13.4%；27.3%；33.7%；23.3%；16.8%。

由表4中数据可知，对于不同的标准包长，待测设备B在至满载的过程中，时延值波动幅度分别为30.4%；41.0%；34.1%；37.0%；40.8%；22.9%；26.8%。

根据上述数据分析结果，待测设备A在RFC2544定义的标准包长下测试获得的时延值波动幅度明显低于待测设备B。

S1C：分别测试待测设备的一对接口和多对接口的新建连接速率，并根据测试结果计算新建连接速率的增长率；。

防火墙的新建连接速率是指防火墙设备在应用层接受用户请求的处理速率，此项指标越高，用户处理性能就越强。它直接关系到用户的使用体验，是WEB2.0时代防火墙产品最关键的性能指标。测量结果以连接数/秒表示。单核设备的一对接口的新建连接速率可被视为是整台设备的新建连接速率，而多核设备中，所有接口的新建连接速率才能认为是整台设备的新建会话能力的体现。Avalanche、IXLOAD以及BPS等测试工具都可以用于测试新建连接速率，帮助使用者搜索到被测设备能够处理的峰值。每一次搜索过程中，以低于被测设备所能承受的最大并发连接数发起速率不同的连接请求，直到得到所有连接被成功建立的最大速率。

本步骤中，可以选择HTTP连接，通过发起三次握手、get文件、rst连接等连接请求，分别测试待测防火墙设备的一对接口和多对接口的新建连接速率，并根据测试结果判断其连接速率是否随接口数量的增加而提高；若是，则进一步计算其连接速率的提高率。对于多个待测设备，在相同的测量环境下，新建连接速率提高率越大，并行处理性能越好。优选地，所述多对接口的数目为待测防火墙的最大接口数。

本发明的一个实施例中，采用HTTP1.1协议版本和大小为1byte的测试文件考察待测多核防火墙A和B在HTTP协议中的用户连接处理速率。测试结果如表5和表6所示：

表5

一对接口	三对接口	六对接口
			1.1万/秒	2.8万/秒	6.2万/秒

表6

一对接口	三对接口	六对接口
			1.2万/秒	2.75万/秒	6万/秒

假设，待测设备A和B的接口数目为六对。由表3中数据可知，与单对接口相比，待测设备A的六对接口新建连接速率的提升率为463%。由表4中数据可知，与单对接口相比，待测设备B的六对接口新建连接速率的提升率为400%。

根据上述数据分析结果，在相同的测试环境下，与单对接口相比，待测设备A的六对接口新建连接速率的提升率明显高于待测设备B。

需要说明的是，在具体实践过程中，必须对每个待测设备分别完成上述所有检测项目。

S2：通过比较所述多个待测试多核防火墙设备的所述吞吐率增长率、时延值变化幅度、新建连接速率增长率的大小比较其并行处理性能。

对S1中获得的所有检测结果进行综合评估。一般来说，具有更高的吞吐率、新建连接速率增长率以及更小的时延值变化幅度的待测设备具有更好的并行处理性能；对于可能出现的多个检测项目中有一项过高或过低的个例，不在综合评估考虑范围之内，应进行剔除。

仍以上述待测设备A和B为例对步骤S2的实施过程进行说明。根据前述数据分析结果，待测设备A在RFC2544定义的标准包长下测试获得的吞吐率提升率均高于待测设备B；待测设备A在RFC2544定义的标准包长下测试获得的时延值波动幅度明显低于待测设备B；且，假设待测设备A和B的接口数目为六对，在相同的测试环境下，与单对接口相比，待测设备A的六对接口新建连接速率的提升率明显高于待测设备B。则根据S2提供的判断方法，可以获知：待测设备A的并行处理性能明显高于待测设备B。

图2所示为本发明提供的模拟线网测试的一个实施例的示意图，由图2中可以看出，在由PC机、IP电话、路由器等组成的公司网中，本发明提供的对多核防火墙设备的模拟线网测试方法包括：

S21：模拟各种并发正常流量，分别测试每一待测设备的各功能模块进程是否均开启、运行中的信息日志是否正常，及其新建连接速率或数据包双向转发速率；网络攻击以及异常流量，并在这些模拟网络状态下测试待测设备的连接处理能力及数据包转发能力。

具体地，模拟并发正常流量可以包括：SIP语音流量，例如模拟25路进出的SIP电话，通过静态NAT实现互联（3M）；TCP应用流量，例如模拟50000条TCP连接，其中100条VPN隧道（一条SIP使用，一条PC间连接，其余98条用测试仪模拟流量）（5-10M）；以及VLAN底层流量，例如模拟15个VLAN的二层流量（80M）；在这些模拟网络环境下测试待测多核防火墙的各功能模块进程是否均开启、运行中的信息日志是否正常；同时测量正常并发流量状态下待测设备的新建连接速率和数据包双向转发速率。

S22：对于运行正常的待测设备，进一步模拟现网网络攻击，分别测试每一待测设备能否识别网络攻击；

具体地，模拟网络攻击可以包括：模拟扫描、泛洪、后门、脚本、病毒类攻击。

S23：对于能够识别网络攻击的待测设备，测试其在网络攻击下的新建连接速率或数据包双向转发速率；以在模拟的网络攻击下测试待测多核防火墙的连接处理能力及数据包转发能力；

下面将结合图2中的具体实施例进行详细说明：

本实施例分别采用SYN flood攻击和UDP flood攻击对待测的多核防火墙的性能进行测试：

1、在SYN flood攻击下测试防火墙的新建连接速率：模拟50万pps的SYN flood攻击，在攻击的同时测试多核防火墙的HTTP新建连接速率；进一步计算待测设备在攻击下的新建连接速率与已知的正常并发流量下的差值及其降低率。

2、在SYN flood攻击下测试待测设备的数据包转发速率：模拟千兆SYN flood线速攻击，在攻击的同时测试多核防火墙数据包的双向转发速率；进一步计算待测设备在攻击下的数据包双向转发速率与已知的正常并发流量下的差值及其降低率。

3、在UDP flood攻击下测试待测设备的新建连接速率：模拟100万pps的UDP flood攻击，在攻击的同时测试多核防火墙的HTTP新建会话速率；进一步计算待测设备在攻击下的新建连接速率与已知的正常并发流量下的差值及其降低率。

4、在UDP flood攻击下测试待测设备的数据包转发速率：模拟千兆UDP flood线速攻击，在攻击的同时测试测试待测设备的数据包转发速率；进一步计算待测设备在攻击下的数据包转发速率与已知的正常并发流量下的差值及其降低率。

S24：根据所述降低率大小进行综合评估，比较所述多个待测多核防火墙设备的并行处理性能优劣。

具体来说，具有更小的降低率的待测设备具有更好的并行处理性能。对于可能出现的多个检测项目中有一项过高或过低的个例，不在综合评估考虑范围之内，应进行剔除。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种多核防火墙并行处理性能测试方法，其特征在于，所述方法包括，对于多个待测试多核防火墙设备，

2.如权利要求1所述的多核防火墙并行处理性能测试方法，其特征在于，步骤S1中，所述多条连接状态为200条连接。

3.如权利要求1所述的多核防火墙并行处理性能测试方法，其特征在于，步骤S1中，所述的多对接口的数目为待测设备的最大接口数。

4.如权利要求1所述的多核防火墙并行处理性能测试方法，其特征在于，所述轻载、重载、满载状态分为为10%吞吐率状态、90%吞吐率状态以及100%吞吐率状态。

5.如权利要求1所述的多核防火墙并行处理性能测试方法，其特征在于，所述测量吞吐率的过程通过二分法实现，初始发送速率为100%。

6.如权利要求1所述的多核防火墙并行处理性能测试方法，其特征在于，所述方法还包括模拟现网测试过程，包括：对于多个待测多核防火墙设备，

7.如权利要求6所述的多核防火墙并行处理性能测试方法，其特征在于，所述模拟现网正常并发流量包括：模拟SIP语音流量、TCP应用流量以及VLAN底层流量的并发状态。

8.如权利要求6所述的多核防火墙并行处理性能测试方法，其特征在于，所述模拟现网网络攻击包括：模拟SYN flood攻击和UDPflood攻击。