CN115297024B - 网络安全设备的性能测试方法、装置及电子设备 - Google Patents
网络安全设备的性能测试方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115297024B CN115297024B CN202211001486.1A CN202211001486A CN115297024B CN 115297024 B CN115297024 B CN 115297024B CN 202211001486 A CN202211001486 A CN 202211001486A CN 115297024 B CN115297024 B CN 115297024B
- Authority
- CN
- China
- Prior art keywords
- test
- black box
- task
- model
- network security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011056 performance test Methods 0.000 title abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 656
- 238000012163 sequencing technique Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 238000010998 test method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 241000596871 Ixia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种网络安全设备的性能测试方法、装置及电子设备。该方法包括：获取测试任务队列以及处于空闲状态的黑盒设备；在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备；判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务。通过本申请，解决了相关技术中网络安全设备的性能测试效率低的问题。
Description
技术领域
本申请涉及网络安全领域，具体而言，涉及一种网络安全设备的性能测试方法、装置及电子设备。
背景技术
随着大数据时代的到来和数字化的建设，网络上的各类网络攻击威胁层出不穷，因此网络安全的重要性越发突显。而用来保护网络安全的网络安全设备在各种应用场景下的性能要求也越来越高，需要对网络安全设备进行性能测试的场景也是越来越多。
具体地，一种型号的网络安全设备需要测试数十种应用场景的性能测指标，例如，测试某种型号的网络安全设备在路由、透明、开启统计集、开启应用安全等应用场景下的性能，每种应用场景下的性能测试至少需要1个小时。一个公司有几十个系列数百款的平台，每个平台需要对一种型号的网络安全设备进行测试，从而一个公司的应用程序的新版本的研发就需要完成数千项性能指标的测试，完成1轮全平台的性能测试就需要长达数月的时间。另外网络安全设备的性能需要使用专业的测试仪表进行测试，这些专业的测试仪表价格非常昂贵，无法无限制的增加投入。
相关技术中，通过自动化测试技术来不断提升测试效率，提升测试仪表资源的利用率，但是测试效率仍然无法满足高速增长的测试需求。此外，性能测试的问题的调优分析解决时长通常是功能测试问题解决时长的数倍，因此更需要高效完成一个公司的所有平台的性能测试。然而，性能测试的效率需要通过投入大量的测试仪表资源及测试设备才能提升性能测试运行效率。
针对相关技术中网络安全设备的性能测试效率低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种网络安全设备的性能测试方法、装置及电子设备，以解决相关技术中网络安全设备的性能测试效率低的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种网络安全设备的性能测试方法。该方法包括：获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务。
可选地，在获取测试任务队列以及处于空闲状态的黑盒设备之前，该方法还包括：获取待测试的多种型号的网络安全设备，并确定每种型号的网络安全设备在每个版本下需要测试的一类测试对象和至少一个测试场景；将每种型号的网络安全设备在每个版本下需要测试的一类测试对象和所有测试场景分别确定为一个测试任务，得到多个测试任务。
可选地，在获取测试任务队列以及处于空闲状态的黑盒设备之前，该方法还包括：获取多个测试任务，并确定每个测试任务需要的测试资源的资源数量；将多个测试任务按照资源数量从小到大的顺序依次排序，得到排序结果，并按照排序结果对多个测试任务进行排序，得到任务队列。
可选地，在判断空闲的测试资源是否满足当前测试任务的测试需求之后，该方法还包括：在空闲的测试资源不满足当前测试任务的测试需求的情况下，获取测试任务的等待执行时长，在等待执行时长大于等于预设时间阈值的情况下，释放当前测试任务对应的黑盒设备。
可选地，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备之前，该方法还包括：将每个黑盒设备配置为预设型号下的任意一种测试版本的网络安全设备，得到配置完成的黑盒设备，其中，预设型号为黑盒设备的关联型号中的任意一种型号；根据配置完成的黑盒设备执行在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备的步骤。
可选地，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备包括：在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到至少一个候选黑盒设备；判断每个候选黑盒设备的当前型号是否为目标型号；在任意一个候选黑盒设备的当前型号为目标型号的情况下，将一个当前型号为目标型号的候选黑盒设备确定为目标黑盒设备；在不存在候选黑盒设备的当前型号为目标型号的情况下，将任意一个候选黑盒设备确定为目标黑盒设备。
可选地，任务队列中的每个测试任务携带有状态标签，该方法还包括：在任务队列中的测试任务执行前，将测试任务的标签状态设置为未测试状态，在任务队列中的测试任务执行时，将测试任务的标签状态设置为正在测试状态，在任务队列中的测试任务执行完毕之后，将测试任务的标签状态设置为测试完毕状态。
可选地，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备之前，该方法还包括：依次遍历任务队列，获取状态标签为未测试状态的测试任务，并将状态标签为未测试状态的测试任务确定为当前测试任务。
为了实现上述目的，根据本申请的另一方面，提供了一种网络安全设备的性能测试装置。该装置包括：获取单元，用于获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；匹配单元，用于在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；判断单元，用于判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；执行单元，用于将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务。
通过本申请，采用以下步骤：获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务，解决了相关技术中网络安全设备的性能测试效率低的问题。通过按照测试任务队列将测试任务分配给目标黑盒设备，并在测试资源满足测试任务的测试需求的情况下，执行测试任务，避免了在测试资源不满足测试需求的情况仍分配测试任务，导致等待测试时间延长，进而达到了提高性能测试效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的网络安全设备的性能测试方法的流程图；
图2是根据本申请实施例提供的黑盒设备与测试任务的匹配关系示意图；
图3是根据本申请实施例提供的测试资源的结构示意图；
图4是根据本申请实施例提供的测试组网关系示意图一；
图5是根据本申请实施例提供的测试组网关系示意图二；
图6是根据本申请实施例提供的测试任务的测试状态示意图；
图7是根据本申请实施例提供的一种可选的网络安全设备的性能测试方法的流程图；
图8是根据本申请实施例提供的网络安全设备的性能测试装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
网络安全设备：包括FW(Firewall，边界防火墙)、IDS(Intrusion DetectionSystem入侵检测系统)、IPS(Intrusion Prevention System，入侵防御系统)、WAF(WebApplication Firewall，网站应用级防火墙)等设备。网络安全设备通常都部署在网络拓扑结构中的关键节点上(如网关出口)，构建起保护屏障，用以保护用户资料及信息安全，提供更好的使用体验，因此成为各企业不可或缺的基础设施。
黑盒设备：指设备硬件通过安装不同的底层启动系统切换成多款型号的设备。
下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的网络安全设备的性能测试方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试。
具体地，测试任务队列是由多个对网络安全设备进行性能测试的测试任务组成的队列，空闲状态的黑盒设备是指当前未执行测试任务的黑盒设备。每个黑盒设备可以模拟至少一种型号的网络安全设备进行性能测试。测试任务用于对一种型号的网络安全设备的一个版本的一类测试对象中的多个测试对象和多个测试场景进行测试。
需要说明的是，测试任务是用户圈定的对一个公司的一批待测试的不同型号的网络安全设备进行测试的任务。测试对象包括L23层测试对象：UDP(User DatagramProtocol，用户数据报协议)吞吐、时延等，L23层是指网络模型中的数据链路层和网络层，L47层测试对象：HTTP(Hypertext Transport Protocol，超文本传输协议)新建、HTTP并发、HTTP吞吐等，L47层是指网络模型中的传输层、会话层、表示层、应用层，一般是测试传输层的新建、应用层的吞吐、新建、并发等。由于L23与L47层测试对象不同，使用的仪表软件不同，所以从依赖测试资源的本身对单个测试任务进行了如下限制：1个测试任务只测试1款型号的网络安全设备。1个测试任务只测试L23或L47其中1类测试对象；1个测试任务可以同时测试多个测试对象及多个测试场景的性能。
步骤S102，在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号。
具体地，目标型号是当前测试任务正在测试的网络安全设备的型号，关联型号是指该类黑盒设备可以模拟的至少一种的网络安全设备的型号，目标黑盒设备是指用于执行当前测试任务的黑盒设备。
例如，A类型的黑盒可以模拟A1、A2、A3三种关联型号的网络安全设备，B类型的黑盒可以模拟A1、B2、B3三种关联型号的网络安全设备，当前测试任务需要测试的是A2型号的网络安全设备，那么A类型的黑盒可以作为目标黑盒设备。
需要说明的是，图2是根据本申请实施例提供的黑盒设备与测试任务的匹配关系示意图，匹配关系是指黑盒设备、黑盒设备可以模拟的网络安全设备型号、每种型号的网络安全设备需要测试的版本、以及该种型号的网络安全设备在该版本下需要的测试仪表端口的类型及测试仪表数量的关系。如图2所示，A类型的黑盒可以模拟SG6000-MX_MAIN-YS-r0424.bin和SG6000-ADNV-MX_MAIN-r0424.img两种型号的网络安全设备，A类黑盒中A1号黑盒可以执行测试SG6000-MX_MAIN-YS-r0424.bin型号的网络安全设备的IPv4版本和IPv6版本的测试任务，该测试任务对L23层测试对象和L47层测试对象的测试场景进行测试时均需要10个1G的测试仪表的端口。
B类型的黑盒可以模拟SG6000-ADNV-MX_MAIN-r0424.img型号的网络安全设备，B类黑盒中B1号黑盒可以执行测试SG6000-ADNV-MX_MAIN-r0424.img型号的网络安全设备的IPv4版本和IPv6版本的测试任务，该测试任务对L23层测试对象和L47层测试对象的测试场景进行测试时均需要6个10G的测试仪表的端口。C类型的黑盒可以模拟SG6000-ADNV-MX_MAIN-r0424.img型号的网络安全设备，C类黑盒中C1号黑盒可以执行测试SG6000-ADNV-MX_MAIN-r0424.img型号的网络安全设备的IPv4版本和IPv6版本的测试任务，测试任务对L23层测试对象的测试场景进行测试时均需要4个100G的测试仪表的端口，测试任务对L47层测试对象的测试场景进行测试时均需要4个10G的测试仪表的端口和4个个100G的测试仪表的端口。
步骤S103，判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源。
具体地，测试资源也即测试仪表，空闲的测试资源也即未被使用的测试仪表的端口的数量，当前测试任务需求的测试仪表的端口数量小于等于空闲的测试仪表的端口数量的时候，为当前测试任务分配测试资源。
需要说明的是，一套完整的网络安全测试设备的性能自动化测试通常需要如下三种测试资源：防火墙、交换机、测试仪表。图3是根据本申请实施例提供的测试资源的结构示意图，如图3所示，DUT(Device Under Test，待测设备)表示待测的网络安全设备，测试仪表和网络安全设备完成组网后，性能测试脚本运行在性能测试服务器，通过对待测的网络安全设备进行测试场景的配置，再通过测试仪表客户端操作测试仪表完成仪表配置及触发流量测试，实现网络安全设备的性能测试。
基于不同的网络安全测试设备的性能、测试对象及测试场景不同，对接入的性能打流的测试仪表及接口数量也不同。不同的测试组网下，各种类别的测试资源需求数不同。DUT表示待测的网络安全设备、NPT(Network Port Test，网络测试仪表端口)表示接入的测试仪表端口。图4是根据本申请实施例提供的测试组网关系示意图一，如图4所示的测试组网，需要1台DUT与1对NPT口连接，图5是根据本申请实施例提供的测试组网关系示意图二，图5所示的测试组网中，需要1台DUT与4对NPT口连接。
步骤S104，将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务。
具体地，待测版本可以为目标黑盒设备当前测试任务中的目标型号的网络安全设备的IPv4版本和IPv6版本中的一个版本，通过分配的测试资源对目标黑盒设备执行当前测试任务。
需要说明的是，测试任务通过在黑盒设备上运行测试脚本来执行。自动化性能测试脚本编写时，每个测试脚本都将基于特定的测试对象及测试场景来编写。在脚本中通过登陆黑盒设备来操作网络安全设备通过键盘输入指令，进而完成黑盒设备的测试场景的配置。通过对测试仪表进行测试对象创建并配置流量测试时需要的相关参数，从而实现不同测试对象下不同场景的性能测试，测试仪表可以为IXIA Load/Network。
本申请实施例提供的网络安全设备的性能测试方法，通过获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务，解决了相关技术中网络安全设备的性能测试效率低的问题。通过按照测试任务队列将测试任务分配给目标黑盒设备，并在测试资源满足测试任务的测试需求的情况下，执行测试任务，避免了在测试资源不满足测试需求的情况仍分配测试任务，导致等待测试时间延长，进而达到了提高性能测试效率的效果。
在进行网络安全设备的性能测试之前，需要先创建出每个网络安全设备的测试任务，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在获取测试任务队列以及处于空闲状态的黑盒设备之前，该方法还包括：获取待测试的多种型号的网络安全设备，并确定每种型号的网络安全设备在每个版本下需要测试的一类测试对象和至少一个测试场景；将每种型号的网络安全设备在每个版本下需要测试的一类测试对象和所有测试场景分别确定为一个测试任务，得到多个测试任务。
具体地，待测试的多种型号的网络安全设备可以为X公司的一款应用的多个平台，每个平台需要测试单栈和双栈两个版本，也即IPv4版本和IPv6版本，测试对象分为两类，包括L23层测试对象：UDP吞吐、时延等，L47层测试对象：HTTP新建、HTTP并发、HTTP吞吐等。测试场景可以为路由、透明、开启统计集、开启应用安全等网络安全设备的应用场景。通过对每种型号的网络安全设备在每个版本下的每一类测试对象的多个测试场景创建测试任务，来确定待分配的测试资源以及黑盒设备。
例如，用户为每款测试平台每个版本创建出2个测试任务，如每款平台需要测试IPv4、IPv6两个版本的性能测试，则创建出的测试任务如下：任务一：Task_123_v4_A1_L23_1G_10，表示任务ID为123的IPv4版本的A1平台L23层的测试对象使用10*1G的测试仪表的性能测试。任务二：Task_124_v6_A1_L23_1G_10，表示任务ID为124的IPv6版本的A1平台L23层的测试对象使用10*1G的测试仪表的性能测试。任务三：Task_125_v4_A1_L47_1G_6，表示任务ID为125的IPv4版本的A1平台L47层的测试对象使用6*1G的的测试仪表性能测试。任务四：Task_126_v6_A1_L47_1G_6，表示任务ID为126的IPv6版本的A1平台L47层的测试对象使用6*1G的测试仪表的性能测试。
在获取测试任务后需要对测试任务创建任务队列，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在获取测试任务队列以及处于空闲状态的黑盒设备之前，该方法还包括：获取多个测试任务，并确定每个测试任务需要的测试资源的资源数量；将多个测试任务按照资源数量从小到大的顺序依次排序，得到排序结果，并按照排序结果对多个测试任务进行排序，得到任务队列。
具体地，资源数量也即测试任务需要的测试仪表的端口数量，每个测试任务中测试仪表的端口需求数量不同，按照需求的端口数量从小到大对测试任务进行排序，创建任务队列。通过对测试任务按照资源数量排序创建任务队列，使更多的黑盒设备能够分配到测试资源，从而提高黑盒设备的利用率，进而提高性能测试效率。
需要说明的是，将测试任务分配给黑盒设备后，黑盒设备可能不需要切换网络安全设备的型号以及版本，直接匹配当前测试任务。例如，A1黑盒设备预先配置好的网络安全设备的型号和版本与当前测试任务中的目标型号与版本相同，则不需要切换A1黑盒设备的型号以及版本就可以在分配测试资源后直接执行测试任务。黑盒设备可能不需要切换网络安全设备的型号但需要切换版本后，才可以匹配当前测试任务。例如，A2黑盒设备预先配置好的网络安全设备的型号与当前测试任务中的目标型号相同，但是A2黑盒设备预先配置好的测试版本是IPv4，而当前测试任务中的测试版本是IPv6，此时A2黑盒设备不需要切换网络安全设备型号但需要切换版本后才可以在分配测试资源后直接执行测试任务。黑盒设备可能需要切换网络安全设备的型号，例如，A3黑盒设备预先配置好的网络安全设备的型号与当前测试任务中的目标型号不同，此时A3黑盒设备则需要切换为当前测试任务中黑盒设备的型号以及版本才可以在分配测试资源后直接执行测试任务。
由于测试资源有限，测试任务存在无法分配到测试资源的情况，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在判断空闲的测试资源是否满足当前测试任务的测试需求之后，该方法还包括：在空闲的测试资源不满足当前测试任务的测试需求的情况下，获取测试任务的等待执行时长，在等待执行时长大于等于预设时间阈值的情况下，释放当前测试任务对应的黑盒设备。
具体地，等待执行时长可以为将当前测试任务分配到黑盒设备后，由于空闲的测试资源数量小于当前测试任务中需要的测试资源的数量，无法执行当前测试任务时开始进行计时的时长。预设时间阈值可以设置为30分钟，由于一般测试任务的测试时长为30分钟左右，因此为了避免需要等待空闲测试资源满足当前测试任务的测试需求的时间过长，导致黑盒设备资源被占用，因此将预设时间阈值设置为30分钟。在等待执行时长大于等于30分钟时，将黑盒设备释放出来分配测试任务队列中的下一个测试任务。通过将等待执行时长大于等于预设时间阈值的黑盒设备释放出来，可以避免黑盒设备被占用，进而提高了性能测试效率。
为了提高网络安全设备的性能测试效率，在将测试任务分配到黑盒设备前，对每个黑盒设备预先配置一个网络安全设备的型号以及版本，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备之前，该方法还包括：将每个黑盒设备配置为预设型号下的任意一种测试版本的网络安全设备，得到配置完成的黑盒设备，其中，预设型号为黑盒设备的关联型号中的任意一种型号；根据配置完成的黑盒设备执行在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备的步骤。
具体地，预设型号即为黑盒设备可以模拟的网络安全设备的多个关联型号中的其中任意一个型号，同时对黑盒设备预设型号的网络安全设备配置任意一种测试版本，同时进行特征库的升级，完成预设型号的网络安全设备和测试版本的预安装。通过对初始的黑盒设备进行预先配置预设型号的网络安全设备和配置测试版本，节省了测试任务的等待执行时长，从而提高了网络安全设备的性能测试效率。
在对当前测试任务匹配目标黑盒设备时可以按照黑盒设备预先配置的预设型号进行匹配，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备包括：在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到至少一个候选黑盒设备；判断每个候选黑盒设备的当前型号是否为目标型号；在任意一个候选黑盒设备的当前型号为目标型号的情况下，将一个当前型号为目标型号的候选黑盒设备确定为目标黑盒设备；在不存在候选黑盒设备的当前型号为目标型号的情况下，将任意一个候选黑盒设备确定为目标黑盒设备。
例如，当前测试任务的目标型号为SG6000-ADNV-MX_MAIN-r0424.img，此时A1、B1、C1三个黑盒设备的关联型号中均包含SG6000-ADNV-MX_MAIN-r0424.img这个目标型号，此时A1、B1、C1均为当前测试任务的候选黑盒设备。若A1和B1黑盒设备当前的网络安全设备型号即为SG6000-ADNV-MX_MAIN-r0424.img，则目标黑盒设备从A1和B1中任意选取一个，若A1、B1、C1黑盒设备当前的网络安全设备型号均不是SG6000-ADNV-MX_MAIN-r0424.img，则目标黑盒设备从A1、B1、C1中任选一个。通过将当前测试任务尽量与不需要切花型号的黑盒设备匹配，可以减少切换黑盒设备切换平台的时间，从而提高网络安全设备的性能测试效率。
每个测试任务均需要添加测试状态标签，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，任务队列中的每个测试任务携带有状态标签，该方法还包括：在任务队列中的测试任务执行前，将测试任务的标签状态设置为未测试状态，在任务队列中的测试任务执行时，将测试任务的标签状态设置为正在测试状态，在任务队列中的测试任务执行完毕之后，将测试任务的标签状态设置为测试完毕状态。
具体地，测试任务的测试状态通过对测试任务设置的标签状态来区别。图6是根据本申请实施例提供的测试任务的测试状态示意图，如图6所示，星号表示测试任务的标签状态为未测试状态、黑点表示测试任务的标签状态为正在测试、对号表示测试任务的标签状态为测试完毕。例如A1号黑盒设备测试的IPv4版本的L23层测试对象中对吞吐的路由场景的测试任务已测试完成，则该任务的标签状态为测试完毕，对吞吐的透明场景的测试任务还未测试，则将该任务的标签状态设置为未测试状态。通过对测试任务添加标签状态可以及时确定测试任务队列中每个测试任务是否需要与黑盒设备进行匹配。
为了避免测试任务一直占据黑盒设备导致测试效率低，对任务队列进行依次遍历，可选地，在本申请实施例提供的网络安全设备的性能测试方法中，在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备之前，该方法还包括：依次遍历任务队列，获取状态标签为未测试状态的测试任务，并将状态标签为未测试状态的测试任务确定为当前测试任务。
具体地，循环检索任务队列里的测试任务，按照任务队列中的顺序将状态标签为未测试状态的测试任务依次匹配黑盒设备，然后将每个黑盒设备匹配上的测试任务确定为当前测试任务。本实施例通过遍历任务队列内的测试任务，避免重复测试任务，同时避免将未测试到的测试任务遗漏。
根据本申请的另一实施例，还提供了一种可选的网络安全设备的性能测试方法，图7是根据本申请实施例提供的一种可选的网络安全设备的性能测试方法的流程图，如图7所示，该方法包括：
首先，通过设备预处理模块对黑盒设备配置好初始型号的网络安全设备以及测试版本，其中，每个黑盒设备均存储在测试设备资源池；
然后，依据测试需求创建多个测试任务，并根据测试任务创建待分配测试设备的任务队列和待分配测试仪表的任务队列，其中，每个测试仪表均存储在测试仪表资源池；
接下来，通过设备处理模块按照待分配测试设备的任务队列对每个测试任务分配黑盒设备，然后通过任务调度模块按照待分配测试仪表的任务队列对测试任务分配测试仪表，并对未分配到测试资源的测试任务进行等待计时，在等待计时超过时间阈值时将测试设备从测试任务中释放出来；
进一步的，将已分配测试仪表和测试设备的测试任务通过测试任务运行模块进行运行，并更新测试任务的测试状态，其中，测试状态包括测试中、未测试和已完成；
最后，在测试任务运行模块对测试设备配置测试场景，测试仪表创建测试对象以及配置测试仪表的测试参数，通过测试设备和测试资源对测试任务执行打流测试，并生成测试任务的测试报告，获取测试报告中的测试数据，依据测试数据判断测试任务是否完成，若完成测试任务则本次测试结束，若未完成测试任务则进行下一个测试场景的测试。
通过统筹测试设备和测试资源，创建待分配测试设备的任务队列和待分配测试仪表的任务队列，对每个测试任务按照测试需求有序调度测试设备资源和测试仪表资源，高效地完成了网络安全设备的性能测试，避免了测试任务由于测试仪表资源不足导致测试任务等待时间过长，浪费了测试设备资源的问题。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种网络安全设备的性能测试装置，需要说明的是，本申请实施例的网络安全设备的性能测试装置可以用于执行本申请实施例所提供的用于网络安全设备的性能测试方法。以下对本申请实施例提供的网络安全设备的性能测试装置进行介绍。
图8是根据本申请实施例的网络安全设备的性能测试装置的示意图。如图8所示，该装置包括：
获取单元10，用于获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；
匹配单元20，用于在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；
判断单元30，用于判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；
执行单元40，用于将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务。
本申请实施例提供的网络安全设备的性能测试装置，通过获取单元10，获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；匹配单元20，在测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备，其中，关联型号为黑盒设备模拟的网络安全设备的型号；判断单元30，判断空闲的测试资源是否满足当前测试任务的测试需求，在空闲的测试资源满足当前测试任务的测试需求的情况下，为当前测试任务分配测试资源；执行单元40，将黑盒设备切换为目标型号下的待测版本的网络安全设备，并利用分配的测试资源对目标黑盒设备执行当前测试任务，解决了相关技术中网络安全设备的性能测试效率低的问题，通过按照测试任务队列将测试任务分配给目标黑盒设备，并在测试资源满足测试任务的测试需求的情况下，执行测试任务，避免了在测试资源不满足测试需求的情况仍分配测试任务，导致等待测试时间延长，进而达到了提高性能测试效率的效果。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：第一确定单元，用于获取待测试的多种型号的网络安全设备，并确定每种型号的网络安全设备在每个版本下需要测试的一类测试对象和至少一个测试场景；第二确定单元，用于将每种型号的网络安全设备在每个版本下需要测试的一类测试对象和所有测试场景分别确定为一个测试任务，得到多个测试任务。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：第三确定单元，用于获取多个测试任务，并确定每个测试任务需要的测试资源的资源数量；排序单元，用于将多个测试任务按照资源数量从小到大的顺序依次排序，得到排序结果，并按照排序结果对多个测试任务进行排序，得到任务队列。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：释放单元，用于在空闲的测试资源不满足当前测试任务的测试需求的情况下，获取测试任务的等待执行时长，在等待执行时长大于等于预设时间阈值的情况下，释放当前测试任务对应的黑盒设备。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：配置单元，用于将每个黑盒设备配置为预设型号下的任意一种测试版本的网络安全设备，得到配置完成的黑盒设备，其中，预设型号为黑盒设备的关联型号中的任意一种型号；匹配单元，用于根据配置完成的黑盒设备执行在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到关联型号中包含目标型号的目标黑盒设备的步骤。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，匹配单元20包括：匹配模块，用于在任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到至少一个候选黑盒设备；判断模块，用于判断每个候选黑盒设备的当前型号是否为目标型号；第一确定模块，用于在任意一个候选黑盒设备的当前型号为目标型号的情况下，将一个当前型号为目标型号的候选黑盒设备确定为目标黑盒设备；第二确定模块，用于在不存在候选黑盒设备的当前型号为目标型号的情况下，将任意一个候选黑盒设备确定为目标黑盒设备。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：设置单元，用于在任务队列中的测试任务执行前，将测试任务的标签状态设置为未测试状态，在任务队列中的测试任务执行时，将测试任务的标签状态设置为正在测试状态，在任务队列中的测试任务执行完毕之后，将测试任务的标签状态设置为测试完毕状态。
可选地，在本申请实施例提供的网络安全设备的性能测试装置中，该装置还包括：遍历单元，用于依次遍历任务队列，获取状态标签为未测试状态的测试任务，并将状态标签为未测试状态的测试任务确定为当前测试任务。
网络安全设备的性能测试装置包括处理器和存储器，上述获取单元10、匹配单元20、判断单元30和执行单元40等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高性能测试效率。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现网络安全设备的性能测试方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行网络安全设备的性能测试方法。
本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现网络安全设备的性能测试方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：网络安全设备的性能测试方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种网络安全设备的性能测试方法，其特征在于，包括：
获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，所述测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；
在所述测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备，其中，所述关联型号为所述黑盒设备模拟的网络安全设备的型号；
判断空闲的测试资源是否满足所述当前测试任务的测试需求，在所述空闲的测试资源满足所述当前测试任务的测试需求的情况下，为所述当前测试任务分配测试资源；
将所述黑盒设备切换为所述目标型号下的待测版本的网络安全设备，并利用分配的测试资源对所述目标黑盒设备执行所述当前测试任务；
在获取测试任务队列以及处于空闲状态的黑盒设备之前，所述方法还包括：获取待测试的多种型号的网络安全设备，并确定每种型号的网络安全设备在每个版本下需要测试的一类测试对象和至少一个测试场景；将每种型号的网络安全设备在每个版本下需要测试的一类测试对象和所有测试场景分别确定为一个测试任务，得到所述多个测试任务，其中，测试任务是用于对一种型号的网络安全设备的一个版本的一类测试对象中的多个测试对象和多个测试场景进行测试的任务。
2.根据权利要求1所述的方法，其特征在于，在获取测试任务队列以及处于空闲状态的黑盒设备之前，所述方法还包括：
获取所述多个测试任务，并确定每个所述测试任务需要的测试资源的资源数量；
将所述多个测试任务按照所述资源数量从小到大的顺序依次排序，得到排序结果，并按照所述排序结果对所述多个测试任务进行排序，得到所述任务队列。
3.根据权利要求2所述的方法，其特征在于，在判断空闲的测试资源是否满足所述当前测试任务的测试需求之后，所述方法还包括：
在所述空闲的测试资源不满足所述当前测试任务的测试需求的情况下，获取所述测试任务的等待执行时长，在所述等待执行时长大于等于预设时间阈值的情况下，释放所述当前测试任务对应的黑盒设备。
4.根据权利要求1所述的方法，其特征在于，在所述任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备之前，所述方法还包括：
将每个黑盒设备配置为预设型号下的任意一种测试版本的网络安全设备，得到配置完成的黑盒设备，其中，所述预设型号为所述黑盒设备的关联型号中的任意一种型号；
根据所述配置完成的黑盒设备执行在所述任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备的步骤。
5.根据权利要求1所述的方法，其特征在于，在所述任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备包括：
在所述任务队列中依次根据当前测试任务的所述目标型号匹配各个黑盒设备的关联型号，得到至少一个候选黑盒设备；
判断每个所述候选黑盒设备的当前型号是否为所述目标型号；
在任意一个所述候选黑盒设备的当前型号为所述目标型号的情况下，将一个所述当前型号为所述目标型号的所述候选黑盒设备确定为所述目标黑盒设备；
在不存在所述候选黑盒设备的当前型号为所述目标型号的情况下，将任意一个所述候选黑盒设备确定为所述目标黑盒设备。
6.根据权利要求1所述的方法，其特征在于，所述任务队列中的每个测试任务携带有状态标签，所述方法还包括：
在所述任务队列中的测试任务执行前，将测试任务的标签状态设置为未测试状态，在所述任务队列中的测试任务执行时，将测试任务的标签状态设置为正在测试状态，在所述任务队列中的测试任务执行完毕之后，将测试任务的标签状态设置为测试完毕状态。
7.根据权利要求6所述的方法，其特征在于，在所述任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备之前，所述方法还包括：依次遍历所述任务队列，获取所述状态标签为未测试状态的测试任务，并将所述状态标签为未测试状态的测试任务确定为所述当前测试任务。
8.一种网络安全设备的性能测试装置，其特征在于，包括：
获取单元，用于获取测试任务队列以及处于空闲状态的黑盒设备，其中，每个黑盒设备用于模拟多种型号的网络安全设备，所述测试任务队列中包含多个测试任务，每个测试任务用于对不同型号下的不同版本的网络安全设备进行流量测试；
匹配单元，用于在所述测试任务队列中依次根据当前测试任务的目标型号匹配各个黑盒设备的关联型号，得到所述关联型号中包含所述目标型号的目标黑盒设备，其中，所述关联型号为所述黑盒设备模拟的网络安全设备的型号；
判断单元，用于判断空闲的测试资源是否满足所述当前测试任务的测试需求，在所述空闲的测试资源满足所述当前测试任务的测试需求的情况下，为所述当前测试任务分配测试资源；
执行单元，用于将所述黑盒设备切换为所述目标型号下的待测版本的网络安全设备，并利用分配的测试资源对所述目标黑盒设备执行所述当前测试任务；
所述装置还包括：第一确定单元，用于获取待测试的多种型号的网络安全设备，并确定每种型号的网络安全设备在每个版本下需要测试的一类测试对象和至少一个测试场景；第二确定单元，用于将每种型号的网络安全设备在每个版本下需要测试的一类测试对象和所有测试场景分别确定为一个测试任务，得到所述多个测试任务，其中，测试任务是用于对一种型号的网络安全设备的一个版本的一类测试对象中的多个测试对象和多个测试场景进行测试的任务。
9.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的网络安全设备的性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211001486.1A CN115297024B (zh) | 2022-08-19 | 2022-08-19 | 网络安全设备的性能测试方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211001486.1A CN115297024B (zh) | 2022-08-19 | 2022-08-19 | 网络安全设备的性能测试方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115297024A CN115297024A (zh) | 2022-11-04 |
| CN115297024B true CN115297024B (zh) | 2024-02-06 |
Family
ID=83829714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211001486.1A Active CN115297024B (zh) | 2022-08-19 | 2022-08-19 | 网络安全设备的性能测试方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115297024B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116192922B (zh) * | 2023-04-23 | 2023-08-11 | 成都华兴汇明科技有限公司 | 一种测试用例的下发管理方法、装置及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279017A (zh) * | 2015-09-30 | 2016-01-27 | 北京奇虎科技有限公司 | 基于云测试平台的任务分配方法、装置及系统 |
| WO2018036167A1 (zh) * | 2016-08-22 | 2018-03-01 | 平安科技（深圳）有限公司 | 测试任务执行机分配方法、装置、服务器和存储介质 |
| CN110650065A (zh) * | 2019-09-24 | 2020-01-03 | 中国人民解放军战略支援部队信息工程大学 | 面向互联网的网络设备众测系统及测试方法 |
| CN112769810A (zh) * | 2020-12-31 | 2021-05-07 | 山石网科通信技术股份有限公司 | 防火墙测试方法、装置、非易失性存储介质和电子装置 |
| CN114301805A (zh) * | 2021-12-14 | 2022-04-08 | 山石网科通信技术股份有限公司 | 设备数量的确定方法、装置及电子设备 |
| CN114328126A (zh) * | 2021-12-31 | 2022-04-12 | 南京四维智联科技有限公司 | 一种自动化测试方法、装置、存储介质及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8515015B2 (en) * | 2008-05-09 | 2013-08-20 | Verizon Patent And Licensing Inc. | Method and system for test automation and dynamic test environment configuration |
| US10939312B2 (en) * | 2016-05-20 | 2021-03-02 | 7Signal Solutions, Inc. | System and method for distributed network performance management |
-
2022
- 2022-08-19 CN CN202211001486.1A patent/CN115297024B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279017A (zh) * | 2015-09-30 | 2016-01-27 | 北京奇虎科技有限公司 | 基于云测试平台的任务分配方法、装置及系统 |
| WO2018036167A1 (zh) * | 2016-08-22 | 2018-03-01 | 平安科技（深圳）有限公司 | 测试任务执行机分配方法、装置、服务器和存储介质 |
| CN110650065A (zh) * | 2019-09-24 | 2020-01-03 | 中国人民解放军战略支援部队信息工程大学 | 面向互联网的网络设备众测系统及测试方法 |
| CN112769810A (zh) * | 2020-12-31 | 2021-05-07 | 山石网科通信技术股份有限公司 | 防火墙测试方法、装置、非易失性存储介质和电子装置 |
| CN114301805A (zh) * | 2021-12-14 | 2022-04-08 | 山石网科通信技术股份有限公司 | 设备数量的确定方法、装置及电子设备 |
| CN114328126A (zh) * | 2021-12-31 | 2022-04-12 | 南京四维智联科技有限公司 | 一种自动化测试方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115297024A (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108833197B (zh) | 一种基于云的主动探测方法和探测平台 | |
| US9971795B2 (en) | System and method for object migration using waves | |
| CN109302522A (zh) | 测试方法、装置以及计算机系统和介质 | |
| Zhou et al. | Delta debugging microservice systems with parallel optimization | |
| CN107590075A (zh) | 一种软件测试方法及装置 | |
| CN109815119A (zh) | 一种app链接渠道的测试方法及装置 | |
| CN115297024B (zh) | 网络安全设备的性能测试方法、装置及电子设备 | |
| US9979616B2 (en) | Event-driven framework for filtering and processing network flows | |
| CN109743222A (zh) | 一种数据测试方法及相关设备 | |
| Rajagopalan et al. | {App–Bisect}: Autonomous Healing for {Microservice-Based} Apps | |
| US10339533B2 (en) | Methods and systems for scalable session emulation | |
| US8677339B2 (en) | Component relinking in migrations | |
| CN107741909A (zh) | 一种用于分布式块存储的自动化测试方法及系统 | |
| CN109597627A (zh) | 一种组件安装方法、装置、存储介质和处理器 | |
| US20120209584A1 (en) | Advanced Metering Infrastructure Simulation | |
| Bellavista et al. | GAMESH: a grid architecture for scalable monitoring and enhanced dependable job scheduling | |
| CN117539754A (zh) | 压力测试方法、装置、存储介质及电子设备 | |
| CN110825391B (zh) | 服务管理方法、装置、电子设备及存储介质 | |
| Sun et al. | A model-based system to automate cloud resource allocation and optimization | |
| CN115617668A (zh) | 一种兼容性测试方法、装置及设备 | |
| CN109656825A (zh) | 美术资源处理的方法及装置、电子设备、存储介质 | |
| CN115599651A (zh) | 一种应用系统测试方法、装置、电子设备和存储介质 | |
| Lu et al. | CF4BDA: A conceptual framework for big data analytics applications in the cloud | |
| Lebre et al. | Vmplaces: A generic tool to investigate and compare vm placement algorithms | |
| Çapari et al. | Efficiency performance evaluation on multi-user web application platforms in cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |