CN117544545A - 一种交换机测试方法、系统、存储介质及电子设备 - Google Patents
一种交换机测试方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117544545A CN117544545A CN202311461585.2A CN202311461585A CN117544545A CN 117544545 A CN117544545 A CN 117544545A CN 202311461585 A CN202311461585 A CN 202311461585A CN 117544545 A CN117544545 A CN 117544545A
- Authority
- CN
- China
- Prior art keywords
- test
- switch
- case
- cases
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 573
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000010998 test method Methods 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims description 42
- 238000011156 evaluation Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012812 general test Methods 0.000 claims description 10
- 238000013515 script Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/065—Generation of reports related to network devices
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种交换机测试方法、系统、存储介质及电子设备,针对获取到的每一个测试任务信息,通过测试任务信息确定测试场景,根据测试场景生成测试任务的测试案例集,测试案例集至少包括通用测试案例,通用测试案例为在所有测试场景中均存在的测试案例,通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果,交换机选型的测试结果为交换机在测试场景下适用程度的测试结果,根据预设衡量标准和测试结果,生成测试分析报告,预设衡量标准由测试场景确定。
Description
技术领域
本申请涉及交换机测试技术领域,更具体地说,涉及一种交换机测试方法、系统、存储介质及电子设备。
背景技术
交换机是一种常见的网络设备,用于连接多个计算机、服务器和其他网络设备,以便相互通信和交换数据。交换机作为企业采购的重要设备之一,购入前需经过产品级的选型测试,用于测评其在该企业的应用场景下适用程度。
目前,交换机的选型测试通常由测试工程师在待测机器上手动执行待测案例、记录各项案例执行情况并整理形成测试分析报告。此种测试方式在测试场景不同且机器较多的情况下弊端众多,从而增加了人工参与的工作量,降低了测试效率。另外,在整理测试结果分析报告时,线下的誊录与汇总整理易发生错误,需多次复核才能保证正确率。
因此,如何在交换机选型测试的过程中提高交换机选型测试的测试效率,以及提高交换机选型测试的准确性,是本申请亟需解决的问题。
发明内容
有鉴于此,本申请公开了一种交换机测试方法、系统、存储介质及电子设备,旨在提高交换机选型测试的测试效率和准确性。
为了实现上述目的,其公开的技术方案如下:
本申请第一方面公开了一种交换机测试方法,所述方法包括:
针对获取到的每一个测试任务信息,通过所述测试任务信息确定测试场景;
根据所述测试场景生成测试任务的测试案例集;所述测试案例集至少包括通用测试案例;所述通用测试案例为在所有测试场景中均存在的测试案例;
通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果;所述交换机选型的测试结果为交换机在测试场景下适用程度的测试结果;
根据预设衡量标准和所述测试结果,生成测试分析报告;所述预设衡量标准由测试场景确定。
优选的,所述根据所述测试场景生成测试任务的测试案例集,包括:
确定所述测试场景在案例知识库中所对应的各个通用测试案例;
将各个通用测试案例确定为测试任务的测试案例集。
优选的,还包括:
若测试任务的测试案例集存在场景化测试案例,将各个通用测试案例和所述场景化测试案例,确定为测试任务的测试案例集;所述场景化测试案例为个性化案例。
优选的,所述通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果,包括:
获取测试案例集中的各个测试案例的编号;
通过各个测试案例的编号确定预设顺序;
确定所述测试场景在测试案例结果评价集中所对应的测试案例评价标准;
通过预设顺序逐个调用测试案例执行模块,自动化执行所述测试案例集,以实现通过测试案例评价标准得到交换机选型的测试结果。
优选的,自动化执行所述测试案例集的过程,包括:
获取打流设备所对应的各个交换机IP;所述打流设备用于模拟用户流量对交换机进行选型测试和测试分析;
通过所述各个交换机IP,确定各个交换机与打流设备的映射关系;
获取存在映射关系的各个交换机的交换机配置信息与打流设备的打流设备配置信息;
根据所述交换机配置信息和所述打流设备配置信息,确定探测信息;
通过所述探测信息判定各个交换机与打流设备是否能被连接;
若存在与打流设备不能被连接的交换机,生成案例执行失败的提示信息;
若不存在与打流设备不能被连接的交换机,通过所述预设顺序依次执行测试案例集中的各个测试案例;
将测试脚本发送至各个交换机和打流设备,若各个测试案例全部执行成功,生成全部案例执行成功的各个案例执行结果;
若各个测试案例中存在测试案例执行失败,对执行失败的测试案例进行预设次数的重复执行操作,若执行失败,将案例执行结果标注为执行失败的案例执行结果。
优选的,还包括:
生成交换机选型的测试结果对应的测试报告,并对所述测试报告进行添加添加自定义水印和/或自定义签名。
本申请第二方面公开了一种交换机测试系统,所述系统包括:
获取单元,用于针对获取到的每一个测试任务信息,通过所述测试任务信息确定测试场景;
第一生成单元,用于根据所述测试场景生成测试任务的测试案例集;所述测试案例集至少包括通用测试案例;所述通用测试案例为在所有测试场景中均存在的测试案例;
执行单元,用于通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果;所述交换机选型的测试结果为交换机在测试场景下适用程度的测试结果;
第二生成单元,用于根据预设衡量标准和所述测试结果,生成测试分析报告;所述预设衡量标准由测试场景确定。
优选的,所述第一生成单元,包括:
第一确定模块,用于确定所述测试场景在案例知识库中所对应的各个通用测试案例;
第二确定模块,用于将各个通用测试案例确定为测试任务的测试案例集。
本申请第三方面公开了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的交换机测试方法。
本申请第四方面公开了一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的交换机测试方法。
经由上述技术方案可知,本申请公开了一种交换机测试方法、系统、存储介质及电子设备,针对获取到的每一个测试任务信息,通过测试任务信息确定测试场景,根据测试场景生成测试任务的测试案例集,测试案例集至少包括通用测试案例,通用测试案例为在所有测试场景中均存在的测试案例,通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果,交换机选型的测试结果为交换机在测试场景下适用程度的测试结果,根据预设衡量标准和测试结果,生成测试分析报告,预设衡量标准由测试场景确定。通过上述方案,在交换机选型的测试过程中,无需人工进行交换机的选型测试,由于交换机在企业的应用场景较为复杂,通过测试任务信息确定测试场景,针对业务场景自动下发测试场景对应的测试案例集并执行,从而提高了交换机选型测试的测试效率,并且通过连接交换机与打流设备,打流设备用于模拟用户流量对交换机进行选型测试和测试分析,根据不同场景的衡量标准和测试结果生成测试分析报告,提高交换机选型测试的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的基于企业多场景化的交换机选型测试装置功能模块示意图;
图2为本申请实施例公开的一种交换机测试方法的流程示意图;
图3为本申请实施例公开的自动化执行测试案例集的示意图;
图4为本申请实施例公开的一种交换机测试系统的结构示意图;
图5为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,交换机的选型测试通常由测试工程师在待测机器上手动执行待测案例、记录各项案例执行情况并整理形成测试分析报告。此种测试方式在测试场景不同且机器较多的情况下弊端众多,从而增加了人工参与的工作量,降低了测试效率。另外,在整理测试结果分析报告时,线下的誊录与汇总整理易发生错误,需多次复核才能保证正确率。因此,如何在交换机选型测试的过程中提高交换机选型测试的测试效率,以及提高交换机选型测试的准确性,是本申请亟需解决的问题。
为了解决上述问题,本申请实施例公开了一种交换机测试方法、系统、存储介质及电子设备,在交换机选型的测试过程中,无需人工进行交换机的选型测试,由于交换机在企业的应用场景较为复杂,通过测试任务信息确定测试场景,针对业务场景自动下发测试场景对应的测试案例集并执行,从而提高了交换机选型测试的测试效率,并且通过连接交换机与打流设备,打流设备用于模拟用户流量对交换机进行选型测试和测试分析,根据不同场景的衡量标准和测试结果生成测试分析报告,提高交换机选型测试的准确性。具体实现方式通过下述实施例具体进行说明。
参考图1所示,为本申请实施例公开的基于企业多场景化的交换机选型测试装置的功能模块示意图,该交换机选型测试装置包括服务管理模块、案例知识库模块、测试执行模块和测试结果分析模块。
具体服务管理模块、案例知识库模块、测试执行模块和测试结果分析模块之间的数据处理的过程如下:
服务管理模块针对获取到的每一个测试任务信息,通过测试任务信息确定测试场景。
具体的,服务管理模块确定测试场景在案例知识库中所对应的各个通用测试案例,将各个通用测试案例确定为测试任务的测试案例集。若测试任务的测试案例集存在场景化测试案例,服务管理模块将各个通用测试案例和所述场景化测试案例,确定为测试任务的测试案例集;场景化测试案例为可选项的个性化案例。
需要说明的是,服务管理模块是本装置的核心模块,负责测试信息的录入、场景案例编排(如生成案例的执行列表,根据对应的测试场景,生成案例1,案例2,案例3)、整体测试任务的调度、各功能的可视化展示及设置等。通过服务管理模块录入测试任务信息,包括测试场景的选择、被测交换机信息(管理IP、交换机账号等)、打流设备信息等。
案例知识库模块根据测试场景,生成测试任务的测试案例集;测试案例集至少包括通用测试案例;通用测试案例为在所有测试场景中均存在的测试案例。
测试场景包括场景1:面向大规模企业的核心服务,此场景对交换机要求较高;场景2:企业级办公网,此场景适配中级规模的网络,对交换机要求居中;场景3:小型分支机构,此场景适配规模较小的网络,对交换机要求一般。
需要说明的是,案例知识库模块内置了交换机测试的通用案例以及企业在不同场景下积累的专用案例,支持手动进行案例的更新与新增。根据具体的测试场景可自动生成测试案例集。
通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果;交换机选型的测试结果为交换机在测试场景下适用程度的测试结果。
具体的,获取测试案例集中的各个测试案例的编号,通过各个测试案例的编号确定预设顺序,确定测试场景在测试案例结果评价集中所对应的测试案例评价标准,通过预设顺序逐个调用测试案例执行模块,自动化执行测试案例集,以实现通过测试案例评价标准得到交换机选型的测试结果,并将测试结果发送给测试结果分析模块。
需要说明的是,测试执行模块通过应用程序编程接口(Application ProgrammingInterface,API)、安全外壳协议(Secure Shell,SSH)或者网络配置协议(NetworkConfigurationProtocol,Netconf)等方式,自动进行交换机、打流设备的配置,并根据测试案例集完成测试任务的执行。
其中,SSH是一种用于安全登录远程计算机的网络协议。通过SSH可以在不受干扰的情况下,传输服务器操作系统和网络管理中的各种命令。它可以通过加密来保护传输的数据,使其难以被截取和窃听。
Netconf协议提供了一套管理网络设备的机制,用户可以使用这套机制增加,修改,删除网络设备的配置,获取网络设备的配置和状态信息。通过Netconf协议,可以向交换机发送和获取配置,完成操作。
测试结果分析模块根据预设衡量标准和测试结果,生成测试分析报告;预设衡量标准由测试场景确定。
需要说明的是,测试结果分析模块内置了测试案例结果评价集,不同的测试场景结果评价标准不同。测试结果分析模块可自动分析测试结果并生成交换机测试分析报告,并将推送到服务管理模块。
为了方便理解测试场景结果评价标准,这里举例进行说明:
例如,测试交换机的双向转发侦测(Bidirectional Forwarding Detection,BFD)能力,测试案例为验证交换机支持静态路由BFD、链路状态路由协议(OpenShortestPathFirst,OSPF)、边界网关协议(Border GatewayProtocol,BGP)、OSPFv4、BGP4+。在低端交换机的评价标准为每满足一项加2分,而高端交换机评价标准为需要全部全部满足得10分,否则不得分。
测试结果分析模块收集每个测试任务的全量测试结果,根据不同场景的衡量标准,生成测试分析报告,并发送给服务管理模块;可通过服务管理模块进行报告的查看,并支持为报告添加水印和签名。
本申请实施例中,在交换机选型的测试过程中,无需人工进行交换机的选型测试,由于交换机在企业的应用场景较为复杂,通过测试任务信息确定测试场景,针对业务场景自动下发测试场景对应的测试案例集并执行,从而提高了交换机选型测试的测试效率,并且通过连接交换机与打流设备,打流设备用于模拟用户流量对交换机进行选型测试和测试分析,根据不同场景的衡量标准和测试结果生成测试分析报告,提高交换机选型测试的准确性。
参考图2所示,为本申请实施例公开了一种交换机测试方法的流程示意图,该交换机测试方法适用于上述实施例图1公开的交换机选型测试装置,该交换机测试方法主要包括如下步骤:
S201:针对获取到的每一个测试任务信息,通过测试任务信息确定测试场景。
测试任务信息包括测试场景的选择、被测交换机信息(管理IP、交换机账号等)、打流设备信息等。
交换机的主要功能是根据数据包中的目标地址,将数据包从一个端口转发到另一个端口,以实现快速、准确的数据交换,并具有高带宽、低延迟和可靠性的特点。在大型企业中,交换机具有至关重要的作用,可以提供高速的数据传输和通信能力,能确保交易的实时性和快速性;可提供网络安全和数据保护的功能;还支持网络流量管理和负载均衡,为企业和交易的参与者提供了可靠的网络基础设施。
打流设备是一种网络测试设备,可用于交换机的网络性能的测试和排障。它能够模拟一定规模的用户流量,对交换机进行选型测试(即用于测评交换机在企业的应用场景下的适用程度),提供详尽的交换机选型的分析。
打流设备通过模拟网络流量,能够测试交换机的延迟、吞吐量等性能参数,排查交换机的网络故障;打流设备可以通过预先设定各项测量指标,为交换机的选型测试提供数量化的评估;针对网络的各种情况,打流设备提供多种模拟功能,比如:模拟多个用户同时访问网站或模拟多个设备同时发送请求等;打流设备的高效性能和准确的测试结果,为交换机选型测试提供准确的数据支持。
S202:根据测试场景生成测试任务的测试案例集;测试案例集至少包括通用测试案例;通用测试案例为在所有测试场景中均存在的测试案例。
在S202中,确定测试场景在案例知识库中所对应的各个通用测试案例,将各个通用测试案例确定为测试任务的测试案例集。
根据测试场景,调用案例知识库模块,生成本次测试的测试案例集,测试案例集至少包括通用测试案例,每个测试案例包含四部分:交换机初始化配置操作、打流设备初始化配置操作、测试案例执行操作和测试结果收集操作。
交换机初始化配置操作:根据不同的案例进行交换机初始化配置,可能包括配置交换机的转发规则、acl安全组、虚拟扩展本地局域网(Visual eXtensible LocalAreaNetwork,VXLAN)协议的隧道tunnel等。
打流设备初始化配置操作:按规则配置流量包,目标交换机地址,总包量和打流发包的时间间隔。
测试案例执行操作:发送指令到打流设备,开始发送数据包。
测试结果收集操作:通过netconf协议,自动在交换机上收集测试结果,根据不同案例可能包括mac表容量、端口的丢包、错包率等。
测试案例集还可包括场景化测试案例。场景化测试案例为前期积累的个性化案例,作为可选项的个性化案例。
若测试任务的测试案例集存在场景化测试案例,将各个通用测试案例和所述场景化测试案例,确定为测试任务的测试案例集。
交换机在企业的应用场景较为复杂,装置内置了三种场景(场景1、场景2、场景3),已预置测试案例及对应结果评估标准,若存在个性化测试案例,也可添加测试案例、脚本及评估标准。
场景1:面向大规模企业的核心服务,此场景对交换机要求较高。
场景2:企业级办公网,此场景适配中级规模的网络,对交换机要求居中。
场景3:小型分支机构,此场景适配规模较小的网络,对交换机要求一般。
装置中的测试案例包括两种,一类是通用案例,此类案例在三类场景中均存在,但要求与结果评估标准不同,主要包括如(1)-(4):
(1)基础配置:端口聚合配置、基础网络配置等。
(2)设备性能:路由表容量、mac表容量等。
(3)网络协议:VXLAN协议、策略路由、BFD能力等。
(4)管理配置:支持网络监控技术(Telemtry)协议、转发流量统计、支持链路质量检测协议、端口镜像能力等。
S203:通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果;交换机选型的测试结果为交换机在测试场景下适用程度的测试结果。
例如,测试案例为验证交换机支持静态路由BFD、OSPF、BGP、OSPFv4、BGP4+,测试结果则为这五种协议的是否通过的情况。
具体通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果的过程,如A1-A4所示。
A1:获取测试案例集中的各个测试案例的编号。
生成的案例测试集中,包含多个案例,具有编号顺序,以此为顺序逐个调用模块,完成自动化执行。
A2:通过各个测试案例的编号确定预设顺序。
其中,可以将各个测试案例的编号从小至大的顺序进行排列得到预设顺序,也可以是将各个测试案例的编号从大至小的顺序进行排列得到预设顺序,具体通过各个测试案例的编号确定预设顺序的方式本申请不做具体限定。
A3:确定测试场景在测试案例结果评价集中所对应的测试案例评价标准。
需要说明的是,不同的测试场景在测试案例结果评价集中所对应的测试案例评价标准不同。
例如,测试交换机的BFD能力,测试案例为验证交换机支持BFD、OSPF、BGP、OSPFv4、BGP4+。在低端交换机的评价标准为每满足一项加2分,而高端交换机评价标准为需要全部全部满足得10分,否则不得分。
A4:通过预设顺序逐个调用测试案例执行模块,自动化执行测试案例集,以实现通过测试案例评价标准得到交换机选型的测试结果。
为了方便理解自动化执行测试案例集的过程,结合B1-B9和图3进行说明,图3示出了自动化执行测试案例集的示意图。
B1:获取打流设备所对应的各个交换机IP;打流设备用于模拟用户流量对交换机进行选型测试和测试分析。
打流设备与交换机需为1:1配置,在服务管理模块完成交换机与打流设备的一一映射关系,相互之间无特殊情况不共用。
在初始化配置的时候,打流设备对应的交换机IP即确定映射关系。
无特殊情况是指按以往的测试经验,打流设备的租用或购买是很昂贵的,测试方自有几台,若在不够用且厂商可能无资金支持租用打流设备的情况下,可能会需要1:2的配置,共用打流设备,此时需分组执行测试。
B2:通过服务管理模块和各个交换机IP,确定各个交换机与打流设备的映射关系。
B3:获取存在映射关系的各个交换机的交换机配置信息与打流设备的打流设备配置信息。
在B3中,若各个交换机和打流设备存在映射关系,获取交换机配置信息和打流设备配置信息。
B4:根据交换机配置信息和打流设备配置信息,确定探测信息。
B5:通过探测信息判定各个交换机与打流设备是否能被连接。
其中,通过探测信息(如因特网包探索器(PacketInternet Groper,ping)命令)在打流设备上进行ping等操作来探测交换机的网络情况,从而判定各个交换机与打流设备是否能被连接。比如,根据ping命令返回的生存时间(TTL)值来判断对方所使用的操作系统及数据包经过路由器数量,来测试各个交换机与打流设备之间的连通情况。
B6:若存在与打流设备不能被连接的交换机,生成案例执行失败的提示信息。
B7:若不存在与打流设备不能被连接的交换机,通过预设顺序依次执行测试案例集中的各个测试案例。
其中,可以将各个测试案例的编号从小至大的顺序进行排列得到预设顺序,也可以是将各个测试案例的编号从大至小的顺序进行排列得到预设顺序,具体通过各个测试案例的编号确定预设顺序的方式本申请不做具体限定。
B8:将测试脚本发送至各个交换机和打流设备,若各个测试案例全部执行成功,生成全部案例执行成功的各个案例执行结果,并返回至服务管理模块。
B9:若各个测试案例中存在测试案例执行失败,对执行失败的测试案例进行预设次数的重复执行操作,若执行失败,将案例执行结果标注为执行失败的案例执行结果。
1)打流设备与交换机需为1:1配置,在服务管理模块完成交换机与打流设备的一一映射,相互之间无特殊情况不共用。
2)根据配置信息发送探测信息至交换机与打流设备,确保各交换机与打流设备均能被连接。
a.若存在不能被连接的机器,在服务管理模块进行提示,且不能进行下一步流程,直到全部连接成功。
b.连接全部成功,可进行下一步流程。
3)顺序执行每一个测试案例,当获取上一个案例的全部结果后,可执行下一个案例。
c.单个测试脚本并行下发至每一个交换机与打流设备。执行成功后获取测试结果。
需要说明的是,执行成功后获取记录的是本测试案例的结果。若案例的预期结果分为多个,则获取的是多个结果。
d.若单个案例执行失败,会再次执行一次。若第二次执行失败,则标注执行失败。待所有结果获取完成之后,执行下一个测试案例。
需要说明的是,若单个案例执行失败,会再次执行的次数可以2次,也可以是3次等,该执行的次数本申请不做具体限定。
所有案例执行之后,返回服务管理模块执行情况。服务管理模块可对失败的案例进行手工执行;若没有在平台执行的案例,需上传被测机器操作截图和测试结果。若确认无法执行,则标注案例“不通过”。全部确认后,推送至结果分析模块,通过结果分析模块根据每个案例的案例执行结果和案例评价标准,最终给出测试整体的结论。
此处可仍以交换机的BFD能力为举例,在案例执行过程中,依次进行交换机对应场景的初始化配置,并通过打流的方式进行协议能力的验证,并收集结果。顺序执行5个(静态路由BFD、OSPF、BGP、OSPFv4、BGP4+)能力的脚本之后,即为案例执行完成,可执行下一个案例。若其中有部分结果不符合预期,会重新执行一次该脚本,仍不符合的话,会按此结果记录。
S204:根据预设衡量标准和测试结果,生成测试分析报告;预设衡量标准由测试场景确定。
测试执行模块会将测试结果发送给结果分析模块,例如交换机的BFD能力,测试案例为验证交换机支持静态路由BFD、OSPF、BGP、OSPFv4、BGP4+,测试结果则为五种协议的通过情况,根据场景找到案例的评价规则进行打分。
生成交换机选型的测试结果对应的测试报告,并对测试报告进行添加添加自定义水印和/或自定义签名。
本方案构造一种基于企业多场景下的交换机选型测试装置,包括服务管理模块、案例知识库模块、测试执行模块与结果分析模块,实现了从场景选取到生成测试结果分析报告的全流程。并且并方案能基于SSH、NETCONF等协议自动化执行交换机与打流设备的测试及测试结果收集。
本方案使得企业对于交换机的选型测试流程由手动操作转为线上自动化测试,有效提高了测试效率;另外,可收集结果形成测试分析报告,确保数据的正确性。本装置可为测试工程师提供专业化的辅助,保证测试过程的可靠性,使得测试工程师更加聚焦于测试本身,同时,相关资产可以进行沉淀,为后续选型测试进行一定的指导。
本申请实施例中,在交换机选型的测试过程中,无需人工进行交换机的选型测试,由于交换机在企业的应用场景较为复杂,通过测试任务信息确定测试场景,针对业务场景自动下发测试场景对应的测试案例集并执行,从而提高了交换机选型测试的测试效率,并且通过连接交换机与打流设备,打流设备用于模拟用户流量对交换机进行选型测试和测试分析,根据不同场景的衡量标准和测试结果生成测试分析报告,提高交换机选型测试的准确性。
基于上述实施例图2公开的一种交换机测试方法,本申请实施例还对应公开了一种交换机测试系统,如图4所示,该交换机测试系统包括获取单元401、第一生成单元402、执行单元403和第二生成单元404。
获取单元401,用于针对获取到的每一个测试任务信息,通过测试任务信息确定测试场景。
第一生成单元402,用于根据测试场景生成测试任务的测试案例集;测试案例集至少包括通用测试案例;通用测试案例为在所有测试场景中均存在的测试案例。
执行单元403,用于通过预设顺序调用测试案例执行模块,自动化执行测试案例集,得到交换机选型的测试结果;交换机选型的测试结果为交换机在测试场景下适用程度的测试结果。
第二生成单元404,用于根据预设衡量标准和所述测试结果,生成测试分析报告;预设衡量标准由测试场景确定。
进一步的,第一生成单元401包括第一确定模块和第二确定模块。
第一确定模块,用于确定测试场景在案例知识库中所对应的各个通用测试案例。
第二确定模块,用于将各个通用测试案例确定为测试任务的测试案例集。
进一步的,交换机测试系统还包括确定单元。
确定单元,用于若测试任务的测试案例集存在场景化测试案例,将各个通用测试案例和所述场景化测试案例,确定为测试任务的测试案例集;所述场景化测试案例为个性化案例。
进一步的,执行单元403包括第一获取模块、第三确定模块、第四确定模块和第一执行模块。
第一获取模块,用于获取测试案例集中的各个测试案例的编号。
第三确定模块,用于通过各个测试案例的编号确定预设顺序。
第四确定模块,用于确定测试场景在测试案例结果评价集中所对应的测试案例评价标准。
第一执行模块,用于通过预设顺序逐个调用测试案例执行模块,自动化执行测试案例集,以实现通过测试案例评价标准得到交换机选型的测试结果。
进一步的,自动化执行测试案例集的执行单元403,包括第二获取模块、第五确定模块、第三获取模块、第六确定模块、判定模块、第一生成模块、第二执行模块、第二生成模块和操作模块。
第二获取模块,用于获取打流设备所对应的各个交换机IP;打流设备用于模拟用户流量对交换机进行选型测试和测试分析。
第五确定模块,用于通过各个交换机IP,确定各个交换机与打流设备的映射关系。
第三获取模块,用于获取存在映射关系的各个交换机的交换机配置信息与打流设备的打流设备配置信息。
第六确定模块,用于根据交换机配置信息和打流设备配置信息,确定探测信息。
判定模块,用于通过探测信息判定各个交换机与打流设备是否能被连接。
第一生成模块,用于若存在与打流设备不能被连接的交换机,生成案例执行失败的提示信息。
第二执行模块,用于若不存在与打流设备不能被连接的交换机,通过预设顺序依次执行测试案例集中的各个测试案例。
第二生成模块,用于将测试脚本发送至各个交换机和打流设备,若各个测试案例全部执行成功,生成全部案例执行成功的各个案例执行结果。
操作模块,用于若各个测试案例中存在测试案例执行失败,对执行失败的测试案例进行预设次数的重复执行操作,若执行失败,将案例执行结果标注为执行失败的案例执行结果。
进一步的,交换机测试系统还包括生成单元。
生成单元,用于生成交换机选型的测试结果对应的测试报告,并对测试报告进行添加添加自定义水印和/或自定义签名。
本申请实施例中,在交换机选型的测试过程中,无需人工进行交换机的选型测试,由于交换机在企业的应用场景较为复杂,通过测试任务信息确定测试场景,针对业务场景自动下发测试场景对应的测试案例集并执行,从而提高了交换机选型测试的测试效率,并且通过连接交换机与打流设备,打流设备用于模拟用户流量对交换机进行选型测试和测试分析,根据不同场景的衡量标准和测试结果生成测试分析报告,提高交换机选型测试的准确性。
本申请实施例还提供了一种存储介质,存储介质包括存储的指令,其中,在指令运行时控制存储介质所在的设备执行上述交换机测试方法。
本申请实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502执行上述交换机测试方法。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种交换机测试方法,其特征在于,所述方法包括:
针对获取到的每一个测试任务信息,通过所述测试任务信息确定测试场景;
根据所述测试场景生成测试任务的测试案例集;所述测试案例集至少包括通用测试案例;所述通用测试案例为在所有测试场景中均存在的测试案例;
通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果;所述交换机选型的测试结果为交换机在测试场景下适用程度的测试结果;
根据预设衡量标准和所述测试结果,生成测试分析报告;所述预设衡量标准由测试场景确定。
2.根据权利要求1所述的方法,其特征在于,所述根据所述测试场景生成测试任务的测试案例集,包括:
确定所述测试场景在案例知识库中所对应的各个通用测试案例;
将各个通用测试案例确定为测试任务的测试案例集。
3.根据权利要求2所述的方法,其特征在于,还包括:
若测试任务的测试案例集存在场景化测试案例,将各个通用测试案例和所述场景化测试案例,确定为测试任务的测试案例集;所述场景化测试案例为个性化案例。
4.根据权利要求1所述的方法,其特征在于,所述通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果,包括:
获取测试案例集中的各个测试案例的编号;
通过各个测试案例的编号确定预设顺序;
确定所述测试场景在测试案例结果评价集中所对应的测试案例评价标准;
通过预设顺序逐个调用测试案例执行模块,自动化执行所述测试案例集,以实现通过测试案例评价标准得到交换机选型的测试结果。
5.根据权利要求4所述的方法,其特征在于,自动化执行所述测试案例集的过程,包括:
获取打流设备所对应的各个交换机IP;所述打流设备用于模拟用户流量对交换机进行选型测试和测试分析;
通过所述各个交换机IP,确定各个交换机与打流设备的映射关系;
获取存在映射关系的各个交换机的交换机配置信息与打流设备的打流设备配置信息;
根据所述交换机配置信息和所述打流设备配置信息,确定探测信息;
通过所述探测信息判定各个交换机与打流设备是否能被连接;
若存在与打流设备不能被连接的交换机,生成案例执行失败的提示信息;
若不存在与打流设备不能被连接的交换机,通过所述预设顺序依次执行测试案例集中的各个测试案例;
将测试脚本发送至各个交换机和打流设备,若各个测试案例全部执行成功,生成全部案例执行成功的各个案例执行结果;
若各个测试案例中存在测试案例执行失败,对执行失败的测试案例进行预设次数的重复执行操作,若执行失败,将案例执行结果标注为执行失败的案例执行结果。
6.根据权利要求1所述的方法,其特征在于,还包括:
生成交换机选型的测试结果对应的测试报告,并对所述测试报告进行添加添加自定义水印和/或自定义签名。
7.一种交换机测试系统,其特征在于,所述系统包括:
获取单元,用于针对获取到的每一个测试任务信息,通过所述测试任务信息确定测试场景;
第一生成单元,用于根据所述测试场景生成测试任务的测试案例集;所述测试案例集至少包括通用测试案例;所述通用测试案例为在所有测试场景中均存在的测试案例;
执行单元,用于通过预设顺序调用测试案例执行模块,自动化执行所述测试案例集,得到交换机选型的测试结果;所述交换机选型的测试结果为交换机在测试场景下适用程度的测试结果;
第二生成单元,用于根据预设衡量标准和所述测试结果,生成测试分析报告;所述预设衡量标准由测试场景确定。
8.根据权利要求7所述的系统,其特征在于,所述第一生成单元,包括:
第一确定模块,用于确定所述测试场景在案例知识库中所对应的各个通用测试案例;
第二确定模块,用于将各个通用测试案例确定为测试任务的测试案例集。
9.一种存储介质,其特征在于,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至6任意一项所述的交换机测试方法。
10.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求1至6任意一项所述的交换机测试方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311461585.2A CN117544545A (zh) | 2023-11-06 | 2023-11-06 | 一种交换机测试方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311461585.2A CN117544545A (zh) | 2023-11-06 | 2023-11-06 | 一种交换机测试方法、系统、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117544545A true CN117544545A (zh) | 2024-02-09 |
Family
ID=89791022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311461585.2A Pending CN117544545A (zh) | 2023-11-06 | 2023-11-06 | 一种交换机测试方法、系统、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117544545A (zh) |
-
2023
- 2023-11-06 CN CN202311461585.2A patent/CN117544545A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200379894A1 (en) | System and methods for automated testing of functionally complex systems | |
KR102089284B1 (ko) | 클라우드 검증 및 테스트 자동화 | |
US20120253728A1 (en) | Method and system for intelligent automated testing in a multi-vendor, multi-protocol heterogeneous environment | |
CN111600781B (zh) | 一种基于测试仪的防火墙系统稳定性测试方法 | |
US11245573B1 (en) | Port verification for customer interconnection in a data center | |
US20150269048A1 (en) | Automatic testing and remediation based on confidence indicators | |
US20130305091A1 (en) | Drag and drop network topology editor for generating network test configurations | |
US20160191349A1 (en) | Stress testing and monitoring | |
CN112134762B (zh) | 针对区块链网络结构的测试方法、装置、终端和存储介质 | |
CN107623698B (zh) | 远程调试网络设备方法和装置 | |
US7818283B1 (en) | Service assurance automation access diagnostics | |
US6853943B1 (en) | System and method for testing the load of at least one IP supported device | |
US20170004423A1 (en) | Systems and methods for simulating orders and workflows in an order entry and management system to test order scenarios | |
EP2313833A1 (en) | Service integration platform system and method for internet services | |
US11929890B2 (en) | Microservices application network control plane | |
JP2007208633A (ja) | ネットワーク設計装置、ネットワーク設計方法およびネットワーク設計プログラム | |
CN109697142A (zh) | 一种云计算环境下裸金属服务器的检测方法及设备 | |
CN111159000A (zh) | 一种服务器性能测试方法、装置、设备以及存储介质 | |
CN113542029A (zh) | 一种网络设备的业务稳定性测试方法、系统及工具 | |
US10263869B1 (en) | Analysis and testing of network devices | |
CN110166544B (zh) | 负载均衡应用创建方法、装置、计算机设备及存储介质 | |
JP2014035595A (ja) | 通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法 | |
US20130305090A1 (en) | Test configuration resource manager | |
CN117544545A (zh) | 一种交换机测试方法、系统、存储介质及电子设备 | |
US10116491B1 (en) | Network cabling verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |