CN118101532A - 一种多协议兼容的网络设备自适应测试系统及方法 - Google Patents
一种多协议兼容的网络设备自适应测试系统及方法 Download PDFInfo
- Publication number
- CN118101532A CN118101532A CN202410492461.9A CN202410492461A CN118101532A CN 118101532 A CN118101532 A CN 118101532A CN 202410492461 A CN202410492461 A CN 202410492461A CN 118101532 A CN118101532 A CN 118101532A
- Authority
- CN
- China
- Prior art keywords
- test
- test case
- unit
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 975
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000008569 process Effects 0.000 claims abstract description 79
- 238000005457 optimization Methods 0.000 claims abstract description 61
- 238000012544 monitoring process Methods 0.000 claims abstract description 54
- 238000004088 simulation Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 46
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 14
- 230000006978 adaptation Effects 0.000 claims description 64
- 230000005856 abnormality Effects 0.000 claims description 54
- 238000007405 data analysis Methods 0.000 claims description 33
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000013480 data collection Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000007726 management method Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000010223 real-time analysis Methods 0.000 claims description 4
- 238000011076 safety test Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000013522 software testing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012956 testing procedure Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明属于网络测试领域,尤其涉及一种多协议兼容的网络设备自适应测试系统及方法,具体为:在线测试阶段,该系统通过动态识别设备通信协议、自适应调整测试流程、实时收集与分析关键数据,实时展示结果并生成报告;在离线阶段,创建、编辑并分类保存测试用例,利用仿真模拟与兼容性测试验证用例有效性,结合人工智能进行异常预测与性能优化;远程测试阶段,远程协作与监控模块保障团队远程协作并实时监控网络波动与测试进度;此外,安全测试模块贯穿全程,采用漏洞扫描与入侵检测确保整个测试体系安全无虞;该系统实现网络设备多协议兼容性、测试流程自适应优化,有效提升测试效率与准确性。
Description
技术领域
本发明属于网络测试领域,具体的说是一种多协议兼容的网络设备自适应测试系统及方法。
背景技术
随着信息技术的飞速发展,网络设备种类日益繁多,不同设备支持的通信协议也千差万别;传统的网络设备测试系统往往只能针对特定的协议或设备进行测试,缺乏对多种协议和设备的自适应能力;这不仅增加了测试工作的复杂性,也限制了测试系统的通用性和灵活性。
现有技术中,虽然有一些测试系统试图通过集成多种测试模块来实现对多种协议的支持,但这些系统往往存在以下不足:一是不同测试模块之间的兼容性差,测试数据难以共享;二是测试过程繁琐,自动化程度低,无法快速响应设备更新和协议变更;三是现有测试系统在面对新型网络设备和协议时,往往需要进行大量的定制化开发,这不仅延长了测试周期,也增加了测试成本;最后,由于测试系统缺乏智能学习和自适应能力,无法根据网络设备的实际情况自动调整测试策略和参数,导致测试结果的准确性和可靠性受到影响。
如公开号为CN116911804A的专利公开了一种基于设备自适应的流程设计测试方法,通过读取执行结果日志中获取节点超时异常,得到超时节点名称;读取json格式的流程设计文件,使用超时节点名称匹配节点的label属性值,得到超时节点信息;读取节点的通用属性配置的general_property字段,获取id=execution_timeout的属性对象,读取超时时间value值并更新;之后重新执行流程,直到不出现执行超时错误。
如授权公告号为CN103139017B的中国专利公开了一种网络设备的测试系统及方法,包括测试服务器以及多个网络,每个所述网络中连接有多个待测试网络设备,多个所述网络通过交换设备与所述测试服务器连接;所述测试服务器包括一远程控制单元,所述远程控制单元控制所述测试服务器,配置所述测试服务器与所述待测试网络设备之间的连接,根据所述待测试网络设备的类型对所述待测试网络设备进行测试并接收测试结果。
以上现有技术均存在以下问题:1)不同测试设备和网络条件之间的兼容性差,测试数据难以共享;2)缺乏智能学习和自适应能力,无法根据网络设备的实际情况自动调整测试策略和参数;3)现有测试系统在面对新型网络设备和协议时,往往需要进行大量的定制化开发,这不仅延长了测试周期,也增加了测试成本;为解决上述问题,本发明提出了一种多协议兼容的网络设备自适应测试系统及方法。
发明内容
针对现有技术的不足,本发明提出了一种多协议兼容的网络设备自适应测试系统及方法,具体为:在线测试阶段,首先通过协议识别与适配模块识别设备通信协议并动态匹配测试用例;自适应测试控制模块基于环境感知实时调整测试流程;数据收集与分析模块收集并分析关键数据,反馈至流程调整与性能优化环节;结果展示与报告模块实时展示测试结果并生成详尽报告;在离线阶段,测试用例管理模块创建、编辑并分类保存测试用例至离线策略库;仿真模拟模块模拟实际网络环境与设备协议,结合兼容性测试模块进行用例有效性验证;人工智能辅助模块通过异常预测单元和性能优化单元训练模型预测异常、优化参数并将改进后用例存入数据库;远程测试阶段,远程协作与监控模块保障团队远程协作并实时监控网络波动与测试进度;此外,安全测试模块贯穿全程,采用漏洞扫描与入侵检测确保整个测试体系安全无虞;该系统实现网络设备多协议兼容性、测试流程自适应优化,有效提升测试效率与准确性。
为实现上述目的,本发明提供如下技术方案:
一种多协议兼容的网络设备自适应测试系统,包括:协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块;
协议识别与适配模块,用于自动检测待测网络设备的通信协议类型,并动态适配对应的测试用例和策略;自适应测试控制模块,用于根据网络环境和设备状态实时调整测试策略,确保测试的准确性和效率;数据收集与分析模块,用于在测试过程中收集关键测试数据,并进行实时分析和处理,以支持在线自适应测试策略的调整和离线测试用例策略库的更新;结果展示与报告模块,用于直观展示测试结果,并生成详细的测试报告,实时向用户反馈设备性能;测试用例管理模块,用于对测试用例进行智能创建、编辑、分类存储和索引,构建出离线测试用例策略库;仿真模拟模块,用于通过仿真技术模拟网络环境和设备状态,以验证和优化测试用例策略库中的测试用例和在线测试流程中保存的测试用例;人工智能辅助模块,用于利用人工智能技术构建和训练异常预测和性能优化模型,对在线测试过程中的测试用例和离线测试用例策略库中的测试用例进行智能化异常类型和概率预测以及性能的实时优化;远程协作与监控模块,用于支持远程协作和监控,实现团队成员远程沟通和测试过程管理;安全测试模块,用于进行网络设备和系统的安全测试,包括但不限于漏洞扫描和入侵检测,确保设备的安全性;兼容性测试模块,用于测试网络通信协议与系统或设备的兼容性,实现设备在不同环境和场景下的稳定运行。
具体的,协议识别与适配模块包括协议检测单元和协议适配单元;自适应测试控制模块包括环境感知单元和测试流程调整单元;数据收集与分析模块包括数据收集单元和数据分析单元;结果展示与报告模块包括结果展示单元和报告生成单元;
协议检测单元,用于在线识别各类网络设备的通信协议类型;协议适配单元,用于根据协议检测结果,从离线测试用例策略库选择或利用自动生成工具生成对应的测试脚本和参数;环境感知单元,用于实时收集和分析各类网络环境和设备状态信息;测试流程调整单元,用于根据环境感知和设备状态信息动态调整测试策略和用例;数据收集单元,用于捕获测试过程中的各类关键数据;数据分析单元,用于对收集到的数据进行统计分析、比较和异常检测,并将获取的异常进行删除或保存在离线测试用例策略库;结果展示单元,用于将测试结果以图表或表格形式直观呈现;报告生成单元,用于根据分析结果自动生成详细的测试报告。
具体地,测试用例管理模块包括测试用例创建单元、测试用例编辑单元、测试用例分类保存单元、测试用例索引单元;仿真模拟模块包括环境仿真单元和设备仿真单元;人工智能辅助模块包括异常预测单元和性能优化单元;远程协作与监控模块包括远程协作单元和实时监控单元;安全测试模块包括漏洞扫描单元和入侵检测单元;兼容性测试模块包括设备兼容性测试单元和环境兼容性测试单元;
测试用例创建单元,用于向测试人员提供完备的操作界面,支持用户创建新的测试用例和收集网络协议历史测试用例;测试用例编辑单元,用于实现管理员用户对已有的测试用例进行编辑和修改;测试用例分类保存单元,用于对用户创建或历史在线测试生成的测试用例根据适配的网络协议进行分类和分片保存,并基于此构建离线测试用例策略库;测试用例索引单元,用于提供自动化索引功能,使得系统能够从离线测试用例策略库中快速找到适配的测试用例;环境仿真单元,用于构建和配置仿真环境,模拟在线测试过程真实的网络条件;设备仿真单元,用于模拟不同型号和功能的网络设备,测试带有不同通信协议系统的兼容性和适应性;异常预测单元,用于利用机器学习算法分析离线测试用例策略库中保存的用户创建或历史在线测试生成的测试用例,预测对应测试用例可能发生的异常类型和概率;性能优化单元,用于根据测试结果和实时数据,通过智能算法对离线测试用例策略库保存的测试用例的参数进行实时调整;远程协作单元,用于提供远程协作工具,支持团队成员实时沟通和协作;实时监控单元,用于实时监控远程测试过程中的网络状态和测试进度,并对测试进度进行保存,确保测试流程顺利进行;漏洞扫描单元,用于扫描网络设备的潜在漏洞和威胁;入侵检测单元,用于模拟和检测潜在的入侵行为,评估设备的安全防护能力;设备兼容性测试单元,用于测试网络设备或系统的互操作性;环境兼容性测试单元,用于测试在不同网络环境下设备的稳定性和性能。
具体地,协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块及其对应单元的工作流程具体为:
在在线测试阶段,第一,协议识别与适配模块调用协议检测单元自动检测待测网络设备的通信协议,并通过协议适配单元从离线测试用例策略库利用测试用例索引单元动态索引适配对应的测试用例;第二,自适应测试控制模块根据环境感知单元收集的网络环境和设备状态,利用测试流程调整单元实时调整从离线测试用例策略库索引适配的测试用例和策略,来实现实时更新测试流程;第三,数据收集与分析模块通过调用数据收集单元不断收集测试过程中的关键测试数据,并利用数据分析单元进行实时分析和处理,数据分析单元将分析得到的结果一方面反馈给测试流程调整单元进行流程调整,另一方面反馈给性能优化单元对存在问题的测试用例的参数进行实时优化调整,并将调整后的测试用例保存到离线测试用例策略库;当测试完成,结果展示与报告模块利用结果展示单元直观展示整个在线测试流程中测试的结果,并利用报告生成单元依据展示的测试结果生成详细的测试报告,实时向用户反馈多协议设备测试的性能;
在离线阶段,第四,测试用例管理模块通过调用测试用例创建单元创建新的测试用例并收集历史测试用例,并利用测试用例编辑单元对创建和收集的测试用例赋予管理员编辑功能;同时利用测试用例分类保存单元对创建和收集的测试用例按照可测试协议种类进行分类,并按分类结果保存在分布式数据库中,用于构建离线测试用例策略库;第五,利用仿真模拟模块中的环境仿真单元和设备仿真单元实时模拟在线测试阶段真实的网络条件和不同型号和功能的网络设备通信协议;第六,通过测试用例分类保存单元将离线测试用例策略库中保存的测试用例输入到仿真模拟模块构建的环境和设备中进行测试,并通过兼容性测试模块中的设备兼容性测试单元和环境兼容性测试单元对创建和收集的测试用例在模拟的网络条件和设备通信协议下进行实时测试分析,并获取创建和收集的测试用例中存在的问题;第七,人工智能辅助模块通过调用异常预测单元和性能优化单元根据测试用例中存在的问题,构建和训练异常预测和性能优化模型,对存在问题测试用例发生异常的类型和概率进行预测,同时利用性能优化模型对存在问题测试用例的参数进行优化调整,并将优化后的测试用例保存到对应的离线测试用例策略库中;
在远程测试阶段,第八,通过远程协作与监控模块调用远程协作单元实现团队成员远程沟通和上述第一到第七之间的测试管理过程,并利用实时监控单元对远程测试过程中的网络波动情况和测试进度进行实时监测,并对测试进度进行实时保存;第九,通过安全测试模块调用漏洞扫描单元和入侵检测单元对第一到第八测试过程中使用的网络协议、设备和系统进行实时漏洞扫描和入侵检测,确保整个测试过程实时处于安全状态。
具体地,测试用例分类保存单元中构建离线测试用例策略库,采用了一种知识图谱策略,具体步骤为:
A1、收集在线测试阶段以及离线阶段对应的测试用例以及对应的测试流程文本数据,并对收集的测试用例文本分词预处理,获取测试用例输入文本序列,其中,/>表示第i个分割后的测试用例实词,n表示测试用例实词总个数;
A2、利用BiLSTM-CRF构建实词提取模型,并将获取的测试用例输入文本序列输入到构建的实词提取模型进行训练,并获取对应的测试关键词;
A3、利用获取的对应测试关键词构建不同测试用例实词之间的关系词组,并将获取的关系词组与对应测试用例输入文本序列组合,构建成对应的测试用例关系抽取文本序列;
A4、基于预训练的Bert模型构建关系抽取模型,将测试用例关系抽取文本序列输入到构建的关系抽取模型进行训练,并将训练的模型部署到测试用例分类保存单元进行测试用例中的实词关系抽取,获取实词1-实词2-关系类型词组;其中实词关系抽取的关系包括但不限于[测试用例,测试节点,适配度],[测试用例,测试步骤,包含],[测试用例1,测试用例2,优先级];
A5、将获取的实词1-实词2-关系类型词组及对应的测试用例输入文本序列输入到图数据库中构建得到离线测试用例知识图谱;
A6、利用PageRank算法计算离线测试用例知识图谱中每个测试用例节点的PageRank值,并根据计算的PageRank值对每个测试用例节点进行排序;同时异常预测单元对每个测试用例节点发生异常的概率进行预测,获取对应的异常概率值;
A7、将获取的每个测试用例节点的PageRank值与每个测试用例节点测试发生异常的概率相乘,获取每个测试用例的优先级;
A8、设置测试用例风险阈值,同时将获取的每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级输入到聚类算法中获取高风险测试用例、中风险测试用例、低风险测试用例;
A9、利用获取的高风险测试用例、中风险测试用例和低测试用例构建得到离线测试用例策略库。
具体地,测试用例索引单元,采用了一种混合动态索引的策略,具体步骤包括:
B1、利用协议检测单元实时获取新的通信协议类型以及对应的网络条件和设备信息,并计算得到新的网络条件和设备信息与离线测试用例策略库中每个高风险测试用例节点的相关性值;
B2、利用Dijkstra算法计算出测试节点到所有高风险测试用例节点的最短路径值,并利用获取的每一个测试节点到测试用例节点最短路径值乘以对应测试节点与测试用例节点的相关性值,计算得到测试用例与测试节点的适配度值;
B3、根据所述优先级设置适配阈值,当满足测试用例与测试节点的适配度值大于适配阈值的测试用例为一条时,则选用当前测试用例;若满足测试用例与测试节点的适配度值大于适配阈值的测试用例大于一条,则对满足条件的测试用例按照优先级进行排序,并取优先级最高的作为测试用例;
B4、当离线测试用例策略库中每个高风险测试用例节点都不满足B3中条件时,则选择离线测试用例策略库中每个中风险测试用例节点,并重复B1-B3,选择适配测试用例,低风险测试用例节点同上B1-B3操作;
B5、当B1-B4过程都无法适配到测试用例时,将测试节点的通信协议类型以及对应的网络条件和设备信息输入到性能优化单元,对高、中和低风险测试用例中适配度值最大的测试用例进行参数优化调整,获取到适配测试用例。
具体地,异常预测单元,采用了一种深度预测策略,具体步骤为:
C1、收集历史测试用例及其对应的测试节点、测试设备、网络条件和测试结果数据,并对数据进行预处理,同时对测试用例在测试时发生的异常进行标注;
C2、基于卷积神经网络构建异常预测模型,并利用C1中标注后的预处理数据对异常预测模型进行优化训练,将训练完成的异常预测模型部署到异常预测单元;
C3、当仿真模拟模块模拟出新的设备和网络条件时,利用异常预测单元预测出离线测试用例策略库中测试用例在当前设备和网络条件下发生异常的类型以及发生对应异常的概率。
具体地,实时监控单元,采用了一种远程测试保护策略,具体步骤为:
D1、利用网络监测设备实时监测测试服务点与远程连接点之间的网络速度,当网络速度低于网速阈值时,停止当前远程测试过程,并将测试进度保存至记事本中;
D2、当网络速度高于或等于网速阈值时,根据记事本中记录的测试进度,自动恢复测试流程进度,直到测试结束。
一种多协议兼容的网络设备自适应测试方法,具体步骤包括:
S1、构建离线测试用例策略库,利用兼容性测试模块对策略库中的测试用例进行兼容性测试,并利用异常预测单元预测出测试用例的具体异常类型和概率,同时利用性能优化单元对出现异常的用例进行实时参数优化,并将优化后的测试用例保存到策略库中;
S2、通过协议检测单元在线识别新加入的设备通信协议,根据识别的协议类型,利用协议适配单元从构建的离线测试用例策略库索引对应适配的测试用例和策略,并通过对所选用的测试用例和策略的测试过程进行实时监测和分析对测试用例进行实时反馈和优化调整;
S3、当进行远程测试时,通过利用远程协作与监控模块对远程测试过程进行支持,并利用S1和S2过程中所述的单元进行实时测试,同时对远程连接网络和远程测试进度进行实时监测和保存;
S4、通过利用漏洞扫描单元和入侵检测单元对上述S1、S2和S3测试过程进行实时漏洞扫描和入侵检测,实现整个测试过程实时处于安全状态。
一种计算机可读存储介质,其上存储有计算机指令,当计算机指令运行时执行一种多协议兼容的网络设备自适应测试方法。
与现有技术相比,本发明的有益效果是:
1.本发明提出一种多协议兼容的网络设备自适应测试系统,并进行了架构、运行步骤和流程上的优化改进,系统具备更强的智能性,在原有的测试系统的基础上提高了测试的准确度和适应性;
2.针对现有技术的不足,该系统通过整合协议识别与适配、自适应测试控制、数据收集与分析等模块,显著提升了测试设备与不同网络条件的兼容性,实现了测试数据的共享与实时分析。同时,引入人工智能辅助模块,赋予系统智能学习和自适应能力,能够根据网络设备的实时状态自动调整测试策略和参数,极大提高了测试效率和准确性。此外,本发明还通过离线测试用例管理和仿真模拟等功能,减少了面对新型网络设备和协议时的定制化开发需求,缩短了测试周期,降低了测试成本;该系统为网络设备的在线测试提供了全面、智能、高效的解决方案;
3.本发明针对现有技术的不足,通过提出混合动态索引策略解决了测试用例与测试节点适配度低、选择不精确的问题;该策略实时计算适配度值,智能选择高风险、中风险和低风险测试用例,并通过参数优化调整实现精准适配;这不仅提高了测试效率,降低了测试成本,而且增强了测试系统的智能性和适应性。
附图说明
图1为本发明一种多协议兼容的网络设备自适应测试系统模块结构图;
图2为本发明一种多协议兼容的网络设备自适应测试系统单元工作架构图;
图3为本发明一种多协议兼容的网络设备自适应测试方法流程图。
具体实施方式
实施例1
请参阅图1,本发明提供的一种实施例:一种多协议兼容的网络设备自适应测试系统,包括:协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块;
协议识别与适配模块,用于自动检测待测网络设备的通信协议类型,并动态适配对应的测试用例和策略;自适应测试控制模块,用于根据网络环境和设备状态实时调整测试策略,确保测试的准确性和效率;数据收集与分析模块,用于在测试过程中收集关键测试数据,并进行实时分析和处理,以支持在线自适应测试策略的调整和离线测试用例策略库的更新;结果展示与报告模块,用于直观展示测试结果,并生成详细的测试报告,实时向用户反馈设备性能;测试用例管理模块,用于对测试用例进行智能创建、编辑、分类存储和索引,构建出离线测试用例策略库;仿真模拟模块,用于通过仿真技术模拟网络环境和设备状态,以验证和优化测试用例策略库中的测试用例和在线测试流程中保存的测试用例;人工智能辅助模块,用于利用人工智能技术构建和训练异常预测和性能优化模型,对在线测试过程中的测试用例和离线测试用例策略库中的测试用例进行智能化异常类型和概率预测以及性能的实时优化;远程协作与监控模块,用于支持远程协作和监控,实现团队成员远程沟通和测试过程管理;安全测试模块,用于进行网络设备和系统的安全测试,包括但不限于漏洞扫描和入侵检测,确保设备的安全性;兼容性测试模块,用于测试网络通信协议与系统或设备的兼容性,实现设备在不同环境和场景下的稳定运行。
协议识别与适配模块包括协议检测单元和协议适配单元;自适应测试控制模块包括环境感知单元和测试流程调整单元;数据收集与分析模块包括数据收集单元和数据分析单元;结果展示与报告模块包括结果展示单元和报告生成单元;
协议检测单元,用于在线识别各类网络设备的通信协议类型;进一步地,对于该单元本实施例利用采用一种深度包检测方法,本发明在系统接收端口部署一个开源协议分析工具Wireshark或nmap的Nping,来解析数据包的各个字段,如端口号、负载内容等,来识别通信协议。
协议适配单元,用于根据协议检测结果,从离线测试用例策略库选择或利用自动生成工具生成对应的测试脚本和参数;环境感知单元,用于实时收集和分析各类网络环境和设备状态信息;测试流程调整单元,用于根据环境感知和设备状态信息动态调整测试策略和用例;数据收集单元,用于捕获测试过程中的各类关键数据;数据分析单元,用于对收集到的数据进行统计分析、比较和异常检测,并将获取的异常进行删除或保存在离线测试用例策略库;结果展示单元,用于将测试结果以图表或表格形式直观呈现;报告生成单元,用于根据分析结果自动生成详细的测试报告。
测试用例管理模块包括测试用例创建单元、测试用例编辑单元、测试用例分类保存单元、测试用例索引单元;仿真模拟模块包括环境仿真单元和设备仿真单元;人工智能辅助模块包括异常预测单元和性能优化单元;远程协作与监控模块包括远程协作单元和实时监控单元;安全测试模块包括漏洞扫描单元和入侵检测单元;兼容性测试模块包括设备兼容性测试单元和环境兼容性测试单元;
测试用例创建单元,用于向测试人员提供完备的操作界面,支持用户创建新的测试用例和收集网络协议历史测试用例;进一步地,界面应包含必要的输入字段和选项,如测试用例名称、描述、版本、所属项目、优先级;界面提供对网络协议历史测试用例的收集功能,支持从网络协议库中导入已有的测试用例,并允许用户通过上传文件或手动输入的方式,将历史测试用例导入到系统中;界面还应包括创建向导、校验与提示和保存与预览功能。
测试用例编辑单元,用于实现管理员用户对已有的测试用例进行编辑和修改;
测试用例分类保存单元,用于对用户创建或历史在线测试生成的测试用例根据适配的网络协议进行分类和分片保存,并基于此构建离线测试用例策略库;进一步地,测试用例分类保存单元中构建离线测试用例策略库,采用了一种知识图谱策略,具体步骤为:
A1、收集在线测试阶段以及离线阶段对应的测试用例以及对应的测试流程文本数据,并对收集的测试用例文本分词预处理,获取测试用例输入文本序列,其中,/>表示第i个分割后的测试用例实词,n表示测试用例实词总个数;测试流程文本数据包括测试环境信息、测试执行结果、缺陷报告等;
A2、利用BiLSTM-CRF构建实词提取模型,并将获取的测试用例输入文本序列输入到构建的实词提取模型进行训练,并获取对应的测试关键词;关键词包括但不限于测试用例名称、测试节点名称、适配度、测试步骤中的具体步骤流程、优先级等;
A3、利用获取的对应测试关键词构建不同测试用例实词之间的关系词组,并将获取的关系词组与对应测试用例输入文本序列组合,构建成对应的测试用例关系抽取文本序列;
A4、基于预训练的Bert模型构建关系抽取模型,将测试用例关系抽取文本序列输入到构建的关系抽取模型进行训练,并将训练的模型部署到测试用例分类保存单元进行测试用例中的实词关系抽取,获取实词1-实词2-关系类型词组;其中实词关系抽取的关系包括但不限于[测试用例,测试节点,适配度],[测试用例,测试步骤,包含],[测试用例1,测试用例2,优先级];
A5、将获取的实词1-实词2-关系类型词组及对应的测试用例输入文本序列输入到图数据库中构建得到离线测试用例知识图谱;
A6、利用PageRank算法计算离线测试用例知识图谱中每个测试用例节点的PageRank值,并根据计算的PageRank值对每个测试用例节点进行排序;同时异常预测单元对每个测试用例节点发生异常的概率进行预测,获取对应的异常概率值;
A7、将获取的每个测试用例节点的PageRank值与每个测试用例节点测试发生异常的概率相乘,获取每个测试用例的优先级;本实施例的优先级根据具体计算出的PageRank值与发生异常的概率相乘获取的值确定,计算得到的值越大优先级越高;
A8、基于专家经验设置测试用例风险阈值,同时将获取的每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级输入到聚类算法中获取高风险测试用例、中风险测试用例、低风险测试用例;进一步地,该步骤利用聚类算法计算获取高风险测试用例、中风险测试用例、低风险测试用例的具体过程为:
1) 对获取的每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级进行归一化处理,并利用归一化处理后的每个测试用例节点的PageRank值、发生异常的概率和优先级计算得到每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级对应的加权系数;
2) 利用获取的对应的加权系数和归一化后每个测试用例节点的PageRank值、发生异常的概率和优先级计算得到对应单个测试用例的综合得分;
3) 将获取的每个测试用例节点综合得分、归一化前每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级和设置的测试用例风险阈值,输入到层次聚类算法中,并设置聚类个数为3,对应获取高风险、中风险和低风险测试用例。
A9、利用获取的高风险测试用例、中风险测试用例和低测试用例构建得到离线测试用例策略库。
该过程通过自动化地收集、处理和分析测试用例及测试流程数据,实现了对测试用例的智能化管理和风险评估;利用深度学习模型进行实词提取和关系抽取,有效提高了信息处理的效率和准确性;通过构建知识图谱和计算PageRank值,不仅揭示了测试用例之间的关联和依赖关系,还为后续的测试策略制定提供了有力支持;进一步结合异常概率和优先级进行聚类分析,能够精准地识别出高风险测试用例,为优化测试资源配置和提升测试质量提供了科学依据;最终构建的离线测试用例策略库,有助于提升软件测试的智能化水平,确保软件产品的质量和稳定性,为企业的持续发展提供坚实保障。
测试用例索引单元,用于提供自动化索引功能,使得系统能够从离线测试用例策略库中快速找到适配的测试用例;进一步地,本实施例测试用例索引单元采用了一种混合动态索引的策略,具体步骤包括:
B1、利用协议检测单元实时获取新的通信协议类型以及对应的网络条件和设备信息,并计算得到新的网络条件和设备信息与离线测试用例策略库中每个高风险测试用例节点的相关性值;
B2、利用Dijkstra算法计算出测试节点到所有高风险测试用例节点的最短路径值,并利用获取的每一个测试节点到测试用例节点最短路径值乘以对应测试节点与测试用例节点的相关性值,计算得到测试用例与测试节点的适配度值;
B3、根据所述优先级设置适配阈值,当满足测试用例与测试节点的适配度值大于适配阈值的测试用例为一条时,则选用当前测试用例;若满足测试用例与测试节点的适配度值大于适配阈值的测试用例大于一条,则对满足条件的测试用例按照优先级进行排序,并取优先级最高的作为测试用例;
B4、当离线测试用例策略库中每个高风险测试用例节点都不满足B3中条件时,则选择离线测试用例策略库中每个中风险测试用例节点,并重复B1-B3,选择适配测试用例,低风险测试用例节点同上B1-B3操作;
B5、当B1-B4过程都无法适配到测试用例时,将测试节点的通信协议类型以及对应的网络条件和设备信息输入到性能优化单元,对高、中和低风险测试用例中适配度值最大的测试用例进行参数优化调整,获取到适配测试用例;
B6、执行所选的测试用例,并收集测试结果,分析测试结果,评估测试用例的有效性和测试节点的性能表现,将测试结果和反馈信息整合发送给性能优化单元对选择的测试用例进行优化。
该混合动态索引策略的有益效果在于显著提升了测试用例选择的精准性和效率。通过实时获取网络和设备信息,并计算与测试用例的相关性,确保了测试用例与测试环境的紧密匹配。利用Dijkstra算法计算最短路径,结合优先级排序,能够快速定位到最优测试用例。当高风险测试用例不满足条件时,策略能够自动扩展到中、低风险测试用例,增加了测试的灵活性。最后,通过性能优化单元对测试用例进行参数调整,进一步提高了测试的适配性和可靠性。整体上,该策略有效提升了软件测试的质量和效率。
环境仿真单元,用于构建和配置仿真环境,模拟在线测试过程真实的网络条件;设备仿真单元,用于模拟不同型号和功能的网络设备,测试带有不同通信协议系统的兼容性和适应性;异常预测单元,用于利用机器学习算法分析离线测试用例策略库中保存的用户创建或历史在线测试生成的测试用例,预测对应测试用例可能发生的异常类型和概率;进一步地,异常预测单元,采用了一种深度预测策略,具体步骤为:
C1、收集历史测试用例及其对应的测试节点、测试设备、网络条件和测试结果数据,并对数据进行预处理,同时对测试用例在测试时发生的异常进行标注;
C2、基于卷积神经网络构建异常预测模型,并利用C1中标注后的预处理数据对异常预测模型进行优化训练,将训练完成的异常预测模型部署到异常预测单元;
C3、当仿真模拟模块模拟出新的设备和网络条件时,利用异常预测单元预测出离线测试用例策略库中测试用例在当前设备和网络条件下发生异常的类型以及发生对应异常的概率;
C4、将异常预测结果反馈给测试用例索引单元,以便在选择和执行测试用例时考虑异常风险。同时,收集数据分析单元获取的实际执行测试用例时发生的异常数据,与预测结果进行对比分析,评估模型的预测性能。根据评估结果,对异常预测模型进行必要的调整和优化;
C5、当异常预测模型预测出任一测试用例在当前设备和网络条件下具有较高的异常概率时,触发异常预警机制;通过向测试人员发送预警信息或向测试流程调整单元反馈异常信息自动调整测试用例的执行策略,确保测试过程的顺利进行;同时,对于已经发生的异常,记录异常详情和处置措施,为后续的分析和改进提供数据支持。
性能优化单元,用于根据测试结果和实时数据,通过智能算法对离线测试用例策略库保存的测试用例的参数进行实时调整;本实施例采用强化学习算法作为该单元的优化算法,同时通过网络爬取和现有的测试例库对算法进行训练,使其包括足够多的测试用例参数,以及异常优化配置;性能优化单元工作流程为:
1)在测试过程中,收集测试用例的测试结果和实时数据,将收集到的测试结果和实时数据作为输入,输入到已经训练好的强化学习算法中输出测试用例参数的调整策略;
2)根据强化学习算法输出的调整策略,对离线测试用例策略库中的测试用例参数进行实时调整,将参数调整后的测试用例重新执行,收集新的测试结果,对比优化前后的性能指标,验证参数调整的有效性,将验证结果反馈给强化学习算法,对强化学习算法模型进行实时优化调整。
远程协作单元,用于提供远程协作工具,支持团队成员实时沟通和协作;实时监控单元,用于实时监控远程测试过程中的网络状态和测试进度,并对测试进度进行保存,确保测试流程顺利进行;进一步地,实时监控单元,采用了一种远程测试保护策略,具体步骤为:
D0、设定网速阈值,确保该阈值是根据测试需求和网络环境合理确定的,并配置网络监测设备和记事本存储路径,确保能够实时监测和正确保存测试进度;
D1、利用网络监测设备实时监测测试服务点与远程连接点之间的网络速度,当网络速度低于网速阈值时,停止当前远程测试过程,并将测试进度保存至记事本中;进一步地,安全地终止远程测试服务,确保测试环境不会因突然中断而受损,并发送通知给测试人员,告知网络速度不足导致测试中断的情况;
D2、当网络速度高于或等于网速阈值时,根据记事本中记录的测试进度,自动恢复测试流程进度,直到测试结束;
D3、完成所有测试任务后,生成详细的测试报告,包括测试过程、结果以及任何异常情况,并清理测试环境,释放相关资源,为下一次测试做好准备;
D4、实时监控日志记录,并定期对日志进行分析,识别潜在的问题和改进点,优化远程测试保护策略。
漏洞扫描单元,用于扫描网络设备的潜在漏洞和威胁;入侵检测单元,用于模拟和检测潜在的入侵行为,评估设备的安全防护能力;进一步地,漏洞扫描的具体步骤:
E0、确定扫描的目标范围,包括IP地址、端口、协议,并配置扫描参数,如扫描深度、扫描速度、扫描策略,同时准备扫描报告模板,用于记录和分析扫描结果;
E1、利用漏洞扫描工具对目标网络设备进行扫描,实时记录扫描过程中的发现,包括漏洞详情、风险等级;
E2、对扫描结果进行详细分析,确定漏洞的类型、影响范围及修复建议,并生成扫描报告,将分析结果以直观的方式呈现给测试人员;
E3、实时监测漏洞的修复情况,并对修复后的设备进行再次扫描,验证漏洞是否已被成功修复。
设备兼容性测试单元,用于测试网络设备或系统的互操作性;环境兼容性测试单元,用于测试在不同网络环境下设备的稳定性和性能。进一步地,本实施例中网络设备包括但不限于路由器、交换机、防火墙、负载均衡器和无线网卡/适配器;
具体地,请参阅图2,协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块及其对应单元的工作流程具体为:
在在线测试阶段,第一,协议识别与适配模块调用协议检测单元自动检测待测网络设备的通信协议,并通过协议适配单元从离线测试用例策略库利用测试用例索引单元动态索引适配对应的测试用例;第二,自适应测试控制模块根据环境感知单元收集的网络环境和设备状态,利用测试流程调整单元实时调整从离线测试用例策略库索引适配的测试用例和策略,来实现实时更新测试流程;第三,数据收集与分析模块通过调用数据收集单元不断收集测试过程中的关键测试数据,并利用数据分析单元进行实时分析和处理,数据分析单元将分析得到的结果一方面反馈给测试流程调整单元进行流程调整,另一方面反馈给性能优化单元对存在问题的测试用例的参数进行实时优化调整,并将调整后的测试用例保存到离线测试用例策略库;当测试完成,结果展示与报告模块利用结果展示单元直观展示整个在线测试流程中测试的结果,并利用报告生成单元依据展示的测试结果生成详细的测试报告,实时向用户反馈多协议设备测试的性能;
在离线阶段,第四,测试用例管理模块通过调用测试用例创建单元创建新的测试用例并收集历史测试用例,并利用测试用例编辑单元对创建和收集的测试用例赋予管理员编辑功能;同时利用测试用例分类保存单元对创建和收集的测试用例按照可测试协议种类进行分类,并按分类结果保存在分布式数据库中,用于构建离线测试用例策略库;其中,可测试协议种类指的是在测试用例中所涉及的通信协议、数据格式、系统接口等可用于当前测试用例进行测试的元素类型;可测试协议种类包括但不限于HTTP协议、TCP/IP协议、数据库协议以及自定义协议;第五,利用仿真模拟模块中的环境仿真单元和设备仿真单元实时模拟在线测试阶段真实的网络条件和不同型号和功能的网络设备通信协议;第六,通过测试用例分类保存单元将离线测试用例策略库中保存的测试用例输入到仿真模拟模块构建的环境和设备中进行测试,并通过兼容性测试模块中的设备兼容性测试单元和环境兼容性测试单元对创建和收集的测试用例在模拟的网络条件和设备通信协议下进行实时测试分析,并获取创建和收集的测试用例中存在的问题;第七,人工智能辅助模块通过调用异常预测单元和性能优化单元根据测试用例中存在的问题,构建和训练异常预测和性能优化模型,对存在问题测试用例发生异常的类型和概率进行预测,同时利用性能优化模型对存在问题测试用例的参数进行优化调整,并将优化后的测试用例保存到对应的离线测试用例策略库中;
在远程测试阶段,第八,通过远程协作与监控模块调用远程协作单元实现团队成员远程沟通和上述第一到第七之间的测试管理过程,并利用实时监控单元对远程测试过程中的网络波动情况和测试进度进行实时监测,并对测试进度进行实时保存;第九,通过安全测试模块调用漏洞扫描单元和入侵检测单元对第一到第八测试过程中使用的网络协议、设备和系统进行实时漏洞扫描和入侵检测,确保整个测试过程实时处于安全状态。
该测试过程的有益效果体现在多个方面。首先,通过协议识别与适配模块,系统能够自动检测待测网络设备的通信协议,并动态索引适配对应的测试用例,从而提高了测试的准确性和效率。其次,自适应测试控制模块根据实时收集的网络环境和设备状态,实时调整测试流程和策略,使得测试更加贴近实际使用环境,进一步提升了测试的可靠性。数据收集与分析模块的引入,使得测试过程中的关键数据能够被实时收集和分析,为测试流程的持续优化提供了有力支撑。同时,通过结果展示与报告模块,用户可以直观地了解测试结果,便于对多协议设备的性能进行实时反馈。在离线阶段,测试用例管理模块实现了测试用例的创建、收集、编辑和分类保存,构建了一个丰富的离线测试用例策略库。仿真模拟模块则能够模拟真实的网络环境和设备条件,为测试用例的验证提供了可靠的平台。兼容性测试模块的引入,进一步确保了测试用例在不同环境和协议下的稳定性和兼容性。人工智能辅助模块的加入,使得系统具备了智能学习和自适应能力,能够根据测试用例中存在的问题,自动构建和优化异常预测和性能优化模型,从而实现对测试用例参数的实时优化调整。在远程测试阶段,远程协作与监控模块实现了团队成员的远程沟通和协作,使得测试过程更加灵活高效。同时,安全测试模块的实时漏洞扫描和入侵检测功能,确保了整个测试过程的安全性。
实施例2
请参阅图3,本发明提供的另一种实施例:一种多协议兼容的网络设备自适应测试方法,具体步骤包括:
S1、构建离线测试用例策略库,利用兼容性测试模块对策略库中的测试用例进行兼容性测试,并利用异常预测单元预测出测试用例的具体异常类型和概率,同时利用性能优化单元对出现异常的用例进行实时参数优化,并将优化后的测试用例保存到策略库中;该步骤的具体过程为:
S1.1 收集各类网络设备和通信协议的测试用例,包括历史测试数据和专家编写的标准用例;
S1.2 利用兼容性测试模块,在仿真模拟模块构建的网络环境和设备条件下,对策略库中的每个测试用例进行兼容性测试;
S1.3 对测试过程中出现的异常,异常预测单元基于历史数据和机器学习算法预测异常的具体类型和概率;
S1.4 根据预测结果,性能优化单元对存在异常的测试用例进行实时参数调整,优化测试用例以适应不同的网络环境和设备条件;
S1.5 将优化后的测试用例重新保存到离线测试用例策略库中,更新策略库中测试用例。
S2、通过协议检测单元在线识别新加入的设备通信协议,根据识别的协议类型,利用协议适配单元从构建的离线测试用例策略库索引对应适配的测试用例和策略,并通过对所选用的测试用例和策略的测试过程进行实时监测和分析对测试用例进行实时反馈和优化调整;该步骤的具体过程为:
S2.1 当新设备接入测试系统时,协议检测单元实时识别其通信协议类型;
S2.2 根据识别的协议类型,协议适配单元从离线测试用例策略库中索引适配的测试用例和策略;
S2.3 在测试过程中,数据收集与分析模块实时收集关键测试数据,并利用数据分析单元对测试过程进行实时分析;
S2.4 根据分析结果,若测试用例或策略存在问题,实时反馈给测试用例管理模块和性能优化单元,进行用例的调整或参数的优化;
S2.5 调整后的测试用例和策略再次应用于实际测试,形成闭环优化机制。
S3、当进行远程测试时,通过利用远程协作与监控模块对远程测试过程进行支持,并利用S1和S2过程中所述的单元进行实时测试,同时对远程连接网络和远程测试进度进行实时监测和保存;该步骤的具体过程为:
S3.1 当进行远程测试时,远程协作与监控模块为团队成员提供远程沟通平台,确保测试管理的顺利进行;
S3.2 利用S1和S2中描述的单元,对远程测试的网络设备进行实时测试,确保测试结果的准确性和可靠性;
S3.3 同时,实时监控单元对远程连接网络的状态和测试进度进行实时监测,确保测试过程不受网络波动的影响;
S3.4 测试进度和关键数据实时保存到系统中,以便后续分析和总结,同时进一步节省测试时间与成本。
S4、通过利用漏洞扫描单元和入侵检测单元对上述S1、S2和S3测试过程进行实时漏洞扫描和入侵检测,实现整个测试过程实时处于安全状态。该步骤的具体过程为:
S4.1 利用漏洞扫描单元,对整个测试过程中使用的网络协议、设备和系统进行实时漏洞扫描;
S4.2 入侵检测单元实时监测测试过程中的网络流量,检测并防御任何潜在的入侵行为;
S4.3 若发现安全漏洞或入侵行为,系统立即报警并采取相应的防护措施,确保整个测试过程始终处于安全状态。
实施例3
一种计算机可读存储介质,其上存储有计算机指令,当计算机指令运行时执行一种多协议兼容的网络设备自适应测试方法。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可以对上述实施例进行变化、修改、替换和变型,这些均属于本发明的保护之内。
Claims (10)
1.一种多协议兼容的网络设备自适应测试系统,其特征在于,包括:协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块;
所述协议识别与适配模块,用于自动检测待测网络设备的通信协议类型,并动态适配对应的测试用例和策略;所述自适应测试控制模块,用于根据网络环境和设备状态实时调整测试策略,确保测试的准确性和效率;所述数据收集与分析模块,用于在测试过程中收集关键测试数据,并进行实时分析和处理,以支持在线自适应测试策略的调整和离线测试用例策略库的更新;所述结果展示与报告模块,用于直观展示测试结果,并生成详细的测试报告,实时向用户反馈设备性能;所述测试用例管理模块,用于对测试用例进行智能创建、编辑、分类存储和索引,构建出离线测试用例策略库;所述仿真模拟模块,用于通过仿真技术模拟网络环境和设备状态,以验证和优化测试用例策略库中的测试用例和在线测试流程中保存的测试用例;所述人工智能辅助模块,用于利用人工智能技术构建和训练异常预测和性能优化模型,对在线测试过程中的测试用例和离线测试用例策略库中的测试用例进行智能化异常类型和概率预测以及性能的实时优化;所述远程协作与监控模块,用于支持远程协作和监控,实现团队成员远程沟通和测试过程管理;所述安全测试模块,用于进行网络设备和系统的安全测试,包括但不限于漏洞扫描和入侵检测,确保设备的安全性;所述兼容性测试模块,用于测试网络通信协议与系统或设备的兼容性,实现设备在不同环境和场景下的稳定运行。
2.如权利要求1所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述协议识别与适配模块包括协议检测单元和协议适配单元;所述自适应测试控制模块包括环境感知单元和测试流程调整单元;所述数据收集与分析模块包括数据收集单元和数据分析单元;所述结果展示与报告模块包括结果展示单元和报告生成单元;
所述协议检测单元,用于在线识别各类网络设备的通信协议类型;所述协议适配单元,用于根据协议检测结果,从离线测试用例策略库选择或利用自动生成工具生成对应的测试脚本和参数;所述环境感知单元,用于实时收集和分析各类网络环境和设备状态信息;所述测试流程调整单元,用于根据环境感知和设备状态信息动态调整测试策略和用例;所述数据收集单元,用于捕获测试过程中的各类关键数据;所述数据分析单元,用于对收集到的数据进行统计分析、比较和异常检测,并将获取的异常进行删除或保存在离线测试用例策略库;所述结果展示单元,用于将测试结果以图表或表格形式直观呈现;所述报告生成单元,用于根据分析结果自动生成详细的测试报告。
3.如权利要求2所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述测试用例管理模块包括测试用例创建单元、测试用例编辑单元、测试用例分类保存单元、测试用例索引单元;所述仿真模拟模块包括环境仿真单元和设备仿真单元;所述人工智能辅助模块包括异常预测单元和性能优化单元;所述远程协作与监控模块包括远程协作单元和实时监控单元;所述安全测试模块包括漏洞扫描单元和入侵检测单元;所述兼容性测试模块包括设备兼容性测试单元和环境兼容性测试单元;
所述测试用例创建单元,用于向测试人员提供完备的操作界面,支持用户创建新的测试用例和收集网络协议历史测试用例;所述测试用例编辑单元,用于实现管理员用户对已有的测试用例进行编辑和修改;所述测试用例分类保存单元,用于对用户创建或历史在线测试生成的测试用例根据适配的网络协议进行分类和分片保存,并基于此构建离线测试用例策略库;所述测试用例索引单元,用于提供自动化索引功能,使得系统能够从离线测试用例策略库中快速找到适配的测试用例;所述环境仿真单元,用于构建和配置仿真环境,模拟在线测试过程真实的网络条件;所述设备仿真单元,用于模拟不同型号和功能的网络设备,测试带有不同通信协议系统的兼容性和适应性;所述异常预测单元,用于利用机器学习算法分析离线测试用例策略库中保存的用户创建或历史在线测试生成的测试用例,预测对应测试用例可能发生的异常类型和概率;所述性能优化单元,用于根据测试结果和实时数据,通过智能算法对离线测试用例策略库保存的测试用例的参数进行实时调整;所述远程协作单元,用于提供远程协作工具,支持团队成员实时沟通和协作;所述实时监控单元,用于实时监控远程测试过程中的网络状态和测试进度,并对测试进度进行保存,确保测试流程顺利进行;所述漏洞扫描单元,用于扫描网络设备的潜在漏洞和威胁;所述入侵检测单元,用于模拟和检测潜在的入侵行为,评估设备的安全防护能力;所述设备兼容性测试单元,用于测试网络设备或系统的互操作性;所述环境兼容性测试单元,用于测试在不同网络环境下设备的稳定性和性能。
4.如权利要求3所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述协议识别与适配模块、自适应测试控制模块、数据收集与分析模块、结果展示与报告模块、测试用例管理模块、仿真模拟模块、人工智能辅助模块、远程协作与监控模块、安全测试模块、兼容性测试模块及其对应单元的工作流程具体为:
在在线测试阶段,第一,协议识别与适配模块调用协议检测单元自动检测待测网络设备的通信协议,并通过协议适配单元从离线测试用例策略库利用测试用例索引单元动态索引适配对应的测试用例;第二,自适应测试控制模块根据环境感知单元收集的网络环境和设备状态,利用测试流程调整单元实时调整从离线测试用例策略库索引适配的测试用例和策略,来实现实时更新测试流程;第三,数据收集与分析模块通过调用数据收集单元不断收集测试过程中的关键测试数据,并利用数据分析单元进行实时分析和处理,数据分析单元将分析得到的结果一方面反馈给测试流程调整单元进行流程调整,另一方面反馈给性能优化单元对存在问题的测试用例的参数进行实时优化调整,并将调整后的测试用例保存到离线测试用例策略库;当测试完成,结果展示与报告模块利用结果展示单元直观展示整个在线测试流程中测试的结果,并利用报告生成单元依据展示的测试结果生成详细的测试报告,实时向用户反馈多协议设备测试的性能;
在离线阶段,第四,测试用例管理模块通过调用测试用例创建单元创建新的测试用例并收集历史测试用例,并利用测试用例编辑单元对创建和收集的测试用例赋予管理员编辑功能;同时利用测试用例分类保存单元对创建和收集的测试用例按照可测试协议种类进行分类,并按分类结果保存在分布式数据库中,用于构建离线测试用例策略库;第五,利用仿真模拟模块中的环境仿真单元和设备仿真单元实时模拟在线测试阶段真实的网络条件和不同型号和功能的网络设备通信协议;第六,通过测试用例分类保存单元将离线测试用例策略库中保存的测试用例输入到仿真模拟模块构建的环境和设备中进行测试,并通过兼容性测试模块中的设备兼容性测试单元和环境兼容性测试单元对创建和收集的测试用例在模拟的网络条件和设备通信协议下进行实时测试分析,并获取创建和收集的测试用例中存在的问题;第七,人工智能辅助模块通过调用异常预测单元和性能优化单元根据测试用例中存在的问题,构建和训练异常预测和性能优化模型,对存在问题测试用例发生异常的类型和概率进行预测,同时利用性能优化模型对存在问题测试用例的参数进行优化调整,并将优化后的测试用例保存到对应的离线测试用例策略库中;
在远程测试阶段,第八,通过远程协作与监控模块调用远程协作单元实现团队成员远程沟通和上述第一到第七之间的测试管理过程,并利用实时监控单元对远程测试过程中的网络波动情况和测试进度进行实时监测,并对测试进度进行实时保存;第九,通过安全测试模块调用漏洞扫描单元和入侵检测单元对第一到第八测试过程中使用的网络协议、设备和系统进行实时漏洞扫描和入侵检测,确保整个测试过程实时处于安全状态。
5.如权利要求4所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述测试用例分类保存单元中构建离线测试用例策略库,采用了一种知识图谱策略,具体步骤为:
A1、收集在线测试阶段以及离线阶段对应的测试用例以及对应的测试流程文本数据,并对收集的测试用例文本分词预处理,获取测试用例输入文本序列,其中,/>表示第i个分割后的测试用例实词,n表示测试用例实词总个数;
A2、利用BiLSTM-CRF构建实词提取模型,并将获取的测试用例输入文本序列输入到构建的实词提取模型进行训练,并获取对应的测试关键词;
A3、利用获取的对应测试关键词构建不同测试用例实词之间的关系词组,并将获取的关系词组与对应测试用例输入文本序列组合,构建成对应的测试用例关系抽取文本序列;
A4、基于预训练的Bert模型构建关系抽取模型,将所述测试用例关系抽取文本序列输入到构建的关系抽取模型进行训练,并将训练的模型部署到测试用例分类保存单元进行测试用例中的实词关系抽取,获取实词1-实词2-关系类型词组;其中实词关系抽取的关系包括但不限于[测试用例,测试节点,适配度],[测试用例,测试步骤,包含],[测试用例1,测试用例2,优先级];
A5、将获取的所述实词1-实词2-关系类型词组及对应的测试用例输入文本序列输入到图数据库中构建得到离线测试用例知识图谱;
A6、利用PageRank算法计算离线测试用例知识图谱中每个测试用例节点的PageRank值,并根据计算的PageRank值对每个测试用例节点进行排序;同时异常预测单元对每个测试用例节点发生异常的概率进行预测,获取对应的异常概率值;
A7、将获取的每个测试用例节点的PageRank值与每个测试用例节点测试发生异常的概率相乘,获取每个测试用例的优先级;
A8、设置测试用例风险阈值,同时将获取的每个测试用例节点的PageRank值、每个测试用例节点发生异常的概率和每个测试用例的优先级输入到聚类算法中获取高风险测试用例、中风险测试用例、低风险测试用例;
A9、利用获取的高风险测试用例、中风险测试用例和低测试用例构建得到离线测试用例策略库。
6.如权利要求5所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述测试用例索引单元,采用了一种混合动态索引的策略,具体步骤包括:
B1、利用协议检测单元实时获取新的通信协议类型以及对应的网络条件和设备信息,并计算得到新的网络条件和设备信息与离线测试用例策略库中每个高风险测试用例节点的相关性值;
B2、利用Dijkstra算法计算出测试节点到所有高风险测试用例节点的最短路径值,并利用获取的每一个测试节点到测试用例节点最短路径值乘以对应测试节点与测试用例节点的相关性值,计算得到测试用例与测试节点的适配度值;
B3、根据所述优先级设置适配阈值,当满足测试用例与测试节点的适配度值大于适配阈值的测试用例为一条时,则选用当前测试用例;若满足测试用例与测试节点的适配度值大于适配阈值的测试用例大于一条,则对满足条件的测试用例按照优先级进行排序,并取优先级最高的作为测试用例;
B4、当离线测试用例策略库中每个高风险测试用例节点都不满足B3中条件时,则选择离线测试用例策略库中每个中风险测试用例节点,并重复B1-B3,选择适配测试用例,低风险测试用例节点同上B1-B3操作;
B5、当B1-B4过程都无法适配到测试用例时,将所述测试节点的通信协议类型以及对应的网络条件和设备信息输入到性能优化单元,对高、中和低风险测试用例中适配度值最大的测试用例进行参数优化调整,获取到适配测试用例。
7.如权利要求3所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述异常预测单元,采用了一种深度预测策略,具体步骤为:
C1、收集历史测试用例及其对应的测试节点、测试设备、网络条件和测试结果数据,并对数据进行预处理,同时对测试用例在测试时发生的异常进行标注;
C2、基于卷积神经网络构建异常预测模型,并利用C1中标注后的预处理数据对异常预测模型进行优化训练,将训练完成的异常预测模型部署到异常预测单元;
C3、当仿真模拟模块模拟出新的设备和网络条件时,利用异常预测单元预测出离线测试用例策略库中测试用例在当前设备和网络条件下发生异常的类型以及发生对应异常的概率。
8.如权利要求3所述的一种多协议兼容的网络设备自适应测试系统,其特征在于,所述实时监控单元,采用了一种远程测试保护策略,具体步骤为:
D0、根据测试需求和网络环境设定网速阈值,并配置网络监测设备和记事本存储路径,确保能够实时监测和正确保存测试进度;
D1、利用网络监测设备实时监测测试服务点与远程连接点之间的网络速度,当网络速度低于网速阈值时,停止当前远程测试过程,并将测试进度保存至记事本中;
D2、当网络速度高于或等于网速阈值时,根据记事本中记录的测试进度,自动恢复测试流程进度,直到测试结束。
9.一种多协议兼容的网络设备自适应测试方法,其基于权利要求1-8中任一项所述的一种多协议兼容的网络设备自适应测试系统实现,其特征在于,具体步骤包括:
S1、构建离线测试用例策略库,并利用兼容性测试模块对策略库中的测试用例进行兼容性测试,并利用异常预测单元预测出测试用例的具体异常类型和概率,同时利用性能优化单元对出现异常的用例进行实时参数优化,并将优化后的测试用例保存到策略库中;
S2、通过协议检测单元在线识别新加入的设备通信协议,根据识别的协议类型,利用协议适配单元从构建的所述离线测试用例策略库索引对应适配的测试用例和策略,并通过对所选用的测试用例和策略的测试过程进行实时监测和分析对测试用例进行实时反馈和优化调整;
S3、当进行远程测试时,通过利用远程协作与监控模块对远程测试过程进行支持,并利用S1和S2过程中使用的单元进行实时测试,同时对远程连接网络和远程测试进度进行实时监测和保存;
S4、通过利用漏洞扫描单元和入侵检测单元对上述S1、S2和S3测试过程进行实时漏洞扫描和入侵检测,实现整个测试过程实时处于安全状态。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,当计算机指令运行时执行权利要求9所述的一种多协议兼容的网络设备自适应测试方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410492461.9A CN118101532B (zh) | 2024-04-23 | 一种多协议兼容的网络设备自适应测试系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410492461.9A CN118101532B (zh) | 2024-04-23 | 一种多协议兼容的网络设备自适应测试系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118101532A true CN118101532A (zh) | 2024-05-28 |
CN118101532B CN118101532B (zh) | 2024-07-05 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030231741A1 (en) * | 2002-06-14 | 2003-12-18 | G3 Nova Technology, Inc. | Multi-protocol, multi-interface communications device testing system |
CN103139017A (zh) * | 2013-02-28 | 2013-06-05 | 上海斐讯数据通信技术有限公司 | 一种网络设备的测试系统及方法 |
CN113572651A (zh) * | 2021-09-27 | 2021-10-29 | 军事科学院系统工程研究院网络信息研究所 | 基于多协议设备管理架构的云平台资源管理方法和系统 |
CN116911804A (zh) * | 2023-08-11 | 2023-10-20 | 四川启睿克科技有限公司 | 一种基于设备自适应的流程设计测试方法 |
CN117713952A (zh) * | 2023-11-07 | 2024-03-15 | 联通在线信息科技有限公司 | 多协议多实现方式的泛智能设备的测试方法及装置 |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030231741A1 (en) * | 2002-06-14 | 2003-12-18 | G3 Nova Technology, Inc. | Multi-protocol, multi-interface communications device testing system |
CN103139017A (zh) * | 2013-02-28 | 2013-06-05 | 上海斐讯数据通信技术有限公司 | 一种网络设备的测试系统及方法 |
CN113572651A (zh) * | 2021-09-27 | 2021-10-29 | 军事科学院系统工程研究院网络信息研究所 | 基于多协议设备管理架构的云平台资源管理方法和系统 |
CN116911804A (zh) * | 2023-08-11 | 2023-10-20 | 四川启睿克科技有限公司 | 一种基于设备自适应的流程设计测试方法 |
CN117713952A (zh) * | 2023-11-07 | 2024-03-15 | 联通在线信息科技有限公司 | 多协议多实现方式的泛智能设备的测试方法及装置 |
Non-Patent Citations (1)
Title |
---|
王俊;蒋厚明;王海涛;顾学海;: "一种跨平台的移动自动化测试系统的设计与实现", 自动化技术与应用, no. 10, 25 October 2017 (2017-10-25) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102483025B1 (ko) | 운영 유지 시스템 및 방법 | |
CN111209131B (zh) | 一种基于机器学习确定异构系统的故障的方法和系统 | |
US20140025994A1 (en) | System and method for grammar based test planning | |
CN112579789A (zh) | 一种设备故障诊断的方法和装置及设备 | |
CN114022005A (zh) | 一种基于bim技术的工程造价管理系统及方法 | |
CN110968873A (zh) | 一种基于人工智能的自动化渗透测试的系统和方法 | |
CN110245077A (zh) | 一种程序异常的响应方法及设备 | |
CN115952081A (zh) | 一种软件测试方法、装置、存储介质及设备 | |
CN117055502A (zh) | 基于物联网和大数据分析的智能控制系统 | |
CN115719283A (zh) | 一种智能化会计管理系统 | |
CN107612726A (zh) | 遥感卫星地面接收系统的接收故障综合诊断方法及装置 | |
CN118101532B (zh) | 一种多协议兼容的网络设备自适应测试系统及方法 | |
CN117520184A (zh) | 一种计算机软件开发用测试系统 | |
CN109889258B (zh) | 一种光网络故障校验方法和设备 | |
CN118101532A (zh) | 一种多协议兼容的网络设备自适应测试系统及方法 | |
WO2013034448A1 (en) | Method and system for optimizing and streamlining troubleshooting | |
CN113656323B (zh) | 一种自动化测试、定位及修复故障的方法及存储介质 | |
CN109885978A (zh) | 一种遥感地面站故障诊断系统及方法 | |
CN115473740A (zh) | 一种基于异构流程的异常检测方法与系统 | |
CN114185807A (zh) | 测试数据管理方法、装置、计算机设备及存储介质 | |
CN114066181A (zh) | 一种热工设备智能状态评估系统 | |
CN112612702A (zh) | 一种基于web的自动测试方法及装置 | |
CN111694752A (zh) | 应用测试方法、电子设备及存储介质 | |
CN111158352A (zh) | 一种铁路系统的自动测试系统及方法 | |
CN113570333B (zh) | 一种适用于集成的流程设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |