CN109388530B - 一种面向刀片式服务器的自动化测试平台以及测试方法 - Google Patents

一种面向刀片式服务器的自动化测试平台以及测试方法 Download PDF

Info

Publication number
CN109388530B
CN109388530B CN201810963311.6A CN201810963311A CN109388530B CN 109388530 B CN109388530 B CN 109388530B CN 201810963311 A CN201810963311 A CN 201810963311A CN 109388530 B CN109388530 B CN 109388530B
Authority
CN
China
Prior art keywords
test
testing
data
hardware
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810963311.6A
Other languages
English (en)
Other versions
CN109388530A (zh
Inventor
张庆松
顾燕飞
杜帆
周言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 32 Research Institute
Original Assignee
CETC 32 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 32 Research Institute filed Critical CETC 32 Research Institute
Priority to CN201810963311.6A priority Critical patent/CN109388530B/zh
Publication of CN109388530A publication Critical patent/CN109388530A/zh
Application granted granted Critical
Publication of CN109388530B publication Critical patent/CN109388530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2247Verification or detection of system hardware configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种面向刀片式服务器的自动化测试平台以及测试方法,测试平台包括多种类型测试设备、监控计算机、控制器、客户端以及被测计算机产品,各器件通过局域网连接;被测计算机产品的相应被测模块分别与对应的多种类型测试设备相应的接口相连接;控制器控制所有被测计算机产品的测试过程,并执行用户编辑的测试流程指令,指令通过网络到达监控计算机,经解析控制相应的测试设备,执行对应的测试项目,同时指令信息记录到数据库中,测试设备反馈的测试数据经过网络转发到监控计算机上,通过加载不同的解析文件对监视源码进行解析,并存储测试数据;客户端供用户登录查询相应的工作状态及测试信息状态,按需要对数据进行查询、回访、分析。

Description

一种面向刀片式服务器的自动化测试平台以及测试方法
技术领域
本发明涉及网络通信领域,具体地涉及一种面向刀片式服务器的自动化测试平台以及测试方法。
背景技术
对于平台测试,自动化测试已成为系统测试发展的主流。如今各家互联网、设备商公司都组建了专门的自动化测试团队开发适合自己企业的自动化测试平台,以便高效的进行产品自动化测试。
国外自动化测试起步较早,目前已非常成熟,公司均已实现完备的自动化测试流程,并对自动化测试程度进行了标准划分,一般分为以下5个自动化测试级别:基于实用工具的测试;基于模块化框架的测试;基于测试库框架的测试;基于数据库驱动框架的测试;基于关键字驱动框架的测试。
国内大部分IT企业,目前还处于获取资本的原始积累阶段,企业对测试的认识和重视程度不够,虽然国内一些大型IT企业已经将自动化测试融入到日常的测试工作中,但从国内大环境来看,自动化测试在国内还处于完善和提高阶段。
为了有效解决目前回归测试测试效率低以及手工测试操作复杂的问题,现有技术中有一种基于关键字驱动的自动化测试方法,在遵从保障产品质量和提高测试效率的原则基础上,对系统进行自动化测试的可行性分析,再进行自动化测试工具的选择、制作DEMO和自动化测试框架开发,实现了以关键字驱动为核心,Ruby为开发语言的自动化测试框架,试验结果表明,该方法提高了回归测试效率和测试系统的可移植性。然而,该现有技术只能对WEB系统进行录制和回放功能的回归测试,并且只是对待测系统进行模拟用户行为的系统测试。
对于刀片式服务器或通用计算机,如果采用手工测试,一般是人工单独对每台计算机安装操作系统,再用相应的测试工具测试计算机性能,在外设接口测试上采用外设设备接入的方式验证接口是否正常(例如,验证VGA接口时,接入显示器,看显示器是否正常显示),这种测试方式不仅效率低,而且准确度不高,更容易引进人工测试错误。
当前的计算机产品型号在功能、性能和接口上有所增减,但主要部分的结构和组成是一致的,产品的测试流程和框架是基本不变的,因此本发明可以借助分布式自动化测试平台来解决以上问题。
发明内容
针对上述现有技术中的缺陷,本发明提供了一种面向刀片式服务器的自动化测试平台以及测试方法,本发明要解决的技术问题体现在以下几点:1)分布式自动化测试平台覆盖验收测试和指标监控、检测计算性能、监视产品健康数据;2)对计算机常用硬件接口(VGA,USB,COM等)测试;3)对交换设备的功能、性能的测试,实现快速配置、执行和上报测试的功能;4)加快测试速度,节约时间;5)减少其他测试分析仪使用以及人员操作的失误,减少测试错误,提高测试效率;6)该系统具有可配置性和可扩展性,使得该系统能够应用与后续同类产品的自动化测试。
本发明可以对计算机设备及交换设备通信接口的功性能进行主动测试和实时监控,以及基于RFC等协议的协议一致性测试,并可以对计算机的主要外设进行功能和性能的测试;此外,本发明还可以将各种测试仪表通过测试平台进行系统级的管理,并进行远程配置化调用,从而对待测设备进行注入式测试,通过测试仪表模拟真实的网络应用场景,测试得出的测试数据更加可信真实,更加为业界信赖。
本发明是根据以下技术方案实现的:
一种面向刀片式服务器的自动化测试平台,其特征在于,包括多种类型测试设备、监控计算机、控制器、客户端以及被测计算机产品,各器件通过局域网连接;其中,所述被测计算机产品的相应被测模块分别与对应的多种类型测试设备相应的接口相连接;所述控制器控制所述被测计算机产品的测试过程,并执行用户编辑的测试流程指令,指令通过网络到达监控计算机,经解析控制相应的测试设备,执行对应的测试项目,同时指令信息记录到数据库中,多种类型测试设备反馈的测试数据经过网络转发到监控计算机上,通过加载不同的解析文件对监视源码进行解析,并存储测试数据;所述客户端供用户登录查询相应的工作状态及测试信息状态,按需要对数据进行查询、回访、分析,其中,多种类型测试设备包括:
故障注入测试模块,用于实现物理层、电气层以及协议层的故障注入,模拟实际工作环境中的随机和突发故障现象;
交换机测试模块,进行网络通信功能及性能的测试;
外设接口测试模块,针对计算机对外的IO接口测试,用于检测外部系统与计算机之间以及各个子系统之间的交互点,实现检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系;
监控管理模块,实时监控所有板卡的接口、CPU、内存、硬盘、显卡、网卡、操作系统及板卡运行状态,并进行故障告警,以及并行操作系统安装;
自动测试控制系统模块,对被测目标进行自动测试,进行数据处理,并以适当方式显示或输出测试结果。
上述技术方案中,交换机测试模块包括以太网交换测试设备和RapidIO交换测试设备,所述以太网交换测试设备对以太网通信终端进行网络通信功能及性能的测试,以太网协议的分析功能对以太网交换机和交换模块进行测试;
所述RapidIO交换测试设备包括测试计算机及RapidIO信号模块,测试计算机为可扩展式测试设备,RapidIO信号模块通过通信接口与被测交换机及交换模块相连进行测试,以实现测试要求,按照需求增加或减少RapidIO信号模块。
上述技术方案中,所述控制器采用控制流和数据流分开的方式进行测试流程通信,其中,控制流是用于控制底层设备的硬件配置指令及系统各类测试控制指令流,通过硬件配置或硬件参数以及测试指令或测试脚本两大类形式控制整个系统的执行流程;
所述控制器分为硬件资源管理模块和测试流程管理模块,其中,硬件配置及硬件参数通过配置加载工具加载到硬件资源管理模块中,经过协议转换后将数据下发至硬件服务代理中,硬件服务代理包含底层硬件资源的抽象转换及相关特殊仪器的协议转换,通过TCP/IP协议接口转发,建立与底层硬件的通信;
数据流则是底层设备通信的数据处理过程,硬件服务代理在进行指令传输的同时将控制流里的数据参数提取出来存入数据库中,各测试模块返回的测试数据也存入数据流传输通过数据库中,实现数据的共享传输,各测试模块分别从数据库获取数据,实现监视、存储、处理。
本发明的一种面向刀片式服务器的自动化测试方法,是根据上述任一项权利要求所述的自动化测试平台实现的,其特征在于,包括如下步骤:
步骤S1:在测试前根据测试需求信息,开发人员创建一个新的测试项目,添加测试通道和协议,生成设备规划文件并通过测试需求创建测试用例;
步骤S2:在测试过程中测试人员打开监视软件监控系统状态,选择对应测试用例,加载测试流程文件,向测试设备发送请求,建立连接;
步骤S3:控制器向测试设备发送指令进行测试,测试设备收到指令后进行测试并将测试数据返回,存入数据库;测试完成后根据不同ID查询对应的测试数据,对数据进行回放分析,报表生成。
上述技术方案中,控制器终端通过硬件资源管理模块和测试流程管理模块对将底层硬件资源到上层测试逻辑按照系统化、层次化的方式管理,从硬件接口层、硬件配置层到测试策略层三个层次实现系统平台测试的通用化。
上述技术方案中,所述硬件接口层使用CSV文件进行组织,用户根据不同的型号的单机的硬件信号需要对硬件的信号的通道名称、参数、管脚映射进行配置,以使得测试管脚功能的复用满足不同型号对信号的需求特性。
上述技术方案中,硬件配置层检查软件为用户提供新建测试配置文件,用户通过界面配置测试,监测信号的名称通道,结果上下限,故障诊断信息和硬件通道映射路径。
上述技术方案中,测试策略层针对不通道测试需求,利用指令集和脚本文件的方式规划测试流程,并进行数据处理方式及信号采集频率的设定。
与现有技术相比,本发明具有如下的有益效果:
本发明实现对产品的机箱间互连、交换机、机箱内各模块、以及计算机模块内部的计算资源进行测试,同时可对外设接口进行协议一致性验证,可以覆盖产品系统级和模块级的自动出厂验收测试和指标监控;可快速对以太网和RapidIO网络进行功能、性能和容错性测试等协议一致性测试,从而保证各系统及模块之间的互联互通和功性能指标,另外,分布式自动化测试平台可对计算机模块进行实时的监控和管理;使用该平台可以快速获得执行流程控制、报表生成、数据库存储等功能,实现了对测试资源、测试程序、测试数据以及测试计划的无缝集成和统一部署。
本发明覆盖验收测试和指标监控、检测计算性能、监视产品健康数据,以及对计算机常用硬件接口测试,以及对交换设备的功能、性能的测试,实现快速配置、执行和上报测试的功能,加快测试速度,节约时间。以此来减少其他测试分析仪使用以及人员操作的失误,提高测试效率,减少测试错误,提高产品可靠性。同时该系统具有可配置性和可扩展性,使得该系统能够应用与后续同类产品的自动化测试。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为分布式自动化测试平台拓扑图;
图2为分布式自动化测试平台模块结构示意图;
图3为故障注入测试拓扑图;
图4为故障策略配置图;
图5为以太网通信测试拓扑图;
图6为RapidIO交换测拓扑图;
图7为系统架构设计图;
图8为测试工作流程图;
图9为三层层次图;
图10为RapidIO故障注入测试连接图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为分布式自动化测试平台拓扑图;如图1所示,一种面向刀片式服务器的自动化测试平台,包括多种类型测试设备、监控计算机、控制器、客户端以及被测计算机产品,各器件通过局域网连接;其中,所述被测计算机产品的相应被测模块分别与对应的测试设备相应的接口相连接;如被测RapidIO交换机的接口与交换机测试设备相连;被测交换机则与系统中的交换机相连,再连接到交换机测试设备上;所述控制器控制所述被测计算机产品的测试过程,并执行用户编辑的测试流程指令,指令通过网络到达监控计算机,经解析控制相应的测试设备,执行对应的测试项目,同时指令信息记录到数据库中,测试设备反馈的测试数据经过网络转发到监控计算机上,通过加载不同的解析文件对监视源码进行解析,并存储测试数据;所述客户端供用户登录查询相应的工作状态及测试信息状态,按需要对数据进行查询、回访、分析。
分布式自动化测试平台主要模块结构如下图2所示。图3故障注入测试拓扑图,如图3所示,由于装备的多样性,每种装备根据功能不同需要采用不同的接口设计,故障注入系统针对特定设备提供不同的接口支持,包括1553B、FC、CAN、RS232、RS422、RS485、I2C、TTL信号等协议/电气规范的检测和故障注入,此外还包括电源的检测和故障注入,针对装备的系统级平台特点,装备与装备之间通过专用线缆连接,传输方式通过电气信号进行,通讯协议采用专用的ICD文件约束。为了对装备系统级平台进行全面的检测,IceBlade故障注入系统实际应用环境,按照用户定义,从多个层次以并行/串行的方式实现单一或者组合故障注入,可以实现物理层、电气层以及协议层的故障注入,能模拟实际工作环境中的几乎所有随机和突发故障现象,从而保证在最短时间内验证被测系统的测试性设计性能,大大缩短系统的研发、测试和产品化时间。
图4为故障策略配置图,如图4所示,故障注入策略支持多故障组合策略,支持PCIE、I2C、CAN、UART、GPIO、GPIO、JTAG等多种接口。
故障注入系统能在确定的时刻模拟产生确定的故障现象,也可以回放故障数据序列,为排除系统的特定错误提供了一条稳定的故障复现途径。
本发明的多种类型测试设备包括:
故障注入测试模块,用于实现物理层、电气层以及协议层的故障注入,模拟实际工作环境中的随机/突发故障现象;
交换机测试模块,进行网络通信功能及性能的测试;
外设接口测试模块,针对计算机对外的IO接口测试,用于检测外部系统与计算机之间以及各个子系统之间的交互点,实现检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系;
监控管理模块,实时监控所有板卡的接口、CPU、内存、硬盘、显卡、网卡、操作系统及板卡运行状态,并进行故障告警,以及并行操作系统安装;
自动测试控制系统模块,对被测目标进行自动测试,进行数据处理,并以适当方式显示或输出测试结果。
交换机测试模块包括以太网交换测试设备和RapidIO交换测试设备,所述以太网交换测试设备对以太网通信终端进行网络通信功能及性能的测试,以太网协议的分析功能对以太网交换机和交换模块进行测试;主要功能如下:实现以太网协议性能测试;实现吞吐量测试;实现数据存储;实现协议解析;实现解析数据实时显示,以太网通信测试拓扑图如图5所示。
RapidIO交换测试设备包括测试计算机及RapidIO信号模块,测试计算机为可扩展式测试设备,RapidIO信号模块通过通信接口与被测交换机及交换模块相连进行测试,以实现各测试要求,按照需求增加或减少RapidIO信号模块。
如图7所示,本发明采用SOA的分布式测试系统架构构建,其中,本发明的面向刀片式服务器的自动化测试架构,控制器采用控制流和数据流分开的方式进行测试流程通信,且控制指令与底层设备的通信均采用“三次握手”,充分保证通信的可靠性传输,避免无效传输。
其中,控制流是用于控制底层设备的硬件配置指令及系统各类测试控制指令流,通过硬件配置/硬件参数和测试指令/测试脚本两大类形式控制整个系统的执行流程,
控制器分为硬件资源管理模块和测试流程管理模块,其中,硬件配置及硬件参数通过配置加载工具加载到硬件资源管理模块中,经过协议转换后将数据下发至硬件资源服务代理中,硬件服务代理包含底层硬件资源的抽象转换及相关特殊仪器的协议转换,通过TCP/IP协议接口转发,建立与底层硬件的通信;
数据流则是底层设备通信的数据处理过程,硬件配置服务代理在进行指令传输的同时将控制流里的数据参数提取出来存入数据库中,各硬件模块返回的测试数据也存入数据流传输通过数据库中,实现数据的共享传输,监视器、数据存储等各类模块分别从数据库获取数据,实现监视、存储、处理。整个测试流程设计包含多种类型的数据通信及数据处理,该平台采用多线程模式进行各模块的功能实现,从而控制系统的全流程系统测试。
基于SOA的分布式测试系统的构建方式。面向服务的体系结构是一个组件模型,它将应用程序的不同功能单元通过这些服务之间定义良好的接口和契约联系起来。接口采用中立的方式进行定义,它独立于实现服务的硬件平台、操作系统和编程语言。这样使得构建的各种各样的系统中的服务可以使用一种统一和通用的方式进行交互。
可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层是SOA的基础,可以直接被应用调用,从而有效降低控制系统中与软件代理交换的人为依赖性。
采用这种架构的分布式测试架构,服务成为基本的功能提供单元,无论是与业务流程无关的基础功能,如数据采集,参数设置,激励模拟。还是具体的业务逻辑功能,均实现在相应的服务之中。服务对外提供统一的接口,服务之间采用标准的通信方式进行交互,各个单一的服务又能有效的组合,编排成为一个有机的整体。这种具有中立的服务接口定义特点,当组成的应用程序的服务的内部结构或是硬件实现发生了改变,它依然能够继续存在。服务之间采用标准的通信方式,一层对于服务使用者上层应用可以无差异的使用本地资源和远程资源。
控制器终端主要由硬件资源管理、测试流程规划及硬件服务代理三个模块组成。
硬件资源管理模块采用XML文件对前端的各类仪器配置参数进行统一描述,屏蔽前端硬件差异,即上层测试应用可以在不了解底层硬件信息时实现测试策略规划。
测试流程规划模块包括测试指令文件、指令加载、参数解析、脚本执行等。
硬件服务代理模块功能实现统一仪器配置到各类仪器的通信转换。
控制器可以实现计算机性能的测试。
监视器终端主要由数据解析模块和数据终端两部分组成,其主要功能是通过对数据共享服务器中交互数据进行监视,并按照自定义的解析文件,对数据进行解析。解析好的数据再传输给数据共享服务器,并由数据存储终端进行存储。
数据存储终端是该系统平台的存储模块,对数据共享服务器中的各类数据进行存储,该系统平台设计大容量数据的存储,因此,数据存储终端在数据存储技术上运用当前流行的“大数据存储”技术。
前端数据通信端是系统平台与底层硬件直接进行数据交换的接口通信模块,该模块按照硬件服务代理模块分类的底层硬件类型分别开发驱动接口,负责与网络测试设备的通信传输。
图8为测试工作流程图,如图8所示,系统由三个对象组成,分别是开发人员,测试人员和测试服务。本发明的一种面向刀片式服务器的自动化测试方法,包括如下步骤:
步骤S1:在测试前根据测试需求信息,开发人员创建一个新的测试项目,添加测试通道和协议,生成设备规划文件并通过测试需求创建测试用例;
步骤S2:在测试过程中测试人员打开监视软件监控系统状态,选择对应测试用例,加载测试流程文件,向测试设备发送请求,建立连接;
步骤S3:控制器向测试设备发送指令进行测试,测试设备收到指令后进行测试并将测试数据返回,存入数据库;测试完成后根据不同ID查询对应的测试数据,对数据进行回放分析,报表生成。
控制器终端是整个系统平台的控制源,通过硬件管理模块和测试流程规划模块对将底层硬件资源到上层测试逻辑按照系统化、层次化的方式管理,从硬件接口层、硬件配置层到测试策略层三个层次实现该系统平台测试的通用化。
硬件接口层使用CSV文件进行组织,用户根据不同的型号的单机的硬件信号需要对硬件的信号的通道名称、参数、管脚映射进行配置,以使得测试管脚功能的复用满足不同型号对信号的需求特性。
硬件配置层检查软件为用户提供新建测试配置文件,用户通过界面配置测试,监测信号的名称通道,结果上下限,故障诊断信息和硬件通道映射路径。
测试策略层针对不通道测试需求,利用指令集和脚本文件的方式规划测试流程,并进行数据处理方式及信号采集频率的设定。三层控制器终端中具体体现如下:硬件资源管理模块:硬件接口层+硬件配置层;测试流程规划模块:测试策略层。
实施举例1:
RapidIO接口测试设备,RapidIO接口测试设备可作为被动监测和主动仿真调试设备,通过全双工链路通信模式,支持3.125G通信速率。设备可实时抓取通信链路上的通信数据,进行协议分析,可进行实时的数据观察,并且可产生仿真数据,进行接口的仿真测试。
光纤线缆将RapidIO信号从被测设备捕获到,送入RapidIO接口测试设备主机,在主机中进行处理后主机将数据送给测试软件进行分析、显示及处理。测试软件生成激励仿真数据传输给RapidIO接口测试设备主机,数据由光纤线缆传输给被测设备,进行测试。
RapidIO接口测试设备的激励发送功能,能在接口测试时,由RapidIO接口测试设备作为总线操作的发起方,而不需要被测设备提供数据发送模块,适合测试具有接收功能的被测总线设备。
其性能指标如下:支持RapidIO仿真测试;支持4端口全双工测试,单端口支持通信速率为3.125G;紧密集成和易于安装;100%数据抓取;分析多达4个全双工端口;支持分析、过滤及触发功能;支持仿真数据收发功能;可标记、搜索、存储抓取的数据;
测试方法支持实时过滤和触发功能,捕获到的数据可以通过软件进行查看。所有的包类型和包域也可以分析到。触发功能可用于快速设置不同的RapidIO包类型,串行RapidIO控制信号,以及相关的域。
对于捕获到的数据,可以有多种触发方法,应用时需根据实际情况使用最方便的方法。触发器的目的是快速设置并让使用者捕获和查看数据。测试平台支持数据激励发送及数据接收功能,并可以对激励数据进行编辑。测试平台可对采集到的数据进行观察和分析。
实施举例2:
RapidIO故障注入设备:RapidIO故障注入设备以串联的方式插入到RapidIO正常通讯链路中,对链路中得RapidIO信号进行存储转发。实现物理层、传输层和逻辑层故障注入。在不注入故障时,测试仪应不影响正常通讯。
RapidIO故障注入测试仪以串联的方式插入到RapidIO正常通讯链路中,设备某一光口通过SFP线缆连接设备A,另一光口通过SFP线缆连接设备B。
测试连接图如图10所示。RapidIO故障注入分为物理层、传输层、逻辑层3个部分:
物理层:物理层故障注入包括以下几点:AckID的故障注入、Reserved故障注入、CRF故障注入、Priority故障注入、系统控制符号(物理层-stype0,3b、物理层-parameter0,5b、物理层-parameter1,5b、物理层-stype1,3b、物理层-cmd,3b)、CRC校验故障注入。
传输层:传输层故障注入包括以下几点:TT(目的ID与源ID字段位宽)故障注入、源ID替换、目的ID替换。
逻辑层:逻辑层故障注入包括以下几点:FType(事务的格式类型)、TType(事务类型)、rd/wrSize(读/写数据长度)、srcTID(源事务ID,用来唯一标示发给接收者的事务)、TargetTID(目标事务ID)、Status、Msglen(消息长度)、Ssize(数据包大小)、Letter、Mbox、Msgseg(消息段)、InfoMsb、InfoLsb、Hopcount、Xon_Xoff(流控开启/关闭,为特定低优先级事务请求流发起请求)、FlowID(事务请求流)、Soc(拥塞源)。
设备软件具备报文采集、控制报文的故障注入、通信报文的故障注入功能。
实施举例3:
以太网交换机测试设备:为Layer 3路由协议仿真和Layer 4-7基于状态的流量测试提供更高的控制层性能和可扩展性,可针对以太网交换机及以太网通信终端进行网络通信功能及新能的测试,支持对以太网交换机。支持广泛的企业组合、数据中心以太网、存储区域网络、都市边缘和核心网络测试解决方案,包括Layer 2-3设备的性能、可扩展性与合规性测试。可以同时测试数据层与控制层的测试。
以太网交换机测试设备由以下各模块组成:测试机箱;压力测试模块;测试平台。其中,测试机箱:机箱支持用于管理所有系统资源和测试资源的集成测试控制器。资源所有权可被下发至端口级,与热插拔接口模块相结合,提供了执行2-7层广泛的数据、信令、音频、视频和应用程序测试所需的网络接口和分布式处理资源,可确保高度灵活的多用户测试环境。
压力测试模块:压力测试模块的架构性突破提供了Layer 2‐7 10Gb以太网IP测试解决方案。模块支持项目预算有限的低端口数量Layer 2/3应用,还支持最高密度测试实验室、质量保证和系统测试应用。负载模块特别适合高密度汇集数据中心基础设施测试和高密度10Gb以太网交换机测试台。
测试平台:允许用户灵活定制应用程序,以满足各种测试要求—测试由数以千计的网络设备组成的复杂网络拓扑结构。数以百万计的路由器和可到达主机可在拓扑结构内得到仿真。应用软件也允许用户定制数以百万计的流量流,以便对数据层性能进行压力测试。可使用功能强大的向导和图形用户界面中的网格控件创建复杂的配置。使用其增强型的实时分析和统计数据,应用软件可以报告全面的协议状态和详细的、每个数据流流量的性能指标。测试平台提供了一个直观和易于使用的用户界面,端口,快速测试,协议仿真,流量生成在一个界面中。
测试平台提供端口和协议状态拓扑图,不仅给用户一个整体的协议模拟状态,而且可以细化到任何一个物理的或者虚拟的端口。
网络中的协议有很多种,用户很难全部精通并测试,为用户提供向导模板,根据向导和图形化的示意图,用户可以方便的配置测试,极大的提高工作效率。
测试平台用统一的界面提供了协议和流量的统计呈现。当新的协议引入时,用户无需重新学习。测试软件同时提供了包括表格和图形在内的多种呈现方式,每次结果也可自动保存为csv文件,方便用户自定义的处理。
测试平台包含结果报表功能,可以一键生成pdf报告,也有多种模板供用户选择。
实施举例4:
RapidIO交换机测试设备:主要提供RapidIO网络通信终端及RapidIO交换机的通信及压力测试环境。设备提供强大的RapidIO流量发送和统计功能,强大的RapidIO协议仿真能力,可实现真实的业务仿真能力,支持RapidIO仿真测试,验证RapidIO交换机转发存储业务能力。
RapidIO交换机测试设备主要由以下各模块组成:主控机箱;RapidIO负载模块;测试平台,其中,主控机箱:机箱支持用于管理所有系统资源和测试资源的集成测试控制器。资源所有权可被下发至端口级,与热插拔接口模块相结合,提供了执行物理层、逻辑层、传输层功能的RapidIO接口和分布式处理资源,可确保高度灵活的多用户测试环境。其具有具备8个槽位;高速背板支持大规模应用测试的高带宽要求,同时实现了负载模块上的资源聚合;模块组件易于维护;处理器模块是独立的、可现场更换的模块,运行Windows 7操作系统,用于负载模块、端口配置和统计的管理与控制;风扇、电源模块是独立的、可现场更换的模块。
RapidIO负载模块:RapidIO负载模块模块支持项目预算有限的低端口数量物理层、逻辑层、传输层应用,还支持最高密度测试实验室、质量保证和系统测试应用。负载模块特别适合高密度汇集数据中心基础设施测试和高密度3.125G RapidIO交换机测试台。其性能指标如下:提供2个RapidIO接口,单口支持3.125G传输速率;SFP+接口;支持实时的数据观察及抓取;支持实时数据分析及触发功能;支持流量生成和分析;支持抓包和包分析。
测试平台:使用RapidIO交换机压力测试软件可实现对交换机的压力仿真测试,设备的每个RapidIO端口可以连接测试1个交换机的端口,这些端口可以用于收发流量,同时支持吞吐量,时延,丢包等多种指标的统计功能。
测试平台可以实时的观察接收到的交换机转发的数据,可将数据包按协议格式进行分解,方便用户观察数据并定位问题。
测试平台可以方便的生成激励数据,方便对交换机接口进行大数据量的压力测试。
测试平台可以在大量的测试数据之中快速的对有问题的数据进行定位并进行查找,并且可对感兴趣的数据进行过滤。
实施举例5:
模块级测试设备:其中选用COM接口测试模块。
COM接口测试模块为用户提供经济、高速、串行通信设备测试提供解决方案,用于连接测试各种类型的串行设备,设备同时支持对串口的故障注入功能,可实现对被测目标接口的逆向测试。设备由两个部分组成:串口测试模块;串口故障注入模块。1.串口测试模块:串口测试模块它4个RS-232串口中的每个端口数据速率都可达921.6Kbps,涵盖目前行业内应用的通信速率。可产生激励数据并可进行数据采集。其性能指标如下:串口数量:4;串口标准:RS-232;最大板载数:4;线性保护;ESD保护:板载25KV(仅C104HS);速率:50bps~921.6Kbps;数据位:5,6,7,8;停止位:1,1.5,2;校验位:None,Even,Odd,Space,Mark;I/O地址:0x0000-0xFFFF(默认值=0x180);IRQ:2(9),3,4,5,7,10(默认值),11,12,15;RS-232:TxD,RxD,RTS,CTS,DTR,DSR,DCD,GND。
串口故障注入模块:RS‐232故障注入测试仪,可以对RS‐232总线进行物理层、电气层以及协议层故障注入,支持4个通道。
故障注入设备以串行的方式接入到正常通讯的传输线路中,从物理线路上提取通讯数据,并根据用户定制的策略实时注入各种故障。故障注入设备与被测系统的软件及硬件的构成方案无关,不需要被测系统配合提供任何形式的测试接口或者故障注入接口。在完全不被感知的情况下,故障注入设备实现对被测系统的检测和故障注入功能。从断路/短路、阻抗变化、线路噪音,到频率抖动,到协议层数据被更改或者替换,被测系统无需设计也无法预知这些错误情况的发生。
设备技术指标如表1所示:
表1
Figure BDA0001774335840000131
Figure BDA0001774335840000141
本发明的自动化测试平台结合多种测试方法,其中包括采用故障注入方法实现物理层、电气层以及协议层的模拟测试;通过网络分析仪表对Ethernet/RapidIO/FC等网络的协议一致性测试;通过并行同步向多块板卡植入自动化测试工具进行并行自动化测试;以及对各板卡的设备状态进行实时监控管理等。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种面向刀片式服务器的自动化测试平台,其特征在于,包括多种类型测试设备、监控计算机、控制器、客户端以及被测计算机产品,各器件通过局域网连接;其中,所述被测计算机产品的相应被测模块分别与对应的多种类型测试设备相应的接口相连接;所述控制器控制所述被测计算机产品的测试过程,并执行用户编辑的测试流程指令,指令通过网络到达监控计算机,经解析控制相应的测试设备,执行对应的测试项目,同时指令信息记录到数据库中,多种类型测试设备反馈的测试数据经过网络转发到监控计算机上,通过加载不同的解析文件对监视源码进行解析,并存储测试数据;所述客户端供用户登录查询相应的工作状态及测试信息状态,按需要对数据进行查询、回放、分析,其中,多种类型测试设备包括:
故障注入测试模块,用于实现物理层、电气层以及协议层的故障注入,模拟实际工作环境中的随机和突发故障现象;
交换机测试模块,进行网络通信功能及性能的测试;
外设接口测试模块,针对计算机对外的IO接口测试,用于检测外部系统与计算机之间以及各个子系统之间的交互点,实现检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系;
监控管理模块,实时监控所有板卡的接口、CPU、内存、硬盘、显卡、网卡、操作系统及板卡运行状态,并进行故障告警,以及并行操作系统安装;
自动测试控制系统模块,对被测目标进行自动测试,进行数据处理,并以适当方式显示或输出测试结果。
2.根据权利要求1所述的一种面向刀片式服务器的自动化测试平台,其特征在于,交换机测试模块包括以太网交换测试设备和RapidIO交换测试设备,所述以太网交换测试设备对以太网通信终端进行网络通信功能及性能的测试,以太网协议的分析功能对以太网交换机和交换模块进行测试;
所述RapidIO交换测试设备包括测试计算机及RapidIO信号模块,测试计算机为可扩展式测试设备,RapidIO信号模块通过通信接口与被测交换机及交换模块相连进行测试,以实现测试要求,按照需求增加或减少RapidIO信号模块。
3.根据权利要求1所述的一种面向刀片式服务器的自动化测试平台,其特征在于,所述控制器采用控制流和数据流分开的方式进行测试流程通信,其中,控制流是用于控制底层设备的硬件配置指令及系统各类测试控制指令流,通过硬件配置或硬件参数以及测试指令或测试脚本两大类形式控制整个系统的执行流程;
所述控制器分为硬件资源管理模块和测试流程管理模块,其中,硬件配置及硬件参数通过配置加载工具加载到硬件资源管理模块中,经过协议转换后将数据下发至硬件服务代理中,硬件服务代理包含底层硬件资源的抽象转换及相关特殊仪器的协议转换,通过TCP/IP协议接口转发,建立与底层硬件的通信;
数据流则是底层设备通信的数据处理过程,硬件服务代理在进行指令传输的同时将控制流里的数据参数提取出来存入数据库中,各测试模块返回的测试数据也存入数据流传输通过数据库中,实现数据的共享传输,各测试模块分别从数据库获取数据,实现监视、存储、处理。
4.一种面向刀片式服务器的自动化测试方法,是根据上述任一项权利要求所述的自动化测试平台实现的,其特征在于,包括如下步骤:
步骤S1:在测试前根据测试需求信息,开发人员创建一个新的测试项目,添加测试通道和协议,生成设备规划文件并通过测试需求创建测试用例;
步骤S2:在测试过程中测试人员打开监视软件监控系统状态,选择对应测试用例,加载测试流程文件,向测试设备发送请求,建立连接;
步骤S3:控制器向测试设备发送指令进行测试,测试设备收到指令后进行测试并将测试数据返回,存入数据库;测试完成后根据不同ID查询对应的测试数据,对数据进行回放分析,报表生成。
5.根据权利要求4所述的一种面向刀片式服务器的自动化测试方法,其特征在于,控制器终端通过硬件资源管理模块和测试流程管理模块对将底层硬件资源到上层测试逻辑按照系统化、层次化的方式管理,从硬件接口层、硬件配置层到测试策略层三个层次实现系统平台测试的通用化。
6.根据权利要求5所述的一种面向刀片式服务器的自动化测试方法,其特征在于,所述硬件接口层使用CSV文件进行组织,用户根据不同的型号的单机的硬件信号需要对硬件的信号的通道名称、参数、管脚映射进行配置,以使得测试管脚功能的复用满足不同型号对信号的需求特性。
7.根据权利要求5所述的一种面向刀片式服务器的自动化测试方法,其特征在于,硬件配置层检查软件为用户提供新建测试配置文件,用户通过界面配置测试,监测信号的名称通道,故障诊断信息和硬件通道映射路径。
8.根据权利要求5所述的一种面向刀片式服务器的自动化测试方法,其特征在于,测试策略层针对不通道测试需求,利用指令集和脚本文件的方式规划测试流程,并进行数据处理方式及信号采集频率的设定。
CN201810963311.6A 2018-08-22 2018-08-22 一种面向刀片式服务器的自动化测试平台以及测试方法 Active CN109388530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810963311.6A CN109388530B (zh) 2018-08-22 2018-08-22 一种面向刀片式服务器的自动化测试平台以及测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810963311.6A CN109388530B (zh) 2018-08-22 2018-08-22 一种面向刀片式服务器的自动化测试平台以及测试方法

Publications (2)

Publication Number Publication Date
CN109388530A CN109388530A (zh) 2019-02-26
CN109388530B true CN109388530B (zh) 2021-12-10

Family

ID=65417730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810963311.6A Active CN109388530B (zh) 2018-08-22 2018-08-22 一种面向刀片式服务器的自动化测试平台以及测试方法

Country Status (1)

Country Link
CN (1) CN109388530B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818830A (zh) * 2019-02-27 2019-05-28 苏州浪潮智能科技有限公司 一种基于Linux平台下的网卡速率和双工模式测试的方法
CN110071822B (zh) * 2019-03-14 2022-03-08 北京天地互连信息技术有限公司 一种针对5g核心网基础设施的测试装置及测试方法
CN110221966A (zh) * 2019-05-14 2019-09-10 浙江无极互联科技有限公司 一种计算机软件测试系统
CN110457197B (zh) * 2019-08-19 2023-05-09 中国工商银行股份有限公司 服务测试方法、装置、计算机设备和存储介质
CN112580903A (zh) * 2019-09-27 2021-03-30 华晨宝马汽车有限公司 用于评估发动机质量稳定性的方法和装置及存储介质
CN111190812B (zh) * 2019-12-12 2023-12-08 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于嵌入式设备的自动化测试框架的系统
CN111309616B (zh) * 2020-02-20 2023-06-27 珠海市运泰利自动化设备有限公司 一种测试平台的实现方法
CN111367734A (zh) * 2020-02-28 2020-07-03 上海御渡半导体科技有限公司 一种测试机中进行压力测试的方法
CN111580941B (zh) * 2020-03-27 2023-03-24 东方电气风电股份有限公司 一种多端口解决风电场数据上传地址不够的方法
CN111522700B (zh) * 2020-04-24 2023-03-31 中国航空无线电电子研究所 测试串行RapidIO网络交换模块的自测试平台
CN113671360B (zh) * 2020-05-13 2024-06-18 圣邦微电子(北京)股份有限公司 I2c接口器件测试方法、装置及i2c接口器件
CN111756600B (zh) * 2020-06-24 2022-03-01 厦门长江电子科技有限公司 一种实现多种交换机测试机的多通信系统及方法
CN112100817B (zh) * 2020-08-20 2022-07-12 上海机电工程研究所 基于分布式仿真系统的异构io数据智能转换方法及系统
CN112559288B (zh) * 2020-12-09 2024-06-11 北京航天控制仪器研究所 一种基于以太网的分布式惯性平台测试系统
CN112738230B (zh) * 2020-12-29 2023-02-28 成都三零瑞通移动通信有限公司 一种自动化网闸测试系统及其工作方法
CN112650688B (zh) * 2020-12-30 2024-06-14 深圳前海微众银行股份有限公司 自动化回归测试方法、关联设备以及计算机程序产品
CN112667477B (zh) * 2020-12-30 2023-05-12 湖南博匠信息科技有限公司 刀片式板卡的记录监控方法及系统
CN113190437B (zh) * 2021-04-21 2024-05-10 西安广和通无线软件有限公司 无线模组的时序分析方法、装置、计算机设备和存储介质
CN113220514B (zh) * 2021-05-11 2023-05-23 成都佰维存储科技有限公司 固态硬盘测试方法、装置、可读存储介质及电子设备
CN113419803B (zh) * 2021-06-22 2024-02-09 康键信息技术(深圳)有限公司 业务工单生成与处理方法、装置、设备及存储介质
CN113923442A (zh) * 2021-09-24 2022-01-11 湖北三赢兴光电科技股份有限公司 一种摄像模组的通用软件测试方法及系统
CN114840394B (zh) * 2022-07-05 2022-09-20 北京聚睿呈祥科技有限公司 一种用于机架上刀片服务器的智能监测及维护方法
CN115242666B (zh) * 2022-07-19 2023-09-26 北京计算机技术及应用研究所 一种基于数据分发服务的仿真平台监控系统
CN115203058A (zh) * 2022-09-09 2022-10-18 中国电子科技集团公司第十五研究所 一种计算机设备多功能智能测试系统及测试方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442448A (zh) * 2007-11-23 2009-05-27 鸿富锦精密工业(深圳)有限公司 刀片服务器测试系统及方法
CN102354298A (zh) * 2011-07-27 2012-02-15 哈尔滨工业大学 基于staf的高端容错机故障注入自动化测试平台及方法
CN104391705A (zh) * 2014-12-03 2015-03-04 浪潮集团有限公司 一种应用于高可用集群软件的分布式自动化测试框架

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514031B2 (en) * 2014-09-22 2016-12-06 International Business Machines Corporation Auto-deployment and testing of system application test cases in remote server environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442448A (zh) * 2007-11-23 2009-05-27 鸿富锦精密工业(深圳)有限公司 刀片服务器测试系统及方法
CN102354298A (zh) * 2011-07-27 2012-02-15 哈尔滨工业大学 基于staf的高端容错机故障注入自动化测试平台及方法
CN104391705A (zh) * 2014-12-03 2015-03-04 浪潮集团有限公司 一种应用于高可用集群软件的分布式自动化测试框架

Also Published As

Publication number Publication date
CN109388530A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109388530B (zh) 一种面向刀片式服务器的自动化测试平台以及测试方法
US6915466B2 (en) Method and system for multi-user channel allocation for a multi-channel analyzer
US6507923B1 (en) Integrated multi-channel fiber channel analyzer
CN110050441A (zh) 在故障情况下实时捕获流量以进行协议调试
CN103812726A (zh) 一种数据通信设备的自动化测试方法及装置
US20050256948A1 (en) Methods and systems for testing a cluster management station
CN105378493A (zh) 用于支持协议无关器件测试系统中协议重新配置的基于云的基础设施
WO2013109274A1 (en) Iterative simulation of requirement metrics for assumption and schema-free configuration management
Rojas et al. Are we ready to drive software-defined networks? A comprehensive survey on management tools and techniques
CN111163150A (zh) 一种分布式调用追踪系统
US7380168B2 (en) System development tool
CN102325057A (zh) 一种网络测试装置
CN108737163B (zh) 一种基于OpenFlow协议的SDN控制器应用性能分析方法
CN112486809A (zh) 一种基于白盒交换机的自动化测试方法、系统及设备
CN109347689A (zh) 一种设备监控方法及系统
US11635972B2 (en) Multi-tenant java agent instrumentation system
CN109964450A (zh) 一种确定共享风险链路组的方法及装置
CN109710496A (zh) 一种机箱可视化监控的方法、装置、设备和存储介质
CN117193249A (zh) 一种复杂航电系统测试与集成验证平台
CN101431435B (zh) 一种基于面向连接的业务配置与管理方法
CN116647490A (zh) 一种航空afdx网络数据检测系统
CN114443488A (zh) 一种arinc664网络配置测试框架构建方法
CN112422349A (zh) 面向nfv的网管系统、方法、设备及介质
CN102957576A (zh) 一种网络质量多功能监控方法和装置
CN116719712B (zh) 处理器串口日志输出方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant