CN114697238B - 一种测试通信设备系统健壮性的系统及方法 - Google Patents

Abstract

本发明公开了一种测试通信设备系统健壮性的系统及方法，系统包括头端注册服务器、PC机、被测设备和陪测STA设备，PC机安装有智能重启监测系统，智能重启监测系统包括命令输入控制模块，识别被测设备的产品型号，获取对应的硬件关键性能数据、操作命令和测试项目；STA设备接入模块，与陪测STA设备进行适配对接；处理监测模块，控制被测设备以及陪测STA设备与被测设备交互实现业务流程的模拟，实现被测设备的运行状态、业务交互情况的监测功能。还公开了一种方法。本发明监控被测设备内部软硬件功能模块工作状态，并同步访问业务前端系统，精确拦截通信设备的启动时长、业务注册时长等产品系统健壮性问题。

Description

一种测试通信设备系统健壮性的系统及方法

技术领域

本发明涉及通信设备测试技术领域，具体的说，是一种测试通信设备系统健壮性的系统及方法。

背景技术

以集成WiFi6路由器、GPON、XDSL、CM等模块的智能通信终端为代表的通信设备将自然语言处理、人脸识别、视网膜识别、虹膜识别、专家系统、自动规划、智能搜索、定理证明、博弈、自动程序设计、智能控制、语言和图像理解等功能与通信终端业务融合。随着影音体验、互联网影音汇聚、智慧家庭、家庭娱乐、家庭预警等业务场景引入，上述通信设备在打造高带宽业务生态同时，用户对通信设备的启动时长、业务注册时长、使用寿命、产品性能等产品系统健壮性提出了更高的要求。

通信设备批量应用于市场后，因通信设备器件设计选型、软件设计缺陷、众多创新型应用场景引入、用户实际环境愈发复杂等原因，上述通信设备概率性无法启动或启动耗时长、无法注册或注册耗时长、使用寿命短、产品网络性能不佳等与产品系统健壮性的问题愈发突出。现有技术的测试方法也有通过监控被测设备启动中输出的关键字或ping被测设备本地网关的测试方案，来验证被测设备的系统健壮性的，更偏向于单机启动测试；随着通信设备众多新业务场景引入，集成的软硬件功能模块逐渐增多，用户实际环境也愈发复杂，以下缺陷尤为突出：

1.现有智能通信设备在业务注册上线时长上离散性较大，传统方式无法有效拦截被测设备无法注册或注册耗时长的系统健壮性问题。

2.传统方式局限于拦截被测产品启动过程中概率性死机或启动耗时长的系统健壮性问题，无法有效拦截被测设备与业务前端系统的业务交互异常问题。

3.传统方式只能依据启动时间设定自动重启的次数，无法满足功能复杂产品的多模块性能测试需求。

4.现有测试技术的测试精度低，覆盖面狭窄，其通过在预定的时间内监测被测设备启动过程输出的关键字或ping通被测设备本地网关的测试方案，来拦截与被测设备启动相关的系统健壮性问题。现有技术的测试精度取决于选取的关键字或网关地址，测试方案只能确保与被选取启动成功的关键字或功能模块网关地址对应的软硬件功能模块的系统健壮性，无法确保被测设备全功能模块、实时业务数据交互运行进程以及硬件关键性参数的系统健壮性。

发明内容

本发明的目的在于提供一种测试通信设备系统健壮性的系统及方法，用于解决现有测试方法无法同时测试被测产品概率性无法启动或启动时长、注册或注册时长、使用寿命、产品网络性能等产品系统健壮性的问题。

本发明通过下述技术方案解决上述问题：

一种测试通信设备系统健壮性的系统，包括通信连接的头端注册服务器、PC机、被测设备和陪测STA设备，PC机和被测设备通过串口连接，PC机安装有智能重启监测系统，所述智能重启监测系统包括：

命令输入控制模块，被配置成访问被测设备，在被测设备第一次启动过程中识别被测设备的产品型号，根据产品型号从数据库中获取对应的硬件关键性能数据、操作命令和测试项目，并调出人机交互界面供测试人员选择测试项目和设定测试次数；若数据库中查询不到该产品型号，则由用户自定义测试命令和测试项目；

STA设备接入模块，被配置成与陪测STA设备进行适配对接；

处理监测模块，被配置成根据命令输入控制模块的测试项目和设定测试次数控制被测设备，以及通过STA设备接入模块控制陪测STA设备与被测设备交互实现现网业务流程的模拟，实现被测设备的运行状态、业务交互情况的监测功能，并判断被测设备业务运行是否存在异常；

数据日志存储模块，被配置成将测试过程的运行状态记录成日志文件；

测试结果生成模块，被配置成提取日志文件，生成最终的测试报告。

一种测试通信设备系统健壮性的方法，包括：

步骤S100、搭建一种测试通信设备系统健壮性的系统，在数据库中预置产品型号、产品型号对应的账户登录名密码、产品的硬件关键性能数据和操作命令；

步骤S200、命令输入控制模块通过PC机串口对被测设备进行访问控制，在被测设备第一次启动过程中获取串口打印中显示的关键字得到被测设备的产品型号，遍历数据库中的产品型号，查询该产品型号对应的硬件关键性能数据以及操作命令，PC机与被测设备成功连接；

步骤S300、命令输入控制模块根据获取的产品型号调出人机交互界面，供测试人员输入测试次数和选择测试项目；若数据库查询失败，测试人员通过人机交互界面的高级配置项手动设置产品登录名密码、操作命令、测试次数及测试项目；

步骤S400、根据测试项目，选择以下一项或多项执行测试，测试过程中处理监测模块监测被测设备运行状态和用户配置，并记录被测设备的运行状态，保存到数据日志存储模块：

步骤A1、命令输入控制模块驱动被测设备工作，通过ping被测设备网关地址或获取被测设备启动成功关键字，获取被测设备正常启动耗时T1；

步骤A2、STA设备接入模块与陪测STA设备连接通讯，处理监测模块驱动STA设备接入模块工作，监测陪测STA设备与被测设备的联通情况；驱动被测设备访问头端注册服务器，记录被测设备从上电启动到注册至联通服务器的注册时间T2；

步骤A3、STA设备接入模块对接入的各个陪测STA设备进行访问控制，陪测STA设备通过被测设备与现网服务器实现实时业务数据交互，记录被测设备上电启动到陪测STA设备与现网服务器数据交互开始的工作时间T3；

步骤S500、判断是否达到测试次数，如果是，测试结束，否则控制被测设备自动断电重启，返回步骤S200。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明采用被测设备下挂陪测STA设备的方式模拟用户使用环境，直接监控被测设备内部软硬件功能模块工作状态，并同步访问业务前端系统，该测试方案实现了精确拦截通信设备的启动时长、业务注册时长、使用寿命、产品性能、业务交互流程等产品系统健壮性问题的目的。

(2)本发明除可监控被测设备启动时间外，实现了被测设备启动至业务注册的时间监测。通过对被测设备断电重启极限施压，在短时间内达到拦截被测设备无法注册或注册耗时长的系统健壮性问题目的；除兼容依据启动时间设定自动重启的次数的现有技术功能外，新增了对被测设备与业务前端系统的业务交互状态(下发用户配置、业务上线、通讯性能等)的实时监测功能，满足功能复杂的通信设备的长期稳定性测试需求。

(3)本发明通过对被测设备系统组网，同步直接访问业务前端系统方式，实现了精准定位、精确验证被测设备全功能模块系统的功能，达到了全覆盖健壮性测试的目的，有效监测评估被测产品是否存在概率性无法启动，在生命周期内是否存在业务无法注册成功、业务运行异常，用户配置丢失，硬件性能关键参数异常等问题。

附图说明

图1为本发明的系统框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例：

结合附图1所示，一种测试通信设备系统健壮性的系统，包括通信连接的头端注册服务器、PC机、被测设备和陪测STA设备，PC机和被测设备通过串口连接，PC机安装有智能重启监测系统，所述智能重启监测系统包括：

命令输入控制模块，被配置成访问被测设备，在被测设备第一次启动过程中识别被测设备的产品型号，根据产品型号从数据库中获取对应的硬件关键性能数据、操作命令和测试项目，并调出人机交互界面供测试人员选择测试项目和设定测试次数；若数据库中查询不到该产品型号，则由用户自定义测试命令和测试项目；

STA设备接入模块，被配置成与陪测STA设备进行适配对接；

处理监测模块，被配置成根据命令输入控制模块的测试项目和设定测试次数控制被测设备，以及通过STA设备接入模块控制陪测STA设备与被测设备交互实现现网业务流程的模拟，实现被测设备的运行状态、业务交互情况的监测功能，并判断被测设备业务运行是否存在异常；

数据日志存储模块，被配置成将测试过程的运行状态记录成日志文件；

测试结果生成模块，被配置成提取日志文件，生成最终的测试报告。

智能重启监测系统中处理监测模块为控制核心，与命令输入控制模块、数据日志存储模块、STA设备接入模块和测试结果生成模块相连接，其中命令输入控制模块由软件插件方式置入智能重启监测系统中，插件通过串口对被测设备进行访问控制，在被测设备第一次启动过程中通过识别被测设备启动时的串口打印中显示的关键字，遍历访问预置的数据库中的产品型号，找到产品型号对应的账户登录名密码、硬件关键性能数据以及相关操作命令(包括产品的硬件关键性能数据查询命令、用户配置查询命令、各模块运行状态监测命令)，命令输入控制模块在确认产品对应型号后，向用户提供测试次数输入以及高级配置项的人机交互界面，由测试人员确认测试次数，选择需要监测的测试项目，若数据库查询失败，无对应产品，则测试人员通过交互界面的高级设置配置项对测试命令及测试项目进行设定。而STA设备接入模块与电脑PC、手机、电视、机顶盒、摄像头、智能家居组网设备等用户STA终端进行适配对接，并通过有线或者无线的方式连接被测设备。处理监测模块通过接入命令输入控制模块置入的插件对被测设备进行访问控制，监测硬件性能关键参数在运行过程中是否存在异常。处理监测模块通过STA设备接入模块，控制用户终端实现业务流程的模拟，并实现被测设备的运行状态、业务交互情况的监测功能，进而判断被测设备业务运行是否存在异常；在整个监测管理过程，数据日志存储模块将全功能业务模块的运行状态一一记录成log日志文件，并通过测试结果生成模块，对log日志文件进行分析归纳提取，从而生成最终的测试报告。

本发明实现了电子通信设备的自动重启、注册上线、全业务交互实时监控、硬件性能关键参数测试的功能。

实施例2：

一种测试通信设备系统健壮性的方法，包括：

步骤S100、搭建一种测试通信设备系统健壮性的系统，在数据库中预置产品型号、产品型号对应的账户登录名密码、产品的硬件关键性能数据和操作命令、被测设备正常启动参考T1_reference_value、被测设备上电至与头端注册服务器注册时间T2_reference_value、被测设备上电至与现网网络系统数据交互时间T3_reference_value等字段；

步骤S200、命令输入控制模块通过PC机串口对被测设备进行访问控制，在被测设备第一次启动过程中获取串口打印中显示的关键字得到被测设备的产品型号，遍历数据库中的产品型号，查询该产品型号对应的硬件关键性能数据(比如GPON产品的光信号参数TXPOWER和RX POWER，BOB寄存器值……WIFI类通信产品的wifi信号强度、连接速率等等)以及操作命令，PC机与被测设备成功连接；

步骤S300、命令输入控制模块根据获取的产品型号调出人机交互界面，供测试人员输入测试次数和选择测试项目；若数据库查询失败，测试人员通过人机交互界面的高级配置项手动设置产品登录名密码、操作命令、测试次数及测试项目；

步骤S400、根据测试项目，选择以下一项或多项执行测试：

步骤A1、被测设备正常启动耗时T1获取

命令输入控制模块驱动被测设备工作，通过ping被测设备网关地址或获取被测设备启动成功关键字，获取并记录被测设备正常启动耗时T1；

步骤A2、被测设备上电至与头端注册服务器注册时间T2获取

步骤A2、STA设备接入模块与陪测STA设备连接通讯，处理监测模块驱动STA设备接入模块工作，监测陪测STA设备与被测设备的联通情况；驱动被测设备访问头端注册服务器，记录被测设备从上电启动到注册至联通服务器的注册时间T2；

步骤A3、被测设备上电至与现网网络系统数据交互时间T3获取

STA设备接入模块对接入的各个陪测STA设备进行访问控制，陪测STA设备通过被测设备与现网服务器实现实时业务数据交互，记录被测设备上电启动到陪测STA设备与现网服务器数据交互开始的工作时间T3；

步骤S500：单轮测试过程及测试日志生成

智能重启监测系统的处理监测模块通过网口或者串口使用telnet或web实现远程访问控制，登陆头端注册服务器系统和被测设备，通过步骤S200命令输入控制模块自动确认需要测试监测的测试项以及对应的命令，实时监测步骤A3真实业务数据交互开始之后的设备运行状态和用户配置，确认被测设备各功能模块实时运行状态是否存在异常，用户配置是否被异常修改或清除，T1是否≤被测设备正常启动参考T1_reference_value值，T2是否≤被测设备上电至与头端注册服务器注册时间T2_reference_value值，T3是否≤被测设备上电至与现网网络系统数据交互时间T3_reference_value等。通过数据日志存储模块保存至log日志进行备份，并控制自动断电重启开启新一轮的测试。

步骤S600：测试结果判断及测试结果生成

步骤S400-步骤S500为一轮完整测试，智能重启监测系统会根据步骤S300设置的测试次数进行数轮循环测试，数据日志存储模块会自动记录保存每轮测试的T1、T2、T3的时间，以及实时监测的各功能模块运行状态、用户配置信息和硬件性能关键参数数据，并生成对应的log日志，待测试总次数完成后，将通过测试结果生成模块将所有log中的关键信息数据参数进行汇总，并生成最终的测试报告。

步骤S700：测试异常处理及故障现场保留

当智能重启监测系统在步骤S400-步骤S600的测试过程中发现无法头端注册服务器、实时业务交互中断、硬件性能关键参数异常、用户配置缺损丢失、功能模块运行状态告警，或某一轮测试T1大于被测设备正常启动参考T1_reference_value值，或某一轮T2大于被测设备上电至与头端注册服务器注册时间T2_reference_value值，或某一轮T3大于被测设备上电至与现网网络系统数据交互时间T3_reference_value等异常问题时，则通过处理监测模块调用命令输入控制模块，查看各模块具体运行参数、用户配置，控制数据日志存储模块对异常返回值进行记录备份，上传log日志信息，并终止测试、保留故障现场，由测试结果生成模块在本地输出测试失败的测试报告，以供相关人员分析。

本发明模拟用户在真实的实际使用场景中对通信终端设备(包括不限于wifi路由器、光猫、xdsl、融合型通信终端设备)进行测试系统健壮性测试，在设备启动过程中记录被测设备的启动时间T1、被测设备联通现网网络系统服务器的注册时间T2、陪测STA设备正常开始业务交互的工作时间T3。当选用的STA设备接入模块联通服务器后，处理监测模块访问头端注册模块系统，查看头端注册信息，确认被测设备注册信息正常；命令输入控制模块通过插件自动识别被测设备型号，从被测产品系列数据库中自动生成被测设备硬件性能关键参数参考值，并从被测设备获取当前运行状态下的硬件性能关键参数值，从而判断硬件信息关键参数的正确性，并提供测试高级设定的人机交互界面；STA设备接入模块对接入的用户终端进行访问控制实现实时的业务交互；而处理监测模块则可以查看设备注册信息功能是否正常，并且可以对被测设备执行相关命令监控业务运行状态，查看各用户配置是否被篡改，功能模块是否运行正常；待各模块完成各自工作任务检查完毕后，处理监测模块控制自动断电重复这一过程；过程中的日志信息一并记录在数据日志存储模块中，待测试完成后，测试结果生成模块将对整个过程的日志信息进行相应的分析归纳提取，对每次被测设备启动的时间T1、联通服务器时间T2、与终端实现数据交互的时间T3，以及每次启动过程中的关键硬件参数、用户配置数据和各模块的运行参数进行归集，再生成最终测试报告。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (2)

1.一种测试通信设备系统健壮性的系统，其特征在于，包括通信连接的头端注册服务器、PC机、被测设备和陪测STA设备，PC机和被测设备通过串口连接，PC机安装有智能重启监测系统，所述智能重启监测系统包括：

命令输入控制模块，被配置成访问被测设备，在被测设备第一次启动过程中识别被测设备的产品型号，根据产品型号从数据库中获取对应的硬件关键性能数据、操作命令和测试项目，并调出人机交互界面供测试人员选择测试项目和设定测试次数；若数据库中查询不到该产品型号，则由用户自定义测试命令和测试项目；

STA设备接入模块，被配置成与陪测STA设备进行适配对接；

处理监测模块，被配置成根据命令输入控制模块的测试项目和设定测试次数控制被测设备，以及通过STA设备接入模块控制陪测STA设备与被测设备交互实现业务流程的模拟，实现被测设备的运行状态、业务交互情况的监测功能，并判断被测设备业务运行是否存在异常；

数据日志存储模块，被配置成将测试过程的运行状态记录成日志文件；

测试结果生成模块，被配置成提取日志文件，生成最终的测试报告。

2.一种测试通信设备系统健壮性的方法，其特征在于，包括：

步骤S100、搭建如权利要求1所述的一种测试通信设备系统健壮性的系统，在数据库中预置产品型号、产品型号对应的账户登录名密码、产品的硬件关键性能数据和操作命令；

步骤S200、命令输入控制模块通过PC机串口对被测设备进行访问控制，在被测设备第一次启动过程中获取串口打印中显示的关键字得到被测设备的产品型号，遍历数据库中的产品型号，查询该产品型号对应的硬件关键性能数据以及操作命令，PC机与被测设备成功连接；

步骤S300、命令输入控制模块根据获取的产品型号调出人机交互界面，供测试人员输入测试次数和选择测试项目；若数据库查询失败，测试人员通过人机交互界面的高级配置项手动设置产品登录名密码、操作命令、测试次数及测试项目；

步骤S400、根据测试项目，选择以下一项或多项执行测试，测试过程中处理监测模块监测被测设备运行状态和用户配置，并记录被测设备的运行状态，保存到数据日志存储模块：

步骤A1、命令输入控制模块驱动被测设备工作，通过ping被测设备网关地址或获取被测设备启动成功关键字，获取被测设备正常启动耗时T1；

步骤A2、STA设备接入模块与陪测STA设备连接通讯，处理监测模块驱动STA设备接入模块工作，监测陪测STA设备与被测设备的联通情况；驱动被测设备访问头端注册服务器，记录被测设备从上电启动到注册至联通服务器的注册时间T2；

步骤A3、STA设备接入模块对接入的各个陪测STA设备进行访问控制，陪测STA设备通过被测设备与现网服务器实现实时业务数据交互，记录被测设备上电启动到陪测STA设备与现网服务器数据交互开始的工作时间T3；

步骤S500、判断是否达到测试次数，如果是，测试结束，否则控制被测设备自动断电重启，返回步骤S200。

Images