CN107085552A - 测试方法及装置 - Google Patents

Abstract

本发明提供了一种测试方法及装置，应用于网管告警，其中该方法包括：接收测试用例库产生的告警报文；通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试。通过本发明，解决了相关技术中网管告警测试效率过低的问题，提高了测试效率。

Description

测试方法及装置

技术领域

本发明涉及数据网络通信领域，尤其是涉及到应用于网管告警技术的测试方法及装置。

背景技术

随着网络技术的不断发展，运营商对网管软件的管理能力和质量要求也在逐步提高，测试流程必须不断提高故障的发现能力和分析能力以应对日益增多的需求。在网管系统中，告警是一种基本功能，几乎所有的入网测试、对外测试、演示功能都需要展示告警管理能力。确保告警测试的质量是测试人员需要特别关注的一项工作。

告警测试测阶段包含：单元测试、集成测试、冒烟测试、系统测试、回归测试等。相关技术中，在进行告警测试时都是在特定版本中按照功能逐条进行测试，测试结果和原因细节独立分散，在需要以不同维度、类型分析收敛趋势、故障原因、故障高发点时无法高效快速地提供整体的数据支持。

针对相关技术中网管告警测试效率过低的问题，现有技术还未提出有效的解决方案。

发明内容

本发明的目的在于提供了测试方法及装置，应用于网管告警，解决了相关技术中网管告警测试效率过低的问题。

根据本发明的一个方面，提供一种测试方法，包括：接收测试用例库产生的告警报文；通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试。

进一步地，在通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试之前，该测试方法还包括：获取当前版本和历史版本中该告警报文的告警详情，其中，该告警详情包括：告警编号、告警级别、网元位置、告警发生时间、告警码、网元内定位、告警类型、确认状态；将当前版本中该告警报文的该告警详情存储于数据库中。

进一步地，该将当前版本中该告警报文的该告警详情存储于数据库中包括：在当前版本为正式版本的情况下，将该告警报文的告警详情存储于数据库中。

进一步地，通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试包括：将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比，生成对比文件，其中，该对比文件用于对告警进行测试。

进一步地，将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比包括：判断当前版本中该告警报文的该告警详情是否正确；在判断结果为是的情况下，将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比。

进一步地，该将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比之后，该测试方法还包括：在历史版本的告警详情出错的情况下，修改或删除出错的告警详情。

进一步地，将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比之后，该测试方法还包括：在存在待对比历史版本的告警详情的情况下，将当前版本中该告警报文的该告警详情与该待对比历史版本中该告警报文的告警详情进行对比；在不存在待对比历史版本的告警详情的情况下，判断该测试用例库中是否存在待测试告警报文，在判断结果为是的情况下，接收该测试用例库产生的该待测试告警报文。

进一步地，该方法还包括：在判断结果为否的情况下，将该对比文件的数据进行分析，输出告警分析报告。

进一步地，该将该对比文件的数据进行分析处理包括以下至少之一：数据钻取、数据挖掘和数据存储。

根据本发明的另一方面，提供一种测试装置，应用于网管告警，包括：接收模块，用于接收测试用例库产生的告警报文；测试模块，用于通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试。

通过本发明，采用通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试的技术方案，解决了相关技术中网管告警测试效率过低的问题，提高了测试效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的测试方法的流程图；

图2是根据本发明实施例的测试装置的结构框图；

图3是根据本发明实施例的测试装置的架构示意图；

图4是根据本发明优选实施例的测试方法的流程图；

图5是根据本发明实施例的测试对比文件分析处理的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种测试方法及装置，图1是根据本发明实施例的测试方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，接收测试用例库产生的告警报文；

步骤S104，通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试。

进一步地，上述告警详情包括：告警编号、告警级别、网元位置、告警发生时间、告警码、网元内定位、告警类型、确认状态。该测试方法，应用于网管告警，一方面从告警报文中获取当前版本的告警详情，并将上述当前版本的告警详情存储于数据库中，另一方面，从上述数据库中获取历史版本的告警详情。优选地，上述数据库专用于存储该测试方法产生的告警详情。

优选地，在当前版本为临时版本的情况下，可不存储该临时版本的告警详情，以节省存储空间。当前版本为正式版本的情况下，将该告警报文的告警详情存储于数据库中。该告警详情的正确性可视为一种测试结果。

优选地，将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比，生成对比文件，该对比文件可用于对告警进行测试，以快速发现隐藏故障。

优选地，从告警报文中获取并展示当前版本的告警详情，判断当前版本中该告警报文的该告警详情是否正确；在判断结果为是的情况下，将当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比；在判断结果为否的情况下，不对比该条告警的告警详情与其对应版本的告警详情。

值得一提的是，上述对当前版本中告警报文的该告警详情是否正确的判断可以发生在告警详情存储于数据库之后，在历史版本的告警详情出错的情况下，可以修改或删除出错的告警详情。

进一步地，在当前版本中该告警报文的该告警详情与历史版本中该告警报文的告警详情进行对比之后，判断是否存在待对比历史版本的告警详情，若存在待对比历史版本的告警详情，则将当前版本中该告警报文的该告警详情与该待对比历史版本中该告警报文的告警详情进行对比。在该条告警对应的待对比历史版本的告警详情已经对比完成的情况下，判断该测试用例库中是否存在下一条待测试告警报文，在判断结果为是的情况下，接收该测试用例库产生的该待测试告警报文。

优选地，在不存在下一条待测试告警报文的情况下，可将该对比文件的数据进行分析处理，输出告警分析报告。上述分析处理可以包括但不限于数据钻取、数据挖掘的一项或多项数据存储。

通过上述步骤，解决了相关技术中网管告警测试效率过低的问题，提高了测试效率。

图2是根据本发明实施例的测试装置的结构框图，如图2所示，该装置包括：

接收模块22，用于接收测试用例库产生的告警报文；

测试模块24，用于通过当前版本和历史版本中该告警报文的告警详情的对比对告警进行测试。

下面结合具体实施例对本发明进行进一步说明。

本发明的实施例通过将现有版本与历史版本进行对比分析的方式提高系统测试的效率，为外场测试、入网测试打下坚实的基础。建立在历史数据库基础上的对比报告直观展示版本之间实现的区别和变化，对分析发现隐藏故障非常有利。

本实施例可提供一种封闭循环的测试系统：系统入口是测试用例库，通过调用测试用例库产生告警报文，网管接收该告警报文后感知并展示处理结果和方案。出口是对比报告和历史数据库的处理结果，包括根据策略产生历史版本与测试版本告警详情的对比文件，将测试版本的告警详情记录在库，修改或删除历史版本中的历史数据。该告警详情的正确性可被视为是一种测试结果。经过多轮测试后，可根据先前的测试结果更新测试用例库，如在告警常发生的区域增加测试用例告警，在告警数量呈现收敛趋势的情况下减少相对应的测试用例告警。上述对比文件包括测试版本与历史版本告警详情之间的差别对比。优选地，还可输出各个版本之间告警详情的对比报告。优选地，系统测试中在测试的同时自动记录最新结果，通过不断增加、修改、删除数据操作，能够循序渐进地充实历史数据库的数据，提高测试自动化、智能化程度，最终实现提高测试效率的目标。上述策略包括但不限于时间策略和版本策略，时间策略是指在指定时间内进行测试，版本策略是指对特定版本的网管告警告警详情进行对比分析。

图3根据本发明实施例的测试装置架构示意图，如图3所示。通过测试用例库产生待测试告警报文，将该待测试告警报文发送到网管执行模块32。执行模块32对报文进行解析后按照内部逻辑处理，感知并展示当前版本的告警报文的告警详细信息，简称为当前版本的告警详情。分析模块34对执行结果进行判断，进一步提取详情后进行数据归整、数据汇总；按照测试用例库中设定的策略进行不同维度的数据挖掘，利用分析结果可更新测试用例库，对其中的测试用例进行修改；分析模块34将汇总后的数据存储在历史数据库中，以后每次测试都可以根据前置策略读取历史数据，循环对比，在需要时可输出对比报告。在历史数据达到一定规模后，通过查询历史数据库中记载的告警详情中故障发生频率或收敛趋势信息，设计测试用例库时能以此作为参考进行有针对性的设计；历史数据库中的数据变化也能反过来提示测试用例库的更新。

本发明实施例提供一种测试方法，应用于网管告警。设计测试用例库，定义规划好网元类型、版本，网元管理IP、网段和掩码，接口IP地址和掩码，链路的头尾端点和链路属性，OSPF/ISIS/BGP路由协议类型和通告网段，二三层VPN\隧道业务类型和保护信息，CFM、BFD、VRRP、OAM检测类型等关键配置。针对特定的告警，预先定制策略生成对比文件和对比报告。

开始执行告警测试计划。调用测试用例库中的测试用例，产生一条告警，发送到网管告警处理模块。对上报的告警，测试网管处理后显示的告警详情和统计数据。对于每条告警，能够显示告警编号、网元位置、发生时间、级别、告警码、网元内定位、类型、确认状态等详情，所有属性都正确、符合规范。能根据不同条件筛选，例如当前告警和历史告警，告警和通知，已确认和未确认告警等。

根据测试用例，判断是否需要记录告警详情。在测试版本为临时版本的情况下，可不记录告警详情。在判断结果为是的情况下，也即需要记录告警详情，记录告警详情后，判断告警详情是否正确。连接历史数据库，以告警ID、版本号为键值，分别在告警表、版本表、告警详情表中插入一条数据，记录该条告警的告警详情、执行时间等，作为历史数据存储在历史数据库中。通过记录每个版本中每条告警的告警详情，建立起测试过程中上每个功能点的测试数据详情，为下一版本测试对比做准备。在判断结果为否的情况下，不需要记录告警详情，则直接判断告警详情是否正确。

判断告警处理结果是否正确，若告警处理错误，则不进行进一步对比，判断是否存在下一条待测试告警；如果告警处理正确，则进入历史数据库，以版本号和告警ID为键值查询上一个版本的数据，依次对比告警详情表中的网元位置、发生时间、级别、告警码、网元内定位、类型、确认状态等详情。对比完成后根据测试用例库中的策略生成对比文件。

判断是否存在上一个历史版本，如果存在，再次进入历史数据库，查找该历史版本的数据进行对比，生成对比文件。如果不存在，已经完成测试版本与所有历史版本的对比，该条告警在测试过程中的对比工作已经完成。

判断是否存在下一条待测试告警，如果存在，则再次调用测试用例，产生告警后执行测试流程；如果不存在，表明所有告警都已经测试完成，进入处理对比文件流程。

图4是根据本发明实施例测试方法的流程图，如图4所示，该方法包括以下步骤：

步骤S402，设计测试场景，规划各项参数，包括接口地址、路由协议、业务类型和保护路径等。

地址规划

OSPF规划：

LDP规划：

步骤S404，编写测试计划和告警测试用例，输入到测试用例库中。根据测试计划，调用测试用例库开始测试告警。测试版本号为版本1，存在历史版本2，历史版本3。对比策略为全部对比。

步骤S406，以测试端口down告警为例，调用测试用例库产生的告警报文，将该告警报文发送到网管系统；

步骤S408，网管在接收到告警报文后，进行网关告警处理，在当前告警中显示该告警的详情，包括：告警编号、告警级别、网元位置、告警发生时间、告警码、网元内定位、告警类型、确认状态等详情。告警编号为1411008035312，级别为严重，同时标为红色，类型为通信告警，发生时间为告警模拟工具产生的时刻，告警码为接口DOWN(2151)，确认状态为未确认，网元IP为10.46.60.93，网元类型为某型号路由器，网元内定位机架＝0，机框＝0，告警原因为端口链路协商不成功(50901)，附加文本告警类型：LACP；The interface(index＝20，name＝Gei＿0/0/0/10)turns into INACTIVE；由告警同步产生；

步骤S410，判断是否需要记录告警详情，在需要记录的情况下，执行步骤S412，在不需要记录的情况下，跳转执行步骤S414；

步骤S412，记录告警详情，将结果存储于数据库中，在历史数据库中的告警表、版本表和告警详情表中分别插入一条数据：在告警表中插入告警ID、当前执行结果和执行时间；在版本表中插入告警ID、版本号、该版本执行结果和执行时间；在告警详情表中插入告警ID、版本号、版本名称、根告警标识、告警名称、告警级别、发生时间、网元内定位、告警码、关联业务、告警类型、告警标识、处理建议、系统类型、属性、告警原因；

步骤S414，判断告警模块处理结果是否正确。如果处理错误，跳转到步骤S420。如果处理正确，执行步骤S416；

步骤S416，和历史版本中的告警详情进行对比，生成对比文件。打开历史数据库，根据测试用例中的版本1搜索有关联关系的历史版本集，获得上一历史版本的告警详情。对比测试版本与上一历史版本的详情，根据策略生成对比文件。例如，查询得到版本2和版本3。根据时间排序后，选择最靠近版本1的历史版本即版本2，查询该告警在版本2中的告警详情记录，和版本1中的告警详情进行对比。对比内容可以包括告警名称、告警级别、发生时间、网元内定位、告警码、关联业务、告警类型、告警标识、处理建议、系统类型、属性、告警原因等，对比完成后生成记录版本1和版本2对比结果的文件。

步骤S418，判断是否存在更老的历史版本，存在则返回执行步骤S416，将该测试版本与该更老的历史版本进行对比，不存在则执行步骤S420。例如，还存在版本3需要对比。再次连接历史数据库，重复执行步骤S416中的对比流程。

步骤S420，判断是否存在下一条告警，若存在，则返回执行步骤S406，若不存在，执行步骤S422；

步骤S422，处理对比文件，在测试完所有告警后，获取两个对比文件，提取文件中告警详情、测试时间、测试人员等信息。查询发生故障的设备、单板、端口，进行数据上钻，查询告警关联业务，进行数据下钻。按照告警码、告警级别等维度查询特定条件下的告警数量，进行数据挖掘。把告警详情、同一告警对应的所有对比文件的对比结果存储在历史数据库中，进行数据存储，生成对比报告，统计故障变化的情况；

步骤S424，判断是否需要更新历史告警详情，在需要修改的情况下，执行步骤S426；在不需要做修改的情况下，结束测试；

步骤S426，修改或删除历史告警详情，更新完成之后结束测试。

图5是根据本发明实施例对比文件处理的流程图，如图5所示，该方法包括以下步骤：

步骤S502，读取所有对比文件，对告警详情、测试时间、测试人员等信息进行数据提取；

步骤S504，按照时间、版本号的条件进行数据归整，删除不需要或者错误的数据；

步骤S506，根据相应策略，统计测试中发现的故障数量、故障级别、故障模块等数据，进行数据汇总，例如统计一周或一个月之内发现的总故障数量；

步骤S508，根据汇总的数据进行数据分析，可包括数据钻取。基于网管告警信息向上关联到设备、单板、端口等，向下关联到告警详情、关联业务等的特点，因此可以根据前置策略进行数据上钻和数据下钻，分别查询不同种类的故障。发现一定的规律，如故障高发功能、故障发生收敛趋势后，可以更新测试用例库。

步骤S510，根据汇总的数据进行数据分析，可包括数据挖掘。网管告警由于关联模块、设备类型很多，需要通过不同维度的组合对测试结果进行数据挖掘。例如查询特定几个版本的故障收敛趋势。获取数据后建议更新测试用例库。

步骤S512，根据汇总的数据进行数据分析，可包括数据存储。根据前置策略，把归整、汇总后的告警详情、数据钻取结果和数据挖掘结果存储在历史数据库中，形成具有详细分析数据的历史数据库。

步骤S514，生成对比报告。综合处理之前获取的所有对比文件后，输出汇总的对比报告。内容为测试过程中历史版本之间产生故障的对比情况等，包括根据前置策略提示特定版本之间、特定测试阶段之间的对比情况。

根据实际需求，如果需要修改历史数据库中的历史数据，则连接数据库，更新告警表、版本表、告警详情表中的数据。然后结束流程

如果不需要修改，结束流程。完成测试。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种测试方法，其特征在于，应用于网管告警，包括：

接收通过测试用例库产生的告警报文；

通过当前版本和历史版本中所述告警报文的告警详情的对比对告警进行测试。

2.根据权利要求1所述的方法，其特征在于，在通过当前版本和历史版本中所述告警报文的告警详情的对比对告警进行测试之前，所述方法还包括：

获取当前版本和历史版本中所述告警报文的告警详情，其中，所述告警详情包括：告警编号、告警级别、网元位置、告警发生时间、告警码、网元内定位、告警类型、确认状态；

将当前版本中所述告警报文的所述告警详情存储于数据库中。

3.根据权利要求2所述的方法，其特征在于，所述将当前版本中所述告警报文的所述告警详情存储于数据库中包括：

在当前版本为正式版本的情况下，将所述告警报文的告警详情存储于数据库中。

4.根据权利要求2所述的方法，其特征在于，通过当前版本和历史版本中所述告警报文的告警详情的对比对告警进行测试包括：

将当前版本中所述告警报文的所述告警详情与历史版本中所述告警报文的告警详情进行对比，生成对比文件，其中，所述对比文件用于对告警进行测试。

5.根据权利要求4所述的方法，其特征在于，将当前版本中所述告警报文的所述告警详情与历史版本中所述告警报文的告警详情进行对比包括：

判断当前版本中所述告警报文的所述告警详情是否正确；

在判断结果为是的情况下，将当前版本中所述告警报文的所述告警详情与历史版本中所述告警报文的告警详情进行对比。

6.根据权利要求4或5所述的方法，其特征在于，所述将当前版本中所述告警报文的所述告警详情与历史版本中所述告警报文的告警详情进行对比之后，所述方法还包括：

在历史版本的告警详情出错的情况下，修改或删除出错的告警详情。

7.根据权利要求4或5所述的方法，其特征在于，将当前版本中所述告警报文的所述告警详情与历史版本中所述告警报文的告警详情进行对比之后，所述方法还包括：

在存在待对比历史版本的告警详情的情况下，将当前版本中所述告警报文的所述告警详情与所述待对比历史版本中所述告警报文的告警详情进行对比；

在不存在待对比历史版本的告警详情的情况下，判断所述测试用例库中是否存在待测试告警报文，在判断结果为是的情况下，接收所述测试用例库产生的所述待测试告警报文。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在判断结果为否的情况下，将所述对比文件的数据进行分析，输出告警分析报告。

9.根据权利要求8所述的方法，其特征在于，所述将所述对比文件的数据进行分析处理包括以下至少之一：

数据钻取、数据挖掘和数据存储。

10.一种测试装置，其特征在于，应用于网管告警，包括：

接收模块，用于接收测试用例库产生的告警报文；

测试模块，用于通过当前版本和历史版本中所述告警报文的告警详情的对比对告警进行测试。