CN101098259B

CN101098259B - 一种实现大数据冲击的自动化测试的方法和系统

Info

Publication number: CN101098259B
Application number: CN2006100907601A
Authority: CN
Inventors: 金鑫; 骆昌勤; 鄢彪; 李龙江
Original assignee: ZTE Corp
Current assignee: Guangdong Decheng Science Co. Ltd.
Priority date: 2006-06-30
Filing date: 2006-06-30
Publication date: 2010-08-18
Anticipated expiration: 2026-06-30
Also published as: CN101098259A

Abstract

本发明提供了一种实现大数据冲击的自动化测试的方法和系统，首先构造上报数据模拟器，控制程序根据测试要求触发数据模拟器产生数据并返回给控制程序，控制程序将数据和测试执行指令发给客户端测试工具，把从界面获取到的数据和从控制装置发送来的数据传递给匹配过程，并上报匹配结果。采用本发明应用到告警测试后，告警数据上报测试过程得到了改进，增强了测试过程的连续性和匹配结果的正确性。

Description

一种实现大数据冲击的自动化测试的方法和系统

技术领域

本发明涉及一种大数据冲击的自动化测试的方法和系统。

背景技术

当前的TMN(电信管理网)中往往存在的故障不是基本功能故障，而是能否承收大数据的冲击，能否在这种冲击下可以正常的工作和正确处理相关的异常是网管软件的一个重要的性能指标，但是由于实验室的设备和资源的限制，往往造成测试过程的瓶颈，特别是告警风暴的测试，更是比较困难，从目前的实验室测试过程来看，对于大数据冲击的测试往往局限在简单的批量数据发送，然后对比发送的数据条数或随机选择几个记录进行比较，对于前台模拟程序(或者真实前台)发送的数据到后台接收到的数据是否正确的比较，很难一一对比。另外其中有太多的人工干预过程，比如上报数据的设置，后台数据查询等等。

以当前CDMA的告警测试为例，目前一个基站控制器(BSC)满配置时，同时要处理上千个节点的告警数据上报，在网运行的BSC、数以百计的BTS上所有的上万块单板(数十万个硬件单元)、数百种软件模块，甚至设备周边环境都是故障管理的监测对象。因此对于告警模块的测试，更重要的是能够确保告警模块是否能够及时、安全的处理这些大数据流的冲击，而在实验室由于设备和现场资源缺乏的原因，不能真实模拟这样的大数据量的环境，往往采用的办法就是通过模拟程序来模拟各种海量告警数据并同时发送到后台服务器，然后通过手工点击后台界面观察告警数据。这种方式的缺点有两个，第一，测试过程断链，由于每一次发送告警都需要手工查询，然后再进行下一次的告警数据发送，不能保证发送数据的连续性，因此不能真实的模拟告警风暴；第二，测试的结果存在假象，由于是人工查询接收到的告警数据，由于每一批数据都可能是成千上万条记录，因此测试人员不可能逐条进行匹配比较，往往都是查询一下接收到的记录条数和发送的条数是否一致的方式来判断，这种测试难以保证接收到的告警数据的正确性。

发明内容

本发明要解决的技术问题是提出一种在大数据冲击下可以保证测试过程的连续性，以及保证测试结果正确性的自动化测试的方法和系统。

为了解决上述技术问题，本发明提供了一种实现大数据冲击的自动化测试的方法，所述方法包括以下步骤：

步骤101，产生模拟测试数据并将其返回给控制装置以及将数据上报到被测系统；

步骤102，判断是否需要再次构造下一批模拟测试数据，如果需要构造下一批模拟测试数据，则执行步骤101，否则执行步骤103；

步骤103，控制装置根据发送的模拟测试数据和其它信息构造一个指令并发送给客户端测试工具，所述信息包括客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息；

步骤104，客户端测试工具根据指令装载对应的脚本；

步骤105，在执行过程中如果发生异常则进入步骤109，否则执行步骤106；

步骤106，客户端测试工具把从被测系统获取到的数据和从控制装置发送来的数据传递给匹配过程；

步骤107，如果在控制装置发送来的数据中没有找到与从被测系统获取的数据对应的数据则继续匹配，直到找到对应的数据或超时；

步骤108，如果匹配超时则进入步骤109，如果没有异常或异常处理完成，则继续执行步骤110；

步骤109，对测试过程中出现异常或匹配失败进行异常处理；

步骤110，判定被测系统的客户端执行是否结束以及执行结果是否正确，如果已经完成则返回一次侦听结束，所有侦听结束且不再发送数据则进入到结果汇总处理单元；

步骤111，结果汇总形成一个汇总报告，完成后结束本次的上报数据冲击测试过程。

进一步，上述方法还可以具有以下特点：所述步骤101中，将模拟测试数据返回给控制装置的同时，发送一个数据清单。

进一步，上述方法还可以具有以下特点：所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。

进一步，上述方法还可以具有以下特点：所述步骤102中，采用异步并行执行方式。

进一步，上述方法还可以具有以下特点：所述步骤103中，所述指令指明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息。

进一步，上述方法还可以具有以下特点：所述步骤104中，装载过程要处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。其中，脚本格式的判定主要是指脚本文件是否符合定义要求，比如是否会出现一个不可识别的节点名等，界面组件定位信息的处理是指根据描述信息构造一个控件索引对象，界面执行操作的合成是根据脚本的动作定义和参数构造一个具体的执行操作。

进一步，上述方法还可以具有以下特点：所述步骤106中，所述数据在进行判定和过滤然后获取到需要的测试数据。所述界面数据的获取，比如告警查询执行后，界面会出现当前的所有告警，如果是对告警时间的测试，则把界面获取的所有告警数据的告警时间进行截取，然后和测试数据进行匹配，如果匹配成功说明告警时间发送过程中没有出现损失，否则，匹配不成功，说明告警时间发送过程有问题。

进一步，上述方法还可以具有以下特点：所述步骤107中，匹配的方式可以是字符匹配，也可以是某些特殊值匹配。比如在进行告警上报的匹配的过程中，如果是告警数据匹配，就可以对每条告警记录的各个字段值进行全匹配，所有界面获取到的被测数据和测试数据要一一对应才能算是测试通过；如果仅仅是对告警数目发送是否丢失的测试，则可以直接把发送的告警条数和界面接收到的条数进行匹配，如果相等则是成功，如果不相等则是失败。

进一步，上述方法还可以具有以下特点：所述步骤109中，所述异常处理有两个过程，一是把异常的信息形成文档存储下来，二是保留执行的测试步骤以便于定位故障。

进一步，上述方法还可以具有以下特点：所述步骤110中，侦听所述被测系统的客户端消息反馈过程用来判定所述被测系统的客户端执行是否结束以及执行结果是否正确。

进一步，上述方法还可以具有以下特点：所述步骤111中，结果汇总单元把模拟的数据量、成功率和失败率进行数据统计。

一种实现大数据冲击的自动化测试的系统，包括：控制装置、数据模拟器、客户端测试工具、发送器和被测系统，其中：

所述控制装置连接于数据模拟器和客户端测试工具之间，负责触发数据模拟器产生模拟测试数据，然后把已经模拟并发送到服务器的测试程序通过接口传递给客户端测试工具，并发送一个执行指令，要求客户端测试工具执行相应的测试过程；

所述数据模拟器连接发送器，用于形成各种模拟测试数据以及形成数据清单；

所述客户端测试工具自动进行界面操作、侦听由服务器发来的数据、把从控制装置接收到的数据和被测系统的客户端获取到的数据进行匹配告警，形成一次测试报告；

所述发送器负责把模拟形成的数据发送到被测系统；

所述被测系统连接客户端测试工具，用于将接收到的数据进行内部处理并传递到被测系统的客户端。

进一步，上述系统还可以包括以下特征：所述的控制装置包括指令发送单元、指令构造单元、进程控制单元和结果汇总单元，其中：

进程控制单元包括上报数据触发器，所述触发器可以触发数据模拟器产生各种模拟测试数据；

指令构造单元负责产生一个执行指令，要求客户端测试工具执行相应的测试过程；

指令发送单元负责把已经模拟并发送到服务器的测试程序通过接口传递给客户端测试工具；

结果汇总单元把模拟的数据量、成功率和失败率进行数据统计形成一个汇总报告。

进一步，上述系统还可以包括以下特征：所述数据模拟器形成的所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。

进一步，上述系统还可以包括以下特征：所述数据模拟器采用异步并行执行方式。

进一步，上述系统还可以包括以下特征：所述指令构造单元指明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息。

进一步，上述系统还可以包括以下特征：客户端测试工具装载过程要处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。

进一步，上述系统还可以包括以下特征：所述客户端测试工具需要把从界面获得的数据进行判定和过滤然后获取到需要的测试数据。

进一步，上述系统还可以包括以下特征：所述结果汇总单元把模拟的数据量、成功率和失败率进行数据统计。

采用本发明应用到告警测试后，告警数据上报测试过程得到了改进，减少了测试过程中人工干预的过程，同时增强了测试过程的连续性，并且在告警数据一致性匹配的测试方面，增强了匹配结果的正确性，同时可以很方便的实现告警风暴测试过程，真正在实验室里模拟真实的大数据流的冲击，以检验系统在告警风暴产生时，是否能够承收数据压力并正常工作。

该发明同时也可以用于对性能数据上报、诊断测试等大数据量上报过程的测试。

附图说明

图1是实现本发明方法的系统框图。

图2是本发明方法实现大数据冲击的自动化测试流程图。

具体实施方式

本发明采用一种提供前后台的数据消息通讯的方法，同时实现后台的自动化测试过程，保证测试数据的信息能够从前台传递到后台，同时后台测试平台接收到指令后能够主动查询并匹配测试数据，完成一次测试过程。同时为了实现风暴测试的效果，前后台的测试程序需要异步并行执行，以保证前台测试程序不会因为后台的查询过程而处于等待状态。

图1是实现本发明方法的系统框图。如图1所示，所述系统由控制装置、数据模拟器、客户端测试工具、发送器和被测系统组成。

所述控制装置包括指令发送单元、指令构造单元、进程控制单元和结果汇总单元，所述控制装置连接于数据模拟器和客户端测试工具之间，负责触发数据模拟器发送模拟数据，然后把已经模拟并发送到服务器的程序通过接口传递给客户端测试工具，并发送一个执行指令，要求客户端测试工具执行相应的测试过程。

其中，所述进程控制单元包括上报数据触发器，该触发器可以触发数据模拟器产生各种模拟测试数据；指令构造单元负责构造一个执行指令，要求客户端测试工具执行相应的测试过程；指令发送单元负责把已经模拟并发送到服务器的测试程序通过接口传递给客户端测试工具；结果汇总单元把本次模拟的数据量、成功率和失败率进行数据统计形成一个汇总报告。从数据模拟器到测试工具的数据流，这条线路保证模拟测试数据没有被消费过，是用来给测试工具验证消费后的数据是否正确的依据。

数据模拟器连接发送器，主要形成各种模拟测试数据以及形成用于模拟告警数据的数据清单。

客户端测试工具可以自动进行界面操作，可以侦听由服务器发来的数据，可以把接收到的数据和被测系统的客户端获取到的数据进行匹配告警，形成一次测试报告。

发送器负责把模拟形成的数据发送到被测系统。

被测系统连接客户端测试工具，用于将接收到的数据进行内部处理并传递到被测系统的客户端。其中由数据模拟器到被测系统再到测试工具的数据流，主要是希望模拟测试数据能够通过被测系统后再回到测试工具，是一个被测试系统消费过的数据流。

图2为图1中本发明所述系统实现大数据上报自动化测试方法的执行流程，包括以下步骤：

步骤101由控制装置中上报数据触发器触发数据模拟器上报数据，然后数据模拟器产生模拟测试数据并形成发送数据清单，所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。接着把模拟后形成的数据和数据清单返回给控制装置，通过单板或发送程序将数据上报到被测系统和客户端测试工具。

步骤102判断是否需要再次构造下一批模拟测试数据，如果需要构造下一批模拟测试数据，则执行步骤101，否则执行步骤103。由于上报的数据可能数据量很大，而且发送次数可能很多，为了不中断其连续性，在此采用并行执行方式。

步骤103完成对模拟测试数据的上报，然后根据发送的模拟测试数据和其它信息构造一个指令，该指令需要指明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息等等；构造完成后发送给客户端测试工具。

步骤104客户端测试工具接收到控制装置发送的执行指令后，根据指定的脚本id装载对应的脚本，装载过程应该处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。

脚本格式的判定主要是指脚本文件是否符合定义要求，比如是否会出现一个不可识别的节点名等，界面组件定位信息的处理是指根据描述信息构造一个控件索引对象，界面执行操作的合成是根据脚本的动作定义和参数构造一个具体的执行操作。

步骤105在执行过程中如果发生异常则进入步骤109进行异常处理。否则执行步骤106。

步骤106由界面测试工具通过脚本的执行获得界面接收到的数据。所述数据需要进行判定和过滤然后获取到需要的测试数据，把从界面获取到的数据和从控制装置发送来的数据传递给匹配过程。

其中，界面数据的获取，比如告警查询执行后，界面会出现当前的所有告警，如果是对告警时间的测试，则把界面获取的所有告警数据的告警时间进行截取，然后和测试数据(真实发送的告警数据)进行匹配，如果匹配成功说明告警时间发送过程中没有出现损失，否则，匹配不成功，说明告警时间发送过程有问题。

步骤107匹配过程接收到数据后进行数据匹配，包括测试数据各项信息的值匹配，如果没有找到需要的数据则继续匹配直到找到对应的数据或超时。

其中，匹配的方式可以是字符匹配，也可以是某些特殊值匹配。比如在进行告警上报的匹配的过程中，如果是告警数据匹配，就可以对每条告警记录的各个字段值进行全匹配，所有界面获取到的被测数据和测试数据要一一对应才能算是测试通过；如果仅仅是对告警数目发送是否丢失的测试，则可以直接把发送的告警条数和界面接收到的条数进行匹配，如果相等则是成功，如果不相等则是失败。

步骤108如果匹配超时则进入步骤109进行异常处理，如果没有异常或异常处理完成，则继续执行步骤110。

步骤109异常处理主要是对客户端测试工具测试过程中出现异常或匹配失败的处理，该处理有两个过程，一是把异常的信息形成文档存储下来，二是保留执行的测试步骤以便于定位故障。

步骤110侦听被测系统的客户端消息反馈过程则主要判定被测系统的客户端执行是否结束以及执行结果是否正确，如果已经完成则返回一次侦听结束，所有侦听结束且不再发送数据则进入到结果汇总处理单元。

步骤111结果汇总把本次模拟的数据量、成功率和失败率进行数据统计形成一个汇总报告，完成后结束本次的上报数据冲击测试过程。

虽然结合示图上述应用详细描述了本发明的实施例，但这并不是本发明实际应用唯一方法，对于本领域的熟练技术人员来说，仍可以对上述实施方式作出修改而不改变本发明的实质和范围。

对于本发明，影响本发明实现的关键因素有四个，一个是需要模拟的网元类型和个数，随着网元数目的增多，需要构造的数据类型就越多，匹配的复杂度也会增加；一个是延时的设置，即数据上报的最长等待时间，根据数据类型的不同应该有不同的延时限制；一个是指令的结构体，一个指令的结构体的好坏直接影响到该系统的效率和扩展性；最后一个是客户端测试工具操作的复杂度，界面操作过程的简化是增强测试效果的另外一个途径。

Claims

1.一种实现大数据冲击的自动化测试的方法，所述方法包括以下步骤：

步骤103，控制装置根据发送的模拟测试数据和信息构造一个指令并发送给客户端测试工具，所述信息包括客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息；

步骤104，客户端测试工具根据指令装载对应的脚本；

步骤107，如果在控制装置发送来的数据中没有找到与从被测系统获取到的数据对应的数据则继续匹配，直到找到对应的数据或超时；

步骤109，对测试过程中出现的异常或匹配失败进行异常处理；

2.如权利要求1所述的方法，其特征在于：

所述步骤101中，将模拟测试数据返回给控制装置的同时，发送一个数据清单；所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。

3.如权利要求1所述的方法，其特征在于：

所述步骤103中，所述指令指明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息。

4.如权利要求1所述的方法，其特征在于：

所述步骤104中，装载过程要处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。

5.如权利要求1所述的方法，其特征在于：

所述步骤109中，所述异常处理有两个过程，一是把异常的信息形成文档存储下来，二是保留执行的测试步骤以便于定位故障。

6.如权利要求1所述的方法，其特征在于：

所述步骤110中，侦听所述被测系统的客户端消息反馈过程用来判定所述被测系统的客户端执行是否结束以及执行结果是否正确。

7.如权利要求1所述的方法，其特征在于：

所述步骤111中，结果汇总单元把模拟的数据量、成功率和失败率进行数据统计。

8.一种实现大数据冲击的自动化测试的系统，包括：控制装置、数据模拟器、客户端测试工具、发送器和被测系统，其中：

所述客户端测试工具自动进行界面操作，侦听由服务器发来的数据，把从控制装置接收到的数据和被测系统的客户端获取到的数据进行匹配告警，形成一次测试报告；

所述发送器负责把模拟形成的数据发送到被测系统；

9.如权利要求8所述的自动化测试的系统，其特征在于：所述的控制装置包括指令发送单元、指令构造单元、进程控制单元和结果汇总单元，其中：

10.如权利要求8所述的自动化测试的系统，其特征在于：

所述数据模拟器形成的所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。

11.如权利要求8所述的自动化测试的系统，其特征在于：

所述指令构造单元指明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时时间和网元信息。

12.如权利要求8所述的自动化测试的系统，其特征在于：

所述客户端测试工具装载过程要处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。

13.如权利要求8所述的自动化测试的系统，其特征在于：

所述结果汇总单元把模拟的数据量、成功率和失败率进行数据统计。