CN102111801B - 第三代移动通信网网络管理接口的测试方法及系统 - Google Patents
第三代移动通信网网络管理接口的测试方法及系统 Download PDFInfo
- Publication number
- CN102111801B CN102111801B CN 201010620664 CN201010620664A CN102111801B CN 102111801 B CN102111801 B CN 102111801B CN 201010620664 CN201010620664 CN 201010620664 CN 201010620664 A CN201010620664 A CN 201010620664A CN 102111801 B CN102111801 B CN 102111801B
- Authority
- CN
- China
- Prior art keywords
- test
- model
- transaction
- execution
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 682
- 238000010295 mobile communication Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007726 management method Methods 0.000 claims abstract description 103
- 230000001960 triggered effect Effects 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims description 20
- 238000013461 design Methods 0.000 claims description 19
- 230000006978 adaptation Effects 0.000 claims description 15
- 238000010998 test method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004573 interface analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种第三代移动通信网网络管理接口的测试方法，所述测试方法包括：步骤A、生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；步骤B、启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告。应用本发明，解决了网络管理接口测试效率低下、测试成本高昂和测试质量难以保证等问题；最大程度的减少测试过程中对人工的依赖，既可减轻测试人员的工作量，也可有效避免人工介入对测试结果的影响，保证测试的可信度。
Description
技术领域
本发明涉及移动通信技术领域，特别涉及一种第三代移动通信网网络管理接口的测试方法及系统。
背景技术
第三代移动通信网网络规模与网络技术的发展使得其网络管理的环境更加复杂多样，更多的设备提供多种不同的业务，网络结构灵活多样，都对网络管理提出了更高的要求。网络管理接口是网络管理建设的关键环节，网络管理接口是被管系统向管理系统提供管理信息和管理能力的通道和手段，能否解决好网络管理接口的问题是网络管理系统建设成败的关键。为了实现全局管理、端到端的业务管理，必须解决管理系统与被管系统之间以及管理系统之间的互通性和互操作性问题。如何保证所定义的网管接口标准在实际网管建设中得以贯彻执行、验证接口实现与接口标准的符合性、保证异构环境下网管接口两端系统的相互协作，这些都需要依靠网络管理接口测试作为强有力的保障手段。
由于第三代移动通信网组网及业务的复杂性，网络管理接口需求复杂度日益提高；且由于网络技术及网络管理技术呈多样化并持续演进，网络管理需求易变，这些都给第三代移动通信网网络管理接口的测试带来了很大的挑战。
第三代移动通信网网络管理接口测试依据网络管理接口规范中定义的功能及业务流程，通过一系列有逻辑关系的接口操作的有序调用，验证网管接口传递的管理指令是否能够得到有效执行、管理信息能否准确反应网络的运行状态。在现有的第三代移动通信网网络管理接口测试技术中，往往依赖于测试人员使用固化的测试工具进行手工测试，测试人力投入大，测试周期长，测试效率较低，并且难以避免人为主观因素的引入对测试结果造成不当的影响；在网络管理需求发生变化及网络管理接口标准版本升级演进时，依然需要修改测试工具的程序代码来进行适应性升级，使迭代测试的效率大打折扣。
综上所述，现有技术存在以下缺陷：
(1)现有的第三代移动通信网网络管理接口测试系统不能解决第三代移动通信网络管理接口随管理需求升级变化时测试系统的动态自适应问题。现有的网络管理接口测试系统在被测接口发生变更或版本升级时，必须对测试系统的代码进行修改、重新编译才能够进行新接口的测试，这导致了测试成本的提高和测试周期的延长，无法满足动态演进的网络管理功能测试需求；
(2)现有的第三代移动通信网网络管理接口测试系统多采用手工测试，自动化程度低。第三代移动通信网网络管理接口测试是面向电信级网络管理软件的测试，依靠人工手动测试耗时耗力，测试人工投入大，测试周期长，导致测试效率低下；测试过程中极有可能引入人为误判导致的测试差错率，测试结果的质量无法得到有效保障。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提供一种基于测试模型驱动的第三代移动通信网网络管理接口的测试方法及系统，以提高测试效率、降低测试成本、缩短测试周期、提升测试质量。
(二)技术方案
为解决上述技术问题，本发明提供了一种第三代移动通信网网络管理接口的测试方法，所述测试方法包括：
步骤A、生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
步骤B、启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告。
优选地，步骤A中所述根据测试用例模型生成测试事务模型之后，所述测试方法进一步包括校验测试事务模型的步骤，
步骤A中所述根据测试事务模型生成测试计划模型具体包括：根据通过校验的测试事务模型生成测试计划模型。
优选地，步骤B中所述对触发的测试事务的逻辑进行解释执行之后，所述方法进一步包括：判断测试计划是否完成；如测试计划中尚有其他待执行的测试事务，则触发测试下一个测试事务，
步骤B中所述根据测试事务的执行结果生成测试报告具体包括：根据测试计划中所有测试事务的执行结果生成测试报告。
优选地，步骤B中所述对触发的测试事务的逻辑进行解释执行进一步包括：
步骤B1、测试事务逻辑分析，判定当前测试事务逻辑是调用逻辑还是非调用逻辑，如为调用逻辑则转入步骤B3，如为非调用逻辑则转入步骤B2；
步骤B2、按照非调用逻辑的语义解释执行非调用逻辑，然后转入步骤B7；
步骤B3、对调用逻辑调用的测试用例进行解析，根据测试用例中测试行为参数及测试数据的设定封装适配为待发送的网管接口测试消息；
步骤B4、将测试消息发送给被测系统；
步骤B5、接收被测系统返回的测试响应消息并进行解析；
步骤B6、根据测试用例模型中预设的预期结果对测试用例的执行结果进行判定；
步骤B7、当每一步测试事务逻辑执行完毕后，判定所在的测试事务是否结束，如该测试事务尚未结束，则回到步骤B1，继续对该测试事务的后续逻辑进行解释执行；否则该测试事务执行结束。
优选地，在步骤B6中判定执行结果后，本测试方法还包括将测试过程和测试结果分别记录在测试日志文件中和测试结果文件中的步骤。
优选地，所述测试报告包括但不限于：测试用例的执行总数、测试用例执行成功数、测试执行失败数、测试事务执行总数、测试事务执行成功数、测试事务执行失败数、测试用例平均/最大/最小执行时长和测试事务平均/最大/最小执行时长中的一种或多种。
优选地，所述测试用例模型由测试行为、测试数据和预期结果三部分组成。
本发明还提供了一种第三代移动通信网网络管理接口的测试系统，所述测试系统包括：相互连接的测试模型生成装置和测试模型执行装置；其中，
所述测试模型生成装置用于生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
所述测试模型执行装置用于启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告。
优选地，所述测试模型生成装置包括依次连接的测试用例模型生成模块、测试事务模型设计模块和测试计划模型规划模块；其中，
所述测试用例模型生成模块，用于根据第三代移动通信网网管接口规范中定义的接口设计模型文件生成相应的测试用例模型实例；
所述测试事务模型设计模块，用于根据第三代移动通信网网管接口测试需求选择相关的测试用例模型实例进行逻辑组织并形成测试事务模型；
所述测试计划模型规划模块，用于根据第三代移动通信网网管接口测试需要选择相关的测试事务模型实例按照一定的时间部署策略组合后形成测试计划模型以驱动测试执行相关的模块。
优选地，所述测试模型执行装置包括依次连接的测试计划执行模块、测试事务执行模块、测试用例执行模块和接口协议适配模块；所述测试事务执行模块和测试用例执行模块分别与测试结果分析与报告生成模块相连接；其中，
所述测试计划执行模块，用于作为测试计划模型的解释引擎，将依照测试计划中规定的时间调度策略触发测试事务执行模块执行相应的测试事务；
所述测试事务执行模块，用于对测试事务模型进行解释执行并记录执行结果，当遇到测试用例调用逻辑时将触发测试用例执行模块解释执行相应的测试用例；
所述测试用例执行模块，用于解析相应的测试用例文件，构建测试消息传递给接口协议适配模块，接收所述接口协议适配模块反馈的测试响应消息并进行测试结果判定，记录测试日志和测试结果；
所述接口协议适配模块，用于根据被测系统所使用的网管协议的不同，将测试消息封装为对应的协议原语发送给被测系统，并从被测系统处接收测试响应原语，再将其转化为测试用例执行模块可识别的测试响应消息；
所述测试结果分析与报告生成模块，用于对测试结果和测试日志进行分析，将测试结果统计信息及关键性能指标情况以表格报告形式呈现。
(三)有益效果
本发明提出了一种第三代移动通信网网络管理接口的测试方法及系统。针对第三代移动通信网网络管理接口建模方法采用定义一套与技术无关的模型(需求分析模型)、多套经映射转换的特定技术的模型(设计模型)的特点，将模型驱动的方法论引入网络管理接口测试，采用动态生成测试用例模型、测试事务模型、测试计划模型的方法将网管接口测试需求模型化，以可重用且可自动解释执行的测试模型驱动测试过程自动化并能够自适应多种类网络管理接口技术，解决网络管理接口测试效率低下、测试成本高昂和测试质量难以保证等问题；最大程度的减少测试过程中对人工的依赖，既可减轻测试人员的工作量，也可有效避免人工介入对测试结果的影响，保证测试的可信度。
附图说明
图1是本发明实施例的第三代移动通信网网络管理接口的测试方法流程图；
图2是本发明所述测试方法中对触发的测试事务的逻辑进行解释执行的方法流程图；
图3是本发明实施例的第三代移动通信网网络管理接口的测试系统的结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1是本发明实施例的第三代移动通信网网络管理接口的测试方法流程图；如图1所述，所述方法包括：
步骤A、生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
在本步骤中根据测试用例模型生成测试事务模型之后，所述方法还可以包括校验测试事务模型的步骤，如果测试事务模型校验不通过，则重新根据测试用例模型生成测试事务模型，再进行检验，直到校验通过。
在本步骤中根据测试事务模型生成测试计划模型可以具体为根据通过校验的测试事务模型生成测试计划模型。
其中，测试用例对应于第三代移动通信网网络管理接口规范中定义的管理操作，测试事务由若干测试用例通过一定逻辑关系组合而成，测试计划为对若干测试事务的时间调度。
在本步骤中，依据第三代移动通信网网管接口技术规范中定义的接口设计模型，从中提取接口操作信息，生成相应的测试用例模型。测试用例模型一般由测试行为、测试数据和预期结果三部分组成，分别由接口中定义的各操作的输入参数、数据类型和输出参数导出。该步骤生成若干测试用例模型实例并以脚本形式进行存储。
由于单个测试用例模型实例无法满足接口测试需求中的用户动态行为测试或较复杂的功能流程测试，因此需要构建测试事务模型。在本步骤中，测试事务模型根据第三代移动通信网网管接口技术规范中定义的接口分析模型中的描述和规定进行构建，将若干个相关联的、具有数据依赖或业务依赖关系的测试用例模型实例按照一定逻辑关系组织起来。在一个测试事务模型实例中，测试用例模型实例之间可以有如下几种逻辑关系：测试用例按顺序执行、测试用例延时执行、根据上一步测试用例执行结果判定选择下一步的测试用例执行分支、根据条件迭代执行测试用例、测试用例的参数赋值传递、测试用例输出参数的导出等。该步骤生成若干测试事务模型实例并以脚本形式进行存储。
测试事务模型实例是在人为干预下动态生成的，由于其具有一定的复杂度，需要对测试事务模型的正确性进行校验。对测试事务模型的校验包括对测试事务脚本语法的合法性及测试事务与网管接口技术规范的一致性的校验。
在本步骤中，根据测试需要，规划测试计划模型，在特定时间点到达时执行特定测试事务。特定时间点可设置为绝对时间，也可设置为测试计划启动后到达的相对时间。该步骤生成测试计划模型实例并以脚本形式进行存储。
步骤B、启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告。
在本步骤中对触发的测试事务的逻辑进行解释执行之后，所述方法还可以包括：判断测试计划是否完成；如测试计划中尚有其他待执行的测试事务，则触发测试下一个测试事务，直到完成测试计划中所有的测试事务；则所述根据测试事务的执行结果生成测试报告包括根据测试计划中所有测试事务的执行结果生成测试报告。
在本步骤中对触发的测试事务的逻辑进行解释执行之后，所述方法还可以包括对测试事务的执行结果进行记录的步骤。
在本步骤中，测试计划全部执行完成后，根据测试结果文件中的记录，自动对测试结果信息进行分析并生成测试报告文件。测试报告文件中的列示及统计信息可包括但不限于：测试用例的执行总数、测试用例执行成功数、测试执行失败数、测试事务执行总数、测试事务执行成功数、测试事务执行失败数、测试用例平均/最大/最小执行时长、测试事务平均/最大/最小执行时长等信息。
图2是本发明所述测试方法中对触发的测试事务的逻辑进行解释执行的方法流程图；如图2所述，所述方法包括：
步骤B1、测试事务逻辑分析，判定当前测试事务逻辑是调用逻辑还是非调用逻辑，如为调用逻辑则转入步骤B3，如为非调用逻辑则转入步骤B2；
在本步骤中，按顺序对测试事务中的每一步逻辑进行分析，判定其是调用逻辑还是非调用逻辑。调用逻辑是指对测试用例的调用，如为调用逻辑则转入步骤B3；非调用逻辑是指除调用测试用例之外的其他逻辑，如赋值逻辑、判断逻辑等，如为非调用逻辑则转入步骤B2。
步骤B2、按照非调用逻辑的语义解释执行非调用逻辑，然后转入步骤B7；
步骤B3、对调用逻辑调用的测试用例进行解析，根据测试用例中测试行为参数及测试数据的设定封装适配为待发送的网管接口测试消息；
步骤B4、将测试消息发送给被测系统；
步骤B5、接收被测系统返回的测试响应消息并进行解析；
步骤B6、根据测试用例模型中预设的预期结果对测试用例的执行结果进行判定；
在本步骤中，判定执行结果后还包括将测试过程和测试结果分别记录在测试日志文件中和测试结果文件中的步骤。测试日志文件记录发送的测试消息及接收到的测试响应的详细信息及时间戳。测试结果文件概要记录测试用例的执行时间、执行结果等简明信息。
步骤B7、当每一步测试事务逻辑执行完毕后，判定所在的测试事务是否结束，如该测试事务尚未结束，则回到步骤B31，继续对该测试事务的后续逻辑进行解释执行；否则该测试事务执行结束。
在本步骤之后，所述方法还可以包括在测试结果文件中记录测试事务的执行结果的步骤。
图3是本发明实施例的第三代移动通信网网络管理接口的测试系统的结构图；如图3所述，所述系统包括：相互连接的测试模型生成装置和测试模型执行装置；
所述测试模型生成装置用于生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
所述测试模型执行装置用于启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告。
所述测试模型生成装置包括依次连接的测试用例模型生成模块、测试事务模型设计模块和测试计划模型规划模块；
所述测试用例模型生成模块，用于根据第三代移动通信网网管接口规范中定义的接口设计模型文件生成相应的测试用例模型实例；
所述测试事务模型设计模块，用于根据第三代移动通信网网管接口测试需求组织相关的测试用例模型实例进行逻辑组织并形成测试事务模型；
所述测试计划模型规划模块，用于根据第三代移动通信网网管接口测试需要选择相关的测试事务模型实例按照一定的时间部署策略组合后形成测试计划模型以驱动测试执行相关的模块。
所述测试模型执行装置包括依次连接的测试计划执行模块、测试事务执行模块、测试用例执行模块和接口协议适配模块；所述测试事务执行模块和测试用例执行模块分别与测试结果分析与报告生成模块相连接；其中，
所述测试计划执行模块，用于作为测试计划模型的解释引擎，将依照测试计划中规定的时间调度策略触发测试事务执行模块执行相应的测试事务；
所述测试事务执行模块，用于对测试事务模型进行解释执行并记录执行结果，当遇到测试用例调用逻辑时将触发测试用例执行模块解释执行相应的测试用例；
所述测试用例执行模块，用于解析相应的测试用例文件，构建测试消息传递给接口协议适配模块，接收所述接口协议适配模块反馈的测试响应消息并进行测试结果判定，记录测试日志和测试结果；
所述接口协议适配模块，用于根据被测系统所使用的网管协议的不同，将测试消息封装为对应的协议原语发送给被测系统，并从被测系统处接收测试响应原语，再将其转化为测试用例执行模块可识别的测试响应消息；
所述测试结果分析与报告生成模块，用于对测试结果和测试日志进行分析，将测试结果统计信息及关键性能指标情况以表格报告形式呈现。
下面基于3GPP R9系列规范，以测试第三代移动通信网网络管理接口中的公共管理域的设置心跳间隔功能及故障管理域的获取告警信息列表功能为例来说明本发明的测试方法及系统。
1、测试用例模型生成模块对导入的基于各类技术的网络管理接口设计模型文件进行编译，在对接口设计模型文件进行正确性和完整性检查后，通过文法分析提取其中的管理操作信息生成相应的测试用例。与设置心跳间隔功能及获取告警信息列表功能相关的管理操作测试用例包括：<获取IRP(Integration Reference Point，集成参考点)概述信息>、<获取IRP对象引用>、<设置心跳间隔>、<取心跳间隔>、<获取告警列表>。以基于CORBA(Common Object Request BrokerArchitecture，公共对象请求代理体系结构)/IDL技术的网络管理接口设计模型为例，这些测试用例由以下操作生成：接口EPIRP下的get_irp_outline操作、get_irp_reference操作(3GPP TS 32.363)，接口CSIRP下的set_heartbeat_period操作、get_heartbeat_period操作(3GPPTS 32.353)，接口AlarmIRP下的get_alarm_list操作(3GPP TS32.111-3)。
2、利用测试事务模型设计模块设计设置心跳间隔功能测试事务和获取告警信息列表功能测试事务。
<设置心跳间隔功能测试事务>的设计如下：
I、设置测试用例<获取IRP概述信息>的参数<iRPVersion>为“CSIRP V9.0.0”；
II、调用测试用例<获取IRP概述信息>；
III、如测试用例<获取IRP概述信息>执行结果为成功，则将其输出参数<supportedIRPList[0].systemDN>、<supportedIRPList[0].irpList[O].rDN>的值赋予测试用例<获取IRP对象引用>的输入参数<systemDN>和<rDN>；否则本测试事务以执行失败告终；
IV、调用测试用例<获取IRP对象引用>；
V、如测试用例<获取IRP对象引用>执行结果为成功，则将其输出参数<iRPReference>的值导出到对象引用文件CSIRP.ior；否则本测试事务以执行失败告终；
VI、设置测试用例<设置心跳间隔>的参数<heartbeatPeriod>为5～60之间的任意整数，其接口对象引用指向文件CSIRP.ior；
VII、调用测试用例<设置心跳间隔>；
VIII、如测试用例<设置心跳间隔>执行结果为失败，则本测试事务以执行失败告终；
IX、调用测试用例<取心跳间隔>，其接口对象引用指向文件CSIRP.ior；
X、如测试用例<取心跳间隔>执行结果为成功，将其输出参数<heartbeatPeriod>的值与测试用例<设置心跳间隔>输入参数<heartbeatPeriod>的值作比较，如相等则本测试事务执行成功；否则本测试事务以执行失败告终。
<获取告警信息列表功能测试事务>的设计如下：
(1)设置测试用例<获取IRP概述信息>的参数<iRPVersion>为”AlarmIRP V9.0.0”；
(2)调用测试用例<获取IRP概述信息>；
(3)如测试用例<获取IRP概述信息>执行结果为成功，则将其输出参数<supportedIRPList[0].systemDN>、<supportedIRPList[0].irpList[O].rDN>的值赋予测试用例<获取IRP对象引用>的输入参数<systemDN>和<rDN>；否则本测试事务以执行失败告终；
(4)调用测试用例<获取IRP对象引用>；
(5)如测试用例<获取IRP对象引用>执行结果为成功，则将其输出参数<iRPReference>的值导出到对象引用文件AlarmIRP.ior；否则本测试事务以执行失败告终；
(6)设置测试用例<获取告警列表>的参数<baseObjectClass>、<baseObjectInstance>、<filter>为空，其接口对象引用指向文件AlarmIRP.ior；
(7)调用测试用例<获取告警列表>；
(8)如测试用例<获取告警列表>执行结果为成功，且其返回参数<alarmInformationList>包含所有告警条目，则本测试事务执行成功；否则本测试事务以执行失败告终。
3、利用测试计划模型规划模块规划一个测试计划A。
测试计划A的规划如下：
早上8:00执行<获取告警信息列表功能测试事务>
晚上18:00执行<设置心跳间隔功能测试事务>
4、利用测试计划执行模型提供的启动测试计划功能，将测试计划A放入执行任务列表中，并标明本任务针对的测试对象为CORBA接口类型。
5、早上8:00时间到达时，测试计划执行模块触发测试事务执行模块执行<获取告警信息列表功能测试事务>。测试事务执行模块对该事务进行解释执行并记录执行过程，当遇到测试用例调用逻辑触发测试用例执行模块解释执行相应的测试用例。测试用例执行模块对测试用例文件进行解释执行，构建测试消息，并通过接口协议适配模块适配为CORBA的IIOP协议原语发送给被测系统并接收测试响应，而后测试用例执行模块对测试响应消息进行测试结果判定。测试用例及测试事务的测试日志和测试结果以文件方式进行记录存储。
6、晚上18:00时间到达时，测试计划执行模块触发测试事务执行模块执行<设置心跳间隔功能测试事务>。测试事务执行模块对该事务进行解释执行并记录执行过程，当遇到测试用例调用逻辑触发测试用例执行模块解释执行相应的测试用例。测试用例执行模块对测试用例文件进行解释执行，构建测试消息，并通过接口协议适配模块适配为CORBA的IIOP协议原语发送给被测系统并接收测试响应，而后测试用例执行模块对测试响应消息进行测试结果判定。测试用例及测试事务的测试日志和测试结果以文件方式进行记录存储。
7、测试计划任务执行结束后，测试结果分析与报告生成模块自动对测试计划中涉及的测试事务、测试用例的执行情况进行分析，将测试结果统计信息及关键性能指标情况以表格报告形式呈现。
利用本发明提供的方法和系统进行第三代移动通信网网络管理接口测试，具有以下特征：
(1)通过形式化描述的测试模型驱动第三代移动通信网网络管理接口测试的自动执行，减少了人工测试的工作量，降低测试复杂度。
(2)测试模型分层建立，由下至上依次分为三层：测试用例模型、测试事务模型和测试计划模型。下层模型是上层模型的构建基础。三层测试模型分别对应于第三代移动通信网网络管理接口测试复杂需求的分解，测试用例模型对应于接口的原子操作测试需求，测试事务模型对应于接口的复杂业务测试需求，测试计划模型对应于接口的并发任务测试需求。
(3)测试用例模型由第三代移动通信网网管接口技术规范中定义的接口设计模型自动生成，每一测试用例均对应于相应的接口管理操作；测试事务模型依据第三代移动通信网网管接口技术规范中定义的接口分析模型动态构建，每一测试事务由若干测试用例通过一定逻辑关系组合而成；测试计划模型则是在时间维度上对若干测试事务的分布调度模型。
(4)测试模型通过解释执行程序转化为自动化的测试执行，并提供对不同网络管理接口协议技术的测试消息适配。
(5)依据测试模型中预设的测试结果判定规则，将实际测试结果与预期结果进行自动匹配，实现测试结果的自动评判，并自动生成测试结果报告。
利用本发明提供的方法和系统进行第三代移动通信网网络管理接口测试，具有以下优点：
1)以测试模型驱动第三代移动通信网网络管理接口测试执行过程的自动化，节约测试人力的投入，缩短测试周期，提高测试效率。
2)通过在测试模型中预设测试结果判定规则实现测试结果的自动评判，能够排除人为主观因素对测试结果的影响，有效地降低测试过程中的错误率，具有较高的一致性和可重复性，保证测试结果的质量。
3)测试模型分层建立，测试计划模型和测试事务模型依据网管接口标准中的分析模型动态构建，与具体网管接口技术无关；测试用例模型依据网管接口标准中的设计模型自动生成，其内容才与具体网管接口技术相关。这使得测试模型既具有通用性又具有灵活性，该方法能够适用于基于各类网管接口技术的第三代移动通信网网络管理接口的测试，减少由于网络管理协议技术多样化而引起的测试测试工作量的剧增。
4)测试模型具有可重用性、可回溯性、可复制性，不但可用于回归测试、复现测试等场合以极大的提升测试自动化程度，而且在功能测试需求发生升级演进变化时只需改动个别测试模型实例即可实现整体测试模型的重用，能够迅速适应网络管理接口标准版本的升级演进，避免重复编写测试程序代码带来的繁重工作和软件成本。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (8)
1.一种第三代移动通信网网络管理接口的测试方法，其特征在于，所述测试方法包括：
步骤A、生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
步骤B、启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告；
所述测试用例模型对应于第三代移动通信网网络管理接口规范中定义的管理操作，所述测试事务由若干测试用例通过一定逻辑关系组合而成，所述测试计划为对若干测试事务的时间调度；
步骤B中所述对触发的测试事务的逻辑进行解释执行进一步包括：
步骤B1、测试事务逻辑分析，判定当前测试事务逻辑是调用逻辑还是非调用逻辑，如为调用逻辑则转入步骤B3，如为非调用逻辑则转入步骤B2；
步骤B2、按照非调用逻辑的语义解释执行非调用逻辑，然后转入步骤B7；
步骤B3、对调用逻辑调用的测试用例进行解析，根据测试用例中测试行为参数及测试数据的设定封装适配为待发送的网管接口测试消息；
步骤B4、将测试消息发送给被测系统；
步骤B5、接收被测系统返回的测试响应消息并进行解析；
步骤B6、根据测试用例模型中预设的预期结果对测试用例的执行结果进行判定；
步骤B7、当每一步测试事务逻辑执行完毕后，判定所在的测试事务是否结束，如该测试事务尚未结束，则回到步骤B1，继续对该测试事务的后续逻辑进行解释执行；否则该测试事务执行结束。
2.根据权利要求1所述的测试方法，其特征在于，步骤A中所述根据测试用例模型生成测试事务模型之后，所述测试方法进一步包括校验测试事务模型的步骤，
步骤A中所述根据测试事务模型生成测试计划模型具体包括：根据通过校验的测试事务模型生成测试计划模型。
3.根据权利要求1所述的测试方法，其特征在于，步骤B中所述对触发的测试事务的逻辑进行解释执行之后，所述方法进一步包括：判断测试计划是否完成；如测试计划中尚有其他待执行的测试事务，则触发测试下一个测试事务，
步骤B中所述根据测试事务的执行结果生成测试报告具体包括：根据测试计划中所有测试事务的执行结果生成测试报告。
4.根据权利要求1所述的测试方法，其特征在于，在步骤B6中对测试用例的执行结果进行判定后，本测试方法还包括将测试过程和测试结果分别记录在测试日志文件中和测试结果文件中的步骤。
5.根据权利要求1所述的测试方法，其特征在于，所述测试报告包括：测试用例的执行总数、测试用例执行成功数、测试执行失败数、测试事务执行总数、测试事务执行成功数、测试事务执行失败数、测试用例平均/最大/最小执行时长和测试事务平均/最大/最小执行时长中的一种或多种。
6.根据权利要求1所述的测试方法，其特征在于，所述测试用例模型由测试行为、测试数据和预期结果三部分组成。
7.一种第三代移动通信网网络管理接口的测试系统，其特征在于，所述测试系统包括：相互连接的测试模型生成装置和测试模型执行装置；其中，
所述测试模型生成装置用于生成测试用例模型，根据测试用例模型生成测试事务模型，根据测试事务模型生成测试计划模型；
所述测试模型执行装置用于启动已生成的测试计划模型，在测试计划模型预定的时间点到达时，触发设定在该时间点上的测试事务，对触发的测试事务的逻辑进行解释执行，根据测试事务的执行结果生成测试报告；
所述测试模型执行装置包括依次连接的测试计划执行模块、测试事务执行模块、测试用例执行模块和接口协议适配模块；所述测试事务执行模块和测试用例执行模块分别与测试结果分析与报告生成模块相连接；其中，
所述测试计划执行模块，用于作为测试计划模型的解释引擎，将依照测试计划中规定的时间调度策略触发测试事务执行模块执行相应的测试事务；
所述测试事务执行模块，用于对测试事务模型进行解释执行并记录执行结果，当遇到测试用例调用逻辑时将触发测试用例执行模块解释执行相应的测试用例；
所述测试用例执行模块，用于解析相应的测试用例文件，构建测试消息传递给接口协议适配模块，接收所述接口协议适配模块反馈的测试响应消息并进行测试结果判定，记录测试日志和测试结果；
所述接口协议适配模块，用于根据被测系统所使用的网管协议的不同，将测试消息封装为对应的协议原语发送给被测系统，并从被测系统处接收测试响应原语，再将其转化为测试用例执行模块可识别的测试响应消息；
所述测试结果分析与报告生成模块，用于对测试结果和测试日志进行分析，将测试结果统计信息及关键性能指标情况以表格报告形式呈现。
8.根据权利要求7所述的测试系统，其特征在于，所述测试模型生成装置包括依次连接的测试用例模型生成模块、测试事务模型设计模块和测试计划模型规划模块；其中，
所述测试用例模型生成模块，用于根据第三代移动通信网网管接口规范中定义的接口设计模型文件生成相应的测试用例模型实例；
所述测试事务模型设计模块，用于根据第三代移动通信网网管接口测试需求选择相关的测试用例模型实例进行逻辑组织并形成测试事务模型；
所述测试计划模型规划模块，用于根据第三代移动通信网网管接口测试需要选择相关的测试事务模型实例按照一定的时间部署策略组合后形成测试计划模型以驱动测试执行相关的模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010620664 CN102111801B (zh) | 2010-12-23 | 2010-12-23 | 第三代移动通信网网络管理接口的测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010620664 CN102111801B (zh) | 2010-12-23 | 2010-12-23 | 第三代移动通信网网络管理接口的测试方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102111801A CN102111801A (zh) | 2011-06-29 |
| CN102111801B true CN102111801B (zh) | 2013-08-21 |
Family
ID=44175791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010620664 Expired - Fee Related CN102111801B (zh) | 2010-12-23 | 2010-12-23 | 第三代移动通信网网络管理接口的测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102111801B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581808B (zh) * | 2015-01-19 | 2018-11-27 | 广东欧珀移动通信有限公司 | 测试移动网络性能的方法、装置及移动终端 |
| CN106301994B (zh) * | 2015-06-24 | 2023-11-03 | 北京京东尚科信息技术有限公司 | 一种网络通信异常测试方法和装置 |
| CN106354621B (zh) * | 2015-07-14 | 2019-02-26 | 北京国双科技有限公司 | 网页测试的投放方法及装置 |
| CN107451056B (zh) * | 2017-07-31 | 2020-11-10 | 深圳乐信软件技术有限公司 | 监听接口测试结果的方法及装置 |
| CN114531376A (zh) * | 2020-10-30 | 2022-05-24 | 中国移动通信有限公司研究院 | 一种组合测试任务的方法、装置、设备及可读存储介质 |
| US11533247B2 (en) | 2021-03-19 | 2022-12-20 | Oracle International Corporation | Methods, systems, and computer readable media for autonomous network test case generation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1625129A (zh) * | 2003-12-03 | 2005-06-08 | 华为技术有限公司 | 设备间的互通性测试方法及系统 |
| CN101017457A (zh) * | 2007-02-09 | 2007-08-15 | 山东浪潮齐鲁软件产业股份有限公司 | 一种计算机软件的自动化测试方法 |
| CN101227350A (zh) * | 2008-02-03 | 2008-07-23 | 中兴通讯股份有限公司 | 一种基于优先级调度的并行执行自动化测试系统及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090199047A1 (en) * | 2008-01-31 | 2009-08-06 | Yahoo! Inc. | Executing software performance test jobs in a clustered system |
-
2010
- 2010-12-23 CN CN 201010620664 patent/CN102111801B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1625129A (zh) * | 2003-12-03 | 2005-06-08 | 华为技术有限公司 | 设备间的互通性测试方法及系统 |
| CN101017457A (zh) * | 2007-02-09 | 2007-08-15 | 山东浪潮齐鲁软件产业股份有限公司 | 一种计算机软件的自动化测试方法 |
| CN101227350A (zh) * | 2008-02-03 | 2008-07-23 | 中兴通讯股份有限公司 | 一种基于优先级调度的并行执行自动化测试系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102111801A (zh) | 2011-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102111801B (zh) | 第三代移动通信网网络管理接口的测试方法及系统 | |
| CN103365770B (zh) | 移动终端软件测试系统及软件测试方法 | |
| CN101882105B (zh) | 一种测试Web网页并发环境下响应时间的方法 | |
| CN101930400B (zh) | Sdk自动化测试系统及方法 | |
| CN109902017A (zh) | 一种基于RobotFramework测试Dubbo接口的方法及终端 | |
| CN113706110B (zh) | 一种fpga测试工具一体化测试管理平台 | |
| CN104268079A (zh) | 一种pos应用程序测试的方法及系统 | |
| CN111130922A (zh) | 一种机载信息安全自动化测试方法及测试平台 | |
| CN104516809A (zh) | 一种自动化测试系统及方法 | |
| CN105760300B (zh) | 一种stk/utk业务的自动化测试方法及测试系统 | |
| CN103246606A (zh) | Esb平台的性能方法和系统 | |
| CN115396352B (zh) | Cms服务器端协议测试方法、系统、设备及存储介质 | |
| CN114398293A (zh) | 接口测试用例生成方法、电子设备和存储介质 | |
| CN107122307B (zh) | 一种物联网执行系统 | |
| CN108897695A (zh) | 一种需求侧设备的互联测试方法及系统 | |
| CN102750143A (zh) | 基于matlab com组件调用的dsp开发方法 | |
| CN101303646B (zh) | 基于可执行元语言的电信领域建模方法 | |
| CN110287092A (zh) | 一种基于图形界面的电力交易系统及其自动测试方法 | |
| CN113747150A (zh) | 一种基于容器云实现的视频服务系统的测试方法和系统 | |
| CN116467188A (zh) | 一种多环境场景下的通用本地复现系统和方法 | |
| CN103019927B (zh) | 一种性能测试方法和系统 | |
| CN114205789A (zh) | 一种5g站点的开通方法、系统和存储介质 | |
| CN113391996A (zh) | 一种基于工作流程的软件接口组合执行测试方法 | |
| CN113722240A (zh) | 一种linux操作系统管理平台的稳定性测试方法及系统 | |
| KR101550871B1 (ko) | 스마트폰을 사용한 이동 통신시스템 시험 자동화 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130821 Termination date: 20151223 |
|
| EXPY | Termination of patent right or utility model |