CN101001182A

CN101001182A - 网管接口测试的自适应测试方法及系统

Info

Publication number: CN101001182A
Application number: CN 200710000561
Authority: CN
Inventors: 易学明; 张琳峰
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2007-01-12
Filing date: 2007-01-12
Publication date: 2007-07-18
Anticipated expiration: 2027-01-12
Also published as: CN101001182B

Abstract

本发明公开了一种用于网管接口测试的自适应测试方法和系统。所述方法包括以下步骤：将标准接口定义文件装载进测试系统，其中所述标准接口定义文件与测试系统相独立；将设备接口定义文件装载进测试系统，其中所述设备接口定义文件与测试系统相独立；从标准接口定义文件中提取测试项；通过测试项，动态地查询设备接口定义文件；根据查询结果生成测试请求；由被测系统对测试请求进行响应；以及，由测试系统对被测系统的响应进行分析处理。在一些实施例中，所述方法还包括进行精确查询和/或模糊查询。此外，所述方法还包括产生异常处理，以及手动地将测试项和设备接口定义文件中的项进行关联。

Description

网管接口测试的自适应测试方法及系统

技术领域

本发明一般涉及移动通信网络管理，更具体来说，涉及一种网管接口测试的自适应测试方法和系统，其中，所述网管接口测试特别是3G系统中的网管接口测试。

背景技术

现有技术中的网络管理接口测试系统都是静态的测试系统。在所述静态的测试系统中，测试执行程序和相应的接口定义是相关联的并且不是相互独立的，即，如果所测试的接口定义发生改变，则也要相应地改变测试执行程序，因此，需要根据各个具体的接口定义来得到相应的测试执行程序代码。于是，当接口定义被升级或者发生改变之后，原有的测试执行程序就不再适用。此时，需要根据新的接口定义重新编译生成测试执行程序代码。这种做法会给测试工作带来很大的不便。

例如，现今，在移动通信网络中，移动通信网络设备不是由单一设备商设计生产的，而不同设备商的接口定义可能会存在一些差别。如果采用静态的测试系统进行接口测试，那么在测试过程中就不得不为每个厂家的设备准备一套测试系统，这样做显然是很不方便的。

另外，在现有技术的静态测试系统中，如果发现待测试的项与标准参考项不能够完全匹配，则就认为被测设备的接口定义与标准的接口定义不一致。这在某些情况下会产生误判断，例如，如果待测试的项与标准参考项的区别仅在于其中一个的函数名称是以大写字母开始的而另一个是以小写字母开始的，则静态测试系统会认为二者不一致，这是不正确的，因为，二者所实现的功能在实质上是一致的。

再者，在现有技术中，测试系统在产生测试请求时不了解被测设备的接口定义，它根据自己设想的标准接口定义来产生测试请求并将所述测试请求发送给被测设备，并且等待被测设备的响应。如果被测设备无法识别所述测试请求，则其会向测试系统发送报警作为响应或者甚至不进行任何响应。不论被测设备是否作出响应，测试系统都需要进行等待，在后者的情况下，测试系统甚至会等待更长的时间。这种做法显然会使测试速度变慢。另外，如果被测设备不进行响应或者响应内容不完全，则测试系统无法定位产生错误(不一致性)的原因。

因此，需要一种新的技术方案来解决上述现有技术中的问题。

发明内容

本发明的目的是提供一种网管接口测试的自适应测试方法和系统，以便提高网管接口测试系统的自适应程度和健壮性程度，以及加快测试的速度。

根据本发明的一个方面，提供了一种用于网管接口测试的自适应测试方法，其包括以下步骤：将标准接口定义文件装载进测试系统，其中所述标准接口定义文件与测试系统相独立；将设备接口定义文件装载进测试系统，其中所述设备接口定义文件与测试系统相独立；从标准接口定义文件中提取测试项；通过测试项，动态地查询设备接口定义文件；根据查询结果生成测试请求；由被测系统对测试请求进行响应；以及，由测试系统对被测系统的响应进行分析处理。

根据本发明的实施例，所述动态地查询设备接口定义文件的步骤包括：进行精确查询，和/或进行模糊查询。此外，当查询失败时，根据本发明的方法还可以产生异常处理。在根据本发明的方法中，尤其是当产生所述异常时，还可以手动地将测试项与设备接口定义文件中的项进行关联。

根据本发明的另一个方面，提供了一种用于网管接口测试的自适应测试系统，其包括：标准接口定义文件编译解析存储模块，用于装载和解析标准接口定义文件，其中所述标准接口定义文件与测试系统相独立；设备接口定义文件编译解析存储模块，用于装载和解析设备接口定义文件，其中所述设备接口定义文件与测试系统相独立；测试系统初始化模块，用于从标准接口定义文件中提取测试项；接口信息动态查询模块，用于通过测试项动态地查询设备接口定义文件，并根据查询结果生成测试请求；测试请求发送模块，用于将测试请求发送给被测系统；以及，测试相应接收及处理模块，用于对被测系统的响应进行分析处理。

在根据本发明的实施例中，所述接口信息动态查询模块能够进行精确查询和/或模糊查询。此外，所述接口信息动态查询模块还能够在查询失败时产生异常处理。另外，所述测试系统还包括用于让测试人员手动地将测试项与设备接口定义文件中的项进行关联的装置。

在根据本发明的用于网管接口测试的自适应测试方法及系统中，接口定义文件与测试系统的程序执行相互独立。因此，在接口定义文件发生变化时，测试系统的程序不用随之进行改变。因而，根据本发明的测试方法及系统具有很好的自适应性。

根据本发明的自适应测试方法和系统支持精确查询和模糊查询，以及还支持通过手动方式进行关联，这样可以减小误判断的概率，因而，根据本发明的测试方法及系统具有很高的健壮性。此外，这些技术特征还可以增加测试过程的灵活性。

在根据本发明的用于网管接口测试的自适应测试方法及系统中，测试系统在生成测试请求时会查询设备接口定义文件，并在查询失败时可以产生异常处理。这样，在一些情况下，测试系统不必等待被测系统的响应，就能够确定被测系统的不一致性，从而在一定程度上加快测试速度。而且，在这种情况下，测试系统还能够准确地确定产生不一致性的原因。

在根据本发明的用于网管接口测试的自适应测试方法及系统中，由于标准接口定义文件和设备接口定义文件与测试系统相互独立，因此，在测试过程中，可以根据所述接口定义文件动态地构造测试请求和处理测试响应，而不需要通过生成程序代码生成来进行所述处理。这使得测试系统的核心程序部分非常精简，并且容易对其进行扩展和升级。

附图说明

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1是根据本发明的一个实施例的方法的流程图；以及

图2是根据本发明的一个实施例的系统的框图。

具体事实方式

为了简明和清楚起见，附图中的单元不必按照比例来进行绘制，并且在不同附图中，相同参考标记表示相同的单元。此外，为了描述的简明以及不会在不必要的方面使得本发明模糊，而省略了关于公知步骤和单元的描述和细节。

本领域的普通技术人员应该明白，前面的一般描述和下面的详细描述是对发明进行举例和说明的，而不是为了对本发明进行限制的。

在本发明中，对于接口的定义与测试执行程序相互分离，二者彼此独立，因此，当接口定义发生变化时，仍可采用原先的测试执行程序，而不需要重新编制测试执行程序。对于接口的定义是现有技术中的公知常识。例如，接口可以通过IDL(接口定义语言，InterfaceDefinition Language)文件或XML文件来定义。比如，3G OMC北向接口就是由多个IDL文件来定义的。IDL文件定义了接口的数据类型和一些对外的操作。以下为一个IDL接口定义的例子：

interface AlarmIRP

{

/^*

Return the list of all supported Alarm IRP versions.

Implementations are to provide a return vahue consisting of one or more

IRPVersions.

Each IRPVersion is defined by the rule in the clause titled

″IRP document version number string″

^*/

ManagedGenericIRPConstDefs::VersionNumberSet get_alarm_IRP_versions(

)

raises(GetAlarmIRPVersions)；

/^*

Return the list of allsupported operations and their supported

parameters for a specific Alarm IRP version.

^*/

ManagedGenericIRPConstDefs::MethodList get_alarm_IRP_operations_profile(

in ManagedGenericIRPConstDefs::VersionNumber alarm_irp_version

)

raises(GetAlarmIRPOperationsProfile，

ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

Return the list of all supported notifications and their supported

parameters for a specific Alarm IRP version.

^*/

ManagedGenericIRPConstDefs::MethodList get_alarm_IRP_notification_profile

(

in ManagedGenericIRPConstDefs::VersionNumber alarm_irp_version

)

raises(GetAlarmIRPNotificationProfile，

ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

Request to acknowledge one or more alarms.

^*/

ManagedGenericIRPConstDefs::Signal acknowledge_alarms(

in AlarmIRPConstDefs::AlarmInformationIdAndSevSeq

alarm_information_id_and_sev_list，

in string ack_user_id，

in ManagedGenericIRPConstDefs::StringTypeOpt ack_system_id，

out AlarmIRPConstDefs::BadAcknowledgeAlarmInfoSeq

bad_ack_alarm_info_list

)

raises(AcknowledgeAlarms，ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

Request to remove acknowledgement information of one or more alarms.

^*/

ManagedGenericIRPConstDefs::Signal unacknowledge_alarms(

in AlarmIRPConstDefs::AlarmInformationIdSeq alarm_information_id_list，

in string ack_user_id，

in ManagedGenericIRPConstDefs::StringTypeOpt ack_system_id，

out AlarmIRPConstDefs::BadAlarmInformationIdSeq

bad_alarm_information_id_list

)

raises(UnacknowledgeAlarms，

ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

Make comment to one or more alarms.

^*/

ManagedGenericIRPConstDefs::Signal comment alarms(

in AlarmIRPConstDefs::AlarmInformationIdSeq alarm information_id_list，

in string comment_user_id，

in ManagedGenericIRPConstDefs::StringTypeOpt comment_system_id，

in string comment_text，

out AlarmIRPConstDefs::BadAlarmInformationIdSeq

bad_alarm_information_id_list

)

raises(CommentAlarms，ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

Request to clear one or more alarms.

^*/

ManagedGenericIRPConstDefs::Signal clear alarms(

in AlarmIRPConstDefs::AlarmInformationIdSeq alarm_information_id_list，

in string clear_user_id，

in ManagedGenericIRPConstDefs::StringTypeOpt clear_system_id，

out AlarmIRPConstDefs::BadAlarmInformationIdSeq

bad_alarm_information_id_list

)

raises(ClearAlarms，ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

This method returns Alarm Informations.

If flag is TRUE，all returned Alarm Informations shall be

in AlarmInformationSeq that contains O or more Alarm Informations.

Output parameter iter shall be useless.

If flag is FALSE，no Alarm Informations shall be in AlarmInformationSeq.

IRPAgent needs to use iter to retrieve them.

^*/

AlarmIRPConstDefs::AlarmInformationSeq get_alarm_list(

in ManagedGenericIRPConstDefs::StringTypeOpt filter，

in AlarmIRPConstDefs::DNTypeOpt base_object，

out boolean flag，

out AlarmInformationIterator iter

)

raises(GetAlarmList，ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

/^*

This method returns the count of Alarm Informations.

^*/

void get_alarm_count(

in ManagedGenericIRPConstDefs::StringTypeOpt filter，

out unsigned long critical_count，

out unsigned long major_count，

out unsigned long minor_count，

out unsigned long warning_count，

out unsigned long indeterminate_count，

out unsigned long cleared_count

)

raises(GetAlarmCount，ManagedGenericIRPSystem::OperationNotSupported，

ManagedGenericIRPSystem::ParameterNotSupported，

ManagedGenericIRPSystem::InvalidParameter)；

}；

在测试时，将接口定义文件(例如，上述的IDL接口定义文件)装载进测试系统中。测试系统对所装载的接口定义文件进行扫描，从其中提取相关的函数和参数，生成接口信息文件，并以一定的方式对其进行存储。接口信息文件定义了一系列的接口操作，并且包括很多供调用的函数。测试系统根据标准接口信息来检索设备接口信息文件，并生成测试请求，以便进行测试。

下面参照图1和2来说明书本发明的各个方面。

在图1中，说明了根据本发明的一个实施例的方法100的流程图。

在步骤S102，测试系统从外部接收标准接口定义文件数据，例如，由测试人员将标准接口定义文件数据输入到测试系统中，或者通过有线、无线、存储介质或者本领域的普通技术人员所能想到的任何方式将标准接口定义文件数据输入测试系统中。标准接口定义文件是在测试过程中作为测试基准的接口定义文件，即，基于标准接口定义文件来判断设备的接口定义是否合乎规范的要求。测试系统对标准接口定义文件数据进行扫描，从其中提取相关的函数信息和数据类型信息等，并将所提取的内容存储起来，以用于初始化测试系统的操作。可选地，测试系统可以用表格的形式存储所述提取的内容。可选地，测试系统可以为所提取的内容建立相关的索引。

在步骤S104，测试系统从外部接收设备接口定义文件数据，例如，由测试人员将设备接口定义文件数据输入到测试系统中，或者通过有线、无线、存储介质或者本领域的普通技术人员所能想到的任何方式将设备接口定义文件数据输入测试系统中。设备接口定义文件是由设备商提供的，用于说明被测系统的接口。测试系统对设备接口定义文件数据进行扫描，从其中提取相关的函数信息和数据类型信息等，并将所提取的内容存储起来，以用于动态查询设备接口信息和生成测试请求的操作。可选地，测试系统可以用表格的形式存储所述提取的内容。可选地，测试系统可以为所提取的内容建立相关的索引。

在步骤S106，测试系统进行初始化。测试系统将会生成测试用例，例如，可以根据以下信息来生成测试用例：从标准接口定义文件中所提取的信息和/或测试人员所配置的信息。作为一个非限制性的例子，所述信息和/或测试用例可以被显示在测试系统界面上，以供测试人员观察和/或进行设置。在这种情况下，测试人员可以通过测试系统界面，方便且直观地设置测试用例。

其中，在网络接口一致性测试中，用于存储执行某次接口操作所需的信息的文件被称为测试用例，所述信息一般可以包括：诸如接口操作名称(或操作函数名称)和输入参数等的必要信息；以及辅助信息，诸如对测试项进行描述的测试说明等。测试用例是对单个接口操作进行语法测试的基本单位。根据接口信息的表示方式，测试用例可以是以IDL文件格式的或者是任何其他可行的文件格式的，例如，也可以用XML文件来表示测试用例。

在步骤S108，测试系统根据所生成的测试用例动态地查询设备接口信息。例如，测试系统根据测试用例中的函数信息和/或参数，在设备接口信息文件中查询(或者调用)相应的函数和/或参数。

作为一个非限制性的例子，在查询过程中，可以采用精确查询的方法，例如，要求设备信息文件中的项与查询项完全一致。

作为另一个非限制性的例子，在查询过程中，也可以采用模糊查询，例如，根据某种规则来进行查询，其中，不要求设备信息文件中的项与查询项完全一致，二者可以存在一些差异。本领域的普通技术人员可以想到许多模糊查询的方式，例如，在查询过程中可以忽略大小写字母的差异等。可选地，在测试过程中还可以对模糊查询的规则动态地进行配置。

在一个实施例中，测试系统还能够对异常进行处理。例如，如果测试系统在设备接口信息文件中没有找到相应的函数或参数或者发现参数不匹配，则测试系统会给出错误提示，例如，在测试系统界面上产生警告。

作为一个非限制性的例子，可以在测试系统界面上显示标准接口信息列表和设备接口信息列表。当产生所述异常时，测试系统可以提示测试人员手动进行关联操作，此时，测试人员可以手动将标准接口信息列表中的项与设备接口信息列表中的项进行关联。这进一步增加了应用根据本发明的测试系统的灵活性。

在步骤S110，测试系统根据动态查询的结果生成测试请求。

在步骤S112，测试系统将测试请求发送给被测系统。

在步骤S114，被测系统对测试请求进行响应，并把响应结果返回给测试系统。

在步骤S116，测试系统对被测系统返回的测试响应进行分析处理，并得出测试结果。测试系统可以将所述测试结果显示在测试系统界面上。作为一个非限制性的例子，测试系统还可以将所述测试结果输出到文件中。

在图2中描述了根据本发明的实施例的示例性测试系统200的框图。测试系统200可以实现上面根据图1所描述的方法100。

在图2中，测试系统200包括测试系统初始化模块、标准接口定义文件编译解析存储模块、设备接口定义文件编译解析存储模块、测试系统界面、接口信息动态查询模块、测试请求发送模块和测试相应接收及处理模块。

标准接口定义文件编译解析存储模块从外部接收标准接口定义文件数据，例如，接收测试人员输入的标准接口定义文件数据，或者通过有线、无线、存储介质或者本领域的普通技术人员所能想到的任何方式来接收标准接口定义文件数据。标准接口定义文件是在测试过程中作为测试基准的接口定义文件，即，基于标准接口定义文件来判断设备的接口定义是否合乎规范的要求。标准接口定义文件编译解析存储模块对标准接口定义文件数据进行扫描，从其中提取相关的函数信息和数据类型信息等，并将所提取的内容存储起来，以供测试系统初始化模块使用。可选地，标准接口定义文件编译解析存储模块可以用表格的形式存储所述提取的内容。可选地，标准接口定义文件编译解析存储模块可以为所提取的内容建立相关的索引。可选地，标准接口定义文件编译解析存储模块可将所提取的内容发送到测试系统界面上进行显示。

设备接口定义文件编译解析存储模块从外部接收设备接口定义文件数据，例如，接收由测试人员输入的设备接口定义文件数据，或者通过有线、无线、存储介质或者本领域的普通技术人员所能想到的任何方式来接收设备接口定义文件数据。设备接口定义文件是由设备商提供的，用于说明被测系统的接口。设备接口定义文件编译解析存储模块对设备接口定义文件数据进行扫描，从其中提取相关的函数信息和数据类型信息等，并将所提取的内容存储起来，以供接口信息动态查询模块使用。可选地，设备接口定义文件编译解析存储模块可以用表格的形式存储所述提取的内容。可选地，设备接口定义文件编译解析存储模块可以为所提取的内容建立相关的索引。可选地，设备接口定义文件编译解析存储模块可将所提取的内容发送到测试系统界面上进行显示。

在进行测试时，测试系统初始化模块对测试系统进行初始化以生成测试用例，例如，可以根据以下信息来生成测试用例：从标准接口定义文件编译解析存储模块所获取的信息；和/或测试人员在测试系统界面所配置的信息。作为一个非限制性的例子，所述信息和/或测试用例可以被显示在测试系统界面上，以供测试人员观察和/或进行设置。在这种情况下，测试人员可以通过测试系统界面，方便且直观地设置测试用例。

接口信息动态查询模块根据所生成的测试用例动态地查询设备接口定义文件编译解析存储模块中的设备接口信息文件。例如，接口信息动态查询模块根据测试用例中的函数信息和/或参数，在设备接口信息文件中查询(或者调用)相应的函数和/或参数。如前面参照图1所描述的那样，在查询过程中，可以采用精确查询和/或模糊查询。

在一个实施例中，接口信息动态查询模块还能够对异常进行处理。例如，如果接口信息动态查询模块在设备接口信息文件中没有找到相应的函数或参数或者发现参数不匹配，则接口信息动态查询模块会给出错误提示，例如，将错误提示发送到测试系统界面，并在其上产生警告。

作为一个非限制性的例子，可以在测试系统界面上显示标准接口信息列表和设备接口信息列表。当接口信息动态查询模块上报所述异常之后，测试系统界面可以提示测试人员手动进行关联操作。此时，测试人员可以手动地指示将标准接口信息列表中的项与设备接口信息列表中的项进行关联。接着，接口信息动态查询模块根据所述指示将标准接口信息列表中的项与设备接口信息列表中的项关联起来。这进一步增加了应用根据本发明的测试系统的灵活性。

接口信息动态查询模块根据动态查询的结果生成测试请求。

测试请求发送模块将测试请求发送给接口协议底层交互平台。接口协议底层交互平台能够将测试系统的命令转换为被测系统所能识别的命令，并将所转换的命令发送给被测系统。当然，如本领域技术人员所能够理解的那样，还可通过其它方式将测试请求发送给被测系统，例如，还可以直接将测试请求发送给被测系统。

被测系统对测试请求进行响应，并且通过接口协议底层交互平台将响应返回给测试系统。在测试系统中，测试响应接收及处理模块接收到返回的测试响应，对其进行分析和处理，并得出测试结果。测试系统可以将所述测试结果显示在测试系统界面上。作为一个非限制性的例子，测试系统还可以将所述测试结果输出到文件中。

可以通过各种方式来实现本发明的方法及系统。例如，可以通过软件、硬件、固件以及其任意组合来实现本发明的方法及系统。另外，在某些实施例中，本发明还可以体现为在记录介质上所记录的程序，其包括用于实现根据本发明的方法的机器可读指令。

尽管上面已经通过例子对本发明的特定实施例进行了详细描述，但是，本领域的普通技术人员应当理解，上述例子仅是说明性的而并非是对本发明的限制。本领域的普通技术人员应当明白，在不脱离本发明的精神和范围的情况下，可以对上述实施例做出修改。本发明的范围由所附的权利要求来限定。

Claims

1.一种用于网管接口测试的自适应测试方法，其包括以下步骤：

将标准接口定义文件装载进测试系统，其中所述标准接口定义文件与测试系统相独立；

将设备接口定义文件装载进测试系统，其中所述设备接口定义文件与测试系统相独立；

从标准接口定义文件中提取测试项；

通过测试项，动态地查询设备接口定义文件；

根据查询结果生成测试请求；

由被测系统对测试请求进行响应；以及

由测试系统对被测系统的响应进行分析处理。

2.根据权利要求1所述的方法，其中，所述动态地查询设备接口定义文件的步骤包括：进行精确查询。

3.根据权利要求1所述的方法，其中，所述动态地查询设备接口定义文件的步骤包括：进行模糊查询。

4.根据权利要求1所述的方法，其中，所述动态地查询设备接口定义文件的步骤包括：当查询失败时产生异常处理。

5.根据权利要求1或4所述的方法，其中，所述动态地查询设备接口定义文件的步骤包括：手动地将测试项与设备接口定义文件中的项进行关联。

6.一种用于网管接口测试的自适应测试系统，其包括：

标准接口定义文件编译解析存储模块，用于装载和解析标准接口定义文件，其中所述标准接口定义文件与测试系统相独立；

设备接口定义文件编译解析存储模块，用于装载和解析设备接口定义文件，其中所述设备接口定义文件与测试系统相独立；

测试系统初始化模块，用于从标准接口定义文件中提取测试项；

接口信息动态查询模块，用于通过测试项动态地查询设备接口定义文件，以及根据查询结果生成测试请求；

测试请求发送模块，用于将测试请求发送给被测系统；以及

测试相应接收及处理模块，用于对被测系统的响应进行分析处理。

7.根据权利要求6所述的系统，其中，所述接口信息动态查询模块能进行精确查询。

8.根据权利要求6所述的系统，其中，所述接口信息动态查询模块能进行模糊查询。

9.根据权利要求6所述的系统，其中，所述接口信息动态查询模块在查询失败时产生异常处理。

10.根据权利要求6或9所述的系统，其中，所述测试系统还包括用于让测试人员手动地将测试项与设备接口定义文件中的项进行关联的装置。