CN104641673B - 用于自动配置测试仪的方法和测试系统 - Google Patents

Abstract

一种自动配置测试仪(12)以在被测移动台(11)和模拟移动通信系统的测试仪(12)之间进行功能测试的方法。该方法执行以下步骤：在所述测试仪中根据所述被测移动台的类型接收识别信息(32)，所述测试仪从设备数据库中检索所识别类型的所述被测移动台的特征参数(33)，以及所述测试仪从测试用例数据库中选择适用于所识别的被测移动台的特征参数的测试用例子集，并提供所述测试用例子集以通过应用所选择的子集中的一个或多个测试用例来产生测试程序(35)。

Description

用于自动配置测试仪的方法和测试系统

技术领域

本发明涉及一种用于自动配置测试仪以在作为移动设备的移动台和模拟移动通信系统的测试仪之间进行功能测试的方法和测试系统，以及本发明涉及应用该方法的数字存储介质和计算机程序。

背景技术

目前的移动台需要根据操作功能(即根据通信系统中OSI模型第1-3层的无线电和连接功能)和应用(例如根据移动通信系统中用于通信的OSI模型第5-7层的基于数据传输的语音和/或数据服务或服务)来进行测试。特别地，操作功能测试必须在移动台的开发过程中和一致性测试过程中进行，以释放移动台用以在公共移动网络中使用。

移动台通常支持工作在不同频带的、支持与不同移动标准(如HSPA、LTE-A)相关的各种功能的各种不同移动通信标准。在较早的开发阶段，移动台通常不支持所有的强制性的特征(如安全过程)，以通过所有需要的信令过程。因此，需要根据待测试的每个移动台的工作参数和功能来调整测试仪(如频带、认证版本)，以及为一些过程配置特定值以在一种测试用例下测试所有其它功能。

另一方面，大量的测试场景和测试用例被提供给测试员，但是并不是所有测试场景和测试用例都对连接的移动台适用，这是因为例如移动台并不支持移动标准LTE、WCDMA等或其特定的实现方式(如HSDPA、HSUPA、LTE版本9/10等)，或是因为待测试移动台的软件版本还不完整且并不支持所有功能(如安全功能)。

在DE 10 2009 015 248 A1中，描述了一种用于相对于运行在移动台上的应用程序或系统程序自动测试移动台的方法。在该方法中，通信网络中的处理单元(如测试服务器)接收被测移动台的识别号，和例如应对在应用程序执行过程中出现的错误时关于所需的通过测试员或移动台自身待在移动台上执行的测试的信息。该处理单元选择一个或多个存储的测试程序并可选地使这些程序适用于关于所需的测试程序所接收的信息中提供的特定参数。移动台的类型由移动台的识别号来识别，此处为MSISDN号。适用于这类移动台的测试规范已经存储在测试服务器中。该处理单元例如通过使用短消息服务(SMS)将测试程序发送给被测移动台，其中测试程序在该移动台上执行。该移动台将测试结果发送回处理单元用于评估。

该测试方法仅选择或调整测试程序以测试运行在特定类型功能(即OSI第5-7层的功能)上的应用程序或系统程序。为了测试OSI第1-3层的操作功能(即无线电传输功能或连接功能或移动管理功能，其需要在移动台和移动通信系统之间交换信令消息)，需要测试仪对移动通信系统的网络部分进行模拟。该测试仪需要依据在待测试的实际移动台上使用或实现的频带、调制、软件和硬件版本等进行配置。此外，取决于已经在移动台上实现的功能，只有一测试用例的子集会被成功执行。

发明内容

因此，本申请的目的是提供一种支持测试员选择测试仪的合适的测试用例以及根据实际被测移动台的能力配置测试仪的方法和测试系统。

该目的通过根据权利要求1的特征的发明方法、根据权利要求15的特征的发明测试系统、根据权利要求21和22的数字存储介质和计算机程序来实现。从属权利要求涉及本发明方法和测试系统的有利的实施方式。

自动配置测试仪以在作为被测移动台的移动台和模拟移动通信系统的测试仪之间进行功能测试的方法包括的第一步骤为：测试仪在所述测试仪中根据所述被测移动台的类型接收识别信息。所述测试仪从设备数据库中检索所识别类型的所述被测移动台的特征参数。然后，所述测试仪从测试用例数据库中选择适用于所识别的被测移动台的特征参数的测试用例子集，并提供所述测试用例子集以通过应用所选择的子集中的一个或多个测试用例来产生测试程序

可选地，测试仪的工作参数被自动配置，使得能够使用所识别的被测移动台的特征参数执行测试程序。

这通过减少由针对专用被测移动台的测试仪配置中的错误产生的不成功测试的数量大大减少了配置测试仪的时间。此外，测试员需要知道被测移动台的特征的较少细节且该测试可被更容易地再现。

在优选的实施方式中，该方法还包括评估所执行的测试程序所创建的日志文件并根据评估结果调整所述测试仪所应用的配置和/或所选择的测试用例子集。这使得可以快速识别例如遗漏或错误设置的参数，或无法获得但所需的测试仪的软件或硬件，以及持续改善测试用例数据库和/或设备数据库。

优选地，测试仪接收被测移动台的识别信息，以及可选地还通过连接的数据存储介质和/或图像识别单元和/或条形码读取器接收被测移动台的特征参数或部分特征参数。这使得可以非常灵活地，特别是使用条形码读取器，输入被测移动台的识别信息和特征参数。特别地，数据存储介质和条形码可提供大量数据，因此额外的信息，如来自制造商的有关被测移动台的软件或硬件版本的信息以及唯一分配给该移动台的国际移动设备识别码(IMEI)，也可很容易被提供。

另一优选的实施方式是通过被测移动台自身发送给测试仪的信令消息接收识别信息和/或特征参数。与移动台能力有关的信息包含在例如在从移动台到移动通信系统的连接建立过程中发送的特征组指示信息字段中。如果设备数据库还没有包括用于各种类型的移动台的数据集或更新已存在的数据集，则是特别感兴趣的。

该方法的另一优选的实施方式是在设备数据库中建立被测移动台数据集，包括被测移动台的特征参数，特别是有关被测移动台的工作参数、功能能力和/或软件和/或硬件版本的信息。该步骤的优点在于在一个中心单元中针对每种类型的被测移动台收集各种特征参数并访问以及将这样的数据与测试用例和/或测试仪配置相关联。有关新类型的被测移动台的信息可通过建立新的数据集来很容易地添加。额外的信息可被添加到已有的设备数据库中。

进一步优选的是存储由技术标准(如3GPP TS 36.253)提供给被测移动台数据集的参数集。特定的参数集对于许多移动台类型(针对对应的移动台类型需要应用至特定的测试程序)来说是标准化的。通常，测试用例需要适应取决于被测移动台类型的标准化的参数。现在这可以通过将被测移动台数据集与可应用的测试用例相关联来自动实现。

此外，优选的方法步骤是存储被测移动台的与其识别信息相关的测试结果。这使得可以可靠地将测试结果与被测移动台关联并跟踪测试结果。这样，也就可以对针对特定类型移动台执行的测试用例进行统计评估。

本发明方法的优选实施方式是存储特定测试员在测试员数据集中应用的设置和/或测试仪配置。这将方便不同的测试员使用时对测试仪进行配置，通常不同的测试员会偏爱不同的测试仪设置以及特定测试员所偏爱的测试程序。

此外，优选地将测试系统的可用的软件和/或硬件元件和/或版本与执行所述测试程序所需的软件和/或硬件进行比较以及检测并报告遗漏的软件和/或硬件元件。

本发明的一种用于自动配置测试仪以在移动台和测试仪之间进行功能测试的测试系统包括模拟移动通信系统且与被测移动台进行交互的测试仪、输入单元、存储被测移动台的特征参数的移动台数据库、存储适用于各种不同类型的被测移动台的特征参数和针对所有可用测试用例存储测试仪的工作参数的测试用例数据库。此外，在DUT数据集中，额外的信息如MIMO移动台的互连或测试员自身所编辑的评论可被提供。测试仪被构造为从输入单元接收被测移动台的识别信息、从设备数据库中检索所识别的被测移动台的特征参数、从测试用例数据库选择适用于所识别的被测移动台的测试用例子集和相应的测试仪工作参数，并将测试用例子集提供给测试员以通过应用所选择子集中的一个或多个测试用例产生测试程序以及根据所选择的测试用例子集所需的测试仪工作参数和被测移动台的特征参数对自身进行配置。

这些测试系统使得所识别类型的移动台与可能的测试用例子集可以自动关联，且可以配置测试仪以执行测试程序。

附图说明

本发明方法和测试系统的实施方式在以下附图中作为示例进行描述并根据以下说明进行描述。其中：

图1是关于执行测试的要求的示意图；

图2是本发明方法的示例性实施方式的流程图；

图3是本发明测试系统的示例性实施方式的框图。

在所有附图中，相同的单元用相同的附图标记表示。

具体实施方式

图1示出了测试移动台时面对的问题。目前的移动台需要根据操作功能(即根据移动通信系统中OSI模型第1-3层的无线电和连接功能)来进行测试。这些测试通过将移动台连接至测试仪来进行。该测试仪提供了大量的测试，但是并不是所有测试都适用于连接的移动台。在如图1所示的整个测试1中，根据移动台的配置文件、相对于所支持的移动标准如LTE、WCDMA和/或仅一个或多个特定实施方式如HSDPA、HSUPA或版本如LTE版本9/10，只有测试子集2可被应用。根据移动台的硬件和软件版本，只有另一测试子集3适用。这将可执行的测试集4限制在测试子集2和测试子集3的交集。

因此，在执行测试系列之前，需要确定移动台的能力并将测试仪配置成执行可执行测试的子集4。

图2示出了本发明的自动配置测试仪的方法的实施方式的流程图30。相应的测试系统的示例性实施方式可参见图3且相应的附图标记也在方法的描述中使用。

当开始测试时，参见步骤31，首先测试仪12接收应被测试的移动台11的识别信息。该移动台11也被称为被测设备(DUT)11。之后，在步骤33，测试仪从设备数据库14中检索被测移动台11的特征参数。

可选地，测试仪12接收有关监控测试过程的测试员的识别信息，并将测试员特定设置应用到测试仪12上，参见步骤34。这样的测试员特定设置可显示设置，如输出单元中的颜色或字体、显示器上的偏爱的应用窗口或甚至是偏爱的或上次应用的该测试员所使用的测试程序。

在接下来的步骤35中，测试仪从测试用例数据库15中选择适用于被测移动台(特别是关于DUT 11特征参数)的测试用例子集并将该测试用例子集提供给测试员。该测试员可进一步从提供的测试用例子集中选择一个或多个测试用例以产生测试程序。

之后，在步骤36中，根据所选择的测试程序(即测试用例子集)的要求和被测移动台特征设置测试仪自身的工作参数。

在优选的方法实施方式中，所执行的测试程序的日志文件被创建和评估，参见步骤37。例如，如果测试仪的工作参数没有被设置或者参数值不适合DUT 11或所选择的测试用例，这将在日志文件中报告。有关成功执行测试用例所需的测试系统或DUT 11的软件和/或硬件选择或版本的信息也在日志文件中报告且可被提取以改进测试仪的配置。这允许自动优化所选择的测试用例子集和测试仪配置。测试用例子集和/或测试仪配置根据评估结果被调整。该调整可自动包括或需要通过上级控制实体的批准或授权而实施。

本方法的另一优选的实施方式为存储DUT 11的与DUT 11识别信息相关的测试结果，参见步骤38。这允许重新追踪已经在特定DUT类型上执行的所有测试、或产生有关例如DUT的功能的可靠性的统计结果、或比较不同DUT类型的功能的性能。通过上述步骤，测试在步骤39结束。

图3示出了用于测试作为被测移动台11的移动台的各种功能的本发明测试系统10的实施方式。移动台通常支持多种不同的移动通信标准，例如工作在不同频带且使用不同调制类型或使用一个或多个天线的HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)和LTE(长期演进)。另一方面，测试系统10提供了大量的测试用例，这些测试用例并不都适用于当前的被测移动台。因此，具有仅被测设备11也支持的功能的那些测试用例被相应地执行。

此外，留下的可应用的测试用例需要适应实际DUT 11的特征参数，如频带和调制或所使用的安全算法。此外，测试仪的相应软件和/或硬件选择需要被激活以测试某些DUT功能。为了便于根据当前被测移动台11配置测试仪12，测试系统10包括设备数据库14，该设备数据库14中存储有每类被测移动台11的特征参数，该特征参数与根据DUT能力方式被分配给该类移动台并在设备数据库中作为DUT配置文件等的识别信息相关。

被测移动台11通过无线电接口20和/或通过有线连接19连接至测试仪12。输入/输出单元13连接至测试仪12。输入/输出单元13包括手动输入设备(例如键盘)和/或图像识别单元和/或条形码读取器。

设备数据库14中的DUT配置文件由DUT配置器21创建，该DUT配置器21例如通过借助输入/输出单元13键入、读取条形码或其它图像识别方法手动接收有关DUT特征参数的信息。因此，输入/输出单元13包括例如键盘、图像识别单元或条形码读取器。此外，设备数据库可以存储DUT 11的特征参数，该特征参数可以通过信令消息被输入，该信令消息在例如测试仪12在用户设备能力过程中使用特征组指示符建立连接期间从DUT 11接收。此外，该设备数据库13可存储技术规范(如3GPP TS 36.523第1部分或第2部分或第3部分)提供给每个数据集的特征参数，这通过专用类型的移动台提供了待应用在各种测试用例上的特征参数。此外，额外的信息例如MIMO移动台中的天线互连或来自测试员自身的信息或所编辑的评论可存储在数据集中。

设备数据库14在例如应用服务器上实现，测试仪例如通过IP网络可远程访问该应用服务器。可替选地，设备数据库14在外部存储介质上实现且通过本地接口连接至测试仪。一种优选的选择是通过例如作为USB加密狗的通用串行总线(USB)将外部存储介质连接至测试仪。由于许多被测移动台11已经具有USB口，因此DUT 11自身可用作提供设备数据库的外部存储介质且通过该USB接口连接至测试仪12。

此外，测试用例数据库15也连接至测试仪12。该测试用例数据库15包括针对每个提供专门要求给DUT 11的测试用例的说明以及测试仪12的配置以进行测试。例如，执行测试用例所需的硬件和/或软件选择与可获得的测试用例相关。测试配置器22可以创建或修改针对测试用例的说明并将该说明存储至测试用例数据库15。

测试系统10还包括日志单元17。该日志单元17被构造成生成并存储错误消息或其它事件消息，例如指示遗漏的执行某些测试程序的测试用例或错误设置的频率或调制或在执行测试过程中测试仪12的遗漏的软件或硬件选择。日志单元17中的日志文件被测试日志分析仪23评估以针对测试仪配置和被测移动台11的类型自动识别测试用例的某些要求。因此，日志单元17连接至测试日志分析仪23且测试日志分析仪23连接至测试用例数据库15。

根据测试日志结果的测试用例或测试程序的采用在测试用例数据库15中可被接受并自动提交。可替选地，这样的采用应当由上级控制实体如监督者释放或使能，以避免任何不必要的采用。这保证了只有需要的、有用的且硬件和软件兼容的修改才在测试用例数据库15中被接受。

作为另一可选实施方式，具有测试员数据库24的测试员设置单元18包含在测试系统10中且连接至测试仪12。该测试员数据库24保留了有关测试员使用的偏爱设置的信息。如果测试员被识别，这些测试员特定设置被应用在测试系统10上且特别是测试仪12上。对测试员的识别可通过包括手动输入设备或USB接口、图像识别单元或条形码读取器的输入/输出单元13来实现。图像识别系统可例如连同同样由输入输出单元13提供的相机一起使用。

被测移动台11的识别信息由测试仪12通过输入/输出单元13的手动输入设备或图像识别单元或条形码读取器来接收。本实施方式中的另一选择为DUT 11的识别信息通过在借助具有一个或多个天线的无线电接口20或借助有线连接19的连接建立期间从DUT发送的信令消息来接收。

在接收到识别信息后，测试仪12从设备数据库14中检索DUT 11的特征参数并从测试用例数据库15中选择适用于这些特征参数的测试用例子集，该测试用例数据库15中包括测试仪12的工作参数以执行这些测试用例。这些测试用例子集例如通过输入/输出单元13被提供给测试员，以通过应用子集中的一个测试用例或连接的多个测试用例来产生测试程序。测试仪13根据所应用的测试程序来进行自身配置。

测量结果和/或日志文件被存储为与DUT 11识别信息相关。这使得可以进行对某些类型的移动台的统计，从而跟踪移动台11的已经执行的测试程序。在无法获知DUT 11的情况下，可以确定上次测试该DUT所在的测试系统10。

本发明并不局限于已经描述的示例。本发明还包括已描述的任何特征的所有组合。

Claims (22)

1.一种自动配置测试仪(12)以在作为被测移动台(11)的移动台和模拟移动通信系统的所述测试仪(12)之间进行功能测试的方法，所述方法包括下列步骤：

-在所述测试仪(12)中根据所述被测移动台(11)的类型接收识别信息(32)，

-所述测试仪(12)从设备数据库(14)中检索所识别类型的所述被测移动台(11)的特征参数(33)，

-所述测试仪(12)从测试用例数据库(15)中选择适用于所识别的被测移动台(11)的特征参数的测试用例子集，并提供所述测试用例子集以通过应用所选择的子集中的一个或多个测试用例来产生测试程序(35)，

-评估所执行的测试程序的所创建的日志文件(37)，

-根据所创建的所述日志文件的评估结果调整所应用的所述测试仪(12)的配置和/或所选择的测试用例子集，以及

-将所述测试仪(12)的可用的软件和/或硬件元件和/或版本与执行所述测试程序所需的软件和/或硬件进行比较以及检测并报告遗漏的软件和/或硬件元件。

2.根据权利要求1所述的方法，其特征在于：

根据所述测试程序的所述测试用例和所识别的被测移动台(11)的特征参数配置所述测试仪(12)的至少一个工作参数(36)。

3.根据权利要求1所述的方法，其特征在于：

启动对所述测试仪(12)所应用的配置和/或能够选择的测试用例子集的调整。

4.根据权利要求1或3所述的方法，其特征在于：

对所述测试仪(12)所应用的配置和/或能够选择的测试用例的调整需要被上级控制实体批准并启动。

5.根据权利要求1-3中任一项所述的方法，其特征在于：

通过所述测试仪(12)的连接的数据存储介质和/或图像识别单元和/或条形码读取器接收所述被测移动台(11)的所述识别信息。

6.根据权利要求1-3中任一项所述的方法，其特征在于：

通过从所述被测移动台(11)发送的信令消息接收所述被测移动台(11)的所述识别信息。

7.根据权利要求1-3中任一项所述的方法，其特征在于：

在所述设备数据库(14)中建立被测移动台数据集，所述被测移动台数据集包括所述被测移动台(11)的所述特征参数。

8.根据权利要求7所述的方法，其特征在于：所述被测移动台(11)的所述特征参数是有关所述被测移动台(11)的工作参数、功能性的能力和/或软件和/或硬件版本的信息。

9.根据权利要求1-3中任一项所述的方法，其特征在于：

建立被测移动台数据集，所述被测移动台数据集包括技术标准提供的待应用到所述测试程序的参数集。

10.根据权利要求9所述的方法，其特征在于：所述技术标准是3GPP TS36.253。

11.根据权利要求9所述的方法，其特征在于：

通过连接至所述测试仪的数据存储介质和/或图像识别单元和/或条形码读取器和/或通过所述被测移动台(11)自身发送的信令消息接收所述被测移动台(11)的特征参数，并将所述特征参数存储至所述设备数据库。

12.根据权利要求1-3中任一项所述的方法，其特征在于：

存储所述被测移动台(11)的与所述被测移动台(11)的所述识别信息相关的测试结果(38)。

13.根据权利要求1-3中任一项所述的方法，其特征在于：

在测试员数据库(24)中存储特定测试员所应用的设置和/或所述测试仪(12)的测试配置。

14.根据权利要求13所述的方法，其特征在于：

在所述测试仪(12)处通过输入单元和/或图像识别单元和/或条形码读取器接收测试员的识别信息(34)且根据所述测试员数据库配置所述测试仪(12)。

15.一种用于自动配置测试仪(12)以在被测移动台(11)和所述测试仪(12)之间进行功能测试的测试系统，包括模拟移动通信系统且与所述被测移动台(11)进行交互的所述测试仪(12)、存储所述被测移动台(11)的特征参数的设备数据库(14)、存储适用于各种不同类型的被测移动台(11)的所述特征参数的测试用例的测试用例数据库(15)，其中，所述测试仪(12)被构造成：

-接收所述被测移动台(11)的识别信息；

-从所述设备数据库(14)中检索所识别的被测移动台(11)的所述特征参数；

-从测试用例数据库(15)中选择适用于所识别的被测移动台(11)的测试用例子集，并提供所述测试用例子集给测试员以通过应用所选择的子集中的一个或多个测试用例来产生测试程序；

-评估所执行的测试程序的所创建的日志文件；

-根据所述评估的结果调整所应用的所述测试仪的配置和/或所选择的测试用例子集；以及

-将所述测试仪的可用的软件和/或硬件元件和/或版本与执行所述测试程序所需的软件和/或硬件进行比较以及检测并报告遗漏的软件和/或硬件元件。

16.根据权利要求15所述的测试系统，其特征在于：

所述测试仪被构造成根据所选择的测试用例子集和所述被测移动台的所述特征参数从所述测试用例数据库(15)中检索所述测试仪的至少一个工作参数且相应地配置所述工作参数。

17.根据权利要求15或16所述的测试系统，其特征在于：

日志单元(17)连接至所述测试仪(12)，所述日志单元被构造成创建所执行的测试用例的日志文件，以评估所述日志文件并根据评估结果调整能够选择的测试用例子集和/或调整所述测试仪(12)所应用的配置。

18.根据权利要求15所述的测试系统，其特征在于：

测试员特定设置单元(18)连接至所述测试仪(12)，所述测试员特定设置单元被构造成存储测试员特定常用设置和/或所述测试仪(12)的测试员特定测试程序。

19.根据权利要求15或16所述的测试系统，其特征在于：

所述设备数据库(14)在应用服务器上实现，所述设备数据库能够被所述测试仪远程访问和/或所述设备数据库在通过接口连接至所述测试仪(12)的外部存储介质上实现。

20.根据权利要求19所述的测试系统，其特征在于：所述接口是通用串行总线接口。

21.根据权利要求15或16所述的测试系统，其特征在于：

输入单元(13)具有通用串行总线接口和/或包括图像识别单元和/或包括条形码读取器以输入所述被测移动台(11)的所述识别信息和/或测试员的识别信息。

22.一种数字存储介质，所述数字存储介质上存储有计算机程序，所述计算机程序在可编程计算机和/或数字信号处理器上执行时，执行自动配置测试仪以在作为被测移动台的移动台和模拟移动通信系统的所述测试仪之间进行功能测试的方法，所述方法包括下列步骤：

-在所述测试仪中根据所述被测移动台的类型接收识别信息，

-所述测试仪从设备数据库中检索所识别类型的所述被测移动台的特征参数，

-所述测试仪从测试用例数据库中选择适用于所识别的被测移动台的特征参数的测试用例子集，并提供所述测试用例子集以通过应用所选择的子集中的一个或多个测试用例来产生测试程序，

-评估所执行的测试程序的所创建的日志文件，

-根据所述评估的结果调整所应用的所述测试仪的配置和/或所选择的测试用例子集，以及

-将所述测试仪的可用的软件和/或硬件元件和/或版本与执行所述测试程序所需的软件和/或硬件进行比较以及检测并报告遗漏的软件和/或硬件元件。