CN103052098A - 一种北向性能测试的方法及装置 - Google Patents

Abstract

本发明公开了一种北向性能测试方法及装置，用以解决现有技术中存在的在北向性能测试过程中测试不充分，测试结果可靠度低的问题。方法为：通过性能统计模板，根据用户输入的一系列信息，即可生成符合用户需求的性能文件；将上述生成的性能文件上传至OMC系统，生成性能统计文件；根据性能文件即可获取标准的性能统计文件数目以及标准性能统计文件，将在预设时长内实际生成的性能统计文件数目与标准的性能统计文件数目相同时，则判定生成的性能统计文件具备完备性；在具备完备性的所有性能统计文件抽取一定数量的性能统计文件，当抽取的性能统计文件均与标准的性能统计文件完全相同时，则判定生成的性能文件具备准确性。

Description

一种北向性能测试的方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种北向性能测试的方法及装置。

背景技术

在通信系统中，无线网络控制器（Radio Network Controller；RNC）需要上报大量的性能文件至操作维护中心（Operations & Maintenance Center；OMC）系统中，OMC系统通过北向根据上述性能文件生成表征网络质量的性能统计文件。北向将上述性能统计文件呈现给运营商（如移动，联通等），运营商根据性能统计文件对网络实行管理和监控。因此，北向的性能好坏决定了反馈至运营商处的网络质量是否准确。

在OMC系统中，通常会连接多个RNC，当RNC数量较多时，每个周期将会上报至OMC系统大量的性能文件。大量的性能统计文件会使北向承载更大的负荷，性能良好的北向在较大的负荷下，仍然能够在规定时间段中生成具备完整性和准确性的性能统计文件。

目前，对北向性能的测试通常采用两种方式：

采用人工方式进行北向性能测试。北向生成的性能统计文件中包含数量庞大的各种类别的参数，并且每一类参数位置并不固定，采用人工方式进行北向性能测试需要花费大量的人力对各类参数进行逐条对比，复杂度较高，并且存在错误率高，效率低，成本高的问题。

在实验室环境下模拟现实网络进行北向性能测试。在实验室环境下，仅能够通过向北向发送少量的性能文件来实现对北行性能的测试，无法模拟大量性能文件发送至北向，北向将大量性能文件进行处理生成性能统计文件的情况。少量的性能文件并不能全面反映出北向的性能，无法验证高负荷下性能统计文件是否能够正常生成。因此，上述方法存在测试不充分，测试结果可靠度低的问题。

综上所述，现有技术中，在进行北向测试过程中，存在效率低，成本高，以及测试结果可靠度低的问题。

发明内容

本发明实施例提供一种北向性能测试的方法及装置，用以解决现有技术中存在的在北向性能测试过程中测试不充分，测试结果可靠度低的问题。

本发明实施例提供的具体技术方案如下：

一种北向性能测试的方法，包括：

根据性能文件模板，无线网络控制器RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；

将所述性能文件上传至操作维护中心OMC系统，令所述OMC系统通过北向根据所述性能文件生成性能统计文件；

当在预设时长内生成所述性能统计文件的数目与预设性能统计文件数目相同时，则确定生成的性能统计文件具备完备性；

在所述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定所述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定所述生成的性能统计文件具备准确性。

一种北向性能测试的装置，包括：

生成单元，用于根据性能文件模板，无线网络控制器RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；

上传单元，用于将所述性能文件上传至操作维护中心OMC系统，令所述OMC系统通过北向根据所述性能文件生成性能统计文件；

完备性测试单元，用于当在预设时长内生成所述性能统计文件的数目与预设性能统计文件数目相同时，则确定生成的性能统计文件具备完备性；

准确性测试单元，用于在所述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定所述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定所述生成的性能统计文件具备准确性。

本发明实施例中，通过性能统计模板，根据用户输入的RNC标识，性能文件生成起始时间以及性能文件生成结束时间，即可生成符合用户需求的性能文件；将上述生成的性能文件上传至OMC系统，OMC系统即可通过北向根据上述性能文件生成性能统计文件；根据性能文件即可获取标准的性能统计文件数目以及标准性能统计文件，将在预设时长内实际生成的性能统计文件数目与标准的性能统计文件数目相同时，则判定生成的性能统计文件具备完备性，在具备完备性的所有性能统计文件抽取一定数量的性能统计文件，当抽取的性能统计文件均与标准的性能统计文件完全相同时，则判定生成的性能文件具备准确性。采用本发明技术方案，能够根据用户指示，大量上传性能文件，真实模拟现实北向应用场景，达到充分测试的目的，并且对OMC系统通过北向生成的性能统计文件进行完备性以及准确性的判断，从而有效提高了北向性能测试的可靠性。

附图说明

图1为本发明实施例中北向性能测试结构示意图；

图2为本发明实施例中北向性能测试系统示意图

图3为本发明实施例中北向性能测试流程图；

图4为本发明实施例中生成的性能文件命名规范；

图5为本发明实施例中具体应用场景下北向性能测试流程图。

具体实施方式

为了解决现有技术中存在的在北向性能测试过程中测试不充分，测试结果可靠度低的问题。本发明实施例中，通过性能统计模板，根据用户输入的RNC标识，性能文件生成起始时间以及性能文件生成结束时间，即可生成符合用户需求的性能文件；将上述生成的性能文件上传至OMC系统，OMC系统即可通过北向根据上述性能文件生成性能统计文件；根据性能文件即可获取标准的性能统计文件数目以及标准性能统计文件，将在预设时长内实际生成的性能统计文件数目与标准的性能统计文件数目相同时，则判定生成的性能统计文件具备完备性，在具备完备性的所有性能统计文件抽取一定数量的性能统计文件，当抽取的性能统计文件均与标准的性能统计文件完全相同时，则判定生成的性能文件具备准确性。采用本发明技术方案，能够根据用户指示，大量上传性能文件，真实模拟现实北向应用场景，达到充分测试的目的，并且对OMC系统通过北向生成的性能统计文件进行完备性以及准确性的判断，从而有效提高了北向性能测试的可靠性。

下面结合附图对本发明优选的实施方式进行详细说明。

参阅图1所示，本发明实施例中，北向性能测试装置包括生成单元10，上传单元11，完备性测试单元12和准确性测试单元13，其中，

生成单元10，用于根据性能文件模板，RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；

上传单元11，用于将上述性能文件上传至OMC系统，令OMC系统通过北向根据上述性能文件生成性能统计文件。

完备性测试单元12，用于当在预设时长内生成上述性能统计文件的数目与预设性能统计文件数目相同时，则确定上述生成的性能统计文件具备完备性。

准确性测试单元13，用于在上述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定上述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定上述生成的性能统计文件具备准确性。

参阅图2所示，本发明实施例中，模拟现实的通信系统中信息传递过程：RNC上报大量性能文件至OMC系统，OMC系统通过北向生成性能统计文件，并将上述生成的性能统计文件上报至上级网管。

基于上述技术方案，参阅图3所示，本发明实施例中，北向性能测试的详细流程如下：

步骤300：根据性能文件模板，RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件。

具体为：

本发明实施例中，通过加载性能文件模板，根据用户输入的RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成符合用户需求的性能文件。在通信系统中，上述性能文件中携带RNC标识，计数器信息以及计数时间段，即性能文件生成起始时间与性能文件生成结束时间的差值。其中，计数时间段为运营商预设，根据不同的运营商而不同，例如，中国移动的计数时间段为15分钟。由于根据RNC标识可以识别该RNC对应的运营商，因此，RNC上报的性能文件应符合其对应的运营商规范。

本发明实施例中，性能文件的命名也应符合规范，参阅图4所示为本发明实施例中生成的命名符合规范的性能文件。

经过上述过程，可以根据用户指示，生成大量的性能文件用于以下过程中对北向性能的测试。

步骤310：将上述性能文件上传至OMC系统，令OMC系统通过北向根据上述性能文件生成性能统计文件。

具体为：

在通信系统中，RNC均是按照预设周期上传性能文件至OMC系统。因此，本发明实施例中，将上述生成的性能文件按照预设周期上传至OMC系统，该预设周期根据运营商的不同而不同，即判断性能文件对应的RNC标识，根据该RNC标识对应的标准上传周期上传上述性能文件。例如，根据性能文件对应的RNC标识，获取该RNC标识对应的运营商，如该RNC标识对应的运营商为中国移动，中国移动将性能文件上传至OMC系统的标准上传周期为15分钟，则即可将上述性能文件按照15分钟的周期上传至OMC系统。

本发明实施例中，通过预先设置文件传输协议（file transfer protocol；ftp）地址、账号、密码、上传路径、上传起始时间、上传结束时间、上传周期，根据用户输入的RNC标识，即将符合用户需求的性能文件按照预设周期在预设时间内上传至指定的ftp文件夹中。上述步骤能够根据用户需求上传大量性能文件，从而实现了现实北向应用场景的模拟，从而对北向可承受符合的性能进行了测试。

OMC系统通过北向根据上述上传的性能文件生成性能统计文件。

步骤320：当在预设时长内生成上述性能统计文件的数目与预设性能统计文件数目相同时，则确定上述生成的性能统计文件具备完备性。

具体为：

在通信系统中，OMC系统根据运营商的不同通过北向生成性能统计文件的生成周期不同，该性能统计文件的生成周期为预设。并且，在每个生成周期中，生成的性能统计文件数目一定，并且性能统计文件生成周期为一定，性能统计文件生成的起始时间和性能统计文件生成结束时间为已知，上述信息可以由性能统计文件中获取。例如，中国移动每个RNC在每15分钟的周期内，可生成8类性能统计文件，其中，上述性能统计文件允许生成的时间范围为15分钟，即在15分钟内生成8类性能统计文件。

判断生成的性能统计文件数目是否与性能统计文件标准数目是否一致，此处的数目即为性能统计文件的类别数目。如果一致，则说明所有RNC每一类性能统计文件在预设时间内全部生成，即生成的性能统计文件具备完整性；否则，则说明生成的性能统计文件存在缺失，此时，需要输出缺失的性能统计文件类型，以及该缺失的性能统计文件对应的RNC标识。

本发明实施例中，判断上述性能统计文件无缺失后，通过应用程序编程接口（Application Programming Interface；API）获取每个性能统计文件的生成时刻，计算该性能统计文件的生成时间与每个性能统计文件生成周期结束时间的差值，该差值即为性能统计文件生成延迟。判断上述性能统计文件生成差值是否小于或等于预设时长，若是，则说明性能统计文件不存在生成延迟；否则，则说明上述性能统计文件存在生成延迟，输出不满足预设时长的性能统计文件对应的RNC标识，生成延迟时长和存在延迟的文件数目。例如，仍以运营商为中国移动为例，则性能统计文件对应的生成周期为15分钟，可以通过API获取每个性能统计文件的生成时间，计算该性能统计文件的生成时间与每个生成周期结束时间的差值，将该差值与15进行比较，如果上述差值小于或者等于15，则无异常；如果上述差值大于15，则认为为文件生成有延迟，输出生成延迟的时长和存在延迟的文件数目。

步骤330：在上述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定上述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定上述生成的性能统计文件具备准确性。

具体为：

当确定生成的性能统计文件满足完备性后，测试性能统计文件的内容的准确性。

本发明实施例中，采用性能文件模板生成性能文件，该性能文件中携带计数器信息。获取所有性能文件中的计数器信息，根据KPI计算方法，获取所有性能统计的准确计数，即可根据上述计数即可生成一个周期的标准性能统计文件。

在上述实际生成的所有性能统计文件进行筛选，抽取指定数目的性能统计文件。上述抽取的原则为：抽取覆盖范围为所有类型的性能统计文件；抽取频率不应设置不要过高，达到保证测试可靠性即可，以免增加软件成本，较佳的，每小时对一个RNC一个周期的性能统计文件进行筛选。同时为了覆盖不同的RNC版本，可以将被比较的RNC标识进行周期性循环。

将抽取得到的性能统计文件与标准统计文件进行比较，判断生成的性能统计文件的准确性。当判定上述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定上述生成的性能统计文件具备准确性；否则，输出存在区别的RNC标识、实际生成的性能统计文件中记录的统计值、以及标准性能统计文件中记录的统计值，方便后期对北向的改进。

经过上述过程后，可以判定生成的性能统计文件没有缺失，具备完整性；其生成延迟满足预设时长，具备及时性；其内容与标准统计文件完全相同，具备准确性。

下面结合具体的应用场景，参阅图5所示，详解介绍北向性能测试的流程：

步骤500：根据性能文件模板，RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件。

步骤510：预先设置ftp地址、账号、密码、上传路径、上传起始时间、上传结束时间、上传周期。

步骤520：根据用户输入的RNC标识，将上述性能文件按照预设周期上传至OMC系统的指定ftp文件夹中，令OMC系统通过北向根据上述性能文件生成性能统计文件。

本发明实施例中，将上述生成的性能文件按照预设周期上传至OMC系统，该预设周期根据运营商的不同而不同，即判断性能文件的预设周期根据性能文件对应的RNC标识，根据该RNC标识对应的标准上传周期上传上述性能文件。

步骤530：判断生成的性能统计文件数目与预设性能统计文件数目是否相同，若不同，则执行步骤540；否则，执行步骤550。

步骤540：输出缺失的性能统计文件类型，以及该缺失的性能统计文件对应的RNC标识。

步骤550：判断上述生成的性能统计文件对应的生成延迟是否满足预设时长，若不是，执行步骤560；否则，执行步骤570。

本发明实施例中，性能统计文件生成延迟的计算方法为：通过API获取每个性能统计文件的生成时间，计算该性能统计文件的生成时刻与每个生成周期结束时间的差值，该差值即为性能统计文件生成延迟。

步骤560：输出不满足预设时长的性能统计文件对应的RNC标识，生成延迟时长和存在延迟的文件数目。

步骤570：在上述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件。

步骤580：判定上述抽取得到的性能统计文件与预设的标准性能统计文件是否完全相同，若不是，则执行步骤590；否则，确定生成的性能统计文件满足准确性。

本发明实施例中，标准性能统计文件的生成方法为：根据关键性能指标(Key Performance Indicator；KPI)计算方法，获取所有性能统计的准确计数，即可根据上述计数即可生成一个周期的标准性能统计文件。

较佳的，本发明实施例中，每小时在所有生成的性能统计文件中抽取指定数目的各种类型的性能统计文件。

步骤590：输出存在区别的RNC标识、实际生成的性能统计文件中记录的统计值、以及标准性能统计文件中记录的统计值。

综上所述，本发明实施例中，根据性能文件模板，RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；将上述性能文件按照预设周期上传至OMC系统，令OMC系统通过北向根据上述性能文件生成性能统计文件，根据用户输入的RNC标识，性能文件生成起始时间与性能文件生成结束时间，以及上传周期，即可上传大量的性能文件；当在预设时间内生成上述性能统计文件的数目与预设性能统计文件数目相同时，则确定上述生成的性能统计文件具备完备性，当已知上传至OMC系统性能文件时，根据RNC标识即可获得上述性能文件生成的性能统计文件的标准数目，将实际生成的性能统计文件数目与上述标准数目进行比对，即可获知生成的性能统计文件的完整性；在上述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定上述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定上述生成的性能统计文件具备准确性，当已知上传至OMC系统的性能文件时，根据性能文件中携带的计数器信息，即可生成标准性能统计文件，将实际生成的性能统计文件进行随机抽样，获取的抽样结果与标准性能统计文件进行比对，即可获知生成的性能统计文件的准确性。采用本发明技术方案，能够根据用户指示，大量上传性能文件，真实模拟现实北向应用场景，达到充分测试的目的，并且对OMC系统通过北向生成的性能统计文件进行完备性以及准确性的判断，从而有效提高了北向性能测试的可靠性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种北向性能测试的方法，其特征在于，包括：

根据性能文件模板，无线网络控制器RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；

将所述性能文件上传至操作维护中心OMC系统，令所述OMC系统通过北向根据所述性能文件生成性能统计文件；

当在预设时长内生成所述性能统计文件的数目与预设性能统计文件数目相同时，则确定生成的性能统计文件具备完备性；

在所述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定所述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定所述生成的性能统计文件具备准确性。

2.如权利要求1所述的方法，其特征在于，将所述性能文件上传至OMC系统，包括：

根据预设的文件传输协议ftp地址，账号，密码，上传路径，上传周期，上传起始时间，以及用户输入的RNC标识，将所述性能文件上传至指定的ftp文件夹中。

3.如权利要求1所述的方法，其特征在于，当在预设时长内生成所述性能统计文件的数目与预设性能统计文件数目相同时，则确定生成的性能统计文件具备完备性，包括：

当判定所述性能统计文件的数目与预设性能统计文件数目相同时，则保存生成的性能统计文件；

当判定所述生成的性能统计文件对应的生成延迟小于或等于预设时长时，则判定生成的性能统计文件具备完备性。

4.如权利要求3所述的方法，其特征在于，所述生成的性能统计文件对应的生成延迟时间的计算步骤包括：

通过应用程序编程接口API获取每个性能统计文件的生成时间，计算该性能统计文件的生成时间与性能统计文件对应的预设生成周期结束时间的差值，该差值即为性能统计文件生成延迟。

5.如权利要求3所述的方法，其特征在于，进一步包括：

当判定所述性能统计文件的数目与预设性能统计文件数目不同时，则输出缺失的性能统计文件类型，以及该缺失的性能统计文件对应的RNC标识。

6.如权利要求3所述的方法，其特征在于，进一步包括：

当判定所述生成的性能统计文件对应的生成延迟大于预设时长时，则输出所述性能统计文件对应的RNC标识，生成延迟和存在延迟的文件数目。

7.如权利要求1所述的方法，其特征在于，在所述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，包括：

在所述具备完备性的所有性能统计文件中，按照预设频率抽取指定数目的性能统计文件，所述抽取得到的性能统计文件包含所有类型的性能统计文件。

8.如权利要求7所述的方法，其特征在于，进一步包括：

当判定所述抽取得到的性能统计文件与预设的标准性能统计文件不完全相同时，输出存在区别的性能统计文件对应的RNC标识、实际生成的性能统计文件中记录的统计值、以及标准性能统计文件中记录的统计值。

9.一种北向性能测试的装置，其特征在于，包括：

生成单元，用于根据性能文件模板，无线网络控制器RNC标识，以及性能文件生成起始时间与性能文件生成结束时间，生成性能文件；

上传单元，用于将所述性能文件上传至操作维护中心OMC系统，令所述OMC系统通过北向根据所述性能文件生成性能统计文件；

完备性测试单元，用于当在预设时长内生成所述性能统计文件的数目与预设性能统计文件数目相同时，则确定生成的性能统计文件具备完备性；

准确定测试单元，用于在所述具备完备性的所有性能统计文件中按照预设规则抽取性能统计文件，当判定所述抽取得到的性能统计文件与预设的标准性能统计文件完全相同时，则确定所述生成的性能统计文件具备准确性。

10.如权利要求9所述的装置，其特征在于，所述上传单元，具体用于：

根据预设的文件传输协议ftp地址，账号，密码，上传路径，上传周期，上传起始时间，以及用户输入的RNC标识，将所述性能文件上传至指定的ftp文件夹中。

11.如权利要求9所述的装置，其特征在于，所述完备性测试单元，具体用于：

当判定所述性能统计文件的数目与预设性能统计文件数目相同时，则保存生成的性能统计文件；

当判定所述生成的性能统计文件对应的生成延迟小于或等于预设时长时，则判定生成的性能统计文件具备完备性。

12.如权利要求11所述的装置，其特征在于，所述完备性测试单元，具体用于：

通过应用程序编程接口API获取每个性能统计文件的生成时刻，计算该性能统计文件的生成时间与性能统计文件对应的预设生成周期结束的差值，该差值即为性能统计文件生成延迟。

13.如权利要求11所述的装置，其特征在于，所述完备性测试单元，进一步用于：

当判定所述性能统计文件的数目与预设性能统计文件数目不同时，则输出缺失的性能统计文件类型，以及该缺失的性能统计文件对应的RNC标识。

14.如权利要求11所述的装置，其特征在于，所述完备性测试单元，进一步用于：

当判定所述生成的性能统计文件对应的生成延迟大于预设时长时，则输出所述性能统计文件对应的RNC标识，生成延迟和存在延迟的文件数目。

15.如权利要求9所述的装置，其特征在于，准确性测试单元，具体用于：

在所述具备完备性的所有性能统计文件中，按照预设频率抽取指定数目的性能统计文件，所述抽取得到的性能统计文件包含所有类型的性能统计文件。

16.如权利要求15所述的装置，其特征在于，所述准确定测试单元，进一步用于：

当判定所述抽取得到的性能统计文件与预设的标准性能统计文件不完全相同时，输出存在区别的性能统计文件对应的RNC标识、实际生成的性能统计文件中记录的统计值、以及标准性能统计文件中记录的统计值。

Images