CN106533715A - 一种数据分析方法及系统 - Google Patents

Abstract

本发明公开了一种数据分析方法及系统，该方法为，首先，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；然后，接收到数据分析指令时，从指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。这样，实现了提取性能报表功能的分离，不完全依赖于服务器，降低了对服务器的压力；并且，服务端生成性能文件后，就会进行保存，当需要时，客户端可离线提取出相应的性能文件，生成报表，不受服务器可靠性和稳定性的制约，这样提高了提取性能报表的可靠性和稳定性，和数据处理能力。

Description

一种数据分析方法及系统

技术领域

本发明涉及移动网络领域，尤其涉及一种数据分析方法及系统。

背景技术

在现有网络管理系统中，现网关键绩效指标(Key Performance Indicators，KPI)的维护是通过提取性能报表进行分析维护的，提取性能报表需要获取所有网元的数据，并进行分析计算。但是，随着运营商现网规模的扩大，在大规模网元管理的场景下，对于提取性能报表的性能要求也就越来越高。

现有技术中，提取性能报表功能是将数据采集分析、KPI计算、性能文件生成均布在操作维护中心(Operation and Maintenance Center，OMC)服务器上实现与数据库的实时交互，从而形成性能报表，然后以电子表格(excel)的方式展现给用户。

由此可见，现有技术下，提取性能报表功能是部署在OMC服务器上并实时与数据库频繁交互，但当数据量比较大时，会造成提取性能报表相当缓慢、可靠性差，还可能会出现提取不出来的情况，且这种在提取报表的过程中的大量读写操作对数据库及服务器也会造成很大的压力，该操作对网管的稳定性及可靠性会造成较大隐患。

发明内容

本发明实施例提供一种数据分析方法及系统，以提高提取性能报表的可靠性和稳定性，降低对服务器的压力。

本发明实施例提供的具体技术方案如下：

一种数据分析方法，包括：

按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；

接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。

本发明实施例中，首先按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；然后，接收到数据分析指令时，从指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。这样，实现了提取性能报表功能的分离，不完全依赖于服务器，降低了对服务器的压力；并且，服务端生成性能文件后，就会进行保存，当需要时，客户端可离线提取出相应的性能文件，生成报表，不受服务器可靠性和稳定性的制约，这样提高了提取性能报表的可靠性和稳定性，和数据处理能力。

可选的，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，具体包括：

按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据；

基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，上述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

可选的，在指定的存储位置对获得的性能文件进行保存，具体包括：

将获得的性能文件上传至指定的文件传输协议(File Transfer Protocol，FTP)服务器，或者，保存在本地。

这样，当提取需要的性能文件时，可离线进行操作，且不受服务器可靠性和稳定性的制约，降低了对服务器的压力。

可选的，接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，具体包括：

接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件；

对提取出的性能文件进行解析，获得基于上述设定的汇总参考参数得到的各个网元的原始的网元数据。

可选的，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报，具体包括：

基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI；

将得到的KPI，进行拼接封装，生成报表并进行上报。

一种数据分析系统，包括：

服务端，用于按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；

客户端，用于接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。

本发明实施例中，首先按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；然后，接收到数据分析指令时，从指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。这样，实现了提取性能报表功能的分离，不完全依赖于服务器，降低了对服务器的压力；并且，服务端生成性能文件后，就会进行保存，当需要时，客户端可离线提取出相应的性能文件，生成报表，不受服务器可靠性和稳定性的制约，这样提高了提取性能报表的可靠性和稳定性，和数据处理能力。

可选的，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件时，服务端具体用于：

按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据；

基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，上述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

可选的，在指定的存储位置对获得的性能文件进行保存时，服务端具体用于：

将获得的性能文件上传至指定的FTP服务器，或者，保存在本地。

这样，当提取需要的性能文件时，可离线进行操作，且不受服务器可靠性和稳定性的制约，降低了对服务器的压力。

可选的，接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据时，客户端具体用于：

接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件；

对提取出的性能文件进行解析，获得基于上述设定的汇总参考参数得到的各个网元的原始的网元数据。

可选的，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报时，客户端具体用于：

基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI；

将得到的KPI，进行拼接封装，生成报表并进行上报。

附图说明

图1为本发明实施例中数据分析方法流程示意图；

图2为本发明实施例中服务端操作流程示意图；

图3为本发明实施例中客户端操作流程示意图；

图4为本发明实施例中数据分析系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高提取性能报表的可靠性和稳定性，降低对服务器的压力，本发明实施例中，将提取性能报表功能分为服务端和客户端，服务端实现数据的获取和生成性能文件，客户端实现对性能文件的解析及生成报表。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

参阅图1所示，本发明实施例中，数据分析方法的具体流程如下：

步骤100：按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存。

本发明实施例中，执行数据分析的系统采用分布式结构，服务端部署在OMC服务器上，客户端布置在终端侧，步骤100是由服务端执行的。

执行步骤100时，具体包括以下操作：

首先，按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始网元数据；

例如，设定了某个初始时间点，且每隔15分钟遍历一次所有网元，获得每一个网元的类型、网元级别、指定的指标参数，并记录数据获取时间，作为下次遍历网元的依据，如，每次确定当前时间大于或等于已记录的数据获取时间和设定的15分钟之和，则开始又一次遍历所有网元，获取网元的原始数据。

又例如，设定了时间点，如7:00、9:00、11:00、13:00、15:00、17:00，则在上述时间点上，遍历一次所有网元，获取网元的原始网元数据；

又例如，设定了时间段，如7:00-8:00、9:00-10:00、11:00-12:00、13:00-14:00，则在上述时间段内任意时间遍历一次所有网元，获取网元的原始网元数据。

然后，基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，上述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合；

例如，设定按照网元类型进行汇总，则将各个具有相同网元类型的原始的网元数据汇总在一起，生成性能文件。

又例如，设定按照网元级别进行汇总，则将各个具有相同网元级别的原始的网元数据汇总在一起，生成性能文件。

又例如，设定按照网元类型、网元级别和数据获取时间进行汇总，则将各个具有相同网元类型、相同网元级别，以及相同的数据获取时间的原始的网元数据汇总在一起，生成性能文件。

最后，将获得的性能文件上传至指定的FTP服务器，或者，保存在本地。

步骤110：接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。

步骤110是由客户端执行的，且客户端可以部署在一台PC机上，也可以在多台PC机上部署，这样多个用户可以同时在客户端进行操作。

执行步骤110，具体包括以下操作：

首先，接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件；

例如：数据分析指令为网元类型，则从FTP服务器或本地提取出按网元类型进行汇总的性能文件。

又例如：数据分析指令为网元级别，则从FTP服务器或本地提取出按网元级别进行汇总的性能文件。

又例如：数据分析指令为网元类型、网元级别和数据获取时间，则从FTP服务器或本地提取出按网元类型、网元级别，以及数据获取时间进行汇总的性能文件。

然后，对提取出的性能文件进行解析，获得基于上述设定的汇总参考参数得到的各个网元的原始的网元数据；

例如，对提取出的按网元类型进行汇总的性能文件进行解析，将其中的网元原始数据进行缓存。

又例如：对提取出的按网元级别进行汇总的性能文件进行解析，将其中的网元原始数据进行缓存。

又例如：对提取出按网元类型、网元级别，以及数据获取时间进行汇总的性能文件进行解析，将其中的网元原始数据进行缓存。

进而，基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI。

例如，对于缓存的按网元类型进行汇总的性能文件中的网元原始数据，将每一个网元类型中的各个网元的原始网元数据中记录的每一种指标参数，分别根据KPI公式进行计算，得到相应的KPI。

例如，计算长期演进_无线资源控制协议(Long Term Evolution_RadioResource Control，LTE_RRC)连接建立成功率的KPI，在时间段：2015.08.2414:00-2015.08.2414:15间获取的网元D781058-F-3(PLMN＝1，AREA＝998，ENB＝415279，cell＝3)的网元原始数据中记录的每一种指标参数分别为：R001_013：0，R001_014：0，R001_015：0，R001_016：0，R001_017：286，R001_018：286，R001_019：97，R001_020：93，R001_021：441；网元D781058-F-2(PLMN＝1，AREA＝998，ENB＝415279，cell＝2)的网元原始数据中记录的每一种指标参数分别为：R001_013：0，R001_014：0，R001_015：0，R001_016：0，R001_017：148，R001_018：148，R001_019：49，R001_020：48，R001_021：302；网元D781058-F-1(PLMN＝1，AREA＝998，ENB＝415279，cell＝1)的网元原始数据中记录的每一种指标参数分别为：R001_013：0，R001_014：0，R001_015：0，R001_016：0，R001_017：443，R001_018：201，R001_019：42，R001_020：42，R001_021：276。

则根据LTE_RRC连接建立成功率的KPI计算公式：

100*(#{R001_014}+#{R001_016}+#{R001_018}+#{R001_020}+#{R001_022})/(#{R001_013}+#{R001_015}+#{R001_017}+#{R001_019}+#{R001_021})

计算得到网元D781058-F-3(PLMN＝1，AREA＝998，ENB＝415279，cell＝3)的LTE_RRC连接建立成功率为99.39％；网元D781058-F-2(PLMN＝1，AREA＝998，ENB＝415279，cell＝2)的LTE_RRC连接建立成功率为100％；网元D781058-F-1(PLMN＝1，AREA＝998，ENB＝415279，cell＝1)的LTE_RRC连接建立成功率为68.2％。

最后，将得到的各类KPI，进行拼接封装，生成报表并进行上报。

下面采用一个具体的应用场景对上述实施例作出进一步详细说明，且将服务端和客户端的操作分别进行说明，参阅图2和图3所示，其中图2为服务端的执行过程，具体如下：

步骤200：服务端初始化配置文件计数器模板.xml，将预设的起始时间和预设的数据获取方式进行封装。

其中，所谓的数据获取方式可以是指计数器按照何种方式计数，以及何时清零，重置。

例如：数据获取方式为，从预设的起始时间开始，每隔15分钟遍历一次所有网元，获取网元原始数据，并记录数据获取时间，然后更新计数器中的时间为已记录的数据获取时间和设定的15分钟之和。

步骤210：根据预设的起始时间，更新TIMELABEL表中的时间为beginTime+granluarityPeriod，其中beginTime为起始时间，granluarityPeriod为预设时间间隔。

步骤220：判断当前时间是否大于或等于beginTime+granluarity+delaytime，其中，delaytime为预估的延时时间，若是，则执行步骤230，否则，则执行步骤210。

步骤230：遍历一次所有网元，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据。

步骤240：基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，其中，上述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

步骤250：生成性能文件。

步骤260：将性能文件上传至FTP服务器上，进行保存。

步骤270：更新最近数据获取时间，并转向步骤220，继续操作。

参阅图3所示，客户端的执行过程，具体如下：

步骤300：接收到数据分析指令时，获取服务端生成的性能文件。

步骤310：将性能文件进行解析。

步骤320：将解析出的网元原始数据进行缓存。

步骤330：将获得的各个网元的网元原始数据中记录的每一种指标参数，根据KPI公式分别进行计算，得到相应的KPI。

步骤340：将计算出的各类KPI进行拼接封装。

步骤350：生成报表并进行上报。

基于上述实施例，参阅图4所示，本发明实施例中，数据分析系统，具体包括：

服务端40，用于按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；

客户端41，用于接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。

可选的，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件时，服务端40具体用于：

按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据；

基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，上述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

可选的，在指定的存储位置对获得的性能文件进行保存时，服务端40具体用于：

将获得的性能文件上传至指定的FTP服务器，或者，保存在本地。

可选的，接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据时，客户端41具体用于：

接收到数据分析指令时，从上述指定的存储位置提取出相应的性能文件；

对提取出的性能文件进行解析，获得基于上述设定的汇总参考参数得到的各个网元的原始的网元数据。

可选的，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报时，客户端41具体用于：

基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI；

将得到的KPI，进行拼接封装，生成报表并进行上报。

综上所述，本发明实施例中，将提取性能报表功能分为服务端和客户端。在服务端，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；在客户端，接收到数据分析指令时，从指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于上述网元数据进行KPI分析，得到相应的KPI并进行上报。这样，实现了提取性能报表功能的分离，不完全依赖于服务器，降低了对服务器的压力；并且，服务端生成性能文件后，就会进行保存，当需要时，客户端可离线提取出相应的性能文件，生成报表，不受服务器可靠性和稳定性的制约，这样提高了提取性能报表的可靠性和稳定性，和数据处理能力。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据分析方法，其特征在于，包括：

按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；

接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于所述网元数据进行关键绩效指标KPI分析，得到相应的KPI并进行上报。

2.如权利要求1所述的方法，其特征在于，所述按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，具体包括：

按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据；

基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，所述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

3.如权利要求2所述的方法，其特征在于，所述在指定的存储位置对获得的性能文件进行保存，具体包括：

将获得的性能文件上传至指定的文件传输协议FTP服务器，或者，保存在本地。

4.如权利要求2或3所述的方法，其特征在于，所述接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，具体包括：

接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件；

对提取出的性能文件进行解析，获得基于所述设定的汇总参考参数得到的各个网元的原始的网元数据。

5.如权利要求4所述的方法，其特征在于，所述基于所述网元数据进行KPI分析，得到相应的KPI并进行上报，具体包括：

基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI；

将得到的KPI，进行拼接封装，生成报表并进行上报。

6.一种数据分析系统，其特征在于，包括：

服务端，用于按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件，以及在指定的存储位置对获得的性能文件进行保存；

客户端，用于接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据，基于所述网元数据进行关键绩效指标KPI分析，得到相应的KPI并进行上报。

7.如权利要求6所述的系统，其特征在于，按照预设的时间和预设的数据获取方式，从数据库中定期获取原始的网元数据并生成性能文件时，所述服务端具体用于：

按照预设的时间点或时间段，定期遍历所有网元，在每一次遍历中，基于预设的数据获取方式，分别获取每一个网元的网元类型、网元级别、指定的指标参数和数据获取时间，作为各个网元的原始的网元数据；

基于设定的汇总参考参数，将获得的各个网元的原始的网元数据进行汇总，生成相应的性能文件；其中，所述设定的汇总参考参数包括网元类型、网元级别和数据获取时间中的一种或任意组合。

8.如权利要求7所述的系统，其特征在于，在指定的存储位置对获得的性能文件进行保存时，所述服务端具体用于：

将获得的性能文件上传至指定的文件传输协议FTP服务器，或者，保存在本地。

9.如权利要求7或8所述的系统，其特征在于，接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件进行解析获取相应的网元数据时，所述客户端具体用于：

接收到数据分析指令时，从所述指定的存储位置提取出相应的性能文件；

对提取出的性能文件进行解析，获得基于所述设定的汇总参考参数得到的各个网元的原始的网元数据。

10.如权利要求9所述的系统，其特征在于，基于所述网元数据进行KPI分析，得到相应的KPI并进行上报时，所述客户端具体用于：

基于获得各个网元的原始的网元数据中记录的每一种指标参数，分别计算得到相应的KPI；

将得到的KPI，进行拼接封装，生成报表并进行上报。