CN101997701B - 数据处理方法及装置 - Google Patents

Abstract

本发明提供一种数据处理方法及装置，其中方法包括：获取根据原始粒度采集的第一数据；根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询。本发明的方案降低了内存处理数据的量，提高了数据的查询效率。

Description

数据处理方法及装置

技术领域

本发明涉及通讯领域，尤其涉及一种网管平台中性能数据处理方法及装置。

背景技术

在电信网管系统中，性能管理主要负责采集和分析网络运行的数据，尤其是对历史数据的查询和分析，对于网管系统是一个重点，长时期以来，各个厂商一直致力解决海量数据给系统带来的超大负荷和响应的效率的难题。

电信网管理中的性能数据处理流程是：

(1)由前台设备根据网络单元NE(Network Element，网络单元)定制的采集任务上报数据给网络单元NE；

(2)网络单元NE把数据按照测量类型入库，必须支持NE上的各个粒度、各个位置的数据查询，支持性能门限告警的数据查询，并且把数据汇总后通过数据文件上报给EMS(Element Management Systems，网元管理系统)；

(3)EMS收到NE上报的数据后入库，同样也必须提供所有管理的NE的各种粒度和位置的汇总，还要支持提供NMS(Network Management Systems，网络管理系统)需要的各种数据的汇总。

上述流程中，NE、EMS和NMS的关系是：EMS管理着每个NE的功能和容量，但并不理会网络中不同NE之间的交流。为了支持NE间的交流，EMS需要与更高一级的网络管理系统(NMS)进行通信，EMS、NMS均是电信管理网络(TMN)层次模型中的一元。

对于时间维度，3GPP中要求，能够采集到的性能数据的粒度，如5分钟；用户要求，能够查看到5分钟、15分钟、30分钟60分钟和1天粒度的历史数据。这样就要求，对于历史数据，对极端的情况，需要在用户发出请求的时候把5分钟的粒度合并为1天的粒度(这里假设只对时间维度合并)，并且一个测量类型表中有时候有一百多个指标(也就是表中的列)，如果在内存中进行合并，这就需要耗费大量的内存。用户需要查看的指标并不完全是简单的计数器，经常可能是还需要把简单计数器经过复杂的计算才能得到结果，这种情况往往导致内存溢出，即使内存没有溢出，用户也需要等到很长的时间，甚至经常会导致客户端的会话超时出现白屏。

发明内容

本发明要解决的技术问题是提供一种数据处理方法及装置，解决现有技术中存在的频繁地大数据量合并造成的大量内存占用，导致内存处理数据低效率，即查询效率低的问题。

为解决上述技术问题，本发明的实施例提供一种数据处理方法，包括：

获取根据原始粒度采集的第一数据；

根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询。

其中，所述根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据的步骤具体为：

将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。

其中，所述直接到具有所述查询请求的粒度的数据中进行查询的步骤包括：

判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，若是，则对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；否则，从具有所述查询请求的粒度的数据中进行查询。

其中，所述对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据的步骤包括：

对粒度为所述查询请求的粒度1/2倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

若所述查询时间段的结束时间还早于所述查询请求的粒度1/2倍的粒度的数据转储合并完成的时间，则对粒度为所述查询请求的粒度1/4倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据，直到对粒度为原始粒度的第一数据进行合并，得到具有所述查询请求的粒度的数据。

其中，所述第一数据以数据表的形式存储，所述至少一个第二粒度的第二数据均以所述数据表的形式存储；或者

所述第一数据以文件形式存储，所述至少一个第二粒度的第二数据均以所述文件的形式存储。

其中，所述粒度为时间粒度，所述数据表包括：采集数据、采集时间和粒度；

存储第一数据的数据表中：采集数据为所述第一数据；采集时间为所述第一数据的采集时间，粒度为所述原始粒度；

存储第二数据的数据表中：采集数据为所述第二数据；采集时间为转储合并的结束时间；粒度为所述原始粒度的整数倍。

其中，所述原始粒度为5分钟，所述至少一个第二粒度包括：15分钟、30分钟、60分钟和24小时。

为解决上述技术问题，本发明的实施例还提供一种数据处理装置，应用于网管平台，该装置包括：

采集模块，用于获取根据原始粒度采集的第一数据；

转储模块，用于根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

查询模块，用于接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询。

其中，所述转储模块包括：

第一转储子模块，用于将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

第二转储子模块，用于依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。

其中，所述查询模块包括：

判断模块，用于判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，产生判断结果；

第一查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间早于具有所述查询请求的粒度的数据转储合并完成的时间时，对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

第二查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间晚于或者等于具有所述查询请求的粒度的数据转储合并完成的时间时，从具有所述查询请求的粒度的数据中进行查询。

本发明的上述技术方案的有益效果如下：

上述方案中，通过对原始粒度的第一数据进行转储合并，得到不同于原始粒度的至少一个第二粒度的第二数据，在查询时，只需要直接到查询请求的粒度对应的数据中查询即可，本发明的实施例的方案把转储合并数据的过程分解到数据转储中，避免了内存处理大批查询结果时，导致内存的大量占用，容易产生溢出的问题，提高了数据的查询效率。

附图说明

图1为本发明的实施例数据处理方法的流程示意图；

图2为本发明的实施例数据处理装置的结构示意图；

图3为图2所示装置的具体应用场景示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有网管平台对历史数据查询时，由内存频繁进行大数据量的合并，容易导致内存溢出，处理数据效率低的问题，提供一种降低内存处理数据量的数据处理方法及装置，解决了现有技术中存在的频繁地大数据量合并造成的大量内存占用，导致内存处理数据低效率的问题。

如图1所示，为本发明的实施例一种数据处理方法，包括：

步骤11，获取根据原始粒度采集的第一数据；

如网管平台将从业务前台NE按照原始粒度采集的数据为第一数据，可以以数据表的形式存入一原始数据表中，也可以以文件形式存储；

步骤12，根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

如，根据常用的粒度创建用来存放各个粒度数据的数据表，即创建至少一个第二粒度的第二数据的数据表，该第二数据也可以以文件形式存储，但无论用哪一种形式存储，第一数据和该至少一个第二粒度的第二数据的存储形式一致即可；另外，该步骤中，第二粒度为原始粒度的整数倍，举例说明，如：以时间粒度为例，原始粒度为5分钟，则该至少一个第二粒度包括：15分钟，30分钟，60分钟，24小时(即1天)等，当然也可以包括10分钟；该原始粒度是根据网管平台的实际需求而确定，并不限于是5分钟，而至少一个第二粒度可以是该原始粒度的不同整数倍；

步骤13，接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询。

该实施例中，通过对原始粒度的数据进行转储合并，得到不同于原始粒度的至少一个第二粒度的第二数据，在查询时，只需要直接到查询请求的粒度对应的数据中查询即可，本发明的实施例的方案把转储合并数据的过程分解到数据转储中，避免了内存处理大批查询结果时，导致内存的大量占用，容易产生溢出的问题，提高了数据的查询效率。

其中，在上述步骤12中，对数据进行转储合并时，具体来讲，是首先将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。

如，原始粒度为5分钟，该至少一个第二粒度包括：15分钟，30分钟，60分钟，则该15分钟的数据是由3个5分钟的数据转储合并得到的，30分钟的数据是由2个15分钟的数据转储合并得到的，60分钟的数据是由2个30分钟的数据转储合并得到的；

另外，上述所述第一数据以数据表的形式存储，所述至少一个第二粒度的第二数据均以所述数据表的形式存储；或者所述第一数据以文件形式存储，所述至少一个第二粒度的第二数据均以所述文件的形式存储。

以上述粒度为时间粒度为例，所述数据表包括：采集数据、采集时间和粒度；如原始粒度为5分钟，则存储第一数据的数据表为5分钟粒度表，存储第二数据的数据表为如：15分钟、30分钟、60分钟和24小时(即1天)的粒度表；

实际实现中，存储第二数据的数据表需要创建，新创建的存储第二数据的数据表与原始粒度的数据表的所有属性定义均一致，即所述存储第一数据的数据表中：采集数据为所述第一数据；采集时间为所述第一数据的采集时间，粒度为所述原始粒度；所述存储第二数据的数据表中：采集数据为所述第二数据；采集时间为转储合并的结束时间；粒度为所述原始粒度的整数倍。存储第一数据的数据表和新创建的存储第二数据的数据表只是表名不一样而已。

把从前台业务采集的数据插入到原始粒度的数据表中，原始粒度的数据表中存放的是从前台上报的原始粒度的数据，不经过任何处理。

在将数据进行转储合并时，先把5分钟粒度的表中的数据合并为15分钟插入到15分钟表中，再把15分钟粒度的的表中的数据合并到30分钟的表中，依次把低粒度的数据合并后插入到高粒度表中。这里转储合并的时候，并不会对低粒度表中的数据进行删除或修改，不影响低粒度表中的数据。

转储合并的时候，先判断最新粒度的时间是否是该粒度表对应粒度的整数倍，如果是那么再进行转储，否则不进行转储。比如说，当前粒度的时间是10:00:00，那么15分钟、30分钟、1小时的数据都进行转储；如果当前粒度的时间是10:05:00，那么所有粒度都不进行转储；如果当前粒度的时间是10:15:00，那么15分钟的粒度进行转储，其它粒度不进行转储；天粒度是在每天的24:00:00进行转储。

当粒度不全的时候，不进行转储合并。比如说，当把数据从5分钟表转储合并到15分钟表时，必须15分钟之内的3个5分钟粒度都存在才进行转储合并，否则不进行转储合并。

转储合并的时候，为了不给原有系统造成负担，判断系统是否忙碌，在系统空闲的时候进行转储。

另外，上述步骤13中，直接到具有所述查询请求的粒度的数据中进行查询时，判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，若是，则对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；否则，从具有所述查询请求的粒度的数据中进行查询。

其中，对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据的实现过程包括：

对粒度为所述查询请求的粒度1/2倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

若所述查询时间段的结束时间还早于所述查询请求的粒度1/2倍的粒度的数据转储合并完成的时间，则对粒度为所述查询请求的粒度1/4倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据，直到对粒度为原始粒度的第一数据进行合并，得到具有所述查询请求的粒度的数据。

如在查询数据的时候，根据查询请求中的粒度，判断优先从哪个表中获取数据，判断的规则是从最接近请求粒度的低粒度表中查询数据，比如请求粒度是30分钟，那么就从30分钟的粒度表中获取数据，如果30分钟粒度的数据还没有转储合并完成(因为数据从一个表转储合并到另一个表中时，需要耗费一定的时间，并不一定会在规定的如9:00完成15分钟的转储合并，30分钟的转储合并和1小时的转储合并，而常常会延迟一定的时间)，那么就从15分钟的粒度查询进行合并，以此类推。

判断一个表中的数据是否已经进行了转储，是先用请求查询时间段的结束时间进行查询，如果查询时间段的结束时间晚于该转储合并完成的时间点，那么就认为已经转储成功了，如查询时间段为9:00-9:30，查询请求的粒度为30分钟，而9:30这一时刻，30分钟的表并没有从15分钟的表合并完成，因此，就需要将9:30这一时刻完成的15分钟的表和9:15这一时刻完成的15分钟的表进行合并，得到查询请求的30分钟的数据。依次类推，若9:30这一时刻的15分钟的表还没有转储合并完成，则需要从5分钟的表进行合并。

本发明的上述实施例中，是以时间粒度为例进行说明，当然，根据不同情况下的需要，不仅对时间上进行分表存储，还可以对位置、时间段等情况来进行分表。对位置和时间段进行分表的实现过程与上述按时间进行分表的过程类似，如，位置是指网管平台中针对不同网元进行的，而时间段指每隔10天或者1个月，进行如上述实施例所述的数据转储合并方法，详细过程不再赘述。

综上，本发明的数据处理方法，与现有技术相比，在查询过程中，把合并数据的过程分解到数据转储中，把原来需要在内存中处理的数据转移到数据库表或者文件中，避免了在处理大批查询结果时导致的系统内存的大量占用，提高查询效率，达到了降低查询时系统内存占用的效果。

如图2所示，本发明的实施例还提供一种数据处理装置20，应用于网管平台，该数据处理装置20包括：

采集模块21，用于获取根据原始粒度采集的第一数据；

如网管平台将从业务前台NE(网元)按照原始粒度采集的数据为第一数据，该第一数据可以以数据表的形式存储，也可以以文件形式存储；其中，该原始粒度为网管后台定义的采集粒度；

转储模块22，用于根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

如，根据常用的粒度创建用来存放各个第二粒度的数据的数据表或者文件，第一数据和该第二数据的存储形式一致，即第一数据用数据表形式存储时，第二数据也用数据表形式存储，第一数据用文件形式存储时，第二数据也用文件形式存储；另外，该模块中，第二数据的粒度，即第二粒度为原始粒度的整数倍，该整数为大于1的整数，举例说明，如：以时间粒度为例，原始粒度为5分钟，则该第二数据的粒度为：15分钟，30分钟，60分钟，24小时(即1天)等，该原始粒度是根据网管平台的实际需求而确定，并不限于是5分钟；

查询模块23，用于接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询

其中，所述转储模块22包括：

第一转储子模块，用于将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

第二转储子模块，用于依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。

这些模块中的数据转储负责低粒度的数据通过时间合并之后插入到高粒度表，如，15分钟粒度表的数据是经过5分钟粒度合并得来的，15分钟的粒度合并为30分钟的粒度，依次合并。

其中，所述查询模块23包括：

判断模块，用于判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，产生判断结果；

第一查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间早于具有所述查询请求的粒度的数据转储合并完成的时间时，对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

其中，对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据的具体实现过程包括：

对粒度为所述查询请求的粒度1/2倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

若所述查询时间段的结束时间还早于所述查询请求的粒度1/2倍的粒度的数据转储合并完成的时间，则对粒度为所述查询请求的粒度1/4倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据，直到对粒度为原始粒度的第一数据进行合并，得到具有所述查询请求的粒度的数据；

第二查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间晚于或者等于具有所述查询请求的粒度的数据转储合并完成的时间时，从具有所述查询请求的粒度的数据中进行查询。

另外，需要说明的是：上述图1所示方法的所有特征均适用于该数据处理装置20的实施例中。

下面结合具体应用实例说明上述数据处理装置20的应用流程：

如图3所示，为数据处理装置20在电信网管系统中的位置示意图，客户端查询请求，需要调用查询模块23来进行用户需要的粒度的查；

QOS查询请求，需要调用查询模块23来进行门限阀值的计算；

北向查询请求，需要调用查询模块23来进行数据的查询请求分析；

数据上报查询请求，需要调用查询模块23来进行数据查询然后上报。

而转储模块22，采集模块21均和上述图2所示的功能的作用相同，在此不再赘述；

综上所述，本发明的方案对电信管理网中历史数据的查询分析进行了优化，借助本发明的技术方案，能够优化查询效率和降低大数据查询时对系统内存的消耗。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种数据处理方法，其特征在于，包括：

获取根据原始粒度采集的第一数据；

根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询；

所述直接到具有所述查询请求的粒度的数据中进行查询的步骤包括：

判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，若是，则对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；否则，从具有所述查询请求的粒度的数据中进行查询；

且对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据的步骤包括：

对粒度为所述查询请求的粒度1/2倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

若所述查询时间段的结束时间还早于所述查询请求的粒度1/2倍的粒度的数据转储合并完成的时间，则对粒度为所述查询请求的粒度1/4倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据，直到对粒度为原始粒度的第一数据进行合并，得到具有所述查询请求的粒度的数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据的步骤具体为：

将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。

3.根据权利要求1所述的数据处理方法，其特征在于，所述第一数据以数据表的形式存储，所述至少一个第二粒度的第二数据均以所述数据表的形式存储；或者

所述第一数据以文件形式存储，所述至少一个第二粒度的第二数据均以所述文件的形式存储。

4.根据权利要求3所述的数据处理方法，其特征在于，所述粒度为时间粒度，所述数据表包括：采集数据、采集时间和粒度；

存储第一数据的数据表中：采集数据为所述第一数据；采集时间为所述第一数据的采集时间，粒度为所述原始粒度；

存储第二数据的数据表中：采集数据为所述第二数据；采集时间为转储合并的结束时间；粒度为所述原始粒度的整数倍。

5.根据权利要求4所述的数据处理方法，其特征在于，所述原始粒度为5分钟，所述至少一个第二粒度包括：15分钟、30分钟、60分钟和24小时。

6.一种数据处理装置，应用于网管平台，其特征在于，该装置包括：

采集模块，用于获取根据原始粒度采集的第一数据；

转储模块，用于根据所述第一数据，进行转储合并操作，得到至少一个第二粒度的第二数据，所述第二粒度为所述原始粒度的整数倍，所述整数为大于1的整数；

查询模块，用于接收查询请求，获取所述查询请求的粒度，直接到具有所述查询请求的粒度的数据中进行查询；

所述查询模块包括：

判断模块，用于判断查询时间段的结束时间是否早于具有所述查询请求的粒度的数据转储合并完成的时间，产生判断结果；

第一查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间早于具有所述查询请求的粒度的数据转储合并完成的时间时，对粒度小于所述查询请求的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；

所述第一查询子模块具体用于对粒度为所述查询请求的粒度1/2倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据；若所述查询时间段的结束时间还早于所述查询请求的粒度1/2倍的粒度的数据转储合并完成的时间，则对粒度为所述查询请求的粒度1/4倍的粒度的数据进行转储合并，得到具有所述查询请求的粒度的数据，直到对粒度为原始粒度的第一数据进行合并，得到具有所述查询请求的粒度的数据；

第二查询子模块，用于在所述判断结果表明：所述查询时间段的结束时间晚于或者等于具有所述查询请求的粒度的数据转储合并完成的时间时，从具有所述查询请求的粒度的数据中进行查询。

7.根据权利要求6所述的数据处理装置，其特征在于，所述转储模块包括：

第一转储子模块，用于将所述第一数据转储合并，得到所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据；

第二转储子模块，用于依次将所述至少一个第二粒度中粒度为所述原始粒度的第N整数倍的第二数据转储合并，得到粒度为所述原始粒度的第2N整数倍的第二数据，其中，N为大于1的整数。