CN101141298A - 一种差异数据处理系统和方法 - Google Patents

Abstract

本发明提供了一种差异数据处理系统和方法，上述差异数据处理系统包括：数据采集上报模块，本地OMC数据接收模块，上级NMC数据接收模块，还包括差异数据处理模块和差异数据控制模块，差异数据控制模块比较本地OMC与上级NMC的数据的结构差异，如果有差异则整理出对应的处理方法，并将该对应的处理方法预存在本地OMC或上级NMC；差异数据处理模块从本地OMC数据接收模块接收数据，根据预存的该对应的处理方法对与上级NMC需要的数据的结构不同的数据进行处理，而后将处理后的与上级NMC的数据的结构一致的数据上报到上级NMC数据接收模块。本发明可以使得传送到上级NMC的数据最大程度地被其识别，提高系统的稳定性。

Description

一种差异数据处理系统和方法

技术领域

本发明涉及一种无线通信系统中数据处理系统和方法，特别涉及一种分布式系统中差异数据处理系统和方法。

背景技术

在集中网管的构架中，通常包括一个上级网络管理中心(NetworkManagement Center，以下简称NMC)以及多个本地操作维护中心(Operation and Maintenance Center，以下简称OMC)，这时前台采集的单板性能数据向后台本地OMC上报之后，还需要由本地OMC将这些数据转发上报至上级NMC中，以便在上级NMC对多个本地OMC的数据进行集中管理与分析。前台数据是以一定数据结构上报的，而后台无论是本地OMC还是上级NMC都是以数据库的形式保存这些前台数据，这就要求前台数据的数据结构与后台数据库表结构完全一致，否则在数据存入数据库时就会出现异常。

在实际运行环境中，网元前台与本地OMC的版本是严格绑定在一起的，前台数据的数据结构与后台数据库表结构是一一对应的，因此数据入库时不会出现异常；但是对于上级NMC来说，它同时管理多个地区级OMC，他们之间的版本就不一定能够保持严格一致，数据库表在OMC以及NMC上的结构就会存在差异，数据由OMC转发至NMC时就会出现由于数据库表差异导致的入库失败。

以前，对于这种分布式系统中由于版本不同而导致数据差异的情况，通常有两种处理方式，一是对这些数据不进行任何处理直接上报至NMC；二是对这些存在差异的数据进行丢弃，不进行上报。对于方法一，虽然前台或是本地OMC可以不进行任何处理，但是数据直接上报至上级NMC后，数据入库将会导致大量异常，增加上级NMC处理负荷，同时造成数据丢失。方法二较前者有一定的改进，在上报之间将这些差异数据丢弃，这样至少避免了NMC上大量异常的出现，但同样会导致这些差异数据的丢失。

发明内容

本发明的目的在于提供一种分布式系统中差异数据处理系统和方法，使其能够在向NMC上报数据前先处理部分差异数据，使其能够被NMC识别，从而减轻NMC的负担，最大程度地保证数据完整性。

本发明提供了一种差异数据处理系统，包括：

数据采集上报模块，用于采集数据并上报；

本地OMC数据接收模块，用于接收数据采集上报模块上报的数据；

上级NMC数据接收模块，用于接收本地OMC数据接收模块上报的数据；

其中还包括差异数据处理模块和差异数据控制模块；

差异数据控制模块比较本地OMC与上级NMC的数据的结构差异，如果有差异则整理出对应的处理方法，并将该对应的处理方法预存在本地OMC或上级NMC；

差异数据处理模块从本地OMC数据接收模块接收数据，根据预存的该对应的处理方法对与上级NMC需要的数据的结构不同的数据进行处理，而后将处理后的与上级NMC的数据的结构一致的数据上报到上级NMC数据接收模块。

上述差异数据处理模块与本地OMC数据接收模块属于本地OMC。

本发明还提供了一种差异数据处理方法，包括以下步骤：

步骤1，数据采集上报模块采集数据并上报给本地OMC数据接收模块，而后发送给差异数据处理模块，差异数据控制模块比较本地OMC与上级NMC的数据的结构差异，如果有差异则整理出对应的处理方法，并将上述对应的处理方法预存在本地OMC或上级NMC，否则直接传送数据给上级NMC数据接收模块；

步骤2，差异数据处理模块接收到数据后，根据上述对应的处理方法对与上级NMC需要的数据的结构不同的数据进行处理，而后将处理后的与上级NMC的数据的结构一致的数据上报到上级NMC数据接收模块。

上述差异数据处理系统和方法用于分布式系统。

本地OMC的版本与上级NMC的版本的差异引起本地OMC与上级NMC的数据的结构差异，如果本地OMC的版本比上级NMC新，则上述对应的处理方法预存在本地OMC的系统内存中，如果上级NMC的版本比本地OMC新，则上述对应的处理方法预存在上级NMC的系统内存中。

差异数据控制模块整理上述处理方法的过程包括：

步骤11，判断上级NMC与本地OMC的版本是否兼容，如果不兼容，则不处理，否则执行步骤12；

步骤12，从上级NMC与本地OMC的版本的较新的一个中读取版本差异信息，根据对应的规则整理出对应的处理方法并保存。

本发明的有益效果在于可以使得传送到上级NMC的数据最大程度地被其识别，通过在本地OMC级对差异数据进行处理，使得进入上级NMC数据库的数据没有异常，提高系统的稳定性，减小上级NMC的负担和异常情况，避免差异数据的丢失。

附图说明

图1为本发明一较佳实施例的差异数据处理系统的示意图。

图2为本发明另一较佳实施例的差异数据处理方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步地介绍，但不作为对本发明的限定。

本发明一较佳实施例的分布式系统中的差异数据处理系统如图1所示，包括网元前台10的数据采集上报模块11，负责采集前台的数据，包括性能数据，将其上报给本地OMC12。

本地OMC12包括数据接收模块13和差异数据处理模块14，数据接收模块13接收数据采集上报模块11上报的数据，将其存放到本地OMC数据库15。

数据接收模块13将上述本地OMC 12的版本信息文件和上级NMC17的版本信息文件通过差异数据处理模块14发送给差异数据控制模块16，差异数据控制模块16根据上述版本信息文件来获取上级NMC17和本地OMC12各自的版本号，获取相关的差异信息，整理对应的处理方法，以便包括差异数据处理模块14的其他模块调用。其中上述差异信息在调用之前已经存储在本地OMC12的系统内存或上级NMC17的系统内存中。

差异数据处理模块14根据得到的差异信息将本地OMC的数据进行整理，形成与上级NMC17的版本一致的性能数据，将其上传到上级NMC17的数据接收模块18。

数据接收模块18将接收到的数据存入上级NMC的数据库19。

由于上级NMC17管理多个本地OMC12，如果将差异数据处理模块14置于上级NMC17中，则上级NMC17需要对每个OMC12进行处理，因而会影响NMC系统的处理效率，所以在该实施例中，差异数据处理模块14布置在本地OMC12一级，也就是对应每个本地OMC12都有一个对应的差异数据处理模块，差异数据处理过程仅在本次OMC级完成，因而尽可能地避免上级NMC17的负荷的增加。

差异信息存储在本地OMC12或上级NMC17中，可以是其系统内存中，最好是存储于两者之间较新的一个。也就是，如果本地OMC12为新版本，则差异信息存放在本地OMC12中；如果上级NMC17为新版本，则差异信息存放在上级NMC17中，其中差异信息可以用兼容列表的形式保存。

差异数据处理模块14获取上述差异信息的过程也因差异信息的存储位置不同而略有改变。如果差异信息存放在本地OMC12中，则差异数据处理模块14在本地OMC12直接得到相关信息；如果差异信息存放在上级NMC17中，则差异数据处理模块14请求上级NMC17下发相关信息，通过上下级连接通道将差异信息下发到本地OMC12，而后差异数据处理模块14在本地OMC12获取相关差异信息。

本发明另一较佳实施例的差异数据处理方法如图2所示，此时，差异信息已经存储于本地OMC12或上级NMC17中版本较新的一个，该方法包括以下步骤：

步骤101，差异数据控制模块16获得上级NMC17和本地OMC12的版本信息文件，获取上级NMC17和本地OMC12各自的版本号。

步骤102，差异数据控制模块16将获取的两个版本号进行对比，如果版本号一致，则执行步骤109，如果版本号不一致则执行步骤103。

步骤103，差异数据控制模块16从本地OMC12或上级NMC17中版本较新的一个中获取版本兼容列表信息，根据上述信息中的一个判断本地OMC12与上级NMC17是否兼容，如果是，则执行步骤104，否则，流程结束。

步骤104，差异数据控制模块16从本地OMC12或上级NMC17中版本较新的一个中读取预存的差异信息，该差异信息为本地OMC12和上级NMC17的性能数据表结构的变化信息，也就是存储数据的本地OMC数据库15与上级NMC数据库19表结构差异，包括表新增与删除、表字段新增与删除、表字段移位、字段含义的变化或多种变化方式的组合等等。

步骤105，差异数据控制模块16根据相关规则分析上述差异信息，整理出对应的处理方法，存储在本地OMC12或上级NMC17中版本较新的一个中，例如存放在本地OMC12的系统内存中。

步骤106，差异数据处理模块14比较本地OMC12和上级NMC17的版本号，判断哪一个的版本较新，如果本地OMC12版本较新，执行步骤108，否则执行步骤107。

步骤107，将差异信息及其处理方法从上级NMC17下发到本地OMC12中，可以保存在其系统内存中。

步骤108，差异数据处理模块14从本地OMC12中读取上述差异信息及其处理方法，处理从本地OMC数据库15导出的数据。本地OMC12和上级NMC17之间的数据传递通常是以数据文件的形式进行的，本地OMC12将网元前台10发出的存放于本地OMC数据库15的数据以批处理的方式导出，而后将上述文件压缩为例如ZIP文件的格式所以上述处理过程应该在批处理导出时进行。

步骤109，将处理过的数据上传到上级NMC数据接收处理模块18，而后上传到上级NMC数据库19。上述压缩为例如ZIP文件格式的文件可以通过FTP的方法或任意合适的方法上传到上级NMC17，上级NMC17接收到ZIP压缩格式的文件后将其解压缩，而后批处理入库。

步骤108中，对于本地OMC数据库15的数据的差异处理方法包括将上级NMC17的版本中删除的表从其中删除，将上级NMC17的版本中删除的表字段从其中删除，添加上级NMC17的版本中添加的表字段等等。从而保证该数据与上级NMC数据库19需要的一致，最大程度的保证数据的完整性。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；如果不脱离本发明的精神和范围，对本发明进行修改或者等同替换的，均应涵盖在本发明的权利要求的保护范围当中。

Claims (8)

1.一种差异数据处理系统，包括：

数据采集上报模块，用于采集数据并上报；

本地OMC即操作维护中心数据接收模块，用于接收数据采集上报模块上报的数据；

上级NMC即网管中心数据接收模块，用于接收本地OMC数据接收模块上报的数据；

其特征在于还包括差异数据处理模块和差异数据控制模块，

差异数据控制模块比较本地OMC与上级NMC的数据的结构差异，如果有差异则整理出对应的处理方法，并将该对应的处理方法预存在本地OMC或上级NMC；

差异数据处理模块从本地OMC数据接收模块接收数据，根据预存的该对应的处理方法对与上级NMC需要的数据的结构不同的数据进行处理，而后将处理后的与上级NMC的数据的结构一致的数据上报到上级NMC数据接收模块。

2.根据权利要求1所述的差异数据处理系统，其特征在于上述差异数据处理系统用于分布式系统。

3.根据权利要求2所述的差异数据处理系统，其特征在于上述差异数据处理模块与本地OMC数据接收模块属于本地OMC。

4.根据权利要求3所述的差异数据处理系统，其特征在于本地OMC的版本与上级NMC的版本的差异引起本地OMC与上级NMC的数据的结构差异，如果本地OMC的版本比上级NMC新，则上述对应的处理方法预存在本地OMC的系统内存中，如果上级NMC的版本比本地OMC新，则上述对应的处理方法预存在上级NMC的系统内存中。

5.一种差异数据处理方法，其特征在于包括以下步骤：

步骤1，数据采集上报模块采集数据并上报给本地OMC数据接收模块，而后发送给差异数据处理模块，差异数据控制模块比较本地OMC与上级NMC的数据的结构差异，如果有差异则整理出对应的处理方法，并将上述对应的处理方法预存在本地OMC或上级NMC，否则直接传送数据给上级NMC数据接收模块；

步骤2，差异数据处理模块接收到数据后，根据上述对应的处理方法对与上级NMC需要的数据的结构不同的数据进行处理，而后将处理后的与上级NMC的数据的结构一致的数据上报到上级NMC数据接收模块。

6.根据权利要求5所述的差异数据处理方法，其特征在于上述差异数据处理方法用于分布式系统。

7.根据权利要求6所述的差异数据处理方法，其特征在于本地OMC的版本与上级NMC的版本的差异引起上述数据的结构差异，如果本地OMC的版本比上级NMC新，则存放版本差异信息的兼容列表存放在本地OMC的系统内存中，如果上级NMC的版本比本地OMC新，则存放版本差异信息的兼容列表存放在上级NMC的系统内存中。

8.根据权利要求7所述的差异数据处理方法，其特征在于差异数据控制模块整理上述处理方法的过程包括：

步骤11，判断上级NMC与本地OMC的版本是否兼容，如果不兼容，则不处理，否则执行步骤12；

步骤12，从上级NMC与本地OMC的版本的较新的一个中读取版本差异信息，根据对应的规则整理出对应的处理方法并保存。

Images