CN102340791A - 一种用于实现数据一致性的系统和方法 - Google Patents

Abstract

本发明实施例公开了一种用于实现数据一致性的系统和方法。该系统包括数据采集模块、预处理模块、比较模块和同步模块；所述数据采集模块，与第一网元设备和多个第二网元设备相连，采集第一网元设备和各个第二网元设备存储的数据信息；所述预处理模块，将采集到的数据信息处理成预定格式；所述比较模块，根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致；所述同步模块，根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。本发明能提高数据一致性管理的效率和准确性。

Description

一种用于实现数据一致性的系统和方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于实现数据一致性的系统和方法。

背景技术

目前，移动通信技术的发展日新月异，移动通信运营商和网络服务提供商为移动用户提供了越来越多的业务，这些业务承载在各种网络业务平台上。运营支撑系统是运营商受理各种业务以及对各种业务进行计费处理等操作的系统，典型的运营支撑系统例如有业务运营支撑(Business Operation Support System，BOSS)系统。各种网络业务平台都与运营商的运营支撑系统相连，移动用户通过该运营支撑系统从网络业务平台获取相应的网络服务。

图1是为移动用户提供业务服务的系统组成示意图。

如图1所示，运营支撑系统与各种网络业务平台相连，移动用户通过运营支撑系统获取各种网络业务平台上承载的业务。

图1中，每种网络业务平台上都存储有相应业务数据信息，例如开通某一项业务的移动用户标识列表等，运营支撑系统中也存储有诸如所述移动用户标识列表等业务数据信息。不同的网络业务平台上的业务数据信息的存储格式通常不同，并且网络业务平台上的业务数据信息存储格式和运营支撑系统上的业务数据信息存储格式通常也不同。由于网络传输错误等原因，运营支撑系统和网络业务平台中的业务数据信息可能存在不一致的情况，如果不一致，则将导致无法准确地为移动用户提供相应的业务服务，例如，移动用户已经开通了某一网络业务平台上的某项业务，但是在运营支撑系统中却没有记录该用户已经开通了该项业务，导致用户无法通过该运营支撑系统获取相应的业务。

由于不同网络业务平台之间存在差异，各网络业务平台上的业务数据信息存储格式一般也不同，因此为了解决可能存在的数据不一致的问题，目前通常是对各个网络业务平台上的业务数据信息进行独立地管理，典型的方法是将从各个网络业务平台上采集到的业务数据信息采用手动方式输入到运营支撑系统中，或者根据各个网络业务平台的特点编写相应的数据一致性判断的软件，利用各个不同的软件判断各个不同的网络业务平台上的业务数据信息是否与运营支撑系统中的相应业务数据信息相同，再根据判断结果对业务数据信息进行手动维护，例如，手动更正运营支撑系统或者网络业务平台上错误的业务数据信息。

目前通过手动维护数据一致性的方案中，一方面由于手动操作缺乏准确性，导致数据一致性的准确性较差，另一方面，对各个不同的网络业务平台的业务数据信息分别进行独立地管理时，数据一致性管理过程复杂，导致数据一致性管理效率较低且准确性较差。

发明内容

有鉴于此，本发明提供了一种用于实现数据一致性的系统和方法，以便简化数据一致性的管理过程，并提高数据一致性管理的效率和准确性。

本发明的技术方案具体是这样实现的：

一种用于实现数据一致性的系统，该系统包括数据采集模块、预处理模块、比较模块和同步模块；

所述数据采集模块，与第一网元设备和多个第二网元设备相连，采集第一网元设备和各个第二网元设备存储的数据信息；

所述预处理模块，将采集到的数据信息处理成预定格式；

所述比较模块，根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致；

所述同步模块，根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

一种用于实现数据一致性的方法，该方法包括：

采集第一网元设备和各个第二网元设备存储的数据信息；

将采集到的数据信息处理成预定格式；

根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致；

根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

由上述技术方案可见，本发明通过设置数据采集模块、预处理模块、比较模块和同步模块，利用该数据采集模块采集各个网元设备的数据信息，利用该预处理模块将采集到的格式不一的数据信息处理成预定的统一格式，然后利用比较模块根据处理成预定格式的数据信息比较来自不同网元设备的对应的数据信息是否一致，并根据比较结果利用同步模块将不同网元设备上相对应的数据信息同步成一致的数据信息。

可见，通过本发明的数据采集模块、预处理模块、比较模块和同步模块，实现了对各种不同网元设备上的数据信息进行一致性管理，与现有技术中对不同网元设备的数据信息分别独立地进行数据一致性管理相比，简化了数据一致性管理的过程，提高了数据一致性管理的效率，与现有技术中进行手动形式的数据一致性管理相比，能够提高数据一致性管理的准确性。

附图说明

图1是为移动用户提供业务服务的系统组成示意图。

图2是本发明提供的用于实现数据一致性的系统。

图3是本发明提供的用于实现数据一致性的系统的另一组成示意图。

图4是本发明提供的利用图3所示系统对HLR和BOSS系统中的业务数据信息进行一致性管理的流程图。

图5是本发明提供的用于实现数据一致性的应用服务器的结构图。

具体实施方式

图2是本发明提供的用于实现数据一致性的系统。

如图2所示，该系统包括数据一致性应用服务器201。

数据一致性应用服务器201，包括数据采集模块2011、预处理模块2012、比较模块2013和同步模块2014。

数据采集模块2011，与第一网元设备和多个第二网元设备相连，采集第一网元设备和各个第二网元设备存储的数据信息。

预处理模块2012，将采集到的数据信息处理成预定格式。

比较模块2013，根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致。

同步模块2014，根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

该系统还可以包括数据一致性数据库202，存储数据一致性应用服务器201从第一网元设备和第二网元设备采集的数据信息，存储所述一致的数据信息。

典型地，所述第一网元设备可以是运营支撑系统，所述第二网元设备可以是业务设备，则图2所示的系统可以用于对运营支撑系统中的业务数据信息和业务设备中的业务数据信息进行一致性管理，避免由于运营支撑系统中的业务数据信息与业务设备中的业务数据信息不一致而导致用户无法获得业务服务的情况，并且提高对运营支撑系统中的业务数据信息和业务设备中的业务数据信息进行一致性管理的效率和准确性。

具体地，数据一致性应用服务器201中，预处理模块2012将采集到的数据信息以业务信息为关键字存储成预定格式，比较模块2013，比较从运营支撑系统和业务设备中采集到的与所述关键字对应的数据信息是否一致。

比如，将从运营支撑系统和业务设备中采集到的业务数据信息都存储成如下的格式：手机号码-业务类别-业务状态。以是否开通彩铃业务的业务数据信息为例，则将相应的业务数据信息存储成：手机号-彩铃业务-开通，或者存储成：手机号-彩铃业务-未开通。

比较模块2013，根据业务类别提取出已处理成预定格式的从运营支撑系统中采集到的数据信息和从业务设备中采集到的数据信息，然后比较属于同一业务类别但是分别来自运营支撑系统和业务设备的数据信息是否一致。

同步模块2014，在从运营支撑系统中采集的数据信息和从业务设备中采集的数据信息不一致时，可以按照从运营支撑系统采集的数据信息同步业务设备中的数据信息。

数据采集模块2011，，可以通过文件传输协议(FTP)方式或者设置采集语句的方式从第一网元设备或第二网元设备采集数据信息。

具体地，数据采集模块2011，可以通过FTP方式登录以数据文件形式存储数据信息的网元设备，获取数据文件的名称列表，以FTP方式从所述网元设备上将所述数据文件采集到所述数据一致性应用服务器201中；数据采集模块2011，还可以通过数据库连接方式登录以数据表的形式存储数据信息的网元设备，通过生成批量采集语句的方式将所述数据表中的数据信息采集到所述数据一致性应用服务器201中。

为了提高图2所示系统及其中的数据一致性应用服务器201的可扩展性，所述数据一致性应用服务器201可以通过可编程接口与所述第一网元设备和所述第二网元设备相连。

通过所述可编程接口可以在该数据一致性应用服务器201中设置对网元设备进行数据采集的模块和将采集的数据信息处理成预定格式的模块。换言之，通过该可编程接口，可以实现对数据一致性应用服务器201进行二次开发，使得数据一致性应用服务器201可以采集新增的网元设备中的数据信息，将该新增的网元设备的数据信息处理成预定格式，以便比较该新增的网元设备的数据信息与其他网元设备的数据信息是否一致。

为了便于维护人员对图2所示系统进行维护，本发明还提供了用于实现数据一致性的系统的另一组成示意图，具体请见图3。

图3是本发明提供的用于实现数据一致性的系统的另一组成示意图。

图3所示系统在图2所示系统基础上进一步包括WEB服务器301、操作终端302和WEB数据库303。

WEB服务器301，根据来自操作终端302的配置信息对所述数据一致性应用服务器201进行配置，从数据一致性数据库202获取数据信息。

操作终端302，将配置信息发给WEB服务器301，显示通过WEB服务器301获取的数据信息。

所述配置信息通常包括数据采集任务的配置信息(比如数据采集的频率等)、将数据处理成预定格式的配置信息、比较数据信息是否一致的配置信息、以及将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息的配置信息(比如一第一网元设备中的数据信息为标准来同步第二网元设备中的数据信息)。所述配置信息还可以包括监控告警的配置信息，比如在数据不一致时进行告警。

WEB数据库303，用于记录操作人员通过操作终端302和WEB服务器301进行了哪些操作，以及WEB服务器301和数据一致性应用服务器201之间进行了哪些信息交互。如果不需要记录所述操作和所述信息交互，则图3所示系统也可以不设置WEB数据库303。

下面以对归属位置寄存器(HLR)和BOSS系统中的业务数据信息进行一致性管理为例，对图3所示系统的工作流程进行说明，具体请参见图4。

图4是本发明提供的利用图3所示系统对HLR和BOSS系统中的业务数据信息进行一致性管理的流程图。

如图4所示，该流程包括：

步骤401～403，操作终端根据维护人员输入的配置信息将对HLR网元和BOSS系统进行数据采集的任务信息、对HLR网元和BOSS系统中的数据信息进行一致性处理的同步规则以及其他配置信息发给WEB服务器。其中，步骤401～403配置信息的顺序可调。

本步骤中，数据采集的任务信息例如可以包括采集的数据内容、采集时间点和采集周期等。一致性处理的同步规则例如可以是以BOSS系统中的数据信息为准，通过自动或者人工方式将HLR中的数据信息同步为BOSS系统中的数据信息。所述其他配置信息例如可以包括数据一致性应用服务器的告警规则等。

步骤404，WEB服务器将来自操作终端的配置信息发给数据一致性应用服务器。

步骤405，数据一致性应用服务器根据所述配置信息进行相应的配置，并与数据一致性数据库建立连接。

步骤406，数据一致性应用服务器根据配置信息触发数据采集，采集HLR网元和BOSS系统中的业务数据信息。

步骤407，数据一致性应用服务器对从HLR网元和BOSS系统中采集的业务数据信息进行预处理，将其处理成预定格式后存储在数据一致性数据库中。

步骤408，数据一致性应用服务器根据数据一致性数据库中存储的已经处理成预定格式的数据信息，根据该预定格式中的关键字，对来自HLR网元和BOSS系统的相应的数据信息进行比较，将比较结果存储在数据一致性数据库中。

步骤409，数据一致性应用服务器根据数据一致性数据库中的比较结果以及所述配置信息中的同步规则，将HLR网元和所述BOSS系统中的数据信息同步为一致的数据信息。

本发明还提供了一种用于实现数据一致性的方法，具体请参见图5。

图5是本发明提供的用于实现数据一致性的方法流程图。

如图5所示，该方法包括：

步骤501，采集第一网元设备和各个第二网元设备存储的数据信息。

步骤502，将采集到的数据信息处理成预定格式。

步骤503，根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致。

步骤504，根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

其中，所述第一网元设备可以是运营支撑系统，所述第二网元设备可以是业务设备。

其中，可以将采集到的数据信息以业务信息为关键字存储成预定格式，相应地，比较从运营支撑系统和业务设备中采集到的与所述关键字对应的数据信息是否一致。

在从运营支撑系统中采集的数据信息和从业务设备中采集的数据信息不一致时，可以按照从运营支撑系统采集的数据信息同步业务设备中的数据信息。

可以通过FTP方式登录以数据文件形式存储数据信息的网元设备，获取数据文件的名称列表，以FTP方式从所述网元设备上采集所述数据文件。

还可以通过数据库连接方式登录以数据表的形式存储数据信息的网元设备，通过生成批量采集语句的方式采集所述数据表中的数据信息。

还可以通过可编程接口在用于实现数据一致性的应用服务器中设置对网元设备进行数据采集的模块和将采集的数据信息处理成预定格式的模块。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (17)

1.一种用于实现数据一致性的系统，其特征在于，该系统包括数据采集模块、预处理模块、比较模块和同步模块；

所述数据采集模块，与第一网元设备和多个第二网元设备相连，采集第一网元设备和各个第二网元设备存储的数据信息；

所述预处理模块，将采集到的数据信息处理成预定格式；

所述比较模块，根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致；

所述同步模块，根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

2.根据权利要求1所述的系统，其特征在于，

所述第一网元设备是运营支撑系统，所述第二网元设备是业务设备。

3.根据权利要求2所述的系统，其特征在于，

所述预处理模块，将采集到的数据信息以业务信息为关键字存储成预定格式；

所述比较模块，比较从运营支撑系统和业务设备中采集到的与所述关键字对应的数据信息是否一致。

4.根据权利要求3所述的系统，其特征在于，

所述同步模块，在从运营支撑系统中采集的数据信息和从业务设备中采集的数据信息不一致时，按照从运营支撑系统采集的数据信息同步业务设备中的数据信息。

5.根据权利要求1所述的系统，其特征在于，

所述数据采集模块，通过FTP方式登录以数据文件形式存储数据信息的网元设备，获取数据文件的名称列表，以FTP方式从所述网元设备上采集所述数据文件。

6.根据权利要求1所述的系统，其特征在于，

所述数据采集模块，通过数据库连接方式登录以数据表的形式存储数据信息的网元设备，通过生成批量采集语句的方式采集所述数据表中的数据信息。

7.根据权利要求1所述的系统，其特征在于，该系统进一步包括可编程接口；

所述数据采集模块，通过可编程接口与所述第一网元设备和所述第二网元设备相连。

8.根据权利要求7所述的系统，其特征在于，

通过所述可编程接口在该系统中设置对网元设备进行数据采集的模块和将采集的数据信息处理成预定格式的模块。

9.根据权利要求1所述的系统，其特征在于，该系统进一步包括数据一致性数据库，

所述数据一致性数据库，存储数据一致性应用服务器从第一网元设备和第二网元设备采集的数据信息，存储所述一致的数据信息。

10.根据权利要求9所述的系统，其特征在于，该系统进一步包括WEB服务器和操作终端。

所述WEB服务器，根据来自操作终端的配置信息对所述数据采集模块、预处理模块、比较模块和同步模块进行配置，从数据一致性数据库获取数据信息；

所述操作终端，将配置信息发给WEB服务器，显示通过WEB服务器获取的数据信息。

11.根据权利要求10所述的系统，其特征在于，

所述配置信息包括数据采集任务的配置信息、将数据处理成预定格式的配置信息、比较数据信息是否一致的配置信息、以及将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息的配置信息。

12.一种用于实现数据一致性的方法，其特征在于，该方法包括：

采集第一网元设备和各个第二网元设备存储的数据信息；

将采集到的数据信息处理成预定格式；

根据处理成预定格式的数据信息比较从第一网元设备采集到的数据信息与从第二网元设备采集到的数据信息是否一致；

根据比较结果将第一网元设备中的数据信息和第二网元设备中的数据信息同步为一致的数据信息。

13.根据权利要求12所述的方法，其特征在于，所述第一网元设备是运营支撑系统，所述第二网元设备是业务设备；

将采集到的数据信息以业务信息为关键字存储成预定格式；

比较从运营支撑系统和业务设备中采集到的与所述关键字对应的数据信息是否一致。

14.根据权利要求13所述的方法，其特征在于，

在从运营支撑系统中采集的数据信息和从业务设备中采集的数据信息不一致时，按照从运营支撑系统采集的数据信息同步业务设备中的数据信息。

15.根据权利要求12所述的方法，其特征在于，

通过FTP方式登录以数据文件形式存储数据信息的网元设备，获取数据文件的名称列表，以FTP方式从所述网元设备上采集所述数据文件。

16.根据权利要求12所述的方法，其特征在于，

通过数据库连接方式登录以数据表的形式存储数据信息的网元设备，通过生成批量采集语句的方式采集所述数据表中的数据信息。

17.根据权利要求12所述的方法，其特征在于，

通过可编程接口在用于实现数据一致性的应用服务器中设置对网元设备进行数据采集的模块和将采集的数据信息处理成预定格式的模块。

Images