CN104915756A - 数据一致性云稽核系统及实现方法 - Google Patents

Abstract

本发明公开了数据一致性云稽核系统及实现方法，包括云视图管理子系统和分布式稽核子系统，云视图管理子系统和分布式稽核子系统之间通过协议交互模块进行数据交互；实现方法概述如下步骤：各业务承载网元根据格式规范要求采集原始数据文件；分布式稽核子系统依据配置调度信息定时启动相应的稽核业务/网元的数据比对、并完成差异数据分析、将数据比对和差异分析结果上报云视图管理子系统；云视图管理子系统将同步清理操作请求下发至分布式稽核子系统实施、并反馈差异数据清理结果。本方案通过上述原理，保证了网元间的业务数据一致性的同时，使用灵活、资源利用率高且信息聚合能力强。

Description

数据一致性云稽核系统及实现方法

技术领域

本发明涉及移动通信业务支撑领域，具体地，涉及数据一致性云稽核系统及实现方法。

背景技术

   移动通信技术的发展日新月异，随着中国移动产品、服务的增多，出现受理渠道的多样化和网络业务平台的复杂化趋势。业务模式多元化，使运营商从单一的通信业务运营转向主导业务价值链。以运营商为主导，联合市场合作伙伴，建立业务运营多赢的生态环境，将逐渐要求对业务的创新与合作成为常态。增值业务运营生态环境映射到系统层面，形成以运营商基础通信网和业务支撑系统为核心，各种增值业务平台互联的局面。移动通信业务支撑系统（BOSS）由网络将NGCRM和众多的业务网元公共承载产品的订购和服务的开通。业务办理整个过程包含多个环节，涉及跨越多个网元的数据交互操作，业务流程和管理制度的不完善等造成数据不一致情况，导致业务、计费及服务的不一致问题日趋严重，由此带来的客户投诉增加，客户服务水平、满意度降低，业务收入流失的危害。

现有技术方案均为采取各省公司建设集中式的数据一致性系统平台，其主体逻辑为从业务或交互网元的角度将各个网元的数据统一提取到省公司的中心数据一致性平台，由中心数据一致性平台完成数据比对、差异处理的技术方案。现有技术方案存在如下缺陷：（1）集中式的数据稽核网络负荷较大、资源利用率低，为保证数据稽核的对原有生产系统的影响最小，数据稽核都安排在晚间凌晨的闲时时段导致数据稽核峰值特性很强；（2）集中式的数据稽核灵活性差，难以适应现有大型IT信息系统动态伸缩变化(包括业务系统升级元数据变化，业务平台下线、新增业务平台)，一旦发生这些变化系统就的做相应的修改；（3）集中式的数据稽核缺乏信息聚合共享能力，各种省级的数据一致性稽核中心建设标准不一，难以聚合形成集团总部级的统一视图。

发明内容

本发明所要解决的技术问题是提供数据一致性云稽核系统及实现方法，实现业务/网元数据稽核及同步管理的同时，使用灵活、资源利用率高且信息聚合能力强。

本发明解决上述问题所采用的技术方案是：数据一致性云稽核系统，包括云视图管理子系统和分布式稽核子系统，云视图管理子系统和分布式稽核子系统之间通过协议交互模块进行数据信息交互；

所述分布式稽核子系统有多个，均为单独部署的分布式稽核子系统，能够分布部署在各种交互网元节点上形成一个稽核单元，实现分布和并发稽核；

所述云视图管理子系统为一个或者是多个，均为单独部署的云视图管理子系统，通过既定的协议与各分布式稽核子系统交互，实现融合各个稽核子系统的数据，对比结果信息数据为一个云稽核结果视图，实现各个分布式稽核子系统下达数据的比对和差异同步处理。

进一步的，所述分布式稽核子系统包括依次连接的稽核业务或网元、数据接口模块、数据对比模块、差异分析模块和差异处理模块，数据对比模块、差异分析模块和差异处理模块均连接协议交互模块，差异处理模块通过数据接口模块将差异处理请求交付给稽核业务/网元实施差异同步清理，总体形成一个闭环的数据处理流程。

进一步的，所述分布式稽核子系统还包括稽核子系统配置模块，稽核子系统配置模块用于为分布式稽核子系统内的其它模块提供对应的参数配置。

进一步的，所述云视图管理子系统包括云稽核节点接口模块、业务网元视图管理模块、监控告警模块和数据质量统计分析模块，其中的业务网元视图管理模块、监控告警模块和数据质量统计分析模块均建立在云稽核节点接口模块的数据共享支撑之上。

进一步的，所述云视图管理子系统还包括云视图子系统配置模块，云视图子系统配置模块用于对云视图管理子系统内的其它模块提供对应的参数配置。

数据一致性云稽核实现方法，包括如下步骤：

A）各业务承载网元根据格式规范要求采集原始数据文件，提供给分布式稽核子系统数据接口模块，数据接口模块完成对采集原始数据的校验、并完成问题数据的清洗及数据加载存储；

B）分布式稽核子系统依据配置调度信息定时启动相应的稽核业务/网元的数据比对模块，对稽核业务/网元间的数据稽核比对并生成稽核结果及统计报表，稽核结果及统计报表通过协议交互模块的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的稽核结果数据的汇集、校验和格式化存储加载；

C)分布式稽核子系统中的差异分析模块对数据比对模块输出的差异数据进行差异数据分析,并将差异分析结果及统计表报通过协议交互模块上的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的差异分析结果数据的汇集、校验和格式化存储加载；

D）云视图管理子系统通过监控告警模块系统发现分布式稽核子系统中的新稽核任务的完成或相关数据阀值的异常，进而用户通过云视图管理子系统上的业务/网元视图管理模块触发差异数据同步清理操作，并以既定通信协议通过协议交互模块将差异数据同步清理操作请求至分布式稽核子系统实施；

E）分布式稽核子系统差异处理模块进行差异清理请求处理，按照接口规范同步协议格式完成差异同步数据格式化处理，处理后的数据通过数据接口模块交付给稽核业务/网元实施差异同步清理；

F）稽核业务/网元传送差异数据清理结果反馈至分布式稽核子系统数据接口模块，分布式稽核子系统传送差异数据清理结果通过协议交互模块上的网络反馈至云视图管理子系统，云视图管理子系统通过设置的显示终端反馈差异数据清理结果。

步骤C）中云视图管理子系统还能通过人机交互界面提供稽核、分析结果的呈现，并提供按钮化差异数据同步处理。

综上，本发明的有益效果是：

1、数据一致性云稽核系统中各分布式稽核子系统节点具备开放式的数据接口功能，具备单独部署能力，灵活性高。

2、数据一致性云稽核系统处理数据能充分利用分布式计算的基础上，将稽核任务分配给每一个云稽核节点，其效率可将稽核比对时间短到数分钟以内完成所有业务的稽核。

3、本发明改变了集中式稽核单一的服务器/客户端模式，各分布式稽核子系统与其稽核的业务网元融合部署，实现元数据稽核处理本地化；云试图视图管理节点仅需聚合经各分布式稽核节点处理的结果数据和图形化的展示，不再需要大数据的处理能力，与集中式的数据稽核网络相比网络负荷低，资源利用率高。

4、数据一致性云稽核系统的分布式稽核子系统和云视图节点子系统均是基于开放式的接口协议设计实现，可确保各子系统间的动态对接，该云稽核系统还可构建多个平级或等级云视图管理节点，将数据一致性管理分解形成了监控管理、数据一致性同步管理和数据稽核管理三个层面的技术支撑，另外，针对其他集中式建设的数据一致性稽核中心平台，进行一定的协议改造也可作为一个稽核管理单元聚合到云稽核系统中，达到数据一致性稽核信息的聚合共享，信息聚合能力更强。

附图说明

图1是本发明的原理框图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例1：

如图1所示，本发明包括云视图管理子系统和分布式稽核子系统，云视图管理子系统和分布式稽核子系统之间通过协议交互模块进行数据交互。

分布式稽核子系统有多个，均为单独部署的分布式稽核子系统，能够分布部署在各种交互网元节点上形成一个稽核单元，实现分布和并发稽核；

云视图管理子系统为一个或者是多个，均为单独部署的云视图管理子系统，通过既定的协议与各分布式稽核子系统交互，实现融合各个稽核子系统的数据，对比结果信息数据为一个云稽核结果视图，实现各个分布式稽核子系统下达数据的比对和差异同步处理。同时，可将多个同级别云视图管理子系统之融合构建上级云视图管理子系统。

其中的协议交互模块，基于http实时报文交互协议及FTP文件传输协议，实现稽核子系统与云视图管理子系统间的数据及指令交互协议，主要实现数据稽核结果、相应的稽核差异数据文件，差异分析结果、差异同步清理等各种内容交互。而云视图管理子系统通过的既定协议即为协议交互模块所采用的协议。

数据一致性云稽核系统中各分布式稽核子系统节点具备开放式的数据接口功能，具备单独部署能力。可交由已有、新增业务网元融合开发，具备在既有系统接口的主机上进行接口编程的便利条件，可以在原生环境中适配业务承载网元业务伸缩发展带来的复杂环境。云视图管理子系统节点借助于网络，将各分布式稽核子系统细微的稽核结果数据聚合起来，只需进行简单设置即可快速有效的应对业务上线新增稽核和业务下线失效稽核，快速且不失水准。形成一条“动静”结合的有序生态云稽核系统。与现有的集中式数据稽核相比，无需构建较大存储能力、计算能力硬件平台来满足峰值稽核，也无需通过网络传递所有需稽核的增量、全量元数据，克服了网络实体符合过大的缺陷。无需系统升级，通过新增、失效分布式稽核节点配置适应现有大型IT信息系统动态伸缩变化的需要，包括业务系统升级元数据变化，业务平台下线、新增业务平台，灵活性更强。

现有的集中式的数据稽核，缺乏信息聚合共享能力，各种省级的数据一致性稽核中心建设标准不一，难以聚合形成集团总部级的统一视图。而该数据一致性云稽核系统的分布式稽核子系统和云视图节点子系统均是基于开放式的接口协议设计实现，可确保各子系统间的即时对接。故此数据一致性云稽核系统可构建多个平级或等级云视图管理节点，如部级（集团总部）、省级（省公司）、市级（市分公司），将数据一致性管理分解形成了监控管理、数据一致性同步管理和数据稽核管理三个层面的技术支撑。另外，针对其他集中式建设的数据一致性稽核中心平台，进行一定的协议改造也可作为一个稽核管理单元聚合到云稽核系统中，达到数据一致性稽核信息的聚合共享。

该云稽核系统处理数据能充分利用分布式计算的基础上，将稽核任务分配给每一个云稽核节点，其效率可将稽核比对时间短到数分钟以内完成所有业务的稽核。改变了集中式稽核单一的服务器/客户端模式，每个稽核子系统节点就是一台小型服务器（或与原有生产系统网元共享服务器）。云视图管理子系统节点仅需聚合经过处理的结果数据和图形化的展示，或者是采用一台小型服务器（或与原有生产系统网元共享服务器），不再需要大数据的处理能力，实现利旧用新，资源利用率更高。

实施例2：

本实施例在实施例1的基础上优选如下：分布式稽核子系统包括依次连接的稽核业务或网元、数据接口模块、数据对比模块、差异分析模块和差异处理模块，数据对比模块、差异分析模块和差异处理模块均连接协议交互模块，差异处理模块通过数据接口模块将差异处理请求交付给稽核业务或网元实施差异同步清理，总体形成一个闭环的数据处理流程。

数据接口模块提供外部接口资源配置，实现业务稽核与网元的数据源接口对接，包括稽核元数据接入接口、差异同步处理数据输出接口和差异同步结果反馈接口。稽核元数据接入接口实现在线（离线）元数据接入和数据校验清洗功能，并完成格式化的存储，为业务差异稽核提供稽核元数据。为系统提供多种对接协议类型，对外接口资源可以是FTP地址、外部网络协议或者外部数据库资源等，使用更灵活方便。

其中的数据对比模块是稽核子系统的常驻进程模块，依据配置调度信息定时启动业务/网元数据稽核。通过解析配置的稽核类型、差异分类自动完成相应的稽核算法适配，完成数据比对并输出比对结果。为保障系统的稽核算法的支撑能力，系统按归纳的稽核类型进行了算法实现，在系统添加业务实现时可根据业务的稽核具体需要进行选择，进一步提高数据一致性云稽核系统的灵活性。

其中的差异分析模块, 差异统计分析是对差异数据进行聚合分析的功能模块，实现差异数据各个维度的分析，如差异数据产生时间的聚集性、办理渠道的、业务类型的聚集性等各种差异数据分析能力。

其中的差异处理模块，依据管理者的差异清理请求，按协议格式完成差异处理数据文件生成，并将请求规范要求的相应同步处理指令（包括增、删、改等类型操作）发送给业务网元。

采用该种分布式稽核子系统与云视图管理子系统的结合使用，提高了系统信息的聚合共享能力，有效地解决集中式的框架单一，业务变更后稽核功能无法实施更新的缺点，同时分布式的稽核节点开发也可以缩短建设周期，以最快的速度部署系统并投入使用。

实施例3：

本实施例在上述实施例的基础上优选如下：分布式稽核子系统还包括稽核子系统配置模块，稽核子系统配置模块用于为分布式稽核子系统内的其它模块提供对应的参数配置。其中的稽核子系统配置模块，提供稽核业务与网元关联关系配置、稽核元数据字段类型及值域动态配置、数据校验清洗规则配置、稽核频度（增量、全量）配置、数据稽核类型选择，差异类型配置，稽核周期的任务调度配置、同步清理规则。同时通过配置需与之对接的相关云视图节点的属性和校验信息配置等各种功能，有效地解决集中式的框架单一，业务变更后稽核功能无法实施更新的缺点。其配置维护通过系统管理员进行。为数据的稽核提供所需的初始化工作和一系列可动态配置的辅助功能，使得稽核系统业务稽核的可配置性和灵活性进一步提高。

实施例4：

本实施例在上述实施例的基础上优选如下：云视图管理子系统包括云稽核节点接口模块、业务网元视图管理模块、监控告警模块和数据质量统计分析模块，其中的业务网元视图管理模块、监控告警模块和数据质量统计分析模块均建立在云稽核节点接口模块的数据共享支撑之上。

其中的云稽核节点接口模块，依据业务、网元、稽核子系统的相关配置信息，与各个稽核子系统的进行数据层面的对接处理。在协议交互模块的功能支撑下，完成各个稽核子系统的稽核数据的汇集、校验清洗和数据存储加载等。将稽核任务分配给每一个云稽核节点，其效率可将稽核比对时间短到数分钟以内完成所有业务的稽核，资源利用率和效率更高。

其中的业务网元云视图管理模块，提供数据一致性管理交互界面，可按业务管理数据一致性比对结果，系统提供界面化审核机制，同时可以进行差异上传和下载，供管理人员对差异数据文件进行审核，并选择需要指定数据范围的同步处理操作（同步、清理、修改等），当审核通过并选择了相应处理后，由系统自动执行处理操作等，并自动反馈差异数据处理结果。

其中的监控告警模块，包括原始数据异常生成异常报警、比对程序执行故障报警、比对结果各种指标阀值报警等。告警形式：可以为短信、邮件、系统蜂鸣或高亮等形式，提高了该系统的可靠性。

其中的数据质量统计分析模块，对业务和网元数据一致性质量相关指标进行量化评估，并提供各种同比、环比等图表报告。其核心思想是根据稽核出结果数据，进行层层抽象聚合，形成各业务视角相对应的各种指标，对比数据一致性差异指标，以直观易懂的形式体现该业务和网元在各层各视角的营运健康度和达标情况，查看结果更简明易懂。

在云视图管理子系统还包括云视图子系统配置模块，云视图子系统配置模块用于对云视图管理子系统内的其它模块提供对应的参数配置。云视图子系统配置模块，提供稽核业务/网元动态添加配置结构化的归类配置功能、所需对接稽核子系统的属性信息和验证信息配置，所需对接的其他级别云视图管理系统的属性信息、上报数据范围、安全验证信息配置，各种视图、报表的属性信息配置，告警设置等各种功能。其配置维护通过系统管理员进行。为云稽核视图管理提供所需的初始化工作和一系列可动态配置的辅助功能，使得云视图子系统管理的可配置性和灵活性进一步提高。

实施例5：

数据一致性云稽核实现方法，包括如下步骤：

A）各业务承载网元根据格式规范要求采集原始数据文件，提供给分布式稽核子系统数据接口模块，数据接口模块完成对采集原始数据的校验、并完成问题数据的清洗及数据加载存储；

B）分布式稽核子系统依据配置调度信息定时启动相应的稽核业务/网元的数据比对模块，对稽核业务/网元间的数据稽核比对并生成稽核结果及统计报表，稽核结果及统计报表通过协议交互模块的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的稽核结果数据的汇集、校验和格式化存储加载；

C)分布式稽核子系统中的差异分析模块对数据比对模块输出的差异数据进行差异数据分析,并将差异分析结果及统计表报通过协议交互模块上的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的差异分析结果数据的汇集、校验和格式化存储加载；

D）云视图管理子系统通过监控告警模块系统发现新稽核任务的完成或相关数据阀值的异常，进而用户通过云视图管理子系统上的业务/网元视图管理模块触发差异数据同步清理操作，并以既定通信协议通过协议交互模块将差异数据同步清理操作请求至分布式稽核子系统实施；

E）分布式稽核子系统差异处理模块进行差异清理请求处理，按照接口规范同步协议格式完成差异同步数据格式化处理，处理后的数据通过数据接口模块交付给稽核业务/网元实施差异同步清理；

F）稽核业务/网元传送差异数据清理结果反馈至分布式稽核子系统数据接口模块，分布式稽核子系统传送差异数据清理结果通过协议交互模块上的网络反馈至云视图管理子系统，云视图管理子系统通过设置的显示终端反馈差异数据清理结果。

采用数据一致性云稽核实现方法替代集中式的稽核系统建设方案，将业务稽核模块合理地分布到各个业务承载网元。可有效地解决集中式的框架单一，业务变更后稽核功能无法实施更新的缺点，同时分布式的稽核节点开发也可以缩短建设周期，以最快的速度部署系统并投入使用。

实施例6：

本实施例在实施例5的基础上优选如下：步骤C）中云视图管理子系统还能通过人机交互界面提供稽核、分析结果的呈现，并提供按钮化差异数据同步处理。查看结果更方便，使用更灵活。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.数据一致性云稽核系统，其特征在于，包括云视图管理子系统和分布式稽核子系统，云视图管理子系统和分布式稽核子系统之间通过协议交互模块进行数据信息交互；

所述分布式稽核子系统有多个，均为单独部署的分布式稽核子系统，能够分布部署在各种交互网元节点上形成一个稽核单元，实现分布和并发稽核；

所述云视图管理子系统为一个或者是多个，均为单独部署的云视图管理子系统，通过既定的协议与各分布式稽核子系统交互，实现融合各个稽核子系统的数据，对比结果信息数据为一个云稽核结果视图，实现各个分布式稽核子系统下达数据的比对和差异同步处理。

2.根据权利要求1所述的数据一致性云稽核系统，其特征在于，所述分布式稽核子系统包括依次连接的稽核业务或网元、数据接口模块、数据对比模块、差异分析模块和差异处理模块，数据对比模块、差异分析模块和差异处理模块均连接协议交互模块，差异处理模块通过数据接口模块将差异处理请求交付给稽核业务/网元实施差异同步清理，总体形成一个闭环的数据处理流程。

3.根据权利要求1或2所述的数据一致性云稽核系统，其特征在于，所述分布式稽核子系统还包括稽核子系统配置模块，稽核子系统配置模块用于为分布式稽核子系统内的其它模块提供对应的参数配置。

4.根据权利要求1所述的数据一致性云稽核系统，其特征在于，所述云视图管理子系统包括云稽核节点接口模块、业务网元视图管理模块、监控告警模块和数据质量统计分析模块，其中的业务网元视图管理模块、监控告警模块和数据质量统计分析模块均建立在云稽核节点接口模块的数据共享支撑之上。

5.根据权利要求1或4所述的数据一致性云稽核系统，其特征在于，所述云视图管理子系统还包括云视图子系统配置模块，云视图子系统配置模块用于对云视图管理子系统内的其它模块提供对应的参数配置。

6.数据一致性云稽核实现方法，其特征在于，包括如下步骤：

A）各业务承载网元根据格式规范要求采集原始数据文件，提供给分布式稽核子系统数据接口模块，数据接口模块完成对采集原始数据的校验、并完成问题数据的清洗及数据加载存储；

B）分布式稽核子系统依据配置调度信息定时启动相应的稽核业务/网元的数据比对模块，对稽核业务/网元间的数据稽核比对并生成稽核结果及统计报表，稽核结果及统计报表通过协议交互模块的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的稽核结果数据的汇集、校验和格式化加载存储；

C)分布式稽核子系统中的差异分析模块对数据比对模块输出的差异数据进行差异数据分析,并将差异分析结果及统计表报通过协议交互模块上的网络传输至云视图管理子系统，云视图管理子系统完成稽核子系统的差异分析结果数据的汇集、校验和格式化存储加载；

D）云视图管理子系统通过监控告警模块系统发现分布式稽核子系统上的新稽核任务的完成或相关数据阀值的异常，进而用户通过云视图管理子系统上的业务/网元视图管理模块触发差异数据同步清理操作，并以既定通信协议通过协议交互模块将差异数据同步清理操作请求至分布式稽核子系统实施；

E）分布式稽核子系统差异处理模块进行差异清理请求处理，按照接口规范同步协议格式完成差异同步数据格式化处理，处理后的数据通过数据接口模块交付给稽核业务/网元实施差异同步清理；

F）稽核业务/网元传送差异数据清理结果反馈至分布式稽核子系统数据接口模块，分布式稽核子系统传送差异数据清理结果通过协议交互模块上的网络反馈至云视图管理子系统，云视图管理子系统通过设置的显示终端反馈差异数据清理结果。

7.根据权利要求6所述的数据一致性云稽核实现方法，其特征在于，步骤C）中云视图管理子系统还能通过人机交互界面提供稽核、分析结果的呈现，并提供按钮化差异数据同步处理。