CN101094051B - 数据一致性比对同步的系统和方法 - Google Patents

数据一致性比对同步的系统和方法 Download PDF

Info

Publication number
CN101094051B
CN101094051B CN2007100493831A CN200710049383A CN101094051B CN 101094051 B CN101094051 B CN 101094051B CN 2007100493831 A CN2007100493831 A CN 2007100493831A CN 200710049383 A CN200710049383 A CN 200710049383A CN 101094051 B CN101094051 B CN 101094051B
Authority
CN
China
Prior art keywords
data
network element
comparison
module
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007100493831A
Other languages
English (en)
Other versions
CN101094051A (zh
Inventor
郭正平
曾键
冯斌
陈刚
庞琳
王林
余涛
张超
程鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Sichuan Co Ltd
Original Assignee
China Mobile Group Sichuan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Sichuan Co Ltd filed Critical China Mobile Group Sichuan Co Ltd
Priority to CN2007100493831A priority Critical patent/CN101094051B/zh
Publication of CN101094051A publication Critical patent/CN101094051A/zh
Application granted granted Critical
Publication of CN101094051B publication Critical patent/CN101094051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

数据一致性比对同步系统和方法,其特征在于:本系统包括显示层、用于各种数据的处理逻辑数据存储处理层,和接口层;所述数据存储处理层,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块;业务支撑网和业务承载网通过系统接口层进行网元间的通信交互,数据采集模块从业务支撑网和/或业务承载网对要求保持一致的网元数据进行数据采集;数据预处理模块将采集到的网元数据进行预处理、解析得到有用的数据;数据比对模块对解析后的数据进行比对,不一致的数据被记录保存在差异列表中;根据数据比对处理后的结果,数据同步模块结合有效性验证规则对数据差异的有效性加以验证,对差异为有效的数据根据同步规则生成对应的同步数据,并把同步数据通过对应的接口发送至相关网元,然后在相关网元中执行相应操作使网元间数据保持一致;本发明可以提升数据比对同步水平和相关系统运行效率,提高资源利用效率,确保相关系统数据的准确性和一致性,避免因数据不一致带来客户投诉或业务收入流失,为业务收入和客户满意服务提供坚实的基础保证;本发明应用范围宽广,适用于通信、保险、银行等需要多网元协作的领域。

Description

数据一致性比对同步的系统和方法
技术领域
本发明涉及多网元协作时的数据一致性检测处理管理领域,特别是一种数据一致性比对同步的系统和方法。
背景技术
随着通信、网络服务产品的增多,受理渠道的多样化,网络业务平台的复杂化,常常需要多个网元共同配合来实现某项业务,这些相互配合的网元的某些数据必须保持一致,但是,由于网络故障、数据传输故障、干扰、突发事件以及企业产品设计的业务流程和管理制度的不完善等原因,网络中数据不一致情况日趋严重,由此造成的业务、计费及服务问题,导致了用户投诉增加,客户满意度降低,企业业务收入流失。目前,还没有良好的技术手段来解决数据不一致的检测、处理及相关的管理问题,通常是运营商被动地通过客户的投诉才发现网元间的数据不一致,最后发起对网元间数据的处理,保持业务支撑网单元和数据承载网单元的数据一致。
尤其是通信技术领域,发展非常迅速,通信运营商开发了众多产品和服务,这些产品和服务通常都承载在多个网元上。由于承载用户业务数据的网元间数据不一致,对外影响到用户的业务使用,导致用户的投诉;对内,系统上生成了垃圾数据或遗漏了数据,对公司的资源利用和收入保障都造成了影响。
发明内容
本发明提供了一种解决上述问题的数据一致性比对同步的系统和方法,可以通过完善的采集、比对以及同步处理来有效完成数据的一致性检测、处理及管理,从而可以提升数据比对同步水平和相关系统运行效率,确保相关系统客户数据的准确性和一致性,避免因客户数据的不一致带来客户投诉或业务收入流失,为业务收入和客户满意服务提供坚实的基础保证,提高资源利用效率。
本发明的技术方案如下:
数据一致性比对同步的系统,其特征在于:包括显示层、数据存储处理层和接口层;所述显示层用于人机的数据交互,展现各种数据处理分析结果;所述数据存储处理层用于各种数据的处理逻辑,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块,数据采集模块用于采集数据,数据预处理模块用于对数据进行整理、转换和解析,数据比对模块用于数据比对,数据同步模块根据比对结果进行同步处理;所述系统接口层用于系统和各个网元的通信交互。
所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面,各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作,同时对于系统处理功能涉及到的各种规则、参数配置可以通过此门户实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理,包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理;配置管理用于对系统各个功能模块的配置数据的管理维护,包括配置表、配置文件的增、删、改、查操作;用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理,用户管理采用分层的工号权限管理机制,每个层次的工号具有相同的权限,而权限的管理由上一层次的用户进行权限赋予、更改和取消;系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息,生成告警信息后,在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能,选择自动模式时,系统可以自动完成数据一致性的比对同步过程,根据同步处理规则系统自动生成同步数据并处理;选择手动模式,则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式,告警方式包括有短信,电子邮件,声音,光,页面图像,文本,表格方式等。
所述系统接口层包括用于各网元间的数据采集接口,用于同步至各网元的数据同步接口,以及数据分发接口。
所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
数据一致性比对同步方法,其特征在于具体步骤如下:
A、系统通过接口层和网元进行通信交互,数据采集模块根据接口标准和参数适配从网元进行数据采集,通过数据预处理模块根据网元数据的情况,将采集到的网元数据进行预处理,然后进行解析处理得到有用的数据;
B、数据比对模块对步骤A得到的数据进行比对,不一致的数据被记录保存在差异列表中;
C、根据步骤B所述得到的差异列表,数据同步模块结合有效性验证规则对数据差异的有效性加以验证,对差异为有效的数据结合同步规则生成对应的同步数据,并把同步数据通过对应的接口发送至相关网元,然后在相关网元中执行相应的增加/删除/修改数据操作,使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点,包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
所述数据采集是从网元获取数据的过程,采用全量采集和增量采集相结合的数据采集方式从网元采集数据;所述全量采集要求网元导出所有的要求保持一致的数据;所述增量采集是针对要求保持一致的数据,只采集上一次采集时间到当前采集时间内发生变化的数据。
所述采用全量采集和增量采集结合,是指在处理数据一致性问题时,采用全量采集来保证数据采集的全面性和准确性,尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据;采用增量采集来保证数据采集的及时性,这样就可以避免重复采集已经保持一致的数据,浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接,通过网络传输采集到要求保持一致的数据的方式;所述文件方式指将要求保持一致的数据以文件方式保存,再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程,采集连接建立是指由系统或网元发起采集请求至建立采集连接的过程,采集连接根据采集协议的不同,建立不同的连接,如ftp、http、tcp/ip或自定义协议等。
所述预处理是在采集的网元数据还不能直接用于比对时,对网元数据进行处理,以用于进行比对的过程,预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程;所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程;所述数据修复是根据数据本身的属性以及数据来源修复异常数据;所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的要求保持一致的网元数据根据数据含义确定用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比,然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析,然后进行数据比对;或者也可以先对网元数据进行预处理后再采集,然后再进行解析,最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集,一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息,如比对时发现A客户资料不一致,则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证;单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理;双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理;豁免验证规则是指默认差异数据有效,从而不进行任何验证直接进行同步处理。
步骤C中,所述相关网元是指进行比对后数据不一致的网元;所述相应的就是指与同步规则相一致的。
完成一次数据比对和数据同步后,系统自动生成统计报告并显示,同时根据结果,还可以进行告警处理和通知,并生成历史统计报告,通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后,采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性;并且当数据比对和数据同步过程中出现的异常时,根据预先设置的处理策略进行处理解除异常,并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为:
比对入口的数据总量=比对出口的通过数据数量+比对出口的不通过数据数量。
本发明的有益效果如下:
1、本发明可以提升数据比对同步水平和相关系统运行效率,确保相关系统数据的准确性和一致性,避免因数据的不一致带来客户投诉或业务收入流失,为业务收入和客户满意服务提供坚实的基础保证,提高资源使用的有效性;
2、本发明采用全量和增量采集相结合的方式,可以保证数据采集的全面性和及时性,以及准确性,这样不仅可以尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据,还可以避免重复采集已经保持一致的数据,浪费系统的资源和时间;
3、本发明对网元数据进行比对,能主动、及时地检测出要求保持一致的网元数据的一致性,发现各网元数据之间的差异,并记录数据不一致的结果,提供给后续处理过程所需要的有效数据,从而为解决数据不一致性问题做好基础;
4、本发明能快速有效地解决数据的不一致性问题,通过同步处理能够有效确保网元数据的一致性,可以及时清除网元垃圾数据,提高资源利用率;
5、本发明还可以保证各系统客户数据的管理,还可以提供基于数据比对以及数据同步的各种报告和统计报表,提供对于比对过程和同步过程的监控和告警,系统具备一定的异常处理能力;
6、本发明应用范围宽广,适用于通信、保险、银行等需要多网元协作的各种领域。
附图说明
图1为本发明的系统构架示意图
图2为本发明的数据处理流程图
图3为本发明的组网结构示意图
其中“————”表示光纤通道,“——”表示千兆/百兆以太网。
图4为本发明的数据比对流程图
图5为本发明采用BOSS系统和业务网元的单向数据交互流程图
图6为本发明采用BOSS系统和核心网元的单向数据交互流程图
图7为本发明采用BOSS系统同时单向到业务网元和核心网单元的数据交互流程图
图8为本发明采用业务网元单向到BOSS的数据交互流程图
图9为本发明采用BOSS系统和业务网元双向流向的数据交互流程图
图10为本发明的多个网元之间数据交互的流程图
具体实施方式
实施例1
数据一致性比对同步的系统,包括显示层、数据存储处理层和接口层;所述显示层用于人机的数据交互,展现各种数据处理分析结果;所述数据存储处理层用于各种数据的处理逻辑,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块,数据采集模块用于采集数据,数据预处理模块用于对数据进行整理、转换和解析,数据比对模块用于数据比对,数据同步模块根据比对结果进行同步处理;所述系统接口层用于系统和各个网元的通信交互。
所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面,各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作,同时对于系统处理功能涉及到的各种规则、参数配置可以通过此门户实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理,包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理;配置管理用于对系统各个功能模块的配置数据的管理维护,包括配置表、配置文件的增、删、改、查操作;用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理,用户管理采用分层的工号权限管理机制,每个层次的工号具有相同的权限,而权限的管理由上一层次的用户进行权限赋予、更改和取消;系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息,生成告警信息后,在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能,选择自动模式时,系统可以自动完成数据一致性的比对同步过程,根据同步处理规则系统自动生成同步数据并处理;选择手动模式,则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式,告警方式包括有短信,电子邮件,声音,光,页面图像,文本,表格方式等。
所述系统接口层包括用于各网元间的数据采集接口,用于同步至各网元的数据同步接口,以及数据分发接口。
数据一致性比对同步方法,其具体步骤如下:
A、系统通过接口层和网元进行通信交互,数据采集模块根据接口标准和参数适配从网元进行数据采集,通过数据预处理模块根据网元数据的情况,将采集到的网元数据进行预处理,然后进行解析处理得到有用的数据;
B、数据比对模块对步骤A得到的数据进行比对,不一致的数据被记录保存在差异列表中;
C、根据步骤B所述得到的差异列表,数据同步模块结合有效性验证规则对数据差异的有效性加以验证,对差异为有效的数据根据同步规则生成对应的同步数据,并把同步数据通过对应的接口发送至相关网元,然后在相关网元中执行相应的增加/删除/修改数据操作,使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点,包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
所述数据采集是从网元获取数据的过程,采用全量采集和增量采集相结合的数据采集方式从网元采集数据;所述全量采集要求网元导出所有的要求保持一致的数据;所述增量采集是针对要求保持一致的数据,只采集上一次采集时间到当前采集时间内发生变化的数据。
通过全量采集和增量采集结合,是指在处理数据一致性问题时,采用全量采集来保证数据采集的全面性和准确性,尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据;采用增量采集来保证数据采集的及时性,这样就可以避免重复采集已经保持一致的数据,浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接,通过网络传输采集到要求保持一致的数据的方式;所述文件方式指将要求保持一致的数据以文件方式保存,再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程,采集连接建立是指由系统或网元发采集请求至建立采集连接的过程,采集连接根据采集协议的不同,建立不同的连接,如ftp、http、tcp/ip或自定义协议等。
所述预处理是对采集的网元数据进行处理,以用于进行比对的过程,预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程;所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程;所述数据修复是根据数据本身的属性以及数据来源修复异常数据;所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比,然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析,然后进行数据比对;或者也可以先对网元数据进行预处理后再采集,然后再进行解析,最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集,一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息,如比对时发现A客户资料不一致,则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证;单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理;双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理;豁免验证规则是指默认差异数据有效,从而不进行任何验证直接进行同步处理。
步骤C中,所述相关网元是指进行比对后数据不一致的网元;所述相应的就是指与同步规则一致的。
完成一次数据比对和数据同步后,系统自动生成统计报告并显示,同时根据结果,还可以进行告警处理和通知,并生成历史统计报告,通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后,采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性;并且当数据比对和数据同步过程中出现的异常时,根据预先设置的处理策略进行处理解除异常,并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为:
比对入口的数据总量=比对出口的通过数据数量+比对出口的不通过数据数量。
实施例2
如图1~4所示,数据一致性比对同步的系统,应用于移动通信领域时,包括显示层、数据存储处理层和接口层;所述显示层用于人机的数据交互,展现各种数据处理分析结果;所述数据存储处理层用于各种数据的处理逻辑,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块,数据采集模块用于采集数据,数据预处理模块用于对数据进行整理、转换和解析,数据比对模块用于数据比对,数据同步模块根据比对结果进行同步处理;所述系统接口层用于系统和各个网元的通信交互。
所述显示层是以Web方式给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面,各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作。同时对于系统处理功能涉及到的各种规则、参数配置通过所述Web界面实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理,包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理;配置管理用于对系统各个功能模块的配置数据的管理维护,包括配置表、配置文件的增、删、改、查操作;用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理,用户管理采用分层的工号权限管理机制,每个层次的工号具有相同的权限,而权限的管理由上一层次的用户进行权限赋予、更改和取消;系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息,生成告警信息后,在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能,选择自动模式时,系统可以自动完成数据一致性的比对同步过程,根据同步处理规则系统自动生成同步数据并处理;选择手动模式,则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式,告警方式包括有短信,电子邮件,声音,光,页面图像,文本,表格方式等。
所述系统接口层包括用于各网元全量数据采集、增量数据采集的数据采集接口,用于同步至各网元的数据同步接口,以及数据分发接口。
所述系统接口层例如包括有如下的接口:
和HLR接口,负责采集HLR用户数据以及和HLR之间的指令交互。接口数据传递是指令方式。
和SCP接口,负责采集SCP用户数据以及和SCP的通信,通过SMP完成,采用适配器方式,直接采用SMP上标准的SC接口进行交互,由于SC接口是统一标准的,因此不需要单独设置接口。和SCP的接口负责增量数据查询提取、全量数据实时查询以及同步的功能,可以和BOSS系统的SCP接口共用,由于BOSS系统的SCP接口提供的命令有限,为了满足接口要求,需要进行命令扩展。
和BOSS接口,负责采集BOSS系统的增量变更数据以及查询比对数据,同时处理BOSS的数据同步。接口数据传递根据不同的BOSS系统要求可以采用接口表、消息或者文件方式。和BOSS的数据查询和提取接口负责增量数据提取以及全量比对的实时数据查询;和BOSS的同步接口负责向BOSS系统发送数据同步,逐条同步进行。
和MISC接口,主要负责采集MISC系统的增量变更数据以及查询比对数据,同时也要向MISC进行数据同步。和MISC的接口数据可采用接口表、文件方式。和MISC接口需要考虑和BOSS配套一致,因此要考虑BOSS系统增量和MISC增量的影响情况,必须建立实时查询MISC和BOSS的接口。和MISC数据查询和提取接口提供增量比对数据的提取以及全量比对的实时查询功能;和MISC数据同步接口向MISC发送数据同步,逐条同步进行。
同时还可以采用其他多种接口。
数据一致性比对同步方法,其具体步骤如下:
A、A、系统通过接口层和网元进行通信交互,数据采集模块根据接口标准和参数适配从网元进行数据采集,通过数据预处理模块根据网元数据的情况,将采集到的网元数据进行预处理,然后进行解析处理得到有用的数据;
B、数据比对模块对步骤A得到的数据进行比对,不一致的数据被记录保存在差异列表中;
C、根据步骤B所述得到的差异列表,数据同步模块结合有效性验证规则对数据差异的有效性加以验证,对差异为有效的数据根据同步规则生成对应的同步数据,并把同步数据通过对应的接口发送至相关网元,然后在相关网元中执行相应的增加/删除/修改数据操作,使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点,包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
应用于移动通信领域时,业务支撑网网元可以主要指BOSS系统,业务承载网可以主要指HLR/AUC、智能网平台、DSMP平台、SIMS平台、PIM平台、IM平台、PushEmial平台、Blackberry平台、流媒体平台、通用下载平台、手机邮箱平台、全球呼平台、RADIUS平台、彩铃平台、VC管理平台、一卡多号平台、MSP平台、MAS平台、ADC平台、中央音乐平台、行业网关平台、集团总机平台、短信业务数据中心、IVR平台、位置业务平台、短信网关平台、小额支付平台、DM管理平台、电话会议平台、12580平台、MMSGW平台等。
所述数据采集模块采集的数据包括有:手机号码和IMSI即国际移动台设备标识的对应关系,基本业务功能,附加业务功能,号码状态,业务状态,VPMN集团信息,彩铃套餐数据,亲密号码,捆绑业务,增值业务订购关系,以及相关的客户基本资料等。所述数据采集和处理模块可以采集BOSS系统的数据采用接口表方式或文件方式,采集MISC通过接口表或文件方式采集增量数据,采集HLR/SCP上的数据根据网元接口决定采集方式。
所述数据采集是从网元获取数据的过程,采用全量采集和增量采集相结合的数据采集方式从网元采集数据;所述全量采集要求网元导出所有的要求保持一致的数据;所述增量采集是针对要求保持一致的数据,只采集上一次采集时间到当前采集时间内发生变化的数据。
通过全量采集和增量采集结合,是指在处理数据一致性问题时,采用全量采集来保证数据采集的全面性和准确性,尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据;采用增量采集来保证数据采集的及时性,这样就可以避免重复采集已经保持一致的数据,浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接,通过网络传输采集到要求保持一致的数据的方式;所述文件方式指将要求保持一致的数据以文件方式保存,再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程,采集连接建立是指由系统或网元发采集请求至建立采集连接的过程,采集连接根据采集协议的不同,建立不同的连接,如ftp、http、tcp/ip或自定义协议等。
所述预处理是对采集的网元数据进行处理,以用于进行比对的过程,预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程;所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程;所述数据修复是根据数据本身的属性以及数据来源修复异常数据;所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比,然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析,然后进行数据比对;或者也可以先对网元数据进行预处理后再采集,然后再进行解析,最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集,一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息,如比对时发现A客户资料不一致,则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证,其中:
1、单侧验证规则:比较差异列表生成时间与BOSS侧用户数据状态变化时间,只检查BOSS侧数据的变化,如果在差异列表生成后用户的数据发生了变化,则认为该差异项无效,忽略该差异数据项,继续处理下一差异数据项,否则执行同步处理。这种规则既可以保证数据同步的正确性,有降低了对网元侧的压力,适用于网元实时接口性能较低、执行批量比对同步的场景;
2、双侧验证规则:从差异列表中的业务支撑网网元和业务承载网网元重新读取数据进行核对,如果数据仍不一致,则认为该差异有效,刷新差异数据项,执行同步操作;如果数据已经一致,则认为该差异无效,跳过并继续处理下一差异数据项。这种规则保证所有差异数据项都得到正确的处理,适用于网元实时接口性能较高、执行批量比对同步的场景;
3、豁免验证规则:默认差异列表数据完全有效,按照同步规则直接对差异列表的数据项进行同步处理,这种规则适用于通过网元实时接口逐条进行数据一致性检测、同步处理的场景。
移动通信领域,数据校验的判断标准主要是一些通常默认的逻辑,比如:号码长度、业务功能代码域以及一些数据相关属性的判断,当出现数据长度异常、数据取值不在定义的域内时,就对异常数据做相应的记录并标记后保存到异常数据表中,同时提供相应的日志供查询使用。前台界面提供对各种异常数据的提取和查询统计,操作维护人员可以通过异常数据统计和查询日志发现数据源的问题或者接口的异常情况,并采取相应措施进行补救和防范。
一般仅当数据类型不匹配或者数据格式的普遍性错误时可以采用数据修复功能,大多数情况下的异常数据都需要重新采集并处理。例如出现号码前带前缀或后缀的情况,可以使用数据修复对号码进行截取,截取正确的号码用于处理。而数据修复出于安全以及准确性的考虑,不提供自动修复功能,在前台界面提供异常数据查询和手工修复的功能,可以供操作维护人员手工进行个别修复或者批量修复,批量修复仅对于大面积的同样异常发生时才可以采用,用于提高系统处理效率,减少反复工作量。修复需要特殊权限的人员才可以操作,并且修复操作的整个过程都记录相应的日志,以供当出现修复错误时可以进行回退,不影响正常的系统处理。
步骤C中,所述相关网元是指进行比对后数据不一致的网元;所述相应的就是指与同步规则一致的。
完成一次数据比对和数据同步后,系统自动生成统计报告并显示,同时根据结果,还可以进行告警处理和通知,并生成历史统计报告,通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后,采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性;并且当数据比对和数据同步过程中出现的异常时,根据预先设置的处理策略进行处理解除异常,并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为:
比对入口的数据总量=比对出口的通过数据数量+比对出口的不通过数据数量。
实施例3
所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
本发明采用组网的硬件结构可以如表1的硬件设施:
Figure S07149383120070724D000131
表1
实施例4
数据一致性比对同步的系统,包括显示层、数据存储处理层和接口层;所述显示层用于人机的数据交互,展现各种数据处理分析结果;所述数据存储处理层用于各种数据的处理逻辑,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块,数据采集模块用于采集数据,数据预处理模块用于对数据进行整理、转换和解析,数据比对模块用于数据比对,数据同步模块根据比对结果进行同步处理;所述系统接口层用于系统和各个网元的通信交互。
该系统用于移动通信网元间的数据不一致的检测处理时,其步骤为:
A、数据采集模块通过BOSS和其他网元的接口从网元采集要求保持一致的网元数据;
B、根据网元数据的情况,数据预处理模块将步骤A采集到的网元数据进行预处理和解析;
C、数据比对模块将步骤B得到的数据和BOSS内对应的数据进行比对,将不一致的数据记录保存在差异列表中;
D、根据步骤C的差异列表,数据比对模块结合有效性验证规则对数据差异的有效性加以验证,确定差异数据是否需要执行同步处理;
E、对步骤D中得到的需要执行同步处理的数据,数据同步模块结合同步规则生成同步数据,并把同步数据通过对应的接口发送至BOSS系统和其他网元;
F、最后在BOSS系统和其他网元中执行与同步规则一致的增加/删除/修改数据操作,使网元间数据保持一致。
所述同步规则是同步处理时须遵循的原则,是按照网元数据的含义、流向和与数据相关的业务规则这三个方面的不一致情况来制定的。
如图5和表2所示为BOSS单向到一个其他网元的数据交互。
数据流向:业务只能通过BOSS进行受理,受理成功后,由BOSS将业务订购信息发送给业务网元,完成在业务网元中的订购。
数据内容:用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、业务局数据(局数据标识、局数据状态、局数据属性)。
涉及网元:RADIUS(17201)、MAS平台、ADC平台、行业网关平台。
Figure S07149383120070724D000151
表2
如图6和表3所示,BOSS单向到一个其他网元的数据交互。
数据流向:BOSS作为数据发起端,发送相应的签约信息到核心网元,在核心网元上进行开通或变更。
数据内容:用户标识、用户签约信息
涉及网元:HLR/AUC
表3
如图7和表4、5所示,BOSS同时单向到2个其他网元元的数据交互。
数据流向:a、业务只通过BOSS进行受理,业务受理涉及到业务网元和核心网元;b、由BOSS在业务受理成功后,将订购信息发送给业务网元,将功能签约信息发送给核心网元,完成整个订购过程。
数据内容:用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、用户签约信息(用户标识、签约信息)。
涉及网元:智能网、PushEmail、全球呼平台、一卡多号平台、集团总机平台、短信业务数据中心、RADIUS平台(WLAN,E动互联)。
Figure S07149383120070724D000153
表4
Figure S07149383120070724D000162
表5
表2~5的说明:
Figure S07149383120070724D000163
表示BOSS与平台之间的数据交互方向,其发起端是BOSS,落地端是该平台;
Figure S07149383120070724D000164
表示BOSS与平台之间的数据交互方向,其发起端是平台,落地端是BOSS;
Figure S07149383120070724D000165
表示BOSS与平台之间无该项数据交互。
如图8和表6所示,其他网元单向到BOSS的数据交互。
数据流向:业务网元负责管理业务局数据,业务局数据发布成功后,由业务网元将业务局数据信息发送给BOSS,完成在BOSS的业务登记。
数据内容:业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元:SIMS平台、VC管理平台。
Figure S07149383120070724D000166
Figure S07149383120070724D000171
表6
表6说明:
Figure S07149383120070724D000172
表示BOSS与平台之间的数据交互方向,其发起端是BOSS,落地端是该平台;
Figure S07149383120070724D000173
表示BOSS与平台之间的数据交互方向,其发起端是平台,落地端是BOSS。
其中,BOSS单向到其他网元的同步规则根据两种网元之间数据差异类别分为三类情况,具体处理情况参见表7~9。
Figure S07149383120070724D000174
表7
Figure S07149383120070724D000175
表8
Figure S07149383120070724D000176
表9
如图9和表10所示,BOSS到其他网元的双向数据交互。
数据流向:业务可以在BOSS和业务网元双方进行受理;在BOSS中订购业务功后,由BOSS将业务订购信息发送给业务网元,完成在业务网元中的订购;在业务网元中订购业务成功后,订购信息同步给BOSS。
数据内容:用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元:DSMP、PIM平台、通用下载平台、手机邮箱平台、MSP平台、中央音乐平台。
Figure S07149383120070724D000181
表10
说明:
Figure S07149383120070724D000182
表示BOSS与平台之间的数据交互方向,其发起端是BOSS,落地端是该平台;
Figure S07149383120070724D000183
表示BOSS与平台之间的数据交互方向,其发起端是平台,落地端是BOSS;
Figure S07149383120070724D000184
表示BOSS与平台之间的数据交互方向,平台与BOSS互为发起端和落地端;
Figure S07149383120070724D000185
表示BOSS与平台之间无该项数据交互。
其中,BOSS双向到其他网元的同步规则根据两种网元之间数据差异类别分为三类情况,具体处理情况参见表11~13。
Figure S07149383120070724D000186
表11
表12
Figure S07149383120070724D000192
表13
如图10和表13、14所示,BOSS和其他多个网元之间的数据交互。
数据流向:a、业务可以通过BOSS和业务网元双方进行受理,业务受理涉及到业务网元和核心网元;b、由BOSS在业务受理成功后,将订购信息发送给业务网元,将功能签约信息发送给核心网元,完成整个订购过程;c、在业务网元中订购业务成功后,会发送订购信息给BOSS,BOSS记录订购信息,同时将涉及到核心网元的功能签约信息发送给核心网元,完成整个订购过程。
数据内容:订购信息(订购标识、订购状态、订购属性)、用户签约信息(用户标识、签约信息)、业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元:IM平台、BlackBerry、流媒体平台、彩铃平台。
表14
Figure S07149383120070724D000194
Figure S07149383120070724D000201
表15
表14、15的说明:
→:表示BOSS与平台之间的数据交互方向,其发起端是BOSS,落地端是该平台;
←:表示BOSS与平台之间的数据交互方向,其发起端是平台,落地端是BOSS;
Figure S07149383120070724D00020133128QIETU
:表示BOSS与平台之间的数据交互方向,平台与BOSS互为发起端和落地端;
—:表示BOSS与平台之间无该项数据交互。
本发明所设计的英文术语对照表如下:
 
缩写 英文描述 中文描述
FC-SWITCH 光纤交换机
Web 万维网
ftp File Transfer Protocol 文件传输协议
http Hypertext Transfer Protocol 超文本传输协议
tcp/ip Transmission Control Protocol/InternetProtocol 用于网络的一组通讯协议,包括IP和TCP
BOSS Business Operation Support System 业务运营支撑系统
MISC Mobile Information System center 移动信息管理系统
SCP Service Control Point 业务控制点
HLR Home Location Register 归属位置寄存器
AUC Authentication Centre 鉴权中心
DSMP Data Service Management Platform 数据业务管理平台
SIMS Service Information Management System 业务信息管理系统
PIM Personal Information Management 个人信息管理
IM Instant Message 即时消息
PushEmial 邮件推送业务
Blackberry 黑莓业务
RADIUS Remote Authentication Dial In User Service 认证中心
VC Voucher Center 卡中心系统负责完成充值卡的鉴权管理,多用于智能网平台的用户充值
MSP Mobile Service for Position 手机地图服务
MAS Mobile Agent Server 移动代理服务器
ADC Application Data Center 主要为中小企业客户按需要提供基于移动终端的托管式的信息
 
化应用服务
IVR Interactive Voice Response 自动语音应答
DM Device Managerment 终端管理
MMSGW Mati-Media Service Gateway 彩信网关
VPMN Virtual Private Mobile Network 虚拟专用移动网
表16

Claims (17)

1.数据一致性比对同步的系统,其特征在于:包括显示层、数据存储处理层和接口层;所述显示层用于人机的数据交互,展现各种数据处理分析结果;所述数据存储处理层用于各种数据的处理逻辑,包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块,数据采集模块用于采集数据,数据预处理模块用于对数据进行整理、转换和解析,数据比对模块用于数据比对,数据同步模块根据比对结果进行同步处理;所述系统接口层用于系统和各个网元的通信交互;所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块中的一个至多个组合/集成而成;所述系统管理模块用于对系统运行环境的各种设置的管理,包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理;系统管理模块的配置管理用于对系统各个功能模块的配置数据的管理维护,包括配置表、配置文件的增、删、改、查操作;系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息,生成告警信息后,在告警监控界面显示并通过设定的方式及时通知;所述系统管理模块还具有选择自动/手动模式的功能,选择自动模式时,系统自动完成数据一致性的比对同步过程,根据同步处理规则系统自动生成同步数据并处理;选择手动模式,则通过人工干预分步骤完成数据一致性的比对同步过程。
2.根据权利要求1所述数据一致性比对同步的系统,其特征在于:所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
3.根据权利要求1所述数据一致性比对同步的系统,其特征在于:所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面。
4.根据权利要求1所述数据一致性比对同步的系统,其特征在于:所述系统接口层包括用于各网元间的数据采集接口,用于同步至各网元的数据同步接口,以及数据分发接口。
5.根据权利要求1所述数据一致性比对同步的系统,其特征在于:所述网元是指网络中具有数据存储功能的节点,包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
6.数据一致性比对同步方法,其特征在于具体步骤如下:
A、系统通过接口层和网元进行通信交互,数据采集模块根据接口标准和参数适配从网元进行数据采集,通过数据预处理模块根据网元数据的情况,将采集到的网元数据进行预处理,然后进行解析处理得到有用的数据;
所述数据采集是从网元获取数据的过程,采用全量采集和增量采集相结合的数据采集方式从网元采集数据;所述全量采集要求网元导出所有的要求保持一致的数据;所述增量采集是针对要求保持一致的数据,只采集上一次采集时间到当前采集时间内发生变化的数据;
B、数据比对模块对步骤A得到的数据进行比对,不一致的数据被记录保存在差异列表中;
C、根据步骤B所述得到的差异列表,数据同步模块结合有效性验证规则对数据差异的有效性加以验证,对差异为有效的数据根据同步规则生成对应的同步数据,并把同步数据通过对应的接口发送至相关网元,然后在相关网元中执行相应的增加/删除/修改数据操作,使网元间数据保持一致。
7.根据权利要求6所述数据一致性比对同步方法,其特征在于:所述网元是指网络中具有数据存储功能的节点,包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
8.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
9.根据权利要求8所述数据一致性比对同步的方法,其特征在于:所述联机方式指建立网络连接,通过网络传输采集到要求保持一致的数据的方式;所述文件方式指将要求保持一致的数据以文件方式保存,再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
10.根据权利要求8或9所述数据一致性比对同步的方法,其特征在于:所述联机方式包括采集连接建立和传输过程,采集连接建立是指由系统或网元发送采集请求至建立采集连接的过程,采集连接根据采集协议的不同,建立不同的连接。
11.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述预处理是对采集的网元数据进行处理,以用于进行比对的过程。
12.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
13.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述比对是对解析后的数据进行对比,然后发现并记录数据一致性情况的过程。
14.根据权利要求6所述数据一致性比对同步的方法,其特征在于:对所述采集到的网元数据进行预处理和解析,然后进行数据比对。
15.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集。
16.根据权利要求6所述数据一致性比对同步的方法,其特征在于:所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证;单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理;双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理;豁免验证规则是指默认差异数据有效,从而不进行任何验证直接进行同步处理。
17.根据权利要求6所述数据一致性比对同步的方法,其特征在于:步骤C中,所述相关网元是指进行比对后数据不一致的网元;所述相应的就是指与同步规则相一致的。
CN2007100493831A 2007-06-27 2007-06-27 数据一致性比对同步的系统和方法 Active CN101094051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007100493831A CN101094051B (zh) 2007-06-27 2007-06-27 数据一致性比对同步的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100493831A CN101094051B (zh) 2007-06-27 2007-06-27 数据一致性比对同步的系统和方法

Publications (2)

Publication Number Publication Date
CN101094051A CN101094051A (zh) 2007-12-26
CN101094051B true CN101094051B (zh) 2011-05-11

Family

ID=38992107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100493831A Active CN101094051B (zh) 2007-06-27 2007-06-27 数据一致性比对同步的系统和方法

Country Status (1)

Country Link
CN (1) CN101094051B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534526B (zh) * 2008-03-14 2011-04-20 中兴通讯股份有限公司 一种基站系统分级告警同步方法
CN101625686B (zh) * 2008-07-08 2016-04-06 阿里巴巴集团控股有限公司 一种监控多数据库之间数据一致性的方法及系统
CN101854400B (zh) * 2010-06-09 2015-04-01 中兴通讯股份有限公司 一种数据库同步部署及监控的方法和装置
CN102289340A (zh) * 2010-06-21 2011-12-21 中国电信股份有限公司 数据稽核平台及方法
CN102137092A (zh) * 2010-12-10 2011-07-27 华为技术有限公司 支持多媒体子系统中的会议系统媒体抓包的方法及系统
CN102098699B (zh) * 2010-12-22 2013-08-14 大唐软件技术股份有限公司 一种电信系统中用户数据核对的方法和装置
CN102184190A (zh) * 2011-04-19 2011-09-14 北京神州数码思特奇信息技术股份有限公司 数据比对方法
CN103136248B (zh) * 2011-11-29 2016-09-28 中国银联股份有限公司 数据一致性恢复方法
CN102523620B (zh) * 2012-01-13 2015-07-15 四川奥诚科技有限责任公司 数据同步的方法、装置及系统
CN103731798B (zh) * 2012-10-10 2017-08-08 中国移动通信集团四川有限公司 一种电信业务订购的方法和系统
CN103200556B (zh) * 2013-04-02 2016-06-01 四川奥诚科技有限责任公司 一种hlr用户数据自检的方法和系统
CN103793778B (zh) * 2013-11-08 2017-11-03 远光软件股份有限公司 报表数据的实时稽核方法及装置
CN105227333B (zh) * 2014-06-06 2019-11-05 中兴通讯股份有限公司 网元设备数据维护的方法和装置
CN104378409A (zh) * 2014-08-29 2015-02-25 武汉钢铁(集团)公司 文件同步系统
CN105447046A (zh) * 2014-09-02 2016-03-30 阿里巴巴集团控股有限公司 一种分布式系统数据一致性处理方法、装置和系统
CN104317942A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种基于Hadoop云平台的海量数据比对方法及系统
CN105630850B (zh) * 2014-11-27 2020-11-27 阿里巴巴集团控股有限公司 对分布式数据库的数据进行实时验证的方法及其系统
CN104915756B (zh) * 2015-05-22 2019-03-26 电信科学技术第五研究所有限公司 数据一致性云稽核系统及实现方法
CN106454767A (zh) * 2015-08-05 2017-02-22 中兴通讯股份有限公司 一种业务数据同步方法、装置及系统
CN106571940A (zh) * 2015-10-08 2017-04-19 中国移动通信集团广东有限公司 一种融合网管数据与资源数据的方法和装置
CN106528677A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种数据对比的方法和装置
CN106777272A (zh) * 2016-12-29 2017-05-31 成都康赛信息技术有限公司 一种数据比对及同步方法
CN106980684B (zh) * 2017-03-31 2020-04-17 电信科学技术第五研究所有限公司 一种大型信息化系统数据流式稽核的实现方法及系统
CN107291827A (zh) * 2017-05-27 2017-10-24 北京思特奇信息技术股份有限公司 一种数据比对方法和系统
CN107885788A (zh) * 2017-10-18 2018-04-06 上海瀚之友信息技术服务有限公司 一种业务数据核查方法
CN107818535A (zh) * 2017-11-17 2018-03-20 湖南优图信息技术有限公司 一种地下管线数据管理方法、装置及系统
CN108255623B (zh) * 2018-01-22 2022-03-15 深圳市卓讯信息技术有限公司 实现线程内外双重对账机制的数据交换监控方法及装置
CN109086382B (zh) * 2018-07-25 2021-10-15 上海达梦数据库有限公司 一种数据同步方法、装置、设备及存储介质
CN109325058B (zh) * 2018-09-03 2023-09-01 中国平安人寿保险股份有限公司 规则批量比对方法、装置、计算机设备和存储介质
CN109474759B (zh) * 2018-10-24 2021-02-05 咪咕音乐有限公司 一种信息处理方法、装置及存储介质
CN111328067B (zh) * 2018-12-17 2023-02-10 中国移动通信集团安徽有限公司 用户信息核对方法、装置、系统、设备及介质
CN109670091B (zh) * 2018-12-24 2020-11-10 成都四方伟业软件股份有限公司 一种基于数据标准的元数据智能维护方法和装置
CN109947542A (zh) * 2019-01-25 2019-06-28 上海倍通医药科技咨询有限公司 数据采集程序的综合进程调度方法
CN110188132B (zh) * 2019-04-29 2023-05-05 安徽晶奇网络科技股份有限公司 一种数据交换方法及系统
CN111680559B (zh) * 2020-04-26 2023-10-17 广州明珞汽车装备有限公司 一种传感器信号名称快速同步方法、系统、装置及存储介质
TWI778433B (zh) * 2020-10-19 2022-09-21 玉山商業銀行股份有限公司 資料管理系統以及資料同步方法
CN114173366B (zh) * 2021-12-03 2024-03-12 中国电信股份有限公司 用户参数修复方法和装置、计算机存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1257365A (zh) * 1998-11-27 2000-06-21 日本电气株式会社 网络管理系统中数据库同步用的方法和装置
EP0905983B1 (en) * 1997-09-29 2002-10-23 Matsushita Electric Industrial Co., Ltd. Data match detecting apparatus, and data selecting apparatus
CN1556490A (zh) * 2004-01-08 2004-12-22 上海复旦光华信息科技股份有限公司 基于状态转换表的多源审计数据业务一致性判断方法
CN1713592A (zh) * 2004-06-27 2005-12-28 华为技术有限公司 一种通用数据采集的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0905983B1 (en) * 1997-09-29 2002-10-23 Matsushita Electric Industrial Co., Ltd. Data match detecting apparatus, and data selecting apparatus
CN1257365A (zh) * 1998-11-27 2000-06-21 日本电气株式会社 网络管理系统中数据库同步用的方法和装置
CN1556490A (zh) * 2004-01-08 2004-12-22 上海复旦光华信息科技股份有限公司 基于状态转换表的多源审计数据业务一致性判断方法
CN1713592A (zh) * 2004-06-27 2005-12-28 华为技术有限公司 一种通用数据采集的实现方法

Also Published As

Publication number Publication date
CN101094051A (zh) 2007-12-26

Similar Documents

Publication Publication Date Title
CN101094051B (zh) 数据一致性比对同步的系统和方法
CN100546260C (zh) 数据不一致的检测处理方法
CN101079749A (zh) 数据一致性检测方法
RU2583703C2 (ru) Обнаружение и анализ злоумышленной атаки
RU2554540C2 (ru) Система фильтра команд местной электрораспределительной сети
CN100471135C (zh) 实现业务分发与同步的设备、系统及方法
CN110647567B (zh) 基于末端数据融合的停电计划辅助决策系统
CN103546343B (zh) 网络流量分析系统的网络流量展示方法和系统
EP1364330A2 (en) Method and apparatus for managing business applications
CN101174973A (zh) 一种网络安全管理构架
CN101430357A (zh) 一种用电数据采集方法及系统和用电管理终端
CN105589000A (zh) 一种用电数据图形化管控系统
CN101482960A (zh) 一种实现银行大堂营销的方法及系统
CN112565111A (zh) 一种基于硬件旁路的业务可视化方法及系统
CN113642939A (zh) 一种电力营销系统全渠道统一接入平台及方法
CN102098699B (zh) 一种电信系统中用户数据核对的方法和装置
CN105656672A (zh) 一种基于app的故障预判诊断工具与方法
CN102137102B (zh) 一种支持多类信息发布方式的业务支撑平台实现方法
CN102945525B (zh) 智能卡支付管理信息系统
CN101119191A (zh) 数据一致性采集方法
CN106127573B (zh) 一种轻型化运营系统及方法
CN101754132B (zh) 白名单管理系统、方法及业务操作支撑系统代理服务器
CN106254173A (zh) 公共交通自动检票终端的监控系统及监控方法
CN103577905A (zh) 一种信息安全的审计方法及系统
CN115695138A (zh) 一种微服务架构设计方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant