CN111949728A - 一种动态数据差异比对方法与系统 - Google Patents
一种动态数据差异比对方法与系统 Download PDFInfo
- Publication number
- CN111949728A CN111949728A CN202010677000.0A CN202010677000A CN111949728A CN 111949728 A CN111949728 A CN 111949728A CN 202010677000 A CN202010677000 A CN 202010677000A CN 111949728 A CN111949728 A CN 111949728A
- Authority
- CN
- China
- Prior art keywords
- data
- comparison
- difference
- database
- difference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000003825 pressing Methods 0.000 claims abstract description 5
- 230000002159 abnormal effect Effects 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种动态数据差异比对方法，包括如下过程：步骤一：确认内存数据库需要对比的表的主键；步骤二：确认物理数据库对应表的主键；步骤三：直接使用物理数据库和内存数据库的数据，进行全量比对，记录本次比对的差异数据；步骤四：全量比对结束后，对上次的差异数据重新按主键再次比对，并记录本次比对的差异数据；步骤五：采用指数回退方式，间隔一段时间后，再次对上次差异数据进行比对，记录本次差异数据；步骤六：重复步骤五一定次数后，最终的差异数据即确定是异常数据。解决了当前电信系统内存数据库和物理数据库都在动态变化状态下难以进行数据一致性检验的问题。
Description
技术领域
本发明涉及动态数据差异对比技术领域，具体涉及一种动态数据差异比对方法与系统。
背景技术
目前将电信系统中大量使用内存数据库，通过将物理数据库中的数据同步到内存数据中，以提升业务处理的效率。这样的系统工作方式需要保证内存数据库和物理数据库数据的一致性，因此需要定期的对内存数据库和物理数据的数据进行比对，找出差异数据，并进行数据校准。由于系统一直在进行业务处理，内存数据库和物理数据的数据都一直在变化，给比对造成一定的困难。需要有一种能在内存数据库和物理数据库都在动态变化情况下进行数据动态比对的方法。
发明内容
针对当前电信系统内存数据库和物理数据库都在动态变化状态下难以进行数据一致性检验的问题，本发明提供一种动态数据差异比对方法与系统。
本发明公开了一种动态数据差异比对方法，所述方法包括如下过程：
步骤一：确认内存数据库需要对比的表的主键；
步骤二：确认物理数据库对应表的主键；
步骤三：直接使用物理数据库和内存数据库的数据，进行全量比对，记录本次比对的差异数据；
步骤四：全量比对结束后，对上次的差异数据重新按主键再次比对，并记录本次比对的差异数据；
步骤五：采用指数回退方式，间隔一段时间后，再次对上次差异数据进行比对，记录本次差异数据；
步骤六：重复步骤五一定次数后，最终的差异数据即确定是异常数据。
所述步骤一和步骤二中所述表是指数据库中的一种存储模型，一张表包含行和列，由于业务系统的复杂性,数据库中含有多个表。
所述主键表示表里能唯一定位一行的字段或者字段组合。
一种动态数据差异比对系统，所述系统至少包括一台连接了互联网的计算机，所述计算机至少包括存储器、处理器，所述存储器中储存有上述动态数据差异比对方法的程序实现代码；所述处理器运行有上述动态数据差异比对方法的可执行程序。
与现有技术相比，本发明的有益效果为：
采用本发明的一种动态数据差异比对方法与系统后，实现了在内存数据库和物理数据库都在动态变化情况下对内存数据库和物理数据库进行数据一致性检验，保障了在进行数据一致性校验时不影响系统正常运行，保障了系统的实时、可靠、稳定运行。
附图说明
图1是本发明一种动态数据差异比对方法与系统的运行流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
参见图1，一种动态数据差异比对方法，所述方法包括如下过程：
步骤一：确认内存数据库需要对比的表的主键；
步骤二：确认物理数据库对应表的主键；
步骤三：直接使用物理数据库和内存数据库的数据，进行全量比对，记录本次比对的差异数据；
步骤四：全量比对结束后，对上次的差异数据重新按主键再次比对，并记录本次比对的差异数据；
步骤五：采用指数回退方式，间隔一段时间后，再次对上次差异数据进行比对，记录本次差异数据；
步骤六：重复步骤五一定次数后，最终的差异数据即确定是异常数据。
所述步骤一和步骤二中所述表是指数据库中的一种存储模型，一张表包含行和列(类似于Excel里的一个sheet)，由于业务系统的复杂性,数据库中含有多个表。
所述主键表示表里能唯一定位一行的字段或者字段组合。
一种动态数据差异比对系统，所述系统至少包括一台连接了互联网的计算机，所述计算机至少包括存储器、处理器，所述存储器中储存有上述动态数据差异比对方法的程序实现代码；所述处理器运行有上述动态数据差异比对方法的可执行程序。
举例说明如下：一种动态数据差异比对方法应用于BOSS系统中，先指定需要校验的表，程序定时运行执行校验程序。
以现系统中用户信息表dcustmsg进行差异比对说明,由于该表字段较多，但是原理是一致的，以一个字段用户状态RUN_CODE字段进行比对说明.该表物理库和内存数据库数据表结构一致。表结构说明如下:
比对差异信息表dcustmsg_diff只记录主键字段即可，则上表中存在差异的内容如下表所示：
指定程序比对次数为5，比对时间间隔为10秒。
首次比对，进行全量比对，读取物理库DCUSTMSG数据并逐条和内存数据库DCUSTMSG进行的比对，比较ID_NO是否将差异数据录入差异信息表dcustmsg_diff。比对完成后等待10秒。
第二次比对，只比对差异信息表dcustmsg_diff中的用户数据。数据全量读取到程序内存后，清空差异信息表dcustmsg_diff。为记录第二次差异数据做准备。第二次比对结果结束后将差异数据录入差异信息表Dcustmsg_diff，同时程序等待20秒(10*2^1，体现指数回退)。
第三次比对，和第二次过程一致，只是比对结束后程序等待时间为40秒(10*2^2，体现指数回退)。
第四次对比，和第三次过程一致，只是比对结束后程序等待时间为80秒(10*2^3，体现指数回退)。
第五次对比，和第四次过程一致，对比结束后产生的最终差异信息表dcustmsg_diff中的数据就是差异数据。
具体实施时，可以分析每次比对结果，调整比对次数和比对时间间隔。
与现有技术相比，本发明的有益效果为：
采用本发明的一种动态数据差异比对方法与系统后，实现了在内存数据库和物理数据库都在动态变化情况下对内存数据库和物理数据库进行数据一致性检验，保障了在进行数据一致性校验时不影响系统正常运行，保障了系统的实时、可靠、稳定运行。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种动态数据差异比对方法，其特征在于，所述方法包括如下过程：
步骤一：确认内存数据库需要对比的表的主键；
步骤二：确认物理数据库对应表的主键；
步骤三：直接使用物理数据库和内存数据库的数据，按主键进行全量比对，记录本次比对的差异数据；
步骤四：全量比对结束后，对上次的差异数据重新按主键再次比对，并记录本次比对的差异数据；
步骤五：采用指数回退方式，间隔一段时间后，再次对上次差异数据进行比对，记录本次差异数据；
步骤六：重复步骤五一定次数后，最终的差异数据即确定是异常数据。
2.根据权利要求1中所述的一种动态数据差异比对方法，其特征在于：所述步骤一和步骤二中所述表是指数据库中的一种存储模型，一张表包含行和列，由于业务系统的复杂性,数据库中含有多个表。
3.根据权利要求1中所述的一种动态数据差异比对方法，其特征在于：所述主键表示表里能唯一定位一行的字段或者字段组合。
4.一种动态数据差异比对系统，所述系统至少包括一台连接了互联网的计算机，所述计算机至少包括存储器、处理器，其特征在于：所述存储器中储存有权利要求1所述动态数据差异比对方法的程序实现代码；所述处理器运行有权利要求1所述动态数据差异比对方法的可执行程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010677000.0A CN111949728A (zh) | 2020-07-14 | 2020-07-14 | 一种动态数据差异比对方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010677000.0A CN111949728A (zh) | 2020-07-14 | 2020-07-14 | 一种动态数据差异比对方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111949728A true CN111949728A (zh) | 2020-11-17 |
Family
ID=73340497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010677000.0A Pending CN111949728A (zh) | 2020-07-14 | 2020-07-14 | 一种动态数据差异比对方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949728A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905602A (zh) * | 2021-03-26 | 2021-06-04 | 掌阅科技股份有限公司 | 数据比对方法、计算设备及计算机存储介质 |
| CN118394849A (zh) * | 2024-06-26 | 2024-07-26 | 杭州古珀医疗科技有限公司 | 一种医疗领域中全量数据的差异比对方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN104750703A (zh) * | 2013-12-26 | 2015-07-01 | 中国移动通信集团天津有限公司 | 一种提高数据准确性的方法和装置 |
| CN108153619A (zh) * | 2017-12-25 | 2018-06-12 | 杭州恩牛网络技术有限公司 | 一种数据校对方法和装置 |
-
2020
- 2020-07-14 CN CN202010677000.0A patent/CN111949728A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN104750703A (zh) * | 2013-12-26 | 2015-07-01 | 中国移动通信集团天津有限公司 | 一种提高数据准确性的方法和装置 |
| CN108153619A (zh) * | 2017-12-25 | 2018-06-12 | 杭州恩牛网络技术有限公司 | 一种数据校对方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905602A (zh) * | 2021-03-26 | 2021-06-04 | 掌阅科技股份有限公司 | 数据比对方法、计算设备及计算机存储介质 |
| CN118394849A (zh) * | 2024-06-26 | 2024-07-26 | 杭州古珀医疗科技有限公司 | 一种医疗领域中全量数据的差异比对方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101719149B (zh) | 数据同步方法及装置 | |
| US20120203745A1 (en) | System and method for range search over distributive storage systems | |
| US10331657B1 (en) | Contention analysis for journal-based databases | |
| CN112084161B (zh) | 基于数据库的数据处理方法、装置以及可读存储介质 | |
| US6708185B2 (en) | SQL execution analysis | |
| CN106933893B (zh) | 多维度数据的查询方法及装置 | |
| CN111949728A (zh) | 一种动态数据差异比对方法与系统 | |
| US10133767B1 (en) | Materialization strategies in journal-based databases | |
| CN113868028B (zh) | 一种在数据节点上回放日志的方法、数据节点及系统 | |
| US10198346B1 (en) | Test framework for applications using journal-based databases | |
| CN109144950B (zh) | 业务数据的存储方法和装置 | |
| CN101676881A (zh) | 日志管理服务器 | |
| CN105630934A (zh) | 一种数据统计方法及系统 | |
| CN115408370B (zh) | 数据库迁移评估方法和系统、计算机设备、存储介质 | |
| Zhang et al. | HyBench: A New Benchmark for HTAP Databases | |
| EP4172798A1 (en) | Knowledge graph-based lineage tracking | |
| CN108427675A (zh) | 构建索引的方法及设备 | |
| CN104317820B (zh) | 报表的统计方法和装置 | |
| CN114077600B (zh) | 一种基于arm内核的数据异构迁移可视化分析方法 | |
| CN111104464B (zh) | 一种数据同步修改方法、读取方法及系统、可读存储介质 | |
| CN116136859A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN113220726A (zh) | 一种数据质量检测方法及系统 | |
| CN113157745A (zh) | 一种数据质量检测方法及系统 | |
| CN110414813B (zh) | 指标曲线的构建方法、装置及设备 | |
| CN114817390B (zh) | 一种基于Sqoop程序的数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201117 |