CN109739831A - 数据库之间数据校验方法及装置 - Google Patents

数据库之间数据校验方法及装置 Download PDF

Info

Publication number
CN109739831A
CN109739831A CN201811406980.XA CN201811406980A CN109739831A CN 109739831 A CN109739831 A CN 109739831A CN 201811406980 A CN201811406980 A CN 201811406980A CN 109739831 A CN109739831 A CN 109739831A
Authority
CN
China
Prior art keywords
data
database
tables
summation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811406980.XA
Other languages
English (en)
Inventor
余星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NetsUnion Clearing Corp
Original Assignee
NetsUnion Clearing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NetsUnion Clearing Corp filed Critical NetsUnion Clearing Corp
Priority to CN201811406980.XA priority Critical patent/CN109739831A/zh
Publication of CN109739831A publication Critical patent/CN109739831A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种数据库之间数据校验方法及装置,其中方法包括:从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。

Description

数据库之间数据校验方法及装置
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据库之间数据校验方法及装置。
背景技术
目前,平台OLTP(On-Line Transaction Processing,联机事务处理过程)业务数据存储主要使用MySQL数据库,都采用了主备复制的方案来扩展架构、冗余数据(比如1主1备或1主多备),同时核心金融业务系统要求平台做到数据库高可用、数据强一致。
然而,主备复制是基于日志的逻辑复制,MySQL使用逻辑复制回放事务日志来同步主库的变化,从而很容易导致主备节点的数据不一致。因此主备节点数据一致性无法保证,在某些场景下备库本身需要承担了部分查询业务,主库发生故障切换时备库也会提升为主库的角色对外提供服务,如果出现主、备库数据不一致,数据库可用性就会被迫放弃从而影响业务的稳定运行。
相关技术中,通过在主数据库和备用数据库执行循环冗余校验的方式来确定主备数据库中的数据的一致性,配置信息和校验结果都写入生产数据库中,不够灵活且安全性比较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种数据库之间数据校验方法,用于解决现有技术中进行数据库之间数据校验时,人工操作难以及时、有效地对应用服务进行控制的问题。
本发明的第二个目的在于提出一种数据库之间数据校验装置。
本发明的第三个目的在于提出另一种数据库之间数据校验装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种数据库之间数据校验方法,包括:
从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表;
计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和;
若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
进一步的,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据源,以及所述第二数据库的第二数据源;
将所述第一数据源和所述第二数据源存入所述预设配置库中;
将所述预设配置库配置到目标运维平台。
进一步的,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据量和第一负载;
获取所述第二数据库的第二数据量和第二负载。
进一步的,当所述第一数据量和所述第二数据量都大于预设数据量阈值且所述第一负载和所述第二负载都大于预设负载阈值时,所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,包括:
从预设配置库中获取所述第一数据库对应的目标第一数据表,以及获取所述第二数据库对应的目标第二数据表;
所述计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和,包括:
计算所述目标第一数据表的目标第一数据总和,计算所述目标第二数据表的目标第二数据总和;
所述若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表,包括:
若获知所述目标第一数据总和与目标第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
进一步的,若获知所述第一数据总和与所述第二数据总和不一致时,通过统计第一数据表数据量和第二数据表数据量、交易状态比对和会计核对中的一种或者多种验证所述第一数据库和所述第二数据库的一致性。
本发明实施例的数据库之间数据校验方法,通过从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。
为达上述目的,本发明第二方面实施例提出了一种数据库之间数据校验装置,包括:
第一获取模块,用于从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表;
计算模块,用于计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和;
生成模块,用于若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
进一步的,所述的装置,还包括:配置模块,用于获取所述第一数据库的第一数据源,以及所述第二数据库的第二数据源,将所述第一数据源和所述第二数据源存入所述预设配置库中,将所述预设配置库配置到目标运维平台。
进一步的,所述的装置,还包括:第二获取模块,用于获取所述第一数据库的第一数据量和第一负载,获取所述第二数据库的第二数据量和第二负载。
进一步的,当所述第一数据量和所述第二数据量都大于预设数据量阈值且所述第一负载和所述第二负载都大于预设负载阈值时,第一获取模块,还用于从预设配置库中获取所述第一数据库对应的目标第一数据表,以及获取所述第二数据库对应的目标第二数据表;;
计算模块,还用于计算所述目标第一数据表的目标第一数据总和,计算所述目标第二数据表的目标第二数据总和;
生成模块,还用于若获知所述目标第一数据总和与目标第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
进一步的,所述的装置,还包括:处理模块,用于若获知所述第一数据总和与所述第二数据总和不一致时,通过统计第一数据表数据量和第二数据表数据量、交易状态比对和会计核对中的一种或者多种验证所述第一数据库和所述第二数据库的一致性。
本发明实施例的数据库之间数据校验装置,通过从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。
为达上述目的,本发明第三方面实施例提出了另一种数据库之间数据校验装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上所述的数据库之间数据校验方法。
为了实现上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据库之间数据校验方法。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的数据库之间数据校验方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的一种数据库之间数据校验方法的流程示意图;
图2为本发明实施例提供的一种数据库之间数据校验装置的结构示意图;
图3为本发明实施例提供的另一种数据库之间数据校验装置的结构示意图;
图4为本发明实施例提供的另一种数据库之间数据校验装置的结构示意图
图5为本发明实施例提供的另一种数据库之间数据校验装置的结构示意图;
图6为本发明实施例提供的另一种数据库之间数据校验装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的数据库之间数据校验方法及装置。
图1为本发明实施例提供的一种数据库之间数据校验方法的流程示意图。如图1所示,该数据库之间数据校验方法包括以下步骤:
S101、从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表。
在实际应用中,可以通过设置1主数据库对应1备用数据库,或者是1主数据库对应N备用数据库,其中,N为正整数且大于1,可以根据需要进行选择设置。
本实施例中提出的数据库之间数据校验方法可以应用于主数据库与备用数据库之间的数据校验,也可以应用于备用数据库与备用数据库之间的数据校验。也就是说数据库之间数据校验以一套预设配置库为单位逐个节点校验,预设配置库可以以校验程序的形式在主、备间运行,也可以在某2个备库间运行,以避免影响主库。
因此,本实施例中的第一数据库可以是主数据库也可以是备用数据库,同理第二数据库也可以是主数据库也可以是备用数据库。
本实施例中,预先在工作中的各个数据库中的元数据信息(即数据的数据)录入预设配置库中,作为一种可能实现方式,获取第一数据库的第一数据源,以及第二数据库的第二数据源,将第一数据源和第二数据源存入预设配置库中,将预设配置库配置到目标运维平台。其中,第一数据源为第一数据库的网协地址、数据等;第二数据源为第二数据库的网协地址、数据等。
也就是说将预设配置库配置到目标运维平台中,可以有目标运维平台统一调度运行,针对不同的数据库之间进行数据校验,从而提高数据校验的效率。
S102、计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和;
S103、若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。
具体地,第一数据表为第一数据库中的一组数据项,可以计算第一数据表的第一数据总和,也就是一组数据项的和,还可以计算第二数据表的第二数据总和,在获知第一数据总和与第二数据总和一致时成所述第一数据库和第二数据库一致性校验报表。
其中,可以针对数据库的数据量和负载确定是以全实例、全库、全表校验的方式,还是每天分批校验非当日数据表,没有校验的数据表隔天校验的方式等等。从而,可以针对平台不同的业务场景使用不同的数据校验方案,及时准确的发现逻辑复制场景数据不一致的情况并尽快处理,保证数据库的高可用性和强一致性。
作为一种示例,获取第一数据库的第一数据量和第一负载,获取第二数据库的第二数据量和第二负载,当第一数据量和第二数据量都不大于预设数据量阈值且第一负载和第二负载都不大于预设负载阈值时表示第一数据库和第二数据的数据量不大、负载不高。因此可以选择全实例、全库、全表校验的方式。即校验过程只对数据库发出查询请求,不写入任何信息。如果校验结果都一致则通过,否则返回不一致的表并通知人工介入处理。
作为另一种示例,获取第一数据库的第一数据量和第一负载,获取第二数据库的第二数据量和第二负载,当第一数据量和第二数据量都大于预设数据量阈值且第一负载和第二负载都大于预设负载阈值时表示第一数据库和第二数据的数据量较大、负载较高。因此可以选择每天分批校验非当日数据表,没有校验的数据表隔天校验的方式。从而保证线上数据校验覆盖整个实例同时不影响线上业务对当天数据表的访问。如果校验结果没有不一致则通过否则返回不一致的表,通知人工介入处理。
具体地,从预设配置库中获取第一数据库对应的目标第一数据表,以及获取第二数据库对应的目标第二数据表,计算目标第一数据表的目标第一数据总和,计算目标第二数据表的目标第二数据总和,若获知目标第一数据总和与目标第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。
需要说明的是,针对主、备库为不同业务的数据库同步,某个业务会可能根据需求修改备库数据导致主、备库校验的数据和不一样,使用如上2种方式都无法校验。
也就是若获知第一数据总和与第二数据总和不一致时,通过统计第一数据表数据量和第二数据表数据量、交易状态比对和会计核对中的一种或者多种验证第一数据库和第二数据库的一致性。比如,统计第一数据表的函数公式、数据分布、交易成功、交易失败和交易金额等验证第一数据库和所述第二数据库的一致性。
在本实施例中,若获知第一数据总和与第二数据总和不一致,则生成第一数据库和第二数据库不一致性校验报表,并通知人工接入处理,进一步提高数据一致性检测的灵活性和处理效率。
可以理解的是,整个校验过程中,各个备库跟主库校验时都可以并发执行、独立运行,极大的提高整个校验过程的效率。
本实施例可以根据需要,定期检查、核对生产上主备数据库或者是备备数据库之间的数据可以提早发现主备或者是备备数据不一致并尽快修复。在主备数据库故障切换时或数据库上线对外提供服务前校验主备数据以保证备库数据的完整性。另外,可以部分、全量校验,也支持物理、逻辑校验,此外数据校验对于数据库侵入性较低并支持不同业务数据库之间的校验。
需要说明的是,还可以通过人工校验,比如在主备数据库故障进行切换时、数据库上线前数据库管理人员运行该数据校验工具,以检查验证主、备库的数据是否一致,如果不一致,针对不一致的结果追一查看,补齐数据后再检验,确保主、备数据库数据的最终一致。
本发明实施例的数据库之间数据校验方法,通过从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。
图2为本发明实施例提供的一种数据库之间数据校验装置的结构示意图。如图2所示,包括:第一获取模块21、计算模块22和生成模块23。
其中,第一获取模块21,用于从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表。
计算模块22,用于计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和。
生成模块23,用于若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。
进一步的,结合参考图3,图2所示实施例的基础上,所述的装置还可以包括:配置模块24。
其中,配置模块24,用于获取第一数据库的第一数据源,以及第二数据库的第二数据源,将第一数据源和第二数据源存入所述预设配置库中,将预设配置库配置到目标运维平台。
进一步的,结合参考图4,图2所示实施例的基础上,所述的装置还可以包括:第二获取模块25、
其中,第二获取模块25,用于获取第一数据库的第一数据量和第一负载,获取第二数据库的第二数据量和第二负载。
进一步的,当第一数据量和第二数据量都大于预设数据量阈值且第一负载和第二负载都大于预设负载阈值时,第一获取模块21,还用于从预设配置库中获取第一数据库对应的目标第一数据表,以及获取第二数据库对应的目标第二数据表。
计算模块22,还用于计算目标第一数据表的目标第一数据总和,计算目标第二数据表的目标第二数据总和。
生成模块23,还用于若获知目标第一数据总和与目标第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。
进一步的,结合参考图6,图2所示实施例的基础上,所述的装置还可以包括:处理模块26。
处理模块26,用于若获知第一数据总和与第二数据总和不一致时,通过统计第一数据表数据量和第二数据表数据量、交易状态比对和会计核对中的一种或者多种验证第一数据库和所述第二数据库的一致性。
本发明实施例的数据库之间数据校验装置,通过从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,计算第一数据表的第一数据总和,并计算第二数据表的第二数据总和,若获知第一数据总和与第二数据总和一致,则生成第一数据库和第二数据库一致性校验报表。该过程不依赖主备或者是备备数据之间的复制,预设配置库的配置信息及校验结果可以独立保存,不写入生产数据库。且可以针对不同业务库之间的数据复制进行校验,更为灵活。以及可以采用并发的方式极大降低了整个校验过程的耗时,经过线下及生产验证可以很好的满足业务需求。
图6为本发明实施例提供的另一种数据库之间数据校验装置的结构示意图。该数据库之间数据校验装置包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的数据库之间数据校验方法。
进一步地,数据库之间数据校验装置还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行所述程序时实现上述实施例所述的数据库之间数据校验方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明还提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据库之间数据校验方法。
本发明还提供一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的数据库之间数据校验方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据库之间数据校验方法,其特征在于,包括以下步骤:
从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表;
计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和;
若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
2.如权利要求1所述的方法,其特征在于,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据源,以及所述第二数据库的第二数据源;
将所述第一数据源和所述第二数据源存入所述预设配置库中;
将所述预设配置库配置到目标运维平台。
3.如权利要求1所述的方法,其特征在于,在所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,之前还包括:
获取所述第一数据库的第一数据量和第一负载;
获取所述第二数据库的第二数据量和第二负载。
4.如权利要求3所述的方法,其特征在于,还包括:
当所述第一数据量和所述第二数据量都大于预设数据量阈值且所述第一负载和所述第二负载都大于预设负载阈值时,所述从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表,包括:
从预设配置库中获取所述第一数据库对应的目标第一数据表,以及获取所述第二数据库对应的目标第二数据表;
所述计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和,包括:
计算所述目标第一数据表的目标第一数据总和,计算所述目标第二数据表的目标第二数据总和;
所述若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表,包括:
若获知所述目标第一数据总和与所述目标第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
5.如权利要求1所述的方法,其特征在于,还包括:
若获知所述第一数据总和与所述第二数据总和不一致时,通过统计第一数据表数据量和第二数据表数据量、交易状态比对和会计核对中的一种或者多种验证所述第一数据库和所述第二数据库的一致性。
6.一种数据库之间数据校验装置,其特征在于,包括:
第一获取模块,用于从预设配置库中获取第一数据库对应的第一数据表,以及获取第二数据库对应的第一数据表;
计算模块,用于计算所述第一数据表的第一数据总和,并计算所述第二数据表的第二数据总和;
生成模块,用于若获知所述第一数据总和与所述第二数据总和一致,则生成所述第一数据库和所述第二数据库一致性校验报表。
7.如权利要求1所述的方法,其特征在于,还包括:
配置模块,用于获取所述第一数据库的第一数据源,以及所述第二数据库的第二数据源,将所述第一数据源和所述第二数据源存入所述预设配置库中,将所述预设配置库配置到目标运维平台。
8.如权利要求1所述的方法,其特征在于,还包括:
第二获取模块,用于获取所述第一数据库的第一数据量和第一负载,获取所述第二数据库的第二数据量和第二负载。
9.一种数据库之间数据校验装置,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一所述的数据库之间数据校验方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的数据库之间数据校验方法。
CN201811406980.XA 2018-11-23 2018-11-23 数据库之间数据校验方法及装置 Pending CN109739831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811406980.XA CN109739831A (zh) 2018-11-23 2018-11-23 数据库之间数据校验方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811406980.XA CN109739831A (zh) 2018-11-23 2018-11-23 数据库之间数据校验方法及装置

Publications (1)

Publication Number Publication Date
CN109739831A true CN109739831A (zh) 2019-05-10

Family

ID=66358129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811406980.XA Pending CN109739831A (zh) 2018-11-23 2018-11-23 数据库之间数据校验方法及装置

Country Status (1)

Country Link
CN (1) CN109739831A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704461A (zh) * 2019-09-05 2020-01-17 苏州浪潮智能科技有限公司 一种数据校验方法、装置、计算机设备及可读存储介质
CN110874311A (zh) * 2019-10-11 2020-03-10 网联清算有限公司 数据库检测方法、装置、计算机设备和存储介质
CN110990414A (zh) * 2019-10-31 2020-04-10 口碑(上海)信息技术有限公司 一种数据处理方法以及装置
CN111813829A (zh) * 2020-06-30 2020-10-23 平安国际智慧城市科技股份有限公司 数据决算方法、装置、电子设备及存储介质
CN112184306A (zh) * 2020-09-26 2021-01-05 中国建设银行股份有限公司 自动返现方法、装置、电子设备及计算机可读存储介质
CN112579591A (zh) * 2019-09-30 2021-03-30 重庆小雨点小额贷款有限公司 数据校验方法、装置、电子设备及计算机可读存储介质
CN113177056A (zh) * 2021-06-29 2021-07-27 企查查科技有限公司 多数据库的业务数据一致性的检验方法、设备和存储介质
CN113391956A (zh) * 2021-06-23 2021-09-14 中国工商银行股份有限公司 一种双园区的数据校验方法及装置
CN114385631A (zh) * 2021-12-17 2022-04-22 北京达佳互联信息技术有限公司 校验方法、装置、服务器及存储介质
CN117251460A (zh) * 2023-08-10 2023-12-19 上海栈略数据技术有限公司 图数据库和关系数据库的数据一致性校验系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050216524A1 (en) * 2004-03-23 2005-09-29 Integrated Data Corporation Smart and selective synchronization between databases in a document management system
CN102024046A (zh) * 2010-12-14 2011-04-20 成都市华为赛门铁克科技有限公司 数据重复性校验方法和装置及系统
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN102663317A (zh) * 2012-03-05 2012-09-12 浪潮集团山东通用软件有限公司 业务单据及关键数据流转过程安全加固系统
US8650161B1 (en) * 2009-04-09 2014-02-11 Google Inc. Self healing system for inaccurate metadata
CN103617168A (zh) * 2013-10-22 2014-03-05 芜湖大学科技园发展有限公司 一种通用的元数据校验及导出方法
CN105988889A (zh) * 2015-02-11 2016-10-05 阿里巴巴集团控股有限公司 一种数据校验方法及装置
CN105989194A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 表数据比较的方法和系统
CN107070645A (zh) * 2016-12-30 2017-08-18 华为技术有限公司 比较数据表的数据的方法和系统
CN107247758A (zh) * 2017-05-31 2017-10-13 深圳市长亮科技股份有限公司 基于银行核心系统的数据处理方法
CN108268496A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据的校验方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050216524A1 (en) * 2004-03-23 2005-09-29 Integrated Data Corporation Smart and selective synchronization between databases in a document management system
US8650161B1 (en) * 2009-04-09 2014-02-11 Google Inc. Self healing system for inaccurate metadata
CN102024046A (zh) * 2010-12-14 2011-04-20 成都市华为赛门铁克科技有限公司 数据重复性校验方法和装置及系统
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN102663317A (zh) * 2012-03-05 2012-09-12 浪潮集团山东通用软件有限公司 业务单据及关键数据流转过程安全加固系统
CN103617168A (zh) * 2013-10-22 2014-03-05 芜湖大学科技园发展有限公司 一种通用的元数据校验及导出方法
CN105988889A (zh) * 2015-02-11 2016-10-05 阿里巴巴集团控股有限公司 一种数据校验方法及装置
CN105989194A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 表数据比较的方法和系统
CN107070645A (zh) * 2016-12-30 2017-08-18 华为技术有限公司 比较数据表的数据的方法和系统
CN108268496A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据的校验方法及装置
CN107247758A (zh) * 2017-05-31 2017-10-13 深圳市长亮科技股份有限公司 基于银行核心系统的数据处理方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704461A (zh) * 2019-09-05 2020-01-17 苏州浪潮智能科技有限公司 一种数据校验方法、装置、计算机设备及可读存储介质
CN112579591A (zh) * 2019-09-30 2021-03-30 重庆小雨点小额贷款有限公司 数据校验方法、装置、电子设备及计算机可读存储介质
CN110874311A (zh) * 2019-10-11 2020-03-10 网联清算有限公司 数据库检测方法、装置、计算机设备和存储介质
CN110990414B (zh) * 2019-10-31 2023-06-16 口碑(上海)信息技术有限公司 一种数据处理方法以及装置
CN110990414A (zh) * 2019-10-31 2020-04-10 口碑(上海)信息技术有限公司 一种数据处理方法以及装置
CN111813829A (zh) * 2020-06-30 2020-10-23 平安国际智慧城市科技股份有限公司 数据决算方法、装置、电子设备及存储介质
CN112184306A (zh) * 2020-09-26 2021-01-05 中国建设银行股份有限公司 自动返现方法、装置、电子设备及计算机可读存储介质
CN113391956A (zh) * 2021-06-23 2021-09-14 中国工商银行股份有限公司 一种双园区的数据校验方法及装置
CN113391956B (zh) * 2021-06-23 2024-02-27 中国工商银行股份有限公司 一种双园区的数据校验方法及装置
CN113177056A (zh) * 2021-06-29 2021-07-27 企查查科技有限公司 多数据库的业务数据一致性的检验方法、设备和存储介质
CN113177056B (zh) * 2021-06-29 2021-09-21 企查查科技有限公司 多数据库的业务数据一致性的检验方法、设备和存储介质
CN114385631A (zh) * 2021-12-17 2022-04-22 北京达佳互联信息技术有限公司 校验方法、装置、服务器及存储介质
CN117251460A (zh) * 2023-08-10 2023-12-19 上海栈略数据技术有限公司 图数据库和关系数据库的数据一致性校验系统
CN117251460B (zh) * 2023-08-10 2024-04-05 上海栈略数据技术有限公司 图数据库和关系数据库的数据一致性校验系统

Similar Documents

Publication Publication Date Title
CN109739831A (zh) 数据库之间数据校验方法及装置
CN107395353B (zh) 一种区块链共识方法及装置
US8874512B2 (en) Data replication method and system for database management system
CN106034160B (zh) 分布式计算系统和方法
CN103646111A (zh) 大数据环境下实现实时数据关联的系统及方法
CN110941630A (zh) 一种数据库运维方法、装置及系统
US11070979B2 (en) Constructing a scalable storage device, and scaled storage device
JP2019519017A (ja) 精算処理方法、精算処理装置、端末機器及び記憶媒体
CN103514229A (zh) 用于在分布式数据库系统中处理数据库数据的方法和装置
CN103229171A (zh) 基于快照的复制
CN108932249A (zh) 一种管理文件系统的方法及装置
US20230019494A1 (en) Data verification method and apparatus, computer device, and computer readable storage medium
CN108460068A (zh) 报表导入导出的方法、装置、存储介质及终端
CN107943542A (zh) 一种配置信息管理方法、装置、可读介质及存储控制器
CN110291505A (zh) 减少应用的恢复时间
CN105868127A (zh) 一种数据存储、读取方法及装置
CN108874297A (zh) 合并文件的方法、存储装置、存储设备和存储介质
WO2021249350A1 (zh) 计算平台的成本计算方法、装置、计算机设备及存储介质
US11301426B1 (en) Maintaining stable record identifiers in the presence of updated data records
CN105677427A (zh) 一种模块升级的方法及装置
CN106325769B (zh) 一种数据存储的方法及装置
CN115373889A (zh) 数据同步中的数据比对校验及数据修复的方法及装置
CN111737351A (zh) 分布式管理系统事务管理方法及装置
CN111966699A (zh) 校验数据的方法、装置、计算机设备和存储介质
CN111522881A (zh) 业务数据处理方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510

RJ01 Rejection of invention patent application after publication