CN109614393A - 数据核对方法及装置 - Google Patents

数据核对方法及装置 Download PDF

Info

Publication number
CN109614393A
CN109614393A CN201811261026.6A CN201811261026A CN109614393A CN 109614393 A CN109614393 A CN 109614393A CN 201811261026 A CN201811261026 A CN 201811261026A CN 109614393 A CN109614393 A CN 109614393A
Authority
CN
China
Prior art keywords
data
doubtful
variance
verification
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811261026.6A
Other languages
English (en)
Inventor
戴潇桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811261026.6A priority Critical patent/CN109614393A/zh
Publication of CN109614393A publication Critical patent/CN109614393A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供了一种数据核对方法及装置,其中方法包括:若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取第一数据库和第二数据库之间的疑似差异数据;确定疑似差异数据的核查时间范围,并获取第二数据库在所述核查时间范围内记录的核查数据;根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。

Description

数据核对方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据核对方法及装置。
背景技术
目前,各个数据系统在进行数据处理时,经常需要将同一份数据存储在多个数据库中,为保证各个数据库存储了相同的数据,或者保证某个数据库中的关键数据也存储在其他数据库中,需要定时比对各个数据库内存储的数据,以及时确定各个数据库之间的数据差异,从而提出有效的解决措施。
基于此,有必要提供一种技术方案,以准确确定各个数据库之间是否存在数据差异,提高差异确定的准确性。
发明内容
本申请实施例的目的是提供一种数据核对方法及装置,能够准确确定多个数据库之间是否存在数据差异,提高差异确定的准确性。
为达到上述技术目的,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种数据核对方法,包括:
若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
第二方面,本申请实施例提供了一种数据核对方法,包括:
若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
第三方面,本申请实施例提供了一种数据核对装置,包括:
第一获取模块,用于若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
第一时间确定模块,用于确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第一差异确定模块,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
第四方面,本申请实施例提供了一种数据核对装置,包括:
第二获取模块,用于若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
第二时间确定模块,用于确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第二差异确定模块,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
第五方面,本申请实施例提供了一种数据核对设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的方法的步骤。
第六方面,本申请实施例提供了一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现上述第一方面所述的方法的步骤。
第七方面,本申请实施例提供了一种数据核对设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的方法的步骤。
第八方面,本申请实施例提供了一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现上述第一方面所述的方法的步骤。
可见,本申请实施例中,能够在指定时间范围内第一数据库记录的数据和第二数据库记录的数据存在差异时,获取第一数据库和第二数据库之间的疑似差异数据,确定该疑似差异数据的核查时间范围,并获取第二数据库在该核查时间范围内记录的核查数据,其中,核查时间范围与指定时间范围不同,最后根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。通过判断疑似差异数据是否为真实差异数据的方式,能够准确确定第一数据库和第二数据库之间是否存在数据差异,提高数据差异确定的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的数据核对方法的应用场景示意图;
图2为本申请一实施例提供的数据核对方法的流程示意图;
图3为本申请另一实施例提供的数据核对方法的流程示意图;
图4为本申请另一实施例提供的数据核对方法的流程示意图;
图5为本申请一实施例提供的数据核对装置的结构示意图;
图6为本申请另一实施例提供的数据核对装置的结构示意图;
图7为本申请一实施例提供的数据核对设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请实施例提供了一种数据核对方法及装置,能够准确确定多个数据库之间是否存在数据差异,提高差异确定的准确性。
图1为本申请一实施例提供的数据核对方法的应用场景示意图,如图1所示,该场景包括第一数据库100和第二数据库200,在业务正常执行的过程中,第一数据库100可以与第二数据库200存储相同的数据,或者,第一数据库100中的关键数据存储在第二数据库200中,若发现第一数据库100记录的数据和第二数据库200记录的数据存在差异,则可以通过本申请实施例提供的方法,判断第一数据库和第二数据库之间的疑似差异数据是否为真实差异数据,从而准确确定第一数据库和第二数据库之间是否存在数据差异,提高数据差异确定的准确性。
图2为本申请一实施例提供的数据核对方法的流程示意图,本申请实施例中的数据核对方法可以由特定的数据核对设备或数据核对系统执行,如图2所示,该流程包括以下步骤:
步骤S202,若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取第一数据库和第二数据库之间的疑似差异数据;
步骤S204,确定该疑似差异数据的核查时间范围,并获取第二数据库在该核查时间范围内记录的核查数据,其中,核查时间范围与指定时间范围不同;
步骤S206,根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。
可见,本申请实施例中,能够在指定时间范围内第一数据库记录的数据和第二数据库记录的数据存在差异时,获取第一数据库和第二数据库之间的疑似差异数据,确定该疑似差异数据的核查时间范围,并获取第二数据库在该核查时间范围内记录的核查数据,其中,核查时间范围与指定时间范围不同,最后根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。通过判断疑似差异数据是否为真实差异数据的方式,能够准确确定第一数据库和第二数据库之间是否存在数据差异,提高数据差异确定的准确性。
本实施例中,可以通过订阅第二数据库的数据变更信息的方式,获取第二数据库在核查时间范围内的核查数据,从而保证能够实时获取到核查数据,达到实时确定疑似差异数据是否为真实差异数据的效果。
本申请实施例中,可以比对指定时间范围内第一数据库记录的数据和第二数据库记录的数据是否相同,或者比对指定时间范围内第一数据库中记录的关键数据是否存储在第二数据库中。比如,在一个具体的实施例中,第一数据库为下游业务的数据库,第二数据库为上游业务的数据库,从0点0分开始,每到一小时将第一数据库在该一小时内记录的数据以数据表的形式导出,并且每到一小时将第二数据库在该一小时内记录的数据以数据表的形式导出,比较导出得到的两张数据表中的数据,从而确定该一小时内第一数据库记录的数据和第二数据库记录的数据是否相同,或者确定该一小时内第一数据库记录的关键数据是否记录在第二数据库中。该例子中,指定时间范围即为上述提到的“该一小时”,一个例子中,指定时间范围可以举例为13点00分到14点00分这一时间范围。
若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则上述步骤S202中,可以获取第一数据库和第二数据库之间的疑似差异数据。获取第一数据库和第二数据库之间的疑似差异数据可以为:获取第一数据库在上述指定时间范围内记录的、且、第二数据库未在上述指定时间范围内记录的数据,将该数据作为疑似差异数据,或者,获取第一数据库在上述指定时间范围内记录的、且、第二数据库未在上述指定时间范围内记录的数据,从该数据中提取设定字段的字段内容,将该字段内容作为疑似差异数据。
当不考虑疑似差异数据的数据量大小时,可以获取第一数据库在上述指定时间范围内记录的、且、第二数据库未在上述指定时间范围内记录的数据,将该数据作为疑似差异数据。当考虑疑似差异数据的数据量大小时,可以获取第一数据库在上述指定时间范围内记录的、且、第二数据库未在上述指定时间范围内记录的数据,从该数据中提取设定字段的字段内容,将该字段内容作为疑似差异数据,从而尽量减小疑似差异数据的数据量。
本实施例中,设定字段包括但不限于用户标识、业务发生时间、业务信息等字段。在金融业务处理场景下,业务信息包括但不限于交易金额等字段。
上述步骤S204中,确定疑似差异数据的核查时间范围,可以为:根据指定时间范围的时间临界点,确定疑似差异数据的核查时间范围。
本实施例中,核查时间范围与指定时间范围为不同的时间范围。根据指定时间范围的时间临界点,确定疑似差异数据的核查时间范围,可以为:选取指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围,或者,选取指定时间范围的最早时间临界点之前的设定时长的时间段,作为疑似差异数据的核查时间范围。
以指定时间范围为13点00分到14点00分为例,则本实施例中,指定时间范围的最晚时间临界点为14点00分,指定时间范围的最早时间临界点为13点00分,一个情况下,可以选取14点00之后的设定时长的时间段,比如14点00分至14点15分这一时间段,作为疑似差异数据的核查时间范围。另一情况下,可以选取13点00之前的设定时长的时间段,比如12点45分至13点00分这一时间段,作为疑似差异数据的核查时间范围。
一个可选的实施例中,设定时长可以为10分钟,指定时间范围的时长可以为1小时。
当数据同步流向为从第一数据库同步至第二数据库时,在获取到第一数据库和第二数据库之间的差异数据时,考虑到第一数据库在指定时间范围内向第二数据库同步的数据,被第二数据库在指定时间范围之后的时间内接收,因此可以选取指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围,从而获取第二数据库在核查时间范围内记录的核查数据。
当数据同步流向为从第二数据库同步至第一数据库时,在获取到第一数据库和第二数据库之间的差异数据时,考虑到第一数据库在指定时间范围内接收到的数据,由第二数据库在指定时间范围之前的时间被第二数据库发送至第一数据库,因此可以选取指定时间范围的最早时间临界点之前的设定时长的时间段,作为疑似差异数据的核查时间范围,从而获取第二数据库在核查时间范围内记录的核查数据。
在确定核查时间范围后,获取第二数据库在该核查时间范围内记录的核查数据,该动作具体可以为:查找第二数据库在核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,将该字段内容作为核查数据;或者,查找第二数据库在核查时间范围内记录的数据,将该数据作为所述核查数据。
一个情况下,查找第二数据库在核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,该设定字段包括但不限于用户标识、业务发生时间、业务信息等字段。在金融业务处理场景下,业务信息包括但不限于交易金额等字段。然后,将该设定字段的字段内容作为核查数据。通过将设定字段的字段内容作为核查数据,可以减小核查数据的数据量,提高系统的数据核对效率。
另一个情况下,查找第二数据库在核查时间范围内记录的数据,将该数据作为核查数据。通过将第二数据库在核查时间范围内记录的数据作为核查数据,可以保证核查数据的完整性,提高数据核对的准确性。
在一个具体的实施例中,第二数据库为mysql数据库,通过binlog数据同步组件将myspl数据库的变更同步到订阅端,从而获取第二数据库在核查时间范围内记录的核查数据。其中,可以首先确定第二数据库中需要同步的数据表,通过binlog数据同步组件将该数据表的数据变更同步到订阅段,从该数据表中获取第二数据库在核查时间范围内记录的核查数据。通过先确定第二数据库中需要同步的数据表的方式,能够减少被同步数据的数据量,从而减少数据存储量。
在获取核查数据后,可以将核查数据存储在指定数据库中,该数据库可以为Hbase数据库。由于Hbase数据库支持数据的key-value存储方式,因此在查找第二数据库在核查时间范围内记录的数据,将该数据作为核查数据后,可以从核查数据中提取设定字段的字段内容,将该字段内容作为核查数据的检索索引,将检索索引和核查数据共同存储在Hbase数据库中。下表1为核查数据的一种存储示意表。
表1
检索索引 核查数据
王三 王三在12点向李四付款100元
李四 李四在12点10分向王三付款200元
表1中,核查数据分别包括“王三在12点向李四付款100元”和“李四在12点10分向王三付款200元”,对应的检索索引分别为“王三”和“李四”,Hbase数据库可以按照如表1所示的方式存储核查数据。通过key-value存储方式存储核查数据后,能够便于后续查询核查数据。
本实施例中,在获取核查数据后,可以通过步骤S206,根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。该步骤具体可以为:从疑似差异数据中提取设定字段的字段内容,将该字段内容作为疑似差异数据的检索索引,根据疑似差异数据的检索索引,在核查数据中查找疑似差异数据,若查找到疑似差异数据,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
比如,疑似差异数据为“王三在12点向李四付款100元”,则本步骤中,可以从疑似差异数据中提取设定字段的字段内容,如提取用户标识的字段内容“王三”,将“王三”作为疑似差异数据的检索索引。本实施例中,若设定字段为多个,则可以将该多个设定字段的字段内容拼装成疑似差异数据的检索索引。比如,将“王三”和“100元”拼装成检索索引。然后,根据疑似差异数据的检索索引,在核查数据中查找疑似差异数据,具体地,可以利用上表1,根据“王三”这一索引,在核查数据中查找“王三”对应的核查数据,若查找到的核查数据为“王三在12点向李四付款100元”,则说明核查数据中包含疑似差异数据,则确定疑似差异数据不为真实差异数据。若未查找到疑似差异数据,则说明核查数据中不包含疑似差异数据,则确定疑似差异数据为真实差异数据。
另一实施例中,步骤S206具体可以为:从疑似差异数据中提取设定字段的字段内容,在核查数据中查找该字段内容,若查找到该字段内容,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
比如,疑似差异数据为“王三在12点向李四付款100元”,则本步骤中,可以从疑似差异数据中提取设定字段的字段内容,如提取用户标识的字段内容“王三”。然后,在核查数据中查找该字段内容,比如,在上表1的“检索索引”中查找“王三”,若查找到该字段内容,则确定疑似差异数据不为真实差异数据。若未查找到该字段内容,则确定疑似差异数据为真实差异数据。
另一实施例中,步骤S206具体可以为:比较疑似差异数据的各个字段的字段内容和核查数据的各个字段的字段内容,以确定核查数据是否包含疑似差异数据,若包含,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
一个情况下,当疑似差异数据为第一数据库在指定时间范围内记录的、且、第二数据库未在指定时间范围内记录的数据,且核查数据为第二数据库在核查时间范围内记录的数据时,可以比较疑似差异数据的各个字段的字段内容和核查数据的各个字段的字段内容,以确定核查数据是否包含疑似差异数据,若包含,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
另一个情况下,当疑似差异数据为第一数据库在指定时间范围内记录的、且、第二数据库未在指定时间范围内记录的数据中的设定字段的字段内容,且核查数据为第二数据库在核查时间范围内记录的数据中的设定字段的字段内容时,可以比较疑似差异数据的各个字段的字段内容和核查数据的各个字段的字段内容,以确定核查数据是否包含疑似差异数据,若包含,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
在一个具体的实施例中,第一数据库对应的第一业务为第二数据库对应的第二业务的上游业务。在数据同步过程中,需要将第一数据库中的数据同步到第二数据库中,由于数据同步需要时间,可能存在第一数据库某个小时内记录的数据,第二数据库在下一个小时接收到该数据,比如,业务发生在13点59分49秒,第一数据库在h=13的分区表记录该业务数据,第二数据库在14点之后接收到数据同步请求,导致该数据同步到第二数据库时,记录在第二数据库的h=14的分区表。
该情况下,若核对第一数据库和第二数据库在13点00至14点00这一时间范围内记录的数据,能够确定第一数据库和第二数据库之间存在数据差异,通过本实施例中的方法,由于可以确定指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围,并获取第二数据库在该核查时间范围内记录的核查数据,并比较疑似差异数据的数据内容和核查数据的数据内容,因此在该例中,通过设置合适的调节核查时间范围的时长,可以确定核查数据中包含疑似差异数据,从而确定疑似差异数据不为真实差异数据,准确确定第一数据库和第二数据库之间是否存在数据差异,提高数据差异确定的准确性。
由于前述说明了,可以选取指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围,因此在数据从上游业务的数据库同步到下游业务的数据库的过程中,第一数据库对应的第一业务可以为第二数据库对应的第二业务的上游业务。
该例中,第一数据库位于业务上游,第二数据库位于业务下游,数据从第一数据库同步到第二数据库,当指定时间范围内,第一数据库中包含第二数据库中未记录的疑似差异数据时,设定指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围,并且获取第二数据库在该核查时间范围内记录的核查数据,从而根据疑似差异数据和核查数据,确定第二数据库中是否记录有疑似差异数据,若记录有,说明疑似差异数据不为真实差异数据。
当然,由于前述说明了,可以选取指定时间范围的最早时间临界点之前的设定时长的时间段,作为疑似差异数据的核查时间范围,因此在数据从上游业务的数据库同步到下游业务的数据库的过程中,第一数据库对应的第一业务可以为第二数据库对应的第二业务的下游业务。
该例中,第二数据库位于业务上游,第一数据库位于业务下游,数据从第二数据库同步到第一数据库。当指定时间范围内,第一数据库中包含第二数据库中未记录的疑似差异数据时,设定指定时间范围的最早时间临界点之前的设定时长的时间段,作为疑似差异数据的核查时间范围,并且获取第二数据库在该核查时间范围内记录的核查数据,从而根据疑似差异数据和核查数据,确定第二数据库中是否记录有疑似差异数据,若记录有,说明疑似差异数据不为真实差异数据。
需要说明的是,对于上文提到的多个“设定字段”,可以按照出现顺序分别称为“第一设定字段”、“第二设定字段”、“第三设定字段”等,并且,这几个设定字段可以相同可以不同。
图3为本申请另一实施例提供的数据核对方法的流程示意图,如图3所示,该流程包括:
步骤S302,在指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异时,获取第一数据库记录的,且第二数据库未记录的数据作为疑似差异数据。
步骤S304,将疑似差异数据记录在差异中间表中。
步骤S306,从疑似差异数据中提取设定字段的字段内容,将字段内容作为所述疑似差异数据的检索索引。
步骤S308,根据疑似差异数据的检索索引,在预先同步的核查数据中查找疑似差异数据。
步骤S310,判断是否查找到。
步骤S312,若查找到,确定疑似差异数据不为真实差异数据。
步骤S314,若未查找到,确定疑似差异数据为真实差异数据。
通过图3中的方法,通过判断疑似差异数据是否为真实差异数据的方式,能够准确确定第一数据库和第二数据库之间是否存在数据差异,提高数据差异确定的准确性。
图4为本申请另一实施例提供的数据核对方法的流程示意图,如图4所示,该流程包括:
步骤S402,若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取上游数据库和下游数据库之间的疑似差异数据;
步骤S404,确定疑似差异数据的核查时间范围,并获取下游数据库在核查时间范围内记录的核查数据;其中,核查时间范围与指定时间范围不同;
步骤S406,根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据。
该实施例中,确定疑似差异数据的核查时间范围,包括:选取指定时间范围的最晚时间临界点之后的设定时长的时间段,作为疑似差异数据的核查时间范围。
该实施例中,根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据,包括:从疑似差异数据中提取设定字段的字段内容,将字段内容作为疑似差异数据的检索索引;根据疑似差异数据的检索索引,在核查数据中查找疑似差异数据;若查找到疑似差异数据,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
该实施例中,根据所述疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据,包括:从疑似差异数据中提取设定字段的字段内容;在核查数据中查找字段内容;若查找到字段内容,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
该实施例中,根据疑似差异数据的数据内容和核查数据的数据内容,确定疑似差异数据是否为真实差异数据,包括:比较疑似差异数据的各个字段的字段内容和核查数据的各个字段的字段内容,以确定核查数据是否包含疑似差异数据;若包含,则确定疑似差异数据不为真实差异数据,反之,确定疑似差异数据为真实差异数据。
由于当图2的实施例中,第一数据库对应的第一业务为第二数据库对应的第二业务的上游业务时,第一数据库即为上游数据库,第二数据库即为下游数据库,因此本实施例中的方法和前述图2实施例中的方法的具体过程一致,前述图2实施例中的方法的具体解释均可应用于本实施例,因此这里不再重复。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
图5为本申请一实施例提供的数据核对装置的结构示意图,如图5所示,该装置包括:
第一获取模块51,用于若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
第一时间确定模块52,用于确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第一差异确定模块53,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,第一获取模块51具体用于:获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,将所述数据作为疑似差异数据;或者,获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,从所述数据中提取设定字段的字段内容,将所述字段内容作为疑似差异数据。
可选地,第一时间确定模块52具体用于:根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围。
可选地,第一时间确定模块52还具体用于:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围;或者,选取所述指定时间范围的最早时间临界点之前的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,第一时间确定模块52具体用于:查找所述第二数据库在所述核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,将所述字段内容作为所述核查数据;或者,查找所述第二数据库在所述核查时间范围内记录的数据,将所述数据作为所述核查数据。
可选地,第一差异确定模块53具体用于:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,第一差异确定模块53具体用于:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,第一差异确定模块53具体用于:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的上游业务;或者,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的下游业务。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
图6为本申请另一实施例提供的数据核对装置的结构示意图,如图6所示,该装置包括:
第二获取模块61,用于若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
第二时间确定模块62,用于确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第二差异确定模块63,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,第二时间确定模块62具体用于:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,第二差异确定模块63具体用于:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,第二差异确定模块63具体用于:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,第二差异确定模块63具体用于:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
进一步地,本申请实施例还提供了一种数据核对设备,图7为本申请一实施例提供的数据核对设备的结构示意图,如图7所示,数据核对设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器901和存储器902,存储器902中可以存储有一个或一个以上存储应用程序或数据。其中,存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据核对设备中的一系列计算机可执行指令。更进一步地,处理器901可以设置为与存储器902通信,在数据核对设备上执行存储器902中的一系列计算机可执行指令。数据核对设备还可以包括一个或一个以上电源903,一个或一个以上有线或无线网络接口904,一个或一个以上输入输出接口905,一个或一个以上键盘906等。
在一个具体的实施例中,数据核对设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据核对设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述获取所述第一数据库和所述第二数据库之间的疑似差异数据,包括:获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,将所述数据作为疑似差异数据;或者,获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,从所述数据中提取设定字段的字段内容,将所述字段内容作为疑似差异数据。
可选地,所述计算机可执行指令在被执行时,所述确定所述疑似差异数据的核查时间范围,包括:根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围。
可选地,所述计算机可执行指令在被执行时,所述根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围,包括:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围;或者,选取所述指定时间范围的最早时间临界点之前的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,所述计算机可执行指令在被执行时,所述获取所述第二数据库在所述核查时间范围内记录的核查数据,包括:查找所述第二数据库在所述核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,将所述字段内容作为所述核查数据;或者,查找所述第二数据库在所述核查时间范围内记录的数据,将所述数据作为所述核查数据。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的上游业务;或者,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的下游业务。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
在另一个具体的实施例中,数据核对设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据核对设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述确定所述疑似差异数据的核查时间范围,包括:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,所述计算机可执行指令在被执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
进一步地,本申请实施例还提供了一种存储介质,用于存储计算机可执行指令,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述确定所述疑似差异数据的核查时间范围,包括:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
另一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述获取所述第一数据库和所述第二数据库之间的疑似差异数据,包括:获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,将所述数据作为疑似差异数据;或者,获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,从所述数据中提取设定字段的字段内容,将所述字段内容作为疑似差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述确定所述疑似差异数据的核查时间范围,包括:根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围,包括:选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围;或者,选取所述指定时间范围的最早时间临界点之前的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述获取所述第二数据库在所述核查时间范围内记录的核查数据,包括:查找所述第二数据库在所述核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,将所述字段内容作为所述核查数据;或者,查找所述第二数据库在所述核查时间范围内记录的数据,将所述数据作为所述核查数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:从所述疑似差异数据中提取设定字段的字段内容;在所述核查数据中查找所述字段内容;若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的上游业务;或者,所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的下游业务。
通过本实施例,能够通过判断疑似差异数据是否为真实差异数据的方式,准确确定上游数据库和下游数据库之间是否存在数据差异,提高数据差异确定的准确性。
需要说明的是,前述图2中方法实施例的具体解释,均可应用于本实施例,这里不再重复。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种数据核对方法,其特征在于,包括:
若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
2.根据权利要求1所述的方法,其特征在于,所述获取所述第一数据库和所述第二数据库之间的疑似差异数据,包括:
获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,将所述数据作为疑似差异数据;
或者,
获取所述第一数据库在所述指定时间范围内记录的、且、所述第二数据库未在所述指定时间范围内记录的数据,从所述数据中提取设定字段的字段内容,将所述字段内容作为疑似差异数据。
3.根据权利要求1所述的方法,其特征在于,所述确定所述疑似差异数据的核查时间范围,包括:
根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围。
4.根据权利要求3所述的方法,其特征在于,所述根据所述指定时间范围的时间临界点,确定所述疑似差异数据的核查时间范围,包括:
选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围;
或者,
选取所述指定时间范围的最早时间临界点之前的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
5.根据权利要求1所述的方法,其特征在于,所述获取所述第二数据库在所述核查时间范围内记录的核查数据,包括:
查找所述第二数据库在所述核查时间范围内记录的数据,从查找到的数据中提取设定字段的字段内容,将所述字段内容作为所述核查数据;
或者,
查找所述第二数据库在所述核查时间范围内记录的数据,将所述数据作为所述核查数据。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;
根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;
若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
从所述疑似差异数据中提取设定字段的字段内容;
在所述核查数据中查找所述字段内容;
若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
8.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;
若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
9.根据权利要求1所述的方法,其特征在于,
所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的上游业务;
或者,
所述第一数据库对应的第一业务为所述第二数据库对应的第二业务的下游业务。
10.一种数据核对方法,其特征在于,包括:
若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
11.根据权利要求10所述的方法,其特征在于,所述确定所述疑似差异数据的核查时间范围,包括:
选取所述指定时间范围的最晚时间临界点之后的设定时长的时间段,作为所述疑似差异数据的核查时间范围。
12.根据权利要求10或11所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
从所述疑似差异数据中提取设定字段的字段内容,将所述字段内容作为所述疑似差异数据的检索索引;
根据所述疑似差异数据的检索索引,在所述核查数据中查找所述疑似差异数据;
若查找到所述疑似差异数据,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
13.根据权利要求10或11所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
从所述疑似差异数据中提取设定字段的字段内容;
在所述核查数据中查找所述字段内容;
若查找到所述字段内容,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
14.根据权利要求10或11所述的方法,其特征在于,所述根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据,包括:
比较所述疑似差异数据的各个字段的字段内容和所述核查数据的各个字段的字段内容,以确定所述核查数据是否包含所述疑似差异数据;
若包含,则确定所述疑似差异数据不为真实差异数据,反之,确定所述疑似差异数据为真实差异数据。
15.一种数据核对装置,其特征在于,包括:
第一获取模块,用于若指定时间范围内,第一数据库记录的数据和第二数据库记录的数据存在差异,则获取所述第一数据库和所述第二数据库之间的疑似差异数据;
第一时间确定模块,用于确定所述疑似差异数据的核查时间范围,并获取所述第二数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第一差异确定模块,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
16.一种数据核对装置,其特征在于,包括:
第二获取模块,用于若指定时间范围内,上游业务的上游数据库记录的数据和下游业务的下游数据库记录的数据存在差异,则获取所述上游数据库和所述下游数据库之间的疑似差异数据;
第二时间确定模块,用于确定所述疑似差异数据的核查时间范围,并获取所述下游数据库在所述核查时间范围内记录的核查数据;其中,所述核查时间范围与所述指定时间范围不同;
第二差异确定模块,用于根据所述疑似差异数据的数据内容和所述核查数据的数据内容,确定所述疑似差异数据是否为真实差异数据。
17.一种数据核对设备,其特征在于,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述权利要求1至9任一项所述的方法的步骤。
18.一种存储介质,用于存储计算机可执行指令,其特征在于,所述计算机可执行指令在被执行时实现上述权利要求1至9任一项所述的方法的步骤。
19.一种数据核对设备,其特征在于,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述权利要求10至14任一项所述的方法的步骤。
20.一种存储介质,用于存储计算机可执行指令,其特征在于,所述计算机可执行指令在被执行时实现上述权利要求10至14任一项所述的方法的步骤。
CN201811261026.6A 2018-10-26 2018-10-26 数据核对方法及装置 Pending CN109614393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261026.6A CN109614393A (zh) 2018-10-26 2018-10-26 数据核对方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261026.6A CN109614393A (zh) 2018-10-26 2018-10-26 数据核对方法及装置

Publications (1)

Publication Number Publication Date
CN109614393A true CN109614393A (zh) 2019-04-12

Family

ID=66002346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261026.6A Pending CN109614393A (zh) 2018-10-26 2018-10-26 数据核对方法及装置

Country Status (1)

Country Link
CN (1) CN109614393A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059077A (zh) * 2019-04-19 2019-07-26 深圳乐信软件技术有限公司 一种数据核对方法、装置、设备和存储介质
CN110297578A (zh) * 2019-06-27 2019-10-01 北京金山安全软件有限公司 批量处理海量数据中部分数据的方法、装置及电子设备
CN111090662A (zh) * 2019-12-19 2020-05-01 浪潮通用软件有限公司 从实时数据库获取数据到关系数据库的方法及设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897342A (zh) * 2016-07-20 2017-06-27 阿里巴巴集团控股有限公司 一种数据校验方法和设备
CN107590207A (zh) * 2017-08-24 2018-01-16 阿里巴巴集团控股有限公司 数据同步方法及装置、电子设备
CN108153784A (zh) * 2016-12-06 2018-06-12 北京京东尚科信息技术有限公司 同步数据处理方法和装置
CN108664593A (zh) * 2018-05-08 2018-10-16 东软集团股份有限公司 数据一致性校验方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897342A (zh) * 2016-07-20 2017-06-27 阿里巴巴集团控股有限公司 一种数据校验方法和设备
CN108153784A (zh) * 2016-12-06 2018-06-12 北京京东尚科信息技术有限公司 同步数据处理方法和装置
CN107590207A (zh) * 2017-08-24 2018-01-16 阿里巴巴集团控股有限公司 数据同步方法及装置、电子设备
CN108664593A (zh) * 2018-05-08 2018-10-16 东软集团股份有限公司 数据一致性校验方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059077A (zh) * 2019-04-19 2019-07-26 深圳乐信软件技术有限公司 一种数据核对方法、装置、设备和存储介质
CN110297578A (zh) * 2019-06-27 2019-10-01 北京金山安全软件有限公司 批量处理海量数据中部分数据的方法、装置及电子设备
CN111090662A (zh) * 2019-12-19 2020-05-01 浪潮通用软件有限公司 从实时数据库获取数据到关系数据库的方法及设备、介质
CN111090662B (zh) * 2019-12-19 2024-01-30 浪潮通用软件有限公司 从实时数据库获取数据到关系数据库的方法及设备、介质

Similar Documents

Publication Publication Date Title
CN107015882B (zh) 一种区块数据校验方法和装置
CN109063886A (zh) 一种异常检测方法、装置以及设备
CN109391480A (zh) 一种数据存储方法、装置及电子设备
CN109614393A (zh) 数据核对方法及装置
CN110134668A (zh) 应用于区块链的数据迁移方法、装置和设备
CN108959341A (zh) 一种数据同步的方法、装置及设备
CN107679700A (zh) 业务流程处理方法、装置及服务器
CN109213685A (zh) 业务逻辑测试方法及装置
CN109033127A (zh) 一种同步数据校验方法、装置以及设备
CN108345977A (zh) 一种业务处理方法及装置
CN109241026A (zh) 数据管理的方法、装置及系统
CN110309034A (zh) 业务流转链路视图生成方法及装置
CN109002357A (zh) 资源分配方法、装置及物联网系统
CN110532295A (zh) 一种计算机实施的信息处理、信息查询的方法及装置
CN109597678A (zh) 任务处理方法及装置
CN110019277A (zh) 一种数据累积的方法、数据查询的方法、装置及设备
CN108268289A (zh) web应用的参数配置方法、装置及系统
CN110263050A (zh) 数据处理方法、装置、设备及存储介质
CN110059023A (zh) 一种刷新级联缓存的方法、系统及设备
CN108334340A (zh) 一种跨环境数据通信方法、装置和系统
CN110297837A (zh) 一种数据更新方法和装置、数据查询方法和装置
CN109003090A (zh) 风险控制方法和装置
CN110119381A (zh) 一种索引更新方法、装置、设备及介质
CN110264213A (zh) 一种信息的处理方法、装置及设备
CN107038127A (zh) 应用系统及其缓存控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412