CN108664593A - 数据一致性校验方法、装置、存储介质及电子设备 - Google Patents
数据一致性校验方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108664593A CN108664593A CN201810432858.3A CN201810432858A CN108664593A CN 108664593 A CN108664593 A CN 108664593A CN 201810432858 A CN201810432858 A CN 201810432858A CN 108664593 A CN108664593 A CN 108664593A
- Authority
- CN
- China
- Prior art keywords
- data
- difference
- variance data
- variance
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种数据一致性校验方法、装置、存储介质及电子设备,能够在生产系统持续生产的过程中,准确完成数据一致性校验。该方法包括:将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;基于所述新的差异数据信息,确定数据一致性校验结果。
Description
技术领域
本公开涉及数据校验领域,具体地,涉及一种数据一致性校验方法、装置、存储介质及电子设备。
背景技术
在实际的生产环境中,通常会借助数据备份软件备份线上生产系统的数据库,作为灾备,或者用于其他需求。但是,随着线上的业务的进行,生产库中的数据会实时发生变更,因此,若是在生产过程中对生产库以及备份库的数据进行一致性校验,校验结果并不准确。
相关技术中,企业通常会在无业务产生的时间点或者暂停生产系统来进行数据一致性校验,以便在两端数据库保证静止无变更数据的情况下进行数据比对,确保数据一致性校验的正确进行。
由上可知,相关技术对于线上生产库以及备份库的数据一致性校验需要线上停止生产,在比对数据量过大(亿级别),或者服务器硬件配置较低的情况下,数据比对会耗时十数小时甚至更多,生产系统持续的停止会严重影响生产效率。
发明内容
本公开的主要目的是提供一种数据一致性校验方法、装置、存储介质及电子设备,能够在生产系统持续生产的过程中,准确完成数据一致性校验。
为了实现上述目的,本公开第一方面提供一种数据一致性校验方法,包括:
将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;
针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;
基于所述新的差异数据信息,确定数据一致性校验结果。
可选地,所述基于所述新的差异数据信息,确定数据一致性校验结果包括:
基于所述新的差异数据信息再进行至少一次差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述基于所述新的差异数据信息再进行至少一次所述差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
在接收到用户触发的差异校验指令时,进行下一次差异校验,并且,每一次差异校验后,展示本次差异校验结果,并提示用户是否需要再次进行差异校验;
在接收到用户触发的结束差异校验的指令时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述基于所述新的差异数据信息再进行至少一次所述差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
在所述首次差异校验结束后,等待预设时长并再次进行一次差异校验,并将本次差异检验得到的差异数据信息作为所述数据一致性校验结果,其中所述预设时长是根据所述生产库与所述备份库之间的数据同步延迟时长设定的。
可选地,所述将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
判断所述最后一次差异校验得到的差异数据中是否包括疑似差异数据,所述疑似差异数据是指在所述最后一次差异校验得到的差异数据中,与上一次差异校验得到的差异数据具有相同唯一标识且部分字段数据存在差异的数据;
若所述最后一次差异校验得到的差异数据中存在所述疑似差异数据,则提示用户对所述疑似差异数据进行人工校对,以确定所述疑似差异数据是否为真实的差异数据;
将所述疑似差异数据中真实的差异数据以及所述最后一次差异校验得到的差异数据中与上一次差异校验得到的差异数据中数据完全相同的差异数据作为所述数据一致性校验结果。
可选地,所述基于所述新的差异数据信息,确定数据一致性校验结果包括:
比对所述第一差异数据以及首次差异校验得到的第二差异数据,确定所述第二差异数据是否包括疑似差异数据,所述疑似差异数据是指所述第二差异数据中,与所述第一差异数据具有相同唯一标识且部分字段数据存在差异的数据;
在所述第二差异数据中包括所述疑似差异数据时,再进行至少一次差异校验,直到得到的新的差异数据中不包括疑似差异数据时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
本公开第二方面提供一种数据一致性校验装置,包括:
数据库比对模块,用于将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;
差异校验模块,用于针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;
校验结果输出模块,用于基于所述新的差异数据信息,确定数据一致性校验结果。
可选地,所述差异校验模块还用于:基于所述新的差异数据信息再进行至少一次差异校验;
所述校验结果输出模块用于,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述差异校验模块用于,在接收到用户触发的差异校验指令时,进行下一次差异校验,并且,每一次差异校验后,展示本次差异校验结果,并提示用户是否需要再次进行差异校验;
所述校验结果输出模块用于,在接收到用户触发的结束差异校验的指令时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述差异校验模块用于,在所述首次差异校验结束后,等待预设时长并再次进行一次差异校验,所述校验结果输出模块用于,将本次差异检验得到的差异数据信息作为所述数据一致性校验结果,其中所述预设时长是根据所述生产库与所述备份库之间的数据同步延迟时长设定的。
可选地,所述校验结果输出模块包括:
数据判断子模块,用于判断所述最后一次差异校验得到的差异数据中是否包括疑似差异数据,所述疑似差异数据是指在所述最后一次差异校验得到的差异数据中,与上一次差异校验得到的差异数据具有相同唯一标识且部分字段数据存在差异的数据;
提示子模块,用于在所述最后一次差异校验得到的差异数据中存在所述疑似差异数据时,提示用户对所述疑似差异数据进行人工校对,以确定所述疑似差异数据是否为真实的差异数据;
校验结果输出子模块,用于将所述疑似差异数据中真实的差异数据以及所述最后一次差异校验得到的差异数据中与上一次差异校验得到的差异数据中数据完全相同的差异数据作为所述数据一致性校验结果。
可选地,所述差异校验模块包括:
判断子模块,用于比对所述第一差异数据以及首次差异校验得到的第二差异数据,确定所述第二差异数据是否包括疑似差异数据,所述疑似差异数据是指所述第二差异数据中,与所述第一差异数据具有相同唯一标识且部分字段数据存在差异的数据;
差异校验子模块,用于在所述第二差异数据中包括所述疑似差异数据时,再进行至少一次差异校验,直到得到的新的差异数据中不包括疑似差异数据时,所述校验结果输出模块用于将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
本公开第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述方法的步骤。
本公开第四方面提供一种电子设备,包括:
第三方面所述的计算机可读存储介质;以及
一个或者多个处理器,用于执行所述计算机可读存储介质中的程序。
采用上述技术方案,至少能够达到如下技术效果:
在比对生产库和备份库的数据得到差异数据后,对差异数据进行至少一次差异校验,确保了差异数据的准确性,避免了在数据比对过程中,由于线上持续生产,生产库数据发生变化导致的差异数据不准确。也就是说,即便线上生产持续进行,本公开提供的技术方案由于差异校验的存在,也可以消除数据比对过程中生产库数据发生的变化对一致性校验结果的影响,从而在确保了一致性校验结果的准确性的基础上,保证了线上生产的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开实施例提供的一种线上生产系统的架构示意图;
图2是本公开实施例提供的一种数据一致性校验方法的流程示意图;
图3是本公开实施例提供的另一种数据一致性校验方法的流程示意图;
图4是本公开实施例提供的又一种数据一致性校验方法的流程示意图;
图5是本公开实施例提供的一种差异校验得到疑似差异数据的示意图;
图6是本公开实施例提供的一种数据一致性校验装置的结构示意图;
图7是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
为了使本领域技术人员更容易理解本公开实施例提供的技术方案,首先提供本公开实施例的一种应用场景的示意图,如图1所示,一种线上生产系统10,包括:生产系统101、生产库102、备份库103。其中,所述生产库102用于存储生产系统101线上业务产生的数据,所述备份库103作为所述生产库102的灾备,要求两者存储的数据一致。具体地,生产库102与备份库103之间可以通过数据同步工具104,例如Golden Gate工具,进行数据的同步,并且通过数据一致性校验装置105对两者的数据进行一致性校验。
现有的线上生产库与备份库之间的数据一致性校验方法,需要暂停生产系统101的业务生产,保证在两端数据库静止无变更数据的情况下进行数据比对,以确保数据一致性校验的正确进行。影响了业务生产的正常进行。
本公开实施例提供一种数据一致性校验方法,该方法例如可以用于图1所示的数据一致性校验装置105,如图2所示,该方法包括:
S201、将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置。
值得说明的是,步骤S201中对生产库与备份库进行的数据比对可以是全量对比,也可以是增量对比,即根据待比对表中的时间戳字段,限制比对的数据范围,本公开对此不做限定。
另外,所述差异数据信息即为数据比对的结果,其包括生产库以及备份库中不一致的数据的存储位置(即所述第一存储位置),还可以包括生产库数据中与备份库中具体不一致的数据(即所述第一差异数据)。
S202、针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息。
值得说明的是,在数据比对过程中线上生产系统可能会持续产生新的业务数据,并且,在数据量较大的情况下,生产库与备份库的数据比对可能会花费较长的时间,因此,首次数据比对得到的差异数据信息由于生产库的数据变化具有较大概率是不准确的。因此,步骤S202针对首次数据比对得到的差异数据进行差异校验,以再次确定生产库以及备份库在第一存储位置(首次数据比对确定的生产库以及备份库中不一致的数据的存储位置)的数据是否一致。由于差异校验过程中只需针对该第一存储位置进行数据比对,因此,相比步骤S201中进行的数据比对,差异校验耗时较少,因此降低了生产库数据再次发生变化对差异校验结果的影响。
S203、基于所述新的差异数据信息,确定数据一致性校验结果。
具体地,本公开实施例可以将首次差异校验后得到的新的差异数据信息作为一致性校验结果。也可以基于所述新的差异数据信息,再进行至少一次差异校验后,并将最后一次差异校验得到的差异数据信息作为一致性校验结果,具体还可以根据实际需求提供由用户操作触发差异校验的功能。
这样,采用上述技术方案,在比对生产库和备份库的数据得到差异数据后,对差异数据进行至少一次差异校验,确保了差异数据的准确性,避免了在数据比对过程中,由于线上持续生产,生产库数据发生变化导致的差异数据不准确。也就是说,即便线上生产持续进行,本公开实施例提供的技术方案由于差异校验的存在,也可以消除数据比对过程中生产库数据发生的变化对一致性校验结果的影响,从而在确保了一致性校验结果的准确性的基础上,保证了线上生产的效率。
本公开实施例提供一种数据一致性校验方法,该方法例如可以用于图1所示的数据一致性校验装置105,如图3所示,该方法包括:
S301、将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置。
S302、针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息。
S303、展示本次差异校验结果,并提示用户是否需要再次进行差异校验。
上述步骤S301以及步骤S302具体可以参照上述对图1进行的相关描述,此处不再赘述。并且,由于步骤S301进行的数据比对得到的差异数据信息具有较大概率不准确,因此,步骤S301得到的差异数据信息可以不展示给用户,而是在步骤S302中得到新的差异数据信息后,开始展示每一次差异校验得到的差异数据信息。
在具体实施时,可以提供一实体功能按钮,供用户操作选择是否再进行一次差异校验,或者可以是在展示本次差异校验结果时,弹窗提示用户选择是否选择再进行一次差异校验,或者选择结束差异校验。本公开对此不做限定。
S304、在接收到用户触发的差异校验指令时,进行下一次差异校验,并返回执行步骤S303。
S305、在接收到用户触发的结束差异校验的指令时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
图3提供的数据一致性校验方法提供了由用户操作触发差异校验的功能,使得对差异校验的次数选择更加灵活,提高了用户体验。
本公开实施例提供一种数据一致性校验方法,该方法例如可以用于图1所示的数据一致性校验装置105,如图4所示,该方法包括:
S401、将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置。
S402、针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息。
S403、在所述首次差异校验结束后,等待预设时长并再次进行一次差异校验,并将本次差异检验得到的差异数据信息作为所述数据一致性校验结果,其中所述预设时长是根据所述生产库与所述备份库之间的数据同步延迟时长设定的。
也就是说,首次差异校验可以是在生产库与备份库进行数据比对得到差异数据信息后立即执行,再一次的差异校验是首次差异校验结束且等待预设时长后执行。
值得说明的是,生产库与备份库之间的数据同步可能存在一定的延时,导致部分数据未通过一致性校验可能是由于生产库的数据还未同步到备份库的原因。因此,为了消除数据同步延迟对差异校验准确性的影响,本公开实施例根据数据同步延迟时长预设一时长,首次差异校验后,等待预设时长后,再次执行差异校验,其中,在该预设时长内,生产库与备份库之间的数据同步保持进行,从而降低了同步延迟对差异校验准确性的影响。
下面详细说明数据一致性校验结果的输出,具体地,图2,图3和图4提供的方法步骤中,所述将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:判断最后一次差异校验得到的差异数据中是否包括疑似差异数据,所述疑似差异数据是指在所述最后一次差异校验得到的差异数据中,与上一次差异校验得到的差异数据具有相同唯一标识且部分字段数据存在差异的数据;若所述最后一次差异校验得到的差异数据中存在所述疑似差异数据,则提示用户对所述疑似差异数据进行人工校对,以确定所述疑似差异数据是否为真实的差异数据;将所述疑似差异数据中真实的差异数据以及所述最后一次差异校验得到的差异数据中与上一次差异校验得到的差异数据中数据完全相同的差异数据作为所述数据一致性校验结果。
示例地,如图5所示,每一次差异检验得到一差异数据后,将该差异数据与上一次数据比对得到的差异数据进行比较。具体地,每次得到的差异数据可能包括多条数据,在将前后两次差异校验得到的差异数据进行比较时,是将两次差异数据中具有相同唯一标识的数据进行比对,若两条数据的唯一标识相同且所有字段的数据也相同,则认为该条数据是两次数据对比中真实的差异数据,若两条数据的唯一标识相同但部分字段的数据存在差异,则认为该条数据是疑似差异数据。若最后一次差异校验结果中仍然存在疑似差异数据,则可以提示用户对该疑似差异数据进行人工校对,将最后一次差异校验结果中真实的差异数据以及人工校对得到的所述疑似差异数据中的真实差异数据作为未通过数据一致性校验的数据展示给用户。
在另一种可能的实现方式中,基于上述疑似差异数据,本公开实施例也可以根据是否存在疑似差异数据判决是否进行下一次的差异校验,也就是说,步骤S203中基于所述新的差异数据信息,确定数据一致性校验结果包括:
比对所述第一差异数据以及首次差异校验得到的第二差异数据,确定所述第二差异数据是否包括疑似差异数据,所述疑似差异数据是指所述第二差异数据中,与所述第一差异数据具有相同唯一标识且部分字段数据存在差异的数据;
在所述第二差异数据中包括所述疑似差异数据时,再进行至少一次差异校验,直到得到的新的差异数据中不包括疑似差异数据时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
仍以图5进行举例说明,针对第二差异数据进行差异校验,得到第三差异数据,若该第三差异数据中仍然存在疑似差异数据,则继续进行针对第三差异数据的差异校验,直到新得到的差异数据中不存在疑似差异数据,并将该新得到的差异数据作为未通过数据一致性校验的数据展示给用户。
采用上述方法可以确保最终得到的差异数据均为生产库以及备份库中真实存在的差异数据,提升了数据一致性校验结果的准确性。
基于相同的发明构思,本公开实施例还提供一种数据一致性校验装置,该装置例如可以应用于图1所示的线上生产系统内作为数据一致性校验装置105,如图6所示,该装置包括:
数据库比对模块601,用于将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;
差异校验模块602,用于针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;
校验结果输出模块603,用于基于所述新的差异数据信息,确定数据一致性校验结果。
该装置在比对生产库和备份库的数据得到差异数据后,对差异数据进行至少一次差异校验,确保了差异数据的准确性,避免了在数据比对过程中,由于线上持续生产,生产库数据发生变化导致的差异数据不准确。也就是说,即便线上生产持续进行,该装置由于差异校验的存在,也可以消除数据比对过程中生产库数据发生的变化对一致性校验结果的影响,从而在确保了一致性校验结果的准确性的基础上,保证了线上生产的效率。
可选地,所述差异校验模块602还用于:基于所述新的差异数据信息再进行至少一次差异校验;
所述校验结果输出模块603用于,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述差异校验模块602用于,在接收到用户触发的差异校验指令时,进行下一次差异校验,并且,每一次差异校验后,展示本次差异校验结果,并提示用户是否需要再次进行差异校验;
所述校验结果输出模块603用于,在接收到用户触发的结束差异校验的指令时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
可选地,所述差异校验模块602用于,在所述首次差异校验结束后,等待预设时长并再次进行一次差异校验,所述校验结果输出模块603用于,将本次差异检验得到的差异数据信息作为所述数据一致性校验结果,其中所述预设时长是根据所述生产库与所述备份库之间的数据同步延迟时长设定的。
可选地,所述校验结果输出模块603包括:
数据判断子模块,用于判断所述最后一次差异校验得到的差异数据中是否包括疑似差异数据,所述疑似差异数据是指在所述最后一次差异校验得到的差异数据中,与上一次差异校验得到的差异数据具有相同唯一标识且部分字段数据存在差异的数据;
提示子模块,用于在所述最后一次差异校验得到的差异数据中存在所述疑似差异数据时,提示用户对所述疑似差异数据进行人工校对,以确定所述疑似差异数据是否为真实的差异数据;
校验结果输出子模块,用于将所述疑似差异数据中真实的差异数据以及所述最后一次差异校验得到的差异数据中与上一次差异校验得到的差异数据中数据完全相同的差异数据作为所述数据一致性校验结果。
可选地,所述差异校验模块602包括:
判断子模块,用于比对所述第一差异数据以及首次差异校验得到的第二差异数据,确定所述第二差异数据是否包括疑似差异数据,所述疑似差异数据是指所述第二差异数据中,与所述第一差异数据具有相同唯一标识且部分字段数据存在差异的数据;
差异校验子模块,用于在所述第二差异数据中包括所述疑似差异数据时,再进行至少一次差异校验,直到得到的新的差异数据中不包括疑似差异数据时,所述校验结果输出模块用于将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述数据一致性校验方法的步骤。
本公开实施例还提供一种电子设备,包括所述的计算机可读存储介质;以及一个或者多个处理器,用于执行所述计算机可读存储介质中的程序。
示例地,图7该电子设备的一种结构示意图。如图7所示,电子设备700可以包括:处理器701,其数量可以为一个或多个,以及存储器702,用于存储可由处理器701执行的计算机程序。存储器702中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器701可以被配置为执行该计算机程序,以执行上述的数据一致性校验的方法。
另外,电子设备700还可以包括电源组件703和通信组件704,该电源组件703可以被配置为执行电子设备700的电源管理,该通信组件704可以被配置为实现电子设备700的通信,例如,有线或无线通信。此外,该电子设备700还可以包括输入/输出(I/O)接口705。电子设备700可以操作基于存储在存储器702的操作系统,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM等等。
并且,本公开实施例上述提供的该计算机可读存储介质即可以为图7中所示的包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的数据一致性校验的方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种数据一致性校验方法,其特征在于,所述方法包括:
将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;
针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;
基于所述新的差异数据信息,确定数据一致性校验结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述新的差异数据信息,确定数据一致性校验结果包括:
基于所述新的差异数据信息再进行至少一次差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
3.根据权利要求2所述的方法,其特征在于,所述基于所述新的差异数据信息再进行至少一次所述差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
在接收到用户触发的差异校验指令时,进行下一次差异校验,并且,每一次差异校验后,展示本次差异校验结果,并提示用户是否需要再次进行差异校验;
在接收到用户触发的结束差异校验的指令时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
4.根据权利要求2所述的方法,其特征在于,所述基于所述新的差异数据信息再进行至少一次所述差异校验,并将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
在所述首次差异校验结束后,等待预设时长并再次进行一次差异校验,并将本次差异检验得到的差异数据信息作为所述数据一致性校验结果,其中所述预设时长是根据所述生产库与所述备份库之间的数据同步延迟时长设定的。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果,包括:
判断所述最后一次差异校验得到的差异数据中是否包括疑似差异数据,所述疑似差异数据是指在所述最后一次差异校验得到的差异数据中,与上一次差异校验得到的差异数据具有相同唯一标识且部分字段数据存在差异的数据;
若所述最后一次差异校验得到的差异数据中存在所述疑似差异数据,则提示用户对所述疑似差异数据进行人工校对,以确定所述疑似差异数据是否为真实的差异数据;
将所述疑似差异数据中真实的差异数据以及所述最后一次差异校验得到的差异数据中与上一次差异校验得到的差异数据中数据完全相同的差异数据作为所述数据一致性校验结果。
6.根据权利要求1所述的方法,其特征在于,所述基于所述新的差异数据信息,确定数据一致性校验结果包括:
比对所述第一差异数据以及首次差异校验得到的第二差异数据,确定所述第二差异数据是否包括疑似差异数据,所述疑似差异数据是指所述第二差异数据中,与所述第一差异数据具有相同唯一标识且部分字段数据存在差异的数据;
在所述第二差异数据中包括所述疑似差异数据时,再进行至少一次差异校验,直到得到的新的差异数据中不包括疑似差异数据时,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
7.一种数据一致性校验装置,其特征在于,包括:
数据库比对模块,用于将生产库与备份库进行数据比对,得到差异数据信息,所述差异数据信息包括本次数据比对确定的第一差异数据的第一存储位置;
差异校验模块,用于针对所述差异数据信息进行首次差异校验,所述首次差异校验包括:比对所述生产库以及所述备份库在所述第一存储位置的数据,以再次确定所述生产库以及所述备份库在所述第一存储位置的数据是否一致,得到新的差异数据信息;校验结果输出模块,用于基于所述新的差异数据信息,确定数据一致性校验结果。
8.根据权利要求7所述的装置,其特征在于,所述差异校验模块还用于:基于所述新的差异数据信息再进行至少一次差异校验;
所述校验结果输出模块用于,将最后一次差异校验得到的差异数据信息作为所述数据一致性校验结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
权利要求9中所述的计算机可读存储介质;以及
一个或者多个处理器,用于执行所述计算机可读存储介质中的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810432858.3A CN108664593A (zh) | 2018-05-08 | 2018-05-08 | 数据一致性校验方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810432858.3A CN108664593A (zh) | 2018-05-08 | 2018-05-08 | 数据一致性校验方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108664593A true CN108664593A (zh) | 2018-10-16 |
Family
ID=63778840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810432858.3A Pending CN108664593A (zh) | 2018-05-08 | 2018-05-08 | 数据一致性校验方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108664593A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614393A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 数据核对方法及装置 |
CN110263094A (zh) * | 2019-05-27 | 2019-09-20 | 东软集团股份有限公司 | 检测同步工具有效性的方法、装置、存储介质及电子设备 |
CN111966699A (zh) * | 2020-07-09 | 2020-11-20 | 微民保险代理有限公司 | 校验数据的方法、装置、计算机设备和存储介质 |
CN112905602A (zh) * | 2021-03-26 | 2021-06-04 | 掌阅科技股份有限公司 | 数据比对方法、计算设备及计算机存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6651047B1 (en) * | 1999-05-19 | 2003-11-18 | Sun Microsystems, Inc. | Automated referential integrity maintenance |
CN101611402A (zh) * | 2006-12-20 | 2009-12-23 | 欧睦技术公司 | 用于优化数据集的变化的系统和方法 |
US20110153674A1 (en) * | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Data storage including storing of page identity and logical relationships between pages |
US20140365224A1 (en) * | 2006-12-18 | 2014-12-11 | Ebay Inc. | One way sound |
CN104866580A (zh) * | 2015-05-26 | 2015-08-26 | 梁猛 | 一种数据库变更对现有业务影响的快速侦测方法 |
CN105159944A (zh) * | 2015-08-10 | 2015-12-16 | 北京思特奇信息技术股份有限公司 | 一种数据库应急处理方法及系统 |
CN105608235A (zh) * | 2016-03-25 | 2016-05-25 | 上海爱数信息技术股份有限公司 | Oracle数据库中备份数据块的重复数据删除方法及系统 |
CN105938457A (zh) * | 2016-03-31 | 2016-09-14 | 华为技术有限公司 | 数据的过滤方法、装置及数据读取系统 |
CN106325773A (zh) * | 2016-08-23 | 2017-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统数据的一致性保障方法、系统及缓存装置 |
CN106708663A (zh) * | 2016-12-16 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种数据库自动备份方法及装置 |
US20170371943A1 (en) * | 2014-03-03 | 2017-12-28 | Netapp Inc. | Data transfer between storage systems using data fingerprints |
CN107835983A (zh) * | 2015-04-16 | 2018-03-23 | 诺宝公司 | 使用一致的数据库快照在分布式数据库中进行备份和还原 |
CN107832383A (zh) * | 2017-10-30 | 2018-03-23 | 焦点科技股份有限公司 | 一种跨机房数据库的数据一致性校验方法 |
-
2018
- 2018-05-08 CN CN201810432858.3A patent/CN108664593A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6651047B1 (en) * | 1999-05-19 | 2003-11-18 | Sun Microsystems, Inc. | Automated referential integrity maintenance |
US20140365224A1 (en) * | 2006-12-18 | 2014-12-11 | Ebay Inc. | One way sound |
CN101611402A (zh) * | 2006-12-20 | 2009-12-23 | 欧睦技术公司 | 用于优化数据集的变化的系统和方法 |
US20110153674A1 (en) * | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Data storage including storing of page identity and logical relationships between pages |
US20170371943A1 (en) * | 2014-03-03 | 2017-12-28 | Netapp Inc. | Data transfer between storage systems using data fingerprints |
CN107835983A (zh) * | 2015-04-16 | 2018-03-23 | 诺宝公司 | 使用一致的数据库快照在分布式数据库中进行备份和还原 |
CN104866580A (zh) * | 2015-05-26 | 2015-08-26 | 梁猛 | 一种数据库变更对现有业务影响的快速侦测方法 |
CN105159944A (zh) * | 2015-08-10 | 2015-12-16 | 北京思特奇信息技术股份有限公司 | 一种数据库应急处理方法及系统 |
CN105608235A (zh) * | 2016-03-25 | 2016-05-25 | 上海爱数信息技术股份有限公司 | Oracle数据库中备份数据块的重复数据删除方法及系统 |
CN105938457A (zh) * | 2016-03-31 | 2016-09-14 | 华为技术有限公司 | 数据的过滤方法、装置及数据读取系统 |
CN106325773A (zh) * | 2016-08-23 | 2017-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统数据的一致性保障方法、系统及缓存装置 |
CN106708663A (zh) * | 2016-12-16 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种数据库自动备份方法及装置 |
CN107832383A (zh) * | 2017-10-30 | 2018-03-23 | 焦点科技股份有限公司 | 一种跨机房数据库的数据一致性校验方法 |
Non-Patent Citations (1)
Title |
---|
江英琴: "基于日志复制技术的容灾系统研究与应用", 《电子技术与软件工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614393A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 数据核对方法及装置 |
CN110263094A (zh) * | 2019-05-27 | 2019-09-20 | 东软集团股份有限公司 | 检测同步工具有效性的方法、装置、存储介质及电子设备 |
CN110263094B (zh) * | 2019-05-27 | 2021-07-30 | 东软集团股份有限公司 | 检测同步工具有效性的方法、装置、存储介质及电子设备 |
CN111966699A (zh) * | 2020-07-09 | 2020-11-20 | 微民保险代理有限公司 | 校验数据的方法、装置、计算机设备和存储介质 |
CN112905602A (zh) * | 2021-03-26 | 2021-06-04 | 掌阅科技股份有限公司 | 数据比对方法、计算设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664593A (zh) | 数据一致性校验方法、装置、存储介质及电子设备 | |
US20070094541A1 (en) | Method and apparatus for generating test execution sequences automatically for a software testing process | |
CN111414172A (zh) | 应用软件自动部署发布系统及方法 | |
CN110147320A (zh) | 接口测试方法、装置及电子设备 | |
WO2019169723A1 (zh) | 测试用例选择方法、装置、设备以及计算机可读存储介质 | |
CN111611172A (zh) | 项目测试缺陷分析方法、装置、设备及存储介质 | |
CN109933520A (zh) | 软件开发测试方法、装置、计算机装置及存储介质 | |
CN110347590A (zh) | 业务系统的接口测试控制方法及装置 | |
Stephanow et al. | Towards continuous security certification of software-as-a-service applications using web application testing techniques | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN108959067A (zh) | 搜索引擎的测试方法、装置及计算机可读存储介质 | |
CN113342669B (zh) | 一种缩短芯片代码覆盖率收敛时间的验证方法及装置 | |
CN106708723B (zh) | 一种测试、校验方法及装置 | |
CN106649111A (zh) | 一种运行测试用例的方法和装置 | |
CN106294129A (zh) | 代码覆盖率测试方法及装置 | |
CN111475402A (zh) | 程序功能的测试方法及相关装置 | |
CN111966551A (zh) | 远程命令执行结果的校验方法、系统、终端及存储介质 | |
CN109254869A (zh) | 内存装配位置校验方法及装置、存储介质及电子设备 | |
CN109388420A (zh) | 应用升级测试方法、装置、计算机设备及存储介质 | |
CN110716869B (zh) | 测试用例生成方法、装置、电子设备及计算机可读存储介质 | |
US20140281719A1 (en) | Explaining excluding a test from a test suite | |
CN111176917B (zh) | 一种cpu sst-bf功能稳定性测试方法、系统、终端及存储介质 | |
CN108958727A (zh) | 一种api客户端代码的生成方法及系统 | |
CN109684205B (zh) | 系统测试方法、装置、电子设备及存储介质 | |
CN108804307A (zh) | 流程自动化测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181016 |
|
RJ01 | Rejection of invention patent application after publication |