CN117009430A - 数据管理方法、装置和存储介质及电子设备 - Google Patents
数据管理方法、装置和存储介质及电子设备 Download PDFInfo
- Publication number
- CN117009430A CN117009430A CN202210453827.2A CN202210453827A CN117009430A CN 117009430 A CN117009430 A CN 117009430A CN 202210453827 A CN202210453827 A CN 202210453827A CN 117009430 A CN117009430 A CN 117009430A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- data subset
- subset
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013523 data management Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 57
- 230000015654 memory Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 239000000758 substrate Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000013508 migration Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Abstract
本申请公开了一种数据管理方法、装置和存储介质及电子设备,还可应用在数据库的技术领域,具体涉及数据库中的数据同步。其中,该方法包括:分别获取源端数据库中的数据集合、和目标端数据库中的数据集合;对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息。本申请解决了数据的管理效率较低的技术问题。
Description
技术领域
本申请涉及计算机领域,具体而言,涉及一种数据管理方法、装置和存储介质及电子设备。
背景技术
在数据同步的场景中,源数据库中的数据与目标数据库中的数据通常是实时变化的,而相关技术中的数据同步针对的是静态数据,并不适用于上述实时变化的动态数据,进而导致对数据的管理不够准确。因此,存在数据的管理准确性较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据管理方法、装置和存储介质及电子设备,以至少解决数据的管理准确性较低的技术问题。
根据本申请实施例的一个方面,提供了一种数据管理方法,包括:分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,上述源端数据库中的数据集合中包括多个第一数据子集,上述目标端数据库中的数据集合中包括多个第二数据子集;对上述源端数据库中的上述多个第一数据子集与上述目标端数据库中的上述多个第二数据子集进行依次比对,得到目标比对结果;利用上述目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,上述数据差异关系用于表示上述第一数据子集内的数据与上述第二数据子集内的数据之间的相似度大于或等于差异阈值;对上述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在上述N次比对的比对结果指示上述至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,上述目标提示信息用于提示上述至少一个数据子集对中的两个数据子集内的数据同步异常。
根据本申请实施例的另一方面,还提供了一种数据管理装置,包括:第一获取单元,用于分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,上述源端数据库中的数据集合中包括多个第一数据子集,上述目标端数据库中的数据集合中包括多个第二数据子集;第一比对单元,用于对上述源端数据库中的上述多个第一数据子集与上述目标端数据库中的上述多个第二数据子集进行依次比对,得到目标比对结果;确定单元,用于利用上述目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,上述数据差异关系用于表示上述第一数据子集内的数据与上述第二数据子集内的数据之间的相似度大于或等于差异阈值;第二比对单元,用于对上述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;显示单元,用于在上述N次比对的比对结果指示上述至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,上述目标提示信息用于提示上述至少一个数据子集对中的两个数据子集内的数据同步异常。
作为一种可选的方案,上述第二比对单元,包括以下至少之一:第一比对模块,用于对上述至少一个数据子集对中的两个数据集合内的数据进行上述N次比对,直至上述至少一个数据子集对中的两个数据集合内的数据之间的相似度低于上述差异阈值;第二比对模块,用于对上述至少一个数据子集对中的两个数据集合内的数据进行上述N次比对,直至对上述至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,其中,N为小于或等于上述收敛阈值的自然数。
作为一种可选的方案,上述第一比对模块,包括:第一重复子模块,用于重复执行以下步骤,直至上述至少一个数据子集对中的两个数据集合内的数据之间的相似度低于上述差异阈值:根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取第二目标数据子集内的当前数据,其中,上述第一集合标识为上述第一目标数据子集的标识,上述第二集合标识为上述第二目标数据子集的标识;对上述第一目标数据子集内的当前数据以及上述第二目标数据子集内的当前数据进行比对,得到当前比对结果;在上述当前比对结果指示上述第一目标数据子集内的当前数据与上述第二目标数据子集内的当前数据之间的相似度低于上述差异阈值的情况下,结束上述N次比对;在上述当前比对结果指示上述第一数据子集内的当前数据与上述第二数据子集内的当前数据之间的相似度大于或等于上述差异阈值的情况下,根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取上述第一目标数据子集内的数据作为上述第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取上述第二目标数据子集内的数据作为上述第二目标数据子集内的当前数据。
作为一种可选的方案,上述第二比对模块,包括:第二重复子模块,用于重复执行以下步骤,直至对上述至少一个数据子集对中的两个数据集合内的数据的比对次数达到上述收敛阈值:根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取第二目标数据子集内的当前数据,其中,上述第一集合标识为上述第一目标数据子集的标识,上述第二集合标识为上述第二目标数据子集的标识;对上述第一目标数据子集内的当前数据以及上述第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;在上述当前比对次数大于或等于上述收敛阈值的情况下,结束上述N次比对;在上述当前比对次数小于上述收敛阈值的情况下,根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取上述第一目标数据子集内的数据作为上述第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取上述第二目标数据子集内的数据作为上述第二目标数据子集内的当前数据。
作为一种可选的方案,上述装置,还包括:第一获取子模块,用于在上述对上述至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件之后,获取上述N次比对的N个比对结果;对上述N个比对结果进行整合处理,得到待判断的比对结果;上述显示单元,包括:显示模块,用于在上述待判断的比对结果满足上述异常条件的情况下,显示上述目标提示信息。
作为一种可选的方案,上述第二比对单元,包括:重复模块,用于重复执行以下步骤,直至达到上述收敛条件:根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取第二目标数据子集内的当前数据,其中,上述第一集合标识为上述第一目标数据子集的标识,上述第二集合标识为上述第二目标数据子集的标识;对上述第一目标数据子集内的当前数据以及上述第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;在上述当前比对结果指示上述第一目标数据子集内的当前数据与上述第二目标数据子集内的当前数据之间的相似度小于上述异常阈值、或上述当前比对次数大于或等于收敛阈值的情况下,确定达到上述收敛条件;在上述当前比对结果指示上述第一目标数据子集内的当前数据与上述第二目标数据子集内的当前数据之间的相似度大于或等于上述异常阈值、且上述当前比对次数未达到上述收敛阈值的情况下,根据上述至少一个数据子集对的第一集合标识从上述源端数据库中获取上述第一目标数据子集内的数据作为上述第一目标数据子集内的当前数据、以及根据上述至少一个数据子集对的第二集合标识从上述目标端数据库中获取上述第二目标数据子集内的数据作为上述第二目标数据子集内的当前数据。
作为一种可选的方案,上述装置,还包括:处理单元,用于在上述分别获取源端数据库中的数据集合、和目标端数据库中的数据集合之前,将上述源端数据库以及上述目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个上述字符串与上述每个数据子集之间的关联关系;上述第一比对单元,包括:第三比对模块,用于利用上述字符串以及上述关联关系对上述源端数据库中的上述多个第一数据子集与上述目标端数据库中的上述多个第二数据子集内进行依次比对,得到上述目标比对结果。
作为一种可选的方案,上述第三比对模块,包括:第二获取子模块,用于获取上述源端数据库中的上述多个第一数据子集与上述目标端数据库中的上述多个第二数据子集的M个数据子集对,并利用上述关联关系获取上述M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;比对子模块,用于对上述每个数据子集对的字符串对进行依次比对,得到上述目标比对结果。作为一种可选的方案,上述装置,还包括:第二获取单元,用于在上述利用上述目标比对结果确定出具有数据差异关系的至少一个数据子集对之后,获取上述至少一个数据子集对被确定出的第一时刻;上述第二比对单元,包括:第四比对模块,用于在当前时刻为第二时刻的情况下,对上述至少一个数据子集对中的两个数据集合内的数据进行上述N次比对,直至达到上述收敛条件,其中,上述第一时刻与上述第二时刻之间的时刻差为预设时长。
根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上数据管理方法。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的数据管理方法。
在本申请实施例中,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,上述源端数据库中的数据集合中包括多个第一数据子集,上述目标端数据库中的数据集合中包括多个第二数据子集;对上述源端数据库中的上述多个第一数据子集与上述目标端数据库中的上述多个第二数据子集进行依次比对,得到目标比对结果;利用上述目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,上述数据差异关系用于表示上述第一数据子集内的数据与上述第二数据子集内的数据之间的相似度大于或等于差异阈值;对上述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在上述N次比对的比对结果指示上述至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,上述目标提示信息用于提示上述至少一个数据子集对中的两个数据子集内的数据同步异常,以数据子集作为数据比对的单位可提高数据的比对效率;此外,考虑到数据同步时的数据为动态数据,而动态数据被同步时出现延迟属于正常情况,进而在获取到比对出数据存在差异的比对结果时,并不直接将该比对结果确定为异常情况,而是基于该比对结果进行更多次的二次比对,直至达到收敛条件,并基于达到该收敛条件时所得到的、更精准的比对结果以判断数据是否存在同步异常的情况,进而达到了获取更精准的数据比对结果的目的,从而实现了提高数据的管理准确性的技术效果,进而解决了数据的管理准确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的数据管理方法的应用环境的示意图;
图2是根据本申请实施例的一种可选的数据管理方法的流程的示意图;
图3是根据本申请实施例的一种可选的数据管理方法的示意图;
图4是根据本申请实施例的另一种可选的数据管理方法的示意图;
图5是根据本申请实施例的另一种可选的数据管理方法的示意图;
图6是根据本申请实施例的另一种可选的数据管理方法的示意图;
图7是根据本申请实施例的另一种可选的数据管理方法的示意图;
图8是根据本申请实施例的另一种可选的数据管理方法的示意图;
图9是根据本申请实施例的另一种可选的数据管理方法的示意图;
图10是根据本申请实施例的另一种可选的数据管理方法的示意图;
图11是根据本申请实施例的一种可选的数据管理装置的示意图;
图12是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为方便理解,下面对本申请出现的名词进行解释:
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
数据库(Database),简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库管理系统(英语:Database Management System,简称DBMS)是为管理数据库而设计的电脑软件系统,一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类,例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言);或依据所支持的计算机类型来作分类,例如服务器群集、移动电话;或依据所用查询语言来作分类,例如SQL(结构化查询语言(Structured QueryLanguage)、XQuery;或依据性能冲量重点来作分类,例如最大规模、最高运行速度;亦或其他的分类方式。不论使用哪种分类方式,一些DBMS能够跨类别,例如,同时支持多种查询语言。
服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
根据本申请实施例的一个方面,提供了一种数据管理方法,可选地,作为一种可选的实施方式,上述数据管理方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102,其中,该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。
根据本申请实施例的一个方面,提供了一种数据管理方法,可选地,作为一种可选的实施方式,上述数据管理方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102以及服务器112,该用户设备102上可以但不限于包括显示器108、处理器106及存储器1004,该服务器112包括数据库114以及处理引擎116。
具体过程可如下步骤:
步骤S102,用户设备102分别获取源端数据库1002中的数据集合、和目标端数据库1004中的数据集合,其中,源端数据库1002中的数据集合中包括多个第一数据子集(如源端数据库1002中主键1的数据子集、主键2的数据子集以及主键3的数据子集),目标端数据库1004中的数据集合中包括多个第二数据子集(如目标端数据库1004中主键1的数据子集、主键2的数据子集以及主键3的数据子集);
步骤S104-S106,通过网络110将源端数据库1002中的数据集合、和目标端数据库1004中的数据集合发送至服务器112;
步骤S108,服务器112通过处理引擎对源端数据库1002中的多个第一数据子集与目标端数据库1004中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,生成目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常;
步骤S110-S112,通过网络110将目标提示信息发送值用户设备102,用户设备102通过处理器106将目标提示信息显示在显示器108,并将上述目标提示信息存储在存储器104。
除图1示出的示例之外,上述步骤可以由服务器辅助完成,即由服务器执行目标比对结果的获取、至少一个数据子集对中的两个数据子集内的数据的比对、目标提示信息的生成等步骤,从而减轻服务器的处理压力。该用户设备102包括但不限于手持设备(如手机)、笔记本电脑、台式电脑、车载设备等,本申请并不限制用户设备102的具体实现方式。
可选地,作为一种可选的实施方式,如图2所示,数据管理方法包括:
S202,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;
S204,对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;
S206,利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;
S208,对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;
S210,在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
可选地,在本实施例中,上述数据管理方法可以但不限于应用在数据库数据库的数据迁移场景中,利用在线迁移产品将数据库迁移完成以后,源端库和目标库会利用数据同步软件实时同步一段时间,源端库和目标库的数据是实时变化的,传统的静态数据管理方法不适用这种动态变化的数据库的数据比对;而在本实施例中,利用数据子集维度的高效比对,并结合数据收敛的比对逻辑,就能够准确定位出源端数据与与目标端数据库之间的差异数据,从而完成源端数据与与目标端数据库的比对核查。
可选地,在本实施例中,源端数据库与目标端数据库之间的关系可以但不限于理解为将源端数据库内的数据同步至目标端数据库,如图3所示,将源端数据库302内的数据同步至目标端数据库304,如源端数据库302内的数据A已同步至目标端数据库304,而源端数据库302内的数据B正同步至目标端数据库304,源端数据库302内的数据C还未同步至目标端数据库304;上述数据管理方法可以但不限于应用在数据同步后,如在源端数据库302内的数据A、数据B以及数据C都已同步至目标端数据库304后,再执行上述数据管理方法;但端数据库302内的数据通常是实时更新的,进而导致数据库的数据同步也是十分频繁的,如此为提高数据的同步效率,上述数据管理方法可以但不限于应用在数据同步的过程中,如将源端数据库302内的数据A、数据B以及数据C依次同步至目标端数据库304过程中。
可选地,在本实施例中,数据集合可以但不限于被划分为多个数据子集,其中,每个数据子集可以但不限于被命名成不同的数据子集标识,如图4所示,数据集合402内的数据被按照数据列整理为6个数据子集404,分别为主键1对应的数据子集、主键2对应的数据子集、主键3对应的数据子集、主键4对应的数据子集、主键5对应的数据子集、以及主键6对应的数据子集。
可选地,在本实施例中,为提高数据比对的效率,可以但不限于将每个数据子集内的数据整理为一个代码,如CRC码、MD5码等,例如基于图4所示场景,继续例如图5所示,将每个数据子集404内的数据计算为一个CRC码值,得到每个数据子集404各自对应的CRC码值。
可选地,在本实施例中,目标比对结果可以但不限于理解为首次比对结果,该首次比对结果并未将数据的同步延迟等因素考虑进内,进而导致首次比对结果的准确性难以保证;而对至少一个数据子集对中的两个数据子集内的数据进行的N次比对可理解为多次的二次比对,该二次比对将数据的同步延迟等因素考虑进内,以弥补首次比对结果的较低准确性的缺陷。
需要说明的是,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
进一步举例说明,可选的例如图6所示,分别获取源端数据库602中的数据集合、和目标端数据库604中的数据集合,其中,源端数据库602中的数据集合中包括多个第一数据子集(如第一数据子集A、第一数据子集B、第一数据子集C),目标端数据库604中的数据集合中包括多个第二数据子集(如第二数据子集A、第二数据子集B、第二数据子集C);对源端数据库602中的多个第一数据子集与目标端数据库604中的多个第二数据子集进行依次比对,得到目标比对结果606;利用目标比对结果606确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;对至少一个数据子集对中的两个数据子集(如第一数据子集C与第二数据子集C)内的数据进行N次比对,直至达到收敛条件,如进行第一次比对,得到比对结果608-1,进而在该比对结果608-1未达到收敛条件的情况下,继续进行第二次比对,得到比对结果608-2,进而在该比对结果608-2达到收敛条件的情况下,结束N次比对;在N次比对的比对结果(如比对结果608-2)指示至少一个数据子集对中的两个数据子集(如第一数据子集C与第二数据子集C)内的数据达到异常条件的情况下,显示目标提示信息610,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集(如第一数据子集C与第二数据子集C)内的数据同步异常。
通过本申请提供的实施例,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常,以数据子集作为数据比对的单位可提高数据的比对效率;此外,考虑到数据同步时的数据为动态数据,而动态数据被同步时出现延迟属于正常情况,进而在获取到比对出数据存在差异的比对结果时,并不直接将该比对结果确定为异常情况,而是基于该比对结果进行更多次的二次比对,直至达到收敛条件,并基于达到该收敛条件时所得到的、更精准的比对结果以判断数据是否存在同步异常的情况,进而达到了获取更精准的数据比对结果的目的,从而实现了提高数据的管理准确性的技术效果。
作为一种可选的方案,对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,包括以下至少之一:
S1,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值;
S2,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至对至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,其中,N为小于或等于收敛阈值的自然数。
可选地,在本实施例中,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值;
进一步举例说明,可选地例如重复执行以下步骤,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值:
S1,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
S2,对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果;
S3,在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度低于差异阈值的情况下,结束N次比对;
S4,在当前比对结果指示第一数据子集内的当前数据与第二数据子集内的当前数据之间的相似度大于或等于差异阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
可选地,在本实施例中,多个第一数据子集包括第一目标数据子集,多个第二数据子集包括第二目标数据子集;第一目标数据子集与第二目标数据子集为至少一个数据子集对中的任一对数据子集。
可选地,在本实施例中,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至对至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,其中,N为小于或等于收敛阈值的自然数;
进一步举例说明,可选地例如重复执行以下步骤,直至对至少一个数据子集对中的两个数据集合内的数据的比对次数达到收敛阈值:
S1,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
S2,对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
S3,在当前比对次数大于或等于收敛阈值的情况下,结束N次比对;
S4,在当前比对次数小于收敛阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
可选地,在本实施例中,多个第一数据子集包括第一目标数据子集,多个第二数据子集包括第二目标数据子集;第一目标数据子集与第二目标数据子集为至少一个数据子集对中的任一对数据子集。
作为一种可选的方案,在对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件之后,包括:获取N次比对的N个比对结果;对N个比对结果进行整合处理,得到待判断的比对结果;
作为一种可选的方案,在N次比对的比对结果满足异常条件的情况下,显示目标提示信息,包括:在待判断的比对结果满足异常条件的情况下,显示目标提示信息。
可选地,在本实施例中,为提高比对结果的准确性,可以但不限于将多次二次比对所获取到的N个比对结果做整合处理,如第一次比对时,两个数据集合内的数据分别为数据集合A中的“QWERT”以及数据集合B中的“AWERT”,则当前比对结果为“01111”,其中,“0”表示数据之间的相似度小于差异阈值,“1”表示数据之间的相似度大于差异阈值;进而一步第二次比对时,两个数据集合内的数据分别为数据集合A中的“QWERT”以及数据集合B中的“QWERA”,则当前比对结果为“11110”;再者,第三次比对时,两个数据集合内的数据分别为数据集合A中的“QWERT”以及数据集合B中的“QWERT”,则当前比对结果为“11111”,如此虽然最终的比对结果表示两个数据集合内的数据已无异常,但整合三次比对结果所得到的待判断的比对结果可发现数据同步过程中出现的数据同步异常并不属于正常范围内,或者说待判断的比对结果满足异常条件,如此也会显示目标提示信息。
通过本申请提供的实施例,获取N次比对的N个比对结果;对N个比对结果进行整合处理,得到待判断的比对结果;在待判断的比对结果满足异常条件的情况下,显示目标提示信息,从而实现了提高比对结果的准确性的技术效果。
可选地,在本实施例中,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值、或对至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值;
进一步举例说明,可选地例如重复执行以下步骤,直至达到收敛条件:
S1,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
S2,对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
S3,在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度小于异常阈值、或当前比对次数大于或等于收敛阈值的情况下,确定达到收敛条件;
S4,在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度大于或等于异常阈值、且当前比对次数未达到收敛阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
可选地,在本实施例中,多个第一数据子集包括第一目标数据子集,多个第二数据子集包括第二目标数据子集;第一目标数据子集与第二目标数据子集为至少一个数据子集对中的任一对数据子集。
需要说明的是,重复执行以下步骤,直至达到收敛条件:根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度小于异常阈值、或当前比对次数大于或等于收敛阈值的情况下,确定达到收敛条件;在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度大于或等于异常阈值、且当前比对次数未达到收敛阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
作为一种可选的方案,在分别获取源端数据库中的数据集合、和目标端数据库中的数据集合之前,包括:将源端数据库以及目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个字符串与每个数据子集之间的关联关系;
作为一种可选的方案,对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果,包括:利用字符串以及关联关系对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集内进行依次比对,得到目标比对结果。
可选地,在本实施例中,为提高数据的比对效率,可以但不限于将多个数据与多个数据之间的比对转化为一个字符串与一个字符串之间的比对,如图5所示,将主键1对应的数据子集404内的数据“ABC”、“XYZ”以及“FGH”转换为CRC码值“04940304”。
需要说明的是,将源端数据库以及目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个字符串与每个数据子集之间的关联关系;利用字符串以及关联关系对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集内进行依次比对,得到目标比对结果。
进一步举例说明,可选的例如图7所示,将源端数据库702以及目标端数据库704中的每个数据子集内的数据转换为字符串(CRC码),并建立每个字符串与每个数据子集之间的关联关系,如CRC码“04940304”与第一数据子集706内的主键1之间建立有关联关系等;利用字符串以及关联关系对源端数据库702中的多个第一数据子集706与目标端数据库704中的多个第二数据子集708内进行依次比对,得到目标比对结果710,如得到第一数据子集706的主键6所对应的CRC码与第二数据子集708的主键6所对应的CRC码之间的相似度小于异常阈值,则得到用于表示第二数据子集708的主键6所对应的CRC码的目标比对结果710。
通过本申请提供的实施例,将源端数据库以及目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个字符串与每个数据子集之间的关联关系;利用字符串以及关联关系对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集内进行依次比对,得到目标比对结果,从而实现了提高目标比对结果的获取效率的技术效果。
作为一种可选的方案,利用字符串以及关联关系对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集内进行依次比对,得到目标比对结果,包括:
S1,获取源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集的M个数据子集对,并利用关联关系获取M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;
S2,对每个数据子集对的字符串对进行依次比对,得到目标比对结果。
需要说明的是,获取源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集的M个数据子集对,并利用关联关系获取M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;对每个数据子集对的字符串对进行依次比对,得到目标比对结果。
进一步举例说明,可选的例如图7所示,获取源端数据库702中的多个第一数据子集706与目标端数据库704中的多个第二数据子集708的M个数据子集对,如6个数据子集对,分别为主键1对应的数据子集对、主键2对应的数据子集对、主键3对应的数据子集对、主键4对应的数据子集对、主键5对应的数据子集对、主键6对应的数据子集对;再利用关联关系获取M个数据子集对中的每个数据子集对的字符串对,如主键6对应的字符串对为CRC码“04940309”与CRC码“049403TT”;对每个数据子集对的字符串对进行依次比对,得到目标比对结果710。
通过本申请提供的实施例,获取源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集的M个数据子集对,并利用关联关系获取M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;对每个数据子集对的字符串对进行依次比对,得到目标比对结果,从而实现了提高目标比对结果的获取效率的技术效果。
作为一种可选的方案,在利用目标比对结果确定出具有数据差异关系的至少一个数据子集对之后,包括:获取至少一个数据子集对被确定出的第一时刻;
作为一种可选的方案,对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,包括:在当前时刻为第二时刻的情况下,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件,其中,第一时刻与第二时刻之间的时刻差为预设时长。
可选地,在本实施例中,为降低数据同步延迟对数据比对的影响,可以但不限于设置预设时长的方式,留出预设时长的延迟空间,或者说在首次比对后,等待预设时长后再进行二次比对。
需要说明的是,获取至少一个数据子集对被确定出的第一时刻;在当前时刻为第二时刻的情况下,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件,其中,第一时刻与第二时刻之间的时刻差为预设时长。
进一步举例说明,可选的例如图8所示,假设在将源端数据库802内的数据同步迁移至目标端数据库804的过程中,分别进行至少两个数据比对,其中,数据比对1为首次比对,数据比对2……数据比对N为二次比对,进而在数据比对1执行完成后,可以但不限于等待预设时长后,再进行二次比对;此外,在二次比对为多次的情况下,可以但不限于在第一次的二次比对(如数据比对2)执行完成后,等待目标时长后,再继续下一次的二次比对,以降低数据同步延迟对数据比对的影响。
通过本申请提供的实施例,获取至少一个数据子集对被确定出的第一时刻;在当前时刻为第二时刻的情况下,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件,其中,第一时刻与第二时刻之间的时刻差为预设时长,进而达到了降低数据同步延迟对数据比对的影响的技术目的,从而实现了提高数据的管理准确性的技术效果。
作为一种可选的方案,为方便理解,将上述数据管理方法应用在数据库的数据迁移场景中,利用在线迁移产品将数据库迁移完成以后,源端库和目标库会利用数据同步软件实时同步一段时间,进而出现源端库和目标库的数据产生实时变化的情况;可选地,本实施例面对上述情况,可以但不限于采用主键结合CRC码的方式进行高效的数据比对,再加上数据收敛的比对逻辑,准确定位出源端与目标端的差异数据,从而完成源端与目标端数据的比对核查。
可选地,在本实施例中,针对多种数据库类型的数据比对,如图9所示,MySql、Oraclel、Tdsql、Tbase、DB2类型的数据库,首先步骤S1.1-S1.2,利用多元采集器从源端数据库以及目标端数据库的采集线程池中抽取待比对的数据;步骤S1.3,按照Map<主键,md5>整理源端数据库以及目标端数据库内的数据;
进一步,可选地步骤S2.1-S2.2,利用数据比对器对上述Map<主键,md5>形式的数据进行比对,并将比对结果存储至对比线程池;步骤S2.3按照预设的收敛条件,对上述Map<主键,md5>形式的数据进行二次比对,再将比对结果存储至持久化线程池;步骤S3.1-S3.2,将最终比对完成以后的结果集存放至数据库。
需要说明的是,采用主键结合CRC码的方式进行高效的数据比对,再加上数据收敛的比对逻辑,准确定位出源端与目标端的差异数据,从而完成源端与目标端数据的比对核查。
进一步举例说明,可选地例如图10所示,步骤1,从源端数据库1002、目标端数据库1004内获取数据,并将数据按照指定表的主键,以及列的属性,计算成CRC码值,并通过客户端导出;步骤2,源端数据库1002PK+计算出来的CRC码(MD5)存放到文件系统上面形成对应文件,目标端数据库1004PK+计算出来的CRC码(MD5)存放到文件系统上面形成对应的文件;步骤3,将源端数据库1002与目标端数据库1006的生成的文件进行数据比对,源端数据库1002与目标端数据库1006的主键一样的情况下,后面数据行计算出来的CRC码值结果是否一样,将计算出来的结果差异放到差异结果集;步骤4,跟据产生的差异结果集的主键值,再对源端数据库1002与目标端数据库1006内的数据进行重新查询计算,获取这些差异结果集的主键+数据行计算出来的CRC码值存放到对应的文件系统;步骤5,对差异结果第二次抽取出来的主键,以及其他数据列计算出来CRC码值再进行重新比对;进一步上述步骤3、步骤4、步骤5可以跟据外部设置的结果集收敛次数,反复进行;步骤6,将最终比对完成以后的结果集,存放到元数据库1006。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述数据管理方法的数据管理装置。如图11所示,该装置包括:
第一获取单元1102,用于分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;
第一比对单元1104,用于对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;
确定单元1106,用于利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;
第二比对单元1108,用于对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;
显示单元1110,用于在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
可选地,在本实施例中,上述数据管理装置可以但不限于应用在数据库数据库的数据迁移场景中,利用在线迁移产品将数据库迁移完成以后,源端库和目标库会利用数据同步软件实时同步一段时间,源端库和目标库的数据是实时变化的,传统的静态数据管理装置不适用这种动态变化的数据库的数据比对;而在本实施例中,利用数据子集维度的高效比对,并结合数据收敛的比对逻辑,就能够准确定位出源端数据与与目标端数据库之间的差异数据,从而完成源端数据与与目标端数据库的比对核查。
可选地,在本实施例中,目标比对结果可以但不限于理解为首次比对结果,该首次比对结果并未将数据的同步延迟等因素考虑进内,进而导致首次比对结果的准确性难以保证;而对至少一个数据子集对中的两个数据子集内的数据进行的N次比对可理解为多次的二次比对,该二次比对将数据的同步延迟等因素考虑进内,以弥补首次比对结果的较低准确性的缺陷。
需要说明的是,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
具体实施例可以参考上述数据管理装置中所示示例,本示例中在此不再赘述。
通过本申请提供的实施例,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常,以数据子集作为数据比对的单位可提高数据的比对效率;此外,考虑到数据同步时的数据为动态数据,而动态数据被同步时出现延迟属于正常情况,进而在获取到比对出数据存在差异的比对结果时,并不直接将该比对结果确定为异常情况,而是基于该比对结果进行更多次的二次比对,直至达到收敛条件,并基于达到该收敛条件时所得到的、更精准的比对结果以判断数据是否存在同步异常的情况,进而达到了获取更精准的数据比对结果的目的,从而实现了提高数据的管理准确性的技术效果。
作为一种可选的方案,第二比对单元1108,包括以下至少之一:
第一比对模块,用于对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值;
第二比对模块,用于对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至对至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,其中,N为小于或等于收敛阈值的自然数。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一比对模块,包括:
第一重复子模块,用于重复执行以下步骤,直至至少一个数据子集对中的两个数据集合内的数据之间的相似度低于差异阈值:
根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果;
在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度低于差异阈值的情况下,结束N次比对;
在当前比对结果指示第一数据子集内的当前数据与第二数据子集内的当前数据之间的相似度大于或等于差异阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二比对模块,包括:
第二重复子模块,用于重复执行以下步骤,直至对至少一个数据子集对中的两个数据集合内的数据的比对次数达到收敛阈值:
根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
在当前比对次数大于或等于收敛阈值的情况下,结束N次比对;
在当前比对次数小于收敛阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,装置,还包括:第一获取子模块,用于在对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件之后,获取N次比对的N个比对结果;对N个比对结果进行整合处理,得到待判断的比对结果;
显示单元1110,包括:显示模块,用于在待判断的比对结果满足异常条件的情况下,显示目标提示信息。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二比对单元1108,包括:
重复模块,用于重复执行以下步骤,直至达到收敛条件:
根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的当前数据,其中,第一集合标识为第一目标数据子集的标识,第二集合标识为第二目标数据子集的标识;
对第一目标数据子集内的当前数据以及第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度小于异常阈值、或当前比对次数大于或等于收敛阈值的情况下,确定达到收敛条件;
在当前比对结果指示第一目标数据子集内的当前数据与第二目标数据子集内的当前数据之间的相似度大于或等于异常阈值、且当前比对次数未达到收敛阈值的情况下,根据至少一个数据子集对的第一集合标识从源端数据库中获取第一目标数据子集内的数据作为第一目标数据子集内的当前数据、以及根据至少一个数据子集对的第二集合标识从目标端数据库中获取第二目标数据子集内的数据作为第二目标数据子集内的当前数据。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,装置,还包括:处理单元,用于在分别获取源端数据库中的数据集合、和目标端数据库中的数据集合之前,将源端数据库以及目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个字符串与每个数据子集之间的关联关系;
第一比对单元1104,包括:第三比对模块,用于利用字符串以及关联关系对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集内进行依次比对,得到目标比对结果。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第三比对模块,包括:
第二获取子模块,用于获取源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集的M个数据子集对,并利用关联关系获取M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;
比对子模块,用于对每个数据子集对的字符串对进行依次比对,得到目标比对结果。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,装置,还包括:第二获取单元,用于在利用目标比对结果确定出具有数据差异关系的至少一个数据子集对之后,获取至少一个数据子集对被确定出的第一时刻;
第二比对单元1108,包括:第四比对模块,用于在当前时刻为第二时刻的情况下,对至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件,其中,第一时刻与第二时刻之间的时刻差为预设时长。
具体实施例可以参考上述数据管理方法中所示示例,本示例中在此不再赘述。
根据本申请实施例的又一个方面,还提供了一种用于实施上述数据管理方法的电子设备,如图12所示,该电子设备包括存储器1202和处理器1204,该存储器1202中存储有计算机程序,该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;
S2,对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;
S3,利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;
S4,对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;
S5,在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
可选地,本领域普通技术人员可以理解,图12所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图12其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图12中所示更多或者更少的组件(如网络接口等),或者具有与图12所示不同的配置。
其中,存储器1202可用于存储软件程序以及模块,如本申请实施例中的数据管理方法和装置对应的程序指令/模块,处理器1204通过运行存储在存储器1202内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据管理方法。存储器1202可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1202可进一步包括相对于处理器1204远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1202具体可以但不限于用于存储第一数据子集、第二数据子集、目标比对结果以及目标提示信息等信息。作为一种示例,如图12所示,上述存储器1202中可以但不限于包括上述数据管理装置中的第一获取单元1102、第一比对单元1104、确定单元1106、第二比对单元1108及显示单元1110。此外,还可以包括但不限于上述数据管理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1206包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1206为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1208,用于显示上述第一数据子集、第二数据子集、目标比对结果以及目标提示信息等信息;和连接总线1210,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(Peer To Peer,简称P2P)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请实施例提供的各种功能。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,电子设备的计算机系统仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
计算机系统包括中央处理器(Central Processing Unit,CPU),其可以根据存储在只读存储器(Read-Only Memory,ROM)中的程序或者从存储部分加载到随机访问存储器(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器中,还存储有系统操作所需的各种程序和数据。中央处理器、在只读存储器以及随机访问存储器通过总线彼此相连。输入/输出接口(Input/Output接口,即I/O接口)也连接至总线。
以下部件连接至输入/输出接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至输入/输出接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请的系统中限定的各种功能。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,源端数据库中的数据集合中包括多个第一数据子集,目标端数据库中的数据集合中包括多个第二数据子集;
S2,对源端数据库中的多个第一数据子集与目标端数据库中的多个第二数据子集进行依次比对,得到目标比对结果;
S3,利用目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,数据差异关系用于表示第一数据子集内的数据与第二数据子集内的数据之间的相似度大于或等于差异阈值;
S4,对至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;
S5,在N次比对的比对结果指示至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,目标提示信息用于提示至少一个数据子集对中的两个数据子集内的数据同步异常。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种数据管理方法,其特征在于,包括:
分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,所述源端数据库中的数据集合中包括多个第一数据子集,所述目标端数据库中的数据集合中包括多个第二数据子集;
对所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集进行依次比对,得到目标比对结果;
利用所述目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,所述数据差异关系用于表示所述第一数据子集内的数据与所述第二数据子集内的数据之间的相似度大于或等于差异阈值;
对所述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;
在所述N次比对的比对结果指示所述至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,所述目标提示信息用于提示所述至少一个数据子集对中的两个数据子集内的数据同步异常。
2.根据权利要求1所述的方法,其特征在于,所述对所述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,包括以下至少之一:
对所述至少一个数据子集对中的两个数据集合内的数据进行所述N次比对,直至所述至少一个数据子集对中的两个数据集合内的数据之间的相似度低于所述差异阈值;
对所述至少一个数据子集对中的两个数据集合内的数据进行所述N次比对,直至对所述至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,其中,N为小于或等于所述收敛阈值的自然数。
3.根据权利要求2所述的方法,其特征在于,所述对所述至少一个数据子集对中的两个数据集合内的数据进行所述N次比对,直至所述至少一个数据子集对中的两个数据集合内的数据之间的相似度低于所述差异阈值,包括:
重复执行以下步骤,直至所述至少一个数据子集对中的两个数据集合内的数据之间的相似度低于所述差异阈值:
根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取第二目标数据子集内的当前数据,其中,所述第一集合标识为所述第一目标数据子集的标识,所述第二集合标识为所述第二目标数据子集的标识;
对所述第一目标数据子集内的当前数据以及所述第二目标数据子集内的当前数据进行比对,得到当前比对结果;
在所述当前比对结果指示所述第一目标数据子集内的当前数据与所述第二目标数据子集内的当前数据之间的相似度低于所述差异阈值的情况下,结束所述N次比对;
在所述当前比对结果指示所述第一数据子集内的当前数据与所述第二数据子集内的当前数据之间的相似度大于或等于所述差异阈值的情况下,根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取所述第一目标数据子集内的数据作为所述第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取所述第二目标数据子集内的数据作为所述第二目标数据子集内的当前数据。
4.根据权利要求2所述的方法,其特征在于,所述对所述至少一个数据子集对中的两个数据集合内的数据进行所述N次比对,直至对所述至少一个数据子集对中的两个数据集合内的数据的比对次数大于或等于收敛阈值,包括:
重复执行以下步骤,直至对所述至少一个数据子集对中的两个数据集合内的数据的比对次数达到所述收敛阈值:
根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取第二目标数据子集内的当前数据,其中,所述第一集合标识为所述第一目标数据子集的标识,所述第二集合标识为所述第二目标数据子集的标识;
对所述第一目标数据子集内的当前数据以及所述第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
在所述当前比对次数大于或等于所述收敛阈值的情况下,结束所述N次比对;
在所述当前比对次数小于所述收敛阈值的情况下,根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取所述第一目标数据子集内的数据作为所述第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取所述第二目标数据子集内的数据作为所述第二目标数据子集内的当前数据。
5.根据权利要求4所述的方法,其特征在于,
在所述对所述至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件之后,包括:获取所述N次比对的N个比对结果;对所述N个比对结果进行整合处理,得到待判断的比对结果;
所述在所述N次比对的比对结果满足异常条件的情况下,显示目标提示信息,包括:在所述待判断的比对结果满足所述异常条件的情况下,显示所述目标提示信息。
6.根据权利要求1或2所述的方法,其特征在于,所述对所述至少一个数据子集对中的两个数据集合内的数据进行N次比对,直至达到收敛条件,包括:
重复执行以下步骤,直至达到所述收敛条件:
根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取第二目标数据子集内的当前数据,其中,所述第一集合标识为所述第一目标数据子集的标识,所述第二集合标识为所述第二目标数据子集的标识;
对所述第一目标数据子集内的当前数据以及所述第二目标数据子集内的当前数据进行比对,得到当前比对结果,并确定当前比对次数;
在所述当前比对结果指示所述第一目标数据子集内的当前数据与所述第二目标数据子集内的当前数据之间的相似度小于所述异常阈值、或所述当前比对次数大于或等于收敛阈值的情况下,确定达到所述收敛条件;
在所述当前比对结果指示所述第一目标数据子集内的当前数据与所述第二目标数据子集内的当前数据之间的相似度大于或等于所述异常阈值、且所述当前比对次数未达到所述收敛阈值的情况下,根据所述至少一个数据子集对的第一集合标识从所述源端数据库中获取所述第一目标数据子集内的数据作为所述第一目标数据子集内的当前数据、以及根据所述至少一个数据子集对的第二集合标识从所述目标端数据库中获取所述第二目标数据子集内的数据作为所述第二目标数据子集内的当前数据。
7.根据权利要求1所述的方法,其特征在于,
在所述分别获取源端数据库中的数据集合、和目标端数据库中的数据集合之前,包括:将所述源端数据库以及所述目标端数据库中的每个数据子集内的数据转换为字符串,并建立每个所述字符串与所述每个数据子集之间的关联关系;
所述对所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集进行依次比对,得到目标比对结果,包括:利用所述字符串以及所述关联关系对所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集内进行依次比对,得到所述目标比对结果。
8.根据权利要求7所述的方法,其特征在于,所述利用所述字符串以及所述关联关系对所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集内进行依次比对,得到所述目标比对结果,包括:
获取所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集的M个数据子集对,并利用所述关联关系获取所述M个数据子集对中的每个数据子集对的字符串对,其中,M为自然数;
对所述每个数据子集对的字符串对进行依次比对,得到所述目标比对结果。
9.根据权利要求1至8中任一项所述的方法,其特征在于,
在所述利用所述目标比对结果确定出具有数据差异关系的至少一个数据子集对之后,包括:获取所述至少一个数据子集对被确定出的第一时刻;
所述对所述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,包括:在当前时刻为第二时刻的情况下,对所述至少一个数据子集对中的两个数据集合内的数据进行所述N次比对,直至达到所述收敛条件,其中,所述第一时刻与所述第二时刻之间的时刻差为预设时长。
10.一种数据管理装置,其特征在于,包括:
第一获取单元,用于分别获取源端数据库中的数据集合、和目标端数据库中的数据集合,其中,所述源端数据库中的数据集合中包括多个第一数据子集,所述目标端数据库中的数据集合中包括多个第二数据子集;
第一比对单元,用于对所述源端数据库中的所述多个第一数据子集与所述目标端数据库中的所述多个第二数据子集进行依次比对,得到目标比对结果;
确定单元,用于利用所述目标比对结果确定出具有数据差异关系的至少一个数据子集对,其中,所述数据差异关系用于表示所述第一数据子集内的数据与所述第二数据子集内的数据之间的相似度大于或等于差异阈值;
第二比对单元,用于对所述至少一个数据子集对中的两个数据子集内的数据进行N次比对,直至达到收敛条件,其中,N为自然数;显示单元,用于在所述N次比对的比对结果指示所述至少一个数据子集对中的两个数据子集内的数据达到异常条件的情况下,显示目标提示信息,其中,所述目标提示信息用于提示所述至少一个数据子集对中的两个数据子集内的数据同步异常。
11.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序可被终端设备或计算机运行时执行所述权利要求1至9任一项中所述的方法。
12.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至9任一项中所述方法的步骤。
13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210453827.2A CN117009430A (zh) | 2022-04-27 | 2022-04-27 | 数据管理方法、装置和存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210453827.2A CN117009430A (zh) | 2022-04-27 | 2022-04-27 | 数据管理方法、装置和存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117009430A true CN117009430A (zh) | 2023-11-07 |
Family
ID=88569501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210453827.2A Pending CN117009430A (zh) | 2022-04-27 | 2022-04-27 | 数据管理方法、装置和存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117009430A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117764631A (zh) * | 2024-02-22 | 2024-03-26 | 山东中翰软件有限公司 | 基于源端静态数据建模的数据治理优化方法及系统 |
-
2022
- 2022-04-27 CN CN202210453827.2A patent/CN117009430A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117764631A (zh) * | 2024-02-22 | 2024-03-26 | 山东中翰软件有限公司 | 基于源端静态数据建模的数据治理优化方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299110B (zh) | 数据查询方法、装置、存储介质和电子设备 | |
CN109614402B (zh) | 多维数据查询方法和装置 | |
CN107885873B (zh) | 用于输出信息的方法和装置 | |
CN111008321A (zh) | 基于逻辑回归推荐方法、装置、计算设备、可读存储介质 | |
CN103810224A (zh) | 信息持久化和查询方法及装置 | |
CN113760948A (zh) | 一种数据查询的方法及装置 | |
CN113839977A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
US10171606B2 (en) | System and method for providing data as a service (DaaS) in real-time | |
CN115168362A (zh) | 数据处理方法、装置、可读介质及电子设备 | |
CN108959294B (zh) | 一种访问搜索引擎的方法和装置 | |
CN117009430A (zh) | 数据管理方法、装置和存储介质及电子设备 | |
CN113761565B (zh) | 数据脱敏方法和装置 | |
CN112765169A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN108345699B (zh) | 获取多媒体数据的方法、装置及存储介质 | |
CN111752964A (zh) | 基于数据接口的数据处理方法及装置 | |
CN112100168A (zh) | 一种确定数据关联关系的方法和装置 | |
US10764204B2 (en) | Cloud extensibility framework | |
CN111026629A (zh) | 一种测试脚本自动生成的方法和装置 | |
CN113992664B (zh) | 一种集群通信的方法、相关装置及存储介质 | |
CN114139040A (zh) | 一种数据存储及查询方法、装置、设备及可读存储介质 | |
CN111782549A (zh) | 测试方法、装置和电子设备 | |
CN108733668B (zh) | 用于查询数据的方法和装置 | |
CN111858609A (zh) | 区块链模糊查询方法及装置 | |
CN112035581A (zh) | 基于模型的任务处理方法、装置、设备和介质 | |
CN116305288B (zh) | 一种隔离数据库资源的方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |