CN116719828A - 数据比对方法、装置、计算机可读存储介质及电子设备 - Google Patents
数据比对方法、装置、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN116719828A CN116719828A CN202310736781.XA CN202310736781A CN116719828A CN 116719828 A CN116719828 A CN 116719828A CN 202310736781 A CN202310736781 A CN 202310736781A CN 116719828 A CN116719828 A CN 116719828A
- Authority
- CN
- China
- Prior art keywords
- data
- table structure
- comparison result
- structure information
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 abstract description 15
- 230000005012 migration Effects 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据比对方法、装置、计算机可读存储介质及电子设备。涉及金融科技领域,该方法包括:获取源数据库的表结构信息匹配的期望表结构信息,其中,期望表结构信息用于描述目标数据库中期望的表结构;对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果;对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果;根据第一比对结果和第二比对结果,确定目标比对结果,其中,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。本发明解决了在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
Description
技术领域
本发明涉及金融科技领域,具体而言,涉及一种数据比对方法、装置、计算机可读存储介质及电子设备。
背景技术
在数据库的数据迁移过程中,需要使得数据的业务功能逻辑保持不变,因此,对迁移前后数据库之间的数据一致性的验证极为重要。目前在数据一致性的验证中,主要依赖测试人员前期参与业务应用的系统设计方案评审,根据系统设计方案进行人工核对,以完成验证工作。然而,人工验证对测试人员有较高的专业要求,因此,这种验证不仅容易漏检、错检,导致对数据一致性的判断准确度低,而且还存在人力成本高、工作效率低等问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据比对方法、装置、计算机可读存储介质及电子设备,以至少解决在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
根据本发明实施例的一个方面,提供了一种数据比对方法,包括:获取源数据库的表结构信息匹配的期望表结构信息,其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库;对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果;对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果;根据第一比对结果和第二比对结果,确定目标比对结果,其中,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
进一步地,源数据库中包括多个数据表,其中,数据比对方法还包括:对于每个数据表,从期望表结构信息中确定与数据表匹配的表结构子信息,得到第一信息,其中,期望表结构信息由多个数据表分别匹配的期望表结构子信息组成;从实际表结构信息中确定与数据表匹配的实际表结构子信息,得到第二信息,其中,实际表结构信息由多个数据表分别匹配的实际表结构子信息组成;对第一信息和第二信息进行比对,得到第一比对子结果,并根据每个数据表匹配的第一比对子结果确定第一比对结果。
进一步地,源数据库中包括多个数据表,其中,数据比对方法还包括:对于每个数据表,从源数据库中确定与数据表匹配的数据内容,得到第一数据内容;从目标数据库中确定与数据表匹配的数据内容,得到第二数据内容;比对第一数据内容和第二数据内容,得到第二比对子结果;根据每个数据表匹配的第二比对子结果确定第二比对结果。
进一步地,数据表由多条子数据组成,其中,数据比对方法还包括:对于每条子数据,从第一数据内容中确定与子数据匹配的第一子数据内容;从第二数据内容中确定与子数据匹配的第二子数据内容;比对第一子数据内容和第二子数据内容,得到第三比对子结果;根据每条子数据匹配的第三比对子结果确定第二比对子结果。
进一步地,数据比对方法还包括:利用信息摘要法对第一子数据内容进行数据处理,得到第一散列值;利用信息摘要法对第二子数据内容进行数据处理,得到第二散列值;对比第一散列值和第二散列值,得到第三比对子结果。
进一步地,数据比对方法还包括:若第一比对结果表征期望表结构信息与实际表结构信息匹配,且第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容相同,则确定目标比对结果表征源数据库与目标数据库之间的数据一致;若第一比对结果表征期望表结构信息与实际表结构信息不匹配,或者,第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容不同,则确定目标比对结果表征源数据库与目标数据库之间的数据不一致。
进一步地,数据比对方法还包括:在对期望表结构信息与目标数据库的实际表结构信息进行比对之前,确定目标数据库中用于存储实际表结构信息的存储区域;从存储区域中获取实际表结构信息。
根据本发明实施例的另一方面,还提供了一种数据比对装置,包括:第一获取模块,用于获取源数据库的表结构信息匹配的期望表结构信息,其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库;第一比对模块,用于对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果;第二比对模块,用于对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果;第一确定模块,用于根据第一比对结果和第二比对结果,确定目标比对结果,其中,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述的数据比对方法。
根据本发明实施例的另一方面,还提供了一种电子设备,电子设备包括一个或多个处理器;存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现用于运行程序,其中,程序被设置为运行时执行上述的数据比对方法。
在本发明实施例中,采用根据表结构和数据内容两方面的信息判断数据迁移前后一致性的方式,通过获取源数据库的表结构信息匹配的期望表结构信息,然后对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果,并对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果,从而根据第一比对结果和第二比对结果,确定目标比对结果。其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
在上述过程中,通过对期望表结构信息与目标数据库的实际表结构信息进行比对,实现了对源数据库和目标数据库之间的数据在表结构方面的一致性的有效确定。通过对源数据库中的数据内容与目标数据库中的数据内容进行比对,实现了对源数据库和目标数据库之间的数据在内容方面的一致性的有效确定。进一步地,通过根据第一比对结果和第二比对结果,确定目标比对结果,实现了对源数据库与目标数据库之间的数据一致性的准确判断,从而提高了判断准确度。此外,由于当源数据库和目标数据库的数据库类型不一致时,两个数据库中的表结构无法完全一致,因此,避免了采用源数据库的表结构信息与目标数据库的实际表结构信息进行比对时容易生成错误比对结果的现象。
由此可见,本申请所提供的方案达到了根据表结构和数据内容两方面的信息判断数据迁移前后一致性的目的,从而实现了提高判断准确度的技术效果,进而解决了在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的数据比对方法的流程图;
图2是根据本发明实施例的一种可选的数据比对方法的示意图;
图3是根据本发明实施例的一种可选的数据比对装置的示意图;
图4是根据本发明实施例的一种可选的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开的数据比对方法、装置、计算机可读存储介质及电子设备可用于金融科技领域,也可用于除金融科技领域之外的任意领域,本公开的数据比对方法、装置、计算机可读存储介质及电子设备的应用领域不做限定。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
实施例1
根据本发明实施例,提供了一种数据比对方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的数据比对方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取源数据库的表结构信息匹配的期望表结构信息,其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库。
可选的,可以将电子设备、应用系统、服务器等装置作为执行主体执行前述的数据比对方法,在本实施例中,将目标处理系统作为执行主体以获取源数据库的表结构信息匹配的期望表结构信息。其中,将数据由源数据库迁移至目标数据库之后执行前述的步骤S101,并且,当数据由源数据库迁移至目标数据库之后,源数据库内的被迁移的数据并不会立马被删除,而是至少会在源数据库内保留一段时间。前述的源数据库或目标数据库的数据库类型可以是分布式数据库、关系型数据库等数据库类型。
其中,源数据库中存储有多个数据表,表中包含有字段,前述的表结构信息或是期望表结构信息可以包括但不限于数据表的表名、数据表中的字段的字段名、字段类型、字段长度、字段精度、字段默认值、字段是否允许为空、主键字段及顺序、索引字段及顺序、分区类型、分区字段等内容。
由于源数据库和目标数据库之间的数据库类型并不一定相同,源数据库中的表结构未必适用于目标数据库中,因此,工作人员或是目标处理系统可以预先根据源数据库的数据库类型与目标数据库的数据库类型,提炼出二者之间的差异信息,如:在字符集、码制、表结构字段类型、长度范围、精度大小、索引、主键、分区等方面的差异,从而根据差异信息,结合源数据库的表结构信息以及相关规范文件生成期望表结构信息,以描述目标数据库中期望的表结构。
步骤S102,对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果。
其中,目标数据库的实际表结构信息是指当数据迁移到目标数据库之后,在目标数据库中的真实表结构所对应的表结构信息,实际表结构信息可以包括但不限于数据表的表名、数据表中的字段的字段名、字段类型、字段长度、字段精度、字段默认值、字段是否允许为空、主键字段及顺序、索引字段及顺序、分区类型、分区字段等内容。
其中,第一比对结果至少用于表征期望表结构信息与实际表结构信息是否匹配,也相当于表征源数据库的表结构信息与实际表结构信息是否匹配。
例如,若源数据库的表结构信息中指示源数据库中的数据表中的字段类型为A类型,期望表结构信息指示数据表的字段类型为B类型或C类型,则如果实际表结构信息指示数据表的字段类型为A类型,确定期望表结构信息与实际表结构信息不匹配,也即源数据库的表结构信息与实际表结构信息不匹配。若实际表结构信息指示数据表的字段类型为B类型,或者是,实际表结构信息指示数据表的字段类型为C类型,则确定期望表结构信息与实际表结构信息匹配,也即源数据库的表结构信息与实际表结构信息匹配,从而可以得到第一比对结果。
需要说明的是,通过对期望表结构信息与目标数据库的实际表结构信息进行比对,实现了对源数据库和目标数据库之间的数据在表结构方面的一致性的有效确定。此外,由于当源数据库和目标数据库的数据库类型不一致时,两个数据库中的表结构无法完全一致,因此,避免了采用源数据库的表结构信息与目标数据库的实际表结构信息进行比对时容易生成错误比对结果的现象。
步骤S103,对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果。
其中,第二比对结果至少用于表征源数据库中的数据内容与目标数据库中的数据内容是否相同。
需要说明的是,通过对源数据库中的数据内容与目标数据库中的数据内容进行比对,实现了对源数据库和目标数据库之间的数据在内容方面的一致性的有效确定。
步骤S104,根据第一比对结果和第二比对结果,确定目标比对结果,其中,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
可选的,目标处理系统可以在根据第一比对结果和第二比对结果确定源数据库和目标数据库之间的数据在表结构以及内容方面均具有一致性时,确定源数据库与目标数据库之间的数据一致,反之,目标处理系统可以在根据第一比对结果和第二比对结果确定源数据库和目标数据库之间的数据在表结构或内容方面不具有一致性时,确定源数据库与目标数据库之间的数据不一致。从而实现了对源数据库与目标数据库之间的数据一致性的准确判断。
基于上述步骤S101至步骤S104所限定的方案,可以获知,在本发明实施例中,采用根据表结构和数据内容两方面的信息判断数据迁移前后一致性的方式,通过获取源数据库的表结构信息匹配的期望表结构信息,然后对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果,并对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果,从而根据第一比对结果和第二比对结果,确定目标比对结果。其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
容易注意到的是,在上述过程中,通过对期望表结构信息与目标数据库的实际表结构信息进行比对,实现了对源数据库和目标数据库之间的数据在表结构方面的一致性的有效确定。通过对源数据库中的数据内容与目标数据库中的数据内容进行比对,实现了对源数据库和目标数据库之间的数据在内容方面的一致性的有效确定。进一步地,通过根据第一比对结果和第二比对结果,确定目标比对结果,实现了对源数据库与目标数据库之间的数据一致性的准确判断,从而提高了判断准确度。此外,由于当源数据库和目标数据库的数据库类型不一致时,两个数据库中的表结构无法完全一致,因此,避免了采用源数据库的表结构信息与目标数据库的实际表结构信息进行比对时容易生成错误比对结果的现象。
由此可见,本申请所提供的方案达到了根据表结构和数据内容两方面的信息判断数据迁移前后一致性的目的,从而实现了提高判断准确度的技术效果,进而解决了在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
在一种可选的实施例中,在对期望表结构信息与目标数据库的实际表结构信息进行比对之前,目标处理系统可以确定目标数据库中用于存储实际表结构信息的存储区域,从而从存储区域中获取实际表结构信息。
可选的,目标处理系统可以预先接入目标数据库。然后根据工作人员的预设信息,确定目标数据库中用于存储实际表结构信息的存储区域,或者是,根据目标数据库的数据库类型,确定目标数据库中用于存储实际表结构信息的存储区域。
此外,目标处理系统还可以预先接入源数据库。然后根据工作人员的预设信息,确定源数据库中用于存储表结构信息的存储区域,或者是,根据源数据库的数据库类型,确定源数据库中用于存储表结构信息的存储区域。从而从该存储区域中获取到源数据库中的表结构信息,以便于确定期望表结构信息。
需要说明的是,通过确定目标数据库中用于存储实际表结构信息的存储区域,然后从该存储区域中获取实际表结构信息,实现了对实际表结构信息快速且准确的获取。
在一种可选的实施例中,源数据库中包括多个数据表,其中,在对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果的过程中,目标处理系统可以对于每个数据表,从期望表结构信息中确定与数据表匹配的表结构子信息,得到第一信息,从实际表结构信息中确定与数据表匹配的实际表结构子信息,得到第二信息,从而对第一信息和第二信息进行比对,得到第一比对子结果,并根据每个数据表匹配的第一比对子结果确定第一比对结果。其中,期望表结构信息由多个数据表分别匹配的期望表结构子信息组成,实际表结构信息由多个数据表分别匹配的实际表结构子信息组成。
可选的,由于多个数据表所记录的数据并不相同,因此,多个数据表之间的表结构也可能存在一定差异,故而,在本实施例中,对每个表进行单独对比,以提高本申请所提供的方法的适用性和灵活性。
其中,在本实施例中,数据迁移的过程中并不会对数据表的表名进行变更,因此,目标处理系统可以从源数据库中获取到所有需要进行数据一致性校验的数据表的表名,从而根据表名从期望表结构信息中确定与数据表匹配的表结构子信息,得到第一信息,并根据表名从实际表结构信息中确定与数据表匹配的实际表结构子信息,得到第二信息。
之后,目标处理系统可以对第一信息和第二信息进行比对。例如,若第一信息中的字段长度为6或8,第二信息中的字段长度为8,则确定第一信息与第二信息匹配,若第二信息中的字段长度为4,则确定第一信息与第二信息不匹配。由此,可以将无法与第一信息相匹配的第二信息确定为第一异常信息,记录到第一比对子结果内,且第一比对子结果用于表征第一信息与第二信息是否匹配。
进一步地,在所有第一比对子结果表征第一信息与第二信息匹配的情况下,确定第一比对结果表征期望表结构信息与实际表结构信息匹配。在存在第一比对子结果表征第一信息与第二信息不匹配的情况下,确定第一比对结果表征期望表结构信息与实际表结构信息不匹配,并可以将前述的第一异常信息一并记录到第一比对结果内。
需要说明的是,通过对多个数据表中每个数据表的表结构进行单独比对,实现了对第一比对结果的准确确定。
在一种可选的实施例中,源数据库中包括多个数据表,其中,在对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果的过程中,目标处理系统可以对于每个数据表,从源数据库中确定与数据表匹配的数据内容,得到第一数据内容,然后从目标数据库中确定与数据表匹配的数据内容,得到第二数据内容,从而比对第一数据内容和第二数据内容,得到第二比对子结果,进而根据每个数据表匹配的第二比对子结果确定第二比对结果。
可选的,由于每个数据表中的数据内容并不相同,因此,需要对每个表进行单独对比。目标处理系统可以从源数据库中获取到所有需要进行数据一致性校验的数据表的表名,从而根据表名从源数据库中确定与数据表匹配的数据内容,得到第一数据内容,并根据表名从目标数据库中确定与数据表匹配的数据内容,得到第二数据内容。
进一步地,目标处理系统可以对第一数据内容和第二数据内容进行比对,从而确定第二比对子结果,第二比对子结果用于表征第一数据内容和第二数据内容是否相同。
更进一步地,在所有第二比对子结果表征第一数据内容和第二数据内容相同的情况下,确定第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容相同,在存在第二比对子结果表征第一数据内容和第二数据内容不相同的情况下,确定第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容不同。
需要说明的是,通过对多个数据表中每个数据表的数据内容进行单独比对,实现了对第二比对结果的准确确定。
在一种可选的实施例中,数据表由多条子数据组成,其中,在比对第一数据内容和第二数据内容,得到第二比对子结果的过程中,目标处理系统可以对于每条子数据,从第一数据内容中确定与子数据匹配的第一子数据内容,然后从第二数据内容中确定与子数据匹配的第二子数据内容,从而比对第一子数据内容和第二子数据内容,得到第三比对子结果,进而根据每条子数据匹配的第三比对子结果确定第二比对子结果。
可选的,由于每个数据表中的每条子数据对应的数据内容并不相同,因此,需要对每条子数据进行单独对比,其中,每条子数据均对应有唯一的索引信息。目标处理系统可以从源数据库中获取到数据表中所有子数据对应的索引信息,从而根据索引信息从第一数据内容中确定与子数据匹配的第一子数据内容,并根据索引信息从第二数据内容中确定与子数据匹配的第二子数据内容。
进一步地,目标处理系统可以对第一子数据内容和第二子数据内容进行比对,从而确定第三比对子结果,第三比对子结果用于表征第一子数据内容和第二子数据内容是否相同。其中,可以将与第一子数据内容不同的第二子数据内容确定为第二异常信息,并将第二异常信息记录到第三比对子结果中。
更进一步地,在所有第三比对子结果表征第一子数据内容和第二子数据内容相同的情况下,确定第二比对子结果表征第一数据内容和第二数据内容相同,在存在第三比对子结果表征第一子数据内容和第二子数据内容不同的情况下,确定第二比对子结果表征第一数据内容和第二数据内容不同。此外,目标处理系统还可以将第三比对子结果中的第二异常信息记录到第二比对子结果中,进而记录到第二比对结果中。
需要说明的是,通过对数据表中多条子数据的数据内容进行单独比对,实现了对第二比对子结果的准确确定。
在一种可选的实施例中,在比对第一子数据内容和第二子数据内容,得到第三比对子结果的过程中,目标处理系统可以利用信息摘要法对第一子数据内容进行数据处理,得到第一散列值,利用信息摘要法对第二子数据内容进行数据处理,得到第二散列值,从而对比第一散列值和第二散列值,得到第三比对子结果。
可选的,在本实施例中,信息摘要法为MD5信息摘要法,MD5信息摘要法是一种密码散列函数,可以产生出散列值。具体地,目标处理系统可以利用MD5信息摘要法分别对第一子数据内容和第二子数据内容进行数据处理,从而得到前述的第一散列值和第二散列值。进一步地,目标处理系统可以在第一散列值和第二散列值相同的情况下,确定第三比对子结果表征第一子数据内容和第二子数据内容相同,在第一散列值和第二散列值不同的情况下,确定第三比对子结果表征第一子数据内容和第二子数据内容不同。
需要说明的是,通过利用信息摘要法比对第一子数据内容和第二子数据内容,实现了对第一子数据内容和第二子数据内容快速且准确的比对。
在一种可选的实施例中,在根据第一比对结果和第二比对结果,确定目标比对结果的过程中,若第一比对结果表征期望表结构信息与实际表结构信息匹配,且第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容相同,则目标处理系统可以确定目标比对结果表征源数据库与目标数据库之间的数据一致,若第一比对结果表征期望表结构信息与实际表结构信息不匹配,或者,第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容不同,则目标处理系统可以确定目标比对结果表征源数据库与目标数据库之间的数据不一致。
其中,在存在前述的第一异常信息或前述第二异常信息的情况下,目标处理系统可以将第一异常信息和第二异常信息一并记录到目标比对结果中。
需要说明的是,通过根据第一比对结果的内容和第二比对结果的内容确定目标比对结果,实现了目标比对结果的准确确定。
可选的,目标处理系统还可以向用户展示目标比对结果,并提供目标结果的下载能力。且目标处理系统在比对数据的过程中,可以通过多线程并发的方式进行比对。
在一种可选的实施例中,对目标处理系统一种可选的结构组成和应用过程进行说明。可选的,目标处理模块可以包括规则模块、数据库信息采集模块、比对模块以及交互模块。其中,规则模块用于存储期望表结构信息。数据库信息采集模块用于获取源数据库的表结构信息、目标数据库的实际表结构信息、源数据库中的数据内容以及目标数据库中的数据内容。比对模块用于根据数据库信息采集模块采集的信息生成目标比对结果,交互模块用于实现与用户之间的交互,以实现期望表结构信息的获取、数据比对任务的发起、目标比对结果的可视化展示等功能。
图2是根据本发明实施例的一种可选的数据比对方法的示意图,如图2所示,规则模块可以将期望表结构信息发送给比对模块,数据库信息采集模块可以将源数据库的表结构信息、目标数据库的实际表结构信息、源数据库中的数据内容以及目标数据库中的数据内容发送给比对模块,从而由比对模块进行比对得到目标比对结果。之后,比对模块将目标比对结果发送给交互平台进行展示。此外,规则模块还用于根据用户指令更新期望表结构信息。
由此可见,本申请所提供的方案达到了根据表结构和数据内容两方面的信息判断数据迁移前后一致性的目的,从而实现了提高判断准确度的技术效果,进而解决了在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
实施例2
根据本发明实施例,提供了一种数据比对装置的实施例,其中,图3是根据本发明实施例的一种可选的数据比对装置的示意图,如图3所示,该装置包括:
第一获取模块301,用于获取源数据库的表结构信息匹配的期望表结构信息,其中,期望表结构信息用于描述目标数据库中期望的表结构,数据由源数据库迁移至目标数据库;
第一比对模块302,用于对期望表结构信息与目标数据库的实际表结构信息进行比对,得到第一比对结果;
第二比对模块303,用于对源数据库中的数据内容与目标数据库中的数据内容进行比对,得到第二比对结果;
第一确定模块304,用于根据第一比对结果和第二比对结果,确定目标比对结果,其中,目标比对结果用于表征源数据库与目标数据库之间的数据一致性。
在上述过程中,通过对期望表结构信息与目标数据库的实际表结构信息进行比对,实现了对源数据库和目标数据库之间的数据在表结构方面的一致性的有效确定。通过对源数据库中的数据内容与目标数据库中的数据内容进行比对,实现了对源数据库和目标数据库之间的数据在内容方面的一致性的有效确定。进一步地,通过根据第一比对结果和第二比对结果,确定目标比对结果,实现了对源数据库与目标数据库之间的数据一致性的准确判断,从而提高了判断准确度。此外,由于当源数据库和目标数据库的数据库类型不一致时,两个数据库中的表结构无法完全一致,因此,避免了采用源数据库的表结构信息与目标数据库的实际表结构信息进行比对时容易生成错误比对结果的现象。
由此可见,本申请所提供的方案达到了根据表结构和数据内容两方面的信息判断数据迁移前后一致性的目的,从而实现了提高判断准确度的技术效果,进而解决了在数据库之间迁移数据的场景下,现有技术在判断迁移前后的数据之间的一致性时,存在判断准确度低的技术问题。
需要说明的是,上述第一获取模块301、第一比对模块302、第二比对模块303以及第一确定模块304对应于上述实施例中的步骤S101至步骤S104,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选的,源数据库中包括多个数据表,其中,第一比对模块302还包括:第一确定子模块,用于对于每个数据表,从期望表结构信息中确定与数据表匹配的表结构子信息,得到第一信息,其中,期望表结构信息由多个数据表分别匹配的期望表结构子信息组成;第二确定子模块,用于从实际表结构信息中确定与数据表匹配的实际表结构子信息,得到第二信息,其中,实际表结构信息由多个数据表分别匹配的实际表结构子信息组成;第一比对子模块,用于对第一信息和第二信息进行比对,得到第一比对子结果,并根据每个数据表匹配的第一比对子结果确定第一比对结果。
可选的,源数据库中包括多个数据表,其中,第二比对模块303还包括:第三确定子模块,用于对于每个数据表,从源数据库中确定与数据表匹配的数据内容,得到第一数据内容;第四确定子模块,用于从目标数据库中确定与数据表匹配的数据内容,得到第二数据内容;第二比对子模块,用于比对第一数据内容和第二数据内容,得到第二比对子结果;处理模块,用于根据每个数据表匹配的第二比对子结果确定第二比对结果。
可选的,数据表由多条子数据组成,其中,第二比对子模块还包括:第一确定单元,用于对于每条子数据,从第一数据内容中确定与子数据匹配的第一子数据内容;第二确定单元,用于从第二数据内容中确定与子数据匹配的第二子数据内容;比对单元,用于比对第一子数据内容和第二子数据内容,得到第三比对子结果;处理单元,用于根据每条子数据匹配的第三比对子结果确定第二比对子结果。
可选的,比对单元还包括:第一处理子单元,用于利用信息摘要法对第一子数据内容进行数据处理,得到第一散列值;第二处理子单元,用于利用信息摘要法对第二子数据内容进行数据处理,得到第二散列值;对比子单元,用于对比第一散列值和第二散列值,得到第三比对子结果。
可选的,第一确定模块304还包括:第五确定子模块,若第一比对结果表征期望表结构信息与实际表结构信息匹配,且第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容相同,则确定目标比对结果表征源数据库与目标数据库之间的数据一致;第六确定子模块,若第一比对结果表征期望表结构信息与实际表结构信息不匹配,或者,第二比对结果表征源数据库中的数据内容与目标数据库中的数据内容不同,则确定目标比对结果表征源数据库与目标数据库之间的数据不一致。
可选的,数据比对装置还包括:第二确定模块,用于确定目标数据库中用于存储实际表结构信息的存储区域;第二获取模块,用于从存储区域中获取实际表结构信息。
实施例3
根据本发明实施例的另一方面,还提供了计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述的数据比对方法。
实施例4
根据本发明实施例的另一方面,还提供了一种电子设备,其中,图4是根据本发明实施例的一种可选的电子设备的示意图,如图4所示,电子设备包括一个或多个处理器;存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现用于运行程序,其中,程序被设置为运行时执行上述的数据比对方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据比对方法,其特征在于,包括:
获取源数据库的表结构信息匹配的期望表结构信息,其中,所述期望表结构信息用于描述目标数据库中期望的表结构,数据由所述源数据库迁移至所述目标数据库;
对所述期望表结构信息与所述目标数据库的实际表结构信息进行比对,得到第一比对结果;
对所述源数据库中的数据内容与所述目标数据库中的数据内容进行比对,得到第二比对结果;
根据所述第一比对结果和所述第二比对结果,确定目标比对结果,其中,所述目标比对结果用于表征所述源数据库与所述目标数据库之间的数据一致性。
2.根据权利要求1所述的方法,其特征在于,所述源数据库中包括多个数据表,其中,对所述期望表结构信息与所述目标数据库的实际表结构信息进行比对,得到第一比对结果,包括:
对于每个数据表,从所述期望表结构信息中确定与所述数据表匹配的表结构子信息,得到第一信息,其中,所述期望表结构信息由所述多个数据表分别匹配的期望表结构子信息组成;
从所述实际表结构信息中确定与所述数据表匹配的实际表结构子信息,得到第二信息,其中,所述实际表结构信息由所述多个数据表分别匹配的实际表结构子信息组成;
对所述第一信息和所述第二信息进行比对,得到第一比对子结果,并根据所述每个数据表匹配的第一比对子结果确定所述第一比对结果。
3.根据权利要求1所述的方法,其特征在于,所述源数据库中包括多个数据表,其中,对所述源数据库中的数据内容与所述目标数据库中的数据内容进行比对,得到第二比对结果,包括:
对于每个数据表,从所述源数据库中确定与所述数据表匹配的数据内容,得到第一数据内容;
从所述目标数据库中确定与所述数据表匹配的数据内容,得到第二数据内容;
比对所述第一数据内容和所述第二数据内容,得到第二比对子结果;
根据所述每个数据表匹配的第二比对子结果确定所述第二比对结果。
4.根据权利要求3所述的方法,其特征在于,所述数据表由多条子数据组成,其中,
比对所述第一数据内容和所述第二数据内容,得到第二比对子结果,包括:
对于每条子数据,从所述第一数据内容中确定与所述子数据匹配的第一子数据内容;
从所述第二数据内容中确定与所述子数据匹配的第二子数据内容;
比对所述第一子数据内容和所述第二子数据内容,得到第三比对子结果;
根据所述每条子数据匹配的第三比对子结果确定所述第二比对子结果。
5.根据权利要求4所述的方法,其特征在于,比对所述第一子数据内容和所述第二子数据内容,得到第三比对子结果,包括:
利用信息摘要法对所述第一子数据内容进行数据处理,得到第一散列值;
利用所述信息摘要法对所述第二子数据内容进行数据处理,得到第二散列值;
对比所述第一散列值和所述第二散列值,得到所述第三比对子结果。
6.根据权利要求1所述的方法,其特征在于,根据所述第一比对结果和所述第二比对结果,确定目标比对结果,包括:
若所述第一比对结果表征所述期望表结构信息与所述实际表结构信息匹配,且所述第二比对结果表征所述源数据库中的数据内容与所述目标数据库中的数据内容相同,则确定所述目标比对结果表征所述源数据库与所述目标数据库之间的数据一致;
若所述第一比对结果表征所述期望表结构信息与所述实际表结构信息不匹配,或者,所述第二比对结果表征所述源数据库中的数据内容与所述目标数据库中的数据内容不同,则确定所述目标比对结果表征所述源数据库与所述目标数据库之间的数据不一致。
7.根据权利要求1所述的方法,其特征在于,在对所述期望表结构信息与所述目标数据库的实际表结构信息进行比对之前,所述方法还包括:
确定所述目标数据库中用于存储所述实际表结构信息的存储区域;
从所述存储区域中获取所述实际表结构信息。
8.一种数据比对装置,其特征在于,包括:
第一获取模块,用于获取源数据库的表结构信息匹配的期望表结构信息,其中,所述期望表结构信息用于描述目标数据库中期望的表结构,数据由所述源数据库迁移至所述目标数据库;
第一比对模块,用于对所述期望表结构信息与所述目标数据库的实际表结构信息进行比对,得到第一比对结果;
第二比对模块,用于对所述源数据库中的数据内容与所述目标数据库中的数据内容进行比对,得到第二比对结果;
第一确定模块,用于根据所述第一比对结果和所述第二比对结果,确定目标比对结果,其中,所述目标比对结果用于表征所述源数据库与所述目标数据库之间的数据一致性。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的数据比对方法。
10.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现用于运行程序,其中,所述程序被设置为运行时执行所述权利要求1至7任一项中所述的数据比对方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310736781.XA CN116719828A (zh) | 2023-06-20 | 2023-06-20 | 数据比对方法、装置、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310736781.XA CN116719828A (zh) | 2023-06-20 | 2023-06-20 | 数据比对方法、装置、计算机可读存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116719828A true CN116719828A (zh) | 2023-09-08 |
Family
ID=87874963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310736781.XA Pending CN116719828A (zh) | 2023-06-20 | 2023-06-20 | 数据比对方法、装置、计算机可读存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116719828A (zh) |
-
2023
- 2023-06-20 CN CN202310736781.XA patent/CN116719828A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8010538B2 (en) | Methods and systems for reporting regions of interest in content files | |
CN106844730B (zh) | 文件内容的显示方法及装置 | |
Alherbawi et al. | Systematic literature review on data carving in digital forensic | |
CN110851209A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN112307124A (zh) | 数据库同步验证方法、装置、设备及存储介质 | |
CN106933919B (zh) | 数据表的连接方法及装置 | |
CN110019542B (zh) | 企业关系的生成、生成组织成员数据库及识别同名成员 | |
CN111061733B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN112307297B (zh) | 一种基于优先级规则的用户标识统一方法及系统 | |
CN111737349B (zh) | 数据一致性校验方法及装置 | |
CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN116719828A (zh) | 数据比对方法、装置、计算机可读存储介质及电子设备 | |
CN111078668B (zh) | 数据生成方法、装置、电子设备和存储介质 | |
CN115829412A (zh) | 一种基于业务过程的指标数据量化处理方法、系统及介质 | |
CN113672616B (zh) | 一种数据索引方法、装置、终端及存储介质 | |
CN109558153B (zh) | 版本一致性确定方法、装置及系统 | |
CN116010349B (zh) | 基于元数据的数据检核方法和装置、电子设备和存储介质 | |
CN111190898B (zh) | 一种数据处理的方法及装置、电子设备、存储介质 | |
CN116561817B (zh) | 一种目标对象的处理方法、装置及设备 | |
US11995584B2 (en) | Training assignment tool | |
CN115757401A (zh) | 数据识别方法、装置、计算机可读存储介质及电子设备 | |
CN115470179A (zh) | 一种文件查询方法、产品、介质和设备 | |
CN114490646A (zh) | 基于元数据的数据血缘分析方法及系统 | |
CN116910032A (zh) | 一种数据集市迁移的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |