CN110909004A - 一种分库分表的数据校验方法及设备 - Google Patents
一种分库分表的数据校验方法及设备 Download PDFInfo
- Publication number
- CN110909004A CN110909004A CN201911205306.XA CN201911205306A CN110909004A CN 110909004 A CN110909004 A CN 110909004A CN 201911205306 A CN201911205306 A CN 201911205306A CN 110909004 A CN110909004 A CN 110909004A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- relational database
- sub
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分库分表的数据校验方法及设备,用于高效的验证分库分表后各数据库各表格中的数据的准确性,提高分库分表的数据校验的有效性及准确性。该方法包括:获取与检验数据类型对应的关系型数据库中存储的表格数据;根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
Description
技术领域
本发明涉及关系型数据库技术领域,尤其涉及一种分库分表的数据校验方法及设备。
背景技术
关系型数据库,是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,关系型数据库的行和列被称为表,一组表组成了数据库,关系型数据库可以简单理解为二维表格数据库,而一个关系型数据库就是由二维表格及二维表格中行列之间的关系组成的一个数据组织。
为了缓解单个关系型数据库由于数据量庞大,且查询维度较多导致查询时间较长,数据库的读写能力较差,数据库性能不高的问题,提出了一种分库分表的策略,分库分表就是将一个数据库切分成多个部分存储到多个数据库中,使得单一数据库中的数据量变小,从而缓解单一数据库的性能问题。
但是,对关系型数据进行分库分表后,如何高效地验证分库分表后得到的各个数据库中的数据的准确性便成为了一个亟需解决的问题,目前主要通过人工验证数据的准确性,对于百万级、千万级数据而言,人工验证将耗费巨大的人力和时间,也不能保证数据的有效性和准确性。
发明内容
本发明提供了一种分库分表的数据校验方法及设备,用于高效的验证分库分表后各数据库各表格中的数据的准确性,提高分库分表的数据校验的有效性及准确性。
第一方面,本发明提供一种分库分表的数据校验方法,该方法包括:
第二方面,本发明提供一种分库分表的数据校验设备,该设备包括:处理器以及存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如下步骤:
获取与检验数据类型对应的关系型数据库中存储的表格数据;
根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
作为一种可选的实施方式,所述处理器具体用于:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
作为一种可选的实施方式,所述处理器具体用于:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
作为一种可选的实施方式,所述处理器具体还用于:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
作为一种可选的实施方式,所述处理器具体用于:
若所述文本数据与所述库位置及表位置确定的库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
第三方面,本发明提供一种分库分表的数据校验装置,该装置包括获取表格数据模块、文本文件存储模块、取模运算模块、比对模块,其中:
获取表格数据模块,用于获取与检验数据类型对应的关系型数据库中存储的表格数据;
文本文件存储模块,用于根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
取模运算模块,用于对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对模块,用于比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
作为一种可选的实施方式,所述获取表格数据模块具体用于:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
作为一种可选的实施方式,所述文本文件存储模块具体用于:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
作为一种可选的实施方式,所述比对模块具体还用于:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
作为一种可选的实施方式,所述比对模块具体用于:
若所述文本数据与所述库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
第四方面,本发明提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面所述方法的步骤。
本发明提供的一种分库分表的数据校验方法及设备,具有以下有益效果:
针对百万级、千万级的分库分表的数据,无需耗费巨大的人力和时间,能够在较短的时间内高效的验证分库分表后各分库及各分表中数据的准确性,提高分库分表的数据校验的有效性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分库分表的数据校验方法实施流程图;
图2为本发明实施例提供的一种关系型数据库及对应的分库分表的示意图;
图3为本发明实施例提供的一种通过多线程高并发的形式对分库分表的数据进行校验的方法流程图;
图4为本发明实施例提供的一种分库分表的数据校验方法的具体实施步骤流程图;
图5为本发明实施例提供的一种分库分表的数据校验设备示意图;
图6为本发明实施例提供的一种分库分表的数据校验装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前对关系型数据库进行分库分表后,分库分表的数据的验证主要采用人工验证的方式,对于百万级、千万级的数据验证,如果每个数据都进行人工验证无疑是不现实的,不仅耗费巨大的人力和时间,而且也不能保证数据校验的准确性。
对分库分表的数据验证的主要目的在于,验证关系型数据库进行分库分表后,关系型数据库中的数据是否正确的落入切分的库及表中,也可以理解为若关系型数据库中的数据正确的落入切分的库及表中,则切分的库及表中存储的数据与关系型数据库中的数据是一致的,若关系型数据库中的数据没有正确的落入切分的库及表中,则切分的库及表中未存储数据。
本实施例中的关系型数据库中存储的数据可以理解为表格数据,即以行和列的形式存储数据。
本实施例中的分库分表,可以理解为关系型数据库进行切分后得到的多个数据库及多个表格,其中,所述切分后得到的多个数据库中包含一个或多个表格,用于存储所述关系型数据库中的表格数据。
为了解决目前人工验证分库分表的数据的低效率、不准确的问题,本发明实施例提供了一种分库分表的数据校验方法,能够高效的在短时间内完成分库分表的数据的验证。
如图1所示,本实施例提供的一种分库分表的数据校验方法的实施流程如下所示:
步骤100、获取与检验数据类型对应的关系型数据库中存储的表格数据;
需要说明的是,本实施例可以针对不同类型的关系型数据库,对不同类型的关系型数据库进行分库分表后得到的分库分表的数据进行验证,能够应用于不同的场景,具体在应用的过程中,只需要根据关系型数据库的地址去与该地址相同的环境上验证分库分表的数据的准确性,能够更加灵活的对不同的分库分表的数据进行验证。
作为一种可选的实施方式,获取与检验数据类型对应的关系型数据库,包括如下任一种方式:
方式1、获取与注册数据类型对应的关系型数据库;
在该应用场景下,本实施例可以对存储了注册数据类型的关系型数据库进行分库分表的数据进行验证,提高验证的高效性和准确性。
容易理解的是,关系型数据库中存储了大量用户的注册数据,为了减少关系型数据库的负担,缩短查询时间,通常会将关系型数据库进行切分得到多个分库及分表,将存储的大量用户的注册数据存储到各个分库及分表中,用于使得用户登录时,根据从分库及分表中查询的注册数据进行用户的正常登录,若分库分表中的注册数据与所述关系型数据库中存储的注册数据一致,则用户可以正常登录,否则,用户登录失败。
方式2、获取与订单数据类型对应的关系型数据库;
在该应用场景下,本实施例可以对存储了订单数据类型的关系型数据库进行分库分表的数据进行验证,提高验证的高效性和准确性。
方式3、获取与账号数据类型对应的关系型数据库。
在该应用场景下,本实施例可以对存储了账号数据类型的关系型数据库进行分库分表的数据进行验证,提高验证的高效性和准确性。
需要说明的是,本实施例中的上述应用场景仅为示例,本实施例中提供的分库分表的数据校验方法不仅限于上述应用场景,只要符合关系型数据库进行分库分表后得到的分库分表的数据,就可以通过本实施例中的方法对分库分表的数据进行校验,本实施例对进行分库分表的数据校验的应用场景不作过多限定。
步骤101、根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
本实例中可以根据所述关系型数据库的数据量,确定将关系型数据库中的部分或全部的表格数据存储到文本文件,以对所述部分或全部的表格数据进行切分后得到的分库分表的数据进行验证。
作为一种可选的实施方式,若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
作为一种可选的实施方式,若所述关系型数据库的数据量不在预设阈值范围内,则将关系型数据库中的部分表格数据存储到文本文件。
容易理解的是,若所述关系型数据库的数据量为百万级的数据量,且在预设阈值范围内,则将关系型数据库中的百万级的数据量都存储到文本文件;
若所述关系型数据库的数据量为千万级的数据量,且不在预设阈值范围内,则可以随机抽取关系型数据库中的百万级的数据量,将抽取的百万级的数据量存储到文本文件。
这样能够保证数据验证的准确率的同时,最大程度的提高数据验证的效率。
作为一种可选的实施方式,所述文本文件包括但不限于如下任一种:
字符分隔值CSV文件;或
文本文档TXT文件;或
数据DAT文件。
所述文本文件能够以纯文本的形式存储表格数据(包括数字和文本)。
步骤102、对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
如图2所示,关系型数据库对应的分库为8个,每个分库中的分表为8个,关系型数据库存储的表格数据能够对应分到8*8=64张分表中;
本实施例中通过对文本数据进行取模运算(也可称为分库分表寻址算法),能够得到关系型数据库中的表格数据对应分到哪个分库及哪个分表中,即能够确定文本数据对应的库位置及表位置。
其中,以关系型数据库对应8个分库,64张分表为例,对关系型数据库中的文本数据进行取模运算的方式如下所示:
#a=100000000000115;
#table=a%64;
#datebase=table%64%8。
步骤103、比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
实施中,若所述文本数据与所述库位置及表位置确定的库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述文本数据与所述库位置及表位置确定的库及表中存储的数据不同,则确定所述库及表中存储的数据不正确;
一般的,在对关系型数据库进行分库分表时,可能导致关系型数据库中的数据并未落入分库分表中,也可理解为与该数据对应的分库分表中并未存储数据,则此时说明分库分表的数据不正确;
因此,若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
代码开发人员可以根据输出的错误提示信息,定位代码中的漏洞,从而更加快捷的对代码进行优化。
作为一种可选的实施方式,通过如下方式比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据:
通过结构化查询语言(SQL,Structured Query Language),查询所述库位置及表位置确定的库及表中存储的数据,若查询到存储的数据和所述文本数据一致,则确定所述库及表中存储的数据正确,若未查询到存储的数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
本实施例还提供一种通过多线程高并发的形式,对分库分表的数据进行校验的方法,实施中,若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
可选的,通过多线程高并发的形式,对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
如图3所示,具体实施的流程如下:
步骤300、获取与检验数据类型对应的关系型数据库中存储的表格数据;
步骤301、根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
步骤302、判断至少部分表格数据的数据量大于预设值,若是执行步骤303,否则执行步骤304;
步骤303、通过多线程高并发的形式,对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
其中,同时启动多个线程执行任务,其中每个线程执行如下任务:
在每条线程下,对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据;
步骤304、对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
本实施例可以在分库分表的数据量较大时(即至少部分表格数据的数据量大于预设值时),通过采用多线程高并发的形式,同时启动多条线程进行分库分表的数据的校验,能够极大的提高校验的效率。
下面对本实施例提供的一种分库分表的数据校验方法的具体实施步骤进行说明,如图4所示:
步骤400、获取与检验数据类型对应的关系型数据库中存储的表格数据;
步骤401、根据所述关系型数据库的数据量在预设阈值范围内,确定将关系型数据库中的全部表格数据存储到文本文件;
步骤402、对所述文本文件中的文本数据进行取模运算;
步骤403、确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
步骤404、通过结构化查询语言查询所述库位置及表位置确定的库及表中存储的数据;
步骤405、比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据;
步骤406、判断是否查询到存储的数据和所述文本数据一致,若是执行步骤407,否则执行步骤408;
步骤407、确定所述库及表中存储的数据正确;
步骤408、确定所述库及表中存储的数据不正确并输出错误提示信息。
基于相同的发明构思,本发明实施例还提供了一种分库分表的数据校验设备,由于该设备即是本发明实施例中的方法中的设备,并且该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,该设备包括:处理器500以及存储器501,其中,所述存储器501存储有程序代码,当所述程序代码被所述处理器500执行时,使得所述处理器500执行如下步骤:
获取与检验数据类型对应的关系型数据库中存储的表格数据;
根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
作为一种可选的实施方式,所述处理器500具体用于:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
作为一种可选的实施方式,所述处理器500具体用于:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
作为一种可选的实施方式,所述处理器500具体还用于:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
作为一种可选的实施方式,所述处理器500具体用于:
若所述文本数据与所述库位置及表位置确定的库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
基于相同的发明构思,本发明实施例还提供了一种分库分表的数据校验装置,由于该装置即是本发明实施例中的方法中的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,该装置包括获取表格数据模块600、文本文件存储模块601、取模运算模块602、比对模块603,其中:
获取表格数据模块600,用于获取与检验数据类型对应的关系型数据库中存储的表格数据;
文本文件存储模块601,用于根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
取模运算模块602,用于对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对模块603,用于比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
作为一种可选的实施方式,所述获取表格数据模块600具体用于:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
作为一种可选的实施方式,所述文本文件存储模块601具体用于:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
作为一种可选的实施方式,所述比对模块603具体还用于:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
作为一种可选的实施方式,所述比对模块603具体用于:
若所述文本数据与所述库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
基于相同的发明构思,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:
获取与检验数据类型对应的关系型数据库中存储的表格数据;
根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种分库分表的数据校验方法,其特征在于,该方法包括:
获取与检验数据类型对应的关系型数据库中存储的表格数据;
根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
2.根据权利要求1所述的方法,其特征在于,获取与检验数据类型对应的关系型数据库,包括:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
3.根据权利要求1所述的方法,其特征在于,根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件,包括:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
4.根据权利要求1所述的方法,其特征在于,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,还包括:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
5.根据权利要求1所述的方法,其特征在于,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确,包括:
若所述文本数据与所述库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
6.一种分库分表的数据校验设备,其特征在于,该设备包括:处理器以及存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如下步骤:
获取与检验数据类型对应的关系型数据库中存储的表格数据;
根据所述关系型数据库的数据量,将关系型数据库中的至少部分表格数据存储到文本文件;
对所述文本文件中的文本数据进行取模运算,确定所述文本数据在关系型数据库对应的多个分库中的库位置及分库的多个分表中的表位置;
比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据,根据比对结果确定所述库及表中存储的数据是否正确。
7.根据权利要求6所述的设备,其特征在于,所述处理器具体用于:
获取与注册数据类型对应的关系型数据库;或
获取与订单数据类型对应的关系型数据库;或
获取与账号数据类型对应的关系型数据库。
8.根据权利要求6所述的设备,其特征在于,所述处理器具体用于:
若所述关系型数据库的数据量在预设阈值范围内,则将关系型数据库中的全部表格数据存储到文本文件。
9.根据权利要求6所述的设备,其特征在于,所述处理器具体还用于:
若所述至少部分表格数据的数据量大于预设值,则通过多线程高并发的形式,比对所述文本数据与所述库位置及表位置确定的库及表中存储的数据。
10.根据权利要求6所述的设备,其特征在于,所述处理器具体用于:
若所述文本数据与所述库位置及表位置确定的库及表中存储的数据相同,则确定所述库及表中存储的数据正确;
若所述库及表中未存储所述文本数据,则确定所述库及表中存储的数据不正确并输出错误提示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911205306.XA CN110909004A (zh) | 2019-11-29 | 2019-11-29 | 一种分库分表的数据校验方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911205306.XA CN110909004A (zh) | 2019-11-29 | 2019-11-29 | 一种分库分表的数据校验方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110909004A true CN110909004A (zh) | 2020-03-24 |
Family
ID=69820854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911205306.XA Withdrawn CN110909004A (zh) | 2019-11-29 | 2019-11-29 | 一种分库分表的数据校验方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110909004A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666286A (zh) * | 2020-05-21 | 2020-09-15 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
CN111680313A (zh) * | 2020-06-08 | 2020-09-18 | 南京领行科技股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN111770002A (zh) * | 2020-06-12 | 2020-10-13 | 南京领行科技股份有限公司 | 测试数据转发控制方法、装置、可读存储介质和电子设备 |
CN113094262A (zh) * | 2021-03-29 | 2021-07-09 | 四川新网银行股份有限公司 | 一种基于数据库分库分表的生产数据进行测试的方法 |
-
2019
- 2019-11-29 CN CN201911205306.XA patent/CN110909004A/zh not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666286A (zh) * | 2020-05-21 | 2020-09-15 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
CN111666286B (zh) * | 2020-05-21 | 2023-06-30 | 微民保险代理有限公司 | 分库分表检测方法、装置、计算机设备和存储介质 |
CN111680313A (zh) * | 2020-06-08 | 2020-09-18 | 南京领行科技股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN111680313B (zh) * | 2020-06-08 | 2022-06-28 | 南京领行科技股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN111770002A (zh) * | 2020-06-12 | 2020-10-13 | 南京领行科技股份有限公司 | 测试数据转发控制方法、装置、可读存储介质和电子设备 |
CN113094262A (zh) * | 2021-03-29 | 2021-07-09 | 四川新网银行股份有限公司 | 一种基于数据库分库分表的生产数据进行测试的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909004A (zh) | 一种分库分表的数据校验方法及设备 | |
CN112559554B (zh) | 一种查询语句优化方法及装置 | |
US10353900B2 (en) | System and method for creating an intelligent synopsis of a database using re-partitioning based sampling | |
US20140033175A1 (en) | Computing device and method for creating test cases of software program | |
EP2862101B1 (en) | Method and a consistency checker for finding data inconsistencies in a data repository | |
US11269880B2 (en) | Retroreflective clustered join graph generation for relational database queries | |
CN111857721B (zh) | Sql语句的验证方法、数据获取方法、设备及存储装置 | |
CN109714249B (zh) | 一种小程序消息的推送方法及相关装置 | |
US9600514B2 (en) | Methods and systems for detecting data divergence and inconsistency across replicas of data within a shared-nothing distributed database | |
CN112948473A (zh) | 数据仓库的数据处理方法、装置、系统及存储介质 | |
CN107229681B (zh) | 一种数据库操作方法及装置 | |
US10782942B1 (en) | Rapid onboarding of data from diverse data sources into standardized objects with parser and unit test generation | |
CN112579591B (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
CN111078677A (zh) | 数据录入方法及装置 | |
CN110908978B (zh) | 数据库数据结构验证方法及装置 | |
CN117539925A (zh) | 一种数据处理方法、装置、介质和设备 | |
CN111191430B (zh) | 自动建表方法、装置、计算机设备和存储介质 | |
US11880370B2 (en) | Retroreflective join graph generation for relational database queries | |
CN110580170A (zh) | 软件性能风险的识别方法及装置 | |
US10330728B2 (en) | Method and apparatus for obtaining a maximally compressed verification test set | |
CN114020640A (zh) | 自动化测试方法及装置 | |
US20220121819A1 (en) | Unsupervised embedding methods for similarity based industrial component model requesting systems | |
CN116431502A (zh) | 代码测试方法、装置、设备和存储介质 | |
CN108304430B (zh) | 一种修改数据库的方法 | |
CN115062083A (zh) | 一种数据处理的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200324 |
|
WW01 | Invention patent application withdrawn after publication |