CN116303525A - 数据库的数据处理方法、存储介质与设备 - Google Patents

Abstract

本发明提供了一种数据库的数据处理方法、存储介质与设备，该数据处理方法包括对事务进行解析，得到解析结果；根据所述解析结果筛选得到待处理事务；根据所述待处理事务中的语句判断所述待处理事务是否为目标事务；对所述目标事务的预设位置增加预设处理标记，并进行打包；发送打包后的所述目标事务至目标端。本发明的数据库数据处理方法预先标记事务属性，使得在源端解析的过程中提前识别出包含预设处理标记的事务，标记在事务属性上，当此类事务传输到目标端时，目标端就可以根据该属性，选择比较快的入库方式，加快数据处理效率。

Description

数据库的数据处理方法、存储介质与设备

技术领域

本发明涉及数据库领域，特别是涉及一种数据库的处理方法、存储介质与设备。

背景技术

在利用数据同步软件进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。

在第二阶段进行增量数据同步时，通过分析数据库日志(REDO LOG)获取增量数据，从而实现数据实时同步是一种常用的实时数据复制技术。这种技术通过解析源数据库的在线日志(ONLINE LOG)或者归档日志(ARCHIVE LOG)，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，进而保持源端和目标数据库的数据一致性。

对于某些分析型数据库系统，通常出现类似INSERT INTO SELECT或者CREATETABLE AS的操作，此类操作的特点是会短时间内产生超大事务，并且全部为新增数据。

数据同步软件是一种通用性的软件，需要同时处理INSERT、UPDATE、DELETE以及DDL操作，其在目标端入库时，由于无法预知下一条语句的属性(INSERT、UPDATE、DELETE)，往往会一条一条语句的处理；如果遇到类似INSERT INTO SELECT或者CREATE TABLE AS等操作产生的超大事务，即便是这些操作会被解析到一个事务当中，也会被当作一条一条的、独立的INSERT操作来处理。

对于千万级别的表，使用INSERT INTO SELECT的方式复制，在源端可能仅需要几分钟时间，到了目标端入库可能就需要花费几个小时。

发明内容

本发明的一个目的是要提供一种能够解决上述任一问题的数据库的数据处理方法、存储介质与设备。

本发明一个进一步的目的是要提升数据处理效率。

特别地，本发明提供了一种数据库的数据处理方法，该数据处理方法包括：

对事务进行解析，得到解析结果；

根据解析结果筛选得到待处理事务；

根据待处理事务中的语句判断待处理事务是否为目标事务；

对目标事务的预设位置增加预设处理标记，并进行打包；

发送打包后的目标事务至目标端。

进一步地，根据解析结果筛选得到待处理事务的步骤包括：

判断解析结果内是否包含用于提交的设定标记；

若是，则确定事务为待处理事务。

进一步地，待处理事务中包括多个语句，根据待处理事务中的语句判断待处理事务是否为目标事务的步骤包括：

对待处理事务增加正确标记；

由头至尾依次确定待处理事务内语句的语句类型；并

根据语句类型对待处理事务的标记进行更新；

在待处理事务的尾部标记仍为正确标记的情况下，确定待处理事务为目标事务。

进一步地，根据语句类型对待处理事务的标记进行更新的步骤包括：

若语句为数据操纵语句，则判断数据操纵语句是否为插入语句；

若是，则判断数据操纵语句涉及的表名称是否与数据库执行的上一条数据操纵语句中的表名称相同；

若否，则对待处理事务进行错误标记；

若是，则对待处理事务进行正确标记，并记为目标事务。

进一步地，在判断数据操纵语句为插入语句的步骤之后还包括：

在数据操纵语句不是插入语句的情况下，对待处理事务进行错误标记。

进一步地，根据语句类型对待处理事务的标记进行更新的步骤包括：

若语句为数据定义语句，则对待处理事务进行错误标记。

进一步地，预设位置为目标事务的头部位置；

进一步地，预设处理标记为批量处理标记。

根据本发明的另一方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的数据库集群的数据处理方法。

根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种的数据库集群的数据处理方法。

本发明的数据库的数据处理方法包括对事务进行解析，得到解析结果；根据所述解析结果筛选得到待处理事务；根据所述待处理事务中的语句判断所述待处理事务是否为目标事务；对所述目标事务的预设位置增加预设处理标记，并进行打包；发送打包后的所述目标事务至目标端。本发明的数据处理方法在数据同步软件遇到了针对单表的、全部为新增数据的超大事务时，同步软件在目标端入库的过程中，可以充分利用数据库提供的批量入库工具或者类似途径，快速加载此类事务，从而提高数据同步软件的同步性能。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的数据库的数据处理方法的示意性步骤图；

图2是根据本发明又一个实施例的数据库的数据处理方法中对于SQL语句增加开始/提交标识的示意图；

图3是根据本发明又一个实施例的数据库的数据处理方法中将事务序列化的示意图；

图4是根据本发明又一个实施例的数据库的数据处理方法中对SQL语句方式的事务增加预设处理标记的示意图；

图5根据本发明又一个实施例的数据库的数据处理方法中对序列化方式的事务增加预设处理标记的示意图；

图6是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图；

图7是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图；

图8是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图；

图9是根据本发明一个实施例的机器可读存储介质的示意性框图；以及

图10是根据本发明一个实施例的计算机设备的示意性框图。

具体实施方式

图1是根据本发明一个实施例的数据库的数据处理方法的示意性步骤图。本实施的数据库的数据处理方一般性地可以应用于逻辑同步软件。逻辑同步软件通常以事务为单位做数据的同步。逻辑同步软件的源端在解析数据时，会将每个事务打包在一起，传输到目标端。打包的行为比较灵活，可以使为SQL(Structured Query Language)语句的前后增加BEGIN(开始)/COMMIT(提交)标识也可以是将整个事务序列化为二进制，或者使用XML(eXtensible Markup Language)、JSON(JavaScript Object Notation)的结构化的表达方式。比如，对于SQL语句增加标识的做法如图2所示。将事务序列化的方案为定义一个事务的结构，比如面向对象语言的对象，或者类似Protobuf编码方式的结构体描述，类似如图3所示，其中操作1可以为DML或者DDL，操作类型可以为INSERT、UPDATE、DELETE等。

本实施例的数据库的数据处理方法的步骤包括：

步骤S202，对事务进行解析，得到解析结果。解析结果包括用于提交的设定标记，比如COMMIT标记。

步骤S204，根据解析结果筛选得到待处理事务。

步骤S206，根据待处理事务中的语句判断待处理事务是否为目标事务。

步骤S208，对目标事务的预设位置增加预设处理标记，并进行打包。预设位置为目标事务的头部位置。预设处理标记为批量处理标记，如BATCH_INSERT标记。图4是根据本发明又一个实施例的数据库的数据处理方法中对SQL语句方式的事务增加标记的示意图。图5根据本发明又一个实施例的数据库的数据处理方法中对序列化方式的事务增加标记的示意图。

步骤S210，发送打包后的目标事务至目标端。

本发明的数据库数据处理方法通过预先标记事务属性，使得在源端解析的过程中提前识别出包含预设处理标记的事务，标记在事务属性上，当此类事务传输到目标端时，目标端就可以根据该属性，选择比较快的入库方式。

目标端在接收到源端传递过来的事务时，可以根据事务头上的标记进行操作。对于事务头上标记了预设处理标记的事务，可以判定当前事务时针对同一张表的、全部为预设处理标记对应操作，对于此类事务，目标端可以做针对性的优化。

图6是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图。如图6所示，本实施例的数据库的数据处理方法中根据解析结果筛选得到待处理事务的步骤包括：

步骤S302，判断解析结果内是否包含用于提交的设定标记。设定标记可以为COMMIT标记。若是，则执行步骤S302。

步骤S304，确定所述事务为待处理事务。

图7是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图。如图7所示，本实施例的数据库的数据处理方法中根据所述待处理事务中的语句判断所述待处理事务是否为目标事务的步骤包括：

步骤S402，对待处理事务增加正确标记(TRUE)；

步骤S404，由头至尾依次确定待处理事务内语句的语句类型。语句类型包括DML语句和DDL语句。

步骤S406，根据语句类型对待处理事务的标记进行更新。

步骤S408，在更新至所述待处理事务的尾部时，所述标记仍为所述正确标记，则确定所述待处理事务为目标事务。目标事务全部是针对同一张表的INSERT语句，判定目标事务是INSERT INTO SELECT或者CREATE TABLE AS生成的了。

图8是根据本发明又一个实施例的数据库的数据处理方法的示意性步骤图。如图8所示，本实施例的根据所述语句类型判断所述待处理事务是否为目标事务的步骤包括：

步骤S504，确定语句为数据操纵语句，该数据操纵语句为DML语句。

步骤S506，判断数据操纵语句是否为插入语句，该插入语句为INSERT语句。若是，则执行步骤S508。若否，则该DML语句是UPDATE语句或者DELETE语句，则增加错误标记(FALSE)。

步骤S508，判断数据操纵语句涉及的表名称是否与上一条数据操纵语句中的表名称相同。若是，则执行步骤S510，若否，则执行步骤S512。

步骤S510，对待处理事务进行正确标记(TRUE)。

步骤S512，对待处理事务进行错误标记(FALSE)。

本实施例的数据库的数据处理方法中根据语句类型对待处理事务的标记进行更新的步骤还包括：若语句为数据定义语句，则对待处理事务进行错误标记。

目标端在接收到源端传递过来的事务，可以根据事务头上的标记进行操作，对于事务头上标记了BATCH_INSERT的事务，可以判定当前事务时针对同一张表的全部为INSERT的操作的目标事务，对于目标事务，目标端可以做针对性的优化。针对MySQL数据库，可以将目标事务预先生成CSV(Comma-Separated Values，逗号分隔值)文件，然后调用MySQL的LOAD DATA INFILE命令入库。针对Oracle，可以将目标事务预先生成CSV文件，然后调用Oracle的sqlldr工具入库。针对PostgreSQL，可以将目标事务预先生成CSV文件，然后调用PostgreSQL的copy语句入库。在其他实施例中，可以不适用外部工具入库，不用将事务转存为csv文件，直接使用JDBC的批量入库特性，比如PostgreSQL的JDBC本身就提供了特殊的COPY接口，可以以数据流的方式入库数据；SQL Server提供了bulk Copy接口等等。在一些其他实施例中，目标端入库时，可以采用并行入库的方式。由于对目标事务进行了预设处理标记，目标端同步软件在一开始就知道了目标事务是针对同一张表的，全部为插入语句的巨大事务；由于插入操作本身并无先后之分，目标端入库时就可以将目标事务进行拆分，比如分成5份，同时产生5个线程或者进程，并行将5份数据入库。

为了防止负优化，同步软件的目标端还需要引入阈值，用来确定目标事务中的操作超过多少个才用上述的入库方案。比如一个事务中仅有2条语句，将其写为csv文件，再调用外部工具的性能，显然还不如直接执行2条INSERT语句快；如果一个事务中含有两千万条数据，那么写csv文件然后调用外部加载工具就可以带来比较可观的性能收益。

本实施例提出的方案，不仅能够作用于INSERT INTO SELECT语句和CREATE TABLEAS语句；针对同一张表的，全部为INSRET的语句的事务，也可以产生有益效果。

本实施例还提供了一种机器可读存储介质和计算机设备。图9是根据本发明一个实施例的机器可读存储介质的示意图，图10是根据本发明一个实施例的计算机设备的示意图。

机器可读存储介质40其上存储有机器可执行程序41，机器可执行程序41被处理器执行时实现上述任一实施例的数据库的数据处理方法。

计算机设备50可以包括存储器520、处理器510及存储在存储器520上并在处理器510上运行的机器可执行程序41，并且处理器510执行机器可执行程序41时实现上述任一实施例的数据库的数据处理方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本实施例的描述而言，机器可读存储介质40可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质40甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备50可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备50可以是云计算节点。计算机设备50可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备50可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备50可以包括适于执行存储的指令的处理器510、在操作期间为所述指令的操作提供临时存储空间的存储器520。处理器510可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器520可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器510也可以通过系统互连链接到适于将计算机设备50连接到显示设备的显示接口。显示设备可以包括作为计算机设备50的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备50的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备50连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库的数据处理方法，包括：

对事务进行解析，得到解析结果；

根据所述解析结果筛选得到待处理事务；

根据所述待处理事务中的语句判断所述待处理事务是否为目标事务；

对所述目标事务的预设位置增加预设处理标记，并进行打包；

发送打包后的所述目标事务至目标端。

2.根据权利要求1所述的数据处理方法，其中，所述根据所述解析结果筛选得到待处理事务的步骤包括：

判断所述解析结果内是否包含用于提交的设定标记；

若是，则确定所述事务为待处理事务。

3.根据权利要求1所述的数据处理方法，其中，所述待处理事务中包括多个语句，所述根据所述待处理事务中的语句判断所述待处理事务是否为目标事务的步骤包括：

对所述待处理事务增加正确标记；

由头至尾依次确定所述待处理事务内语句的语句类型；并

根据语句类型对所述待处理事务的标记进行更新；

在更新至所述待处理事务的尾部时，若所述标记仍为所述正确标记则确定所述待处理事务为目标事务。

4.根据权利要求3所述的数据处理方法，其中，根据语句类型对所述待处理事务的标记进行更新的步骤包括：

若所述语句为数据操纵语句，则判断所述数据操纵语句是否为插入语句；

若是，则判断所述数据操纵语句涉及的表名称是否与上一条数据操纵语句中的表名称相同；

若否，则对所述待处理事务进行错误标记；

若是，则对所述待处理事务进行正确标记。

5.根据权利要求4所述的数据处理方法，其中，在判断所述数据操纵语句为插入语句的步骤之后还包括：

在所述数据操纵语句不是插入语句的情况下，对所述待处理事务进行所述错误标记。

6.根据权利要求5所述的数据处理方法，其中，所述根据语句类型对所述待处理事务的标记进行更新的步骤包括：

若所述语句为数据定义语句，则对所述待处理事务进行所述错误标记。

7.根据权利要求1所述的数据处理方法，其中，

所述预设位置为所述目标事务的头部位置。

8.根据权利要求1所述的数据处理方法，其中，

所述预设处理标记为批量处理标记。

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的数据库的数据处理方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的数据库的数据处理方法。

Images