CN113297317A - 数据表同步方法、装置、电子设备和存储介质 - Google Patents

数据表同步方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113297317A
CN113297317A CN202010600163.9A CN202010600163A CN113297317A CN 113297317 A CN113297317 A CN 113297317A CN 202010600163 A CN202010600163 A CN 202010600163A CN 113297317 A CN113297317 A CN 113297317A
Authority
CN
China
Prior art keywords
statement
target
sub
ddl
dml
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010600163.9A
Other languages
English (en)
Inventor
成萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010600163.9A priority Critical patent/CN113297317A/zh
Publication of CN113297317A publication Critical patent/CN113297317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了数据表同步方法、装置、电子设备和存储介质。所述方法的实施例包括:响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行DDL语句的时间间隔,获取针对未执行DDL语句的分表的第一DML语句,并将第一DML语句指示的数据表操作同步至目标表;在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表。能够使目标表中的数据自动保持同步更新,保证了数据分析的准确性,同时降低了人力成本。

Description

数据表同步方法、装置、电子设备和存储介质
技术领域
本申请实施例涉及计算机技术领域,特别是涉及一种数据表同步方法、装置、电子设备和存储介质。
背景技术
随着计算服务的不断发展,数据库中的数据量越来越大。为保证及时响应用户的数据访问请求,通常需要在数据库的单个数据表的数据量大于某一预设值时,将其拆分成多个分表,并使各分表具有相同的表结构和不同的记录。在需要对分表中的数据进行分析时,将具有相同表结构的各分表合并为一个表,以便于数据分析。
现有的方式,通常通过获取某一时刻的分表的数据,并将该时刻的分表中的数据合并至一个目标表,从而对该目标表中的数据进行分析。然而,随着数据库访问的不断进行,分表的表结构和记录通常会实时产生更新,现有方式无法自动使目标表中的数据保持同步更新,为使基于目标表的数据分析更准确,需要人工基于分表的更新情况手动更新目标表,导致人力成本较高。
发明内容
本申请实施例提出了数据表同步方法、装置、电子设备和计算机可读介质,以实现目标表中的数据自动保持同步更新,从而在保证数据分析的准确性的同时,降低人力成本。
第一方面,本申请实施例提供了一种数据表同步方法,包括:响应于检测到针对目标表的分表的数据定义语言DDL语句,在目标表的分表依次执行DDL语句的过程中,获取针对未执行DDL语句的分表的第一数据操纵语言DML语句,并将第一DML语句指示的数据表操作同步至目标表,其中,目标表由分表合并生成,目标表与分表具有相同表结构;在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表。
第二方面,本申请实施例提供了一种数据表同步方法,包括:将目标表的分表划分至不同的同步任务中,其中,目标表由分表合并生成,目标表与分表具有相同表结构;响应于检测到针对目标表的分表的DDL语句,并行执行不同的同步任务中的第一子任务,其中,第一子任务用于将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句;在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,其中,第二子任务用于将DDL语句指示的数据表操作同步至目标表。
第三方面,本申请实施例还提供了一种数据表同步装置,包括:第一同步单元,被配置成响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行DDL语句的过程中,获取针对未执行DDL语句的分表的第一表,其中,目标表由分表合并生成,目标表与分表具有相同表结构;第二同步单元,被配置成在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表。
第四方面,本申请实施例还提供了一种数据表同步装置,包括:任务划分单元,被配置成将目标表的分表划分至不同的同步任务中,其中,目标表由分表合并生成,目标表与分表具有相同表结构;第一同步单元,被配置成响应于检测到针对分表的DDL语句,并行执行不同的同步任务中的第一子任务,其中,第一子任务用于将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句;第二同步单元,被配置成在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,其中,第二子任务用于将DDL语句指示的数据表操作同步至目标表。
第五方面,本申请实施例还提供了一种电子设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的数据表同步方法。
第六方面,本申请实施例还提供了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的数据表同步方法。
与现有技术相比,本申请实施例包括以下优点:
在本申请实施例中,在检测到针对目标表的分表的DDL语句后,首先在目标表的分表依次执行DDL语句的过程中,将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句,因而能够将对尚未发生表结构变化的分表的记录修改操作同步至目标表,使目标表中的记录能够与未发生表结构变化的分表的记录保持同步。在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表,从而能够将针对分表的表结构的修改操作同步至目标表,使目报表的表结构同步进行更改。由此,能够实现目标表的自动同步更新,保证了基于目标表进行数据分析的准确性,同时降低了人力成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例的一种单任务场景的数据同步过程示意图;
图2是本申请实施例的一种多任务场景的数据同步过程示意图;
图3是本申请的数据表同步方法的一个实施例的流程图;
图4是本申请的数据表同步方法的又一个实施例的流程图。
图5是本申请的数据表同步装置的实施例的结构示意图;
图6是本申请的数据表同步装置的又一个实施例的结构示意图;
图7是本申请一实施例提供的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
目前,在很多数据处理场景中,需要进行数据表的拆分和合并。例如,数据通常存储于操作型数据库中。为保证数据访问过程的响应速度,通常会对操作型数据库中的单个数据表的数据量进行限制。在数据量大于限制值时,将单个数据表拆分成多个分表,并使各分表具有相同的表结构和不同的记录。
然而,在进行数据分析时,由于对数据的读写量通常较大,若直接从操作型数据库中读取数据,则会影响响应速度。由此,需要将各分表的数据同步至另一数据库,如分析型数据库。分析型数据库主要用于提供数据分析所需要的数据,无需满足用户的实时读写需求,因而无需对单个数据表的数据量进行限制。在将分表中的数据同步至分析型数据库时,通常会合并为一张单表(可称为目标表),以便于进行的查询和分析。
但是,随着数据库访问的不断进行,分表的表结构和记录通常会实时产生更新,现有技术仅能够将某一时刻的分表中的数据同步至目标表,无法在此操作后使目标表的表结构以及其中的数据保持同步更新,导致基于目标表的数据分析的准确性较低。为使基于目标表的数据分析更准确,需要人工基于分表的更新情况手动更新目标表,导致人力成本较高。因而,亟需能够使目标表中的数据保持同步更新的方案,从而保证基于目标表的数据分析的准确性的同时,降低人力成本。
图1是一种单任务场景的数据同步过程示意图。此处理过程可应用于通过单个任务进行数据同步的场景。具体的处理过程包括以下步骤:
步骤101,响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行DDL语句的过程中,获取针对未执行DDL语句的分表的第一DML语句,并将第一DML语句指示的数据表操作同步至目标表。
此处,目标表可预先基于具有相同表结构的分表合并生成。以上述场景为例,分表可以是操作型数据库中的具有相同表结构的数据表。目标表可以是分析型数据库中由各分表合并而成的数据表。
数据表可由表名、字段和记录三个部分组成。数据表的表结构由数据表的名称和数据表包含的字段决定。字段具有字段名、字段类型、及宽度等属性。名称及字段(包括字段中的各属性)相同的数据表,为具有相同表结构的数据表。由于目标表由各分表合并而成,因而目标表的字段与各分表的字段可以是相同的。
若需要进行数据表进行修改,可以通过SQL(Structured Query Language,结构化查询语言)语句实现。SQL是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
其中,SQL语句包括DDL(Data Definition Language,数据定义语言)语句、DML(Data Manipulation Language,数据操纵语言)语句以及一些其他类型的语句。DDL是用于描述数据库中要存储的现实世界实体的语言。通过DDL语句,可对数据表的表结构进行修改,如增加字段、修改字段、删除字段、修改数据表名称层。DML是用于实现对数据库中的记录的基本操作的语言。通过DML语句,可在数据表中增加记录、删除记录、修改记录等。
数据库的操作日志中可记录有各数据表的操作记录。数据表的每一次操作可对于一个SQL语句。因而可通过读取各分表所在数据库的操作日志,实时检测针对分表的DDL和DML语句。
在用户通过DDL语句对目标表的分表进行修改时,由于各分表是拆分而成的具有相同表结构的数据表,因而需要对目标表的各个分表(即目标表的全部分表)均执行表结构修改操作。在实际应用中,数据库中的各项操作都需要按顺序依次执行,对各分表的表结构修改也具有先后顺序,需要逐一地对各分表执行DDL语句。在某一分表执行DDL语句后且在下一分表执行该DDL语句前,通常存在一定时间间隔。因而,目标表的分表依次执行DDL语句的过程,包含每一个分表执行DDL语句的期间以及不同分表依次执行DDL语句的时间间隔。在目标表的某一分表依次执行DDL语句的过程中,通常还存在另一些用户发送的针对该分表或其他分表的DML语句。此处,可以将针对未执行DDL语句的分表的DML语句称为第一DML语句,将针对已执行DDL语句的分表的DML语句称为第二DML语句。
在检测到针对目标表的分表的DDL语句后,若直接将该DDL语句指示的数据表操作同步至目标表,则会使目标表与尚未执行DDL语句的分表的表结构产生差异,导致无法同步第一DML语句。而在对目标表同步DDL语句前,在目标表的分表依次执行DDL语句的过程中,将针对未执行DDL语句的分表的第一DML语句指示的操作同步至目标表,能够将对尚未发生表结构变化的分表的记录修改操作同步至目标表,使目标表中的记录能够与未发生表结构变化的分表的记录保持同步。
在一些示例中,可通过如下步骤获取针对未执行上述DDL语句的分表的第一DML语句:首先,在目标表的分表依次执行上述DDL语句的过程中,获取针对目标表的分表的第一SQL语句流;而后,从上述第一SQL语句流中,选取针对未执行上述DDL语句的分表的第一DML语句。其中,SQL语句流可以包括针对目标表的各分表的各种SQL语句,且可按照SQL语句的接收顺序排列。
需要说明的是,若目标表所在的数据库与分表所在的数据库为同类型数据库时,如均为mySQL数据库,则可直接将第一DML语句发送至目标表所在的数据库,从而对目标表执行同样的操作。若目标表所在的数据库与分表所在的数据库为不同类型的数据库时,还可在发送语句前将第一DML语句转换为适用于目标表所在的数据库的语法,以实现对目标表执行同样的操作。此外,还可以在发送语句前,根据实际需要对第一DML语句进行其他修改。例如,若目标表被设置为与分表不同的表名,则可对第一DML语句中的表名进行修改后,再执行同步操作。
下面以一具体示例进行说明:
若目标表的分表包括分表1、分表2和分表3,且分表1、分表2、分表3需要依次执行DDL语句。以该DDL语句用于指示对分表执行字段增加操作为例,在检测到DDL语句后,可划分为如下几个阶段:
第一阶段,分表1执行DDL语句。可以将分表1执行该字段增加操作的起始时刻记为T1,将结束时刻记为T2。此外,还可以将针对分表1的该DDL语句在SQL语句流中的位置记为O1,将针对分表1的该DDL语句在SQL语句流中的位置记为O2,以分别替代上述T1和T2。
第二阶段,将针对表2和表3的DML语句指示的数据表操作同步至目标表。在对分表1执行该DDL语句后,且在尚未对分表2执行该DDL语句前,获取针对未执行该DDL语句的分表2和分表3的DML语句,如在分表2增加一个记录,在分表3删除一个记录等。并将所获取的针对分表2和分表3的各DML语句所指示的数据表操作同步至目标表。此阶段获取的DML语句可包含T1至T3时段内接收到的针对分表2和分表3的DML语句。此阶段若检测到针对分表1的DML语句,则可忽略。
第三阶段,分表2执行DDL语句。可以将分表2执行该字段增加操作的起始时刻记为T3,将分表2执行该字段增加操作的结束时刻记为T4。此外,还可以将针对分表2的该DDL语句在SQL语句流中的位置(可称为位点)记为O3,将针对分表2的该DDL语句在SQL语句流中的位置记为O4,以分别替代上述T3和T4。
第四阶段,将针对表3的DML语句指示的数据表操作同步至目标表。在对分表2执行该DDL语句后,且在尚未对分表3执行该DDL语句前,获取针对未执行该DDL语句的分表3的DML语句,如在分表3增加一个记录、删除一个记录或者修改一个记录等。并将所获取的针对分表3的各DML语句所指示的数据表操作同步至目标表。此阶段获取的DML语句可包含T3至T5时段内接收到的针对分表3的DML语句。此阶段若检测到针对分表1和表2的DML语句,则可忽略。
第五阶段,分表3执行DDL语句。可以将分表3执行该字段增加操作的起始时刻记为T5,将分表3执行该字段增加操作的结束时刻记为T6。此外,还可以将针对分表3的该DDL语句在SQL语句流中的位置记为O5,将针对分表3的该DDL语句在SQL语句流中的位置记为O6,以分别替代上述T5和T6。
在目标表的分表依次执行DDL语句的过程中,将第一DML语句指示的数据表操作同步至目标表的操作,即为上述第二阶段和第四阶段中所执行的操作。上述第二阶段中所同步的DML语句,即为T1至T3时间区间中针对表2和表3的DML语句,也即O1至O3之间针对表2和表3的DML语句。上述第四阶段中所同步的DML语句,即为T3至T5时间区间中针对表3的DML语句,也即O3至O5之间针对表3的DML语句。
步骤102,在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表。
在目标表的各分表均已执行DDL语句后,各分表的表结构均已更新。若再接收到针对任一分表的DML语句,会因目标表与分表的表结构存在差异导致无法对新的DML语句进行同步。由此,可在各分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表,使目报表的表结构同步进行更改。由此,能够使目标表与分表保持同步,实现目标表中的数据的同步更新,从而提高了基于目标表进行数据分析的准确性。
需要说明的是,与同步上述第一DML语句指示的操作相似,在同步DDL语句指示的操作时,若目标表所在的数据库与分表所在的数据库为同类型数据库时,则可直接将DDL语句发送至目标表所在的数据库,从而对目标表执行同样的操作。若目标表所在的数据库与分表所在的数据库为不同类型的数据库时,还可在发送DDL语句前将DDL语句转换为适用于目标表所在的数据库的语法,以实现对目标表执行同样的操作。此外,还可以在发送DDL语句前,根据实际需要对DDL语句进行其他修改。例如,若目标表被设置为与分表不同的表名,则可对DDL语句中的表名进行修改后,再执行同步操作。
可选的,在将DDL语句指示的数据表操作同步至目标表之后,还可以获取目标时段内针对已执行所述DDL语句的分表的第二DML语句,并将第二DML语句指示的数据表操作同步至所述目标表,其中,目标时段包括目标表的分表依次执行所述DDL语句的过程所经历的时段。该时段可包括每一个分表执行DDL语句的期间以及不同分表依次执行DDL语句的时间间隔。或者,还可以在检测到针对目标表的分表的DDL语句之后,在目标表的分表依次执行DDL语句的过程中,记录针对已执行DDL语句的分表的第二DML语句,并在将DDL语句指示的数据表操作同步至目标表之后,将所记录的第二DML语句指示的数据表操作同步至目标表。
继续上述示例,在第五阶段后,可包括:
第六阶段:将DDL语句指示的数据表操作同步至目标表。
第七阶段:将第二阶段中忽略的针对表1的DML语句指示的数据表操作同步至目标表,以及,将第四阶段中忽略的针对表1和表2的DML语句指示的数据表操作同步至目标表。上述第二阶段中忽略的针对表1的DML语句,即为T1至T3时间区间中针对1的DML语句,也即O1至O3之间针对表1的DML语句。上述第四阶段中忽略的针对表1和表2的DML语句,即为T3至T5时间区间中针对表1和表2的DML语句,也即O3至O5之间针对表1和表2的DML语句。
由此,可在目标表的表结构更新为与分表相同的表结构后,将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表,进一步实现了目标表中的数据的同步更新,从而进一步提高了基于目标表进行数据分析的准确性。
在一些示例中,上述获取目标时段内针对已执行上述DDL语句的分表的第二DML语句,可以包括:首先,将最先执行上述DDL语句的分表作为第一分表,将最后执行上述DDL语句的分表作为第二分表,获取上述第一分表执行上述DDL语句的起始时间和第二分表执行上述DDL语句的结束时间。而后,将上述起始时间至上述结束时间所构成的时段作为目标时段,获取上述目标时段内的第二SQL语句流。最后,从上述第二SQL语句流中,选取针对已执行上述DDL语句的分表的第二DML语句。
在另一些示例中,还可以将针对上述第一分表的DDL语句的位点到针对上述第二分表的DDL语句的位点之间的SQL流作为第二SQL语句流,从而从上述第二SQL语句流中,选取针对已执行上述DDL语句的分表的第二DML语句。其中,某一语句的位点用于指示该语句在SQL流中的位置,可用序号表示。上述目标时段内的第二DML语句,即为针对第一分表的DDL语句的位点到针对第二分表的DDL语句的位点之间的DML语句。
可选的,在将第二DML语句指示的数据表操作同步至目标表之后,响应于接收到针对任一分表的第三DML语句,可将上述第三DML语句指示的操作同步至目标表。
继续上述示例,在第七阶段后,还可包括:
第八阶段:将针对表1、表2和表3的DML语句指示的数据表操作台同步至目标表。
由此,可在目标表的表结构更新为与分表相同的表结构后,且在将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表后,每接收到针对分表的DML语句,均对目标表执行相应的数据表操作,使目标表与分表保持同步更新。
图2是本申请实施例的一种多任务场景的数据同步过程示意图。此处理过程可应用于通过至少两个任务并行进行数据同步的场景。此过程可以由任务管理装置执行,任务管理装置可以是各种电子设备,如服务器等。具体的处理过程包括以下步骤:
步骤201,将目标表的分表划分至不同的同步任务中。
此处,目标表可由分表合并生成,目标表以及各分表可具有相同表结构。可将目标表的分表划分至不同的同步任务中。以图2为例,共有两个同步任务,分别为同步任务A和同步任务B。目标表的分表包括分表1、分表2、分表3、分表4、分表5和分表6。可将分表1、分表2和分表3划分至同步任务A中,将表4、分表5和分表6划分至同步任务B中。
步骤202,响应于检测到针对目标表的分表的DDL语句,并行执行不同的同步任务中的第一子任务。
此处,各同步任务中可包括第一子任务。第一子任务可以用于将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句。此处,可以通过创建不同线程,并行执行各同步任务中的第一子任务。
对于每一个同步任务,该同步任务中的第一子任务的执行过程可参见上述实施例中的同步第一DML语句指示的数据表操作的过程。例如,对于每一个同步任务,可在该同步任务中的分表依次执行上述DDL语句的过程中,获取针对该同步任务中的未执行上述DDL语句的分表的第一DML语句,并将上述第一DML语句同步至目标表。
以图2为例,对于同步任务A,若其负责的分表按照分表1、分表2、分表3的次序执行DDL语句,则可在分表1执行DDL语句的期间以及分表1与分表2之间DDL语句的时间间隔,获取针对分表2和分表3的DML语句,将该DML语句指示的数据库操作同步至目标表。以及,可在分表2执行DDL语句的期间以及分表2和分表3执行DDL语句的时间间隔,获取针对分表3的DML语句,将该DML语句指示的数据库操作同步至目标表。对于同步任务B,可参见同步任务A的处理方式,此处不再赘述。
在一些示例中,对于每一个同步任务,获取针对该同步任务中的未执行上述DDL语句的分表的第一DML语句,可以包括:首先,在该同步任务中的分表依次执行所述DDL语句的过程中,获取针对该同步任务中的分表的第一结构化查询语言SQL语句流;而后,从上述第一SQL语句流中,选取针对该同步任务中未执行上述DDL语句的分表的第一DML语句。
步骤203,在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务。
此处,第二子任务用于将DDL语句指示的数据表操作同步至目标表。由于各同步任务的执行主体在执行同步任务时,仅能够得知自身的任务完成情况,无法获知其他同步任务的任务完成情况,若在某一同步任务中的第一子任务执行完成后,立即执行第二子任务(将DDL语句指示的数据表操作同步至目标表),则会导致目标表的表结构立即发生变更。若此时上有其他同步任务中的第一子任务尚未完成,则因分表与目标表的表结构存在差异将会导致第一子任务无法成功执行。由此,需要确保在各同步任务中的第一子任务均执行完毕后,再执行第二子任务。
此外,由于目标表仅有一个,其中一个同步任务中的第二子任务执行后,目标表的表结构则与各分表的表结构相同,因而各同步任务中的第一子任务均执行完毕后,仅需执行其中一个同步任务中的第二子任务即可,无需执行其他同步任务中的第二子任务。
可选的,在不用的同步任务中的第一子任务均执行完毕后,可通过如下步骤执行其中一个同步任务中的第二子任务:首先,将最先执行完毕的第一子任务所属的同步任务作为目标同步任务,取消上述目标同步任务以外的其余同步任务中的第二子任务。而后,在各同步任务中的第一子任务均执行完毕时,执行上述目标同步任务中的第二子任务。作为示例,同步任务A的执行主体在最先执行完成第一子任务后,可发送表征第一子任务执行完成的消息。该消息中可以包含DDL语句的相关信息,如已执行DDL语句的分表的名称、分表对应的目标表的名称等。此时,可向同步任务A的执行主体返回一个锁,用于使同步任务A的执行主体执行第二子任务,同时避免其他执行主体执行第二子任务。同步任务B的执行主体在执行完成第一子任务执行完成后,也可发送一个表征第一子任务执行完成的消息,在收到该消息后,可向同步任务B的执行主体返回锁已被持有的消息。在接收到所有同步任务的消息后,可向持有锁的同步任务A的执行主体发送执行第二子任务的指令,使之执行第二子任务。
可选的,各同步任务还包括第三子任务。第三子任务用于将第二DML语句指示的数据表操作同步至目标表。第二DML语句为针对已执行上述DDL语句的分表的DML语句。在第二子任务执行完毕后,可并行执行不同的同步任务中的第三子任务。由此,可在目标表的表结构更新为与分表相同的表结构后,将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表,进一步实现了目标表中的数据的同步更新,从而进一步提高了基于目标表进行数据分析的准确性。
在一些示例中,在执行每一个同步任务中的第三子任务时,可首先获取目标时段内针对该同步任务中已执行上述DDL语句的分表的第二DML语句,从而将上述第二DML语句指示的数据表操作同步至目标表。其中,目标时段可以包括该同步任务内的分表依次执行上述DDL语句的过程所经历的时段。
在一些示例中,在执行每一个同步任务中的第三子任务时,可按如下步骤获取目标时段内针对该同步任务中已执行上述DDL语句的分表的第二DML语句:首先,将该同步任务中的最先执行上述DDL语句的分表作为第一分表,将该同步任务中的最后执行上述DDL语句的分表作为第二分表,获取第一分表执行上述DDL语句的起始时间和第二分表执行上述DDL语句的结束时间。而后,将起始时间至结束时间所构成的时段作为目标时段,获取上述目标时段内的第二SQL语句流。最后,从第二SQL语句流中,选取针对该同步任务中已执行上述DDL语句的分表的第二DML语句。
可选的,各同步任务还包括第四子任务。第四子任务用于将第三DML语句指示的数据表操作同步至目标表。第三DML语句为针对该同步任务中的任一分表的DML语句。对于每一个同步任务,可在该同步任务中的第三子任务执行完毕后,执行该同步任务中的第四子任务。由此,可在将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表后,每接收到针对分表的DML语句,均对目标表执行相应的数据表操作,使目标表与分表保持同步更新。
继续参考图3,示出了本申请的数据表同步方法的一个实施例的流程图。该数据表同步方法可应用于服务器、台式计算机等各种电子设备。
该数据表同步方法的流程,包括以下步骤:
步骤301,响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行DDL语句的过程中,获取针对未执行DDL语句的分表的第一DML语句,并将第一DML语句指示的数据表操作同步至目标表。
在本实施例中,目标表可以由分表合并生成,且目标表与分表可具有相同表结构。
在本实施例的一些可选的实现方式中,可通过如下步骤获取针对未执行DDL语句的分表的第一DML语句:首先,在目标表的分表依次执行DDL语句的过程中,获取针对分表的第一SQL语句流。而后,从第一SQL语句流中,选取针对未执行DDL语句的分表的第一DML语句。
步骤302,在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表。
步骤303,获取目标时段内针对已执行DDL语句的分表的第二DML语句,并将第二DML语句指示的数据表操作同步至目标表。
在本实施例中,目标时段可以包括目标表的分表依次执行上述DDL语句的过程所经历的时段。
在本实施例的一些可选的实现方式中,可通过如下步骤获取目标时内针对已执行DDL语句的分表的第二DML语句:首先,将最先执行DDL语句的分表作为第一分表,将最后执行DDL语句的分表作为第二分表,获取第一分表执行DDL语句的起始时间和第二分表执行DDL语句的结束时间。而后,将起始时间至结束时间所构成的时段作为目标时段,获取目标时段内的第二SQL语句流。最后,从第二SQL语句流中,选取针对已执行DDL语句的分表的第二DML语句。
步骤304,响应于检测到针对任一分表的第三DML语句,将第三DML语句指示的操作同步至目标表。
在本实施例中,在将第二DML语句指示的数据表操作同步至目标表后,响应于检测到针对任一分表的第三DML语句,还可以将第三DML语句指示的操作同步至目标表。由此,可在目标表的表结构更新为与分表相同的表结构后,且在将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表后,每接收到针对分表的DML语句,均对目标表执行相应的数据表操作,使目标表与分表保持同步更新。
本实施例各步骤与上述实施例对应步骤描述类似,具体可参见上述实施例的描述。
本申请的上述实施例提供的方法,在检测到针对目标表的分表的DDL语句后,首先在目标表的分表依次执行DDL语句的过程中,将针对未执行DDL语句的分表的第一DML语句指示的数据表操作同步至目标表,能够将对尚未发生表结构变化的分表的记录修改操作同步至目标表,使目标表中的记录能够与未发生表结构变化的分表的记录保持同步。在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表,能够将针对分表的表结构的修改操作同步至目标表,使目报表的表结构同步进行更改。在将DDL语句指示的数据表操作同步至目标表后,将针对已执行DDL语句的分表的第二DML语句指示的数据表操作同步至目标表,能够将表结构同步前忽略掉的对已发生表结构变化的分表的记录修改操作同步至目标表,使目标表中的记录能够与已发生表结构变化的分表的记录保持同步。在将针对已执行DDL语句的分表的第二DML语句指示的数据表操作同步至目标表后,将针对任一分表的第三DML语句指示的操作同步至目标表,能够在表结构同步后,依然使分表与目标表的记录保持同步更新。由此,此实施方式能够使目标表与分表保持同步,实现目标表中的数据以及表结构的自动同步更新,保证了基于目标表进行数据分析的准确性,同时降低了人力成本。
进一步参考图4,其示出了数据表同步方法的又一个实施例的流程图。该数据表同步方法可应用于该数据表同步方法可应用于服务器、台式计算机等各种电子设备。
该数据表同步方法的流程,包括以下步骤::
步骤401,将目标表的分表划分至不同的同步任务中。
其中,目标表可由分表合并生成。目标表与各分表可具有相同表结构。
步骤402,响应于检测到针对目标表的分表的DDL语句,并行执行不同的同步任务中的第一子任务。
此处,第一子任务用于将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句。
在本实施例的一些可选的实现方式中,并行执行不同的同步任务中的第一子任务,可以包括:对于每一个同步任务,在该同步任务中的分表依次执行DDL语句的过程中,获取针对该同步任务中的未执行DDL语句的分表的第一DML语句,并将上述第一DML语句同步至目标表。
在一些示例中,对于每一个同步任务,获取针对该同步任务中的未执行上述DDL语句的分表的第一DML语句,可以按照如下步骤执行:首先,在该同步任务中的分表依次执行上述DDL语句的过程中,获取针对该同步任务中的分表的第一结构化查询语言SQL语句流;而后,从上述第一SQL语句流中,选取针对该同步任务中未执行上述DDL语句的分表的第一DML语句。
在一些示例中,还可以按照位点获取第一SQL语句流,进而从第一SQL语句流中,选取针对该同步任务中未执行上述DDL语句的分表的第一DML语句。具体可参见上述实施例中的描述,此处不再赘述。
步骤403,在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务。
此处,各同步任务中可包含第二子任务。第二子任务可用于将DDL语句指示的数据表操作同步至目标表。
在本实施例的一些可选的实现方式中,可通过如下步骤执行其中一个同步任务中的第二子任务:首先,将最先执行完毕的第一子任务所属的同步任务作为目标同步任务,取消目标同步任务以外的其余同步任务中的第二子任务;而后,在各同步任务中的第一子任务均执行完毕时,执行目标同步任务中的第二子任务。
步骤404,在第二子任务执行完毕后,并行执行不同的同步任务中的第三子任务。
第三子任务可用于将第二DML语句指示的数据表操作同步至目标表,第二DML语句为针对已执行DDL语句的分表的DML语句。
在一些示例中,对于每一个同步任务,可首先获取目标时段内针对该同步任务中已执行上述DDL语句的分表的第二DML语句,从而将上述第二DML语句指示的数据表操作同步至目标表。其中,上述目标时段包括该同步任务内的分表依次执行上述DDL语句的过程所经历的时段。
在一些实例中,对于每一个同步任务,可按如下步骤获取目标时段内针对已执行上述DDL语句的分表的第二DML语句:首先,将该同步任务中的最先执行上述DDL语句的分表作为第一分表,将该同步任务中的最后执行上述DDL语句的分表作为第二分表,获取上述第一分表执行上述DDL语句的起始时间和第二分表执行上述DDL语句的结束时间。而后,将起始时间至结束时间所构成的时段作为目标时段,获取目标时段内的第二SQL语句流;最后,从上述第二SQL语句流中,选取针对该同步任务中已执行上述DDL语句的分表的第二DML语句。
在一些示例中,对于每一个同步任务,还可以按照位点获取第二SQL语句流,进而从第二SQL语句流中,选取针对该同步任务中已执行上述DDL语句的分表的第二DML语句。具体可参见上述实施例中的描述,此处不再赘述。
步骤405,对于每一个同步任务,在该同步任务中的第三子任务执行完毕后,执行该同步任务中的第四子任务。
第四子任务可用于将第三DML语句指示的数据表操作同步至目标表。第三DML语句为针对该同步任务中的任一分表的DML语句。由此,可在目标表的表结构更新为与分表相同的表结构后,且在将表结构同步前忽略掉的DML语句指示的数据表操作同步至目标表后,每接收到针对分表的DML语句,均对目标表执行相应的数据表操作,使目标表与分表保持同步更新。
本申请的上述实施例提供的方法,通过将目标表的分表划分至不同的同步任务中,在检测到针对目标表的分表的DDL语句后并行执行同步任务中的第一子任务,从而提高了数据同步效率。在各同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二同步任务,可灵活管理各同步任务的进度,避免在其他同步任务中的第一子任务尚未完成的情况下,因分表与目标表的表结构存在差异导致第一子任务无法成功执行的情况,保证了多任务执行场景下的数据同步的准确性。在目标表的表结构更新后并行执行同步任务中的第三子任务,以及在第三子任务执行后并行执行第四子任务,可将之前忽略的记录修改操作以及新的记录修改操作同步目标表,在保证目标表中的数据以及表结构的自动同步更新的同时,提高了数据同步效率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
进一步参考图5,在上述实施例的基础上,本申请提供了一种数据表同步装置的一个实施例,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的数据表同步装置500包括:第一同步单元501,被配置成响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行所述DDL语句的过程中,获取针对未执行所述DDL语句的分表的第一表,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;第二同步单元502,被配置成在所述目标表的分表均已执行所述DDL语句后,将所述DDL语句指示的数据表操作同步至所述目标表。
可选的,上述第一同步单元501,进一步被配置成:在所述目标表的分表依次执行所述DDL语句的过程中,获取针对分表的第一结构化查询语言SQL语句流;从上述第一SQL语句流中,选取针对未执行上述DDL语句的分表的第一DML语句。
可选的,上述装置还包括:第三同步单元,被配置成:获取目标时段内针对已执行所述DDL语句的分表的第二DML语句,并将所述第二DML语句指示的数据表操作同步至所述目标表,其中,所述目标时段包括所述目标表的分表依次执行所述DDL语句的过程所经历的时段。
可选的,第三同步单元,进一步被配置成:将最先执行上述DDL语句的分表作为第一分表,将最后执行上述DDL语句的分表作为第二分表,获取上述第一分表执行上述DDL语句的起始时间和第二分表执行上述DDL语句的结束时间;将上述起始时间至上述结束时间所构成的时段作为目标时段,获取上述目标时段内的第二SQL语句流;从上述第二SQL语句流中,选取针对已执行上述DDL语句的分表的第二DML语句。
可选的,上述装置还包括:记录单元,被配置成:在上述目标表的分表依次执行上述DDL语句的过程中,记录针对已执行上述DDL语句的分表的第二DML语句;以及,第四同步单元,被配置成:将所记录的上述第二DML语句指示的数据表操作同步至上述目标表。
可选的,上述装置还包括:第五同步单元,被配置成:响应于检测到针对任一分表的第三DML语句,将上述第三DML语句指示的操作同步至上述目标表。
可选的,上述目标表与上述目标表的分表位于不同数据库。
本申请的上述实施例提供的装置,在检测到针对目标表的分表的DDL语句后,首先在目标表的分表依次执行DDL语句的过程中,将第一DML语句指示的数据表操作同步至目标表,第一DML语句为针对未执行DDL语句的分表的DML语句,因而能够将对尚未发生表结构变化的分表的记录修改操作同步至目标表,使目标表中的记录能够与未发生表结构变化的分表的记录保持同步。在目标表的分表均已执行DDL语句后,将DDL语句指示的数据表操作同步至目标表,从而能够将针对分表的表结构的修改操作同步至目标表,使目报表的表结构同步进行更改。由此,能够实现目标表的自动同步更新,保证了基于目标表进行数据分析的准确性,同时降低了人力成本。
进一步参考图6,在上述实施例的基础上,本申请提供了一种数据表同步装置的一个实施例,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的数据表同步装置600包括:任务划分单元601,被配置成将目标表的分表划分至不同的同步任务中,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;第一同步单元602,被配置成响应于检测到针对分表的DDL语句,并行执行不同的同步任务中的第一子任务,其中,所述第一子任务用于将第一DML语句指示的数据表操作同步至所述目标表,所述第一DML语句为针对未执行所述DDL语句的分表的DML语句;第二同步单元603,被配置成在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,其中,所述第二子任务用于将所述DDL语句指示的数据表操作同步至所述目标表。
可选的,上述第一同步单元602,进一步被配置成:对于每一个同步任务,在该同步任务中的分表依次执行上述DDL语句的过程中,获取针对该同步任务中的未执行上述DDL语句的分表的第一DML语句,并将上述第一DML语句同步至上述目标表。
可选的,上述第一同步单元602,进一步被配置成:对于每一个同步任务,执行如下步骤:在该同步任务中的分表依次执行上述DDL语句的过程中,获取针对该同步任务中的分表的第一结构化查询语言SQL语句流;从上述第一SQL语句流中,选取针对该同步任务中未执行上述DDL语句的分表的第一DML语句。
可选的,上述第二同步单元603,进一步被配置成:将最先执行完毕的第一子任务所属的同步任务作为目标同步任务,取消执行上述目标同步任务以外的其余同步任务中的第二子任务;在不同的同步任务中的第一子任务均执行完毕时,执行上述目标同步任务中的第二子任务。
可选的,上述装置还包括:第三同步单元,被配置成在上述第二子任务执行完毕后,并行执行不同的同步任务中的第三子任务,其中,上述第三子任务用于将第二DML语句指示的数据表操作同步至上述目标表,上述第二DML语句针对已执行上述DDL语句的分表的DML语句。
可选的,上述第三同步单元,进一步被配置成:对于每一个同步任务,获取目标时段内针对该同步任务中已执行上述DDL语句的分表的第二DML语句,并将上述第二DML语句指示的数据表操作同步至上述目标表,其中,上述目标时段包括该同步任务内的不同分表依次执行上述DDL语句的过程所经历的时段。
可选的,上述第三同步单元,进一步被配置成:对于每一个同步任务,执行如下步骤:将该同步任务中的最先执行上述DDL语句的分表作为第一分表,将该同步任务中的最后执行上述DDL语句的分表作为第二分表,获取上述第一分表执行上述DDL语句的起始时间和第二分表执行上述DDL语句的结束时间;将上述起始时间至上述结束时间所构成的时段作为目标时段,获取上述目标时段内的第二SQL语句流;从上述第二SQL语句流中,选取针对该同步任务中已执行上述DDL语句的分表的第二DML语句。
可选的,上述装置还包括:第四同步单元,被配置成对于每一个同步任务,在该同步任务中的第三子任务执行完毕后,执行该同步任务中的第四子任务,其中,上述第四子任务用于将第三DML语句指示的数据表操作同步至上述目标表,上述第三DML语句为针对该同步任务中的任一分表的DML语句。
可选的,上述目标表与上述目标表的分表位于不同数据库中。
本申请的上述实施例提供的装置,通过将目标表的分表划分至不同的同步任务中,在检测到针对目标表的分表的DDL语句后并行执行同步任务中的第一子任务,从而提高了数据同步效率。在各同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二同步任务,可灵活管理各同步任务的进度,避免在其他同步任务中的第一子任务尚未完成的情况下,因分表与目标表的表结构存在差异导致第一子任务无法成功执行的情况,保证了多任务执行场景下的数据同步的准确性。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务器(集群)等电子设备。图7示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置700。
对于一个实施例,图7示出了示例性装置700,该装置具有一个或多个处理器702、被耦合到(一个或多个)处理器702中的至少一个的控制模块(芯片组)704、被耦合到控制模块704的存储器706、被耦合到控制模块704的非易失性存储器(NVM)/存储设备708、被耦合到控制模块704的一个或多个输入/输出设备710,以及被耦合到控制模块704的网络接口712。
处理器702可包括一个或多个单核或多核处理器,处理器702可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置700能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中,装置700可包括具有指令714的一个或多个计算机可读介质(例如,存储器706或NVM/存储设备708)以及与该一个或多个计算机可读介质相合并被配置为执行指令714以实现模块从而执行本公开中所述的动作的一个或多个处理器702。
对于一个实施例,控制模块704可包括任意适当的接口控制器,以向(一个或多个)处理器702中的至少一个和/或与控制模块704通信的任意适当的设备或组件提供任意适当的接口。
控制模块704可包括存储器控制器模块,以向存储器706提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器706可被用于例如为装置700加载和存储数据和/或指令714。对于一个实施例,存储器706可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器706可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块704可包括一个或多个输入/输出控制器,以向NVM/存储设备708及(一个或多个)输入/输出设备710提供接口。
例如,NVM/存储设备708可被用于存储数据和/或指令714。NVM/存储设备708可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备708可包括在物理上作为装置700被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备708可通过网络经由(一个或多个)输入/输出设备710进行访问。
(一个或多个)输入/输出设备710可为装置700提供接口以与任意其他适当的设备通信,输入/输出设备710可以包括通信组件、音频组件、传感器组件等。网络接口712可为装置700提供接口以通过一个或多个网络通信,装置700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置700可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置700可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的数据表同步方法、装置、电子设备和存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种数据表同步方法,所述方法包括:
响应于检测到针对目标表的分表的数据定义语言DDL语句,在所述目标表的分表依次执行所述DDL语句的过程中,获取针对未执行所述DDL语句的分表的第一数据操纵语言DML语句,并将所述第一DML语句指示的数据表操作同步至所述目标表,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;
在所述目标表的分表均已执行所述DDL语句后,将所述DDL语句指示的数据表操作同步至所述目标表。
2.根据权利要求1所述的方法,所述获取针对未执行所述DDL语句的分表的第一DML语句,包括:
在所述目标表的分表依次执行所述DDL语句的过程中,获取针对分表的第一结构化查询语言SQL语句流;
从所述第一SQL语句流中,选取针对未执行所述DDL语句的分表的第一DML语句。
3.根据权利要求1所述的方法,在所述将所述DDL语句指示的数据表操作同步至所述目标表之后,所述方法还包括:
获取目标时段内针对已执行所述DDL语句的分表的第二DML语句,并将所述第二DML语句指示的数据表操作同步至所述目标表,其中,所述目标时段包括所述目标表的分表依次执行所述DDL语句的过程所经历的时段。
4.根据权利要求3所述的方法,所述获取目标时段内针对已执行所述DDL语句的分表的第二DML语句,包括:
将最先执行所述DDL语句的分表作为第一分表,将最后执行所述DDL语句的分表作为第二分表,获取所述第一分表执行所述DDL语句的起始时间和第二分表执行所述DDL语句的结束时间;
将所述起始时间至所述结束时间所构成的时段作为目标时段,获取所述目标时段内的第二SQL语句流;
从所述第二SQL语句流中,选取针对已执行所述DDL语句的分表的第二DML语句。
5.根据权利要求1所述的方法,在检测到针对分表的DDL语句之后,所述方法还包括:
在所述目标表的分表依次执行所述DDL语句的过程中,记录针对已执行所述DDL语句的分表的第二DML语句;以及
在将所述DDL语句指示的数据表操作同步至所述目标表之后,所述方法还包括:
将所记录的所述第二DML语句指示的数据表操作同步至所述目标表。
6.根据权利要求3-5之一所述的方法,在所述将所述第二DML语句指示的数据表操作同步至所述目标表之后,所述方法还包括:
响应于检测到针对任一分表的第三DML语句,将所述第三DML语句指示的操作同步至所述目标表。
7.根据权利要求1所述的方法,所述目标表与所述目标表的分表位于不同数据库。
8.一种数据表同步方法,所述方法包括:
将目标表的分表划分至不同的同步任务中,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;
响应于检测到针对所述目标表的分表的DDL语句,并行执行不同的同步任务中的第一子任务,其中,所述第一子任务用于将第一DML语句指示的数据表操作同步至所述目标表,所述第一DML语句为针对未执行所述DDL语句的分表的DML语句;
在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,其中,所述第二子任务用于将所述DDL语句指示的数据表操作同步至所述目标表。
9.根据权利要求8所述的方法,所述并行执行不同的同步任务中的第一子任务,包括:
对于每一个同步任务,在该同步任务中的分表依次执行所述DDL语句的过程中,获取针对该同步任务中的未执行所述DDL语句的分表的第一DML语句,并将所述第一DML语句同步至所述目标表。
10.根据权利要求9所述的方法,所述对于每一个同步任务,在该同步任务中的分表依次执行所述DDL语句的过程中,获取针对该同步任务中的未执行所述DDL语句的分表的第一DML语句,包括:
对于每一个同步任务,执行如下步骤:
在该同步任务中的分表依次执行所述DDL语句的过程中,获取针对该同步任务中的分表的第一SQL语句流;
从所述第一SQL语句流中,选取针对该同步任务中未执行所述DDL语句的分表的第一DML语句。
11.根据权利要求8所述的方法,所述在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,包括:
将最先执行完毕的第一子任务所属的同步任务作为目标同步任务,取消执行所述目标同步任务以外的其余同步任务中的第二子任务;
在不同的同步任务中的第一子任务均执行完毕时,执行所述目标同步任务中的第二子任务。
12.根据权利要求8所述的方法,所述方法还包括:
在所述第二子任务执行完毕后,并行执行不同的同步任务中的第三子任务,其中,所述第三子任务用于将第二DML语句指示的数据表操作同步至所述目标表,所述第二DML语句为针对已执行所述DDL语句的分表的DML语句。
13.根据权利要求12所述的方法,其特征在于,所述并行执行不同的同步任务中的第三子任务,包括:
对于每一个同步任务,获取目标时段内针对该同步任务中已执行所述DDL语句的分表的第二DML语句,并将所述第二DML语句指示的数据表操作同步至所述目标表,其中,所述目标时段包括该同步任务内的分表依次执行所述DDL语句的过程所经历的时段。
14.根据权利要求13所述的方法,所述对于每一个同步任务,获取目标时段内针对该同步任务中已执行所述DDL语句的分表的第二DML语句,包括:
对于每一个同步任务,执行如下步骤:
将该同步任务中的最先执行所述DDL语句的分表作为第一分表,将该同步任务中的最后执行所述DDL语句的分表作为第二分表,获取所述第一分表执行所述DDL语句的起始时间和第二分表执行所述DDL语句的结束时间;
将所述起始时间至所述结束时间所构成的时段作为目标时段,获取所述目标时段内的第二SQL语句流;
从所述第二SQL语句流中,选取针对该同步任务中已执行所述DDL语句的分表的第二DML语句。
15.根据权利要求12所述的方法,所述方法还包括:
对于每一个同步任务,在该同步任务中的第三子任务执行完毕后,执行该同步任务中的第四子任务,其中,所述第四子任务用于将第三DML语句指示的数据表操作同步至所述目标表,所述第三DML语句为针对该同步任务中的任一分表的DML语句。
16.根据权利要求8所述的方法,所述目标表与所述目标表的分表位于不同数据库中。
17.一种数据表同步装置,所述装置包括:
第一同步单元,被配置成响应于检测到针对目标表的分表的DDL语句,在目标表的分表依次执行所述DDL语句的过程中,获取针对未执行所述DDL语句的分表的第一表,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;
第二同步单元,被配置成在所述目标表的分表均已执行所述DDL语句后,将所述DDL语句指示的数据表操作同步至所述目标表。
18.一种数据表同步装置,所述装置包括:
任务划分单元,被配置成将目标表的分表划分至不同的同步任务中,其中,所述目标表由分表合并生成,所述目标表与分表具有相同表结构;
第一同步单元,被配置成响应于检测到针对分表的DDL语句,并行执行不同的同步任务中的第一子任务,其中,所述第一子任务用于将第一DML语句指示的数据表操作同步至所述目标表,所述第一DML语句为针对未执行所述DDL语句的分表的DML语句;
第二同步单元,被配置成在不同的同步任务中的第一子任务均执行完毕后,执行其中一个同步任务中的第二子任务,其中,所述第二子任务用于将所述DDL语句指示的数据表操作同步至所述目标表。
19.一种电子设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-16中一个或多个所述的方法。
20.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-16中一个或多个所述的方法。
CN202010600163.9A 2020-06-28 2020-06-28 数据表同步方法、装置、电子设备和存储介质 Pending CN113297317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010600163.9A CN113297317A (zh) 2020-06-28 2020-06-28 数据表同步方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010600163.9A CN113297317A (zh) 2020-06-28 2020-06-28 数据表同步方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113297317A true CN113297317A (zh) 2021-08-24

Family

ID=77318102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010600163.9A Pending CN113297317A (zh) 2020-06-28 2020-06-28 数据表同步方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113297317A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969200A (zh) * 2022-04-18 2022-08-30 中移互联网有限公司 数据同步方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969200A (zh) * 2022-04-18 2022-08-30 中移互联网有限公司 数据同步方法、装置、电子设备及存储介质
CN114969200B (zh) * 2022-04-18 2023-09-19 中移互联网有限公司 数据同步方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109739929B (zh) 数据同步方法、装置及系统
US9483516B2 (en) Multi-version concurrency control across row store and column store
US9720992B2 (en) DML replication with logical log shipping
CN109634587B (zh) 一种生成入库脚本以及数据入库的方法和设备
CN107423404B (zh) 流程实例数据同步处理方法和装置
CN109241165B (zh) 一种数据库同步延时的确定方法、装置和设备
CN107590207A (zh) 数据同步方法及装置、电子设备
CN108573019B (zh) 一种数据迁移方法、装置、电子设备及可读存储介质
JP2020107347A (ja) ファイルパスを記憶し、ローカルファイルにアクセスする方法及び装置
CN110865985B (zh) 数据同步方法、装置、电子设备和存储介质
US20230161758A1 (en) Distributed Database System and Data Processing Method
CN112825069A (zh) 数据库数据的分析方法、设备、系统及存储介质
CN112632035A (zh) 面向自主可控数据库迁移方法及存储介质
CN112596877A (zh) 全局变量的使用方法、装置、系统以及计算机可读存储介质
US20170132302A1 (en) Integrating co-deployed databases for data analytics
CN113297317A (zh) 数据表同步方法、装置、电子设备和存储介质
CN104216977A (zh) 一种时间序列数据检索方法及装置
CN107291524B (zh) 一种远程命令的处理方法和装置
CN109189864B (zh) 一种数据同步延时的确定方法、装置和设备
WO2023051439A1 (zh) 页面刷新的耗时优化方法、装置及终端设备
CN113742420B (zh) 数据同步方法和装置
US9460179B1 (en) Systems and methods for providing adaptive visualization of synchronization of multiple files
CN111026810B (zh) 数据同步方法、装置及存储介质
WO2022041672A1 (zh) 分布式数据库系统的全量备份方法、装置及计算机可读存储介质
CN113849524A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057891

Country of ref document: HK