CN116226271A - 数据同步方法、装置、电子设备和存储介质 - Google Patents
数据同步方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116226271A CN116226271A CN202211636144.7A CN202211636144A CN116226271A CN 116226271 A CN116226271 A CN 116226271A CN 202211636144 A CN202211636144 A CN 202211636144A CN 116226271 A CN116226271 A CN 116226271A
- Authority
- CN
- China
- Prior art keywords
- transaction
- sub
- sentences
- statement
- transaction identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001360 synchronised effect Effects 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步方法、装置、电子设备和存储介质。其中，方法包括获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。本发明提供的方案能保住分布式数据按顺序对外部同步，避免分布式数据由于执行顺序问题同步失败。
Description
技术领域
本发明涉及分布式数据库技术领域，尤其涉及一种数据同步方法、装置、电子设备和存储介质。
背景技术
随着计算机技术和互联网金融的快速发展，金融行业的数据量和用户规模呈现出爆发式的增长，传统的单机关系型数据库已经无法满足对当前庞大数据的存储和处理，因此越来越多的公司使用分布式数据库来取代老旧的单机关系型数据库。随着分布式数据库的普及，分布式数据向外同步技术也成为了当下研究的热点之一。
对于分布式数据库而言，在向外部同步时非常容易产生因顺序错误而导致的同步失败或者同步错误。比如update语句在执行时会拆分成delete和insert，为了保证数据更新的成功，必须先执行delete随后执行insert。在单机数据库当中，想要保证语句的执行顺序是非常简单的，但在分布式数据库中却异常的困难。比如跨分片的update语句，由于delete和insert分别在两个分片，无法保证在两个分片上执行的先后顺序。可能出现先insert再delete的情况，这样数据就无法对外同步成功。
发明内容
为解决分布式数据库数据由于顺序问题导致的对外同步失败的技术问题，本发明实施例提供一种数据同步方法、装置、电子设备和存储介质。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种数据同步方法，方法包括：
获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
在一实施例中，获取每项事务对应的事务标识之前，所述方法还包括：
从管理节点获取每项事务的事务标识；
将事务按照执行顺序划分为子语句，并按照执行顺序对所述子语句进行编号；
将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点。
在一实施例中，将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点之后，所述方法还包括：
将所述事务标识落盘进入二进制日志；
所述获取每项事务对应的事务标识包括：
从二进制日志中解析事务标识，获得每项事务对应的事务标识。
在一实施例中，所述将所述事务标识落盘进入二进制日志，包括：
在二进制日志表中增加一个内部列，
将所述事务标识储存于所述内部列中。
在一实施例中，所述从二进制日志中解析事务标识，获得每项事务对应的事务标识，包括：
从二进制日志中解析事务标识；
获取活跃事务标识列表；
根据解析出的事务标识和所述活跃事务标识列表，确定不活跃事务标识；
将所述不活跃事务标识确定为待对外同步的事务标识。
在一实施例中，所述根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句，包括：
对于执行同一事务标识同步任务的数据节点，每个数据节点根据编号按顺序依次同步每个编号对应的子语句；
在同步完一个编号对应的子语句后，确定其他数据节点是否也同步完所述编号对应的子语句；
在确定其他数据节点也同步完所述编号对应的子语句后，继续根据编号按顺序同步下一编号对应的子语句。
在一实施例中，在同步完一个编号对应的子语句时，所述方法还包括：
利用数组存储每个编号对应的子语句需要同步的次数；
当数组中每个编号对应的语句需要同步的次数为零时，确定本数据节点已经同步完所述编号对应的子语句。
本发明实施例还提供了一种数据同步装置，所述装置包括：
获取模块，用于获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
同步模块，用于根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
本发明实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
处理器用于运行计算机程序时，执行上述任一方法的步骤。
本发明实施例还提供了一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一方法的步骤。
本发明实施例提供的数据同步方法、装置、电子设备和存储介质，获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。本发明提供的方案能保住分布式数据按顺序对外部同步，避免分布式数据由于执行顺序问题同步失败。
附图说明
图1为本发明实施例数据同步方法的流程示意图；
图2为本发明实施例分布式数据库系统结构示意图；
图3为本发明实施例数据同步装置的结构示意图；
图4为本发明实施例计算机设备的内部结构图。
具体实施方式
下面将结合附图及实施例对本发明作进一步详细的描述。
本发明实施例提供了一种数据同步方法，如图1所示，该方法包括：
步骤101：获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
步骤102：根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
本实施例可应用于分布式数据库中，对分布式数据库中的数据进行同步。
本实施例，在分布式数据库中，基于全局事务管理节点(Global TransactionManager Node，简称GTM)，由中间组件计算节点(Computer Node，简称CN)，根据GTM生成的全局事务唯一ID(Global Transaction ID，简称GTID)(即本实施例中的事务标识)和对事务内子语句编号的方式来实现分布式数据向外部同步。本实施例方法可用于解决分布式数据在向外部同步时存在的顺序问题。
在一实施例中，获取每项事务对应的事务标识之前，所述方法还包括：
从管理节点获取每项事务的事务标识；
将事务按照执行顺序划分为子语句，并按照执行顺序对所述子语句进行编号；
将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点。
本实施例对于经过CN节点的语句均从GTM节点(即管理节点)获取事务唯一的事务标识，并对事务内子语句进行编号。
参见图2，图2为本实施例分布式数据库的部分结构简图。包括CN节点、DN节点、GTM节点。CN节点在事务开始时，向GTM节点申请GTID，随后将事务内不同语句根据执行顺序进行编号，并将GTID和携带编号顺序的语句下发到不同分片的DN节点。
在一实施例中，将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点之后，所述方法还包括：
将所述事务标识落盘进入二进制日志；
所述获取每项事务对应的事务标识包括：
从二进制日志中解析事务标识，获得每项事务对应的事务标识。
本实施例在下发数据节点(Data Node，简称DN)时携带编号，并落盘进入二进制日志。当数据需要进行同步时，从二进制日志解析出对应的编号，并对解析出来的编号进行排序。
这里，排序可分为两个维度：事务顺序和事务内语句顺序。
在一实施例中，所述将所述事务标识落盘进入二进制日志，包括：
在二进制日志表中增加一个内部列，
将所述事务标识储存于所述内部列中。
本实施例中，GTID可通过在每张表中增加一个内部列来储存GTID值。、
另外，语句的执行顺序编号可通过注释的方式下发到DN节点。
在一实施例中，所述从二进制日志中解析事务标识，获得每项事务对应的事务标识，包括：
从二进制日志中解析事务标识；
获取活跃事务标识列表；
根据解析出的事务标识和所述活跃事务标识列表，确定不活跃事务标识；
将所述不活跃事务标识确定为待对外同步的事务标识。
本实施例在向外同步数据时，利用一个总线程负责对比二进制日志中解析出的GTID和活跃的GTID列表。这里，一个事务申请的GTID，从申请到释放之间，这个GTID被称为活跃的，所有活跃的GTID组成活跃的GTID列表。该线程会统计出此刻不活跃的数据，活跃GTID列表每五分钟更新一次，所以该线程中的数据也是五分钟更新一次。在得到不活跃的数据后，该线程会根据GTID，将不同的事务按顺序下发给不同的线程对不同分片上的DN进行操作，这样可以保证事务执行顺序的正确。
在一实施例中，所述根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句，包括：
对于执行同一事务标识同步任务的数据节点，每个数据节点根据编号按顺序依次同步每个编号对应的子语句；
在同步完一个编号对应的子语句后，确定其他数据节点是否也同步完所述编号对应的子语句；
在确定其他数据节点也同步完所述编号对应的子语句后，继续根据编号按顺序同步下一编号对应的子语句。
这里，还可利用数组存储每个编号对应的子语句需要同步的次数；当数组中每个编号对应的语句需要同步的次数为零时，确定本数据节点已经同步完所述编号对应的子语句。
本实施例中，被分发执行任务的线程可只负责它所在分片的那个DN，比如现在有三个DN分别在三个分片上，此时就会有三个线程分别操作各自分片上的DN。这样可以保证单个DN内语句的执行顺序一定是正确的，因为单个的DN就类似于一个单机的数据库。
每个线程内可有一个数组统计各自分片下各个编号的语句需要执行的次数。比如在该分片上需要执行两次delete和一次insert，则给delete的编号是0，给insert的编号为1，则此时该线程内统计数组的值应该为[2,1]。若有DN1，DN2和DN3分别在三个分片上。其中在DN2分片上的线程中统计数组的值为[1,2](这里，存储数字的数组下标表示语句的编号，数字表示该编号语句的待执行数)。此数组表示在此分片上编号为0的待执行语句还有1条，编号为1的待执行语句还有2条(0表示优先级最高，最先执行)。此刻该线程可以执行编号为0的语句，因为没有优先级高于0的待执行语句。每执行完语句一次，该语句在数组中对应的待执行次数就要相应的减1，所以在执行完该语句后数组的值将更新为[0,2]。
此刻该线程不能继续执行编号为1的语句，因为它需要向其他所有线程确认它们是否执行完成了所有编号为0的语句。确认方法是负责操作DN2的线程分别获取操作DN1和DN3的线程内统计数组的值，并查看数组0位置上的值是否为0。如果都为0，则负责操作DN2的线程可以开始执行编号为1的语句。如果有不为0的，则DN2会告知此线程在数组0位置上的值变为0时发出通知，而DN2则进入等待状态。此方法可以保证不同分片上的语句也可以按照规定的顺序执行。
本实施例提供的分布式数据向外同步处理技术，通过给出事务唯一标示搭配上特制的排序算法，可以保证分布式数据向外同步时语句执行的先后顺序。
采用本实施例方法，对数据向外同步时不会影响到数据库的正常使用，不影响业务在线运行。另外，采用本实施例方法对数据向外同步时，可以保证数据在同步时不会出现由语句执行顺序的错误而导致的数据同步错误。
本发明实施例提供的数据同步方法，获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。本发明提供的方案能保住分布式数据按顺序对外部同步，避免分布式数据由于执行顺序问题同步失败。
为了实现本发明实施例的方法，本发明实施例还提供了一种数据同步装置，如图3所示，数据同步装置300包括：获取模块301和同步模块302；其中，
获取模块301，用于获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
同步模块302，用于根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
实际应用时，获取模块301和同步模块302可由数据同步装置中的处理器实现。
需要说明的是：上述实施例提供的上述装置在执行时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的上述装置与上述方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
为了实现本发明实施例的方法，本发明实施例还提供了一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述方法的步骤。
基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供了一种电子设备(计算机设备)。具体地，在一个实施例中，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供的设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项实施例的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
可以理解，本发明实施例的存储器可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据同步方法，其特征在于，所述方法包括：
获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
2.根据权利要求1所述的方法，其特征在于，获取每项事务对应的事务标识之前，所述方法还包括：
从管理节点获取每项事务的事务标识；
将事务按照执行顺序划分为子语句，并按照执行顺序对所述子语句进行编号；
将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点。
3.根据权利要求2所述的方法，其特征在于，将所述事务标识、所述子语句以及所述子语句对应的编号下发给所述子语句对应的数据节点之后，所述方法还包括：
将所述事务标识落盘进入二进制日志；
所述获取每项事务对应的事务标识包括：
从二进制日志中解析事务标识，获得每项事务对应的事务标识。
4.根据权利要求2所述的方法，其特征在于，所述将所述事务标识落盘进入二进制日志，包括：
在二进制日志表中增加一个内部列，
将所述事务标识储存于所述内部列中。
5.根据权利要求2所述的方法，其特征在于，所述从二进制日志中解析事务标识，获得每项事务对应的事务标识，包括：
从二进制日志中解析事务标识；
获取活跃事务标识列表；
根据解析出的事务标识和所述活跃事务标识列表，确定不活跃事务标识；
将所述不活跃事务标识确定为待对外同步的事务标识。
6.根据权利要求1所述的方法，其特征在于，所述根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句，包括：
对于执行同一事务标识同步任务的数据节点，每个数据节点根据编号按顺序依次同步每个编号对应的子语句；
在同步完一个编号对应的子语句后，确定其他数据节点是否也同步完所述编号对应的子语句；
在确定其他数据节点也同步完所述编号对应的子语句后，继续根据编号按顺序同步下一编号对应的子语句。
7.根据权利要求1所述的方法，其特征在于，在同步完一个编号对应的子语句时，所述方法还包括：
利用数组存储每个编号对应的子语句需要同步的次数；
当数组中每个编号对应的语句需要同步的次数为零时，确定本数据节点已经同步完所述编号对应的子语句。
8.一种数据同步装置，其特征在于，所述装置包括：
获取模块，用于获取每项事务对应的事务标识，以及每项事务按照执行顺序划分为子语句后，每个子语句对应的编号；
同步模块，用于根据所述事务标识、所述编号按顺序对外同步位于不同数据节点上的子语句。
9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636144.7A CN116226271A (zh) | 2022-12-14 | 2022-12-14 | 数据同步方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636144.7A CN116226271A (zh) | 2022-12-14 | 2022-12-14 | 数据同步方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116226271A true CN116226271A (zh) | 2023-06-06 |
Family
ID=86575733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211636144.7A Pending CN116226271A (zh) | 2022-12-14 | 2022-12-14 | 数据同步方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116226271A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737744A (zh) * | 2023-08-14 | 2023-09-12 | 金篆信科有限责任公司 | 数据库的控制系统、方法、计算机设备及存储介质 |
| CN117520460A (zh) * | 2024-01-05 | 2024-02-06 | 成都安世赛斯特软件技术有限公司 | 一种自定义编号生成管理方法及系统 |
-
2022
- 2022-12-14 CN CN202211636144.7A patent/CN116226271A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737744A (zh) * | 2023-08-14 | 2023-09-12 | 金篆信科有限责任公司 | 数据库的控制系统、方法、计算机设备及存储介质 |
| CN116737744B (zh) * | 2023-08-14 | 2023-11-24 | 金篆信科有限责任公司 | 数据库的控制系统、方法、计算机设备及存储介质 |
| CN117520460A (zh) * | 2024-01-05 | 2024-02-06 | 成都安世赛斯特软件技术有限公司 | 一种自定义编号生成管理方法及系统 |
| CN117520460B (zh) * | 2024-01-05 | 2024-04-02 | 成都安世赛斯特软件技术有限公司 | 一种自定义编号生成管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116226271A (zh) | 数据同步方法、装置、电子设备和存储介质 | |
| CN106897342B (zh) | 一种数据校验方法和设备 | |
| CN106899654B (zh) | 一种序列值生成方法、装置及系统 | |
| US20170139674A1 (en) | Systems and methods for tracking sensitive data in a big data environment | |
| CN110019111B (zh) | 数据处理方法、装置、存储介质以及处理器 | |
| WO2019177591A1 (en) | Including transactional commit timestamps in the primary keys of relational databases | |
| CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
| US11853284B2 (en) | In-place updates with concurrent reads in a decomposed state | |
| CN114416868B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN110019169B (zh) | 一种数据处理的方法及装置 | |
| US8768988B2 (en) | Accessing snapshots of a time based file system | |
| Kepner et al. | Lustre, hadoop, accumulo | |
| EP2213066A2 (en) | Acquisition and expansion of storage area network interoperation relationships | |
| AU2021268828B2 (en) | Secure data replication in distributed data storage environments | |
| CN112199080A (zh) | vuejs项目webpack构建方法及设备 | |
| CN111125565A (zh) | 一种在应用中输入信息的方法与设备 | |
| CN116226274A (zh) | 元数据同步方法、分布式数据库系统和存储介质 | |
| US11954091B2 (en) | Method and apparatus for consistent page split operation in a multi-master database | |
| US11593498B2 (en) | Distribution of user specific data elements in a replication environment | |
| CN116483805A (zh) | 数据库迁移的安全测试方法、装置、存储介质及电子设备 | |
| CN116701545A (zh) | 审计数据分析方法、装置、存储介质及处理器 | |
| CN118394846A (zh) | 一种数据同步方法、装置、电子设备和存储介质 | |
| CN118277166A (zh) | 数据同步的方法、装置、电子设备及存储介质 | |
| CN113254522A (zh) | 一种数据库访问方法、装置、设备及可读存储介质 | |
| CN116107985A (zh) | 分布式架构下的数据同步方法、装置和数据同步系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |