CN112084261A - 一种数据同步方法、系统、节点及存储介质 - Google Patents
一种数据同步方法、系统、节点及存储介质 Download PDFInfo
- Publication number
- CN112084261A CN112084261A CN202010917485.6A CN202010917485A CN112084261A CN 112084261 A CN112084261 A CN 112084261A CN 202010917485 A CN202010917485 A CN 202010917485A CN 112084261 A CN112084261 A CN 112084261A
- Authority
- CN
- China
- Prior art keywords
- node
- log
- data synchronization
- control information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003491 array Methods 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步方法、系统、节点及存储介质，具体为日志节点将获取的原始日志转化为物理日志；日志节点更新自身存储的数据同步控制信息数组，其中，日志节点存储有三个数据同步控制信息数组，该三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；在满足预设条件的情况下，日志节点向存储节点发送携带有物理日志和更新后的数据同步控制信息数组的控制消息；日志节点接收存储节点发送的反馈消息，并根据反馈消息更新数据同步控制信息数组；其中，反馈消息是存储节点根据控制消息对自身存储的数据同步后发送的。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种数据同步方法、系统、节点及存储介质。
背景技术
在分布式数据库系统中，通常采用多个副本的方式提高数据的可靠性，即将数据文件按照固定的区块大小划分为多个区块，每个区块以多副本的形式存储在不同存储节点中。对于同一个区块而言，该区块对应的各副本中的数据应该同步，否则整个数据库系统的数据完整性会出现问题。
在分布式数据库系统中仅有一个数据库服务节点时，同一数据区块对应各副本的数据同步较为简单，通常是使用数据库服务节点的RED0日志的日志序列号(Log SequenceNumber，LSN)作为数据同步的标记。但是当分布式数据库系统中有多个数据库服务节点，这些节点都独立对用户提供服务并生成各自的RED0日志，且每个数据库服务节点都有自己的LSN时，现有技术中并未提出有效的解决方案。
发明内容
本发明提供一种数据同步方法、系统、节点及存储介质，能够有效解决分布式数据库系统中有多个数据库服务节点时，数据同步的问题。
第一方面，本发明实施例提供了一种数据同步方法，该方法包括：
日志节点将获取的原始日志转化为物理日志；
日志节点更新自身存储的数据同步控制信息数组，所述日志节点存储有三个数据同步控制信息数组，所述三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；
在满足预设条件的情况下，所述日志节点向存储节点发送控制消息，所述控制消息中携带有物理日志和更新后的数据同步控制信息数组；
所述日志节点接收所述存储节点发送的反馈消息，并根据所述反馈消息更新数据同步控制信息数组；
其中，所述反馈消息是所述存储节点根据所述控制消息对自身存储的数据同步后发送的。
第二方面，本发明实施例还提供了一种数据同步方法，该方法包括：
存储节点获取日志节点发送的控制消息；
所述存储节点根据所述控制消息更新自身存储的数据信息；
所述存储节点根据更新后的数据信息向所述日志节点发送反馈消息。
第三方面，本发明实施例还提供了一种数据同步系统，该系统可以包括：上述实施例提供的日志节点和存储节点，以及数据库服务节点。
第四方面，本发明实施例还提供了一种数据库节点，该节点包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当处理器执行计算机程序时，实现本实施例提供的数据同步方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如本发明实施例提供的数据同步方法。
本发明实施例提供了一种数据同步方法、系统、节点及存储介质，具体为日志节点将获取的原始日志转化为物理日志；日志节点更新自身存储的数据同步控制信息数组，其中，日志节点存储有三个数据同步控制信息数组，该三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；在满足预设条件的情况下，日志节点向存储节点发送携带有物理日志和更新后的数据同步控制信息数组的控制消息；日志节点接收存储节点发送的反馈消息，并根据反馈消息更新数据同步控制信息数组；其中，反馈消息是存储节点根据控制消息对自身存储的数据同步后发送的。通过使用数组管理所有数据库服务节点的同步数据序列，并将所有数据库服务节点的同步数据序列作为控制信息发送给存储节点，使存储节点得到其同步数据所属的数据库服务节点的同步情况，这样可以有效解决分布式数据库系统中有多个数据库服务节点时，数据同步的问题。
附图说明
图1是本发明实施例中的数据同步方法的流程图；
图2是本发明实施例中的数据同步方法的流程图；
图3是本发明实施例中的数据同步系统示意图；
图4是本发明实施例中的数据同步装置结构示意图；
图5是本发明实施例中的数据同步装置结构示意图；
图6是本发明实施例中的通信节点结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外，在本发明实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本发明实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
图1为本发明实施例提供的一种数据同步方法的流程图，该方法可以应用于分布式数据库场景的日志节点中，如图1所示，该方法具体包括：
S101、日志节点将获取的原始日志转化为物理日志。
本步骤中的原始日志可以为用户在数据库服务节点上操作时，数据库服务节点生成的日志，该日志由数据库服务节点发送至日志节点。日志节点根据原始日志中的逻辑地址信息，获取其副本信息，将其转化为使用物理地址信息的物理日志。
示例性地，日志节点将原始节点转换为物理日志的具体实现过程可以为，日志节点基于原始日志中的操作记录，得到该操作记录对应的逻辑地址和该日志的LSN值。日志节点根据获取的逻辑地址确定操作记录对应数据所在分片的副本信息，进而根据副本信息的物理地址对日志进行转化。
可以理解的是，在存在多个副本的情况下，日志节点可以重复执行上述步骤以实现日志转化。
需要说明的是，在本申请实施例中，日志节点可以将数据库服务节点的逻辑数据文件按照固定大小分片，并将各分片与存储节点中一个或多个实际存储数据的副本之间建立映射关系，例如，(LOGIC_FILE_ID，REGION_NO，SS_NO_ARR，COPY_NO_ARR)。
其中，LOGIC_FILE_ID表示逻辑文件的标识，REGION_NO表示逻辑文件的分片编号，SS_NO_ARR表示存储该分片数据的存储节点的标识数组，COPY_NO_ARR表示存储该分片数据的存储节点内副本编号数组。
这样，存储节点可以统一根据存储节点中的副本编号COPY_NO_ARR对数据副本进行管理，而不需要区分数据所属的数据库服务节点。
S102、日志节点更新自身存储的数据同步控制信息数组。
本申请实施例中的日志节点可以存储有三个数据同步控制信息数组，分别为第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组，这三个数据同步控制信息数组中存储有至少一个存储节点的参数。
其中，第一数据同步控制信息数组中的参数表示存储节点对应的发送缓冲区中数据库服务节点的待同步数据物理日志的最大LSN，发送缓冲区为所述日志节点的发送缓冲区，第二数据同步控制信息数组中的参数表示已发送至存储节点的数据库服务节点的待同步数据物理日志的最大LSN，第三数据同步控制信息数组中的参数表示存储节点中完成同步的数据库服务节点的数据物理日志的最大LSN。
可选地，在上述日志转化过程中，日志节点可以将转化后的物理日志填充至对应副本所在存储节点对应的日志节点的发送缓冲区中，因此，日志节点可以对自身的第一数据同步控制信息数组中对应存储节点的参数进行更新。
S103、在满足预设条件的情况下，日志节点向存储节点发送控制消息。
示例性地，上述预设条件可以为缓存数据量达到预设阈值，或者日志节点接收到强制发送请求，在这两者中的任意一种情况下，日志节点向存储节点发送控制信息。
可选地，该控制消息中可以携带有物理日志和更新后的数据同步控制信息数组，例如，更新后的第一数据同步控制信息数组。
S104、日志节点接收存储节点发送的反馈消息，并根据反馈消息更新数据同步控制信息数组。
该反馈消息可以是存储节点根据控制消息对自身存储的数据同步后发送的。即存储节点接收到日志节点发送的控制消息，并根据控制消息中携带的物理日志和更新后的第一数据同步控制信息数组对自身存储的数据进行同步，并在数据同步后向日志节点发送反馈消息。
示例性地，日志节点根据反馈消息同步数据控制信息数组可以为，日志节点将第三数据同步控制信息数组中的参数更新为反馈消息中携带的同步数组中的参数。即更新存储节点中完成同步的数据库服务节点的数据物理日志的最大LSN。
本申请实施例提供了一种数据同步方法，该方法包括日志节点将获取的原始日志转化为物理日志；日志节点更新自身存储的数据同步控制信息数组，其中，日志节点存储有三个数据同步控制信息数组，该三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；在满足预设条件的情况下，日志节点向存储节点发送携带有物理日志和更新后的数据同步控制信息数组的控制消息；日志节点接收存储节点发送的反馈消息，并根据反馈消息更新数据同步控制信息数组；其中，反馈消息是存储节点根据控制消息对自身存储的数据同步后发送的。通过使用数组管理所有数据库服务节点的同步数据序列，并将所有数据库服务节点的同步数据序列作为控制信息发送给存储节点，使存储节点得到其同步数据所属的数据库服务节点的同步情况，这样可以有效解决分布式数据库系统中有多个数据库服务节点时，数据同步的问题。
在一种示例中，在日志节点向存储节点发送控制信息之后，日志节点还可以将第二数据同步控制信息数组中的参数更新为第一数据同步控制信息数组中的参数，即向存储节点发送控制信息之后，将表示已发送至存储节点的数据库服务节点的待同步数据物理日志的最大LSN更新为存储节点对应的发送缓冲区中数据库服务节点的待同步数据物理日志的最大LSN。
在一种示例中，上述步骤S102中的实现方式可以包括，日志节点根据副本信息对应的存储节点标识确定第一数据同步控制信息数组中存储节点的参数，进而根据原始日志的记录的LSN值更新第一数据同步控制信息数组中存储节点的参数。即日志节点根据副本信息确定对应的存储节点，进而获取数据同步控制信息数组中存储节点的相关数据，例如，存储节点对应在第一数据同步控制信息数组中的参数，将该存储节点的第一数据同步控制信息数组中的数据更新为原始日志记录的LSN值。
图2为本发明实施例提供的一种数据同步方法的流程图，该方法可以应用于分布式数据库场景的存储节点中，如图2所示，该方法可以包括以下步骤：
S201、存储节点获取日志节点发送的控制消息。
在本申请实施例中，存储节点接收的控制信息中可以携带有物理日志和更新后的数据同步控制信息数组。
S202、存储节点根据控制消息更新自身存储的数据信息。
存储节点中存储有副本信息，存储节点可以根据获取到的物理日志修改自身存储的副本信息中的数据，进而根据接收到的更新后的数据同步控制信息数组更新自身存储的同步数组中的参数。该同步数组中可以记录与数据库服务节点的数据同步情况。
S203、存储节点根据更新后的数据信息向日志节点发送反馈消息。
基于上述步骤S202更新同步数组后，存储节点根据更新后的同步数组生成反馈消息，并将反馈消息发送至日志节点。
本申请实施例提供了一种数据同步方法，存储节点获取日志节点发送的控制消息，并根据控制消息更新自身存储的数据信息，进而根据更新后的数据信息向日志节点发送反馈消息。通过这样的方式，可以使存储节点获取其同步数据所属数据库服务节点的同步情况，从而有效解决分布式数据库系统中有多个数据库服务节点时，数据同步的问题。
图3为本申请实施例提供的一种数据同步系统，如图3所示，该系统包括日志节点301、存储节点302和数据库服务节点303。
本申请实施例中，日志节点、存储节点、数据库服务节点均可以为一个或多个，如图3所示，多个数据服务节点和多个存储节点与负责中转处理的日志节点相连接，与该日志节点相连的其他日志节点可以作为备份节点，以使得在数据服务节点和存储节点连接的日志节点宕机或者其他情况下，由备份的日志节点承担相应的工作，以保证分布式数据库系统的正常运行。
如图3所示，在该分布式数据库系统中，用户可以在客户端20上进行操作，例如从数据库服务节点中读取数据，或者对数据库服务节点中的数据进行修改等。
数据库服务节点可以维护一个刷盘LSN(或者，称之为检查点LSN)，该刷盘LSN用于记录该数据库服务节点已刷盘数据的最大LSN值。当用户通过客户端对数据库服务节点中的某个数据进行操作时，若该数据不在数据库服务节点的内存缓冲区中，说明这个数据已刷盘，需要从存储节点的某个副本获取该数据。此时，所有存储节点的第三数据同步控制信息数组中对应此数据库服务节点的参数值应大于刷盘LSN，这样表示该数据在所有的存储节点已经同步，进而可以从存储节点中获取数据。
例如，假设分布式数据库系统中有三个数据库服务节点，分别标记为INST1、INST2和INST3，两个存储节点，分别标记为SS01和SS02。假设日志节点中对应两个存储节点SS01和SS02的数据同步控制信息数组信息分别如表1、表2所示：
表1
表2
假设数据库服务节点INST1的刷盘LSN为1001，此时INST1需要读取的数据不在INST1的内存缓冲区中，需要从存储节点读取。由于SS01和SS02的第三数据同步控制信息数组中INST1对应的值均大于INST1的刷盘LSN，说明INST1的刷盘数据在SS01和SS02中均已同步，因此可以正确读取。反之，若某个存储节点的第三数据同步控制信息数组中INST1对应的值小于INST1的刷盘LSN，则说明数据未处于同步状态，此时不能正确读取。
本实施例所提供的数据同步系统可执行图1、图2所提供的数据同步方法，具备执行方法相应的节点和有益效果。
图4为本实施例提供的一种数据同步装置，如图4所示，该装置包括：转化模块401、更新模块402、传输模块403；
其中，转化模块，用于将获取的原始日志转化为物理日志；
更新模块，用于更新自身存储的数据同步控制信息数组，上述数据同步装置中存储有三个数据同步控制信息数组，该三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；
传输模块，用于在满足预设条件的情况下，向存储节点发送携带有物理日志和更新后的数据同步控制信息数组的控制消息；以及，接收存储节点发送的反馈消息，其中，反馈消息是存储节点根据控制消息对自身存储的数据同步后发送的；
更新模块，用于根据反馈消息更新数据同步控制信息数组。
可选地，上述第一数据同步控制信息数组、第二数据同步控制信息数组和第三数据同步控制信息数组中均存储有至少一个存储节点的参数，其中，第一数据同步控制信息数组中的参数表示存储节点对应的发送缓冲区中数据库服务节点的待同步数据物理日志的最大LSN，发送缓冲区为日志节点的发送缓冲区，第二数据同步控制信息数组中的参数表示已发送至存储节点的数据库服务节点的待同步数据物理日志的最大LSN，第三数据同步控制信息数组中的参数表示存储节点中完成同步的数据库服务节点的数据物理日志的最大LSN。
在一种示例中，转化模块，用于根据原始日志的记录获取记录的逻辑地址和LSN值，并根据逻辑地址获取记录对应数据的分片的副本信息，进而根据副本信息的物理地址将原始日志转化为物理地址。
在一种示例中，更新模块，用于日志节点根据副本信息对应的存储节点标识确定第一数据同步控制信息数组中存储节点的参数，进而根据原始日志的记录的LSN值更新第一数据同步控制信息数组中的参数。
在一种示例中，上述更新模块，还可以用于将第二数据同步控制信息数组中的参数更新为第一数据同步控制信息数组中的参数。
在一种示例中，更新模块，还可以用于将第三数据同步控制信息数组中的参数更新为反馈消息中携带的同步数组中的参数。
本实施例所提供的数据同步装置可执行图1所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。
图5为本申请实施例提供的一种数据同步装置，如图5所示，该装置可以包括：传输模块501、更新模块502；
其中，传输模块，用于获取日志节点发送的控制消息；
更新模块，用于根据控制消息更新自身存储的数据信息；
可选地，控制消息中携带有物理日志和更新后的数据同步控制信息数组传输模块，用于根据更新后的数据信息向日志节点发送反馈消息。
在一种示例中，更新模块，用于根据物理日志修改自身存储的副本信息中的数据，并根据更新后的数据同步控制信息数组更新自身存储的同步数组中的参数。
在一种示例中，传输模块，用于根据更新后的同步数组生成反馈消息，并将反馈消息发送至日志节点。
本实施例所提供的数据同步装置可执行图2所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。
图6为本发明实施例提供的一种数据库节点的结构示意图，如图6所示，该数据库节点包括处理器601、存储器602、输入装置603和输出装置606；数据库节点中处理器601的数量可以是一个或多个，图6中以一个处理器601为例；数据库节点中的处理器601、存储器602、输入装置603和输出装置606可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块(例如，图4或图5中的各个模块)。处理器601通过运行存储在存储器602中的软件程序、指令以及模块，从而执行数据库节点的各种功能应用以及数据处理，即实现图1、图2所示的数据同步方法。
存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器602可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据库节点/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置603可用于接收输入的数字或字符信息，以及产生与数据库节点的用户设置以及功能控制有关的键信号输入。输出装置606可包括显示屏等显示数据库节点。
本发明实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种数据同步方法，该方法可以如上述图1、图2实施例所提供的方法。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种数据同步方法，其特征在于，包括：
日志节点将获取的原始日志转化为物理日志；
所述日志节点更新自身存储的数据同步控制信息数组，所述日志节点存储有三个数据同步控制信息数组，所述三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组；
在满足预设条件的情况下，所述日志节点向存储节点发送控制消息，所述控制消息中携带有物理日志和更新后的数据同步控制信息数组；
所述日志节点接收所述存储节点发送的反馈消息，并根据所述反馈消息更新数据同步控制信息数组；
其中，所述反馈消息是所述存储节点根据所述控制消息对自身存储的数据同步后发送的。
2.根据权利要求1所述的方法，其特征在于，所述第一数据同步控制信息数组、所述第二数据同步控制信息数组和所述第三数据同步控制信息数组中均存储有至少一个存储节点的参数，其中，所述第一数据同步控制信息数组中的参数表示存储节点对应的发送缓冲区中数据库服务节点的待同步数据物理日志的最大日志序列号LSN，所述发送缓冲区为所述日志节点的发送缓冲区，所述第二数据同步控制信息数组中的参数表示已发送至存储节点的数据库服务节点的待同步数据物理日志的最大LSN，所述第三数据同步控制信息数组中的参数表示存储节点中完成同步的数据库服务节点的数据物理日志的最大LSN。
3.根据权利要求1或2所述的方法，其特征在于，日志节点将获取的原始日志转化为物理日志，包括：
所述日志节点根据原始日志的记录获取所述记录的逻辑地址和LSN值；
所述日志节点根据所述逻辑地址获取所述记录对应数据的分片的副本信息；
所述日志节点根据所述副本信息的物理地址将所述原始日志转化为物理地址。
4.根据权利要求3所述的方法，其特征在于，所述日志节点更新自身存储的数据同步控制信息数组，包括：
所述日志节点根据所述副本信息对应的存储节点标识确定第一数据同步控制信息数组中存储节点的参数；
所述日志节点根据所述原始日志的记录的LSN值更新所述第一数据同步控制信息数组中存储节点的参数。
5.根据权利要求1所述的方法，其特征在于，在所述日志节点向存储节点发送控制信息之后，所述方法还包括：
所述日志节点将所述第二数据同步控制信息数组中的参数更新为所述第一数据同步控制信息数组中的参数。
6.根据权利要求1所述的方法，其特征在于，所述日志节点根据所述反馈消息更新数据同步控制信息数组，包括：
所述日志节点将所述第三数据同步控制信息数组中的参数更新为所述反馈消息中携带的同步数组中的参数。
7.一种数据同步方法，其特征在于，包括：
存储节点获取日志节点发送的控制消息；
所述存储节点根据所述控制消息更新自身存储的数据信息；
所述存储节点根据更新后的数据信息向所述日志节点发送反馈消息。
8.根据权利要求7所述的方法，其特征在于，所述控制消息中携带有物理日志和更新后的数据同步控制信息数组；
所述存储节点根据所述控制消息更新自身存储的数据信息，包括：
所述存储节点根据所述物理日志修改自身存储的副本信息中的数据；
所述存储节点根据所述更新后的数据同步控制信息数组更新自身存储的同步数组中的参数。
9.根据权利要求8所述的方法，其特征在于，所述存储节点根据更新后的数据信息向所述日志节点发送反馈消息，包括：
所述存储节点根据更新后的同步数组生成反馈消息；
所述存储节点将所述反馈消息发送至日志节点。
10.一种数据同步系统，其特征在于，包括：如权利要求1-6任一项所述的日志节点、如权利要求7-9任一项所述的存储节点，以及数据库服务节点。
11.一种数据库节点，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的数据同步方法，或者，如权利要求7-9任一项所述的数据同步方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的数据同步方法，或者，如权利要求7-9任一项所述的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010917485.6A CN112084261B (zh) | 2020-09-03 | 2020-09-03 | 一种数据同步方法、系统、节点及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010917485.6A CN112084261B (zh) | 2020-09-03 | 2020-09-03 | 一种数据同步方法、系统、节点及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112084261A true CN112084261A (zh) | 2020-12-15 |
| CN112084261B CN112084261B (zh) | 2024-05-10 |
Family
ID=73731458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010917485.6A Active CN112084261B (zh) | 2020-09-03 | 2020-09-03 | 一种数据同步方法、系统、节点及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084261B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279920A1 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Log record management |
| US20160092491A1 (en) * | 2014-09-25 | 2016-03-31 | Dropbox, Inc. | Synchronizing copies of an extent in an append-only storage system |
| CN106802858A (zh) * | 2017-01-16 | 2017-06-06 | 广东欧珀移动通信有限公司 | 一种日志动态配置方法、装置及系统 |
| CN109634800A (zh) * | 2018-10-19 | 2019-04-16 | 深圳平安财富宝投资咨询有限公司 | 数据处理方法、系统、终端及可读存储介质 |
| US20190347167A1 (en) * | 2017-01-26 | 2019-11-14 | Huawei Technologies Co., Ltd. | Primary Node-Standby Node Data Transmission Method, Control Node, and Database System |
| CN110502507A (zh) * | 2019-08-29 | 2019-11-26 | 上海达梦数据库有限公司 | 一种分布式数据库的管理系统、方法、设备和存储介质 |
| CN110609872A (zh) * | 2019-09-20 | 2019-12-24 | 北京海益同展信息科技有限公司 | 用于同步节点数据的方法和装置 |
| US20200050692A1 (en) * | 2018-08-10 | 2020-02-13 | Microsoft Technology Licensing, Llc | Consistent read queries from a secondary compute node |
| CN111444147A (zh) * | 2020-03-30 | 2020-07-24 | 上海达梦数据库有限公司 | 一种数据页创建方法、装置、终端设备及存储介质 |
| CN111475480A (zh) * | 2020-04-13 | 2020-07-31 | 上海达梦数据库有限公司 | 一种日志处理方法及系统 |
-
2020
- 2020-09-03 CN CN202010917485.6A patent/CN112084261B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279920A1 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Log record management |
| US20160092491A1 (en) * | 2014-09-25 | 2016-03-31 | Dropbox, Inc. | Synchronizing copies of an extent in an append-only storage system |
| CN106802858A (zh) * | 2017-01-16 | 2017-06-06 | 广东欧珀移动通信有限公司 | 一种日志动态配置方法、装置及系统 |
| US20190347167A1 (en) * | 2017-01-26 | 2019-11-14 | Huawei Technologies Co., Ltd. | Primary Node-Standby Node Data Transmission Method, Control Node, and Database System |
| US20200050692A1 (en) * | 2018-08-10 | 2020-02-13 | Microsoft Technology Licensing, Llc | Consistent read queries from a secondary compute node |
| CN109634800A (zh) * | 2018-10-19 | 2019-04-16 | 深圳平安财富宝投资咨询有限公司 | 数据处理方法、系统、终端及可读存储介质 |
| CN110502507A (zh) * | 2019-08-29 | 2019-11-26 | 上海达梦数据库有限公司 | 一种分布式数据库的管理系统、方法、设备和存储介质 |
| CN110609872A (zh) * | 2019-09-20 | 2019-12-24 | 北京海益同展信息科技有限公司 | 用于同步节点数据的方法和装置 |
| CN111444147A (zh) * | 2020-03-30 | 2020-07-24 | 上海达梦数据库有限公司 | 一种数据页创建方法、装置、终端设备及存储介质 |
| CN111475480A (zh) * | 2020-04-13 | 2020-07-31 | 上海达梦数据库有限公司 | 一种日志处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112084261B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109683826B (zh) | 用于分布式存储系统的扩容方法和装置 | |
| US20150113218A1 (en) | Distributed Data Processing Method and Apparatus | |
| US11188560B2 (en) | Synchronizing object in local object storage node | |
| CN109325016B (zh) | 数据迁移方法、装置、介质及电子设备 | |
| CN111143382B (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN112636992B (zh) | 一种动态路由方法、装置、设备及存储介质 | |
| CN105407117A (zh) | 分布式备份数据的方法、装置和系统 | |
| CN111104069A (zh) | 分布式存储系统的多区域数据处理方法、装置及电子设备 | |
| JP2019204527A (ja) | 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体 | |
| CN113407637A (zh) | 一种数据同步方法、装置、电子设备以及存储介质 | |
| CN113259476B (zh) | 消息推送方法及系统 | |
| CN113138972A (zh) | 数据迁移方法及装置、存储介质及电子设备 | |
| CN115517009B (zh) | 集群管理方法、集群管理装置、存储介质与电子设备 | |
| CN112000850A (zh) | 进行数据处理的方法、装置、系统及设备 | |
| CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
| CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
| CN112084261A (zh) | 一种数据同步方法、系统、节点及存储介质 | |
| CN115189931A (zh) | 一种分布式密钥管理方法、装置、设备、存储介质 | |
| CN111752892A (zh) | 分布式文件系统及其实现方法、管理系统、设备及介质 | |
| CN110569231B (zh) | 数据迁移方法、装置、设备和介质 | |
| US11386043B2 (en) | Method, device, and computer program product for managing snapshot in application environment | |
| CN112947847B (zh) | 用于存储数据的方法、设备和计算机程序产品 | |
| CN110099117B (zh) | 一种多版本dns区文件全量下发的方法和装置 | |
| CN114880717A (zh) | 数据归档方法及装置 | |
| CN114281600A (zh) | 一种容灾备份和容灾恢复方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |