CN111858171B - 一种数据备份方法、装置、设备及存储介质 - Google Patents
一种数据备份方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111858171B CN111858171B CN202010664828.2A CN202010664828A CN111858171B CN 111858171 B CN111858171 B CN 111858171B CN 202010664828 A CN202010664828 A CN 202010664828A CN 111858171 B CN111858171 B CN 111858171B
- Authority
- CN
- China
- Prior art keywords
- sequence number
- number value
- data
- log
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明实施例公开了一种数据备份方法、装置、设备及存储介质，该方法包括：当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和备用节点的各接收日志序号值；根据各数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于数据备份序号值的日志数据发送给备用节点，解决了数据备份时在备用节点发生故障到恢复正常工作期间所产生的所有数据及控制信息全部发送给备用节点造成的资源损耗的问题，根据数据备份序号值确定发送给备用节点的日志数据，实现了已完成存储的永久化数据无需再次进行传输和备份的效果，降低了系统中的网络消耗和备用节点恢复期间的系统风险，提高了备用节点的恢复效率。
Description
技术领域
本发明实施例涉及数据库技术领域，尤其涉及一种数据备份方法、装置、设备和存储介质。
背景技术
一种常见的分布式数据库系统架构为中心化副本控制架构，在这种分布式数据库中，中心节点负责所有数据副本相关的控制操作，因此，中心节点的安全尤为重要。主备是一种常用的保证数据安全的方式，当主节点模式的中心节点故障后，备用节点模式的中心节点能够切换成主节点模式并继续提供服务。
使用当前通用的主备用节点模式，主节点模式的中心节点要将所有副本数据同步相关的数据及控制信息发送给备用节点模式的中心节点。如果备用节点发生故障，在其恢复时，为了保证其之后能够顺利切换为主节点，当前的主节点需要将备用节点故障期间的相关数据及控制信息发送给备用节点。而在分布式数据库中，当备用节点进行恢复时，其发生故障到恢复期间的一些数据已经同步到所有副本并已永久化，即使将来备用节点切换成主节点，也不会使用这些数据及控制信息。这些额外的数据传输增加了分布式系统中的网络消耗，降低了备用节点恢复的效率，增加了备用节点恢复期间的系统风险。
发明内容
本发明提供一种数据备份方法、装置、设备和存储介质，以实现数据快速备份，节省资源。
第一方面，本发明实施例提供了一种数据备份方法，所述数据备份方法包括：
当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；
根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
第二方面，本发明实施例还提供了一种数据备份装置，该数据备份装置包括：
获取模块，用于当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；
发送模块，用于根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种数据备份方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种数据备份方法。
本发明实施例提供了一种数据备份方法、装置、设备及存储介质，通过当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点，解决了主节点在进行数据备份时在备用节点发生故障到恢复正常工作期间所产生的所有数据及控制信息全部发送给备用节点造成的资源损耗的问题，通过获取各存储节点的数据控制信息和备用节点的各接收日志序号值确定数据备份序号值，根据数据备份序号值确定发送给备用节点的日志数据，对数据进行部分备份，无需全部发送给备用节点进行备份，实现了已完成存储的永久化数据无需再次进行传输和备份的效果，降低了系统中的网络消耗。提高了备用节点的恢复效率，降低了备用节点恢复期间的系统风险。
附图说明
图1是本发明实施例一中的一种数据备份方法的流程图；
图2是本发明实施例一中的一种分布式数据库系统的结构示意图；
图3是本发明实施例二中的一种数据备份方法的流程图；
图4是本发明实施例二中的一种数据备份方法中确定数据备份序号值的实现流程图；
图5是本发明实施例三中的一种数据备份装置的结构图；
图6是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据备份方法的流程图，本实施例可适用于数据库中对数据进行备份情况，图2提供了一种分布式数据库系统的结构示意图，数据库系统中每条日志的日志序号值(Log Sequence Number，LSN)是一个递增的序列，可以方便对日志进行管理。图2中的分布式数据库系统架构中数据库服务节点生成原始日志发送给中心节点；中心节点将原始日志进行转化并分发给对应的存储节点，图2的分布式数据库系统架构中的中心节点工作逻辑如下：接收数据库服务节点发送过来的原始日志，进行归档后通知数据库服务节点继续执行；与数据库服务节点异步执行解析、转化日志，将其转化为存储节点可以重做的副本相关的日志；将转化后的日志发送给各个存储节点，并异步等待其重做结果；接收到某个存储节点的重做结果，更新该存储节点相关的数据控制信息。该方法可以由数据备份装置来执行，具体包括如下步骤：
步骤S110、当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值。
在本实施例中，备用节点可以理解为分布式系统架构中工作模式为备用模式的中心节点，在主节点发生故障时代替主节点工作，分布式系统架构中中心节点有多个，其中一个作为主节点，用来管理日志及存储节点，一个或多个作为备用节点，用来对主节点的数据进行备份。主节点在正常工作时将日志数据发送给存储节点进行重做的同时，向备用节点发送同样的数据，以便备用节点对数据进行备份；日志数据是数据库中对数据进行操作(例如，增加、删除、修改、查询)时记录的操作数据，存储节点存储数据而不必存储日志数据，日志数据只是数据修改的日志，存储节点根据日志对数据进行维护；数据控制信息可以理解为主节点存储的存储节点对数据接收和处理的信息，例如，一组数据控制信息中包括了存储节点的标识、日志已经发送给该存储节点的最大LSN值、该存储节点已经完成重做的日志的最大LSN值、该存储节点已经将其修改的数据刷盘的日志最大的LSN值；接收日志序号值可以理解为备用节点已经成功接收的主节点发送的日志数据的序号值。
当备用节点发生故障时，无法接收主节点发送的日志数据进行数据备份，但是主节点依然在正常工作，向存储节点发送日志数据，但是这部分数据没有进行备份，在备用节点恢复到正常工作状态时，要对日志数据进行备份。监测备用节点从故障状态切换到工作状态的方式可以是备用节点向主节点发送信息，信息中携带表示备用节点正常工作的数据；或者备用节点虽然处于故障状态无法正常工作，主节点依然在向存储节点发送日志数据的同时向备用节点发送日志数据，当时由于备用节点处于故障状态，无法向主节点反馈信息，若主节点接收到备用节点发送的反馈信息，确定备用节点从故障状态切换到工作状态。当监测到备用节点从故障状态切换到工作状态时，获取存储节点的数据控制信息和备用节点的接收到主节点发送的日志数据的接收日志序号值。
步骤S120、根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
在本实施例中，数据备份序号值可以理解为主节点向备用节点发送日志数据的起始点，即从数据备份序号值的点开始进行数据备份。日志序号值可以理解为日志数据的序号。
根据各数据控制信息确定各存储节点当前已经对日志数据的接收和处理情况，确定各存储节点已经将其修改的数据刷盘的日志最大的LSN值，根据刷盘的日志最大的LSN值和接收日志序号值的大小确定数据备份序号值，将日志序号值大于数据备份序号值的日志数据发送给备用节点进行数据备份。
本发明实施例提供了一种数据备份方法，通过当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点，解决了主节点在进行数据备份时在备用节点发生故障到恢复正常工作期间所产生的所有数据及控制信息全部发送给备用节点造成的资源损耗的问题，通过获取各存储节点的数据控制信息和备用节点的各接收日志序号值确定数据备份序号值，根据数据备份序号值确定发送给备用节点的日志数据，对数据进行部分备份，无需全部发送给备用节点进行备份，实现了已完成存储的永久化数据无需再次进行传输和备份的效果，降低了系统中的网络消耗。提高了备用节点的恢复效率，降低了备用节点恢复期间的系统风险。
实施例二
图3为本发明实施例二提供的一种数据备份方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，具体主要包括如下步骤：
步骤S210、当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值。
步骤S220、确定各所述数据控制信息中的永久化日志序号值。
在本实施例中，永久化日志序号值可以理解为存储节点已经将修改的数据进行刷盘，实现永久化存储的日志数据的日志序号值。存储节点接收主节点发送的日志数据，对日志数据进行重做日志，并将重做成功的已经被修改的数据进行刷盘，实现永久化存储。
数据控制信息中包含了多种存储节点对日志数据的处理情况的信息，确定其中的永久化日志序号值。示例性的，主节点以存储节点标识和日志的LSN来管理副本数据同步，其数据控制信息如下：
SS_CTL_INFO(SS_NO,LAST_SEND_LSN,LAST_APPLIED_LSN,LAST_LSN)
SS_NO:存储节点标识；
LAST_SEND_LSN:日志已经发送给该存储节点的最大LSN值；
LAST_APPLIED_LSN:该存储节点已经完成重做的日志的最大LSN值；
LAST_FILE_LSN:该存储节点已经将其修改的数据刷盘的日志最大的LSN值，即永久化日志序号值。
步骤S230、确定各所述接收日志序号值中的最大接收序号值。
在本实施例中，最大接收序号值可以理解为备用节点的接收日志序号值中的最大值。
主节点发送给备用节点信息并确认备用节点已经收到，记录备用节点已经成功接收的接收日志序号值，确定接收日志序号值中的最大接收序号值。
步骤S240、根据所述永久化日志序号值和最大接收序号值确定数据备份序号值。
通过比较永久化序号值和最大接收序号值的大小确定数据备份序号值。
进一步地，图4提供了一种数据备份方法中确定数据备份序号值的实现流程图，根据所述永久化日志序号值和最大接收序号值确定数据备份序号值的方式具体包括如下步骤：
步骤S241、确定各所述永久化日志序号值中的最小永久化序号值。
在本实施例中，最小永久化序号值可以理解为各存储节点的永久化日志序号值中的最小值。
数据库系统中的存储节点至少一个，通常在实际应用中存储节点会有多个，每个存储节点对应一条数据控制信息，确定各存储节点的数据控制信息中的永久化日志序号值，可以得到多个永久化日志序号值，确定多个永久化日志序号值中的最小值，即最小永久化序号值。
步骤S242、判断所述最小永久化序号值是否大于最大接收序号值，若是，执行步骤S243；否则，执行步骤S244。
步骤S243、将所述最小永久化序号值作为所述数据备份序号值。
步骤S244、将所述最大接收序号值作为所述数据备份序号值。
判断最小永久化序号值与最大接收序号值的大小，将两者中较大的作为数据备份序号值。日志序号值小于最小永久化序号值的日志数据已经同步到存储节点中，即使当前主节点发生故障，备用节点替代主节点进行工作，也不需要再处理这部分数据，将最小永久化序号值作为数据备份序号值，主节点只需要将最小永久化序号值之后日志数据发送给备用节点进行数据备份。或者，在备用节点发生故障前，某一个存储节点发生故障，当备用节点从故障状态切换为正常状态时，最小永久化序号值小于最大接收序号值，但是由于处于最小永久化序号值与最大接收序号值之间的日志序号值的日志数据在备用节点发生故障前已经发送给备用节点，不需要重复发送，因此将最大接收序号值作为数据备份序号值，主节点只需要将最大接收序号值之后日志数据发送给备用节点进行数据备份。
步骤S250、将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
步骤S260、接收所述备用节点的反馈信息，并根据所述反馈信息更新所述接收日志序号值。
在本实施例中，反馈信息可以理解为备用节点接收到主节点发送的日志数据后，向主节点发送的已经接收到日志数据的信息。
主节点向备用节点发送日志数据进行数据备份后，备用节点向主节点发送反馈信息，以便主节点可以确认备用节点已经收到日志数据，并根据反馈信息更新接收日志序号值。主节点在向备用节点发送日志数据进行备份的同时，还可以发送数据控制信息，以便备用节点掌握存储节点对日志数据的处理情况。
示例性的，举例说明数据备份方法的实现过程。一个分布式数据库系统中有三个存储节点，标识分别为SS01，SS02，SS03。假设备用节点发生异常时，最大接收序号值为100。
假设当备用节点恢复时，各存储节点的数据同步情况如下表：
其中最小的永久化日志序号值即最小永久化序号值为203，该情况表明，LSN<＝203的所有日志数据及其修改已经同步到所有的存储节点中，即使当前主节点异常，备用节点接管主节点的工作，也不需要再处理这部分数据。而最大接收序号值为100，小于203；所以数据备份序号值取值203，主节点会将LSN 203之后的日志数据发送给备用节点，而LSN属于(100,203]之间的日志不必发送给备用节点。降低了网络消耗，提高了备用节点的恢复效率。
在所有存储节点正常的情况下，当前最新的LSN可能不会比210大太多，需要发送的日志很少，甚至没有日志需要发送，可以很快地完成备用节点恢复。
假设存储节点SS03在备用节点发生异常前已发生故障，当备用节点恢复到正常工作状态时，各存储节点的数据同步情况如下表：
| 存储节点标识 | 永久化日志序号值 |
| SS01 | 207 |
| SS01 | 203 |
| SS01 | 80 |
其中最小的永久化日志序号值即最小永久化序号值为80，而最大接收序号值为100，大于80；因为LSN属于(80,100]之间的日志之前已经发送给了备用节点，不需要重复发送，因此数据备份序号值取值100，主节点会将LSN 100之后的日志数据发送给备用节点。
本发明实施例提供的数据备份方法可以大幅减少发送给备用节点的日志数据的数量，降低网络消耗，减少备用节点的日志解析量，提高备用节点的恢复效率。
另外，本发明方法并不仅限于分布式数据库系统，对于采用主备模式的中心节点，在备用节点恢复时，都可根据其中的数据控制信息来选择性地发送日志数据及数据控制信息。
本发明实施例提供了一种数据备份方法，通过当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点，解决了主节点在进行数据备份时在备用节点发生故障到恢复正常工作期间所产生的所有数据及控制信息全部发送给备用节点造成的资源损耗的问题，通过判断最小永久化序号值和最大接收序号值的大小关系，将两者中较大的作为数据备份序号值，根据数据备份序号值确定发送给备用节点的日志数据，对数据进行部分备份，无需全部发送给备用节点进行备份，实现了已完成存储的永久化数据无需再次进行传输和备份的效果，降低了系统中的网络消耗，提高了备用节点的恢复效率，降低了备用节点恢复期间的系统风险。
实施例三
图5为本发明实施例三提供的一种数据备份装置的结构图，该装置包括：获取模块31和发送模块32。
其中，获取模块31，用于当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；发送模块32，用于根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
本发明实施例提供了一种数据备份装置，解决了主节点在进行数据备份时在备用节点发生故障到恢复正常工作期间所产生的所有数据及控制信息全部发送给备用节点造成的资源损耗的问题，通过获取各存储节点的数据控制信息和备用节点的各接收日志序号值确定数据备份序号值，根据数据备份序号值确定发送给备用节点的日志数据，对数据进行部分备份，无需全部发送给备用节点进行备份，实现了已完成存储的永久化数据无需再次进行传输和备份的效果，降低了系统中的网络消耗。提高了备用节点的恢复效率，降低了备用节点恢复期间的系统风险。
进一步地，发送模块32，包括：
第一确定单元，用于确定各所述数据控制信息中的永久化日志序号值；
第二确定单元，用于确定各所述接收日志序号值中的最大接收序号值；
第三确定单元，用于根据所述永久化日志序号值和最大接收序号值确定数据备份序号值。
进一步地，第三确定单元具体用于：确定各所述永久化日志序号值中的最小永久化序号值；判断所述最小永久化序号值是否大于最大接收序号值，若是，将所述最小永久化序号值作为所述数据备份序号值；否则，将所述最大接收序号值作为所述数据备份序号值。
进一步地，该装置还包括：
更新模块，用于接收所述备用节点的反馈信息，并根据所述反馈信息更新所述接收日志序号值。
本发明实施例所提供的数据备份装置可执行本发明任意实施例所提供的数据备份方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种设备的结构示意图，如图6所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据备份方法对应的程序指令/模块(例如，数据备份装置中的获取模块31和发送模块32)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据备份方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据备份方法，该方法包括：
当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；
根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据备份方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据备份装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种数据备份方法，其特征在于，所述方法包括：
当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；其中，所述备用节点为分布式系统架构中工作模式为备用模式的中心节点，在主节点发生故障时代替主节点工作；所述主节点在正常工作时将日志数据发送给存储节点进行重做的同时，向所述备用节点发送同样的日志数据，以便所述备用节点对所述日志数据进行备份；
根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点；
所述根据各所述数据控制信息和接收日志序号值确定数据备份序号值，包括：
确定各所述数据控制信息中的永久化日志序号值；
确定各所述接收日志序号值中的最大接收序号值；
根据所述永久化日志序号值和最大接收序号值确定数据备份序号值；
所述根据所述永久化日志序号值和最大接收序号值确定数据备份序号值，包括：
确定各所述永久化日志序号值中的最小永久化序号值；
判断所述最小永久化序号值是否大于最大接收序号值，若是，将所述最小永久化序号值作为所述数据备份序号值；否则，将所述最大接收序号值作为所述数据备份序号值。
2.根据权利要求1所述的方法，其特征在于，还包括：
接收所述备用节点的反馈信息，并根据所述反馈信息更新所述接收日志序号值。
3.一种数据备份装置，其特征在于，所述装置包括：
获取模块，用于当监测到备用节点从故障状态切换到工作状态时，获取存储数据的各存储节点的数据控制信息和所述备用节点的各接收日志序号值；其中，所述备用节点为分布式系统架构中工作模式为备用模式的中心节点，在主节点发生故障时代替主节点工作；所述主节点在正常工作时将日志数据发送给存储节点进行重做的同时，向所述备用节点发送同样的日志数据，以便所述备用节点对所述日志数据进行备份；
发送模块，用于根据各所述数据控制信息和接收日志序号值确定数据备份序号值，将日志序号值大于所述数据备份序号值的日志数据发送给所述备用节点；
所述发送模块，包括：
第一确定单元，用于确定各所述数据控制信息中的永久化日志序号值；
第二确定单元，用于确定各所述接收日志序号值中的最大接收序号值；
第三确定单元，用于根据所述永久化日志序号值和最大接收序号值确定数据备份序号值；
所述第三确定单元，具体用于：
确定各所述永久化日志序号值中的最小永久化序号值；判断所述最小永久化序号值是否大于最大接收序号值，若是，将所述最小永久化序号值作为所述数据备份序号值；否则，将所述最大接收序号值作为所述数据备份序号值。
4.根据权利要求3所述的装置，其特征在于，还包括：
更新模块，用于接收所述备用节点的反馈信息，并根据所述反馈信息更新所述接收日志序号值。
5.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的一种数据备份方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的一种数据备份方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010664828.2A CN111858171B (zh) | 2020-07-10 | 2020-07-10 | 一种数据备份方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010664828.2A CN111858171B (zh) | 2020-07-10 | 2020-07-10 | 一种数据备份方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858171A CN111858171A (zh) | 2020-10-30 |
| CN111858171B true CN111858171B (zh) | 2024-03-12 |
Family
ID=72984264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010664828.2A Active CN111858171B (zh) | 2020-07-10 | 2020-07-10 | 一种数据备份方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858171B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0881570A1 (en) * | 1997-05-30 | 1998-12-02 | Atsuro Ogawa | Database recovery system |
| US5909700A (en) * | 1996-12-23 | 1999-06-01 | Emc Corporation | Back-up data storage facility incorporating filtering to select data items to be backed up |
| WO2012162176A2 (en) * | 2011-05-23 | 2012-11-29 | Microsoft Corporation | Synchronous replication in a distributed storage environment |
| JP2015084259A (ja) * | 2015-02-02 | 2015-04-30 | 日本電気株式会社 | 情報処理システム |
| CN105159818A (zh) * | 2015-08-28 | 2015-12-16 | 东北大学 | 内存数据管理中日志恢复方法及其仿真系统 |
| WO2017097130A1 (zh) * | 2015-12-08 | 2017-06-15 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的服务节点切换方法和装置 |
| CN106933703A (zh) * | 2015-12-30 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 一种数据库数据备份的方法、装置及电子设备 |
| US9785510B1 (en) * | 2014-05-09 | 2017-10-10 | Amazon Technologies, Inc. | Variable data replication for storage implementing data backup |
| CN108228678A (zh) * | 2016-12-22 | 2018-06-29 | 华为技术有限公司 | 一种多副本数据恢复方法及装置 |
| CN110851528A (zh) * | 2019-10-09 | 2020-02-28 | 网联清算有限公司 | 数据库同步方法、装置、存储介质及计算机设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7725446B2 (en) * | 2005-12-19 | 2010-05-25 | International Business Machines Corporation | Commitment of transactions in a distributed system |
| KR101352959B1 (ko) * | 2011-12-09 | 2014-01-21 | 주식회사 알티베이스 | 메인메모리 데이터베이스 관리 시스템의 액티브 노드 및 스탠바이 노드의 데이터베이스 관리 장치 및 방법 |
-
2020
- 2020-07-10 CN CN202010664828.2A patent/CN111858171B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5909700A (en) * | 1996-12-23 | 1999-06-01 | Emc Corporation | Back-up data storage facility incorporating filtering to select data items to be backed up |
| EP0881570A1 (en) * | 1997-05-30 | 1998-12-02 | Atsuro Ogawa | Database recovery system |
| WO2012162176A2 (en) * | 2011-05-23 | 2012-11-29 | Microsoft Corporation | Synchronous replication in a distributed storage environment |
| US9785510B1 (en) * | 2014-05-09 | 2017-10-10 | Amazon Technologies, Inc. | Variable data replication for storage implementing data backup |
| JP2015084259A (ja) * | 2015-02-02 | 2015-04-30 | 日本電気株式会社 | 情報処理システム |
| CN105159818A (zh) * | 2015-08-28 | 2015-12-16 | 东北大学 | 内存数据管理中日志恢复方法及其仿真系统 |
| WO2017097130A1 (zh) * | 2015-12-08 | 2017-06-15 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的服务节点切换方法和装置 |
| CN106933703A (zh) * | 2015-12-30 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 一种数据库数据备份的方法、装置及电子设备 |
| CN108228678A (zh) * | 2016-12-22 | 2018-06-29 | 华为技术有限公司 | 一种多副本数据恢复方法及装置 |
| CN110851528A (zh) * | 2019-10-09 | 2020-02-28 | 网联清算有限公司 | 数据库同步方法、装置、存储介质及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858171A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107291787B (zh) | 主备数据库切换方法和装置 | |
| CN106951559B (zh) | 分布式文件系统中数据恢复方法及电子设备 | |
| CN111130879B (zh) | 一种基于pbft算法的集群异常恢复方法 | |
| CN110795503A (zh) | 分布式存储系统的多集群数据同步方法及相关装置 | |
| CN109783014B (zh) | 一种存储数据的方法及装置 | |
| WO2019128670A1 (zh) | 用于在分布式系统中使管理能力自恢复的方法和装置 | |
| CN110543386B (zh) | 一种数据存储方法、装置、设备和存储介质 | |
| CN109308242B (zh) | 一种动态监控方法、装置、设备和存储介质 | |
| CN110581782A (zh) | 一种容灾数据的处理方法、装置及系统 | |
| CN110032444B (zh) | 一种分布式系统及分布式任务处理方法 | |
| CN105095008A (zh) | 一种适用于集群系统的分布式任务故障冗余方法 | |
| CN104468217A (zh) | 一种1394网络管理者故障下的网络重建方法 | |
| JP5836722B2 (ja) | データ復元方法及びサーバ装置 | |
| CN105589756A (zh) | 批处理集群系统以及方法 | |
| CN113489149B (zh) | 基于实时状态感知的电网监控系统业务主节点选取方法 | |
| CN111858171B (zh) | 一种数据备份方法、装置、设备及存储介质 | |
| CN103793296A (zh) | 一种在集群中用于辅助备份复制计算机系统的方法 | |
| US20160164719A1 (en) | Fault tolerance method for distributed stream processing system | |
| CN111309515B (zh) | 一种容灾控制方法、装置及系统 | |
| WO2013091162A1 (zh) | 一种分布式存储数据恢复方法、装置及系统 | |
| CN115314361A (zh) | 一种服务器集群管理方法及其相关组件 | |
| CN115396752A (zh) | 一种基于Redis的双平面采集数据方法及系统 | |
| CN113268395B (zh) | 业务数据的处理方法、处理装置及终端 | |
| CN112799931B (zh) | 日志采集方法、装置、系统、介质及电子设备 | |
| WO2016086579A1 (zh) | 一种网管系统中网元数据智能备份恢复的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |