CN109684130A - 一种机房间数据备份的方法及装置 - Google Patents

一种机房间数据备份的方法及装置 Download PDF

Info

Publication number
CN109684130A
CN109684130A CN201811517132.6A CN201811517132A CN109684130A CN 109684130 A CN109684130 A CN 109684130A CN 201811517132 A CN201811517132 A CN 201811517132A CN 109684130 A CN109684130 A CN 109684130A
Authority
CN
China
Prior art keywords
machine room
log
incremental
incremental log
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811517132.6A
Other languages
English (en)
Other versions
CN109684130B (zh
Inventor
陈震
肖新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811517132.6A priority Critical patent/CN109684130B/zh
Publication of CN109684130A publication Critical patent/CN109684130A/zh
Application granted granted Critical
Publication of CN109684130B publication Critical patent/CN109684130B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种机房间数据备份的方法及装置。所述方法包括：管理设备从第一存储区获取待发送的第一增量日志，若确定第二存储区中不包含第一增量日志，则将第一增量日志发送至第二机房，以使第二机房与第一机房同步。其中，第一存储区存储有第一机房在各时刻对应的增量日志，第二存储区存储有第二机房在各时刻对应的增量日志。如此，一方面，能够确保数据备份的过程不会影响管理设备对增量日志的保存，从而保证数据的完整性；另一方面，在机房出入口存在网络异常或者网络波动时，本发明实施例能够保证数据不丢失，在机房网络恢复或者网络情况改善后，能够继续执行数据备份，并且快速恢复到正常情况下的备份时延。

Description

一种机房间数据备份的方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种机房间数据备份的方法及装置。
背景技术
随着互联网发展，各个企业竞争也愈发激烈，为了提供更可靠的服务，越来越多的企业摈弃了传统的单体式机房的架构，改为采用主备机房的架构。通常情况下由主机房对外提供服务，在主机房故障时候切换到备机房，继续对外提供服务。在主备机房的架构中，面临的关键问题是主备机房之间的数据备份。
现有技术中的一种实现方式为，采用批量定期备份的方式解决上述问题，然而，这种方式不可避免会损失在时间边界区间内的数据，并且备份的过程需要消耗一定时间，导致数据备份的实时性较低。另一种实现方式为，对每条数据采用实时备份的方式，然而，采用这种方式对网络的稳定性要求较高，一旦出现网络故障，就会导致备份数据丢失的问题。
基于此，目前亟需一种机房间数据备份的方法，用于解决现有技术中的数据备份方法无法兼顾实时性和网络稳定性，容易导致数据备份过程中数据丢失的问题。
发明内容
本发明实施例提供一种机房间数据备份的方法及装置，以解决现有技术中数据备份方法无法兼顾实时性和网络稳定性，容易导致数据备份过程中数据丢失的技术问题。
本发明实施例提供一种机房间数据备份的方法，所述方法应用于数据备份系统，所述系统包括管理设备和至少两个机房；所述方法包括：
所述管理设备从第一存储区获取待发送的第一增量日志；所述第一存储区存储有第一机房在各时刻对应的增量日志；所述第一机房在各时刻对应的增量日志是所述第一机房发送给所述管理设备的，所述第一机房为所述至少两个机房中的任一个；所述第一增量日志为所述第一机房在各时刻对应的增量日志中的任一增量日志；
所述管理设备判断第二存储区中是否包含所述第一增量日志，若不包含，则将所述第一增量日志发送至所述第二机房，以使所述第二机房与所述第一机房同步；所述第二存储区存储有第二机房在各时刻对应的增量日志；所述第二机房在各时刻对应的增量日志是所述第二机房发送给所述管理设备的，所述第二机房为所述至少两个机房中除所述第一机房外的任一个。
采用这种方法，通过引入管理设备对各机房产生的增量日志进行管理，对各机房产生的增量日志进行分段保存，一方面，能够确保数据备份的过程不会影响管理设备对增量日志的保存，从而保证数据的完整性；另一方面，在机房出入口存在网络异常或者网络波动时，本发明实施例能够保证数据不丢失，在机房网络恢复或者网络情况改善后，能够继续执行数据备份，并且快速恢复到正常情况下的备份时延。
在一种可能的实现方式中，所述管理设备从第一存储区获取待发送的第一增量日志之前，还包括：
所述管理设备接收所述第一机房在第一时刻发送的第一增量日志；
所述管理设备根据所述第一增量日志对应的时间戳信息，将所述第一增量日志存储于所述第一存储区对应的第一消息队列和第一冗余队列。
如此，采用消息备份队列方式，通过空间换时间，在多线程模式中，能够保证数据的准确性与高性能。
在一种可能的实现方式中，所述管理设备从第一存储区获取待发送的第一增量日志，包括：
所述管理设备从所述第一消息队列中获取待发送的第一增量日志，所述第一增量日志为时间戳信息最早的待发送的增量日志。
在一种可能的实现方式中，所述管理设备确定第二存储区中不包含所述第一增量日志，包括：
所述管理设备确定所述第二存储区对应的第二冗余队列中不包含所述第一增量日志。
在一种可能的实现方式中，所述管理设备将所述第一增量日志发送至所述第二机房，包括：
所述管理设备在所述第一增量日志中添加闭环标记，并将添加有所述闭环标记的第一增量日志发送给所述第二机房；所述闭环标记用于标识所述第一增量日志的来源。
如此，能够避免对相同的增量日志重复发送的问题。
在一种可能的实现方式中，所述管理设备将所述第一增量日志发送至所述第二机房之后，还包括：
所述管理设备若确定所述第一增量日志发送成功，则从所述第一消息队列中删除所述第一增量日志。
在一种可能的实现方式中，所述管理设备将所述第一增量日志发送至所述第二机房之后，还包括：
所述管理设备若确定所述第一增量日志发送失败，且发送失败的次数大于预设阈值，则停止发送所述第一增量日志。
如此，能够防止由于第二机房长期故障等原因，导致的第一增量日志不断发送失败，进而引起管理设备的内存奔溃的问题。
本发明实施例提供一种机房间数据备份的装置，所述装置应用于数据备份系统，所述系统包括管理设备和至少两个机房；所述装置为管理设备；所述装置：
获取单元，用于从第一存储区获取待发送的第一增量日志；所述第一存储区存储有第一机房在各时刻对应的增量日志；所述第一机房在各时刻对应的增量日志是所述第一机房发送给所述管理设备的，所述第一机房为所述至少两个机房中的任一个；所述第一增量日志为所述第一机房在各时刻对应的增量日志中的任一增量日志；
处理单元，用于判断第二存储区中是否包含所述第一增量日志；所述第二存储区存储有第二机房在各时刻对应的增量日志；所述第二机房在各时刻对应的增量日志是所述第二机房发送给所述管理设备的，所述第二机房为所述至少两个机房中除所述第一机房外的任一个；
发送单元，用于在确定所述第二存储区中不包含所述第一增量日志后，将所述第一增量日志发送至所述第二机房，以使所述第二机房与所述第一机房同步。
在一种可能的实现方式中，所述获取单元从第一存储区获取待发送的第一增量日志之前，还用于：
接收所述第一机房在第一时刻发送的第一增量日志；
所述处理单元，还用于：
根据所述第一增量日志对应的时间戳信息，将所述第一增量日志存储于所述第一存储区对应的第一消息队列和第一冗余队列。
在一种可能的实现方式中，所述获取单元具体用于：
从所述第一消息队列中获取待发送的第一增量日志，所述第一增量日志为时间戳信息最早的待发送的增量日志。
在一种可能的实现方式中，所述处理单元具体用于：
确定所述第二存储区对应的第二冗余队列中不包含所述第一增量日志。
在一种可能的实现方式中，所述发送单元具体用于：
在所述第一增量日志中添加闭环标记，并将添加有所述闭环标记的第一增量日志发送给所述第二机房；所述闭环标记用于标识所述第一增量日志的来源。
在一种可能的实现方式中，所述发送单元将所述第一增量日志发送至所述第二机房之后，所述处理单元还用于：
若确定所述第一增量日志发送成功，则从所述第一消息队列中删除所述第一增量日志。
在一种可能的实现方式中，所述发送单元将所述第一增量日志发送至所述第二机房之后，所述处理单元还用于：
若确定所述第一增量日志发送失败，且发送失败的次数大于预设阈值，则停止发送所述第一增量日志。
本申请实施例的还提供一种装置，该装置具有实现上文所描述的机房间数据备份的方法的功能。该功能可以通过硬件执行相应的软件实现，在一种可能的设计中，该装置包括：处理器、收发器和存储器；该存储器用于存储计算机执行指令，该收发器用于实现该装置与其他通信实体进行通信，该处理器与该存储器通过该总线连接，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该装置执行上文所描述的机房间数据备份的方法。
本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机房间数据备份的方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的机房间数据备份的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例适用的一种系统架构示意图；
图2为本发明实施例提供的一种机房间数据备份的方法所对应的流程示意图；
图3为本发明实施例涉及到的整体性的流程示意图；
图4为本发明实施例提供的一种机房间数据备份的装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例中。
图1示例性示出了本发明实施例适用的一种系统架构示意图。如图1所示，本发明实施例中，数据备份系统100可以包括管理设备101和至少两个机房，例如图1中示出的第一机房102和第二机房103。其中，管理设备101与各机房可以通过网络连接，从而接收各机房发送的信息以及向各机房反馈信息，例如，图1中示出的管理设备101与第一机房102、第二机房103分别通过网络连接，从而可以接收第一机房102和第二机房103分别发送的日志，以及向第一机房102和第二机房103转发日志；第一机房102为至少两个机房中的任一个，第二机房103为至少两个机房中除第一机房外的任一个。
本发明实施例中，管理设备101可以包括至少两个存储区，例如图1中示出的第一存储区1011和第二存储区1012。其中，第一存储区1011可以用于存储第一机房102在各时刻对应的增量日志，第一机房102在各时刻对应的增量日志是第一机房102发送给管理设备101的；第二存储区1012可以用于存储第二机房103在各时刻对应的增量日志，第二机房103在各时刻对应的增量日志是第二机房103发送给管理设备101的。
基于图1所示的系统架构，图2示例性示出了本发明实施例提供的一种机房间数据备份的方法所对应的流程示意图，具体包括以下步骤：
步骤201，管理设备从第一存储区获取待发送的第一增量日志。
步骤202，管理设备判断第二存储区中是否包含第一增量日志，若不包含，则执行步骤203；否则，结束流程。
步骤203，管理设备将第一增量日志发送至所述第二机房，以使第二机房与第一机房同步。
采用这种方法，通过引入管理设备对各机房产生的增量日志进行管理，对各机房产生的增量日志进行分段保存，一方面，能够确保数据备份的过程不会影响管理设备对增量日志的保存，从而保证数据的完整性；另一方面，在机房出入口存在网络异常或者网络波动时，本发明实施例能够保证数据不丢失，在机房网络恢复或者网络情况改善后，能够继续执行数据备份，并且快速恢复到正常情况下的备份时延。
在执行步骤201之前，第一机房和第二机房可以在不同时刻分别向管理设备发送增量日志。具体地，第一机房和第二机房内部可以分别设置有采集组件，采集组件用于采集对应机房生成的增量日志，并将该增量日志发送给管理设备。进一步地，采集组件在发送增量日志之前，还可以对采集到的增量日志进行筛选，过滤掉无用的数据，比如可以过滤掉错误数据等，从而提高数据备份的准确性。
管理设备可以接收第一机房和第二机房在不同时刻分别发送的增量日志。具体地，管理设备中可以设置有Kafka消息组件，Kafka消息组件可以用于接收第一机房和第二机房在不同时刻分别发送的增量日志。举个例子，管理设备中的Kafka消息组件可以接收第一机房在第一时刻发送的第一增量日志，也可以接收第二机房在第二时刻发送的第二增量日志。其中，第一时刻和第二时刻可以为两个不同的时刻，或者也可以为两个相同的时刻，具体不做限定。第一增量日志可以为第一机房在各时刻对应的增量日志中的任一增量日志，第二增量日志可以为第二机房在各时刻对应的增量日志中的任一增量日志。
进一步地，管理设备接收到任一机房发送的增量日志后，可以将接收到的增量日志存储到该机房对应的存储区中。例如，管理设备可以将第一增量日志存储至第一机房对应的第一存储区，也可以将第二增量日志存储至第二机房对应的第二存储区。
更进一步地，各机房对应的存储区可以采用队列的方式来存储日志，比如，第一存储区可以包括第一消息队列和第一冗余队列，第二存储区可以包括第二消息队列和第二冗余队列。具体地，管理设备还可以设置有分发模块，分发模块可以用于拉取Kafka消息组件中的增量日志，并将该增量日志按照时间戳信息对应存储到第一消息队列，并以数据冗余的方式将该增量日志按照时间戳信息存储到第一冗余队列。例如，分发模块可以根据第一增量日志对应的时间戳信息，将第一增量日志存储于第一存储区对应的第一消息队列和第一冗余队列，也可以根据第二增量日志对应的时间戳信息，将第二增量日志存储于第二存储区对应的第二消息队列和第二冗余队列。如此，采用消息备份队列方式，通过空间换时间，在多线程模式中，能够保证数据的准确性与高性能。
步骤201和步骤202中，管理设备可以从第一消息队列中获取待发送的第一增量日志，其中，第一增量日志可以为时间戳信息最早的待发送的增量日志。进而，管理设备可以判断第二存储区对应的第二冗余队列中是否包含所述第一增量日志。
具体地，管理设备还可以设置有比对模块，比对模块可以用于根据时间戳信息从某个消息队列中拉取待发送的增量日志，并将该待发送的增量日志与其它冗余队列中存储的增量日志进行比对，从而判断其它冗余队列中是否存储该待发送的增量日志，若未存储，则可以执行后续步骤；若存储，则可以拉取下一条待发送的增量日志。
步骤203中，管理设备在确定第二存储区中不包含待发送的第一增量日志后，可以将第一增量日志发送至第二机房。
进一步地，管理设备可以设置有发送模块，发送模块可以用于在第一增量日志中添加闭环标记，并将添加有闭环标记的第一增量日志发送给第二机房。其中，闭环标记可以用于标识增量日志的来源，如标识第一增量日志为从第一机房得到的。如此，能够避免对相同的增量日志重复发送的问题。
更进一步地，在执行上述步骤201之前，各机房向管理设备发送增量日志之前，采集组件可以先判断采集到的增量日志是否带有闭环标识，若带有闭环标识，则可以过滤掉该增量日志；若未带有闭环标识，则可以将该增量日志发送给管理设备。
需要说明的是，上述对步骤201至步骤203的具体描述是基于管理设备从第一存储区获取待发送的第一增量日志的，在其它可能的实现方式中，管理设备也可以从第二存储区获取待发送的第二增量日志，具体的实现流程是类似的，在此不再详细描述。
在执行步骤203之后，管理设备可以判断第一增量日志是否发送成功，若发送成功，则可以从第一存储区的第一消息队列中删除待发送增量日志；若发送失败，则判断发送失败的次数是否大于预设阈值，若大于，则可以只发送第一增量日志，否则，可以再次发送第一增量日志。如此，能够防止由于第二机房长期故障等原因，导致的第一增量日志不断发送失败，进而引起管理设备的内存奔溃的问题。
为了更清楚地介绍上述机房间数据备份的方法，下面结合图3，对本发明实施例中所涉及到的流程进行整体性说明。如图3所示，可以包括以下步骤：
步骤301，第一机房中的采集组件采集第一机房生成的增量日志。
步骤302，第一机房中的采集组件判断增量日志是否带有闭环标识，若带有，则返回步骤301；否则，执行步骤303。
步骤303，第一机房中的采集组件将增量日志发送给管理设备中的Kafka消息组件。
步骤304，第二机房中的采集组件采集第二机房生成的增量日志。
步骤305，第二机房中的采集组件判断增量日志是否带有闭环标识，若带有，则返回步骤304；否则，执行步骤306。
步骤306，第二机房中的采集组件将增量日志发送给管理设备中的Kafka消息组件。
步骤307，管理设备中的Kafka消息组件接收各机房发送的增量日志。
步骤308，管理设备中的分发模块从Kafka消息组件中拉取待发送的增量日志。
步骤309，管理设备中的分发模块判断拉取到的待发送的增量日志来源于第一机房还是第二机房，若来源于第一机房，则执行步骤310；若来源于第二机房，则执行步骤311。
步骤310，管理设备中的分发模块将该增量日志按照时间戳信息对应存储到第一消息队列和第一冗余队列。
步骤311，管理设备中的分发模块将该增量日志按照时间戳信息对应存储到第二消息队列和第二冗余队列。
步骤312，管理设备中的比对模块从第一消息队列中拉取待发送的增量日志。
步骤313，管理设备中的比对模块将该待发送的增量日志与第二冗余队列中存储的增量日志进行比对，判断第二冗余队列中是否存储有该待发送的增量日志，若存储有，则返回步骤312；否则，执行步骤314。
步骤314，管理设备中的发送模块在增量日志中添加闭环标记，并将添加有闭环标记的增量日志发送给第二机房。
步骤315，管理设备中的比对模块从第二消息队列中拉取待发送的增量日志。
步骤316，管理设备中的比对模块将该待发送的增量日志与第一冗余队列中存储的增量日志进行比对，判断第一冗余队列中是否存储有该待发送的增量日志，若存储有，则返回步骤315；否则，执行步骤317。
步骤317，管理设备中的发送模块在增量日志中添加闭环标记，并将添加有闭环标记的增量日志发送给第一机房。
需要说明的是，上述步骤编号仅为一种执行流程的示例性表示，本申请对各个步骤的先后顺序不做具体限定，例如，上述步骤301和步骤304中，也可以是第二机房中的采集组件先采集第二机房生成的增量日志，然后，第一机房中的采集组件采集第一机房生成的增量日志，具体不做限定。
采用本发明实施例提供的技术方案，能够解决不同机房之间的数据差异和不同机房之间数据备份的问题。当主机房出现故障时，能够无缝切换到备机房，并且能够保证无数据丢失或者数据丢失量极少，实现在对外无感知的情况下切换到另外一个机房继续提供对外服务。
基于同样的发明构思，图4示例性示出了本发明实施例提供的一种机房间数据备份的装置的结构示意图，如图4所示，该装置可以应用于数据备份系统，该系统可以包括管理设备和至少两个机房，该装置可以为管理设备；该装置可以包括获取单元401、处理单元402和发送单元403；其中，
获取单元401，用于从第一存储区获取待发送的第一增量日志；所述第一存储区存储有第一机房在各时刻对应的增量日志；所述第一机房在各时刻对应的增量日志是所述第一机房发送给所述管理设备的，所述第一机房为所述至少两个机房中的任一个；
处理单元402，用于判断第二存储区中是否包含所述第一增量日志；所述第二存储区存储有第二机房在各时刻对应的增量日志；所述第二机房在各时刻对应的增量日志是所述第二机房发送给所述管理设备的，所述第二机房为所述至少两个机房中除所述第一机房外的任一个；
发送单元403，用于在确定所述第二存储区中不包含所述第一增量日志后，将所述第一增量日志发送至所述第二机房，以使所述第二机房与所述第一机房同步。
在一种可能的实现方式中，所述获取单元401从第一存储区获取待发送的第一增量日志之前，还用于：
接收所述第一机房在第一时刻发送的第一增量日志；
所述处理单元402，还用于：
根据所述第一增量日志对应的时间戳信息，将所述第一增量日志存储于所述第一存储区对应的第一消息队列和第一冗余队列。
在一种可能的实现方式中，所述获取单元401具体用于：
从所述第一消息队列中获取待发送的第一增量日志，所述第一增量日志为时间戳信息最早的待发送的增量日志。
在一种可能的实现方式中，所述处理单元402具体用于：
确定所述第二存储区对应的第二冗余队列中不包含所述第一增量日志。
在一种可能的实现方式中，所述发送单元403具体用于：
在所述第一增量日志中添加闭环标记，并将添加有所述闭环标记的第一增量日志发送给所述第二机房；所述闭环标记用于标识所述第一增量日志为从所述第一机房得到的。
在一种可能的实现方式中，所述发送单元403将所述第一增量日志发送至所述第二机房之后，所述处理单元402还用于：
若确定所述第一增量日志发送成功，则从所述第一消息队列中删除所述第一增量日志。
在一种可能的实现方式中，所述发送单元403将所述第一增量日志发送至所述第二机房之后，所述处理单元402还用于：
若确定所述第一增量日志发送失败，且发送失败的次数大于预设阈值，则停止发送所述第一增量日志。
本申请实施例还提供一种装置，该装置具有实现上文所描述的机房间数据备份的方法的功能。该功能可以通过硬件执行相应的软件实现，在一种可能的设计中，该装置包括：处理器、收发器和存储器；该存储器用于存储计算机执行指令，该收发器用于实现该装置与其他通信实体进行通信，该处理器与该存储器通过该总线连接，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该装置执行上文所描述的机房间数据备份的方法。
本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机房间数据备份的方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的机房间数据备份的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种机房间数据备份的方法，其特征在于，所述方法应用于数据备份系统，所述系统包括管理设备和至少两个机房；所述方法包括：
所述管理设备从第一存储区获取待发送的第一增量日志；所述第一存储区存储有第一机房在各时刻对应的增量日志；所述第一机房在各时刻对应的增量日志是所述第一机房发送给所述管理设备的，所述第一机房为所述至少两个机房中的任一个；所述第一增量日志为所述第一机房在各时刻对应的增量日志中的任一增量日志；
所述管理设备判断第二存储区中是否包含所述第一增量日志，若不包含，则将所述第一增量日志发送至所述第二机房，以使所述第二机房与所述第一机房同步；所述第二存储区存储有第二机房在各时刻对应的增量日志；所述第二机房在各时刻对应的增量日志是所述第二机房发送给所述管理设备的，所述第二机房为所述至少两个机房中除所述第一机房外的任一个。
2.根据权利要求1所述的方法，其特征在于，所述管理设备从第一存储区获取待发送的第一增量日志之前，还包括：
所述管理设备接收所述第一机房在第一时刻发送的第一增量日志；
所述管理设备根据所述第一增量日志对应的时间戳信息，将所述第一增量日志存储于所述第一存储区对应的第一消息队列和第一冗余队列。
3.根据权利要求2所述的方法，其特征在于，所述管理设备从第一存储区获取待发送的第一增量日志，包括：
所述管理设备从所述第一消息队列中获取待发送的第一增量日志，所述第一增量日志为时间戳信息最早的待发送的增量日志。
4.根据权利要求1所述的方法，其特征在于，所述管理设备确定第二存储区中不包含所述第一增量日志，包括：
所述管理设备确定所述第二存储区对应的第二冗余队列中不包含所述第一增量日志。
5.根据权利要求1所述的方法，其特征在于，所述管理设备将所述第一增量日志发送至所述第二机房，包括：
所述管理设备在所述第一增量日志中添加闭环标记，并将添加有所述闭环标记的第一增量日志发送给所述第二机房；所述闭环标记用于标识所述第一增量日志的来源。
6.根据权利要求2所述的方法，其特征在于，所述管理设备将所述第一增量日志发送至所述第二机房之后，还包括：
所述管理设备若确定所述第一增量日志发送成功，则从所述第一消息队列中删除所述第一增量日志。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述管理设备将所述第一增量日志发送至所述第二机房之后，还包括：
所述管理设备若确定所述第一增量日志发送失败，且发送失败的次数大于预设阈值，则停止发送所述第一增量日志。
8.一种机房间数据备份的装置，其特征在于，所述装置应用于数据备份系统，所述系统包括管理设备和至少两个机房；所述装置为管理设备；所述装置：
获取单元，用于从第一存储区获取待发送的第一增量日志；所述第一存储区存储有第一机房在各时刻对应的增量日志；所述第一机房在各时刻对应的增量日志是所述第一机房发送给所述管理设备的，所述第一机房为所述至少两个机房中的任一个；所述第一增量日志为所述第一机房在各时刻对应的增量日志中的任一增量日志；
处理单元，用于判断第二存储区中是否包含所述第一增量日志；所述第二存储区存储有第二机房在各时刻对应的增量日志；所述第二机房在各时刻对应的增量日志是所述第二机房发送给所述管理设备的，所述第二机房为所述至少两个机房中除所述第一机房外的任一个；
发送单元，用于在确定所述第二存储区中不包含所述第一增量日志后，将所述第一增量日志发送至所述第二机房，以使所述第二机房与所述第一机房同步。
9.根据权利要求8所述的装置，其特征在于，所述获取单元从第一存储区获取待发送的第一增量日志之前，还用于：
接收所述第一机房在第一时刻发送的第一增量日志；
所述处理单元，还用于：
根据所述第一增量日志对应的时间戳信息，将所述第一增量日志存储于所述第一存储区对应的第一消息队列和第一冗余队列。
10.根据权利要求9所述的装置，其特征在于，所述获取单元具体用于：
从所述第一消息队列中获取待发送的第一增量日志，所述第一增量日志为时间戳信息最早的待发送的增量日志。
11.根据权利要求8所述的装置，其特征在于，所述处理单元具体用于：
确定所述第二存储区对应的第二冗余队列中不包含所述第一增量日志。
12.根据权利要求8所述的装置，其特征在于，所述发送单元具体用于：
在所述第一增量日志中添加闭环标记，并将添加有所述闭环标记的第一增量日志发送给所述第二机房；所述闭环标记用于标识所述第一增量日志的来源。
13.根据权利要求8所述的装置，其特征在于，所述发送单元将所述第一增量日志发送至所述第二机房之后，所述处理单元还用于：
若确定所述第一增量日志发送成功，则从所述第一消息队列中删除所述第一增量日志。
14.根据权利要求8至13中任一项所述的装置，其特征在于，所述发送单元将所述第一增量日志发送至所述第二机房之后，所述处理单元还用于：
若确定所述第一增量日志发送失败，且发送失败的次数大于预设阈值，则停止发送所述第一增量日志。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有指令，当所述指令在计算机上运行时，使得计算机实现执行权利要求1至7中任一项所述的方法。
16.一种计算机设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至7中任一权利要求所述的方法。
CN201811517132.6A 2018-12-12 2018-12-12 一种机房间数据备份的方法及装置 Expired - Fee Related CN109684130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811517132.6A CN109684130B (zh) 2018-12-12 2018-12-12 一种机房间数据备份的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811517132.6A CN109684130B (zh) 2018-12-12 2018-12-12 一种机房间数据备份的方法及装置

Publications (2)

Publication Number Publication Date
CN109684130A true CN109684130A (zh) 2019-04-26
CN109684130B CN109684130B (zh) 2020-12-22

Family

ID=66187600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811517132.6A Expired - Fee Related CN109684130B (zh) 2018-12-12 2018-12-12 一种机房间数据备份的方法及装置

Country Status (1)

Country Link
CN (1) CN109684130B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300015A (zh) * 2019-05-09 2019-10-01 网宿科技股份有限公司 数据同步方法及系统
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110489274A (zh) * 2019-07-11 2019-11-22 新华三大数据技术有限公司 数据备份方法、装置及交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484480A (zh) * 2014-12-31 2015-04-01 华为技术有限公司 基于重复数据删除的远程复制方法及装置
CN105808373A (zh) * 2014-12-30 2016-07-27 中兴通讯股份有限公司 数据增量备份方法、装置及nas设备
US20170024287A1 (en) * 2014-12-19 2017-01-26 Emc Corporation Optimization to permit block based incremental backup across system reboot or crash
CN106648963A (zh) * 2016-10-11 2017-05-10 广东工业大学 一种恢复数据同步备份的方法及系统
CN107451172A (zh) * 2016-03-31 2017-12-08 阿里巴巴集团控股有限公司 用于版本管理系统的数据同步方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024287A1 (en) * 2014-12-19 2017-01-26 Emc Corporation Optimization to permit block based incremental backup across system reboot or crash
CN105808373A (zh) * 2014-12-30 2016-07-27 中兴通讯股份有限公司 数据增量备份方法、装置及nas设备
CN104484480A (zh) * 2014-12-31 2015-04-01 华为技术有限公司 基于重复数据删除的远程复制方法及装置
CN107451172A (zh) * 2016-03-31 2017-12-08 阿里巴巴集团控股有限公司 用于版本管理系统的数据同步方法及设备
CN106648963A (zh) * 2016-10-11 2017-05-10 广东工业大学 一种恢复数据同步备份的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300015A (zh) * 2019-05-09 2019-10-01 网宿科技股份有限公司 数据同步方法及系统
CN110489274A (zh) * 2019-07-11 2019-11-22 新华三大数据技术有限公司 数据备份方法、装置及交互系统
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统

Also Published As

Publication number Publication date
CN109684130B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
EP3754514A1 (en) Distributed database cluster system, data synchronization method and storage medium
CN109684130B (zh) 一种机房间数据备份的方法及装置
US7925856B1 (en) Method and apparatus for maintaining an amount of reserve space using virtual placeholders
CN111064789B (zh) 数据迁移的方法和系统
US9098439B2 (en) Providing a fault tolerant system in a loosely-coupled cluster environment using application checkpoints and logs
CN110830283B (zh) 故障检测方法、装置、设备和系统
CN106301823B (zh) 一种关键组件的故障告警方法、装置及大数据管理系统
CN105991458B (zh) 一种负载均衡的方法及负载均衡装置
CN110275992B (zh) 应急处理方法、装置、服务器及计算机可读存储介质
US20130086418A1 (en) Data processing failure recovery method, system and program
CN110895488B (zh) 任务调度方法及装置
CN107729213B (zh) 一种后台任务监控方法及装置
CN107544832A (zh) 一种虚拟机进程的监控方法、装置和系统
CN106878363A (zh) 一种信息处理方法、装置及系统
CN111198889B (zh) 数据补录方法和装置
CN114138732A (zh) 一种数据处理方法及装置
CN113055203B (zh) Sdn控制平面的异常恢复方法及装置
CN110825758B (zh) 一种交易处理的方法及装置
US10372542B2 (en) Fault tolerant event management system
CN111367467B (zh) 一种存储资源挂载方法、装置、服务器及分布式系统
CN102325171B (zh) 一种监控系统中数据的存储方法及其系统
CN115981919A (zh) 数据库集群的管理控制方法、装置、设备及存储介质
CN114816866A (zh) 故障处理方法、装置、电子设备和存储介质
EP3396553A1 (en) Method and device for processing data after restart of node
CN115934428B (zh) 一种mysql数据库的主灾备切换方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222

CF01 Termination of patent right due to non-payment of annual fee