CN105740096A - 一种集群文件系统异地容灾备份数据的方法及装置 - Google Patents

一种集群文件系统异地容灾备份数据的方法及装置 Download PDF

Info

Publication number
CN105740096A
CN105740096A CN201610042139.1A CN201610042139A CN105740096A CN 105740096 A CN105740096 A CN 105740096A CN 201610042139 A CN201610042139 A CN 201610042139A CN 105740096 A CN105740096 A CN 105740096A
Authority
CN
China
Prior art keywords
version information
file system
backup data
data
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610042139.1A
Other languages
English (en)
Inventor
李进文
张延良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610042139.1A priority Critical patent/CN105740096A/zh
Publication of CN105740096A publication Critical patent/CN105740096A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种集群文件系统异地容灾备份数据的方法及装置，该方法包括：备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；查看本地备份数据的版本信息；将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；向所述第一文件系统返回确认信息。本发明所提供的集群文件系统异地容灾备份数据的方法及装置，保证了主备份数据的一致性，使得系统之间的数据备份和恢复更加准确可靠。

Description

一种集群文件系统异地容灾备份数据的方法及装置
技术领域
本发明涉及集群软件技术领域，特别是涉及一种集群文件系统异地容灾备份数据的方法及装置。
背景技术
国内外现有的容灾方法或技术普遍要求高速专用的网络线路，集群的海量数据不但给传输带来高昂的成本，而且一旦有失将造成严重的经济损失，因此，对集群文件系统的异地容灾的要求需要更快更准确。
数据一致性是衡量容灾系统的关键技术，如果不能保证数据的更新次序，则会造成主备份端的数据不一致，导致主端数据不可恢复。即使数据更新次序一致的情况下，也可能造成数据的不一致，因此，数据一致性是灾备系统可靠性的关键。
发明内容
本发明的目的是提供一种集群文件系统异地容灾备份数据的方法及装置，目的在于解决现有集群文件系统数据异地灾备过程中主备份端的数据不一致，导致主端数据不可恢复的问题。
为解决上述技术问题，本发明提供一种集群文件系统异地容灾备份数据的方法，包括：
备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
查看本地备份数据的版本信息；
将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；
向所述第一文件系统返回确认信息。
可选地，所述判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求包括：
当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；
当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；
当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求。
可选地，所述第一文件系统为主系统。
可选地，所述第一文件系统为备份系统。
本发明还提供了一种集群文件系统异地容灾备份数据的装置，包括：
接收模块，用于备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
查看模块，用于查看本地备份数据的版本信息；
判断模块，用于将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；
确认模块，用于向所述第一文件系统返回确认信息。
可选地，所述判断模块具体用于：
当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求。
可选地，所述第一文件系统为主系统。
可选地，所述第一文件系统为备份系统。
本发明所提供的集群文件系统异地容灾备份数据的方法及装置，通过备份系统接收第一文件系统发送的数据更新请求，查看本地备份数据的版本信息；将本地备份数据的版本信息与请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；向第一文件系统返回确认信息。本发明所提供的集群文件系统异地容灾备份数据的方法及装置，保证了主备份数据的一致性，使得系统之间的数据备份和恢复更加准确可靠。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的集群文件系统异地容灾备份数据的方法的一种具体实施方式的流程图；
图2为本发明所提供的集群文件系统异地容灾备份数据的方法的另一种具体实施方式的整体操作过程示意图；
图3为本发明所提供的集群文件系统异地容灾备份数据的方法的另一种具体实施方式的流程图；
图4为本发明实施例提供的集群文件系统异地容灾备份数据的装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的集群文件系统异地容灾备份数据的方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
具体地，请求信息的格式可以包括具体更新操作以及更新前后记录的版本信息，接收方在收到该信息后可以根据版本信息来判断是立即更新、放入缓存排序等待或者是丢弃。
步骤S102：查看本地备份数据的版本信息；
步骤S103：将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作，如果是，则放弃此次更新请求；
步骤S104：向所述第一文件系统返回确认信息。
本发明所提供的集群文件系统异地容灾备份数据的方法，通过备份系统接收第一文件系统发送的数据更新请求，查看本地备份数据的版本信息；将本地备份数据的版本信息与请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；向第一文件系统返回确认信息。本发明所提供的集群文件系统异地容灾备份数据的方法，保证了主备份数据的一致性，使得系统之间的数据备份和恢复更加准确可靠。
传统的同步异地容灾系统要求高速的专线传输数据，成本高而且受距离限制，本发明又一实施例通过建立多个备份系统，由主系统将数据请求发送给一个备份系统，再由该备份系统向其他系统发送，请求在系统间进行传递。在异步模式下，对带宽的需求更低，但对数据的一致性要求更高。一般的数据一致性保护策略是通过保持主从两端数据的更新鲜顺序来确保数据一致性，然而在不稳定的网络环境下，只保持数据更新顺序并不一定能维持数据一致。
本实施例中，第一文件系统可以具体为主系统或者备份系统。
本发明所提供的集群文件系统异地容灾备份数据的方法的另一种具体实施方式的整体操作过程示意图如图2所示，当有更新时，主系统会向备份1发送处理请求，备份1对请求进行操作后返回确认信息，并向备份2发送同样的处理请求，备份2进行同样操作，直到所有系统都执行完此次更新操作为止。发送方对没收到确认信息的请求进行重复，接收方收到请求后会进行确认是否需要更新。这种异步多节点传递方式有效降低了网络需求，但对数据一致性要求更加严格。
本发明所提供的集群文件系统异地容灾备份数据的方法的另一种具体实施方式的流程图如图3所示，该方法包括：
步骤S201：备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
步骤S202：查看本地备份数据的版本信息；
步骤S203：将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较；
步骤S204：当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；
步骤S205：当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；
步骤S206：当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求；
步骤S207：向所述第一文件系统返回确认信息。
本发明通过使用序列信息，在更新数据上加入一个序列信息，主集群在进行数据更新时同时更新数据序列信息，当主系统向备份系统发送该更新请求，请求包括更新操作和更改前后数据的版本信息，接收端收到请求后只需要通过查看本地已有数据的版本信息，判断自己是否拥有此次更新数据，如果没有则进行相应更新操作，如果有则放弃此次请求。
具体地，当接收端的版本信息低于请求中更新前的版本时，将请求进行缓存并进行排序，保证更新顺序一致，更新后发送相应的确认信息；若接收端版本信息高于请求时，则放弃操作，并发送确认信息，防止数据重复读写引起数据不一致，发送端对没收到确认信息的请求进行重发。
下面对该过程的具体实施方式进行进一步详细阐述，x表示数据变化记录，S1x和S2x分别表示数据变化前后版本信息，发送方对这些信息进行封装，通过网络发送给接收方，接收方收到信息之后进行解析，得到x、S1x和S2x，并和本地数据的版本信息S1x进行比较，若S1x＝S1x，则立即更新并发送确认信息；若S1x<S1x，则将请求放入缓存，并安装版本信息进行排序，保证操作顺序一致；若S1x>S1x，则表示更新过，可能是发送方未收到确认信息重发了请求，接收方丢弃该请求并重新发送确认信息。
本发明通过引入序列化机制，在各改动的数据上加入序列编号，当网络故障，主系统或备份系统之间通信不稳定时，如主系统无法接受到备份系统发送的确认信息，重发请求后，接收端可以根据序列号信息判断是否需要更新数据，有效避免了数据重复写入。本实施例系统之间的数据备份和恢复更加准确可靠，主备系统的切换也更简单快捷，极大提高了集群的可靠性和速率。
下面对本发明实施例提供的集群文件系统异地容灾备份数据的装置进行介绍，下文描述的集群文件系统异地容灾备份数据的装置与上文描述的集群文件系统异地容灾备份数据的方法可相互对应参照。
图4为本发明实施例提供的集群文件系统异地容灾备份数据的装置的结构框图，参照图4集群文件系统异地容灾备份数据的装置可以包括：
接收模块100，用于备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
查看模块200，用于查看本地备份数据的版本信息；
判断模块300，用于将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；
确认模块400，用于向所述第一文件系统返回确认信息。
可选地，本发明所提供的集群文件系统异地容灾备份数据的装置中判断模块300可以具体用于：
当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求。
可选地，本发明所提供的集群文件系统异地容灾备份数据的装置中，所述第一文件系统为主系统。
可选地，本发明所提供的集群文件系统异地容灾备份数据的装置中，所述第一文件系统为备份系统。
综上所述，本发明所提供的集群文件系统异地容灾备份数据的方法及装置，针对集群文件系统数据异地容灾数据一致性保护策略，采用增加序列化机制，提高异步模式下主备系统数据的一致性；采用弱一致性方法，不同时更新所有备份系统数据，对系统带宽等需求低，利于实现；此外，系统切换和恢复非常快，根据文件名和版本信息快速检索所需数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的集群文件系统异地容灾备份数据的方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种集群文件系统异地容灾备份数据的方法，其特征在于，包括：
备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
查看本地备份数据的版本信息；
将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；
向所述第一文件系统返回确认信息。
2.如权利要求1所述的集群文件系统异地容灾备份数据的方法，其特征在于，所述判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求包括：
当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；
当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；
当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求。
3.如权利要求1或2所述的集群文件系统异地容灾备份数据的方法，其特征在于，所述第一文件系统为主系统。
4.如权利要求1或2所述的集群文件系统异地容灾备份数据的方法，其特征在于，所述第一文件系统为备份系统。
5.一种集群文件系统异地容灾备份数据的装置，其特征在于，包括：
接收模块，用于备份系统接收第一文件系统发送的数据更新请求，请求信息中包含更新操作以及更新前后记录的版本信息；
查看模块，用于查看本地备份数据的版本信息；
判断模块，用于将本地备份数据的版本信息与所述请求信息中更新前的版本信息进行比较，判断是否存在此次更新数据；如果否，则进行相应的更新操作；如果是，则放弃此次更新请求；
确认模块，用于向所述第一文件系统返回确认信息。
6.如权利要求5所述的集群文件系统异地容灾备份数据的装置，其特征在于，所述判断模块具体用于：
当所述本地备份数据的版本信息与所述请求信息中更新前的版本信息相同时，立即进行更新；当所述本地备份数据的版本信息低于所述请求信息中更新前的版本信息时，将请求放入缓存，并将安装版本信息进行排序后，依次进行更新；当所述本地备份数据的版本信息高于所述请求信息中更新前的版本信息时，则放弃此次更新请求。
7.如权利要求5或6所述的集群文件系统异地容灾备份数据的装置，其特征在于，所述第一文件系统为主系统。
8.如权利要求5或6所述的集群文件系统异地容灾备份数据的装置，其特征在于，所述第一文件系统为备份系统。
CN201610042139.1A 2016-01-21 2016-01-21 一种集群文件系统异地容灾备份数据的方法及装置 Pending CN105740096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610042139.1A CN105740096A (zh) 2016-01-21 2016-01-21 一种集群文件系统异地容灾备份数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610042139.1A CN105740096A (zh) 2016-01-21 2016-01-21 一种集群文件系统异地容灾备份数据的方法及装置

Publications (1)

Publication Number Publication Date
CN105740096A true CN105740096A (zh) 2016-07-06

Family

ID=56247480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610042139.1A Pending CN105740096A (zh) 2016-01-21 2016-01-21 一种集群文件系统异地容灾备份数据的方法及装置

Country Status (1)

Country Link
CN (1) CN105740096A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220959A (zh) * 2022-05-25 2022-10-21 广州汽车集团股份有限公司 数据备份方法、系统以及车辆
CN116382974A (zh) * 2023-03-21 2023-07-04 安芯网盾(北京)科技有限公司 一种定制化数据的保护处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247268A (zh) * 2008-02-26 2008-08-20 中兴通讯股份有限公司 终端系统版本的同步方法和装置
CN101354708A (zh) * 2008-07-29 2009-01-28 四川大学 一种远程文件快速同步方法
CN103457905A (zh) * 2012-05-28 2013-12-18 腾讯科技（深圳）有限公司 数据同步方法、系统及设备
CN104301383A (zh) * 2014-09-05 2015-01-21 小米科技有限责任公司 一种升级方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247268A (zh) * 2008-02-26 2008-08-20 中兴通讯股份有限公司 终端系统版本的同步方法和装置
CN101354708A (zh) * 2008-07-29 2009-01-28 四川大学 一种远程文件快速同步方法
CN103457905A (zh) * 2012-05-28 2013-12-18 腾讯科技（深圳）有限公司 数据同步方法、系统及设备
US20150081633A1 (en) * 2012-05-28 2015-03-19 Tencent Technology (Shenzhen) Company Limited Data synchronization method and device
CN104301383A (zh) * 2014-09-05 2015-01-21 小米科技有限责任公司 一种升级方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220959A (zh) * 2022-05-25 2022-10-21 广州汽车集团股份有限公司 数据备份方法、系统以及车辆
CN116382974A (zh) * 2023-03-21 2023-07-04 安芯网盾(北京)科技有限公司 一种定制化数据的保护处理方法

Similar Documents

Publication Publication Date Title
CN103942252B (zh) 一种恢复数据的方法及系统
EP3474516B1 (en) Data processing method and device
KR101231563B1 (ko) 실시간 데이터 복제
CN108829713B (zh) 分布式缓存系统、缓存同步方法和装置
CN104283956B (zh) 强一致性分布式数据存储方法、装置及系统
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN109376197B (zh) 一种数据同步方法、服务器及计算机存储介质
CN102088490B (zh) 数据存储方法、设备和系统
US9614646B2 (en) Method and system for robust message retransmission
US10831402B2 (en) Method and apparatus for ensuring data consistency
US20130139178A1 (en) Cluster management system and method
CN102143194A (zh) 数据同步的方法、系统、中间数据节点及终止数据节点
CN108345617B (zh) 一种数据同步方法、装置以及电子设备
CN104156361A (zh) 一种实现数据同步的方法及系统
CN103152390A (zh) 分布式存储系统的节点配置方法、装置、节点及系统
CN104967536A (zh) 实现多机房数据一致性的方法和装置
CN105069152A (zh) 数据处理方法及装置
CN106897288B (zh) 数据库的服务提供方法和系统
CN104424275A (zh) 数据库系统以及数据同步方法
CN105740096A (zh) 一种集群文件系统异地容灾备份数据的方法及装置
CN108616598B (zh) 数据同步方法、装置和分布式存储系统
EP4060514A1 (en) Distributed database system and data disaster backup drilling method
CN106951443B (zh) 基于分布式系统的副本同步的方法、设备和系统
CN107528703B (zh) 一种用于管理分布式系统中节点设备的方法与设备
CN117520278A (zh) 一种分布式文件系统多客户端高精度目录配额控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706

RJ01 Rejection of invention patent application after publication