CN110633168A - 一种分布式存储系统的数据备份方法和系统 - Google Patents
一种分布式存储系统的数据备份方法和系统 Download PDFInfo
- Publication number
- CN110633168A CN110633168A CN201810653278.7A CN201810653278A CN110633168A CN 110633168 A CN110633168 A CN 110633168A CN 201810653278 A CN201810653278 A CN 201810653278A CN 110633168 A CN110633168 A CN 110633168A
- Authority
- CN
- China
- Prior art keywords
- node
- backed
- data block
- metadata information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
Abstract
本发明实施例公开了一种分布式存储系统的数据备份方法和系统。方法包括：所述元数据管理集群在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。本实施例能够实现窄带宽条件下的数据备份。
Description
技术领域
本发明实施例涉及数据存储技术，尤其涉及一种分布式存储系统的数据备份方法和系统。
背景技术
现有的数据存储多采用分布式存储系统存储数据，而分布式存储系统采用实时、多副本的备份策略，以保证源文件和副本文件在任意时刻具有强一致性。也正是因为分布式存储系统的实时、多副本的备份策略，对网络带宽和传输速率要求较高。
在一些特殊场景中，网络带宽小于4M，称为窄带。窄带网络中数据传输速率较低，数据传输量较小。上述分布式存储系统在窄带宽条件下难以实施实时、多副本的备份策略，容易导致数据备份失败。
发明内容
本发明实施例提供一种分布式存储系统的数据备份方法、元数据管理集群、系统和存储介质，以实现窄带宽条件下的数据备份。
第一方面，本发明实施例提供了一种分布式存储系统的数据备份方法，适用于分布式存储系统，所述分布式存储系统包括：至少两个节点和元数据管理集群；所述方法包括：
所述元数据管理集群在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；
向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
第二方面，本发明实施例还提供了一种元数据管理集群，所述元数据管理集群包括在分布式存储系统中，所述分布式存储系统还包括至少两个节点；
所述元数据管理集群包括：
元数据信息备份模块，用于在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
确定模块，用于当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；
发送模块，用于向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
第三方面，本发明实施例还提供了一种分布式存储系统，包括：至少两个节点和元数据管理集群；
所述元数据管理集群，用于在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
所述第一节点，用于向第二节点备份所述待备份数据块；
所述第二节点，用于接收所述元数据管理集群发送的包括所述待备份数据块的元数据信息的备份请求；根据待备份数据块的元数据信息，从第一节点备份所述待备份数据块。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的分布式存储系统的数据备份方法。
本发明实施例在检测到系统拓扑结构发生变化时或者数据块发生变化时，将对应的元数据信息优先备份；通过当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块，从而当网络空闲时，对待备份数据块进行备份，实现了元数据备份与数据块备份的分离，通过有选择地在网络条件空闲时进行数据块备份，避开网络繁忙时段，保证在窄带块带宽条件下数据备份的顺利进行。
附图说明
图1是本发明实施例一提供的一种分布式存储系统的数据备份方法的流程图；
图2是本发明实施例二提供的一种分布式存储系统的数据备份方法的流程图；
图3是本发明实施例三提供的一种分布式存储系统的数据备份方法的流程图；
图4是本发明实施例四提供的一种元数据管理集群的结构示意图；
图5是本发明实施例五提供的一种分布式存储系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种分布式存储系统的数据备份方法的流程图，本实施例可适用于分布式存储系统中节点之间进行数据备份的情况，尤其是分布式存储系统接入窄带宽网络的备份情况。分布式存储系统包括：至少两个节点和元数据管理集群，该方法可以由元数据管理集群执行，具体包括如下步骤：
S110、元数据管理集群在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份。
分布式存储系统的拓扑结构发生变化包括：增加节点、减少节点、节点变更。数据块发生变化主要指节点中增加数据块、减少数据块、变更数据块。拓扑结构发生变化和数据块发生变化均会引起数据变化，则在检测到拓扑结构发生变化或者数据块发生变化时，对相应的元数据信息进行备份。
元数据信息包括数据块大小、存储日期、存储路径和备份优先级等。由于元数据信息量较小，可在检测到上述变化时即时备份。
S120、当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点。
待备份数据块是S110中备份的元数据信息对应的数据块。
分布式存储系统中的节点用于存储数据并对数据进行管理。为了方便描述和区分，存储有待备份数据块的称为第一节点，用于备份待备份数据块或者存储待备份数据块的副本的称为第二节点。
示例性地，首先确定待备份数据块，然后查找存储有待备份数据块的第一节点。元数据管理集群预存有各节点存储的数据块的元数据信息，在确定待备份数据块后，可根据其存储路径找到第一节点。
接着，获取第一节点与其他节点之间的网络状态，如果第一节点与其他节点之间的网络状态处于空闲状态，说明当前网络条件下能够进行数据备份，则从未存储待备份数据块的节点中选择一节点作为第二节点。
S130、向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块。
示例性地，元数据管理集群预存有各节点的网络地址，在查找到第一节点后获取第一节点的网络地址，例如IP地址、MAC地址、IPV4地址、IPV6地址等。将第一节点的网络地址和待备份数据块的元数据信息封装到备份请求中发送至第二节点。
第二节点接收到备份请求后向返回响应，表示已经收到该请求，即将进行数据备份。接着，第二节点从备份请求中解析出第一节点的网络地址和待备份数据块的元数据信息，并依据第一节点的网络地址向第一节点发送包括待备份数据块的元数据信息的备份请求。第一节点接收到第二节点发送的备份请求后，解析备份请求中的元数据信息并将与元数据信息匹配的数据块发送至第二节点。
在一些实施例中，在S130之后还可以接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息。
在窄带宽条件下，第一节点与第二节点之间、元数据管理集群与第一节点和第二节点之间均可能出现断网、传输延迟、数据堵塞等异常情况。为了监测这些异常情况并及时调用备份失败处理机制，第一节点和第二节点在进行数据备份的过程中，均实时记录与当前备份数据块对应的元数据信息，例如已备份数据量、备份到的位置、未备份数据量、备份时间等。
在一可选实施方式中，元数据管理集群可向第一节点和/或第二节点请求，并接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息。在另一可选实施方式中，第一节点和/或第二节点也可以周期性或者实时向元数据管理集群发送与当前备份数据块对应的元数据信息。在又一可选实施方式中，第一节点和/或第二节点在待备份数据块备份完成后，向元数据管理集群发送与当前备份数据块对应的元数据信息。
元数据管理集群将与当前备份数据块对应的元数据信息存储在本地数据库中，本地数据库包括但不限于KVDB数据库、SQLServer、MYSQL、ORACLE、DB2、Sybase等。
值得说明的是，上述第一节点和第二节点的数量可以是至少一个，即上述备份方法可以实现单点到单点的备份、单点到多点的备份、多点到单点的备份和多点到多点的备份。当然，在窄带宽条件下为了保证备份顺利进行，优选单点到单点的备份策略。
本发明实施例在检测到系统拓扑结构发生变化时或者数据块发生变化时，将对应的元数据信息优先备份；通过当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点；向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块，从而当网络空闲时，对待备份数据块进行备份，实现了元数据备份与数据块备份的分离，通过有选择地在网络条件空闲时进行数据块备份，避开网络繁忙时段，保证在窄带块带宽条件下数据备份的顺利进行。
在上述实施例中和下述实施例中，在分布式存储系统中进行数据备份的场景中，待备份数据块往往有多个。由于窄带宽条件下数据传输速率不高，在同一时段可备份一个数据块。当然，在网络能够承载的条件下，在同一时段也可以备份两个或两个以上的数据块。
基于此，本实施例中元数据管理集群预存待备份列表，待备份列表中存储有多个待备份数据块的元数据信息，元数据信息中的备份优先级可由管理员设定，例如优先级高、优先级中、优先级低。按照备份优先级由高到低的顺序，依次备份待备份数据块。示例性地，上述实施例S120之前还包括：从待备份数据列表中选择优先级最高的数据块作为待备份数据块；确定待备份数据块所在的节点为第一节点。
在一些实施例中，在数据块备份的过程中，如果节点从外部接收了新的优先级更高的待备份数据块，则先暂停正在进行的较低优先级的数据块的备份，检测到较高待备份数据块所在的节点与其它节点之间的网络空闲时，进行备份。等新加入的优先级较高的数据块备份完成后，再在检测到前述较低优先级的数据块所在的节点与其它节点之间的网络空闲时，继续进行前述较低优先级的数据块的备份。
本实施方式中，待备份数据块按照管理员设定的优先级进行备份，优先级高的数据块先备份，优先级低的数据块后备份，保证重要的数据块优先、快速备份；同时，数据块依次备份的方式对网络带宽的要求不高，能够在窄带宽条件下进行备份。
在另一些实施例中，在窄带宽条件下，由于节点从外部接收新的数据块(待备份数据块或者非待备份数据块)和节点之间备份数据块都会占用带宽，为了便于节点从外部接收新的数据块，节点之间的数据备份在网络空闲时进行。如果数据块备份过程中，节点收到从外部存储数据到节点的请求，则暂停该节点的数据备份操作，等新的数据块接收完毕以后再进行数据备份。
值得说明的是，当各节点的拓扑结构发生变化时，例如新加入节点，不需要在节点之间进行数据迁移，达到数据平衡，而是按照本发明实施例提供的备份方法进行备份即可。
实施例二
本实施例对上述实施例进行进一步优化，考虑到窄带宽条件下，第一节点与第二节点之间、元数据管理集群与第一节点和第二节点之间均可能出现断网、传输延迟、数据堵塞等异常情况，元数据管理集群可在备份请求时和备份过程中对第一节点和第二节点的连接状态和网络状态进行监控，并监控到节点断开或者备份失败时采取对应的处理机制，以保证备份顺利完成。
基于上述描述，本实施例提供一种分布式存储系统的数据备份方法，如图2所示，具体包括以下步骤：
S210、元数据管理集群在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份。
S220、当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，向第一节点发送对待备份数据块的备份请求。
本实施例中，通过检测网络带宽利用率、数据传输速率、网络延迟时间等参数确定当前网络状态。当第一节点与其他节点之间的网络带宽利用率低于设定利用率阈值，或者数据传输速率低于设定速率阈值，或者网络延迟时间低于设定时间阈值，判定第一节点与其他节点间的网络处于空闲状态。
下面以网络带宽利用率为例，详细说明第一节点的网络状态的检测过程。
元数据管理集群采集输入第一节点的数据量(单位bit)、输出第一节点的数据量(单位bit)和第一节点的总带宽(单位bit/s)。
输入带宽利用率＝((输入第一节点的数据量-N秒后输入第一节点的数据量)/N)/总带宽*100％；
输出带宽利用率＝((输出第一节点的数据量-N秒后输出第一节点的数据量)/N)/总带宽*100％；
网络带宽利用率的计算方法是：输入带宽利用率和输出带宽利用率的平均值。即：
网络带宽利用率＝(输入带宽利用率+输出带宽利用率)/2。
当网络带宽利用率高于设定利用率阈值时，说明当前网络繁忙，低于设定利用率阈值时说明当前网络空闲。
在一些实施例中，备份请求和备份数据块的传输过程中使用安全传输协议，例如HTTPS协议，保证数据传输的安全性。当然，也可以采用其他数据传输协议，例如1TCP，websocket等。可选地，采用安全传输协议向第一节点发送对待备份数据块的备份请求。相应地，向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块，包括：采用安全传输协议向第二节点发送待备份数据块的元数据信息的备份请求，以供第二节点采用安全传输协议根据待备份数据块的元数据信息从第一节点备份待备份数据块。
下面以HTTPS协议为例详细说明备份请求和备份数据块的传输过程。
元数据管理集群在检测到第一节点与其它节点之间的网络处于空闲状态时，向第一节点发送Request(请求)，Request的请求数据部分为待备份数据块的元数据信息。第一节点接收到元数据管理集群发送的Request，从Request中解析元数据信息并发现本地存储有元数据信息对应的待备份数据块后，向元数据管理集群返回Response(响应)，Response的指示信息表示请求已接收，继续处理。可选地，为了保证数据传输的私密性和安全性，第一节点向元数据管理集群返回本节点的token(用于身份验证的令牌)，token可写到Response的响应正文中返回给元数据管理集群。元数据管理集群会在第一预设时长内接收到第一节点返回的Response。
如果第一节点断开或者网络堵塞将导致第一节点未接收到元数据管理集群发送的Request，或者未向元数据管理集群返回Response，元数据管理集群在第一预设时长内接收不到第一节点返回的Response。
S230、判断在第一预设时长内是否接收到第一节点返回的响应。若是，跳转到S240，若否，跳转到S250。
S240、确定备份待备份数据块的第二节点。继续执行S260。
如果元数据管理集群在第一预设时长内接收到第一节点返回的响应，说明第一节点连接正常且存储有待备份数据块，继而继续确定第二节点。
可选地，第二节点可以是未存储待备份数据块的任一节点，也可以根据预设条件选择的一理想节点，例如，确定备份待备份数据块的第二节点，包括：获取分布式存储系统中未存储待备份数据块的各节点的可用存储空间以及与其它节点之间的网络状态；将处于空闲状态的节点中可用存储空间最大的节点作为第二节点。
可选地，元数据管理集群可周期性请求各节点的可用存储空间和网络状态，或者各节点主动周期性上报本地可用存储空间和各节点与其它节点之间的网络状态。各节点与其它节点之间的网络状态与第一节点的网络状态检测方法相同，此处不再赘述。
S250、从待备份数据列表中选择除待备份数据块之外的优先级最高的数据块作为新的待备份数据块。返回执行S210。
如果元数据管理集群在第一预设时长内未接收到第一节点返回的响应，则从待备份数据列表中选择除待备份数据块之外的优先级最高的数据块作为新的待备份数据块，进一步确定新的待备份数据块所在的节点为新的第一节点。
S260、向第二节点发送包括待备份数据块的元数据信息的备份请求。
元数据管理集群确定第二节点后，向第二节点发送Backup Request(备份请求)，Backup Request的请求数据部分包括第一节点的网络地址和待备份数据块的元数据信息。第二节点接收到前述Backup Request后，向元数据管理集群返回Response，Response的指示信息表示请求已接收，继续处理。这样，元数据管理集群会在第二预设时长内接收到第二节点返回的Response。
第二节点从中解析出第一节点的网络地址和待备份数据块的元数据信息。可选地，Backup Request的请求数据部分还包括第一节点的token，第二节点还从前述BackupRequest中解析出第一节点的token。
接着，第二节点根据第一节点的网络地址向第一节点发送Backup Request，该Backup Request的请求数据部分包括第一节点的token和待备份数据块的元数据信息。第一节点从接收到的Backup Request解析出token和待备份数据块的元数据信息。如果token验证正确，将与元数据信息对应的待备份数据块传输至第二节点；如果token验证错误则拒绝第二节点的Backup Request。
如果第二节点断开或者网络堵塞将导致第二节点未接收到元数据管理集群发送的Backup Request，或者未向元数据管理集群返回Response，元数据管理集群在第二预设时长内将接收不到第二节点返回的Response。
S270、判断在第二预设时长内是否接收到第二节点返回的响应，若是，跳转到S280，若否，跳转到S290。
S280、接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息。
如果在第二预设时长内接收到第二节点返回的响应，说明第一节点和第二节点能够进行数据备份，则继续等待接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息。
第二节点接收完待备份数据块，并将待备份数据块写入第二节点中。然后，向第一节点发送数据块写入完成响应。同时，向元数据管理集群发送备份完成响应，该备份完成响应包括当前备份数据块对应的元数据信息。
第一节点接收到第二节点发送的数据块写入完成响应以后，向元数据管理集群发送备份完成响应，该备份完成响应包括当前备份数据块对应的元数据信息。此时，当前备份数据块就是待备份数据块。
元数据管理集群接收第一节点和/或第二节点返回的与待备份数据块对应的元数据信息，完成本次待备份数据块的备份。当然，在数据块备份过程中，元数据管理集群也可以实时或者周期性接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息，具体描述详见实施例一中的记载，此处不再赘述。
S290、向分布式存储系统中未存储待备份数据块的各节点发送检测信号；在返回响应的各节点中，选择处于空闲状态的节点中可用存储空间最大的节点作为新的第二节点。跳转到S260。
如果在第二预设时长内未接收到第二节点返回的响应，则重新选取第二节点。可选地，元数据管理集群可继续在未存储待备份数据块的节点中任选一节点作为新的第二节点，也可以向未存储待备份数据块的各节点发送检测信号；在返回响应的各节点中，选择处于空闲状态的节点中可用存储空间最大的节点作为新的第二节点。此处的处于空闲状态的节点指节点与其它节点之间的网络处于空闲状态，检测网络是否是空闲状态的方法详见上述描述，此处不再赘述。节点的可用存储空间的检测方法详见上述描述，此处不再赘述。
选取新的第二节点后，向新的第二节点发送包括待备份数据块的元数据信息的备份请求，并进行后续备份操作。
本实施例中，通过当第一节点与其它节点之间的网络处于空闲状态时，向第一节点发送对待备份数据块的备份请求；如果在第一预设时长内接收到第一节点返回的响应，将处于空闲状态的节点中可用存储空间最大的节点作为第二节点，从而在窄带宽条件下，选取第一节点和第二节点均处于网络空闲状态的时机执行数据备份，提高备份成功率；通过在第二预设时长内未接收到第二节点返回的响应时选取返回响应的新的第二节点，以及在第一预设时长内未接收到第一节点返回的响应时，选取新的第一节点，使得在节点断开或者网络拥堵的情况下，依然能够进行数据备份。
实施例三
本实施例对上述实施例进一步优化，本实施例主要描述了在第一节点向第二节点备份数据的过程中的备份失败处理机制。图3是本发明实施例三提供的一种分布式存储系统的数据备份方法的流程图，如图3，包括以下步骤：
S310、元数据管理集群在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份。
值得说明的是，本实施例中，待备份数据块是用户输入的一整个数据块，该数据块也会以一个整体进行备份，而不会对该数据块分成多个数据对象，不需要消耗节点较大的计算能力，提高窄带宽条件下的分布式存储系统的性能。
S320、当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点。
S330、向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块。继续执行S340和/或S350。
S340、在第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块的过程中，检测第一节点的连接状态和网络状态。继续执行S360。
S350、在第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块的过程中，检测第二节点的连接状态和网络状态。继续执行S370。
元数据管理集群实时或者周期性地向第一节点和/或第二节点发送检测信号，例如心跳包。如果在一定时间内接收到节点返回的响应，说明节点处于连接状态能够正常备份。如果节点在一定时间内未接收到节点返回的响应，说明节点处于断开状态不能正常备份。网络状态检测方法详见上述实施例，此处不再赘述。
S360、如果检测到第一节点断开或者第一节点与分布式存储系统中其它节点之间的网络处于繁忙状态时，暂停数据备份并向第二节点请求当前已备份数据块的元数据信息。继续执行S380。
S370、如果检测到第二节点断开或者第二节点与分布式存储系统中其它节点之间的网络处于繁忙状态时，暂停数据备份并向第二节点请求当前已备份数据块的元数据信息。继续执行S390。
如果检测到一个节点断开或者其与分布式存储系统中其它节点之间的网络处于繁忙状态时，则向另一个节点请求当前已备份数据块的元数据信息，以获取当前备份状态。然后，将当前已备份数据块的元数据信息写入本地数据库中，并将此元数据信息标记为不可用或者此次备份失败。间隔一段时间后，继续向断开的节点发送检测信号，以及时获知节点是否重新连接；或者检测节点的网络状态。
S380、根据请求到的当前已备份数据块的元数据信息和待备份数据块的元数据信息，确定剩余备份数据块的元数据信息。继续执行S391。
S390、根据请求到的当前已备份数据块的元数据信息和待备份数据块的元数据信息，确定剩余备份数据块的元数据信息。继续执行S391。
S391、如果后续检测到第一节点和第二节点连接且当第一节点和第二节点与分布式存储系统系统中其它节点之间的网络均处于空闲状态时，向第二节点发送包括剩余备份数据块的元数据信息的备份请求，以供第二节点根据剩余备份数据块的元数据信息从第一节点进行断点续传。继续执行S392。
元数据管理集群周期性向节点发送检测信号，以检测节点的连接状态。如果接收到节点返回的响应，说明节点重新接入网络。
元数据管理集群将剩余备份数据块的元数据信息发送至第二节点，剩余备份数据块的元数据信息包括备份中断位置，第二节点将从上次备份中断的位置开始对剩余备份数据块进行增量备份，实现断点续传。
示例性地，本实施例中的增量备份机制大致包括以下6个步骤：
(1)第一节点通知元数据管理集群待备份数据块待传输。
(2)元数据管理集群收到待备份数据块待传输的信息后，将第二节点中已备份的数据块划分为一系列大小固定的数据块(建议大小在500-1000字节之间)，并以chunk号码对数据块进行编号，同时还会记录数据块的起始偏移地址以及数据块长度。显然最后一个数据块的大小可能更小。
(3)元数据管理集群对每个数据块根据其内容都计算两个校验码：32位的弱滚动校验码(rolling checksum)和128位的MD4强校验码(现在版本的rsync使用的已经是128位的MD5强校验码)。并将已备份的数据块计算出的所有rolling checksum和强校验码跟随在对应数据块chunk[N]后形成校验码集合。
(4)元数据管理集群将对此校验码集合中的每个rolling checksum计算16位长度的hash值，并将每216个hash值按照hash顺序放入一个hash table中，hash表中的每一个hash条目都指向校验码集合中它所对应的rolling checksum的chunk号码，然后对校验码集合根据hash值进行排序，这样排序后的校验码集合中的顺序就能和hash表中的顺序对应起来。
(5)元数据管理集群从第一节点中存储的待备份数据块的第1个字节开始取相同大小的数据块，并计算它的校验码和校验码集合中的校验码进行匹配。如果能匹配上校验码集合中的某个数据块条目，则表示该数据块和第二节点中已备份的数据块相同，它不需要传输，于是直接跳转到该数据块的结尾偏移地址，从此偏移处继续取数据块进行匹配。如果不能匹配校验码集合中的数据块条目，则表示该数据块是非匹配数据块，它需要传输给第二节点，于是元数据管理集群将跳转到下一个字节，从此字节处继续取数据块进行匹配。注意，匹配成功时跳过的是整个匹配数据块，匹配不成功时跳过的仅是一个字节。其中，匹配不成功的数据块就是剩余备份数据块。
(6)当元数据管理集群发现是匹配数据块时，将控制第一节点只发送这个匹配块的附加信息给第二节点。同时，如果两个匹配数据块之间有非匹配数据，则还会发送这些非匹配数据。当第二节点陆陆续续收到这些数据后，会创建一个临时文件，并通过这些数据重组这个临时文件，使其内容和待备份数据块相同。临时文件重组完成后，修改该临时文件的属性信息(如权限、所有者、mtime等)，然后重命名该临时文件替换掉已备份的数据块，这样已备份数据块就和待备份数据块保持了同步。
可选地，如果在第三预设时长内检测到第二节点连接且当第一节点和第二节点与分布式存储系统中其它节点之间的网络均处于空闲状态时，向第一节点发送包括剩余备份数据块的元数据信息的断点续传请求，以供第一节点根据剩余备份数据块的元数据信息向第二节点备份。
如果在第三预设时长内未检测到第二节点连接，不再等待第二节点，转而向分布式存储系统中未存储待备份数据块的各节点发送检测信号；在返回响应的各节点中，选择处于空闲状态的节点中可用存储空间最大的节点作为新的第二节点。
S392、接收第一节点和/或第二节点返回的与当前备份数据块对应的元数据信息。
本实施例提供的上述几种备份失败处理机制，能够在备份失败的情况下保证数据备份的顺利进行；通过断点续传能够减少数据传输量，有利于在窄带宽条件下数据备份。
在一些实施例中，在第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块的过程中，检测待备份数据块是否发生变化；如果待备份数据块发生变化，更新待备份数据块的元数据信息；以及向第二节点发送包括更新后的元数据信息的增量备份请求，以供第二节点根据更新后的元数据信息从第一节点进行增量备份。
在一些实施例中，对节点设置访问权限，只有具有权限的用户才可以访问其中存储的数据块，保证了数据块的存储安全。
实施例四
图4是本发明实施例四提供的一种元数据管理集群的结构示意图，元数据管理集群包括在分布式存储系统中，分布式存储系统还包括至少两个节点；如图4所示，包括：元数据信息备份模块40、确定模块41、发送模块42。
元数据信息备份模块40，用于在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
确定模块41，用于当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点；
发送模块42，用于向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块。
本发明实施例在检测到系统拓扑结构发生变化时或者数据块发生变化时，将对应的元数据信息优先备份；通过当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点；向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块，从而当网络空闲时，对待备份数据块进行备份，实现了元数据备份与数据块备份的分离，通过有选择地在网络条件空闲时进行数据块备份，避开网络繁忙时段，保证在窄带块带宽条件下数据备份的顺利进行。
可选地，确定模块41在当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点之前，还用于：从待备份数据列表中选择优先级最高的数据块作为待备份数据块；确定待备份数据块所在的节点为第一节点。
可选地，确定模块41在当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点时，具体用于当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，向第一节点发送对待备份数据块的备份请求；如果在第一预设时长内接收到第一节点返回的响应，确定备份待备份数据块的第二节点。可选地，元数据管理集群还包括选择模块，用于如果在第一预设时长内未接收到第一节点返回的响应，从待备份数据列表中选择除待备份数据块之外的优先级最高的数据块作为新的待备份数据块；确定新的待备份数据块所在的节点为新的第一节点。
可选地，确定模块41在确定备份待备份数据块的第二节点时，具体用于获取分布式存储系统中未存储待备份数据块的各节点的可用存储空间以及与其它节点之间的网络状态；将处于空闲状态的节点中可用存储空间最大的节点作为第二节点。
可选地，该装置还包括检测模块。检测模块用于在第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块的过程中，检测第一节点和/或第二节点的连接状态和网络状态；发送模块42用于如果检测到第一节点、第二节点断开或者第一节点、第二节点与分布式存储系统中其它节点之间的网络处于繁忙状态时，暂停数据备份并向处于空闲状态或者未断开的节点请求当前已备份数据块的元数据信息；确定模块41用于根据请求到的当前已备份数据块的元数据信息和待备份数据块的元数据信息，确定剩余备份数据块的元数据信息；发送模块42用于如果后续检测到第一节点和第二节点连接且当第一节点和第二节点与分布式存储系统系统中其它节点之间的网络均处于空闲状态时，向第二节点发送包括剩余备份数据块的元数据信息的备份请求，以供第二节点根据剩余备份数据块的元数据信息从第一节点进行断点续传。
可选地，检测模块还用于在第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块的过程中，检测待备份数据块是否发生变化；如果待备份数据块发生变化，更新待备份数据块的元数据信息；以及通过发送模块42向第二节点发送包括更新后的元数据信息的增量备份请求，以供第二节点根据更新后的元数据信息从第一节点进行增量备份。
可选地，发送模块42向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块时，具体用于：采用安全传输协议向第二节点发送待备份数据块的元数据信息的备份请求，以供第二节点采用安全传输协议根据待备份数据块的元数据信息从第一节点备份待备份数据块。
本发明实施例所提供的一种元数据管理集群可执行本发明任意实施例所提供的分布式存储系统的数据备份方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种分布式存储系统的结构示意图，如图5所示，包括：至少两个节点(包括第一节点50和第二节点60)和元数据管理集群；图5示出了N个节点，N≥2。
本发明实施例中的分布式存储系统采用分布式配置方式。该分布式存储系统从物理结构上划分：每个节点包括元数据管理模块和数据管理模块，每个节点的元数据管理模块构成元数据管理集群70。
从逻辑上划分：该系统分为用户层，元数据管理层和数据存储层三层。
其中，用户层负责对外提供数据显示和从外部获取数据块，它主要由手持终端，PC客户端构成。用户使用这些设备从云存储系统读取数据，并显示到终端系统。还可以通过设备向该分布式存储系统传输数据，并存储到该分布式存储系统关联的数据库中。
元数据管理层负责对该分布式存储系统中的元数据信息进行管理，数据存储调度，以及节点状态和数据块的状态进行维护等。所有节点的元数据管理层组成一套元数据管理集群70，它向用户层提供数据访问的API接口，元数据管理层只负责对元数据信息进行管理，不对数据进行存储等操作。所有节点的元数据管理节点拥有完全相同的元数据信息，因此，本系统可实现元数据管理和数据管理的分离，无论哪个节点从集群70中消失都不会导致元数据信息的丢失。
数据存储层负责提供数据存储服务。当数据调度完成之后，数据直接从应用层发送到数据存储层，数据存储层对这些数据进行处理并将数据存储到该节点。数据每次都进行单节点存储，当节点之间网络状态空闲时，数据按优先级在节点之间进行两两同步。
本实施例中，元数据管理集群70，用于在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点；向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块。
第一节点，用于向第二节点备份待备份数据块，具体地，从第一节点的数据管理模块中，向第二节点备份待备份数据块；
第二节点，用于接收元数据管理集群发送的包括待备份数据块的元数据信息的备份请求；根据待备份数据块的元数据信息，从第一节点备份待备份数据块。
具体地，接收元数据管理集群70发送的包括待备份数据块的元数据信息的备份请求；根据待备份数据块的元数据信息，从第一节点的数据管理模块中将待备份数据块备份到第二节点的数据管理模块中。
本实施例中的元数据管理集群70可执行本发明任意实施例所提供的分布式存储系统的数据备份方法，具备执行方法相应的功能模块和有益效果。
实施例六
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由元数据管理集群执行时用于执行一种分布式存储系统的数据备份方法，该方法包括：
元数据管理集群在检测到分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
当存储有待备份数据块的第一节点与分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份待备份数据块的第二节点；
向第二节点发送包括待备份数据块的元数据信息的备份请求，以供第二节点根据待备份数据块的元数据信息从第一节点备份待备份数据块。
当然，本发明实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的分布式存储系统的数据备份方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述元数据管理集群的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种分布式存储系统的数据备份方法，适用于分布式存储系统，其特征在于，所述分布式存储系统包括：至少两个节点和元数据管理集群；所述方法包括：
所述元数据管理集群在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；
向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
2.根据权利要求1所述的方法，其特征在于，在当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点之前，还包括：
从待备份数据列表中选择优先级最高的数据块作为待备份数据块；
确定所述待备份数据块所在的节点为第一节点。
3.根据权利要求1所述的方法，其特征在于，所述当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点，包括：
当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，向所述第一节点发送对所述待备份数据块的备份请求；
如果在第一预设时长内接收到第一节点返回的响应，确定备份所述待备份数据块的第二节点；
相应地，所述方法还包括：如果在所述第一预设时长内未接收到第一节点返回的响应，从待备份数据列表中选择除所述待备份数据块之外的优先级最高的数据块作为新的待备份数据块；
确定所述新的待备份数据块所在的节点为新的第一节点。
4.根据权利要求3所述的方法，其特征在于，所述确定备份所述待备份数据块的第二节点，包括：
获取所述分布式存储系统中未存储所述待备份数据块的各节点的可用存储空间以及与其它节点之间的网络状态；
将处于空闲状态的节点中可用存储空间最大的节点作为第二节点。
5.根据权利要求1所述的方法，其特征在于，还包括：
在第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块的过程中，检测所述第一节点和/或第二节点的连接状态和网络状态；
如果检测到所述第一节点、第二节点断开或者第一节点、第二节点与分布式存储系统中其它节点之间的网络处于繁忙状态时，暂停数据备份并向处于空闲状态或者未断开的节点请求当前已备份数据块的元数据信息；
根据请求到的当前已备份数据块的元数据信息和所述待备份数据块的元数据信息，确定剩余备份数据块的元数据信息；
如果后续检测到所述第一节点和第二节点连接且当第一节点和第二节点与分布式存储系统系统中其它节点之间的网络均处于空闲状态时，向第二节点发送包括所述剩余备份数据块的元数据信息的备份请求，以供所述第二节点根据所述剩余备份数据块的元数据信息从所述第一节点进行断点续传。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块的过程中，检测所述待备份数据块是否发生变化；
如果所述待备份数据块发生变化，更新所述待备份数据块的元数据信息；以及
向第二节点发送包括更新后的元数据信息的增量备份请求，以供所述第二节点根据所述更新后的元数据信息从所述第一节点进行增量备份。
7.根据权利要求1所述的方法，其特征在于，所述向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块，包括：
采用安全传输协议向第二节点发送所述待备份数据块的元数据信息的备份请求，以供所述第二节点采用所述安全传输协议根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
8.一种元数据管理集群，其特征在于，
所述元数据管理集群包括在分布式存储系统中，所述分布式存储系统还包括至少两个节点；
所述元数据管理集群包括：
元数据信息备份模块，用于在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；
确定模块，用于当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；
发送模块，用于向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
9.一种分布式存储系统，其特征在于，包括：至少两个节点和元数据管理集群；
所述元数据管理集群，用于在检测到所述分布式存储系统的拓扑结构发生变化或者数据块发生变化时，对发生变化的节点的元数据信息或者变化的数据块对应的元数据信息进行备份；当存储有待备份数据块的第一节点与所述分布式存储系统中其它节点之间的网络处于空闲状态时，确定备份所述待备份数据块的第二节点；向所述第二节点发送包括所述待备份数据块的元数据信息的备份请求，以供所述第二节点根据所述待备份数据块的元数据信息从所述第一节点备份所述待备份数据块。
所述第一节点，用于向第二节点备份所述待备份数据块；
所述第二节点，用于接收所述元数据管理集群发送的包括所述待备份数据块的元数据信息的备份请求；根据待备份数据块的元数据信息，从第一节点备份所述待备份数据块。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的分布式存储系统的数据备份方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810653278.7A CN110633168A (zh) | 2018-06-22 | 2018-06-22 | 一种分布式存储系统的数据备份方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810653278.7A CN110633168A (zh) | 2018-06-22 | 2018-06-22 | 一种分布式存储系统的数据备份方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110633168A true CN110633168A (zh) | 2019-12-31 |
Family
ID=68967754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810653278.7A Pending CN110633168A (zh) | 2018-06-22 | 2018-06-22 | 一种分布式存储系统的数据备份方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110633168A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111581013A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 基于元数据和影子文件的系统信息备份与重构方法 |
| CN112181722A (zh) * | 2020-09-16 | 2021-01-05 | 济南浪潮数据技术有限公司 | 一种数据备份及恢复方法、装置、设备及可读存储介质 |
| CN113157491A (zh) * | 2021-04-01 | 2021-07-23 | 深圳依时货拉拉科技有限公司 | 数据备份方法、装置、通信设备及存储介质 |
| CN113407555A (zh) * | 2021-07-09 | 2021-09-17 | 浙江明度智控科技有限公司 | 一种设备手持终端的操作数据更新方法和系统 |
| CN113505027A (zh) * | 2021-09-10 | 2021-10-15 | 深圳市科力锐科技有限公司 | 业务系统备份方法、装置、设备及存储介质 |
| CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
| CN117009147A (zh) * | 2023-09-28 | 2023-11-07 | 新华三技术有限公司 | 一种云平台虚拟机的数据备份方法、装置和电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101361048A (zh) * | 2006-02-03 | 2009-02-04 | 国际商业机器公司 | 在信息生命周期管理环境中将文件恢复到其适当的存储级 |
| US20120117029A1 (en) * | 2010-11-08 | 2012-05-10 | Stephen Gold | Backup policies for using different storage tiers |
| CN103336730A (zh) * | 2013-06-05 | 2013-10-02 | 中国人民解放军国防科学技术大学 | 一种基于云存储的数据备份方法及系统 |
| CN103716381A (zh) * | 2013-12-12 | 2014-04-09 | 华为技术有限公司 | 一种分布式系统的控制方法，及管理节点 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
| CN103761162A (zh) * | 2014-01-11 | 2014-04-30 | 深圳清华大学研究院 | 分布式文件系统的数据备份方法 |
| CN104135539A (zh) * | 2014-08-15 | 2014-11-05 | 华为技术有限公司 | 数据存储方法、sdn控制器和分布式网络存储系统 |
| CN104378423A (zh) * | 2014-11-13 | 2015-02-25 | 普华基础软件股份有限公司 | 元数据集群分布式存储系统及读取、写入存储数据的方法 |
| CN105069152A (zh) * | 2015-08-25 | 2015-11-18 | 航天恒星科技有限公司 | 数据处理方法及装置 |
| US9703788B1 (en) * | 2014-03-31 | 2017-07-11 | EMC IP Holding Company LLC | Distributed metadata in a high performance computing environment |
| CN107844388A (zh) * | 2012-11-26 | 2018-03-27 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
-
2018
- 2018-06-22 CN CN201810653278.7A patent/CN110633168A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101361048A (zh) * | 2006-02-03 | 2009-02-04 | 国际商业机器公司 | 在信息生命周期管理环境中将文件恢复到其适当的存储级 |
| US20120117029A1 (en) * | 2010-11-08 | 2012-05-10 | Stephen Gold | Backup policies for using different storage tiers |
| CN107844388A (zh) * | 2012-11-26 | 2018-03-27 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
| CN103336730A (zh) * | 2013-06-05 | 2013-10-02 | 中国人民解放军国防科学技术大学 | 一种基于云存储的数据备份方法及系统 |
| CN103716381A (zh) * | 2013-12-12 | 2014-04-09 | 华为技术有限公司 | 一种分布式系统的控制方法，及管理节点 |
| CN103761162A (zh) * | 2014-01-11 | 2014-04-30 | 深圳清华大学研究院 | 分布式文件系统的数据备份方法 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
| US9703788B1 (en) * | 2014-03-31 | 2017-07-11 | EMC IP Holding Company LLC | Distributed metadata in a high performance computing environment |
| CN104135539A (zh) * | 2014-08-15 | 2014-11-05 | 华为技术有限公司 | 数据存储方法、sdn控制器和分布式网络存储系统 |
| CN104378423A (zh) * | 2014-11-13 | 2015-02-25 | 普华基础软件股份有限公司 | 元数据集群分布式存储系统及读取、写入存储数据的方法 |
| CN105069152A (zh) * | 2015-08-25 | 2015-11-18 | 航天恒星科技有限公司 | 数据处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨英鹏: "《计算机网络》", 31 January 2013, 东软电子出版社 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111581013A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 基于元数据和影子文件的系统信息备份与重构方法 |
| CN112181722A (zh) * | 2020-09-16 | 2021-01-05 | 济南浪潮数据技术有限公司 | 一种数据备份及恢复方法、装置、设备及可读存储介质 |
| CN113157491A (zh) * | 2021-04-01 | 2021-07-23 | 深圳依时货拉拉科技有限公司 | 数据备份方法、装置、通信设备及存储介质 |
| CN113407555A (zh) * | 2021-07-09 | 2021-09-17 | 浙江明度智控科技有限公司 | 一种设备手持终端的操作数据更新方法和系统 |
| CN113407555B (zh) * | 2021-07-09 | 2022-08-16 | 明度智云(浙江)科技有限公司 | 一种设备手持终端的操作数据更新方法和系统 |
| CN113505027A (zh) * | 2021-09-10 | 2021-10-15 | 深圳市科力锐科技有限公司 | 业务系统备份方法、装置、设备及存储介质 |
| CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
| CN114697353B (zh) * | 2022-05-27 | 2022-09-06 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
| CN117009147A (zh) * | 2023-09-28 | 2023-11-07 | 新华三技术有限公司 | 一种云平台虚拟机的数据备份方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633168A (zh) | 一种分布式存储系统的数据备份方法和系统 | |
| US10909110B1 (en) | Data retrieval from a distributed data storage system | |
| CN109831487B (zh) | 分片文件验证方法及终端设备 | |
| JP5714571B2 (ja) | キャッシュクラスタを構成可能モードで用いるキャッシュデータ処理 | |
| US9367261B2 (en) | Computer system, data management method and data management program | |
| US10831741B2 (en) | Log-shipping data replication with early log record fetching | |
| CN1881944B (zh) | 改进型分布式核心操作系统 | |
| CN105302676B (zh) | 一种分布式文件系统的主备机制数据传输方法及装置 | |
| CN105493474B (zh) | 用于支持用于同步分布式数据网格中的数据的分区级别日志的系统及方法 | |
| KR20120072909A (ko) | 내용 기반 중복 방지 기능을 가지는 분산 저장 시스템 및 그 오브젝트 저장 방법 및 컴퓨터에 의하여 독출가능한 저장 매체 | |
| US11218541B2 (en) | Data storage method, storage server, and storage medium and system | |
| KR20120018178A (ko) | 객체 저장부들의 네트워크상의 스웜-기반의 동기화 | |
| US9104717B2 (en) | Distributed storage object delete | |
| CN107707619B (zh) | 分布式存储方法及装置 | |
| EP4213038A1 (en) | Data processing method and apparatus based on distributed storage, device, and medium | |
| CN108540510B (zh) | 一种云主机创建方法、装置及云服务系统 | |
| CN104202385A (zh) | 一种分布式文件系统的数据备份及更新方法 | |
| CN115486052A (zh) | 一种数据存储方法、系统及存储介质 | |
| CN111200622B (zh) | 一种资源传输方法及装置、存储介质 | |
| CN107592199B (zh) | 一种数据同步的方法和系统 | |
| CN113326251A (zh) | 数据管理方法、系统、设备和存储介质 | |
| WO2023142605A1 (zh) | 一种基于区块链的数据处理方法和相关装置 | |
| US20190312804A1 (en) | Packet processing method and network device | |
| CN107846476B (zh) | 一种信息同步方法、设备及存储介质 | |
| CN111092956A (zh) | 资源同步方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |