CN104216803A - 一种退服节点的数据备份方法及装置 - Google Patents
一种退服节点的数据备份方法及装置 Download PDFInfo
- Publication number
- CN104216803A CN104216803A CN201410515483.9A CN201410515483A CN104216803A CN 104216803 A CN104216803 A CN 104216803A CN 201410515483 A CN201410515483 A CN 201410515483A CN 104216803 A CN104216803 A CN 104216803A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- move back
- backup target
- take
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种退服节点的数据备份方法及装置。一种退服节点的数据备份方法，应用于待退服从属节点，该方法包括：向主节点发送退服消息；接收主节点发送的通知消息；根据通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，其中，通知消息中携带有备份目标节点的标识，备份目标节点为：主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。应用上述技术方案，由于本发明中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了网路连接次数，降低了网络开销。
Description
技术领域
本发明涉及分布式存储技术领域，特别涉及一种退服节点的数据备份方法及装置。
背景技术
随着互联网行业信息化程度的不断提高，全球数据日益膨胀。面对当前PB数量级的海量数据存储需求，传统的基于存储服务器存放所有数据的存储系统，在容量和性能的扩展上存在瓶颈。分布式存储系统以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。
分布式存储系统对故障或老旧从属节点进行退服时，需要利用复制的方式，对待退服从属节点上的数据制作副本，并将制作的副本发送到该系统的非待退服从属节点上，以满足系统对数据冗余度的要求。如Hadoop HDFS/MooseFS默认每个数据块需要有3个副本，当退服datanode时，首先需要对该datanode中的数据制作3个副本，之后将制作的副本发送到3个非待退服的datanode上；其中，分布式存储系统中的数据通常是以数据块block为单位进行存储的。
现有技术中，分布式存储系统中待退服从属节点是以单个数据块为复制单位，逐个对本地中的数据块制作副本，并将制作的副本逐个发送到非待退服从属节点上。
然而，当本地中存储有大量数据块时，待退服从属节点需要对每个数据块制作副本，并将制作的大量副本逐个发送到非待退服从属节点上。每进行一次数据块的发送都需要建立网络连接，发送多个数据块就需要建立多次网络连接，网络开销较大。
发明内容
为了解决上述问题，本发明实施例公开了一种退服节点的数据备份方法及装置，具体技术方案如下：
一种退服节点的数据备份方法，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述方法包括：
向所述主节点发送退服消息；
接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
可选的，所述通知消息还携带有压缩参数；
所述根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，包括：
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
可选的，所述方法还包括：
向所述主节点发送反馈信息，所述反馈信息表示所述合并得到的数据是否成功发送给对应该数据的备份目标节点。
一种退服节点的数据备份方法，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述方法包括：
接收待退服从属节点发送的退服消息；
根据接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块；
根据所确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点；
根据所述分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点；
将所生成的通知消息发送给所述待退服从属节点。
可选的，所述通知消息还携带有压缩参数；
所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
一种退服节点的数据备份装置，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述装置包括：
第一消息发送模块，用于向所述主节点发送退服消息；
第一消息接收模块，用于接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；
数据发送模块，用于根据所述第一消息接收模块接收到的通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
可选的，所述通知消息还携带有压缩参数；
所述数据发送模块，具体用于：
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
可选的，所述装置还包括：
反馈信息发送模块，用于向所述主节点发送反馈信息，所述反馈信息表示所述数据发送模块是否将合并得到的数据成功发送给对应该数据的备份目标节点。
一种退服节点的数据备份装置，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述装置包括：
第二消息接收模块，用于接收待退服从属节点发送的退服消息；
信息确定模块，根据所述第二消息接收模块接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块；
节点分配模块，用于根据所述信息确定模块确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点；
消息生成模块，用于根据所述节点分配模块的分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点；
第二消息发送模块，用于将所述消息生成模块生成的通知消息发送给所述待退服从属节点。
可选的，所述通知消息还携带有压缩参数；
所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
应用上述技术方案，本发明实施例提供的退服节点的数据备份方法及装置，能够在接收到主节点发送的通知消息后，根据所述通知消息，将本地中对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，以完成对本地中数据的备份，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。
与现有技术相比，由于本发明中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了待退服从属节点与备份目标节点之间的网路连接次数，降低了网络开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种退服节点的数据备份方法的流程图；
图1b为简化的分布式存储系统的结构示意图；
图2为本发明实施例提供的另一种退服节点的数据备份方法的流程图；
图3为本发明实施例提供的另一种退服节点的数据备份方法的流程图；
图4为本发明实施例提供的一种退服节点的数据备份装置的结构示意图；
图5为本发明实施例提供的另一种退服节点的数据备份装置的结构示意图；
图6为本发明实施例提供的另一种退服节点的数据备份装置的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
分布式存储系统对故障或老旧从属节点进行退服时，需要利用复制的方式，对待退服从属节点上的数据制作副本，并将制作的副本发送到该系统的非待退服从属节点上，以满足系统对数据冗余度的要求。然而，由于以单个数据块为复制单位，逐个对本地中的数据块制作副本，并将制作的副本逐个发送到非待退服从属节点上的数据备份方法，存在网络开销较大和耗时较长的问题。因此，提出一种高效的退服节点的数据备份方法已成为本领域技术人员亟待解决的问题。为此，本发明实施例提出了一种退服节点的数据备份方法及装置。
下面首先对本发明实施例提供的一种退服节点的数据备份方法进行介绍。
需要说明的是，本发明实施例方法适用于分布式存储系统，在实际应用中，该分布式存储系统可以为Hadoop HDFS、MooseFS等。
如图1a所示，本发明实施例提供的一种退服节点的数据备份方法，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述方法可以包括：
S101，向所述主节点发送退服消息。
为了方便理解，将分布式存储系统的结构简化为图1b所示，分布式存储系统为一个master/slave架构的系统，该系统包括：一个主节点和多个从属节点，其中，主节点类似master的身份，负责管理文件系统的名字空间以及客户端对文件元信息的访问，这里提到的元信息可以包括：文件存储路径、复制因子，名称等信息以及修改日志；从属节点类似slave的身份，负责存储和维护该系统中的文件数据。
可以理解的是，故障或者服务时间较长等原因可能造成分布式存储系统中的某些从属节点工作状态出现异常，此时，该分布式存储系统需要对出现故障或老旧从属节点进行退服。
在退出服务之前，待退服从属节点可以向处于同一分布式存储系统中的主节点发送退服消息，告知主节点：该分布式存储系统中的某一从属节点即将退出服务，以使主节点及时采取相应的策略对该系统进行调整，维持该系统正常的生产流程。
S102，接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。
可以理解的是，由于分布式存储系统的主节点中记录有：该系统中全部文件数据的存储信息，因此，在接收到待退服从属节点发送的退服消息后，主节点能够根据接收到的退服消息，确定该系统中即将退出服务的从属节点(即待退服从属节点)，进一步的，确定出该待退服从属节点中存储的文件数据。
为满足分布式存储系统对数据冗余度的要求，及维持该系统后续的正常工作，需要将该待退服从属节点中存储的文件数据备份到该系统中正常服务的从属节点(即非待退服从属节点)上。
具体的，在确定出该待退服从属节点中存储的文件数据后，主节点会为需要备份的数据分配非退服从属节点；此外，由于文件数据是以数据块为单位存储在从属点上的，因此，主节点会以数据块为单位，为每个数据块分配非待退服从属节点。具体的分配方式可以为：存储能力强的非待退服从属节点分配较多的数据块，或存在关联关系的数据块可以分配到同一待退服从属节点上，本发明实施例对此不作限定。
为了便于理解及描述，下面将分配有数据块的非待退服从属节点简称为：备份目标节点。
在完成分配工作后，主节点能够生成携带有备份目标节点标识的通知消息，并将该通知消息发送给待退服从属节点。
本发明实施例中的待退服从属节点可以接收主节点发送的、携带有备份目标节点标识的通知消息。
S103，根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
具体的，在接收到主节点发送的通知消息后，本发明实施例中的待退服从属节点能够根据接收到通知消息，确定出备份目标节点，进一步的将存储于本地的、对应于同一备份目标节点的数据块进行整合，并将整合得到的数据发送给对应于该数据的备份目标节点。整合得到的数据可以为一个完整的文件，该文件中包括多个数据块，每个数据块之间存在用于区分每个数据块的元信息。
比如待退服从属节点中存在5个需要备份的数据块，数据块1～3分配给非待退服从属节点A，数据块4～5分配给非待退服从属节点B，该待退服从属节点可以将数据块1～3整合成一个文件a，将数据块4～5整合成一个文件b；整合操作完成后，将文件a发送给非待退服从属节点A，将文件b发送给非待退服从属节点B。
可选的，所述通知消息还携带有压缩参数；在接收到主节点发送的通知消息后，本发明实施例中的待退服从属节点能够根据接收到通知消息，确定出备份目标节点，进一步的将存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。本发明实施例通过对整合得到的数据进行压缩，提高了数据传输的效率。
比如比如待退服从属节点中存在5个需要备份的数据块，数据块1～3分配给非待退服从属节点A，数据块4～5分配给非待退服从属节点B，该待退服从属节点可以将数据块1～3整合成一个文件a，将数据块4～5整合成一个文件b；整合操作完成后，进一步对文件a、文件b进行压缩，分别得到文件a1、b1，将文件a1发送给非待退服从属节点A，将文件b1发送给非待退服从属节点B。
由此可见，本发明实施例提供的退服节点的数据备份方法，能够在接收到主节点发送的通知消息后，根据所述通知消息，将本地中对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，以完成对本地中数据的备份，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。
与现有技术相比，由于本发明中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了待退服从属节点与备份目标节点之间的网路连接次数，降低了网络开销。
在本发明的另一个实施例中，如图2所示，还可以在图1a所示方法的基础上增加S104，下面对本发明实施例中增加的S104进行描述。
S104，向所述主节点发送反馈信息，所述反馈信息表示所述合并得到的数据是否成功发送给对应该数据的备份目标节点。
在将合并得到的数据发送给备份目标节点后，待退服从属节点还可以向主节点发送反馈信息，用以告知主节点：本次数据发送是否成功；
在本次发送失败的情况下，该主节点可以控制待退服从属节点再次向备份目标节点发送合并得到的数据，提高了系统的反映能力。
进一步的，在接收到待退服从属节点发送的数据，并成功对该数据进行备份后，备份目标节点可以向主节点发送提示消息，以告知该主节点：数据已备份成功。
相应于图1a所示的、应用于分布式存储系统中待退服从属节点的退服节点的数据备份方法，本发明实施例还提供了一种应用于分布式存储系统中主节点的退服节点的数据备份方法。
如图3所示，本发明实施例提供的一种退服节点的数据备份方法，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述方法可以包括：
S301，接收待退服从属节点发送的退服消息。
在退出服务之前，待退服从属节点可以向处于同一分布式存储系统中的主节点发送退服消息，告知主节点：该分布式存储系统中的某一从属节点即将退出服务，以使主节点及时采取相应的策略对该系统进行调整，维持该系统正常的生产流程。
本发明实施例中的主节点可以接收待退服从属节点发送的退服消息，并根据该通知消息对该系统进行相应的调整。需要说明的是，本发明实施例中的待退服从属节点可以是一个，或者多个。
S302，根据接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块。
可以理解的是，由于分布式存储系统的主节点中记录有：该系统中全部文件数据的存储信息，因此，在接收到待退服从属节点发送的退服消息后，主节点能够根据接收到的退服消息，确认该系统中即将退出服务的从属节点(即待退服从属节点)，进一步的，确定出该待退服从属节点中存储的文件数据。
为满足分布式存储系统对数据冗余度的要求，及维持该系统后续的正常工作，此外，由于文件数据是以数据块为单位存储在从属点上的，因此，需要将该待退服从属节点中存储的文件数据的数据块备份到该系统中正常服务的从属节点(即非待退服从属节点)上。
S303，根据所确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点。
在确定出该待退服从属节点中存储的文件数据后，主节点会为需要备份的数据分配非退服的从属节点；此外，由于文件数据是以数据块为单位存储在从属点上的，因此，主节点会以数据块为单位，为每个数据块分配非待退服从属节点。具体的分配方式可以为：存储能力强的非待退服从属节点分配较多的数据块，或存在关联关系的数据块可以分配到同一待退服从属节点上，本发明实施例对此不作限定。
S304，根据所述分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
S305，将所生成的通知消息发送给所述待退服从属节点。
由此可见，本发明实施例提供的退服节点的数据备份方法，能够在接收到待退服从属节点发送的退服消息后，确定所述待退服从属节点中需要制作副本的数据块，并为上述数据块分配备份目标节点，进而生成包含上述备份目标节点标识的通知消息，并将上述通知消息发送给待退服从属节点，其中，上述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
与现有技术相比，由于本发明中的待退服从属节点，能够接收并根据主节点发送的通知消息，对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了待退服从属节点与备份目标节点之间的网路连接次数，降低了网络开销。
可选的，在本发明的一个实施例中，所述通知消息还可以携带有压缩参数；
所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
相应于图1a所示的方法实施例，本发明实施例还提供了一种退服节点的数据备份装置。
如图4所示，本发明实施例提供的一种退服节点的数据备份装置，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述装置可以包括：
第一消息发送模块401，用于向所述主节点发送退服消息；
第一消息接收模块402，用于接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；
数据发送模块403，用于根据所述第一消息接收模块402接收到的通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
由此可见，本发明实施例提供的退服节点的数据备份装置，能够在接收到主节点发送的通知消息后，根据所述通知消息，将本地中对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，以完成对本地中数据的备份，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。
与现有技术相比，由于本发明中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了待退服从属节点与备份目标节点之间的网路连接次数，降低了网络开销。
可选的，在本发明的一个实施例中，所述通知消息还可以携带有压缩参数；
所述数据发送模块403，可以具体用于：
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
可选的，在本发明的另一个实施例中，如图5所示，还可以在图4所示装置的基础上增加反馈信息发送模块404，下面对本发明实施例中增加的反馈信息发送模块404进行描述。
反馈信息发送模块404，用于向所述主节点发送反馈信息，所述反馈信息表示所述数据发送模块403是否将合并得到的数据成功发送给对应该数据的备份目标节点。
相应于图3所示的方法实施例，本发明实施例还提供了一种退服节点的数据备份装置。
如图6所示，本发明实施例提供的一种退服节点的数据备份装置，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，所述装置可以包括：
第二消息接收模块601，用于接收待退服从属节点发送的退服消息；
信息确定模块602，根据所述第二消息接收模块601接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块；
节点分配模块603，用于根据所述信息确定模块602确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点；
消息生成模块604，用于根据所述节点分配模块603的分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点；
第二消息发送模块605，用于将所述消息生成模块604生成的通知消息发送给所述待退服从属节点。
由此可见，本发明实施例提供的退服节点的数据备份方法，能够在接收到待退服从属节点发送的退服消息后，确定所述待退服从属节点中需要制作副本的数据块，并为上述数据块分配备份目标节点，进而生成包含上述备份目标节点标识的通知消息，并将上述通知消息发送给待退服从属节点，其中，上述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
与现有技术相比，由于本发明中的待退服从属节点，能够接收并根据主节点发送的通知消息，对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了待退服从属节点与备份目标节点之间的网路连接次数，降低了网络开销。
可选的，在本发明的一个实施例中，所述通知消息还可以携带有压缩参数；
所述通知消息还可以用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种退服节点的数据备份方法，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，其特征在于，所述方法包括：
向所述主节点发送退服消息；
接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
2.根据权利要求1所述的方法，其特征在于，所述通知消息还携带有压缩参数；
所述根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，包括：
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
向所述主节点发送反馈信息，所述反馈信息表示所述合并得到的数据是否成功发送给对应该数据的备份目标节点。
4.一种退服节点的数据备份方法，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，其特征在于，所述方法包括：
接收待退服从属节点发送的退服消息；
根据接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块；
根据所确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点；
根据所述分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点；
将所生成的通知消息发送给所述待退服从属节点。
5.根据权利要求4所述的方法，其特征在于，所述通知消息还携带有压缩参数；
所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
6.一种退服节点的数据备份装置，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，其特征在于，所述装置包括：
第一消息发送模块，用于向所述主节点发送退服消息；
第一消息接收模块，用于接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；
数据发送模块，用于根据所述第一消息接收模块接收到的通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。
7.根据权利要求6所述的装置，其特征在于，所述通知消息还携带有压缩参数；
所述数据发送模块，具体用于：
根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
反馈信息发送模块，用于向所述主节点发送反馈信息，所述反馈信息表示所述数据发送模块是否将合并得到的数据成功发送给对应该数据的备份目标节点。
9.一种退服节点的数据备份装置，应用于分布式存储系统中的主节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，其特征在于，所述装置包括：
第二消息接收模块，用于接收待退服从属节点发送的退服消息；
信息确定模块，根据所述第二消息接收模块接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块；
节点分配模块，用于根据所述信息确定模块确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点；
消息生成模块，用于根据所述节点分配模块的分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点；
第二消息发送模块，用于将所述消息生成模块生成的通知消息发送给所述待退服从属节点。
10.根据权利要求9所述的装置，其特征在于，所述通知消息还携带有压缩参数；
所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410515483.9A CN104216803A (zh) | 2014-09-29 | 2014-09-29 | 一种退服节点的数据备份方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410515483.9A CN104216803A (zh) | 2014-09-29 | 2014-09-29 | 一种退服节点的数据备份方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104216803A true CN104216803A (zh) | 2014-12-17 |
Family
ID=52098322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410515483.9A Pending CN104216803A (zh) | 2014-09-29 | 2014-09-29 | 一种退服节点的数据备份方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104216803A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105204781A (zh) * | 2015-09-28 | 2015-12-30 | 华为技术有限公司 | 压缩方法、装置和设备 |
| WO2017193846A1 (en) * | 2016-05-12 | 2017-11-16 | Huawei Technologies Co., Ltd. | Worker node rebuild for parallel processing system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6065018A (en) * | 1998-03-04 | 2000-05-16 | International Business Machines Corporation | Synchronizing recovery log having time stamp to a remote site for disaster recovery of a primary database having related hierarchial and relational databases |
| CN101594256A (zh) * | 2009-06-05 | 2009-12-02 | 成都市华为赛门铁克科技有限公司 | 容灾方法、装置和系统 |
| CN102792287A (zh) * | 2010-03-08 | 2012-11-21 | 日本电气株式会社 | 计算机系统、现用系统计算机和待机系统计算机 |
| CN103229487A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的分区平衡方法、装置及服务器 |
| CN103441826A (zh) * | 2013-07-12 | 2013-12-11 | 中国人民解放军国防科学技术大学 | 一种减少无线通信丢包率的方法和设备 |
| CN103763155A (zh) * | 2014-01-24 | 2014-04-30 | 国家电网公司 | 分布式云存储系统多服务心跳监测方法 |
| CN103902735A (zh) * | 2014-04-18 | 2014-07-02 | 中国人民解放军理工大学 | 面向大规模集群消重的应用感知数据路由方法及系统 |
-
2014
- 2014-09-29 CN CN201410515483.9A patent/CN104216803A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6065018A (en) * | 1998-03-04 | 2000-05-16 | International Business Machines Corporation | Synchronizing recovery log having time stamp to a remote site for disaster recovery of a primary database having related hierarchial and relational databases |
| CN101594256A (zh) * | 2009-06-05 | 2009-12-02 | 成都市华为赛门铁克科技有限公司 | 容灾方法、装置和系统 |
| CN102792287A (zh) * | 2010-03-08 | 2012-11-21 | 日本电气株式会社 | 计算机系统、现用系统计算机和待机系统计算机 |
| CN103229487A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的分区平衡方法、装置及服务器 |
| CN103441826A (zh) * | 2013-07-12 | 2013-12-11 | 中国人民解放军国防科学技术大学 | 一种减少无线通信丢包率的方法和设备 |
| CN103763155A (zh) * | 2014-01-24 | 2014-04-30 | 国家电网公司 | 分布式云存储系统多服务心跳监测方法 |
| CN103902735A (zh) * | 2014-04-18 | 2014-07-02 | 中国人民解放军理工大学 | 面向大规模集群消重的应用感知数据路由方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| （西）列罗，（西）马萨: "《异构多无人机》", 30 November 2012, 国防工业出版社 * |
| 李亚婉，刘黛琳: "《中英远程教育学习与实践专集 2》", 31 July 2009, 中央广播电视大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105204781A (zh) * | 2015-09-28 | 2015-12-30 | 华为技术有限公司 | 压缩方法、装置和设备 |
| CN105204781B (zh) * | 2015-09-28 | 2019-04-12 | 华为技术有限公司 | 压缩方法、装置和设备 |
| WO2017193846A1 (en) * | 2016-05-12 | 2017-11-16 | Huawei Technologies Co., Ltd. | Worker node rebuild for parallel processing system |
| US10203992B2 (en) | 2016-05-12 | 2019-02-12 | Futurewei Technologies, Inc. | Worker node rebuild for parallel processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107395353B (zh) | 一种区块链共识方法及装置 | |
| CN103827723B (zh) | 大规模存储系统 | |
| CN102611745B (zh) | 文件在线迁移方法、装置和系统 | |
| CN101751415B (zh) | 元数据服务系统、元数据同步方法与写服务器更新方法 | |
| US20190238338A1 (en) | Cloning drones using blockchain | |
| CN109886693B (zh) | 区块链系统的共识实现方法、装置、设备和介质 | |
| CN104135539A (zh) | 数据存储方法、sdn控制器和分布式网络存储系统 | |
| CN105930498A (zh) | 一种分布式数据库的管理方法及系统 | |
| US7831562B1 (en) | Backup and restore operations using distributed control information | |
| CN102098342A (zh) | 一种基于事务级的数据同步方法、装置及系统 | |
| CN109981279B (zh) | 一种区块链系统、通信方法、装置、设备及介质 | |
| CN105516284B (zh) | 一种集群数据库分布式存储的方法和装置 | |
| CN109739435B (zh) | 文件存储和更新方法及装置 | |
| CN105354108A (zh) | 一种数据备份方法及节点 | |
| WO2023040538A1 (zh) | 一种数据迁移的方法、装置、设备、介质和计算机产品 | |
| CN103970567A (zh) | 一种云存储系统固件在线升级的方法 | |
| CN102932409A (zh) | 一种虚拟机在线迁移的方法和系统 | |
| US20100107002A1 (en) | Failure notification in rendezvous federation | |
| CN115328645A (zh) | 计算任务调度方法、计算任务调度装置及电子设备 | |
| CN115543924A (zh) | 一种基于可信管理平台的任务处理方法及相关装置 | |
| CN105279020A (zh) | 一种任务调度方法及系统 | |
| CN115134075A (zh) | 跨子网调用方法、装置、电子设备和存储介质 | |
| CN105162869A (zh) | 一种用于数据备份管理的方法与设备 | |
| CN104216803A (zh) | 一种退服节点的数据备份方法及装置 | |
| US11277489B2 (en) | Software application updating in a local network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141217 |
|
| RJ01 | Rejection of invention patent application after publication |