CN105302676B - 一种分布式文件系统的主备机制数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的主备机制数据传输方法及装置，用以解决现有技术中影响主元数据服务器的业务处理效率的问题。该方法包括：主元数据服务器确定备元数据服务器开机启动后，与备元数据服务器建立连接；主元数据服务器接收到客户端发送的数据请求后，根据数据请求确定对应的备份类型，并对数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；并根据所述备份类型将指定内存中的数据发送至备元数据服务器。这样，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率。

Description

一种分布式文件系统的主备机制数据传输方法及装置

技术领域

本发明涉及主备机制数据传输领域，尤其涉及一种分布式文件系统的主备机制数据传输方法及装置。

背景技术

在分布式存储系统中，对数据以及信息资源的描述性信息称为元数据，对元数据的管理通采用集中式元数据服务模型。

为了提高元数据的可靠性，以避免当元数据服务器因为某些原因无法正常工作的时候，导致整个分布式存储系统无法工作。因此，需要对元数据服务器提供一个备份元数据服务器，接管出现问题的主元数据机服务器的工作，保证整个系统可以正常运行。为了保证主备元数据服务器之间的强一致性，数据在主备元数据服务器之间传输需要做同步操作，目前，主备元数据服务器之间采用同步复制数据的方式和异步复制数据的方式进行数据备份。

参阅图1所示，主备元数据服务器采用同步复制数据的方式备份数据的流程为：流程1，客户端将数据发送至主元数据服务器；流程2，主元数据服务器处理完成并保存本地后，将数据再发送到备元数据服务器；流程3，备元数据服务器将数据保存本地进行备份，并确定备份完成后返回主元数据服务器备份完成通知消息；流程4，主元数据服务器通过路由器将处理完成消息返回至客户端，本次输入输出(Input/Output，I/O)操作完成。

参阅图2所示，主备元数据服务器采用异步复制数据的方式备份数据的流程为：流程1，客户端将数据发送至主元数据服务器；流程2，主元数据服务器收到数据后，在指定内存区域进行保存，并将需要持久化的数据保存到本地，处理数据完成后通过路由器将处理完成消息返回至客户端；流程3，待备元数据服务器在某一特定时间段主动发起连接时，主元数据服务器确定备元数据服务器机连接成功后，将内存中保存的数据通过内部的心跳线，根据传输控制协议及网络互连协议(Transmission Control Protocol/InternetProtocol，TCP/IP)发送到备元数据服务器；流程4，备元数据服务器确定备份完成后返回主元数据服务器备份完成通知消息，并断开连接，从而本次I/O操作完成。

然而，采用同步复制数据的方式备份数据，主元数据服务器需要等待备元数据服务器复制完成后，才可以返回客户端处理完成消息，虽然保证了一致性，但是主备元数据服务器进行备份流程耗费时间和信令，导致系统的工作效率降低；采用异步复制数据的方式备份数据，备元数据服务器需要根据预设的周期，主动请求与主元数据服务器建立连接，才可以进行数据备份，在主元数据服务器负载较大时进行数据备份，导致影响了主元数据服务器的业务处理效率，且由备元数据服务器发起备份任务时，需要进行多次握手协议操作，增加了网络的负担。

总之，目前的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率。

发明内容

本发明实施例提供一种分布式文件系统的主备机制数据传输方法及装置，用以解决现有技术中存在的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率的问题。

本发明实施例提供的具体技术方案如下：

一种分布式文件系统的主备机制数据传输方法，包括：

主元数据服务器确定备元数据服务器开机启动后，与所述备元数据服务器建立连接；

所述主元数据服务器接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；

所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器。

采用这种方法，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率。

较佳地，所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述主元数据服务器根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。

通过这种方法，根据不同的备份类型，在不同的时机将数据发送至备元数据服务器，主元数据服务器根据操作的备份类型主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略。

较佳地，所述主元数据服务器根据所述备份类型，确定对应的备份条件，包括：

所述主元数据服务器判定所述备份类型为重要时，确定对应的备份条件为在所述指定内存中的数据不为空；

所述主元数据服务器判定所述备份类型为非重要时，确定对应的备份条件为所述主元数据服务器的负载信息未超过设定阈值。

采用这种方法，备份类型为重要时，处理后的数据保持在指定内存时，对该处理后的数据备份至备元数据服务器；备份类型为非重要时，主元数据服务器根据自身的负载信息，确定在负载较低时进行备份，从而提高了主元数据服务器的业务处理效率。

较佳地，所述主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。

通过这种方法，可以准确的获取主元数据服务器的负载信息。

较佳地，将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述主元数据服务器判定所述备份类型为重要时，将所述指定内存中的数据发送至所述备元数据服务器，同时，将所述指定内存中的数据持久化保存至所述主元数据服务器；

所述主元数据服务器判定所述备份类型为非重要时，将所述指定内存中的数据持久化保存至所述主元数据服务器后，将所述指定内存中的数据发送至所述备元数据服务器。

采用这种方法，主元数据服务器判定备份类型为重要时，在将指定内存中的数据发送至备元数据服务器的同时，将指定内存中的数据持久化保存至主元数据服务器，可以保证以最快的速度将数据备份至备元数据服务器；对于非总要的数据，主元数据服务器在持久化后，在指定时机进行备份，从而提高了主元数据服务器的业务处理效率。

一种分布式文件系统的主备机制数据传输装置，包括：

连接单元，用于确定备元数据服务器开机启动后，与所述备元数据服务器建立连接；

处理单元，用于接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；

发送单元，用于根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器。

这样，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率。

较佳地，所述发送单元根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述发送单元根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。

这样，发送单元根据不同的备份类型，在不同的时机将数据发送至备元数据服务器，主元数据服务器根据操作的备份类型主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略。

较佳地，所述发送单元根据所述备份类型，确定对应的备份条件，包括：

所述发送单元判定所述备份类型为重要时，确定对应的备份条件为在所述指定内存中的数据不为空；

所述发送单元判定所述备份类型为非重要时，确定对应的备份条件为主元数据服务器的负载信息未超过设定阈值。

这样，发送单元确定备份类型为重要时，处理后的数据保持在指定内存时，对该处理后的数据备份至备元数据服务器；备份类型为非重要时，主元数据服务器根据自身的负载信息，确定在负载较低时进行备份，从而提高了主元数据服务器的业务处理效率。

较佳地，所述主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。

这样，发送单元可以准确的获取主元数据服务器的负载信息。

较佳地，所述发送单元将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述发送单元判定所述备份类型为重要时，将所述指定内存中的数据发送至所述备元数据服务器，同时，将所述指定内存中的数据持久化保存至所述主元数据服务器；

所述发送单元判定所述备份类型为非重要时，将所述指定内存中的数据持久化保存至所述主元数据服务器后，将所述指定内存中的数据发送至所述备元数据服务器。

这样，发送单元判定备份类型为重要时，在将指定内存中的数据发送至备元数据服务器的同时，将指定内存中的数据持久化保存至主元数据服务器，可以保证以最快的速度将数据备份至备元数据服务器；对于非总要的数据，发送单元在持久化后，在指定时机进行备份，从而提高了主元数据服务器的业务处理效率。

采用本发明技术方案，通过主元数据服务器与备元数据服务器建立连接后，主元数据服务器根据接收到的数据请求确定备份类型，根据该备份类型将内存中存储的处理后的数据备份至备元数据服务器，这样，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率，避免了现有技术中存在的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率的问题。

附图说明

图1为现有技术下的一种主备元数据服务器的同步复制数据的流程示意图；

图2为现有技术下的一种主备元数据服务器的异步复制数据的流程示意图；

图3为本发明实施例提供的一种分布式文件系统的主备机制数据传输方法的具体流程图；

图4为本发明实施例提供的一种分布式文件系统的主备机制数据传输装置的结构示意图。

具体实施方式

采用本发明技术方案，能够有效地避免现有技术中存在的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率的问题。

本发明实施例提供了一种分布式文件系统的主备机制数据传输方法，下面结合附图对本发明优选的实施方式进行详细说明。

参阅图3所示，本发明实施例提供的一种分布式文件系统的主备机制数据传输方法方法的具体处理流程包括：

步骤301：主元数据服务器确定备元数据服务器开机启动后，与该备元数据服务器建立连接。

具体的，在本实施例中，主元数据服务器以及备元数据服务器在开机启动后，例如，建立TCP连接，只有在机器关机或者停止服务的情况下才会断开TCP连接，这样可以在建立TCP连接时即确认主元数据服务器和备元数据服务器的关系以及版本信息的同步。

在本发明实施例中，还可以建立用户数据报协议(User Datagram Protocol，UDP)连接，可以减少网络交互的次数。

在现有的技术中，每次主元数据服务器将数据备份在备元数据服务器时，都需要备机发动TCP请求，且根据TCP请求建立TCP连接，需要进行3次握手协议操作，且基于云存储的主备元数据服务器，还需要验证主备元数据服务器的一致性，因此需要额外的数据传输。

显然，本发明实施例中，主备元数据服务器通过建立一次TCP连接，减少了握手协议操作，减少了网络负担，提高了主元数据服务器的业务处理效率。

步骤302：主元数据服务器接收到客户端发送的数据请求后，根据该数据请求确定对应的备份类型，并对该数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中。

主元数据服务器结合搜到客户端发送的数据请求，例如IO操作任务请求，可以根据该数据请求确定对应的备份类型，如重要、非重要等，主元数据服务器根据该数据请求中携带的数据进行数据处理，如计算操作、读写操作，并在本地内存中开辟一区域存储处理后的数据。

主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率。

步骤303：主元数据服务器根据备份类型将指定内存中的数据发送至备元数据服务器。

具体的，执行步骤303包括：

主元数据服务器根据备份类型，确定对应的备份条件，确定备份条件满足后，将指定内存中的数据发送至备元数据服务器。

优选的，主元数据服务器根据备份类型，确定对应的备份条件，包括：

主元数据服务器判定该备份类型为重要时，确定对应的备份条件为在指定内存中的数据不为空；

主元数据服务器判定该备份类型为非重要时，确定对应的备份条件为主元数据服务器的负载信息未超过设定阈值。

在本发明实施例中，对应的备份条件还可以包括备份时间点。可以根据备份类型的不同，设定不同的备份时间，例如，对于较重要的数据，应该在主元数据服务器处理完后立即进行备份，对于非重要的数据，可以设置备份周期进行备份，在备份周期结束时间，将本备份周期内的所有处理后的非重要的数据一起备份至备元数据服务器。

优选的，主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。

备份类型为重要时，条件为指定内存中的数据不为空，即在主元数据服务器进行数据处理，将处理后的数据保持在指定内存时，对该处理后的数据备份至备元数据服务器；备份类型为非重要时，主元数据服务器根据自身的负载信息，确定在负载较低时进行备份，从而提高了主元数据服务器的业务处理效率。

具体的，将指定内存中的数据发送至备元数据服务器，包括：

主元数据服务器判定备份类型为重要时，将指定内存中的数据发送至备元数据服务器，同时，将指定内存中的数据持久化保存至主元数据服务器；

主元数据服务器判定备份类型为非重要时，将指定内存中的数据持久化保存至主元数据服务器后，将指定内存中的数据发送至备元数据服务器。

主元数据服务器判定备份类型为重要时，在将指定内存中的数据发送至备元数据服务器的同时，将指定内存中的数据持久化保存至主元数据服务器，可以保证以最快的速度将数据备份至备元数据服务器。

在本发明实施例中，备元数据服务器将数据备份后，向主元数据服务器返回备份完成通知消息，主元数据服务器根据该备份完成通知消息，将指定内存中的该数据清除，或者，在主元数据服务器中的内存已经全部占用，将最先存储的数据且已经持久化的非重要数据清除。

基于上述实施例，参阅图4所示，本发明实施例还提供了一种分布式文件系统的主备机制数据传输装置，该装置包括：连接单元401、处理单元402以及发送单元403，其中

连接单元401，用于确定备元数据服务器开机启动后，与该备元数据服务器建立连接；

处理单元402，用于接收到客户端发送的数据请求后，根据数据请求确定对应的备份类型，并对数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；

发送单元403，用于根据备份类型将该指定内存中的数据发送至备元数据服务器。

发送单元403根据备份类型将指定内存中的数据发送至备元数据服务器，包括：

发送单元403根据备份类型，确定对应的备份条件，确定备份条件满足后，将指定内存中的数据发送至备元数据服务器。

发送单元403根据备份类型，确定对应的备份条件，包括：

发送单元403判定备份类型为重要时，确定对应的备份条件为在指定内存中的数据不为空；

发送单元403判定备份类型为非重要时，确定对应的备份条件为主元数据服务器的负载信息未超过设定阈值。

主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。

发送单元403将指定内存中的数据发送至备元数据服务器，包括：

发送单元403判定备份类型为重要时，将指定内存中的数据发送至备元数据服务器，同时，将指定内存中的数据持久化保存至主元数据服务器；

发送单元403判定备份类型为非重要时，将指定内存中的数据持久化保存至主元数据服务器后，将指定内存中的数据发送至备元数据服务器。

综上所述，通过本发明实施例中提供的一种分布式文件系统的主备机制数据传输方法，通过主元数据服务器与备元数据服务器建立连接后，主元数据服务器根据接收到的数据请求确定备份类型，根据该备份类型将内存中存储的处理后的数据备份至备元数据服务器，这样，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率，避免了现有技术中存在的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率的问题。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种分布式文件系统的主备机制数据传输方法，其特征在于，包括：

主元数据服务器确定备元数据服务器开机启动后，与所述备元数据服务器建立连接；

所述主元数据服务器接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；

所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括，所述主元数据服务器判定所述备份类型为重要时，将所述指定内存中的数据发送至所述备元数据服务器，同时，将所述指定内存中的数据持久化保存至所述主元数据服务器；所述主元数据服务器判定所述备份类型为非重要时，将所述指定内存中的数据持久化保存至所述主元数据服务器后，将所述指定内存中的数据发送至所述备元数据服务器。

2.如权利要求1所述的方法，其特征在于，所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述主元数据服务器根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。

3.如权利要求2所述的方法，其特征在于，所述主元数据服务器根据所述备份类型，确定对应的备份条件，包括：

所述主元数据服务器判定所述备份类型为重要时，确定对应的备份条件为在所述指定内存中的数据不为空；

所述主元数据服务器判定所述备份类型为非重要时，确定对应的备份条件为所述主元数据服务器的负载信息未超过设定阈值。

4.如权利要求3所述的方法，其特征在于，所述主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。

5.一种分布式文件系统的主备机制数据传输装置，其特征在于，包括：

连接单元，用于确定备元数据服务器开机启动后，与所述备元数据服务器建立连接；

处理单元，用于接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；

发送单元，用于根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括，所述发送单元判定所述备份类型为重要时，将所述指定内存中的数据发送至所述备元数据服务器，同时，将所述指定内存中的数据持久化保存至主元数据服务器；所述发送单元判定所述备份类型为非重要时，将所述指定内存中的数据持久化保存至所述主元数据服务器后，将所述指定内存中的数据发送至所述备元数据服务器。

6.如权利要求5所述的装置，其特征在于，所述发送单元根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括：

所述发送单元根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。

7.如权利要求6所述的装置，其特征在于，所述发送单元根据所述备份类型，确定对应的备份条件，包括：

所述发送单元判定所述备份类型为重要时，确定对应的备份条件为在所述指定内存中的数据不为空；

所述发送单元判定所述备份类型为非重要时，确定对应的备份条件为主元数据服务器的负载信息未超过设定阈值。

8.如权利要求7所述的装置，其特征在于，所述主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。