CN103294704A - 文件同步系统及方法 - Google Patents

Abstract

本发明提供一种文件同步系统。该同步系统接收客户端通过访问入口传送的文件，指定该文件该在分布式存储系统中的多个存储路径，并根据指定的存储路径将该文件分别存储到相应的多个存储单元。之后，该同步系统在各存储单元上产生单元文件日志，在所述访问入口产生系统文件日志，并定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到一个预设的存储位置。当某个存储单元中存储的文件需要修复时，该同步系统比较搜集到的单元文件日志及系统文件日志确定该存储单元原本存储的文件及与该存储单元存储有相同文件的其它存储单元，并从该其它存储单元复制该文件到该存储单元。本发明还提供一种文件同步方法。

Description

文件同步系统及方法

技术领域

本发明涉及一种文件管理系统及方法，尤其是一种应用于分布式存储系统的文件同步系统及方法。

背景技术

目前常见分布式存储系统的文件同步机制有两种。一种是使用Metadata服务器维护系统存储的所有文件的信息，所有文件的操作都需要经过Metadata服务器。当故障发生时，通过Metadata服务器上存储的文件信息进行恢复。这种方法能在最快的时间内恢复损毁的文件，但随着文件数量的增加，Metadata服务器的压力和风险也随之增大，变成整个系统的瓶颈。另外一种方法不使用Metadata服务器存储文件信息，当系统故障发生后，通过扫描系统存储的全部文件恢复损毁的文件。这种方法可以规避第一种方法因Metadata服务器所造成的系统瓶颈问题，但在恢复过程中因需要扫描全部文件所以恢复时间较长。

发明内容

鉴于以上内容，有必要提供一种文件同步系统及方法，既可以避免因Metadata服务器所造成的分布式存储系统的瓶颈问题，又可以较快的速度恢复分布式存储系统中损毁的文件。

一种文件同步系统，应用于分布式存储系统。该文件同步系统包括指定模块、存储模块、日志模块、搜集模块及修复模块。指定模块接收客户端通过访问入口传送的文件，指定该文件该在分布式存储系统中的多个存储路径。存储模块根据指定的存储路径将该文件分别存储到分布式存储系统中相应的多个存储单元。日志模块在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生系统文件日志记录所有存储单元上存储的文件的存储信息。搜集模块定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储系统中一个预设的存储位置。当第一存储单元中存储的文件需要修复时，修复模块比较搜集到的单元文件日志及系统文件日志确定该第一存储单元需要修复的文件及与存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。

一种文件同步方法，应用于分布式存储系统。该方法包括步骤：(A)接收客户端通过访问入口传送的文件；(B)指定该文件该在分布式存储系统中的多个存储路径；(C)根据指定的存储路径将该文件分别存储到分布式存储系统中相应的多个存储单元；(D)在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生系统文件日志记录所有存储单元上存储的文件的存储信息；(E)定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储系统中一个预设的存储位置；及(F)当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及系统文件日志确定该第一存储单元需要修复的文件及与存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的到该第一存储单元。

相较于现有技术，本发明提供的文件同步系统及方法，既可以避免因Metadata服务器所造成的分布式存储系统的瓶颈问题，又可以较快的速度恢复分布式存储系统中损毁的文件。

附图说明

图1是本发明文件同步系统较佳实施例的应用环境图。

图2是本发明文件同步系统较佳实施例的功能模块图。

图3是本发明文件同步方法较佳实施例的流程图。

主要元件符号说明

客户端

200

分布式存储系统	100
		访问入口	10
存储单元	20、30、40
		文件	21、31、41
单元文件日志	22、32、42
		系统文件日志	11
文件同步系统	50
		设置模块	51
存储模块	52
		日志模块	53
搜集模块	54
		读取模块	55
修复模块	56

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

参阅图1所示，是本发明文件同步系统30较佳实施例的应用环境图。该文件同步系统50应用于分布式存储系统100。该分布式存储系统100包括访问入口10以及多个存储单元，例如图中示出的存储单元20、30、40。存储单元是存储服务器分配给分布式存储系统100的存储空间。通常一台服务器可以提供一个或多个存储空间。例如图1中的存储单元20、30、40可以由同一台服务器提供，或者由不同的服务器提供。客户端200通过访问入口10向分布式存储系统100写入文件，为了保证信息安全，分布式存储系统100将同一份文件分别存储在多个相互独立的存储空间。例如所述存储单元20、30、40。

访问入口10提供客户端200与分布式存储系统100之间的访问协议，该访问入口可以为网络文件系统(network file system，NFS)，文件传输协议(file transfer protocol，FTP)，等等。客户端200可以为PC机或是服务器。

文件同步系统50指定同一份文件在分布式存储系统100中的不同存储路径，根据存储路径将该文件分别存储到相应的存储单元，例如将文件A分别存储到存储单元20、30、40得到文件21、31、41。文件同步系统50还在访问入口产生系统文件日志11记录所有文件的存储信息，在每个存储单元(例如存储单元20、30、40)上产生单元文件日志(例如单元文件日志22、32、42)记录该存储单元存储的文件(例如文件21、31、41)的存储信息。当某个存储单元A存储的文件丢失或损毁时，文件同步系统50根据所述系统文件日志11及单元文件日志确定该存储单元A需要修复的文件及存储有相同文件的另一个存储单元B，并从该存储单元B复制该相同文件到存储单元A。

参阅图2所示，是本发明文件同步系统50较佳实施例的功能模块图。该文件同步系统50包括设置模块51、存储模块52、日志模块53、搜集模块54、读取模块55及修复模块56。模块51-56包括计算机程序化代码，这些计算机程序代码存储在分布式存储系统100提供的存储设备中，分布式存储系统100的处理设备执行该计算机程序代码，提供文件同步系统50的上述功能。所述存储设备、处理设备可以由提供存储单元的服务器之外的计算机或服务器提供。模块51-56的具体功能参见图3的描述。

参阅图3所示，是本发明文件同步方法较佳实施例的流程图。

步骤S301，访问入口10接收客户端200传送的文件，例如文件名为“volume1”的文件。

步骤S303，设置模块51指定该文件在分布式存储系统100中的多个存储路径。例如，在本实施例中，设置模块31指定文件“volume1”存储到三个不同的存储路径：szunit01、szunit02、szunit03。

步骤S305，存储模块52根据指定的存储路径将该文件分别存储到分布式存储系统100中相应的多个存储单元。例如假设存储路径szunit01、szunit02、szunit03分别对应存储单元20、30、40，则存储模块32将文件“volume1”分别存储至存储单元20、30、40得到文件21、31、41。

步骤S307，日志模块53在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在访问入口10产生系统文件日志11记录所有存储单元上存储的文件的存储信息。所述存储信息包括文件名、文件的存储时间、存储路径等信息。例如文件“volume1”分别存储至存储单元20、30、40后，日志模块53在存储单元20、30、40分别产生单元文件日志22、32、42。单元文件日志22记录的信息格式可能为“Nov1106:40:51szunit01/volume1.file”，单元文件日志32记录的信息格式可能为“Nov 1106:40:51szunit02/volume1.file”，单元文件日志42记录的信息格式可能为“Nov 1106:40:51szunit03/volume1.file”。其中，“Nov 1106:40:51”表示文件20、30、40创建的时间；szunit01、szunit02、szunit03表示该文件“volume1”在存储单元20、30、40对应的存储路径；“volume1”为文件20、30、40的文件名。访问入口10处产生的系统文件日志11包括所有存储单元上存储的单元文件日志包括的信息，例如上述单元文件日志22、32、42中包括的信息。

步骤S309，搜集模块54定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储系统100中一个预设的存储位置。该预设的存储位置为独立于所述存储单元的其它存储空间，保证当存储单元发生损毁时不会导致搜集到的单元文件日志受损或遗失。定时可以为周期性或非周期性的固定时间。

步骤S311，读取模块55试图从一个存储单元A读取文件，并判断是否能从该存储单元A读取到该文件。例如，读取模块55试图从存储单元20读取文件21。该读取操作的触发可以应客户端200的访问请求，也可以为应分布式存储系统100对存储的资料安全性的检查、维护和修复等作业。若读取模块35从该存储单元A读取文件成功，则表明该存储单元A存储的文件完好，流程结束。若读取模块35从该存储单元A读取文件失败，则表明该存储单元A存储的文件受到损坏或丢失。例如，存储单元A的损坏可能导致其存储的文件受到损坏或丢失。则流程进入步骤S313。

步骤S313，修复模块56比较搜集到的单元文件日志及访问入口10存储的系统文件日志11确定该存储单元A需要修复的文件及存储有该需要修复的文件的存储单元B。例如，当存储单元20中的文件21受损或丢失，修复模块56比较搜集到的单元文件日志及访问入口10存储的系统文件日志11，确定存储单元20中原本存储的是文件21、且存储单元30、40中存储的文件31、41是与文件21相同的文件(即文件名相同的文件)。

步骤S315，修复模块56将该需要修复的文件从存储单元B复制到存储单元A。例如，修复模块56从存储单元30复制文件31到存储单元20，或从存储单元40复制文件41到存储单元20。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种文件同步方法，应用于分布式存储系统，其特征在于，该方法包括：

接收客户端通过访问入口传送的文件；

指定该文件该在分布式存储系统中的多个存储路径；

根据指定的存储路径将该文件分别存储到分布式存储系统中相应的多个存储单元；

在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生系统文件日志记录所有存储单元上存储的文件的存储信息；

定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储系统中一个预设的存储位置；及

当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及系统文件日志确定该第一存储单元需要修复的文件及存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。

2.如权利要求1所述的文件同步方法，其特征在于，所述访问入口提供客户端与分布式存储系统之间的访问协议。

3.如权利要求1所述的文件同步方法，其特征在于，所述多个存储单元是由分布式存储系统中的同一台服务器提供的相互独立的存储空间，或者是由分布式存储系统中的不同服务器提供的相互独立的存储空间。

4.如权利要求1所述的文件同步方法，其特征在于，所述文件的存储信息包括文件名、文件的存储时间及存储路径信息。

5.如权利要求1所述的文件同步方法，其特征在于，所述预设的存储位置为分布式存储系统提供的独立于所述多个存储单元的其它存储空间。

6.一种文件同步系统，应用于分布式存储系统，其特征在于，该文件同步系统包括：

指定模块，用于接收客户端通过访问入口传送的文件，指定该文件该在分布式存储系统中的多个存储路径；

存储模块，用于根据指定的存储路径将该文件分别存储到分布式存储系统中相应的多个存储单元；

日志模块，用于在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生系统文件日志记录所有存储单元上存储的文件的存储信息；

搜集模块，用于定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储系统中一个预设的存储位置；及

修复模块，用于当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及系统文件日志确定该第一存储单元需要修复的文件及存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。

7.如权利要求6所述的文件同步系统，其特征在于，所述访问入口提供客户端与分布式存储系统之间的访问协议。

8.如权利要求6所述的文件同步系统，其特征在于，所述多个存储单元是由分布式存储系统中的同一台服务器提供的相互独立的存储空间，或者是由分布式存储系统中的不同服务器提供的相互独立的存储空间。

9.如权利要求6所述的文件同步系统，其特征在于，所述文件的存储信息包括文件名、文件的存储时间及存储路径信息。

10.如权利要求6所述的文件同步系统，其特征在于，所述预设的存储位置为分布式存储系统提供的独立于所述多个存储单元的其它存储空间。

Images