CN105763604B - 轻量级分布式文件系统及恢复下载文件原名的方法 - Google Patents

Abstract

本发明涉及分布式文件系统，提供了提供一种轻量级分布式文件系统及恢复下载文件原名的方法，解决轻量级分布式文件系统不支持用户原文件名下载的问题。系统包括跟踪服务器、存储服务器、WEB服务器、客户端；当客户端上传文件时，存储服务器会将文件分配到一个数据存储目录，并且生成一个文件ID,然后将文件以文件ID命名存储在该目录的子目录下，将文件ID返回给客户端，客户端将原文件名和系统生成的文件ID的对应关系保存到关系型数据库中；当客户端下载文件时，WEB服务器设置在输出的页面中使用指定的链接进行文件下载，其中所述指定的链接用存储服务器的域名和系统返回的文件ID拼接而成。本发明适用于轻量级分布式文件系统。

Description

轻量级分布式文件系统及恢复下载文件原名的方法

技术领域

本发明涉及分布式文件系统，特别涉及轻量级分布式文件系统及恢复下载文件原名的方法。

背景技术

如今，人类已经步入信息化的时代，各行各业产生的数据信息总量正在呈现爆炸式地增长，数据越庞大，我们就需要更多的存储空间，此时如果继续用传统的存储方式是不太现实的，而且成本非常高。因此如何用普通的硬件来实现海量数据的存储，逐渐成为热点课题，轻量级分布式文件系统(FastDFS)也就应运而生。所谓的分布式文件系统，是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多用户分享文件和存储空间。它最大的一个特性叫做通透性，在分布式文件系统中，我们访问文件上的数据实际上是通过网络来实现的，但是在用户看来，它跟访问本地磁盘文件是一样的。FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。和现有的类Google FS分布式文件系统相比，FastDFS的架构和设计理念有其独到之处，主要体现在轻量级、分组方式和对等结构三个方面。FastDFS不对文件进行分块存储，与支持文件分块存储的DFS相比，更加简洁高效，并且完全能满足绝大多数互联网应用的实际需要。FastDFS非常适合存储海量的小文件,但是由于它本身的机制，它的文件名是存储成功以后根据存储位置生成的一个文件ID,不能支持用户原文件名。通过文件ID，我们可以反解出如下几个字段：文件创建时间、文件大小、上传到源存储服务器的ip地址、文件crc32校验码以及用于避免文件重名的随机数等。但是在我们的实际运用中，很多应用场景要求使用原文件名。使用http下载时如果不加处理，显示给用户的文件名会是文件ID，这个文件ID对用户来说没有任何意义，严重影响到用户体验，所以需要系统自己想办法恢复原始文件名。

发明内容

本发明要解决的技术问题是：提供一种轻量级分布式文件系统及恢复下载文件原名的方法，解决轻量级分布式文件系统不支持用户原文件名下载的问题。

为解决上述问题，本发明采用的技术方案是：包括跟踪服务器、存储服务器、WEB服务器、客户端；所述WEB服务器用于提供下载服务；WEB服务器还用以控制用户请求所得的内容存为一个文件时能提供一个默认的文件名，且文件在访问时弹出文件下载的对话框；

当客户端上传文件时，存储服务器会将文件分配到一个数据存储目录，并且生成一个文件ID,然后将文件以文件ID命名存储在该目录的子目录下，将文件ID返回给客户端，客户端将原文件名和系统生成的文件ID的对应关系保存到关系型数据库中；

当客户端下载文件时，所述WEB服务器，通过服务器语言，设置在输出的页面中使用指定的链接进行文件下载，其中，所述指定的链接由WEB服务器的域名和系统返回的文件ID拼接而成。

进一步的，所述关系型数据库为Mysql数据库。

进一步的，所述WEB服务器为nginx服务器。

基于上述轻量级分布式文件系统的恢复下载文件原名的方法，包括如下步骤：

a.用WEB服务器的域名和文件ID，拼出WEB服务器指定的下载链接；

b.从关系型数据库中得到原文件名和文件ID的对应关系，将原文件名作为请求参数变量带在下载链接中；

c.在WEB服务器端，利用请求的取值变量得到请求参数变量值作为键值，并加入到http响应头，从而重写响应头；

d.利用重写过响应头的链接通过浏览器去访问文件，弹出文件下载的对话框，对话框中的文件名即是指定链接的请求参数变量，也就是原文件名；

e.将请求发给正常工作的跟踪服务器，跟踪服务器解析请求，得到文件名中包含的存储文件信息，然后为该请求选择一个合适的存储服务器读请求，找到该文件并返回给客户端。

本发明的有益效果是：通过利用关系型数据库来存储原文件名和系统生成的文件ID之间的映射关系以及用WEB服务器来提供下载服务，为用户返回以原文件名命名的文件，解决FastDFS不支持用户原文件名下载的问题，提高了用户体验的目的。

具体实施方式

本发明的轻量级分布式文化系统，包含服务器和客户端。服务器又主要包括：tracker server(跟踪服务器)和storage serever(储存服务器)，其中tracker server，包括一台或者多台服务器，相互独立，主要起调度作用，其中多台之间是对等关系；storageserever，主要作用是提供存储容量，起到存储和备份的作用，所有的服务器以group为单位，每个group内包含多个存储服务器，数据互相备份。客户端，是用户的操作入口，主要用于进行文件的上传、下载等操作。

关系型数据库，主要用来存储原文件名和系统生成的文件ID之间的映射关系，所述的关系型数据库采用Mysql数据库。

WEB服务器，主要用于提供下载服务，所述的WEB服务器采用nginx服务器。

本发明首先布置轻量级分布式文件系统，系统包含服务器和客户端，然后在客户端增加一个关系型数据库，在服务器增加WEB服务器。当用户需要上传文件时，首先由客户端可以选择某一台正常工作的tracker server，发起上传请求；tracker server在收到上传文件请求时，会为该文件分配一个可以存储文件的group。当选定group后，trackerserver会在group内选择一个storage serever，返回可用的storage serever的ip地址和端口信息到客户端；客户端上传文件到storage serever，storage serever会将文件分配到一个数据存储目录，并且生成一个文件ID,然后将文件以文件ID命名存储在该目录的子目录下，将文件ID返回给客户端，然后客户端将自定义的文件名和系统生成的文件ID的对应关系保存到数据库中，整个上传操作完成。

实施例具体方法步骤如下：

第一步，部署分布式文件系统的server端，server端包括tracker server和storage serever。

步骤1.1，部署tracker server，主要做调度工作，起到均衡的作用，包含一台到多台，多台之间是对等关系。

步骤1.2，部署storage serever，主要提供存储容量，起到存储和备份的作用，所有的服务器以group为单位，每个group内包含多个存储服务器，数据互相备份。

第二步，部署分布式文件系统的客户端，主要用于进行文件的上传、下载等操作。

第三步，在客户端增加一个关系型数据库,主要用来存储原文件名和系统生成的文件ID之间的映射关系，所述的关系型数据库采用Mysql数据库。

第四步，在分布式文件系统上部署WEB服务器，主要用于提供下载服务，所述的WEB服务器采用nginx服务器。

第五步，在WEB服务器端，通过服务器语言，设置在输出的页面中使用指定的链接进行文件下载。

所述的指定的链接用服务器的域名和系统返回的文件ID拼接而成。

第六步，在WEB服务器端，设置内容属性，用以控制用户请求所得的内容存为一个文件时能提供一个默认的文件名，且文件在访问时弹出文件下载的对话框。

第七步，用户通过客户端，将文件上传到分布式文件系统，具体包括以下具体步骤：

步骤7.1，客户端可以选择某一台正常工作的tracker server，发起上传请求。

步骤7.2，分布式文件系统的tracker server在收到上传文件请求时，会为该文件分配一个可以存储文件的group。当选定group后，tracker server会在group内选择一个storage serever，返回可用的storage serever的ip地址和端口信息到客户端。

步骤7.3，客户端上传文件到分布式文件系统，storage serever会将文件分配到一个数据存储目录，并且生成一个文件ID,然后将文件以文件ID命名存储在该目录的子目录下，将文件ID返回给客户端。

步骤7.4，客户端将自定义的文件名和系统生成的文件ID的对应关系保存到数据库中。

步骤7.5，整个上传操作完成。

第八步，当用户需要下载文件时，可以通过客户端下载文件，具体包括以下步骤：

步骤8.1，点击下载时，用WEB服务器的域名和文件ID，拼出WEB服务器指定的下载链接。

步骤8.2，从关系型数据库中得到原文件名和文件ID的对应关系，将原文件名作为请求参数变量带在下载链接中。

步骤8.3，在WEB服务器端，利用get请求的取值变量得到请求参数变量值作为键值，并加入到http响应头，从而重写响应头。

步骤8.4，利用重写过响应头的的链接通过浏览器去访问文件，弹出文件下载的对话框，对话框中的文件名即是指定链接的请求参数变量，也就是原文件名。

步骤8.5，将请求发给任意的正常工作的tracker server。

步骤8.6，tracker server解析请求，得到文件名中包含的存储文件信息，然后为该请求选择一个合适的storage serever读请求，找到该文件并返回给客户端。

步骤8.7，下载完成，用户就能得到原文件名的文件。

以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (4)

1.轻量级分布式文件系统，包括跟踪服务器、存储服务器、WEB服务器、客户端；所述WEB服务器用于提供下载服务；其特征在于，WEB服务器还用以控制用户请求所得的内容存为一个文件时能提供一个默认的文件名，且文件在访问时弹出文件下载的对话框；

当客户端上传文件时，存储服务器会将文件分配到一个数据存储目录，并且生成一个文件ID,然后将文件以文件ID命名存储在该目录的子目录下，将文件ID返回给客户端，客户端将原文件名和系统生成的文件ID的对应关系保存到关系型数据库中；

当客户端下载文件时，所述WEB服务器，通过服务器语言，设置在输出的页面中使用指定的链接进行文件下载，其中，所述指定的链接由WEB服务器的域名和系统返回的文件ID拼接而成；通过客户端下载文件的具体步骤包括：

a.用WEB服务器的域名和文件ID，拼出WEB服务器指定的下载链接；

b.从关系型数据库中得到原文件名和文件ID的对应关系，将原文件名作为请求参数变量带在下载链接中；

c.在WEB服务器端，利用请求的取值变量得到请求参数变量值作为键值，并加入到http响应头，从而重写响应头；

d.利用重写过响应头的链接通过浏览器去访问文件，弹出文件下载的对话框，对话框中的文件名即是指定链接的请求参数变量，也就是原文件名；

e.将请求发给正常工作的跟踪服务器，跟踪服务器解析请求，得到文件名中包含的存储文件信息，然后为该请求选择一个合适的存储服务器读请求，找到该文件并返回给客户端。

2.根据权利要求1所述的轻量级分布式文件系统，其特征在于，所述关系型数据库为Mysql数据库。

3.根据权利要求2所述的轻量级分布式文件系统，其特征在于，所述WEB服务器为nginx服务器。

4.基于权利要求1或2或3所述的轻量级分布式文件系统的恢复下载文件原名的方法，其特征在于，包括如下步骤：

a.用WEB服务器的域名和文件ID，拼出WEB服务器指定的下载链接；

b.从关系型数据库中得到原文件名和文件ID的对应关系，将原文件名作为请求参数变量带在下载链接中；

c.在WEB服务器端，利用请求的取值变量得到请求参数变量值作为键值，并加入到http响应头，从而重写响应头；

d.利用重写过响应头的链接通过浏览器去访问文件，弹出文件下载的对话框，对话框中的文件名即是指定链接的请求参数变量，也就是原文件名；

e.将请求发给正常工作的跟踪服务器，跟踪服务器解析请求，得到文件名中包含的存储文件信息，然后为该请求选择一个合适的存储服务器读请求，找到该文件并返回给客户端。