CN105208078A - 一种文件存储系统及方法 - Google Patents

Abstract

本发明公开一种文件存储系统及方法，所述系统包括至少一台控制服务器和至少一台存储服务器，所述控制服务器，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器。所述存储服务器，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。本发明提供的文件存储系统不使用索引信息，一定程度上节省了内存空间。同时，本发明的文件存储系统能够根据客户端上传的文件存储路径，快速定位所述存储路径对应的文件。

Description

一种文件存储系统及方法

技术领域

本发明涉及数据处理领域，具体涉及一种文件存储系统及方法。

背景技术

随着互联网信息的增长，大量的数据，如图片、文档等需要被存储。目前，分布式文件存储系统将数据进行分块存储，同时，需要在系统内存中存储大量的索引信息，以便于用户在下载数据时能够定位到文件的存储位置。

但是，由于大量索引信息的存储占用系统大量的内存空间，而用于存储的计算机数量和内存空间都是有限的，所以，从存储成本的角度考虑，目前的文件存储系统并不能满足需求。

发明内容

有鉴于此，本发明提供了一种文件存储系统及方法。

本发明提供了一种文件存储系统，所述系统包括至少一台控制服务器和至少一台存储服务器；

所述控制服务器，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器；

所述存储服务器，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

优选地，所述控制服务器，还用于在接收到携带所述文件的存储路径的文件查询请求后，根据所述文件的存储路径确定用于存储所述文件的存储服务器，并将所述文件的存储路径发送至所述存储服务器；

所述存储服务器，还用于根据所述文件的存储路径定位所述文件，并将所述文件发送至所述客户端。

优选地，所述存储服务器，还用于定时向所述控制服务器上报自身的闲忙状态；

所述控制服务器，还用于存储所述存储服务器上报的闲忙状态，并根据存储的各个存储服务器的闲忙状态，为所述客户端分配一台处于空闲状态的存储服务器。

优选地，所述系统包括的存储服务器以分组形式存在；

所述存储服务器，还用于在与所述存储服务器属于同一分组的其他存储服务器接收并存储客户端上传的文件后，将所述文件备份。

优选地，所述系统还包括至少一台监控服务器；

所述监控服务器，用于在接收存储服务器的异常反馈后，对所述存储服务器进行异常测试；并在确定所述存储服务器异常的情况下，通知控制服务器；

所述控制服务器，还用于在接收到存储服务器异常的通知后，将所述存储服务器设置为离线状态。

本发明还提供了一种文件存储方法，所述方法包括：

控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器；

所述存储服务器接收并存储所述客户端上传的文件，生成所述文件的存储路径；并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

优选地，所述方法还包括：

所述控制服务器在接收到携带所述文件的存储路径的文件查询请求后，根据所述文件的存储路径确定用于存储所述文件的存储服务器，并将所述文件的存储路径发送至所述存储服务器；

所述存储服务器根据所述文件的存储路径定位所述文件，并将所述文件发送至所述客户端。

优选地，所述方法还包括：

所述存储服务器定时向所述控制服务器上报自身的闲忙状态；

所述控制服务器存储所述存储服务器上报的闲忙状态；

相应的，所述控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器，具体为：

所述控制服务器在接收到来自客户端的文件存储请求后，根据存储的各个存储服务器的闲忙状态，为所述客户端分配一台处于空闲状态的存储服务器。

优选地，存储服务器以分组形式存在；

当与所述存储服务器属于同一分组的其他存储服务器接收并存储客户端上传的文件后，所述存储服务器将所述文件备份。

优选地，所述方法还包括：

监控服务器在接收到来自存储服务器的异常反馈后，对所述存储服务器进行异常测试，并在确定所述存储服务器异常的情况下，通知控制服务器；

所述控制服务器在接收到来自所述监控服务器的存储服务器异常的通知后，将所述存储服务器设置为离线状态。

本发明提供的文件存储系统包括至少一台控制服务器和至少一台存储服务器，所述控制服务器，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器。所述存储服务器，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。本发明提供的文件存储系统不使用索引信息，一定程度上节省了内存空间。同时，本发明的文件存储系统能够根据客户端上传的文件存储路径，快速定位所述存储路径对应的文件。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的文件存储系统的结构示意图；

图2为本发明提供的另一种文件存储系统结构示意图；

图3为本发明提供的文件存储系统架构图；

图4为本发明提供的文件存储方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提供了一种文件存储系统，参考图1，图1为本发明实施例提供的一种文件存储系统的结构示意图，具体的，所述系统包括：至少一台控制服务器101和至少一台存储服务器102；

所述控制服务器101，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器；

所述存储服务器102，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

本发明实施例中，当客户端向文件存储系统存储文件时，首先向该系统中的任意一个控制服务器发送文件存储请求，询问是否能够进行文件的存储。所述控制服务器在接收到来自所述客户端的文件存储请求后，判断当前是否有可用于存储所述文件的存储服务器，当存在时，所述控制服务器为所述客户端分配一个存储服务器，并将所述存储服务器的地址发送至所述客户端。

所述客户端在接收到所述存储服务器的地址后，根据所述存储服务器的地址，与所述存储服务器建立连接，并将文件上传至所述存储服务器。所述存储服务器将接收到的所述文件存储在本地。具体的，所述存储服务器根据预先配置的轮询或随机规则，选择一个存储目录来存储所述文件。为了避免所述存储服务器中单个存储目录下存储文件数量过多，所述存储服务器在所述存储目录的基础上创建二级子目录，并将这些二级子目录进行编号，按照编号的顺序将这些目录置于内存中，可以为上传过来的文件轮询或者随机分配存储的各个目录。

所述存储服务器将所述文件存储之后，生成用于标识所述文件的存储位置的存储路径，并将所述存储路径返回至所述客户端，以便所述客户端利用所述文件的存储路径在文件存储系统中查询、下载所述文件。

在本发明实施例提供的文件存储系统中，客户端可以根据文件的存储路径在系统中查找到与其对应的文件。具体的，客户端向该系统中的任意一台控制服务器发送携带文件的存储路径的文件查询请求。当控制服务器接收到文件查询请求后，根据所述文件查询请求中的存储路径，确定系统中用于存储所述存储路径对应的文件的存储服务器。在确定所述存储服务器后，所述控制服务器将所述存储路径发送至所述存储服务器，以便所述存储服务器根据所述存储路径定位文件。由于文件的存储路径是用于标识所述文件的存储位置的，所以，所述存储服务器可以根据所述存储路径在本地定位到所述文件，并在获取定位到的文件后，将所述文件发送至所述客户端，完成所述客户端对所述文件的查询及下载。

实际应用中，文件存储系统中的存储服务器以心跳的方式，向控制服务器上报自身的闲忙状态。另外，存储服务器向控制服务器上报的数据包中还包括所述存储服务器自身的IP地址、文件上传的优先级等。所述控制服务器将上报的数据包存储后，根据存储的各个存储服务器的闲忙状态，为发送文件上传请求的客户端分配一台处于空闲状态的存储服务器。

一种优选的实现方式中，本发明实施例提供的文件存储系统中的存储服务器以分组的形式存在。如图2所示，图2为本实施例提供的另一种文件存储系统结构示意图。其中，所述文件存储系统中包括Tracker服务器集群和Storage服务器集群，Storage服务器集群中的storage服务器以分组形式存在，Group1中包括storage1、storage2、storage3三台storage服务器。Tracker服务器集群包括若干台tracker服务器，各个tracker服务器用于接收来自任意一台客户端的文件存储请求，并根据预先设置的轮询或随机的规则为所述客户端分配一台storage服务器。例如，被分配给所述客户端的storage服务器为Group1中storage1服务器，其用于接收并存储来自所述客户端的文件，并在存储所述文件的过程中生成所述文件的存储路径。所述文件的存储路径例如包括：组名(group1)、虚拟磁盘路径(M02)、二级目录(94/C4)、加密的存储源服务器(storage1)的IP地址(MTAuMTAuODguNzk＝)、所述文件的文件名(6_13b56665513g102_126_1_1b.jpg)。具体的，所述文件的存储路径如下：group1/M02/94/C4/MTAuMTAuODguNzk＝/6_13b56665513g102_126_1_1b.jpg。所述Group1中storage1服务器将生成的所述文件的存储路径发送至所述客户端，以便所述客户端在查询所述文件时，利用所述文件的存储路径在文件存储系统中查询。具体的，当tracker服务器接收到来自客户端的存储路径时，根据所述存储路径中的组名，确定用于存储文件的存储服务器所属的组，进而将所述存储路径发送至该组中的任意一台storage服务器。所述storage服务器根据所述存储路径中的“虚拟磁盘路径、二级目录、所述文件的文件名”等快速定位所述文件。

另外，本发明实施例中处于同一个分组的storage服务器中存储的文件处于同步状态。也就是说，当Storage服务器集群中的任意一台storage服务器存储文件时，与所述storage服务器处于同一组的其他storage服务器将所述文件同步存储。具体的，storage服务器每接收一个来自客户端的文件时，在本地就会写入一条日志，具体的日志信息如下：

1438658301158aM01/F6/D3/6_13f2257639cg102_55236923_7_7b.jpg；

1438658295238AM01/F6/A4/6_13ec50bcae7g102_54281227_7_0b.jpg；

其中，1438658295238代表文件上传的时间，A代表上传源，a代表为同步过来的数据，M01/F6/A4/6_13ec50bcae7g102_54281227_7_0b.jpg代表文件的存储路径。

每台storage服务器上会有一个同步线程，同步线程用于读取同步日志，在读取同步日志的过程中，如果发现当前读取的同步日志包括A标识，那么就将该条同步日志中记录的数据同步到同一组的其他storage服务器上。如果读取同步日志的过程中发现当前读取的同步日志包括为a，则跳过不需要同步。

另外，每台storage服务器上会有一个日志文件来记录线程同步的位置，具体的，所述日志文件用于记录storage服务器读取到了第几个同步日志文件，并扫描所述同步日志文件的行数，同步的行数等信息。

实际应用中，如果某个storage服务器组中有新storage服务器加入，则该新加入的storage服务器会选取该组内的一个storage服务器作为同步源，记录一个需要同步的截止时间，并将该时间之前的所有数据全部同步至新加入的storage服务器(在同步历史数据的过程中，新加入的storage服务器不接收客户端上传的文件)。待历史数据同步完毕之后，该storage服务器加入到线上执行正常上传和同步流程。

另一种优选地实施例中，文件存储系统还包括监控服务器。当系统中的存储服务器出现异常时，向所述监控服务器发送异常反馈。所述监控服务器在接收到来自存储服务器的异常反馈后，对所述存储服务器进行异常测试。当所述存储服务器确定存在异常的情况下，通知所述控制服务器。当所述控制服务器获知所述存储服务器出现异常时，将出现异常的所述存储服务器设置为离线状态。也就是说，当所述控制服务器接收到客户端的文件上传请求时，不再将其分配给所述客户端。

如图3，图3为本发明实施例提供的一种文件存储系统架构图，所述系统利用Zookeeper实现Tracker服务器集群的配置，以及Monitor(监控服务器)服务器集群的配置。Storage服务器集群中的storage服务器分为N个组，每个组中包括三台storage服务器。Tracker服务器集群中的任意一台tracker服务器接收到来自客户端Client的文件上传请求时，选择一个组中的一台storage服务器，并分配给该客户端。此时，该被分配的storage服务器与该客户端直接通信，并接收该客户端上传的文件。当该storage服务器完成所述文件的存储后，将所述文件的存储路径返回至该客户端。在整个文件存储过程中，当Storage服务器集群中的任意一台storage服务器出现异常时，向Monitor服务器集群中的任一台Monitor服务器上报。所述Monitor服务器对该出现异常的storage服务器进行异常测试，如果确定其发生异常，则通知tracker服务器，该tracker服务器将发生异常的storage服务器设置为离线。

另外，Storage服务器集群中的storage服务器以心跳的方式，向Tracker服务器集群中的tracker服务器上报自身的状态信息，如闲忙状态、IP地址等。

本发明实施例提供的文件存储系统包括至少一台控制服务器和至少一台存储服务器，所述控制服务器，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器。所述存储服务器，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。本发明实施例提供的文件存储系统不使用索引信息，一定程度上节省了内存空间。同时，本发明实施例的文件存储系统能够根据客户端上传的文件存储路径，快速定位所述存储路径对应的文件。

本发明实施例还提供了一种文件存储方法，参考图4，图4为本发明实施例提供的一种文件存储方法流程图，所述方法包括：

S401：控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器。

S402：所述存储服务器接收并存储所述客户端上传的文件，生成所述文件的存储路径；并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

所述控制服务器在接收到携带所述文件的存储路径的文件查询请求后，根据所述文件的存储路径确定用于存储所述文件的存储服务器，并将所述文件的存储路径发送至所述存储服务器。

所述存储服务器根据所述文件的存储路径定位所述文件，并将所述文件发送至所述客户端。

另外，存储服务器以心跳的形式向控制服务器上报自身的状态信息，如闲忙状态、IP地址等。具体的：

所述存储服务器定时向所述控制服务器上报自身的闲忙状态；

所述控制服务器存储所述存储服务器上报的闲忙状态；

相应的，所述控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器，具体为：

所述控制服务器在接收到来自客户端的文件存储请求后，根据存储的各个存储服务器的闲忙状态，为所述客户端分配一台处于空闲状态的存储服务器。

另外，各个存储服务器以分组形式存在，属于同一组的存储服务器中存储的文件相同。

当与所述存储服务器属于同一分组的其他存储服务器接收并存储客户端上传的文件后，所述存储服务器将所述文件备份。

实际应用中，监控服务器在接收到来自存储服务器的异常反馈后，对所述存储服务器进行异常测试，并在确定所述存储服务器异常的情况下，通知控制服务器。

所述控制服务器在接收到来自所述监控服务器的存储服务器异常的通知后，将所述存储服务器设置为离线状态。

本发明实施例提供的文件存储方法中，控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器。所述存储服务器接收并存储所述客户端上传的文件，生成所述文件的存储路径；并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。与现有技术比，本发明实施例不需要使用索引信息，一定程度上节省了内存空间。同时，本发明实施例能够根据客户端上传的文件存储路径，快速定位所述存储路径对应的文件。

对于方法实施例而言，由于其基本对应于装置实施例，所以相关之处参见系统实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明实施例所提供的一种文件存储系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种文件存储系统，其特征在于，所述系统包括至少一台控制服务器和至少一台存储服务器；

所述控制服务器，用于在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器；

所述存储服务器，用于接收并存储所述客户端上传的文件，生成所述文件的存储路径，并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

2.根据权利要求1所述的系统，其特征在于，

所述控制服务器，还用于在接收到携带所述文件的存储路径的文件查询请求后，根据所述文件的存储路径确定用于存储所述文件的存储服务器，并将所述文件的存储路径发送至所述存储服务器；

所述存储服务器，还用于根据所述文件的存储路径定位所述文件，并将所述文件发送至所述客户端。

3.根据权利要求1所述的系统，其特征在于，

所述存储服务器，还用于定时向所述控制服务器上报自身的闲忙状态；

所述控制服务器，还用于存储所述存储服务器上报的闲忙状态，并根据存储的各个存储服务器的闲忙状态，为所述客户端分配一台处于空闲状态的存储服务器。

4.根据权利要求1所述的系统，其特征在于，所述系统包括的存储服务器以分组形式存在；

所述存储服务器，还用于在与所述存储服务器属于同一分组的其他存储服务器接收并存储客户端上传的文件后，将所述文件备份。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括至少一台监控服务器；

所述监控服务器，用于在接收存储服务器的异常反馈后，对所述存储服务器进行异常测试；并在确定所述存储服务器异常的情况下，通知控制服务器；

所述控制服务器，还用于在接收到存储服务器异常的通知后，将所述存储服务器设置为离线状态。

6.一种文件存储方法，其特征在于，所述方法包括：

控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器；

所述存储服务器接收并存储所述客户端上传的文件，生成所述文件的存储路径；并将所述文件的存储路径返回至所述客户端，所述文件的存储路径用于标识所述文件的存储位置。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述控制服务器在接收到携带所述文件的存储路径的文件查询请求后，根据所述文件的存储路径确定用于存储所述文件的存储服务器，并将所述文件的存储路径发送至所述存储服务器；

所述存储服务器根据所述文件的存储路径定位所述文件，并将所述文件发送至所述客户端。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述存储服务器定时向所述控制服务器上报自身的闲忙状态；

所述控制服务器存储所述存储服务器上报的闲忙状态；

相应的，所述控制服务器在接收到来自客户端的文件存储请求后，为所述客户端分配一台存储服务器，具体为：

所述控制服务器在接收到来自客户端的文件存储请求后，根据存储的各个存储服务器的闲忙状态，为所述客户端分配一台处于空闲状态的存储服务器。

9.根据权利要求6所述的方法，其特征在于，存储服务器以分组形式存在；

当与所述存储服务器属于同一分组的其他存储服务器接收并存储客户端上传的文件后，所述存储服务器将所述文件备份。

10.根据权利要求6所述的方法，其特征在于，所述方法还包括：

监控服务器在接收到来自存储服务器的异常反馈后，对所述存储服务器进行异常测试，并在确定所述存储服务器异常的情况下，通知控制服务器；

所述控制服务器在接收到来自所述监控服务器的存储服务器异常的通知后，将所述存储服务器设置为离线状态。