CN111049884A - 一种分布式大文件存储系统及文件上传和下载方法 - Google Patents

Abstract

本发明针对现有分布式文件存储系统在实际应用的存取效率低的问题公开了一种分布式文件系统中大文件数据存储、读取方法。系统中跟踪服务器、存储服务器采用树型网络结构自顶而下设计，即跟踪服务器通过网络多台存储服务器，并负责着客户端的访问。基于安全散列算法，对客户上传的大文件进行无压缩分片存储于不同的存储服务器中，用户下载或上传时，同时连接到多个存储服务器同时并行地下载或上传大文件的不同片段。本发明提出的分布式文件系统中大文件存储及读取方法能够加快客户端对于文件的访问速度，充分利用用户的网络带宽，并行上传和下载，提高了文件存取的效率。

Description

一种分布式大文件存储系统及文件上传和下载方法

技术领域

本发明涉及数据存储、读取、点对点网络通信和非对称加密技术领域，具体设计一种分布式大文件存储系统及大文件存储、读取方法。

背景技术

海量小文件存储(简称LOSF，lots of small files)出现后，就已经是业界的难题。而随着企业的迅速扩张与壮大，企业需要存储的档案资料、客户数据、宣传活动视频等也在爆炸式的增加，例如网上商城企业客户的购买记录、实时聊天软件的聊天记录及通信公司的客户通话记录等。目前，企业文件存储所面临的问题：一是企业所使用的文件存储方式是通过普通服务器搭建Window文件共享服务器，并没有专业的文件存储设备与存储软件，因此在网络带宽、存储容量、性能及空间的灵活分配等方面，很难满足企业务发展需要与大文件的存储需求，更无法实现企业数据信息的备份容灾。二是企业的所有所有数据存储都是部署在专业的IDC机房，各分支机构都是通过光纤专线与IDC机房建立VPN隧道，形成一张较大的企业内部私网。这样的架构会导致，在公司的分支机构不断增加的情况下，访问IDC机房的流量也在不断增长，而且现有的IDC机房网络总带宽有限，无法满足公司业务日益快速发展的需要。

结合上述两个现状，可以得出，目前企业存储大型文件面临的困境在于中心化的IDC机房网络总带宽的限制和没有专业的文件数据存储设备的原因。因此，本发明提出的一种分布式大文件存储系统，既可以有效解决带宽有限的问题，也可以减少企业在大文件存储方面的开支，仅需充分利用企业现有各个分支机构中不同地域的普通服务器。

发明内容

本发明提出了一种分布式大文件存储系统及文件上传、下载方法，能够用户提供大文件的分布式快速存储，提高文件传输的网络带宽利用率。

本发明提出了一种分布式大文件存储系统，该系统主要由跟踪服务器、分区管理服务器、存储服务器、客户端和移动设备APP组成，系统采用树型网络拓扑结构，其结构框图如图1所示。跟踪服务器运行大文件存储管理程序，接收用户上传和下载请求，同时通过分区管理服务器实时监控着存储服务器的存储空间与运行状态，负责大文件的分片存储操作，并根据提前设定的分片规则对大文件进行分片存储于不同存储服务器，并创建大文件分片存储的位置与片段哈希值的映射关系表；存储服务器根据不同的地域进行分组，主要提供存储服务，组内相互备份，并在每个组内增加分区管理服务器，用于管理组内存储服务器的相互备份、文件缓存等功能；客户端和移动设备APP端负责为用户提供文件的上传和下载操作，利用关系型数据库保存文件的相关特征描述和大文件分片存储位置与文件片段哈希值的映射表。

分布式大文件存储系统的大文件快速存储和下载，主要特点在于：

(1)文件分布式存储在不同地域的存储服务器端，用户上传或下载大型文件时，采取点对点通信，可以明显提高系统的总带宽的利用率；

(2)大文件分片存储于不同的存储服务器中，可以提高充分利用用户的网络带宽并行下载大文件的不同片段，提高文件的传输速度，而不局限于存储服务器的带宽限制，尤其当存储服务器访问用户数较大时造成的网络延迟问题；

(3)系统同时满足小文件和大文件的存储，并对大文件和小文件采取不同的存储策略，具有较高的存储灵活性；

(4)系统利用安全散列算法，创建包含文件名、文件哈希值与文件存储位置的映射关系表的文件存储目录，用于大文件的恢复下载。

本发明提出了一种分布式大文件存储系统的文件上传方法，如图2所示，其特征在于，包括以下步骤：

(1)用户向跟踪服务器发起文件上传请求，请求信息包括文件大小、特征描述等；

(2)跟踪服务器接收到用户的文件上传请求后，根据用户提供的文件大小和特征描述等信息，判断文件大小是否超过指定大小。若超过指定大小，按大文件存储处理，进入步骤(3)，若文件大小未超过指定大小，按常规文件存储处理，进入步骤(7)；

(3)跟踪服务器根据文件拆分结果，将不同的文件片段分配至不同的存储服务器。优先判断与用户最近的存储服务器是否有足够存储空间，当就近存储服务器没有足够存储空间时，遍寻其他区域存储服务器，直至寻找到足够的存储空间，进入步骤(4)。若遍寻了所有的存储服务器仍没有足够的存储空间，则进入步骤(8)；

(4)跟踪服务器将文件拆分规则返回值客户端或移动设备APP端，请求其返回所有文件片段的哈希值及整个文件内容的哈希值，并将分配的文件拆分片段的所有存储服务器存储接口链接返回给客户端或移动设备APP端；

(5)用户根据跟踪服务器返回的文件拆分规则，将文件拆分并求取所需的哈希值。并连接跟踪服务器返回的所有存储服务器，将相应的的文件片段分别上传至服务器。待文件上传成功后，更新本地文件存储目录列表；

(6)跟踪服务器跟踪用户文件的上传状态，当文件上传完成后，根据用户返回的哈希值，更新服务器保存的文件存储目录，包括文件哈希值与存储服务器位置的映射关系表；

(7)文件未超过指定大小，不对文件进行拆分处理，存储整个文件至同一个存储位置，为其分配遍寻可用存储空间，若无可用存储空间，则进入步骤(8)，相反，则进入步骤(5)；

(8)存储服务器无可用存储资源，返回用户无可用存储资源错误。

本发明提出了一种分布式大文件存储系统的文件下载方法，如图3所示，其特征在于，包括以下步骤：

(1)用户通过客户端或移动设备APP发起文件下载操作；

(2)客户端或移动设备APP读取关系型数据库中的本地包含文件名、文件哈希值及存储服务器位置的映射关系表的文件存储目录，若读取成功则进入步骤(3)，否则，进入步骤(4)；

(3)客户端或移动设备APP通过网络同时连接该文件的所有片段的存储服务器，发起该文件的所有片段并行下载操作；

(4)向跟踪服务器发起文件存储目录下载请求。

附图说明

图1是一种分布式大文件存储系统结构框图

图2是一种分布式大文件存储系统文件上传流程图

图3是一种分布式大文件存储系统文件下载流程图

具体实施方式

以下结合附图对本发明的具体实施方式进行描述，所举实例只适用于解释本发明，并非限定本发明的范围。

本发明提出的分布式大文件存储系统优选实例结构框图如图1所示，包括跟踪服务、分区管理服务器、存储服务器、客户端和移动设备APP端。系统采用树型网络拓扑结构，跟踪服务器位于树型网络结构的顶端，通过网络连接多台网络服务器；存储服务器主要提供存储服务器，根据地域划分存储服务器组1、存储服务器组2......存储服务器组n，例如对于大型企业用户，可以在不同地域的分公司部署存储服务器，并将其划分为不同的存储器组；每一个存储服务器组内部署一台分区管理服务器，它管理组内所有存储服务器，监控其存储容量使用情况及运行状态，必要时也可以为它们提供临时缓存操作，并且可以作为组内的跟踪服务器，使得该地域内的用户通过分区管理服务器更快速的上传和下载文件。

用户分别部署完成如图1所示的服务器网络，运行各个节点相应的程序后，便可以进行文件的上传和下载服务。

本发明提出的分布式大文件存储系统上传文件方法的优选实例流程图如图2所示，其实施步骤如下：

(1)用户在上传文件前，想跟踪服务器发起注册请求，并提供相应的注册信息，包括账户名、账户密码、位置等信息，跟踪服务器对该用户的注册请求进行认证，若认证通过则授权用户进行文件存储相关操作，若未通过则返回注册失败信息。

(2)用户向跟踪服务器发起文件上传请求，请求信息包括文件大小、特征描述等；

(3)跟踪服务器接收到用户的文件上传请求后，根据用户提供的文件大小和特征描述等信息，判断文件大小是否超过指定大小。若超过指定大小，按大文件存储处理，进入步骤(4)，若文件大小未超过指定大小，按常规文件存储处理，进入步骤(8)；

(4)跟踪服务器根据文件拆分结果，将不同的文件片段分配至不同的存储服务器。优先判断与用户最近的存储服务器是否有足够存储空间，当就近存储服务器没有足够存储空间时，遍寻其他区域存储服务器，直至寻找到足够的存储空间，进入步骤(5)。若遍寻了所有的存储服务器仍没有足够的存储空间，则进入步骤(9)；

(5)跟踪服务器将文件拆分规则返回值客户端或移动设备APP端，请求其返回所有文件片段的哈希值及整个文件内容的哈希值，并将分配的文件拆分片段的所有存储服务器存储接口链接返回给客户端或移动设备APP端；

(6)用户根据跟踪服务器返回的文件拆分规则，将文件拆分并求取所需的哈希值。并连接跟踪服务器返回的所有存储服务器，将相应的的文件片段分别上传至服务器。待文件上传成功后，更新本地文件存储目录列表；

(7)跟踪服务器跟踪用户文件的上传状态，当文件上传完成后，根据用户返回的哈希值，更新服务器保存的文件存储目录，包括文件哈希值与存储服务器位置的映射关系表；

(8)文件未超过指定大小，不对文件进行拆分处理，存储整个文件至同一个存储位置，为其分配遍寻可用存储空间，若无可用存储空间，则进入步骤(9)，相反，则进入步骤(6)；

(9)存储服务器无可用存储资源，返回用户无可用存储资源错误。

本发明提出的一种分布式大文件存储系统的文件下载方法优选实例流程图如图3所示，其具体实施步骤如下：

(1)用户通过客户端或移动设备APP发起文件下载操作；

(2)客户端或移动设备APP读取关系型数据库中的本地包含文件名、文件哈希值及存储服务器位置的映射关系表的文件存储目录，若读取成功则进入步骤(3)，否则，进入步骤(4)；

(3)客户端或移动设备APP通过网络同时连接该文件的所有片段的存储服务器，发起该文件的所有片段并行下载操作；

(4)向跟踪服务器发起文件存储目录下载请求。

根据不同用户的需求，本发明还可以动态调整存储服务器的数量，即动态配置存储空间的大小，以更好的权衡用户日益增加大文件存储需求与成本间的关系。增加或减少的存储服务器，需要向跟踪服务器发起注册或注销请求，待跟踪服务器认证通过便可进行相应的操作。

Claims (8)

1.一种分布式大文件存储系统，用于实现大文件的分布式存储和下载，所述存储系统包括跟踪服务器、分区管理服务器、存储服务器、客户端和移动设备APP端，其特征在于：

(1)跟踪服务器、分区管理服务器、存储服务器采用树型分层拓扑结构；

(2)将大文件存储管理运行于跟踪服务器，接收用户上传和下载请求，同时通过分区管服务器实时监控着存储服务器的存储空间与运行状态；

(3)跟踪服务器负责大文件的分片存储操作，并根据提前设定的分片规则对大文件进行分片存储于不同存储服务器，并创建大文件分片存储的位置与片段哈希值的映射关系表；

(4)客户端和移动设备APP端负责为用户提供文件的上传和下载操作，利用关系型数据库保存文件的相关特征描述和大文件分片存储位置与文件片段哈希值的映射表。

2.根据权利要求1所述的分布式大文件存储系统，其特征在于，跟踪服务器将用户请求上传的超过一定大小的大文件直接拆分成设定大小的片段，不对其做任何压缩处理，并利用安全散列算法求出整个文件和各个文件分片的哈希值。

3.根据权利要求2所述的分布式大文件存储系统，其特征在于，跟踪服务器为大文件的分片分配不同的存储服务器，并分片规则和存储位置下发给客户端和移动设备APP端，以完成文件的上传。

4.基于权利要求1或2或3所述的一种分布式大文件存储系统的文件上传方法，其特征在于，包括以下步骤：

(1)用户向跟踪服务器发起文件上传请求，请求信息包括文件大小、特征描述等；

(2)跟踪服务器接收到用户的文件上传请求后，根据用户提供的文件大小和特征描述等信息，判断文件大小是否超过指定大小。若超过指定大小，按大文件存储处理，进入步骤(3)，若文件大小未超过指定大小，按常规文件存储处理，进入步骤(7)；

(3)跟踪服务器根据文件拆分结果，将不同的文件片段分配至不同的存储服务器。优先判断与用户最近的存储服务器是否有足够存储空间，当就近存储服务器没有足够存储空间时，遍寻其他区域存储服务器，直至寻找到足够的存储空间，进入步骤(4)。若遍寻了所有的存储服务器仍没有足够的存储空间，则进入步骤(8)；

(4)跟踪服务器将文件拆分规则返回值客户端或移动设备APP端，请求其返回所有文件片段的哈希值及整个文件内容的哈希值，并将分配的文件拆分片段的所有存储服务器存储接口链接返回给客户端或移动设备APP端；

(5)用户根据跟踪服务器返回的文件拆分规则，将文件拆分并求取所需的哈希值。并连接跟踪服务器返回的所有存储服务器，将相应的的文件片段分别上传至服务器。待文件上传成功后，更新本地文件存储目录列表；

(6)跟踪服务器跟踪用户文件的上传状态，当文件上传完成后，根据用户返回的哈希值，更新服务器保存的文件存储目录，包括文件哈希值与存储服务器位置的映射关系表；

(7)文件未超过指定大小，不对文件进行拆分处理，存储整个文件至同一个存储位置，为其分配遍寻可用存储空间，若无可用存储空间，则进入步骤(8)，相反，则进入步骤(5)；

(8)存储服务器无可用存储资源，返回用户无可用存储资源错误。

5.基于权利要求1或2或3或4所述的一种分布式大文件存储系统的文件下载方法，其特征在于，包括以下步骤：

(1)用户通过客户端或移动设备APP发起文件下载操作；

(2)客户端或移动设备APP读取关系型数据库中的本地包含文件名、文件哈希值及存储服务器位置的映射关系表的文件存储目录，若读取成功则进入步骤(3)，否则，进入步骤(4)；

(3)客户端或移动设备APP通过网络同时连接该文件的所有片段的存储服务器，发起该文件的所有片段并行下载操作；

(4)向跟踪服务器发起文件存储目录下载请求。

6.如权利要求4和5所述的一种分布式大文件存储系统的文件上传和下载方法，其特征在于，该方法还包括以下步骤：用户在上传或下载文件操作前，必须先向跟踪服务器发起注册请求，否则进行上传或下载文件操作时，会返回用户未注册的错误消息。

7.跟踪服务器实时监控文件的上传状态，并记录各种错误日志，以便动态调整存储服务器的数量及存储空间。

8.如权利要求4和5所述的一种分布式大文件存储系统，其特征在于，文件在上传或下载时，客户端与相应的存储服务器直接建立连接，以点对点通信方式进行文件的传输。

Images