CN103973744A - 一种分布式文件递进存储技术 - Google Patents

Abstract

本发明涉及网页文件数据存储技术领域，公开了一种分布式文件递进存储技术，所述分布式文件递进存储方法包括以下步骤：响应客户端的文件发送请求，通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。本发明通过采用以上技术方案，大大提高了存储服务器的网页数据存储量，同时对于抓取的网页，实现了按年、月、日、用户信息进行存储，进而能够实现站点的原版原貌展现。

Description

一种分布式文件递进存储技术

技术领域

本发明涉及网页文件数据存储技术领域，具体涉及一种分布式文件递进存储方法及系统。

背景技术

最近，由于信息创建、存储和访问的方式，用户对存储的需求已经在变化。IT组织存储越来越多的非结构化且基于文件的数据。非结构化数据已经占总存储的50％以上，而且预计其增长率将超过结构化数据的增长率。

对于分布式文件系统，由于各节点处理能力存在差异，当系统运行一段时间后、某些节点分配的任务很多，而另外一些节点却是空闲的。要避免这种现象发生，必须采用负载均衡。

负载均衡也就是在集群中有服务器A、B、C，它们都是互不影响，互不相干的，任何一台的机器宕了，都不会影响其他机器的运行，当用户来一个请求，由负载均衡的算法决定由哪台机器来处理。

常见的负载均衡的算法有round算法。采用round算法，有用户a、b、c，那么分别由服务器A、B、C来处理。round算法是最简单的任务分配方法，循环地将各个应用任务分配到各个计算节点，既可避免计算节点任务的分配失衡，又可减少系统的反应时间。但它没有考虑计算节点计算能力的差异和不同应用任务对计算节点负载的影响，只是按照任务数量简单地来衡量计算节点的负载。

发明内容

本发明的目的是为了克服现有技术中的缺点而提供一种分布式文件递进存储方法及系统。

本发明是这样实现的，一种分布式文件递进存储方法，包括以下步骤：

通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

当检测到所述存储服务器的预设硬盘使用率超过设定阀值时，将所述被发送文件按预设顺序在下一台存储服务器上创建多层文件目录存储。

所述通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器的步骤之前，还包括以下步骤：

验证所述被发送文件是否存在，是则将所述被发送文件的路径改为已存在的文件路径存储于原存储所述被发送文件的存储服务器；否则通过负载均衡算法确定所述集群中用于存储被发送文件的一台存储服务器。

所述负载均衡算法采用轮叫算法。

本发明的目的还在于提供一种分布式文件递进存储系统，所述分布式文件递进存储系统包括：

若干台存储服务器，通过网络或通信线路互相连接形成一个集群，用于在主控服务器的管控下共同协作存储客户端发送的文件；

所述主控服务器，包括主控制器，对所述存储服务器通过编号进行管理控制，还包括：

负载均衡计算模块，用于通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

文件存储模块，用于按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

所述主控服务器来还包括：

查找验证模块，用于响应客户端的文件发送请求，验证所述被发送文件是否已经存在。

所述主控服务器还包括：

硬盘使用率监测模块，用于监控所述集群中每台存储服务器的预设硬盘使用率。

所述主控服务器进一步包括：

顺序存储分配模块，用于当所述硬盘使用率监测模块检测到所述集群中被确定存储所述被发送文件的存储服务器的预设硬盘使用率超过设定阀值时，按预设顺序将所述被发送文件分配在下一台存储服务器存储。

所述分布式文件递进存储系统包括：

负载状况监测模块，设于每台所述存储服务器节点，用于监测每台所述存储服务器的硬盘剩余空间信息送至所述硬盘使用率监测模块计算每台所述存储服务器的硬盘使用率。

本发明通过采用以上技术方案，大大提高了存储服务器的网页数据存储量，同时对于抓取的网页，实现了按年、月、日、用户信息进行存储，进而能够实现站点的原版原貌展现。

附图说明

图1所示为本发明实施例提供的分布式文件递进存储方法的流程图；

图2所示为本发明实施例提供的分布式文件递进存储系统的系统图；

图3所示为本发明实施例提供的主控服务器的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明实施例中，所述文件及被发送文件均指网页文件，所述抓取网页指采集网页。

参见图1，该图示出了本发明实施例提供的一种分布式文件递进存储方法的流程。为了便于说明，仅示出了本发明实施例有关的部分。

本发明实施例所述的一种分布式文件递进存储方法，包括以下步骤：

S101：通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

S102：按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

本发明实施例在收到客户端的文件请求后，响应客户端的文件发送请求，首先通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器，确定后按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

由于采用分布式存储，由多台存储服务器负载均衡、共同协作存储，因而大大提高了存储服务器的网页数据存储量，同时对于抓取的网页，实现了按年、月、日、用户信息进行存储，进而能够实现站点的原版原貌展现

常见的负载均衡算法有：轮叫round调度算法、加权轮叫调度算法等。本发明实施例中，采用轮叫round调度算法进行负载均衡。

使用时，由调度器通过轮叫调度算法将外部文件请求按顺序轮流分配到集群中的每台存储服务器上(i＝(i+1)mod n，i表示上次选中的存储服务器，n表示总共有多少台存储服务器)，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

本发明实施例中，为了加快存储效率，对所述集群中的各台存储服务器进行编号管理控制，并对集群中每台存储服务器的硬盘使用率进行实时检测。

当检测到所述存储服务器的预设硬盘使用率超过设定阀值时，将所述被发送文件按预设顺序在下一台存储服务器上创建多层文件目录存储。这样大大提高了存储的效率。

本发明实施例中，所述通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器的步骤之前，还包括以下步骤：

收到所述客户端的文件发送请求后，主动进行目录验证，查找验证所述被发送文件是否存在，是则将所述被发送文件的路径改为已经存在的文件路径存储于所述被发送文件原存储的存储服务器中；否则，按预设的年、月、日以及用户信息在所述集群中确定的一台存储服务器上创建多层文件目录进行存储。

本发明实施例中，主要通过网络管理协议(SNMP)采用轮询方法来实现每台存储服务器的硬盘剩余空间信息的检测。

可通过在每台存储服务器节点设负载检测模块，利用网络管理协议(SNMP)来检测每台存储服务器的硬盘剩余空间信息，通过该磁盘剩余空间信息计算出每台存储服务器的硬盘使用率，通过与设定阈值比较来判断硬盘利用率是否超过预设阀值。

所述网络管理协议(SNMP)由一系列协议组合规范组成，提供了一种从网络上的设备中收集网络管理信息的方法。从网络中设备中收集数据有两种方法：一种是轮询方法，一种是基于中断的方法。本发明实施例使用轮询方法。

所述网络管理协议SNMP使用嵌入到网络设施中的代理软件来收集网络的通信信息和有关网络设备的统计数据。代理软件不断地收集统计数据，并把这些数据记录到一个管理信息库MIB中。网管员通过向代理的MIB发出查询信号可以得到这些信息，这个过程就叫轮询。网管员也可使用网络管理协议SNMP来评价网络的运行状况，并揭示出通信的趋势，如哪一个网段接近通信负载的最大能力或正使通信出错等。

本发明实施例的目的还在于提供一种分布式文件递进存储系统，采用可扩展的主从式系统结构，为了说明需要，本发明实施例仅以三台存储服务器A、B、C予以说明，所述分布式文件递进存储系统的系统结构参见图2所示，包括：

若干台存储服务器A、B、C，通过网络或通信线路互相连接形成一个集群，用于在主控服务器的管控下共同协作存储客户端发送的文件；

参见图3所示，所述主控服务器，包括主控制器，对所述存储服务器通过编号进行管理控制，包括：

负载均衡计算模块，用于通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

文件存储模块，用于按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

本发明实施例中，所述若干台存储服务器通过网络或通信线路连接起来后，相互独立而又相互合作，在所述主控服务器控制管理下协作进行被发送文件的存储，共同分担存储负荷，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

由于各台存储服务器的节点处理能力存在差异，当系统运行一段时间后、某些节点分配的任务很多，而另外一些节点却是空闲的，为了平衡这种状况，本发明实施例中，由所述主控服务器通过负载均衡算法(有关负载均衡算法采用轮叫算法，具体见前述的说明)进行负载均衡控制，以使所述集群中各台服务器的负载均衡，从而达到共同分担存储负荷之换目的，最后达到大数据量网页数据的存储，解决了现在大数据量网页存储难的问题。

参见图3所示，本发明实施例中，所述主控服务器还包括：

查找验证模块，用于响应客户端的文件发送请求，验证所述被发送文件是否已经存在。如果验证存在，则将所述主控制器的控制下将被发送文件的路径改为已经存在的文件路径存储于所述被发送文件原存储的存储服务器中；否则，通过所述文件存储模块按预设的年、月、日以及用户信息在所述集群中确定的一台存储服务器上创建多层文件目录进行存储。

参见图3所示，本发明实施例中，所述主控服务器还包括：

硬盘使用率监测模块，用于监控所述集群中每台存储服务器的预设硬盘使用率。

参见图3所示，本发明实施例中，所述主控服务器进一步包括：

顺序存储分配模块，用于当所述硬盘使用率监测模块检测到所述集群中被确定存储所述被发送文件的存储服务器的预设硬盘使用率超过设定阀值时，按预设顺序将所述被发送文件分配在下一台存储服务器存储。

本发明实施例中，所述分布式文件递进存储系统包括：

负载状况监测模块，设于每台所述存储服务器节点，用于监测每台所述存储服务器的硬盘剩余空间信息送至所述主控服务器的硬盘使用率监测模块计算每台所述存储服务器的硬盘使用率。

本发明实施例中，主要通过网络管理协议(SNMP)采用轮询方法来实现对每台所述存储服务器的硬盘剩余空间信息。有关网络管理协议(SNMP)的说明见前述关于分布式文件递进存储的方法中有关说明。

根据负载状况监测模块检测的硬盘剩余空间信息就可通过所述的硬盘使用率监测模块计算出存储服务器的硬盘使用率，当服务器A的硬盘使用率超过设定的硬盘使用率的阈值时，通过主控服务器的顺序存储分配模块将被发送文件分配给存储服务器B，然后通过文件存储模块将被发送文件在新的存储服务器B上按照年、月、日以及用户信息创建多层文件目录对采集的单个网页接着进行存储，当硬盘使用率监测模块检测到新的存储服务器B的硬盘使用率超过预定的硬盘使用率阈值时，主控服务器通过上述方法及过程使用新的存储服务器C，依此类推。

本发明通过采用以上技术方案，大大提高了存储服务器的网页数据存储量，同时对于抓取的网页，实现了按年、月、日以及用户信息进行存储，进而能够实现站点的原版原貌展现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1. 本发明涉及一种分布式文件递进存储技术，具体涉及一种分布式文件递进存储方法及系统。

   1.一种分布式文件递进存储方法，其特征在于，包括以下步骤：

   通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

   按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。
2. 2.根据权利要求1所述一种分布式文件递进存储方法，其特征在于，当检测到所述存储服务器的预设硬盘使用率超过设定阀值时，将所述被发送文件按预设顺序在下一台存储服务器上创建多层文件目录存储。
3. 3.根据权利要求1所述一种分布式文件递进存储方法，其特征在于，所述通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器的步骤之前，还包括以下步骤：

   验证所述被发送文件是否存在，是则将所述被发送文件的路径改为已存在的文件路径存储于原存储所述被发送文件的存储服务器；否则通过负载均衡算法确定所述集群中用于存储被发送文件的一台存储服务器。
4. 4.根据权利要求1所述一种分布式文件递进存储方法，其特征在于，所述负载均衡算法采用轮叫算法。
5. 5.一种分布式文件递进存储方法，其特征在于，包括：

   若干台存储服务器，通过网络或通信线路互相连接形成一个集群，用于在主控服务器的管控下共同协作存储客户端发送的文件；

   所述主控服务器，包括主控制器，对所述存储服务器通过编号进行管理控制，还包括：

   负载均衡计算模块，用于通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

   文件存储模块，用于按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。
6. 6.根据权利要求5所述一种分布式文件递进存储系统，其特征在于，所述主控服务器来还包括：

   查找验证模块，用于响应客户端的文件发送请求，验证所述被发送文件是否已经存在。
7. 7.根据权利要求6所述一种分布式文件递进存储系统，其特征在于，所述主控服务器还包括：

   硬盘使用率监测模块，用于监控所述集群中每台存储服务器的预设硬盘使用率。
8. 8.根据权利要求7所述一种分布式文件递进存储系统，其特征在于，所述主控服务器进一步包括：

   顺序存储分配模块，用于当所述硬盘使用率监测模块检测到所述集群中被确定存储所述被发送文件的存储服务器的预设硬盘使用率超过设定阀值时，按预设顺序将所述被发送文件分配在下一台存储服务器存储。
9. 9.根据权利要求7或8所述一种分布式文件递进存储系统，其特征在于，所述分布式文件递进存储系统包括：

   负载状况监测模块，设于每台所述存储服务器节点，用于监测每台所述存储服务器的硬盘剩余空间信息送至所述硬盘使用率监测模块计算每台所述存储服务器的硬盘使用率。