CN110912953A - 一种文件存储系统及方法 - Google Patents

Abstract

本发明适用于存储技术领域，提供了一种文件存储系统及方法，通过控制节点在接收到客户端发送的文件上传请求时，根据文件上传请求验证客户端的上传权限，并在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点，然后通过控制节点选择的上传节点判断客户端上传的文件的大小，并在所述文件的大于或等于预设阈值时，将文件存储至所述HDFS，在所述文件的大小预设阈值时，将文件存储至HBase，可以加强对客户端的文件上传权限的管控，提高文件上传的并行效率，降低云端存储空间的后期运维和维护的工作量，实现统一管理。

Description

一种文件存储系统及方法

技术领域

本发明属于存储技术领域，尤其涉及一种文件存储系统及方法。

背景技术

随着互联网的不断发展，依赖互联网实现联网通讯的终端设备以及各种互联网平台越来越多，产生了大量需要存储的文件，需要存储的文件大量文件，例如，文本文件、视频文件、音频文件、多媒体文件等。

目前，难以对客户端的文件上传权限进行管控，任何文件都可以上传到云端存储空间中，严重加大了云端存储空间的后期运维和维护的工作量，不利于统一管理。

发明内容

有鉴于此，本发明实施例提供了一种文件存储系统及方法，以解决现有技术中难以对客户端的文件上传权限进行管控，任何文件都可以上传到云端存储空间中，严重加大了云端存储空间的后期运维和维护的工作量，不利于统一管理的问题。

本发明实施例的第一方面提供了一种文件存储系统，其包括所述控制节点与所述上传节点和客户端通信连接；

所述控制节点包括：

验证模块，用于在接收到所述客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

选择模块，用于在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

所述控制节点选择的上传节点包括：

文件大小判断模块，用于判断所述客户端上传的文件的大小；

第一存储模块，用于在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

第二存储模块，用于在所述文件的大小预设阈值时，将所述文件存储至HBase。

在一个实施例中，所述验证模块包括：

第一判断单元，用于在接收到客户端发送的文件上传请求时，根据所述文件上传请求携带的合法性信息，判断所述客户端是否合法；

第二判断单元，用于根据所述文件上传请求携带的写操作权限信息，判断所述客户端是否具备写操作权限；

判定单元，用于在所述客户端合法且具备写操作权限时，判定所述客户端的上传权限验证通过；否则，判定所述客户端的上传权限未验证通过。

在一个实施例中，所述上传节点还包括：

镜像模块，用于通过Docker动态拉取上传节点镜像并部署、启动，以动态扩展新的上传节点并注册至Zookeeper，使所述控制节点可以动态的检查到所述新的控制节点并动态的获知所有所述控制节点在所述Zookeeper上的上下线操作。

在一个实施例中，所述控制节点还包括：

构建模块，用于构建包括所有所述上传节点的负载均衡集群；

删除模块，用于在任一所述上传节点宕机时，将宕机的所述上传节点从所述负载均衡集群中删除。

在一个实施例中，所述构建模块具体用于：

将所有所述上传节点绑定至同一虚拟IP地址。

在一个实施例中，所述HDFS和所述HBase包括：

保存判断模块，用于判断所述文件是否保存成功；

错误信息生成模块，用于在所述文件未保存成功时，生成至少包括错误信息和文件名称的失败数据记录并保存至数据库；

结果信息返回模块，用于在所述文件保存成功时，返回包含存储地址信息的存储结果信息给所述控制节点选择的上传节点；

所述控制节点选择的上传节点还包括：

处理模块，用于对所述存储结果信息进行处理；

处理信息生成模块，用于生成包含所述存储地址信息的处理信息并返回至所述客户端。

在一个实施例中，所述处理模块具体用于将所述存储地址信息保存至所述数据库，并缓存查询数据至Redis。

在一个实施例中，所述数据库为MySQL数据库。

在一个实施例中，所述负载均衡算法包括随机算法、轮询算法、权重算法或最少访问算法。

本发明实施例的第二方面提供了一种基于上述的文件存储系统实现的文件存储方法，其包括：

控制节点在接收到客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

所述控制节点在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

所述控制节点选择的上传节点判断所述客户端上传的文件的大小；

所述控制节点选择的上传节点在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

所述控制节点在所述文件的大小预设阈值时，将所述文件存储至HBase。

本发明实施例第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例通过控制节点在接收到客户端发送的文件上传请求时，根据文件上传请求验证客户端的上传权限，并在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点，然后通过控制节点选择的上传节点判断客户端上传的文件的大小，并在所述文件的大于或等于预设阈值时，将文件存储至所述HDFS，在所述文件的大小预设阈值时，将文件存储至HBase，可以加强对客户端的文件上传权限的管控，提高文件上传的并行效率，降低云端存储空间的后期运维和维护的工作量，实现统一管理。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的文件存储系统的架构示意图；

图2是本发明实施例一提供的控制节点和上传节点的架构示意图；

图3是本发明实施例二提供的文件存储系统的架构示意图；

图4是本发明实施例三提供的文件存储系统的架构示意图；

图5是本发明实施例四提供的文件存储方法的流程示意图；

图6是本发明实施例五提供的服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

如图1所示，本实施例提供一种文件存储系统1，其包括控制节点(FileServer)10和至少一个上传节点(File Client)(图1中示例性的示出4个上传节点21～24)；控制节点10与上传节点21～24和客户端2通信连接，上传节点21-24与客户端2通信连接。

在具体应用中，文件存储系统的各节点可以部署于同一终端(例如服务器、计算机等计算设备)也可以通过多个终端来实现，即每个节点也可以各通过一个终端来实现或多个节点部署于同一终端。

在具体应用中，客户端为任意连接至互联网的可上传文件至文件存储系统的终端，例如，手机、平板电脑、桌上型计算机、个人数字助理、智能家居设备等。

在本实施例中，通信连接是指任意用于传输数据通过局域网、广域网或数据线、电缆线等实现的无线或有线连接。

图1中示例性的示出了每个节点各通过一个终端来实现的情况。

如图2所示，在本实施例中，控制节点10包括：

验证模块11，用于在接收到客户端发送的文件上传请求时，根据文件上传请求验证客户端的上传权限；

选择模块12，用于在客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点。

在具体应用中，验证模块和选择模块为控制节点的软件程序模块，具体可以通过控制节点的处理器来实现。

在具体应用中，客户端在向控制节点发送文件上传请求之前，应当事先在控制节点注册，并获得上传文件的权限。

在一个实施例中，所述验证模块11包括：

第一判断单元，用于在接收到客户端发送的文件上传请求时，根据所述文件上传请求携带的合法性信息，判断所述客户端是否合法；

第二判断单元，用于根据所述文件上传请求携带的写操作权限信息，判断所述客户端是否具备写操作权限；

判定单元，用于在所述客户端合法且具备写操作权限时，判定所述客户端的上传权限验证通过；否则，判定所述客户端的上传权限未验证通过。

在具体应用中，控制节点对客户端的上传权限进行验证，具体包括对客户端的合法性和写操作权限的验证，若客户端事先在控制节点注册，则认为客户端合法，若客户端获得上传文件的权限，则认为客户端具备写操作权限。

在一个实施例中，所述负载均衡算法包括随机算法、轮询算法、权重算法或最少访问算法。

在具体应用中，控制节点可以通过随机算法随机选择多个上传节点中的一个上传节点来上传文件，也可以通过轮询算法轮流调用多个上传节点中的每一个上传节点来上传文件，还可以通过权重算法按照各上传节点的权重大小选择预设权重的上传节点来上传文件，还可以通过最少访问算法选择当前访问数量最少的上传节点来上传文件。

如图2所示，在本实施例中，控制节点10选择的上传节点21包括：

文件大小判断模块211，用于判断客户端上传的文件的大小；

第一存储模块212，用于在文件的大于或等于预设阈值时，将文件存储至HDFS(Hadoop Distributed File System，分布式文件系统)；

第二存储模块213，用于在文件的大小预设阈值时，将文件存储至HBase(分布式存储系统)。

在具体应用中，任意被控制节点选择的上传节点均包括文件大小判断模块、第一存储模块和第二存储模块。文件大小判断模块、第一存储模块和第二存储模块为上传节点的软件程序模块，具体可以通过上传节点的处理器来实现。

在具体应用中，预设阈值可以根据实际需要进行设置，例如可以设置为50M(兆，即1024KB)。

在具体应用中，小于预设阈值的文件存储至HBase，大于或等于预设阈值的文件则存储至HDFS。

在一个实施例中，所述控制节点选择的上传节点还包括：

存储容量检测模块，用于检测所述HBase和所述HDFS的剩余存储容量；

所述第一存储模块还用于若所述HBase的存储容量小于第一阈值且所述HDFS的存储容量大于或等于第二阈值，则将所述文件存储至所述HDFS；

所述第二存储模块还用于若所述HBase的存储容量大于或等于第一阈值且所述HDFS的存储容量小于第二阈值，则将所述文件存储至所述HBase；

第三存储模块，用于若所述HBase的存储容量小第一阈值且所述HDFS的存储容量小于第二阈值，则将拒绝存储所述文件，或者，释放或扩充所述HBase或所述HDFS的存储空间之后，再将所述文件存储至存储容量大于或等于第一阈值的所述HBase或存储容量大于或等于第二阈值的所述HDFS。

在具体应用中，第一阈值和第二阈值可以根据实际需要进行设置，当HDFS或HBase的存储容量不足时，则优先选择HDFS和HBase中存储容量足够的系统来存储文件。

在具体应用中，HDFS和HBase可以属于文件存储系统，可以通过多个实现HDFS功能的存储服务节点来构成HDFS集群，也可以通过多个实现HBase功能的存储服务节点来构成HBase集群。

如图1所示，示例性的示出文件存储系统1包括与所有上传节点21～24通信连接的HDFS集群3和HBase集群4。

本实施例通过控制节点在接收到客户端发送的文件上传请求时，根据文件上传请求验证客户端的上传权限，并在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点，然后通过控制节点选择的上传节点判断客户端上传的文件的大小，并在所述文件的大于或等于预设阈值时，将文件存储至所述HDFS，在所述文件的大小预设阈值时，将文件存储至HBase，可以加强对客户端的文件上传权限的管控，提高文件上传的并行效率，降低云端存储空间的后期运维和维护的工作量，实现统一管理。

实施例二

在本实施例中，任意的上传节点还包括：

镜像模块，用于通过Docker动态拉取上传节点镜像并部署、启动，以动态扩展新的上传节点并注册至Zookeeper，使所述控制节点可以动态的检查到所述新的控制节点并动态的获知所有所述控制节点在所述Zookeeper上的上下线操作。

在具体应用中，通过Docker动态拉取上传节点镜像(File Client Image)并部署、启动，可以实现对上传节点的动态扩展，扩展的新节点可以部署到新的终端上，也可以部署在执行动态扩展操作的原上传节点上。

在具体应用中，扩展新的上传节点的操作具体可以包括：

通过Docker动态拉取镜像；

保存镜像；

启动基于镜像创建的容器；

通过Docker build和Dockerfile构建上传节点镜像；

启动基于上传节点镜像创建的容器。

在具体应用中，Zookeeper可以部署至Zookeeper服务器。

如图3所示，示例性的示出文件存储系统1还包括Zookeeper服务器30，Zookeeper服务器30与控制节点10和上传节点21～24通信连接。

在本实施例中，所述控制节点还包括：

构建模块，用于构建包括所有所述上传节点的负载均衡集群；

删除模块，用于在任一所述上传节点宕机时，将宕机的所述上传节点从所述负载均衡集群中删除。

在一个实施例中，所述构建模块具体用于：

将所有所述上传节点绑定至同一虚拟IP地址(VIP)。

在具体应用中，构建模块构建负载均衡集群的方式可以为将所有上传节点绑定至同一虚拟IP地址，以使客户端可以通过该虚拟IP地址访问任意一个上传节点，当其中一个上传节点宕机时，控制节点会控制客户端访问其他未宕机的上传节点，从而提高系统的稳定性和可用性。控制节点可以主动发现并从负载均衡集群中删除宕机的上传节点，以保证负载均衡集群中的上传节点都处于可用状态。

本实施例通过动态的扩展新的上传节点并构建负载均衡集群，删除负载均衡集群中不可用的上传节点，可以提高系统文件上传效率和可用性。

实施例三

在本实施例中，所述HDFS和所述HBase包括：

保存判断模块，用于判断所述文件是否保存成功；

错误信息生成模块，用于在所述文件未保存成功时，生成至少包括错误信息和文件名称的失败数据记录并保存至数据库；

结果信息返回模块，用于在所述文件未保存成功时将所述失败数据记录返回给所述控制节点选择的上传节点；在所述文件保存成功时，将包含存储地址信息的存储结果信息返回给所述控制节点选择的上传节点。

在具体应用中，保存判断模块、错误信息生成模块和结果信息返回模块可以为HDFS和HBase的软件程序模块。

在具体应用中，文件未保存成功可能是因为文件过大而存储空间不足，也可能是服务器故障或网络终端导致的。

在本实施例中，所述控制节点选择的上传节点还包括：

处理模块，用于用于对所述失败数据记录或所述存储结果信息进行处理；

处理信息生成模块，用于生成包含所述存储地址信息的处理信息并返回至所述客户端。

在本实施例中，所述处理模块具体用于将所述存储地址信息保存至所述数据库，并缓存查询数据至Redis。

在具体应用中，用于保存失败数据记录和储存地址信息的数据库可以是MySQL数据库，用于缓存查询数据的数据库可以是Redis，用于提供查询服务，MySQL数据库和Redis可以分别部署在不同或相同的服务器上。

如图4所示，示例性的示出了用于部署MySQL数据库的第一存储服务器41和用于部署Redis的第二存储服务器42。

在具体应用中，客户端可以根据接收到的处理信息获知其上传的文件是否上传成功的结果，如果没有上传成功，则根据失败数据记录获知失败的原因，如果上传成功，则根据存储地址信息获知存储地址。

本实施例通过判断文件是否保存成功并返回存储结果，使得客户端的用户可以获知文件的具体存储情况。

实施例四

如图5所示，本实施例提供一种基于实施例一～三任一项的文件存储系统实现的文件存储方法，其包括：

步骤S501、控制节点在接收到客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

步骤S502、所述控制节点在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

步骤S503、所述控制节点选择的上传节点判断所述客户端上传的文件的大小；

步骤S504、所述控制节点选择的上传节点在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

步骤S505、所述控制节点在所述文件的大小预设阈值时，将所述文件存储至HBase。

在一个实施例中，步骤S502具体包括：

所述控制节点在接收到客户端发送的文件上传请求时，根据所述文件上传请求携带的合法性信息，判断所述客户端是否合法；

所述控制节点在根据所述文件上传请求携带的写操作权限信息，判断所述客户端是否具备写操作权限；

所述控制节点在所述客户端合法且具备写操作权限时，判定所述客户端的上传权限验证通过；否则，判定所述客户端的上传权限未验证通过。

在一个实施例中，所述文件存储方法还包括：

所述上传节点通过Docker(开源的应用容器引擎)动态拉取上传节点镜像并部署、启动，以动态扩展新的上传节点并注册至Zookeeper，使所述控制节点可以动态的检查到所述新的控制节点并动态的获知所有所述控制节点在所述Zookeeper上的上下线操作；

所述控制节点构建包括所有所述上传节点的负载均衡集群；

所述控制节点在任一所述上传节点宕机时，将宕机的所述上传节点从所述负载均衡集群中删除。

在一个实施例中，所述控制节点构建包括所有所述上传节点的负载均衡集群，包括：

所述控制节点将所有所述上传节点绑定至同一虚拟IP地址。

在一个实施例中，所述文件存储方法还包括：

所述HDFS或所述HBase判断所述文件是否保存成功；

所述HDFS或所述HBase在所述文件未保存成功时，生成至少包括错误信息和文件名称的失败数据记录并保存至数据库；

所述HDFS或所述HBase在所述文件未保存成功时将所述失败数据记录返回给所述控制节点选择的上传节点；在所述文件保存成功时，将包含存储地址信息的存储结果信息返回给所述控制节点选择的上传节点；

所述控制节点选择的上传节点对所述失败数据记录或所述存储结果信息进行处理；

所述控制节点选择的上传节点生成包含所述存储地址信息的处理信息并返回至所述客户端。

本发明实施例通过控制节点在接收到客户端发送的文件上传请求时，根据文件上传请求验证客户端的上传权限，并在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点，然后通过控制节点选择的上传节点判断客户端上传的文件的大小，并在所述文件的大于或等于预设阈值时，将文件存储至所述HDFS，在所述文件的大小预设阈值时，将文件存储至HBase，可以加强对客户端的文件上传权限的管控，提高文件上传的并行效率，降低云端存储空间的后期运维和维护的工作量，实现统一管理。

实施例五

如图6所示，本实施例提供一种服务器6，其包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如文件存储程序。所述处理器60执行所述计算机程序62时实现上述文件存储方法实施例中的步骤，例如图5所示的步骤S501至S505。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块或单元的功能，例如图2所示模块11、12以及211至213的功能。

示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述服务器6中的执行过程。例如，所述计算机程序62可以被分割成验证模块、选择模块、文件大小判断模块、第一存储模块和第二存储模块，各模块具体功能如下：

验证模块，用于在接收到所述客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

选择模块，用于在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

文件大小判断模块，用于判断所述客户端上传的文件的大小；

第一存储模块，用于在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

第二存储模块，用于在所述文件的大小预设阈值时，将所述文件存储至HBase。

所述服务器6可以是云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是服务器6的示例，并不构成对服务器6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述服务器6的内部存储单元，例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备，例如所述服务器6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文件存储系统，其特征在于，包括控制节点和至少一个上传节点；

所述控制节点与所述上传节点和客户端通信连接，所述上传节点与所述客户端通信连接；

所述控制节点包括：

验证模块，用于在接收到所述客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

选择模块，用于在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

所述控制节点选择的上传节点包括：

文件大小判断模块，用于判断所述客户端上传的文件的大小；

第一存储模块，用于在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

第二存储模块，用于在所述文件的大小预设阈值时，将所述文件存储至HBase。

2.如权利要求1所述的文件存储系统，其特征在于，所述验证模块包括：

第一判断单元，用于在接收到客户端发送的文件上传请求时，根据所述文件上传请求携带的合法性信息，判断所述客户端是否合法；

第二判断单元，用于根据所述文件上传请求携带的写操作权限信息，判断所述客户端是否具备写操作权限；

判定单元，用于在所述客户端合法且具备写操作权限时，判定所述客户端的上传权限验证通过；否则，判定所述客户端的上传权限未验证通过。

3.如权利要求1所述的文件存储系统，其特征在于，所述上传节点还包括：

镜像模块，用于通过Docker(开源的应用容器引擎)动态拉取上传节点镜像并部署、启动，以动态扩展新的上传节点并注册至Zookeeper，使所述控制节点可以动态的检查到所述新的控制节点并动态的获知所有所述控制节点在所述Zookeeper上的上下线操作。

4.如权利要求1或3所述的文件存储系统，其特征在于，所述控制节点还包括：

构建模块，用于构建包括所有所述上传节点的负载均衡集群；

删除模块，用于在任一所述上传节点宕机时，将宕机的所述上传节点从所述负载均衡集群中删除。

5.如权利要求4所述的文件存储系统，其特征在于，所述构建模块具体用于：

将所有所述上传节点绑定至同一虚拟IP地址。

6.如权利要求1所述的文件存储系统，其特征在于，所述HDFS和所述HBase包括：

保存判断模块，用于判断所述文件是否保存成功；

错误信息生成模块，用于在所述文件未保存成功时，生成至少包括错误信息和文件名称的失败数据记录并保存至数据库；

结果信息返回模块，用于在所述文件未保存成功时将所述失败数据记录返回给所述控制节点选择的上传节点；在所述文件保存成功时，将包含存储地址信息的存储结果信息返回给所述控制节点选择的上传节点；

所述控制节点选择的上传节点还包括：

处理模块，用于对所述失败数据记录或所述存储结果信息进行处理；

处理信息生成模块，用于生成包含所述存储地址信息的处理信息并返回至所述客户端。

7.如权利要求6所述的文件存储系统，其特征在于，所述处理模块具体用于将所述存储地址信息保存至所述数据库，并缓存查询数据至Redis。

8.如权利要求6或7所述的文件存储系统，其特征在于，所述数据库为MySQL数据库。

9.如权利要求1所述的文件存储系统，其特征在于，所述负载均衡算法包括随机算法、轮询算法、权重算法或最少访问算法。

10.一种基于权利要求1～9任一项所述的文件存储系统实现的文件存储方法，其特征在于，包括：

控制节点在接收到客户端发送的文件上传请求时，根据所述文件上传请求验证所述客户端的上传权限；

所述控制节点在所述客户端的上传权限验证通过时，通过根据负载均衡算法选择上传节点；

所述控制节点选择的上传节点判断所述客户端上传的文件的大小；

所述控制节点选择的上传节点在所述文件的大于或等于预设阈值时，将所述文件存储至HDFS；

所述控制节点在所述文件的大小预设阈值时，将所述文件存储至HBase。

Images