CN107613026A - 基于云存储系统的分布式文件管理系统 - Google Patents

Abstract

本发明公开了基于云存储系统的分布式文件管理系统，包括客户端模块及其连接的主控制器和数据存储盘，所述主控制器中设置有API访问接口，所述API访问接口连接客户端模块，所述数据存储盘与客户端模块连接，所述客户端模块包括有相互连接的总客户端和代理客户端，所述主控制器中还设置有相互独立设置的用户认证模块、用户权限模块、存储管理模块、故障恢复模块、运行维护模块和POSIX访问接口，所述主控制器负责元数据的维护、存储节点的监控、响应代理客户端的命令和故障的恢复，本发明具有高可靠、高安全性、易用性和良好的容错性，且成本较低，支持大容量存储要求。

Description

基于云存储系统的分布式文件管理系统

技术领域

本发明涉及通信技术领域，具体的说，是基于云存储系统的分布式文件管理系统。

背景技术

现代企业在发展过程中不仅积累了大量的电子文档，并且还在加速不断产生新的文档，这些文档设计企业的核心技术资产和敏感信息，需要安全可靠的存放，企业数据急剧膨胀，大量存储挑战愈加严峻，对于各类行业的用户而言，爆炸性增长的海量数据正如潮水般的冲击着存储系统，同时，各行业对于数据的安全性要求也越来越高，特别是视频监控、高性能计算等行业，不仅对存储系统的容量、可靠性需求日益提高，而且对于传输带宽也提出了更高的要求。

长期以来，由于缺少有效的管理模式和技术手段，文档被分散存放在个人PC机中，产生了各种信息安全问题和一致性问题，有些企业配合OA系统的应用，采用FTP、NAS、SAN等文件服务器形式，但是部署复杂，维护不便，有的成本过于昂贵，容量扩充、备份恢复等需要大量人工干预，容易发生操作失误导致文档的数据丢失。特别是系统管理员具有超级权限，能够轻易访问不同用户的秘密文档，对文档的安全性和保密性构成威胁，这些问题已经成为企业的重要关注问题，制约着企业信息化的发展。面对不断增长的数据，传统的存储架构由于扩展性较差，当用户容量及性能需求增加时，只能一味的添加高端存储设备，长此以往，存储环境就会变的日益复杂，管理和运营成本也会更高，造成过高的能源消耗，同时过于复杂的存储架构和备份方式也很难满足用户日渐增长的数据管理。

目前，云存储技术提供了一种较好的解决方案，变分散存储为集中管理，同时提供可用性、高可靠性以及弹性扩容能力，把用户从各管各的文档，各维护各的服务器的模式中解放出来，有效满足了企业文档的安全存储要求，出于安全考虑，具有传统网络安全边界的私有云存储成为了众多企业关注的焦点，目前的私有云存储建设成本比较高，不易为普通企业所承受，另外，企业已经为IT基础设施建设做了大量的投入，弃之不用而另起炉灶难以被企业接受，也不符合绿色环保和节约资源的理念，如何充分利用企业现有IT设施建立企业的私有云存储服务，满足企业文档集中存储和集中管理的要求，打破私有云建设的成本壁垒，保护企业投资，平滑过度，成为有待解决的难题。

发明内容

本发明的目的在于提供基于云存储系统的分布式文件管理系统，采用代理客户端控制主服务器和数据存储盘，由总客户端连接控制代理客户端，既可以在代理客户端上部署命令，也可以在总客户端中部署命令，通过把现有的专用存储设备或个人PC机存储资源虚拟化成一个存储池，实现统一的存储资源调配、大容量存储、高性能访问、数据备份恢复等重要功能。

本发明通过下述技术方案实现：基于云存储系统的分布式文件管理系统，包括客户端模块及其连接的主控制器和数据存储盘，所述主控制器中设置有API访问接口，所述API访问接口连接客户端模块，所述数据存储盘与客户端模块连接，所述客户端模块包括有相互连接的总客户端和代理客户端；当代理客户端访问文档时，可以通过总客户端从主控制器获得完整的数据信息，总客户端利用完整的数据信息发送至数据存储器，由数据存储器整理提取出对应数据信息，实现高性能的文件读取访问；代理客户端还可以完成对传输数据的校验，当发现数据出现错误时，会请求重新发送。

进一步的为更好地实现本发明，特别采用下述设置方式：所述主控制器中还设置有相互独立设置的用户认证模块、用户权限模块、存储管理模块、故障恢复模块、运行维护模块和POSIX访问接口。

进一步的为更好地实现本发明，特别采用下述设置方式：所述主控制器包括数据的维护、存储节点监控、更新数据节点列表、响应客户端请求、负载均衡、故障恢复的工作，分别由设置于主控制器中的各模块对应完成，运行维护模块负责完成数据的维护，存储管理模块负责完成对存储节点的监控和实时更新数据节点列表，用户认证模块和用户权限模块则负责响应客户端的请求，故障恢复模块负责在出现故障时完成数据恢复。

进一步的为更好地实现本发明，特别采用下述设置方式：所述主控制器与客户端模块进行元数据的传输，所述元数据为存储系统的核心数据。

进一步的为更好地实现本发明，特别采用下述设置方式：所述总客户端连接API访问接口，所述POSIX与多数的外接应用系统可以实现无缝集成。

进一步的为更好地实现本发明，特别采用下述设置方式：所述数据存储盘中设置有存储节点，所述存储节点至少为3个，所述数据存储盘至少为2个。

进一步的为更好地实现本发明，特别采用下述设置方式：所述代理客户端至少为1个。

本发明与现有技术相比，具有以下优点及有益效果：

本发明结合云存储系统的设计要求，采用分布式存储系统，实现了低成本、高可靠、大容量的分布式存储，整个控制体系结构清晰简单，文档分布式存储实现了存储系统的高性能。

本发明在数据存储器数据传输中采用流水线式的方式，多个数据存储器的引入，保证了客户端模块的高性能访问和更好的容错性。

本发明采用权限管理，用户认证的管理体制，实现了各用户的权限独立，从而提高了用户文档的保密性，和高可靠性。

附图说明

图1为本发明结构示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

值得注意的是，在本发明的实际应用中，不可避免的会应用到软件程序，但申请人在此声明，该技术方案在具体实施时所应用的软件程序皆为现有技术，在本申请中，不涉及到软件程序的更改及保护，只是对为实现发明目的而设计的硬件架构的保护。

实施例1：

如图1所示，基于云存储系统的分布式文件管理系统，包括客户端模块及其连接的主控制器和数据存储盘，所述主控制器中设置有API访问接口，所述API访问接口连接客户端模块，在客户端模块向主控制器提交操作请求时，主控制器会将客户端模块的基本信息进行记录，然后计算客户端模块需要存储的文档数据，生成文档数据存储的存储节点位置，并发送至客户端模块，客户端模块再与数据存储盘中的存储节点连接通信，获取存储的文档数据；所述数据存储盘与客户端模块连接，所述客户端模块包括有相互连接的总客户端和代理客户端，其中客户端模块与主控制器之间进行元数据的传输，所述元数据为存储系统的核心数据，是客户端模块中显示目录结构的完整反映，数据存储器与主控制器之间传输元数据与指令数据。

所述API访问接口连接总客户端，所述代理客户端至少为1个，当代理客户端访问文档时，可以通过总客户端从主控制器获得完整的数据信息，总客户端利用完整的数据信息发送至数据存储器，由数据存储器整理提取出对应数据信息，实现高性能的文件读取访问；代理客户端还可以完成对传输数据的校验，当发现数据出现错误时，会请求重新发送。

实施例2：

本实施例是在上述实施例的基础上进一步优化，如图1所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述主控制器中还设置有相互独立设置的用户认证模块、用户权限模块、存储管理模块、故障恢复模块、运行维护模块和POSIX访问接口，所述主控制器中设置不同对应模块进一步地提高存储的安全性，所述主控制器包括数据的维护、存储节点监控、更新数据节点列表、响应客户端请求、负载均衡、故障恢复的工作，分别由设置于主控制器中的各模块对应完成，运行维护模块负责完成数据的维护，存储管理模块负责完成对存储节点的监控和实时更新数据节点列表，通过用户认证模块实现对用户身份的确认，提高文档的保密性，为保证文档存储的安全需求，实现严格的权限管理，通过设置的用户权限模块限制管理人员的权限，同时在进行用户文档的私密存储的同时也可选择授予其他用户或管理人员权限。在确定主控制器或数据存储盘出现故障时，故障恢复模块则可以强制恢复原始存储数据；POSIX访问接口支持与现有应用系统的连接。

实施例3：

进一步的为更好地实现本发明，特别采用下述设置方式：所述数据存储盘中设置有存储节点，所述存储节点至少为3个数据存储器为文档的文档数据存储。所述数据存储盘至少为2个，数据存储器采用的接力传输的方式，传输文档数据和元数据指令，每个文档的信息会被存放在不同的存储节点。当代理客户端向总控制器发出提交文档的请求时，总控制器根据代理客户端的位置、数据存储器的状态，控制代理客户端发送的数据信息，数据存储器以方便完成在本地存放的数据，同时负责将数据复制后发送给下一个数据存储器，当完成数据存储时，将存储编号发送至主控制器。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.基于云存储系统的分布式文件管理系统，包括客户端模块及其连接的主控制器和数据存储盘，其特征在于：所述主控制器中设置有API访问接口，所述API访问接口连接客户端模块，所述数据存储盘与客户端模块连接，所述客户端模块包括有总客户端和代理客户端，所述总客户端与代理客户端连接。

2.根据权利要求1所述的基于云存储系统的分布式文件管理系统，其特征在于:所述主控制器中还设置有相互独立设置的用户认证模块、用户权限模块、存储管理模块、故障恢复模块、运行维护模块和POSIX访问接口。

3.根据权利要求1或2所述的基于云存储系统的分布式文件管理系统，其特征在于:所述主控制器包括数据的维护、存储节点监控、更新数据节点列表、相应客户端请求、负载均衡、故障恢复的工作。

4.根据权利要求3所述的基于云存储系统的分布式文件管理系统，其特征在于:所述总客户端连接API访问接口，所述POSIX与外接应用系统实现无缝集成。

5.根据权利要求4所述的基于云存储系统的分布式文件管理系统，其特征在于:所述主控制器与客户端模块进行元数据的传输，所述元数据为存储系统的核心数据。

6.根据权利要求5所述的基于云存储系统的分布式文件管理系统，其特征在于:所述主控制器连接控制数据存储盘存储文档数据，所述数据存储盘中设置有存储节点，所述存储节点至少为3个，所述数据存储盘至少为2个。

7.根据权利要求6所述的基于云存储系统的分布式文件管理系统，其特征在于:所述主控制器中故障恢复模块完成对存储节点进行存储工作时的监测。

8.根据权利要求7所述的基于云存储系统的分布式文件管理系统，其特征在于:所述代理客户端至少为1个。