CN111680003B - 基于分布式的文件中心系统及文件管理方法 - Google Patents

Abstract

本发明提供了一种基于分布式的文件中心系统及文件管理方法，该系统包括：文件中心接入模块，用于接收web前端的文件处理请求；基于所述文件处理请求，向文件中心微服务模块发送文件查询请求；基于文件中心微服务模块反馈的查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果；向文件中心接入模块反馈查询结果；HDFS，用于存储文件；基于文件处理命令，对文件进行处理，获得处理结果；向文件中心接入模块反馈处理结果；文件中心数据库，用于存储文件索引记录。本发明便于文件的迁移性和管理。

Description

基于分布式的文件中心系统及文件管理方法

技术领域

本发明涉及文件系统管理领域，尤其涉及一种基于分布式的文件中心系统及文件管理方法。

背景技术

在传统的文件系统中，由文件系统自身管理文件的目录索引和文件的权限。存在一些限制：文件目录索引管理依赖于文件系统自身。每一次文件系统迁移时，需要基于新的文件系统的目录组织架构和API重新建立文件目录信息，并将原文件系统中的文件传入新的文件系统的指定目录中。且文件系统迁移时，需要原应用程序进行改造，使用新文件系统的API去上传、下载、查看文件。每次迁移后都涉及到大量代码的修改。

发明内容

本发明实施例提出一种基于分布式的文件中心系统，便于文件的迁移性和管理，该系统包括：

文件中心接入模块，用于接收web前端的文件处理请求；基于所述文件处理请求，向文件中心微服务模块发送文件查询请求；基于文件中心微服务模块反馈的查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；

文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果；向文件中心接入模块反馈查询结果；

HDFS，用于存储文件；基于文件处理命令，对文件进行处理，获得处理结果；向文件中心接入模块反馈处理结果；

文件中心数据库，用于存储文件索引记录。

本发明实施例提出一种基于分布式的文件管理方法，便于文件的迁移性和管理，该方法包括：

接收web前端的文件处理请求；

基于所述文件处理请求，向文件中心微服务模块发送文件查询请求，获得查询结果，所述查询结果是文件中心微服务模块基于文件查询请求，查询文件中心数据库的文件索引记录获得的；

基于查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式的文件管理方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于分布式的文件管理方法的计算机程序。

在本发明实施例中，基于分布式的文件中心系统包括：文件中心接入模块，用于接收web前端的文件处理请求；基于所述文件处理请求，向文件中心微服务模块发送文件查询请求；基于文件中心微服务模块反馈的查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果；向文件中心接入模块反馈查询结果；HDFS，用于存储文件；基于文件处理命令，对文件进行处理，获得处理结果；向文件中心接入模块反馈处理结果；文件中心数据库，用于存储文件索引记录。在上述系统中，采用文件中心微服务模块查询文件中心数据库的文件索引记录，相当于进行文件索引管理；采用HDFS存储和处理文件，相当于进行文件管理；因此，实现了文件索引管理和文件管理的分离，可避免文件耦合某一种文件系统，可实现快速迁移文件系统的目的，HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS即可，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，从而可以保证业务的正常实施，并且可以基于文件的基本信息和扩展属性进行文件的检索和权限控制；同时也便于文件索引和文件的管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中基于分布式的文件中心系统的示意图；

图2为本发明实施例中基于分布式的文件管理方法的流程图；

图3为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

图1为本发明实施例中基于分布式的文件中心系统的示意图，如图1所示，该系统包括：

文件中心接入模块，用于接收web前端的文件处理请求；基于所述文件处理请求，向文件中心微服务模块发送文件查询请求；基于文件中心微服务模块反馈的查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；

文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果；向文件中心接入模块反馈查询结果；

HDFS，用于存储文件；基于文件处理命令，对文件进行处理，获得处理结果；向文件中心接入模块反馈处理结果；

文件中心数据库，用于存储文件索引记录。

在上述系统中，采用文件中心微服务模块查询文件中心数据库的文件索引记录，相当于进行文件索引管理；采用HDFS存储和处理文件，相当于进行文件管理；因此，实现了文件索引管理和文件管理的分离，可避免文件耦合某一种文件系统，可实现快速迁移文件系统的目的，HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS即可，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，从而可以保证业务的正常实施，并且可以基于文件的基本信息和扩展属性进行文件的检索和权限控制；同时也便于文件索引和文件的管理。

具体实施时，HDFS(Hadoop分布式文件系统)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。因此，本发明实施例中文件系统采用HDFS，以存储和处理文件，以达到高可用性、可靠性和高可扩展性的目的。当然，可以理解的是，也可以采用其他分布式文件系统，相关变化例均应落入本发明的保护范围。

在确定了文件系统后，为了达到便于迁移的目的，本发明实施例提出了文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果，查询结果为文件存在或文件不存在。

具体实施时，文件中心接入模块(即Igtb-web-fc)与web前端连接，接收web前端的文件处理请求，在一实施例中，所述文件处理请求包括文件上传、下载、删除和修改中的至少一种。在接收到文件处理请求后，首先要知道HDFS中是否存在该文件，因此，文件中心微服务模块发送文件查询请求，而不是直接访问HDFS，减少了接入HDFS的频率。

文件中心微服务模块(即Igtb-srv-fc)在接收到文件查询请求后，查询文件中心数据库的文件索引记录，获得查询结果，除了查询外，文件中心微服务模块还提供对文件中心数据库的文件索引记录的增删改等操作，保证文件中心数据库的文件索引记录与HDFS中的文件保持一致。文件中心微服务模块提供了文件中心微服务接口，该接口dubbo服务提供方和使用方均要引用，作为双方的使用契约，文件中心接入模块向文件中心微服务接口发送文件查询请求，并通过该接口反馈查询结果。另外，在查询时，另外文件中心微服务模块提供了custId、userId和filefunctionId等字段来提供权限验证。

在一实施例中，所述系统还包括票系统，用于提供验证票；在接收到验证请求后，对验证票进行验证，获得并反馈验证结果；

所述文件中心接入模块具体用于：在接收web前端的文件处理请求时，接收文件处理请求对应的验证票，所述验证票为web前端通过票系统获得；向票系统发送验证请求；在接收的验证结果为验证通过时，向文件中心微服务模块发送文件查询请求。

在上述实施例中，以文件下载为例，web前端首先去票系统获得一张验证票，然后带着验证票通过文件中心接入模块请求下载文件，向票系统发送验证请求，票系统对验证票进行验证，验证具体可以包括web前端用户的身份验证，从而进行权限控制，防止出现越权下载、上传和查询、删除等等。验证通过以后，向文件中心微服务模块发送文件查询请求。上述验票的目的是为了权限认证，因为验票通过后，验票提供的一些信息可以用来判断权限，比如客户ID，用户ID，功能ID等。

在一实施例中，所述文件中心接入模块还用于：在接收的验证结果为验证通过时，向文件中心微服务模块发送操作请求，所述操作请求包括文件索引记录增加请求、文件索引记录删除请求和文件索引记录修改请求；

文件中心微服务模块，还用于：基于操作请求，操作文件中心数据库的文件索引记录，获得操作结果；向文件中心接入模块反馈操作结果；所述操作包括文件索引记录增加、文件索引记录删除和文件索引记录修改。

在上述实施例中，相当于文件中心微服务模块可进行文件索引记录增加、文件索引记录删除和文件索引记录修改、文件索引记录查询，使得文件索引记录与HDFS中的文件保持一致。

在一实施例中，所述系统还包括加密机，用于对连接文件中心数据库的密码进行加密解密；

文件中心微服务模块具体用于：操作文件中心数据库的文件索引记录时，通过加密机对连接文件中心数据库的密码进行加密解密。

在上述实施例中，通过加密机实现了整个文件中心系统的安全认证。

在一实施例中，所述系统还包括文件中心批量清理模块，用于清理HDFS中的文件和对应的文件中心微服务模块中的文件索引记录。

在上述实施例中，文件中心批量清理模块是为了在HDFS中的文件过多，尤其是不要的文件过多时，对不需要的文件进行清理，且在清理时，要同时清理对应的文件中心微服务模块中的文件索引记录，保证HDFS和文件中心微服务模块的一致性。

在一实施例中，所述系统还包括服务注册中心模块，用于连接文件中心批量清理模块、文件中心微服务模块和文件中心接入模块，对文件中心微服务模块中的文件中心微服务进行注册。

在上述实施例中，服务注册中心模块可以是zookeeper，可以注册文件中心批量清理模块、文件中心微服务模块和文件中心接入模块。在注册时，也需要用加密机进行权限认证，这里的权限认证主要是密码加解密，提高安全性。

在一实施例中，所述系统还包括文件中心服务jar包，用于提供对HDFS、文件中心微服务模块、文件中心批量清理模块和文件中心接入模块的调用的封装。

在上述实施例中，文件中心服务jar包即Igtb-fc-client，封装上述模块的调用后，对外提供文件处理、查询文件中心数据库的文件索引记录中需要的增删改查等基础功能，例如是否是目录、是否是文件、获取文件大小、拷贝文件等，是封装内部逻辑的公共jar包。基于该公共jar包，HDFS等文件系统迁移时，仅需要修改底层的API即可实现应用对新文件系统的访问，对应用系统透明，应用系统调用文件中心微服务模块不需要修改程序。

在一实施例中，所述文件查询请求包括如下关键词中的至少一种：

文件名称，文件大小，文件扩展属性。

在上述实施例中，文件扩展属性可以定制，从而实现了检索方式的多样化。

另外，在前述实施例中，所述系统还可以包括文件目录微服务模块，用于对HDFS的权限管理，具体可以进行信息安全认证和基于多属性的权限控制机制，例如基于角色和用户，权限控制的规则也基本是文件粒度、目录粒度或者目录继承粒度，更换HDFS等文件系统时无需对权限更新进行控制。

综上所述，在本发明实施例提出的系统中，采用文件中心微服务模块查询文件中心数据库的文件索引记录，相当于进行文件索引管理；采用HDFS存储和处理文件，相当于进行文件管理；因此，实现了文件索引管理和文件管理的分离，可避免文件耦合某一种文件系统，可实现快速迁移文件系统的目的，HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS即可，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，从而可以保证业务的正常实施，并且可以基于文件的基本信息和扩展属性进行文件的检索和权限控制；同时也便于文件索引和文件的管理。本发明实施例通过加密机实现了整个文件中心系统的安全认证。文件中心批量清理模块保证了HDFS和文件中心微服务模块的一致性。文件中心服务jar包使得HDFS等文件系统迁移时，仅需要修改底层的API即可实现应用对新文件系统的访问，对应用系统透明，应用系统调用文件中心微服务模块不需要修改程序。文件查询请求包括如下关键词中的至少一种：文件名称，文件大小，文件扩展属性，实现了检索方式的多样化。

本发明实施例还提出一种另一种基于分布式的文件管理方法，图2为本发明实施例中基于分布式的文件管理方法的流程图，包括：

步骤201，接收web前端的文件处理请求；

步骤202，基于所述文件处理请求，向文件中心微服务模块发送文件查询请求，获得查询结果，所述查询结果是文件中心微服务模块基于文件查询请求，查询文件中心数据库的文件索引记录获得的；

步骤203，基于查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果。

综上所述，在本发明实施例中，实现了文件索引管理和文件管理的分离，可避免文件耦合某一种文件系统，可实现快速迁移文件系统的目的，HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS即可，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，从而可以保证业务的正常实施，并且可以基于文件的基本信息和扩展属性进行文件的检索和权限控制；同时也便于文件索引和文件的管理。本发明实施例通过加密机实现了整个文件中心系统的安全认证。文件中心批量清理模块保证了HDFS和文件中心微服务模块的一致性。文件中心服务jar包使得HDFS等文件系统迁移时，仅需要修改底层的API即可实现应用对新文件系统的访问，对应用系统透明，应用系统调用文件中心微服务模块不需要修改程序。文件查询请求包括如下关键词中的至少一种：文件名称，文件大小，文件扩展属性，实现了检索方式的多样化。

本申请的实施例还提供一种计算机设备，图3为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的基于分布式的文件管理方法中全部步骤，所述电子设备具体包括如下内容：

处理器(processor)301、存储器(memory)302、通信接口(CommunicationsInterface)303和总线304；

其中，所述处理器301、存储器302、通信接口303通过所述总线304完成相互间的通信；所述通信接口303用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；

所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的基于分布式的文件管理方法中的全部步骤。

本申请的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的基于分布式的文件管理方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于分布式的文件管理方法的全部步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于分布式的文件中心系统，其特征在于，包括：

文件中心接入模块，用于接收web前端的文件处理请求；基于所述文件处理请求，向文件中心微服务模块发送文件查询请求；基于文件中心微服务模块反馈的查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；

文件中心微服务模块，用于基于文件查询请求，查询文件中心数据库的文件索引记录，获得查询结果；向文件中心接入模块反馈查询结果；

HDFS，用于存储文件；基于文件处理命令，对文件进行处理，获得处理结果；向文件中心接入模块反馈处理结果；

文件中心数据库，用于存储文件索引记录；

还包括票系统，用于提供验证票；在接收到验证请求后，对验证票进行验证，获得并反馈验证结果；

所述文件中心接入模块具体用于：在接收web前端的文件处理请求时，接收文件处理请求对应的验证票，所述验证票为web前端通过票系统获得；向票系统发送验证请求；在接收的验证结果为验证通过时，向文件中心微服务模块发送文件查询请求；

验证包括web前端用户的身份验证，进行权限控制，验票通过后，验票提供的一些信息用来判断权限，所述信息包括客户ID、用户ID、功能ID；

其中，文件中心微服务模块相当于进行文件索引管理，HDFS相当于进行文件管理，文件索引管理和文件管理分离；

文件中心微服务模块发送文件查询请求，而不是直接访问HDFS；

文件中心微服务模块提供了文件中心微服务接口，该文件中心微服务接口dubbo服务提供方和使用方均要引用，作为双方的使用契约，文件中心接入模块向文件中心微服务接口发送文件查询请求，并通过该文件中心微服务接口反馈查询结果；

HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，基于文件的基本信息和扩展属性进行文件的检索和权限控制。

2.如权利要求1所述的基于分布式的文件中心系统，其特征在于，所述文件中心接入模块还用于：在接收的验证结果为验证通过时，向文件中心微服务模块发送操作请求，所述操作请求包括文件索引记录增加请求、文件索引记录删除请求和文件索引记录修改请求；

文件中心微服务模块，还用于：基于操作请求，操作文件中心数据库的文件索引记录，获得操作结果；向文件中心接入模块反馈操作结果；所述操作包括文件索引记录增加、文件索引记录删除和文件索引记录修改。

3.如权利要求2所述的基于分布式的文件中心系统，其特征在于，还包括加密机，用于对连接文件中心数据库的密码进行加密解密；

文件中心微服务模块具体用于：操作文件中心数据库的文件索引记录时，通过加密机对连接文件中心数据库的密码进行加密解密。

4.如权利要求1所述的基于分布式的文件中心系统，其特征在于，还包括文件中心批量清理模块，用于清理HDFS中的文件和对应的文件中心微服务模块中的文件索引记录。

5.如权利要求4所述的基于分布式的文件中心系统，其特征在于，还包括服务注册中心模块，用于连接文件中心批量清理模块、文件中心微服务模块和文件中心接入模块，用于文件中心微服务模块中文件中心微服务的注册。

6.如权利要求5所述的基于分布式的文件中心系统，其特征在于，还包括文件中心服务jar包，用于提供对HDFS、文件中心微服务模块、文件中心批量清理模块和文件中心接入模块的调用的封装。

7.如权利要求1所述的基于分布式的文件中心系统，其特征在于，所述文件查询请求包括如下关键词中的至少一种：

其中文件名称，文件大小，文件扩展属性。

8.如权利要求1所述的基于分布式的文件中心系统，其特征在于，所述文件处理请求包括文件上传、下载、删除和修改中的至少一种。

9.一种基于分布式的文件管理方法，其特征在于，包括：

接收web前端的文件处理请求；

基于所述文件处理请求，向文件中心微服务模块发送文件查询请求，获得查询结果，所述查询结果是文件中心微服务模块基于文件查询请求，查询文件中心数据库的文件索引记录获得的；

基于查询结果，向HDFS发送文件处理命令，获得HDFS反馈的处理结果；

还包括：在接收web前端的文件处理请求时，接收文件处理请求对应的验证票，所述验证票为web前端通过票系统获得；向票系统发送验证请求；在接收的验证结果为验证通过时，向文件中心微服务模块发送文件查询请求；其中，所述票系统在接收到验证请求后，对验证票进行验证，获得并反馈验证结果；

验证包括web前端用户的身份验证，进行权限控制，验票通过后，验票提供的一些信息用来判断权限，所述信息包括客户ID、用户ID、功能ID；

其中，文件中心微服务模块相当于进行文件索引管理，HDFS相当于进行文件管理，文件索引管理和文件管理分离；

文件中心微服务模块发送文件查询请求，而不是直接访问HDFS；

文件中心微服务模块提供了文件中心微服务接口，该文件中心微服务接口dubbo服务提供方和使用方均要引用，作为双方的使用契约，文件中心接入模块向文件中心微服务接口发送文件查询请求，并通过该文件中心微服务接口反馈查询结果；

HDFS迁移时仅需要通过脚本从原HDFS中获取文件更新到新HDFS，不需要进行文件目录的调整，文件的基本信息和扩展属性保持不变，基于文件的基本信息和扩展属性进行文件的检索和权限控制。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9所述方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求9所述方法的计算机程序。