CN112380178A - 文件存储与管理方法及系统 - Google Patents

Abstract

本申请涉及文件存储与管理技术领域，特别是涉及文件存储与管理方法、系统、电子设备及存储介质。其中，该方法包括以下步骤：文件存储步骤，根据使用需求存储非结构化数据文件到对应的文件系统；文件管理步骤，通过程序代码对文件系统进行统一的维护管理以对非结构化数据文件进行CRUD操作或直接调用。通过设置管理层实现对多类型文件存储方式的调用，解决了当前不同数据源需要额外进行部署的问题，实现了通用的数据文件元信息管理方式，并供上层数据治理应用获取非结构化文件。

Description

文件存储与管理方法及系统

技术领域

本申请涉及文件存储与管理技术领域，特别是涉及文件存储与管理方法及系统。

背景技术

在当前大数据时代，在数据处理的过程当中，我们我们更多的需要对接，这就驱使我们往这些方向发展。

在当前的大数据时代，数据处理过程中，所面对的数据源不仅仅是mysq,oracle,hive,pgsql之类的结构化数据源，还包括客户的txt,excel,word等等文本类非结构化数据源，这就驱使对非结构化文件的存储与处理进行研究。

在数据治理过程当中，面对源源不断的各种各类的文本类数据源，需要针对不同的数据源进行管理，结构复杂，且缺少一个统一的管理调用平台。

目前针对上述问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种文件存储与管理方法及系统，本方法针对不同类型的数据源提出了一种通用的数据源元数据管理方式，以供上层数据治理应用能够像获取结构化数据一样获取非结构化数据。以至少解决相关技术中的问题。

第一方面，本申请实施例提供了一种文件存储与管理方法，包括以下步骤：

文件存储步骤，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理步骤，通过程序代码对所述文件系统进行统一的维护管理以对所述非结构化数据文件进行CRUD操作或直接调用。

在其中一些实施例中，所述文件系统为hdfs文件系统、ftp文件系统和fs文件系统之任一或任意组合。

在其中一些实施例中，当所述文件系统为hdfs文件系统时，所述文件存储步骤包括：

配置hdfs文件源路径；

根据所述hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

所述文件管理步骤包括：

通过所述文件元信息对所述非结构化数据文件进行信息查看、下载和第三方调用。

在其中一些实施例中，当所述文件系统为ftp文件系统时，所述文件存储步骤包括：

在ftp传输协议下上传并存储所述非结构化数据文件；

对所述非结构化数据文件的文件元信息进行二次处理；

所述文件管理步骤包括：

通过所述文件元信息对所述非结构化数据文件的批量操作和统一调用。

在其中一些实施例中，所述文件元信息包括但不限于文件大小、权限和文件名称、文件全路径，副本数。

在其中一些实施例中，当所述文件系统为fs文件系统时，所述文件存储步骤包括：

创建并读取文件列表，完成所述非结构化数据文件的上传及存储；

所述文件管理步骤包括：

通过所述文件列表对所述非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

第二方面，本申请实施例提供了种文件存储与管理系统，用于实现第一方面所述的文件存储与管理方法，包括：

文件存储模块，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理模块，通过程序代码对所述文件系统进行统一的维护管理以对所述非结构化数据文件进行CRUD操作或直接调用。

在其中一些实施例中，当所述文件系统为hdfs文件系统时，

所述文件存储模块配置hdfs文件源路径，根据所述hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

所述文件管理模块通过所述文件元信息对所述非结构化数据文件进行信息查看、下载和第三方调用。

在其中一些实施例中，当所述文件系统为ftp文件系统时，

所述文件存储模块在ftp传输协议下上传并存储所述非结构化数据文件，对所述非结构化数据文件的文件元信息进行二次处理；

所述文件管理模块通过所述文件元信息对所述非结构化数据文件的批量操作和统一调用。

在其中一些实施例中，当所述文件系统为fs文件系统时，

所述文件存储模块创建并读取文件列表，完成所述非结构化数据文件的上传及存储；

所述文件管理模块通过所述文件列表对所述非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

相比于相关技术，本申请实施例提供的一种文件存储与管理方法及系统，通过设置管理层实现对多类型文件存储方式的调用，解决了当前不同数据源需要额外进行部署的问题，实现了通用的数据文件元信息管理方式，并供上层数据治理应用获取非结构化文件。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的文件存储与管理方法的流程图；

图2是根据本申请实施例的hdfs文件系统的文件存储与管理方法的流程图；

图3是根据本申请实施例的ftp文件系统的文件存储与管理方法的流程图；

图4是根据本申请实施例的fs文件系统的文件存储与管理方法的流程图；

图5是根据本申请优选实施例的hdfs文件存储与管理方法的主要处理流程图；

图6是根据本申请实施例的fs/ftp文件存储与管理方法的主要处理流程图；

图7是根据本申请实施例的文件存储与管理系统的结构框图；

图8为根据本申请实施例的电子设备的硬件结构示意图。

附图说明：

1、文件存储模块；21、管理层；22、接口网关；

2、文件管理模块；11、hdfs文件系统单元； 12、ftp文件系统单元；

13、fs文件系统单元；81、处理器；82、存储器；

83、通信接口；80、总线。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请中描述的各种技术可用于各种无线通信系统，例如2G、3G、4G、5G通信系统以及下一代通信系统，又例如全球移动通信系统(Global System for Mobilecommunications，简称为GSM)，码分多址(Code Division Multiple Access，简称为CDMA)系统，时分多址(Time Division Multiple Access，简称为TDMA)系统，宽带码分多址(Wideband Code Division Multiple Access Wireless，简称为WCDMA)，频分多址(Frequency Division Multiple Addressing，简称为FDMA)系统，正交频分多址(Orthogonal Frequency-Division Multiple Access，简称为OFDMA)系统，单载波FDMA(SC-FDMA)系统，通用分组无线业务(General Packet Radio Service，简称为GPRS)系统，长期演进(Long Term Evolution，简称为LTE)系统，5G新空口(New Radio，简称为NR)系统以及其他此类通信系统。

本申请可以满足数据治理平台的任何形式的数据源管理，抛去以往文件管理的多样性，复杂性，定制化性，即实现了非结构化多数据源管理，也实现了让用户体验良好的设计。

本申请实施例提供了一种文件存储与管理方法。图1是根据本申请实施例的文件存储与管理方法的流程图，如图1所示，该流程包括如下步骤：

文件存储步骤S1，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理步骤S2，通过程序代码对文件系统进行统一的维护管理以对非结构化数据文件进行CRUD操作或直接调用。

在实际的应用中，管理层通过接口网关将数据文件上传，并根据使用需求选择对应的文件系统；根据文件系统，进行对应操作的文件存储与管理；管理层调用接口网关对数据文件进行查询、检索或调用。

通过接口网关对hdfs文件系统中的数据文件进行新增或修改操作，操作首先被记入edits日志文件汇中，待操作成功后，相应的文件云信息会更新到内存元数据库中。

通过上述步骤，对文件元信息进行统一的管理，无论具体使用哪个系统管理非结构化文件，都只需要一个统一的接口网关即可方便的进行二次开发及非结构文件的直观查看。

本申请应用idea进行开发，基于spring boot和jdk1.8的开发环境，完成上述文件存储与管理方法。

在一些实施例中，文件系统为hdfs文件系统、ftp文件系统和fs文件系统之任一或任意组合。

图2是根据本申请实施例的hdfs文件系统的文件存储与管理方法的流程图，如图2所示，在其中一些实施例中，当文件系统为hdfs文件系统时，文件存储步骤包括：

步骤S111，配置hdfs文件源路径；

步骤S112根据hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

文件管理步骤包括：

步骤S113，通过文件元信息对非结构化数据文件进行信息查看、下载和第三方调用。

图3是根据本申请实施例的ftp文件系统的文件存储与管理方法的流程图，如图3所示，在其中一些实施例中，当文件系统为ftp文件系统时，文件存储步骤包括：

步骤S121，在ftp传输协议下上传并存储非结构化数据文件；

步骤S122，对非结构化数据文件的文件元信息进行二次处理；

文件管理步骤包括：

步骤S123，通过文件元信息对非结构化数据文件的批量操作和统一调用。

在一些实施例中，文件元信息包括但不限于文件大小、权限和文件名称、文件全路径，副本数。

图4是根据本申请实施例的fs文件系统的文件存储与管理方法的流程图，如图4所示，在其中一些实施例中，当文件系统为fs文件系统时，文件存储步骤包括：

S131，创建并读取文件列表，完成非结构化数据文件的上传及存储；

文件管理步骤包括：

S132，通过文件列表对非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

下面通过优选实施例对本申请实施例进行描述和说明。

图5是根据本申请优选实施例的hdfs文件存储与管理方法的主要处理流程图。

首先进行配置hdfs文件元路径，进行同步数据源，当同步成功后，获取文件元信息，当同步失败后，重新配置hdfs文件元路径，用户在管理层通过接口网关基于文件元信息进行文件下载、文件信息查看以及第三方应用。

图6是根据本申请实施例的fs/ftp文件存储与管理方法的主要处理流程图，包括如下步骤：

首先添加数据文件目录，选择文件目录后上传文件，用户在管理层通过接口网关基于文件列表进行文件下载、文件元信息浏览和第三方应用。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种文件存储与管理系统，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本申请实施例的文件存储与管理系统的结构框图，如图7所示，该系统包括：

文件存储模块1，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理模块2，通过程序代码对文件系统进行统一的维护管理以对非结构化数据文件进行CRUD操作或直接调用。

在一些实施例中，文件管理模块2包括管理层21、接口网关22，管理层21通过接口网关22实现数据交互，文件存储模块1中包括hdfs文件系统单元11、ftp文件系统单元12和fs文件系统单元13之任一或任意组合。

在其中一些实施例中，管理层21具有内置检索引擎、外置检索引擎和服务引擎，内置检索引擎用于实现对数据文件文本的检索，外置检索引擎作为外置的全文检索引擎，用于实现数据文件的索引；服务引擎用于执行数据文件的查询、检索。

上述检索方式包括Hash索引、B+索引、层次索引、高维索引和倒排索引。

上述接口网关22基于彼此独立的管理层21和文件存储模块1，利用一触发器实现数据在管理层21和文件存储模块1的同步。

在其中一些实施例中，当文件系统为hdfs文件系统时，

文件存储模块1配置hdfs文件源路径，根据hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

文件管理模块2通过文件元信息对非结构化数据文件进行信息查看、下载和第三方调用。

在其中一些实施例中，当文件系统为ftp文件系统时，

文件存储模块1在ftp传输协议下上传并存储非结构化数据文件，对非结构化数据文件的文件元信息进行二次处理；

文件管理模块2通过文件元信息对非结构化数据文件的批量操作和统一调用。

在其中一些实施例中，当文件系统为fs文件系统时，

文件存储模块1创建并读取文件列表，完成非结构化数据文件的上传及存储；

文件管理模块2通过文件列表对非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

另外，结合图1描述的本申请实施例文件存储与管理方法可以由电子设备来实现。图8为根据本申请实施例的电子设备的硬件结构示意图。

电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种文件存储与管理方法。

在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备可以基于获取到的数据文件，执行本申请实施例中的对应类型的文件存储与管理方法，从而实现结合图1描述的文件存储与管理方法。

另外，结合上述实施例中的文件存储与管理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种文件存储与管理方法。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种文件存储与管理方法，其特征在于，包括以下步骤：

文件存储步骤，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理步骤，通过程序代码对所述文件系统进行统一的维护管理以对所述非结构化数据文件进行CRUD操作或直接调用。

2.根据权利要求1所述的文件存储与管理方法，其特征在于，所述文件系统为hdfs文件系统、ftp文件系统和fs文件系统之任一或任意组合。

3.根据权利要求2所述的文件存储与管理方法，其特征在于，当所述文件系统为hdfs文件系统时，所述文件存储步骤包括：

配置hdfs文件源路径；

根据所述hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

所述文件管理步骤包括：

通过所述文件元信息对所述非结构化数据文件进行信息查看、下载和第三方调用。

4.根据权利要求2所述的文件存储与管理方法，其特征在于，当所述文件系统为ftp文件系统时，所述文件存储步骤包括：

在ftp传输协议下上传并存储所述非结构化数据文件；

对所述非结构化数据文件的文件元信息进行二次处理；

所述文件管理步骤包括：

通过所述文件元信息对所述非结构化数据文件的批量操作和统一调用。

5.根据权利要求3或4所述的文件存储与管理方法，其特征在于，所述文件元信息包括但不限于文件大小、权限和文件名称、文件全路径，副本数。

6.根据权利要求2所述的文件存储与管理方法，其特征在于，当所述文件系统为fs文件系统时，所述文件存储步骤包括：

创建并读取文件列表，完成所述非结构化数据文件的上传及存储；

所述文件管理步骤包括：

通过所述文件列表对所述非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

7.一种文件存储与管理系统，用于实现权利要求2-6任意一项所述的文件存储与管理方法，其特征在于，包括：

文件存储模块，根据使用需求存储非结构化数据文件到对应的文件系统；

文件管理模块，通过程序代码对所述文件系统进行统一的维护管理以对所述非结构化数据文件进行CRUD操作或直接调用。

8.根据权利要求7所述的文件存储与管理系统，其特征在于，当所述文件系统为hdfs文件系统时，

所述文件存储模块配置hdfs文件源路径，根据所述hdfs文件源路径同步数据源，并自行形成文件元信息存储在内存元数据库中；

所述文件管理模块通过所述文件元信息对所述非结构化数据文件进行信息查看、下载和第三方调用。

9.根据权利要求7所述的文件存储与管理系统，其特征在于，当所述文件系统为ftp文件系统时，

所述文件存储模块在ftp传输协议下上传并存储所述非结构化数据文件，对所述非结构化数据文件的文件元信息进行二次处理；

所述文件管理模块通过所述文件元信息对所述非结构化数据文件的批量操作和统一调用。

10.根据权利要求7所述的文件存储与管理系统，其特征在于，当所述文件系统为fs文件系统时，

所述文件存储模块创建并读取文件列表，完成所述非结构化数据文件的上传及存储；

所述文件管理模块通过所述文件列表对所述非结构化数据文件进行文件元信息浏览、文件下载及第三方调用。

Images