CN113468125A - 一种文件服务方法、系统、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种文件服务方法、系统、设备及计算机可读存储介质，该文件服务方法的步骤包括：对接入业务的目标文件源数据进行预处理操作；针对所述预处理操作的过程参数进行编码得到业务编码文件；将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。本发明提高了服务器集群上海量数据的存储效率，降低了存储成本，保证服务过程的连续不中断，还使数据在读写过程中的安全性得到了保障，业务存储的灵活性得到了提升。

Description

一种文件服务方法、系统、设备及计算机可读存储介质

技术领域

本发明涉及文件服务领域，尤其是涉及一种文件服务方法、系统、设备及计算机可读存储介质。

背景技术

信息化是当今时代发展的大趋势，代表着先进生产力，与此同时，数据呈现明显的爆炸式增长，海量数据的存储、调用、传输和维护管理等问题都是促进信息化背景下生产力飞速发展的关键问题。随着业务场景难度的增大，为了高效地管理海量数据，不同的业务场景下的文件服务需求也越来越高。

目前对服务器集群上海量数据的管理存在存储效率低、存储成本高、服务过程易中断等问题。

发明内容

本发明的主要目的在于提供一种文件服务方法、系统、设备及计算机可读存储介质，旨在保证同时处理服务器集群上的海量数据进行文件服务的连续性，避免文件服务过程中断造成的损失。

为实现上述目的，本发明提供一种文件服务方法，所述文件服务方法包括：

对接入业务的目标文件源数据进行预处理操作；

针对所述预处理操作的过程参数进行编码得到业务编码文件；

将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

可选地，在所述分散存储于分布式文件服务系统以进行文件服务的步骤之后，还包括：

根据接收到的文件服务请求从分布式文件服务系统获取对应的所述业务编码文件；

解析所述业务编码文件以确定所述文件元数据映射的目标文件源数据；

从所述分布式文件服务系统获取所述目标文件源数据以执行所述文件服务请求。

可选地，在所述对接入业务的目标文件源数据进行预处理操作的步骤之前，还包括：

配置操作限制规则；

所述预处理操作包括：文件转换处理，所述对接入业务的目标文件源数据进行预处理操作的步骤，包括：

根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据。

可选的，所述根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到文件元数据的步骤，包括：

校验所述接入业务的所述目标文件源数据是否符合所述操作限制规则；

若是，则存储所述目标文件源数据使所述操作限制规则生效以对所述目标文件源数据进行所述文件转换处理得到所述文件元数据。

可选地，所述过程参数包括：转换处理的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

获取对所述目标文件源数据进行所述文件转换处理的过程参数；

可选地，所述过程参数还包括：构建映射关系的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

构建各所述租户信息与所述租户标识数据之间的第一映射关系，并获取构建所述第一映射关系的过程参数；和，

构建所述目标文件源数据与所述文件元数据之间的第二映射关系，并获取构建所述第二映射关系的过程参数。

可选地，所述预处理操作包括：数据隔离，所述对接入业务的目标文件源数据进行预处理操作的步骤，包括：

获取多个所述接入业务各自的租户信息；

将各所述租户信息进行标识得到租户标识数据；

根据所述租户标识数据针对所述目标文件源数据进行数据隔离

为实现上述目的，本发明还提供一种文件服务系统，所述文件服务系统包括：

预处理模块：用于对接入业务的目标文件源数据进行预处理操作；

编码模块：用于针对所述预处理操作的过程参数进行编码得到业务编码文件；

存储模块：用于将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

其中，本发明文件服务系统的各个功能模块各自在运行时均实现如上所述的文件服务方法的步骤。

为实现上述目的，本发明还提供文件服务设备，所述文件服务设备包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的文件服务程序，所述文件服务程序被所述处理器执行时实现如上所述的文件服务方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有文件服务程序，所述文件服务程序被处理器执行时实现如上所述的事故处理方法的步骤。

此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的文件服务方法的步骤。

本发明提供一种文件服务方法、系统、设备、计算机可读存储介质以及计算机程序产品，通过对接入业务的目标文件源数据进行预处理操作；针对所述预处理操作的过程参数进行编码得到业务编码文件；将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

本发明通过对接入业务的进行检测得到目标源数据，并将该目标源数据进行预处理操作，一方面获取经过该预处理操作后的文件元数据，另一方面对该预处理操作的过程参数进行编码得到业务编码，继而将该目标源数据、经该预处理操作后得到的该文件元数据和该业务编码存储于文件分布式文件服务系统中，以便随时从该分布式文件服务系统中读取该接入业务的所有信息和数据，进行文件服务。

本发明提高了在服务器集群上针对海量数据进行存储的存储效率，降低了数据存储成本，并保证了基于数据存储进行文件服务的过程连续不中断，还保障了数据在读写过程中的安全性，提升对接入业务对应源数据进行存储的灵活性。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明文件服务方法一实施例的流程示意图；

图3为本发明实施例中分布式文件系统的示意图；

图4为本发明文件服务系统一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例设备可以是对接分布式文件服务系统进行服务的文件服务设备，该设备具体可以是智能手机、个人计算机和服务器等。

如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文件服务程序。操作系统是管理和控制设备硬件和软件资源的程序，支持文件服务程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的文件服务程序，并执行以下操作：

对接入业务的目标文件源数据进行预处理操作；

针对所述预处理操作的过程参数进行编码得到业务编码文件；

将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

进一步地，处理器1001还可以用于调用存储器1005中存储的文件服务程序，在所述分散存储于分布式文件服务系统以进行文件服务的步骤之后，还执行以下操作：

根据接收到的文件服务请求从分布式文件服务系统获取对应的所述业务编码文件；

解析所述业务编码文件以确定所述文件元数据映射的目标文件源数据；

从所述分布式文件服务系统获取所述目标文件源数据以执行所述文件服务请求。

进一步地，处理器1001还可以用于调用存储器1005中存储的文件服务程序，在所述对接入业务的目标文件源数据进行预处理操作的步骤之前，还执行以下操作：

配置操作限制规则；

所述预处理操作包括：文件转换处理，处理器1001还可以用于调用存储器1005中存储的文件服务程序，还执行以下操作：

根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据。

进一步地，处理器1001还可以用于调用存储器1005中存储的文件服务程序，执行以下操作：

校验所述接入业务的所述目标文件源数据是否符合所述操作限制规则；

若是，则存储所述目标文件源数据使所述操作限制规则生效以对所述目标文件源数据进行所述文件转换处理得到所述文件元数据。

进一步地，所述过程参数包括：转换处理的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前,处理器1001还可以用于调用存储器1005中存储的文件服务程序，并执行以下操作：

获取对所述目标文件源数据进行所述文件转换处理的过程参数。

进一步地，所述过程参数还包括：构建映射关系的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，处理器1001还可以用于调用存储器1005中存储的文件服务程序，还执行以下操作：

构建各所述租户信息与所述租户标识数据之间的第一映射关系，并获取构建所述第一映射关系的过程参数；和，

构建所述目标文件源数据与所述文件元数据之间的第二映射关系，并获取构建所述第二映射关系的过程参数。

进一步地，所述预处理操作包括：数据隔离，处理器1001还可以用于调用存储器1005中存储的文件服务程序，并执行以下操作：

获取多个所述接入业务各自的租户信息；

将各所述租户信息进行标识得到租户标识数据；

根据所述租户标识数据针对所述目标文件源数据进行数据隔离。

基于上述的结构，提出文件服务方法的各个实施例。

参照图2，图2为本发明文件服务方法第一实施例的流程示意图。

在本实施例中，提供了文件服务方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中，文件服务方法可选应用于对接分布式文件系统进行数据管理的终端设备中，该终端设备具体可以为上述对接分布式文件服务系统进行服务的文件服务设备。

参照图3，分布式文件服务系统可采用无中心节点的设计，可在每个设备都存储一份全量的文件元数据和该设备上产生的分布式文件，使元数据在多台设备间同步更新。当需要访问分布式文件时，首先查询本设备上的文件元数据以获取目标文件所在的存储设备，进而对该存储设备上的该分布式文件发起文件服务请求，获取目标文件并读取到本地。

步骤S10，对接入业务的目标文件源数据进行预处理操作；

终端设备获取接入业务的目标文件源数据，并针对该接入业务的该目标源文件进行预处理操作，得到该目标文件源数据对应的文件元数据。

具体地，例如，当终端设备检测到有业务接入时，获取接入业务的目标文件源数据，并判断该目标文件源数据的类型，如判断该目标文件源数据的类型是否为音频文件、图片文件、压缩文件等类型，基于判断到的该目标文件源数据的不同文件类型，对该目标文件源数据进行预处理操作，以通过该预处理操作将该目标文件源数据转化为适用于分布式文件服务系统的格式，以实现在该分布式文件服务系统中对该目标文件源数据进行存储操作。

步骤S20，针对所述预处理操作的过程参数进行编码得到业务编码文件；

终端设备在针对接入业务的目标源文件进行预处理操作之后，进一步获取进行该预处理操作的过程参数，并将该过程参数进行编码，得到唯一标识该接入业务的业务编码文件。

具体地，例如，终端设备在对接入业务的目标源文件进行预处理操作的过程中，获取该预处理操作的过程参数，并对该过程参数按照相应编码规则进行编码，以得到该接入业务对应的业务编码文件。

需要说明的是，在本实施例中，业务编码文件具备唯一性，即每一个接入业务对应一个唯一的业务编码文件，通过该业务编码文件，能够解析出针对该接入业务对应目标文件源数据进行预处理操作的过程参数，继而能够获取得到该业务编码文件所对应的该接入业务的所有数据和信息。

进一步的，在一实施方式中，在上述步骤S10之前，本发明文件服务方法，还可以包括：

步骤S40，配置操作限制规则；

终端设备配置用于对文件进行筛选和分类的操作限制规则。

需要说明的是，在本实施例中，终端设备为了实现操作限制规则的配置，可提供一个统一的配置接口，使得接入业务通过该配置接口对接进行预处理操作的系统。应当理解的是，在本实施例中，终端设备提供的配置接口的类型可根据用户自定义选择和设置，在本实施例中不对该配置接口的类型做具体限制。

需要说明的是，在本实施例中，操作限制规则用于对接入业务的文件和数据进行筛选和分类，进而获取得到该接入业务的目标文件源数据。操作限制规则的配置参数包括：可操作文件大小、可操作文件数量、可操作文件格式等。应当理解的是，在本实施例中，操作限制规则的配置参数可根据用户需求自行设定，本实施例中也不对该操作限制规则配置参数进行具体限定。

具体的，例如，终端设备配置用于对文件进行筛选和分类的操作限制规则，即，配置可操作文件大小、可操作文件数量、可操作文件格式等操作限制规则的配置参数，并将该可操作文件大小、该可操作文件数量、该可操作文件格式等操作限制规则配置参数进行存储。终端设备通过配置接口将业务进行接入，从该接入业务中获取目标文件源数据，并将该目标文件源数据的文件参数与该操作限制规则的配置参数进行比对，以确定该目标文件源数据是否满足该操作限制规则。

进一步地，在一实施方式中，所述预处理操作包括：文件转换处理，上述步骤S10，对接入业务的目标文件源数据进行预处理操作，包括：

步骤S101，根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据。

终端设备获取接入业务的目标文件源数据，基于预先配置好的操作限制规则，将该目标文件源数据的文件参数与该操作限制规则的配置参数进行比对，若比对到该目标文件源数据符合该操作限制规则，则对该目标文件源数据进行转换处理，以得到文件元数据。

具体的，例如，终端设备获取到接入业务的目标文件源数据，并提取出该目标文件源数据的文件大小、文件数量文件格式等文件参数。然后，终端设备调用预先配置好的操作限制规则，从而将目标文件源数据的文件大小、文件数量文件格式等文件参数，分分别与操作限制规则的可操作文件大小、可操作文件数量、可操作文件格式等配置参数进行比对，从而，在校验该目标文件源数据的文件参数符合该操作限制规则的配置参数时，确定该目标文件源数据满足该操作限制规则，进而针对该目标文件源数据进行转换处理，以获取文件元数据。

需要说明的，在本实施例中，转换处理包括：数据集成、数据清洗和数据转换。具体地，例如，终端设备在将满足操作限制规则的目标文件源数据进行转换处理时，针对该目标文件源数据进行数据集成、数据清晰、数据转换等操作，得到符合分布式文件服务系统要求的文件元数据。

进一步的，在步骤S101，根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据，包括：

步骤S1011，校验所述接入业务的所述目标文件源数据是否符合所述操作限制规则；

终端设备通过调用预先配置好的操作限制规则，针对接入业务的目标文件源数据进行校验比对，以确定该目标源数据是否满足该操作限制规则，从而，在确定该目标源数据满足该操作限制规则时，将该目标源数据进行存储。

进一步地，在一种可行的实施例中，若终端设备通过检验比对到接入业务的目标文件源数据不满足操作限制规则，则终端设备将该接入业务通过配置接口返回，不进行之后的存储操作和预处理操作。

步骤S1012，若是，则存储所述目标文件源数据使所述操作限制规则生效以对所述目标文件源数据进行所述文件转换处理得到所述文件元数据。

若终端设备判断到目标文件源数据满足操作限制规则，则将该目标源文件存储于分布式文件服务系统的各个设备上，使各设备之间的能够进行信息共享和传输，同时，终端设备对该目标文件源数据进行转换处理的操作，以通过该操作得到该目标文件源数据对应的文件元数据。

具体的，例如，终端设备首先判断目标文件源数据是否满足操作限制规则中所限制的可操作文件大小、可操作文件数量、可操作文件格式等配置参数，若是判断到该目标文件源数据满足该可操作文件大小、该可操作文件数量、该可操作文件格式等配置参数，则将该目标文件源数据存储于分布式文件服务系统的多个设备和地点，并使该各设备之间的能够实现信息共享和信息传输，同时，终端设备开始对该目标文件源数据进行转换处理的操作，以通过该操作得到该目标文件源数据对应的文件元数据。

需要说明的是，在本实施例中，终端设备针对满足操作限制规则的目标文件源数据进行的转换处理包括：数据集成、数据清洗、数据转换等操作，其中，该数据集成包括：整合不同数据源中代表不同意义的相同字段名、规范不同数据源中的字段结构、解决字段冗余等；该数据清洗包括：数据删除、数据更正、数据填充和数据平滑，通过该数据清洗，以提高数据质量的唯一性、完整性、一致性、有效性与准确性的要求；该数据转换包括：数据标准化、数据离散化和数据泛化，通过该数据转换，提高模型的拟合程度。

进一步地，在一种可行的实施例中，终端设备在判断到目标文件源数据满足操作限制规则并对该目标文件源数据进行存储之后，进一步对该目标文件源数据进行数据集成、数据清洗、数据转换等操作，从而得到该目标文件源数据对应的文件元数据。

具体的，例如，终端设备通过配置接口进行业务接入，从而获取到了接入业务的多个目标文件源数据，并在判断到多个该目标文件源数据都满足操作限制规则，以将多个该目标文件源数据存储于分布式文件服务系统后，对多个该目标文件数据源中的多个字段进行检测，发现两个数据源中都有一个字段名字叫“Payment”，但其实一个数据源中记录的是税前的薪水，另一个数据源中是税后的薪水，同时发现同样是存储员工薪水的Payment字段，一个数据源中该字段存为INTEGER型，另一个数据源中该字段存为CHAR型，因此需要对多个该目标源数据及进行转换处理，使得同一字段名表示相同的含义，同时也使得同一字段名在不同的数据源中保持数据类型的一致性，便于在不同数据源中快速、准确地查询数据。

需要说明的是，在本实施例中，一旦终端设备对目标文件源数据是否满足操作限制规则进行校验后，即意味着该操作限制规则的状态变更为生效状态。

进一步的，在一实施方式中，在上述步骤S10，对接入业务的目标文件源数据进行预处理操作，还包括：

步骤S102，获取多个所述接入业务各自的租户信息；

终端设备在判断到接入业务的目标文件源数据满足操作限制规则，并且将该目标文件源数据存储于分布式文件服务系统后，识别该接入业务的多个目标文件源数据各自的租户信息，并获取多个该租户信息。

需要说明的是，在本实施例中，租户信息包括：租户名称（user_id）、租户地址、租户代码、租户类型。

具体的，例如，终端设备在获取到接入业务的目标文件源数据后，联合查询该目标文件源数据各自的表格，以获取到不同接入业务各自所属的租户的租户名称、租户地址、租户代码等信息，将该租户名称、该租户地址、该租户代码、租户类型等信息用来表征该接入业务对应目标文件源数据所属的租户的租户信息，通过该租户信息将多个目标文件源数据进行区分，既保证了分布式文件服务系统中各目标文件源数据之间的独立性和安全性，又能使各目标文件源数据之间实现连续性数据交互。

步骤S103，将各所述租户信息进行标识得到租户标识数据；

终端设备在获取到各租户信息后，抽取能够表征各租户的单列或多列字段，使用该单列或者多列字段去标识租户信息形成多租户标识数据，以通过该租户标识数据去将众多租户的信息区分开来。

具体的，例如，终端设备从满足操作限制规则的目标文件源数据中抽取多个数据源，从该多个数据源中获取关于租户信息的单列或者多列字段，如租户名称、该租户地址、该租户代码、租户类型等，判断该单列字段或者数个该单列字段的组合能否表征该租户，如，若获取的单列字段为租户代码，并且能够基于该租户代码判断该接入业务的归属租户，则可将该租户代码作为标识数据，实现租户信息的标识，或者，若获取的单列字段为租户地址，并且无法通过该租户地址确定唯一的租户，则该租户地址无法作为标识该租户的标识数据，需要添加另外的字段用以所确定该租户信息。

步骤S104，根据所述租户标识数据针对所述目标文件源数据进行数据隔离。

需要说明的是，在本实施例中，数据隔离具体可以为逻辑层面上的数据逻辑隔离。

终端设备在获取到多个租户的各标识数据后，基于该各标识数据，对目标文件源数据进行数据逻辑隔离，以实现该各目标文件源数据相互之间的逻辑独立。

具体的，例如，终端设备通过多租户的标识数据能够识别接入业务所归属的租户，同时，也可以通过该标识数据，将多租户信息进行逻辑隔离，使得被逻辑隔离的多租户不可直接进行信息共享和传输，若要实现被逻辑隔离的租户之间的信息共享和传输，则可以采用协议转换、数据格式剥离或者数据流控制等方法实现在两个逻辑隔离区域之间进行共享和传输，此时的数据传输是在可控制状态下实现的单向传输。

进一步的，步骤S10，针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

步骤S40，获取对所述目标文件源数据进行所述文件转换处理的过程参数。

终端设备在对满足操作限制规则的目标文件源数据进行转换处理的过程中，获取转换处理的过程参数。

具体的，例如，当终端设备判断到接入业务的目标文件源数据满足可操作文件大小、可操作文件数量、可操作文件格式等该操作限制规则的配置参数，并将该目标文件源数据存储之后，再进一步对存储后该目标文件源数据进行数据集成、数据清洗、数据转换等转换处理的操作，并在此过程中，获取进行该转换处理的操作的过程参数。

需要说明的是，在本实施例中，转换处理的过程参数包括：数据集成过程参数、数据清洗过程参数和数据转换过程参数。

具体的，例如，终端设备在将目标文件源数据进行数据集成、数据清洗、数据转换等操作后，一方面得到该目标文件源数据的对应文件元数据，另一方面，分别在对该目标文件源数据进行数据集成、数据清洗、数据转换等转换处理的过程中，获取得到数据集成过程参数、数据清洗过程参数、数据转换过程参数等转换处理的过程参数。

进一步的，步骤S10，针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

步骤S50，构建各所述租户信息与所述租户标识数据之间的第一映射关系，并获取构建所述第一映射关系的过程参数；

终端设备将目标文件源数据中的完整的租户信息与通过标识该租户信息得到的租户标识数据进行映射存储，并在进行该映射存储的过程中，获取构建该租户信息与该租户标识数据之间第一映射关系的过程参数。

具体的，例如，终端设备获取目标文件源数据表格中关于租户信息的单列或者多段字段，如字段名为租户名称、租户地址、租户代码、租户类型等字段列的数据，经检测，通过该租户代码能够确定该目标文件源数据中的唯一租户，因此将该租户代码所属的字段列进行标注，并将该租户代码作为标识该租户信息的标识数据，此时，对该租户代码与该租户信息进行映射存储，并获取构建该租户代码与该租户信息之间第一映射关系的过程的过程参数。通过该标识数据和该过程参数，既能保证各租户信息之间的独立性，又能提升租户信息的安全性。

步骤S60，构建所述目标文件源数据与所述文件元数据之间的第二映射关系，并获取构建所述第二映射关系的过程参数。

终端设备将通过配置接口接入的，并从接入业务中获取的目标文件源数据和该目标文件源数经过转换处理得到的文件元数据进行映射存储，并在进行该映射存储的过程中，获取构建该目标文件源数据与该文件元数据之间的第二映射关系的过程参数。

具体的，例如，终端设备在A目标文件源数据中关于员工薪水的“Payment”字段为INTEGER型，而在B目标文件源数据中关于员工薪水的“Payment”字段为CHAR型，经过数据集成、数据清洗、数据转换等转换处理操作后，将该A目标文件源数据中的“Payment”字段和该B目标文件源数据中的“Payment”字段统一为CHAR型，并将该转换处理之前INTEGER型的“Payment”字段和经过转换处理后CHAR型的“Payment”字段做映射存储，并获取构建该INTEGER型的“Payment”字段与该CHAR型的“Payment”字段之间第二映射关系的过程的过程参数。

步骤S30，将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

终端设备将通过配置接口接入的目标文件源数据、由该目标文件源数据经过转换处理得到的文件元数据，以及对多租户信息进行数据标识得所到的多租户标识数据，分散存储于于分布式文件服务系统的多各地点或多个设备，以实现文件服务，同时将转换处理的过程参数、第一映射关系的过程参数和第二映射关系的过程参数进行编码形成对应的业务编码文件，将该业务编码文件也分散存储于分布式文件服务系统以进行文件服务。

本实施例中，终端设备获取接入业务的目标文件源数据，并针对该接入业务的该目标源文件进行预处理操作，得到该目标文件源数据对应的文件元数据；进一步获取进行该预处理操作的过程参数，并将该过程参数进行编码，得到唯一标识该接入业务的业务编码文件；终端设备将通过配置接口接入的目标文件源数据、由该目标文件源数据经过转换处理得到的文件元数据，以及对多租户信息进行数据标识得所到的多租户标识数据，分散存储于于分布式文件服务系统的多各地点或多个设备，以实现文件服务，同时将转换处理的过程参数、第一映射关系的过程参数和第二映射关系的过程参数进行编码形成对应的业务编码文件，将该业务编码文件也分散存储于分布式文件服务系统以进行文件服务。

本发明提高了在服务器集群上针对海量数据进行存储的存储效率，降低了数据存储成本，并保证了基于数据存储进行文件服务的过程连续不中断，还保障了数据在读写过程中的安全性，提升对接入业务对应源数据进行存储的灵活性。

进一步地，基于上述第一实施例，提出本发明文件服务方法的第二实施例。

本实施例与上述第一实施例之间的主要区别在于，在上述步骤S30，“分散存储于分布式文件服务系统”之后，本发明文件服务方法，还可以包括：

步骤a，根据接收到的文件服务请求从分布式文件服务系统获取对应的所述业务编码文件；

终端设备将目标文件源数据、通过对该目标文件源数据转换处理操作和数据逻辑隔离操作所得到的文件元数据、以及，通过对转换处理的过程参数和构建第一映射关系和第二映射关系的过程参数进行编码得到的业务编码文件，分散存储于分布式文件服务系统之后，根据接收到的需要访问分布式文件服务系统的文件服务请求，从该分布式文件服务系统中获取该文件服务请求对应的业务编码文件。

具体地，例如，终端设备在接收到客户端发起的需要访问分布式文件服务系统的文件服务请求之后，获取该客户端所输入的用户名和密码，并通过解析该用户名和该密码获取该用户的信息（如该用户所属租户、该用户所属的租户代码、该用户地址ip等信息），然后，终端设备依据各租户信息的标识数据确定该用户所归属租户，并获取该租户的完整租户信息，最后，终端设备在确定该用户的归属租户之后，进一步基于解析该用户提出的文件服务请求，从分布式文件服务系统中提取该客户端所归属租户对应的业务编码文件，并最终返回该业务编码文件至该客户端。

步骤b，解析所述业务编码文件以确定所述文件元数据映射的目标文件源数据；

终端设备在从分布式文件服务系统中获取文件服务请求对应的业务编码文件后，解析该业务编码文件，从而获取该业务编码文件中所包含的预处理操作的过程参数，基于该过程参数确定该文件服务请求所对应文件元数据映射的目标文件源数据。

具体的，例如，终端设备解析业务编码文件，以获取该业务编码中所包含的转换处理的过程参数、构建第一映射关系的过程参数和第二映射关系的过程参数等信息后，解析该转换处理的过程参数、该第一映射关系的过程参数和该第二映射关系的过程参数，然后，终端设备按照该各个过程参数执行反向的进行转换处理和构建第一映射关系和第二映射关系的操作，确定出文件元数据所对应的目标文件源数据。如，由于检测到某一目标文件源数据中的多个字段之间存在强相关性或者几个字段间可以相互推导得到的，产生了数据冗余的问题，而经过转换处理后可剔除非必要数据，提高数据质量。因此，在解析业务编码文件时，可获取到降低字段冗余的过程参数，基于该过程参数，最终返回到未经降冗余操作的该目标文件源数据。

步骤c，从所述分布式文件服务系统获取所述目标文件源数据以执行所述文件服务请求。

终端设备通过解析业务编码文件使得文件元数据返回至目标文件源数据后，可对该目标文件源数据执行下载操作，并将下载的该目标文件源数据返回至发起文件服务请求的客户端，达成执行由该客户端发起的文件服务请求的操作。

本实施例中，通过终端设备将目标文件源数据、通过对该目标文件源数据转换处理操作和数据逻辑隔离操作所得到的文件元数据、以及，通过对转换处理的过程参数和构建第一映射关系和第二映射关系的过程参数进行编码得到的业务编码文件，分散存储于分布式文件服务系统之后，根据接收到的需要访问分布式文件服务系统的文件服务请求，从该分布式文件服务系统中获取该文件服务请求对应的业务编码文件；解析该业务编码文件，从而获取该业务编码文件中所包含的预处理操作的过程参数，基于该过程参数确定该文件服务请求所对应文件元数据映射的目标文件源数据；终端设备通过解析业务编码文件使得文件元数据返回至目标文件源数据后，可对该目标文件源数据执行下载操作，并将下载的该目标文件源数据返回至发起文件服务请求的客户端，达成执行由该客户端发起的文件服务请求的操作。

此外，本发明实施例还提出一种文件服务系统，请参照图4，图3为本发明文件服务系统一实施例的功能模块示意图。如图4所示，本发明文件服务系统，包括：

预处理模块10，用于对接入业务的目标文件源数据进行预处理操作；

编码模块20，用于针对所述预处理操作的过程参数进行编码得到业务编码文件；

存储模块30，用于将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

进一步地，本发明文件服务系统，还包括：

第一获取模块，用于根据接收到的文件服务请求从分布式文件服务系统获取对应的所述业务编码文件；

解析模块，用于解析所述业务编码文件以确定所述文件元数据映射的目标文件源数据；

请求执行模块，用于从所述分布式文件服务系统获取所述目标文件源数据以执行所述文件服务请求。

进一步地，本发明文件服务系统，还包括：

配置模块，用于配置操作限制规则；

所述预处理操作包括：文件转换处理，编码模块20，包括：

转换处理单元，用于根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据。

进一步地，转换处理单元，包括：

校验子单元，用于校验所述接入业务的所述目标文件源数据是否符合所述操作限制规则；

转换处理子单元，用于校验子单元的校验结果为是，则存储所述目标文件源数据使所述操作限制规则生效以对所述目标文件源数据进行所述文件转换处理得到所述文件元数据。

进一步地，所述过程参数包括：转换处理的过程参数，本发明文件服务系统，还包括：

第二获取模块，用于获取对所述目标文件源数据进行所述文件转换处理的过程参数。

进一步地，所述过程参数还包括：构建映射关系的过程参数，本发明文件服务系统，还包括：

第三获取模块，用于构建各所述租户信息与所述租户标识数据之间的第一映射关系，并获取构建所述第一映射关系的过程参数；

第四获取模块，用于构建所述目标文件源数据与所述文件元数据之间的第二映射关系，并获取构建所述第二映射关系的过程参数。

进一步地，所述预处理操作包括：数据隔离，预处理模块10，包括：

获取单元，用于获取多个所述接入业务各自的租户信息；

标识单元，用于将各所述租户信息进行标识得到租户标识数据；

数据隔离单元，用于根据所述租户标识数据针对所述目标文件源数据进行数据隔离。

本发明文件服务系统的各个功能模块的具体实施方式与上述文件服务方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有文件服务程序，所述文件服务程序被处理器执行时实现如上所述的文件服务方法的步骤。

本发明文件服务系统和计算机可读存储介质的各实施例，均可参照本发明文件服务方法各个实施例，此处不再赘述。

此外，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上文件服务方法的任一项实施例所述的文件服务方法的步骤。

本发明计算机程序产品的具体实施例与上述文件服务方法的各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文件服务方法，其特征在于，所述文件服务方法包括：

对接入业务的目标文件源数据进行预处理操作；

针对所述预处理操作的过程参数进行编码得到业务编码文件；

将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

2.如权利要求1所述的文件服务方法，其特征在于，在所述分散存储于分布式文件服务系统的步骤之后，还包括：

根据接收到的文件服务请求从分布式文件服务系统获取对应的所述业务编码文件；

解析所述业务编码文件以确定所述文件元数据映射的目标文件源数据；

从所述分布式文件服务系统获取所述目标文件源数据以执行所述文件服务请求。

3.如权利要求1所述的文件服务方法，其特征在于，在所述对接入业务的目标文件源数据进行预处理操作的步骤之前，还包括：

配置操作限制规则；

所述预处理操作包括：文件转换处理，所述对接入业务的目标文件源数据进行预处理操作的步骤，包括：

根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到所述文件元数据。

4.如权利要求3所述的文件服务方法，其特征在于，所述根据所述操作限制规则对接入业务的目标文件源数据进行所述文件转换处理得到文件元数据的步骤，包括：

校验所述接入业务的所述目标文件源数据是否符合所述操作限制规则；

若是，则存储所述目标文件源数据使所述操作限制规则生效以对所述目标文件源数据进行所述文件转换处理得到所述文件元数据。

5.如权利要求3或者4所述的文件服务方法，其特征在于，所述过程参数包括：转换处理的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

获取对所述目标文件源数据进行所述文件转换处理的过程参数。

6.如权利要求5所述的文件服务方法，其特征在于，所述过程参数还包括：构建映射关系的过程参数，所述针对所述预处理操作的过程参数进行编码得到业务编码文件的步骤之前，还包括：

构建各租户信息与租户标识数据之间的第一映射关系，并获取构建所述第一映射关系的过程参数；和，

构建所述目标文件源数据与所述文件元数据之间的第二映射关系，并获取构建所述第二映射关系的过程参数。

7.如权利要求1所述的文件服务方法，其特征在于，所述预处理操作包括：数据隔离，所述对接入业务的目标文件源数据进行预处理操作的步骤，包括：

获取多个所述接入业务各自的租户信息；

将各所述租户信息进行标识得到租户标识数据；

根据所述租户标识数据针对所述目标文件源数据进行数据隔离。

8.一种文件服务系统，其特征在于，所述文件服务系统包括：

预处理模块，用于对接入业务的目标文件源数据进行预处理操作；

编码模块，用于针对所述预处理操作的过程参数进行编码得到业务编码文件；

存储模块，用于将所述目标文件源数据、经过所述预处理操作得到的文件元数据和所述业务编码文件，分散存储于分布式文件服务系统以进行文件服务。

9.一种文件服务设备，其特征在于，所述文件服务设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的文件服务程序，所述文件服务程序被所述处理器执行时实现如权利要求1至7中任一项所述的文件服务方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文件服务程序，所述文件服务程序被处理器执行时实现如权利要求1至7中任一项所述的文件服务方法的步骤。

Images