CN109902067B - 文件处理方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本发明提出一种文件处理方法、装置、存储介质及计算机设备，文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点，该方法包括获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理。通过本发明能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

Description

文件处理方法、装置、存储介质及计算机设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件处理方法、装置、存储介质及计算机设备。

背景技术

数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL(Structured Query Language，结构化查询语言)功能，可以将SQL语句转换为分布式计算任务执行。

数据仓库工具一般运行于Hadoop分布式文件系统上，在运行过程中会产生大量的小文件。小文件的产生可能来自于：数据源导入数据仓库工具时，或者通过读取数据仓库工具的数据表做离线计算时产生。通常对单个文件，计算时需要占掉一个计算进程或者线程，大量的小文件耗费较多的计算资源，因此，有必要对数据仓库工具运行过程中所产生的文件进行处理。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种文件处理方法、装置、存储介质及计算机设备，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第一方面实施例提出的文件处理方法，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，包括：获取所述目标类型的节点所产生的镜像文件；结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第一方面实施例提出的文件处理方法，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第二方面实施例提出的文件处理装置，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，包括：获取模块，用于获取所述目标类型的节点所产生的镜像文件；解析模块，用于结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；合并处理模块，用于根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第二方面实施例提出的文件处理装置，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第三方面实施例提出的非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器被执行时，使得移动终端能够执行一种文件处理方法，所述方法包括：本发明第一方面实施例提出的文件处理方法。

本发明第三方面实施例提出的非临时性计算机可读存储介质，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为达到上述目的，本发明第四方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行一种文件处理方法，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，所述方法包括：获取所述目标类型的节点所产生的镜像文件；结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第四方面实施例提出的计算机程序产品，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

本发明第五方面还提出一种计算机设备，该计算机设备包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述计算机设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：获取所述目标类型的节点所产生的镜像文件；结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理。

本发明第五方面实施例提出的计算机设备，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的文件处理方法的流程示意图；

图2为本发明实施例的应用场景示意图；

图3是本发明一实施例提出的文件处理装置的结构示意图；

图4是本发明另一实施例提出的文件处理装置的结构示意图；

图5是本发明一个实施例提出的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的文件处理方法的流程示意图。

本实施例以文件处理方法被配置为文件处理装置中来举例说明。

本实施例中文件处理方法可以被配置在文件处理装置中，文件处理装置可以设置在服务器中，或者也可以设置在电子设备中，本申请实施例对此不作限制。

本实施例以文件处理方法被配置在电子设备中为例。

文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点，目标类型的节点可以为元数据管理中心NameNode节点。

需要说明的是，本申请实施例的执行主体，在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者电子设备中的相关的后台服务，对此不作限制。

数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL(Structured Query Language，结构化查询语言)功能，可以将SQL语句转换为分布式计算任务执行。

数据仓库工具一般运行于Hadoop分布式文件系统上，在运行过程中会产生大量的小文件。小文件的产生可能来自于：数据源导入数据仓库工具时，或者通过读取数据仓库工具的数据表做离线计算时产生。通常对单个文件，计算时需要占掉一个计算进程或者线程，大量的小文件耗费较多的计算资源，因此，有必要对数据仓库工具运行过程中所产生的文件进行处理。

为了解决上述技术问题，本发明实施例中提供一种文件处理方法，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

参见图1，该方法包括：

S101：获取目标类型的节点所产生的镜像文件。

其中，目标类型的节点可以为元数据管理中心NameNode节点。

本发明实施例在具体执行的过程中，为了实现自动化地识别数据仓库工具运行时所产生的文件，可以在数据仓库工具运行过程中，将目标类型的节点所产生的镜像文件存储至本地存储设备中。

本发明实施例中，可以直接在本地存储设备中获取元数据管理中心NameNode节点所产生的镜像文件，而后，对该镜像文件进行解析。

其中，元数据管理中心NameNode节点所产生的镜像文件，该镜像文件具体是与原始文件所对应的，该原始文件即为数据仓库工具运行时所产生的文件。

其中，可以实时地对镜像文件进行解析，或者，也可以间隔一定的时间对镜像文件进行解析，对此不作限制。

S102：结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息。

其中的原始文件为数据仓库工具的多个数据库表和多个分区中，每个数据库表所对应的文件，以及每个分区所对应的文件。

其中的目录信息用于描述每个数据库表和每个分区的具体的组织架构。

其中的信息包括：数量和所占用存储空间的大小。

本发明实施例在具体执行的过程中，可以结合数据仓库工具的目录信息，确定数据仓库工具的多个数据库表和多个分区中，与各数据库表对应的第一原始文件的信息，以及与各分区对应的第二原始文件的信息。

其中，与数据库表所对应的原始文件可以被称为第一原始文件，与各分区对应的原始文件可以被称为第二原始文件。

通过结合数据仓库工具的目录信息，确定数据仓库工具的多个数据库表和多个分区中，与各数据库表对应的第一原始文件的信息，以及与各分区对应的第二原始文件的信息，可以实现及时地、精准地对原始文件进行定位，便于及时地获取数据库表对应的原始文件的信息。

本发明实施例中，由于是结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息，而不是直接通过预设的接口访问元数据管理中心NameNode节点，能够简化原始文件的信息的获取过程，提升文件处理效率，且由于不是直接通过预设的接口远程调用访问元数据管理中心NameNode节点，而是获取镜像文件进行分析，不会对NameNode节点带来额外的访问压力，可以避免对生产环境的稳定性带来不利影响。

S103：根据原始文件的信息，结合预设规则对原始文件进行合并处理。

可选地，一些实施例中，根据原始文件的信息，结合预设规则对原始文件进行合并处理，包括：根据各第一原始文件的信息，确定各数据库表对应的，第一原始文件所占用存储空间的大小的第一平均值，并确定各分区对应的，第二原始文件所占用存储空间的大小的第二平均值，根据第一平均值、第二平均值，第一原始文件的数量，以及第二原始文件的数量，结合预设规则对原始文件进行合并处理。

可选地，一些实施例中，根据第一平均值、第二平均值，第一原始文件的数量，以及第二原始文件的数量，结合预设规则对原始文件进行合并处理，包括：在第一平均值或者第二平均值，小于或者等于第一预设阈值时，对第一原始文件或者第二原始文件进行合并处理；和/或，在第一原始文件的数量或者第二原始文件的数量，大于第二预设阈值时，对第一原始文件或者第二原始文件进行合并处理。

其中的第一预设阈值和第二预设阈值可以由用户根据需求进行设定，或者，也可以由电子设备的出厂程序预先设定，对此不作限制。

通过设置第一预设阈值和第二预设阈值，在第一平均值或者第二平均值，小于或者等于第一预设阈值时，对第一原始文件或者第二原始文件进行合并处理；和/或，在第一原始文件的数量或者第二原始文件的数量，大于第二预设阈值时，对第一原始文件或者第二原始文件进行合并处理，设置了合理的进行合并的判断条件，不仅能够实现自动化地识别数据仓库工具运行时所产生的文件，还能够及时地对文件进行合并处理，且，由于第一预设阈值和第二预设阈值可以由用户根据需求进行设定，或者，也可以由电子设备的出厂程序预先设定，有效地提升了合并处理时机设置的灵活性，提升方法适用性。

本实施例中，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

作为一种示例，参见图2，图2为本发明实施例的应用场景示意图。其中，元数据管理中心NameNode节点会定期把元数据信息包括文件信息记录在本地磁盘(该磁盘即为本发明中的本地存储设备)，存储后的内容可以被称为镜像文件(Image)；定期启动Analysis分析进程，后台获取元数据管理中心NameNode节点产生的Image文件，解析Image文件，按照Hive目录(对应Hive的单个表或者单个分区)获得所述镜像文件所属的原始文件的信息，该信息可以例如为文件数目和文件大小等信息；把解析得到的结果存入任意可供查询的存储系统；查询所得到的Hive目录信息，结合预设规则计算得到需要合并的Hive表或者分区，预设规则包括：1)原始文件所占用的存储空间的大小的平均值，小于等于第一预设阈值；2)原始文件的数量大于等于第二预设阈值，条件皆符合则认为对应目录小文件过多，需要进行合并。

本发明实施例在具体执行的过程中，考虑到数据本身是业务敏感资源，此过程可以由电子设备自动完成，也可以由相关人员介入确认，下发指令合并对应的Hive表或者分区，具体地可以是通过MapReduce/Spark或者Hive进行计算。

图3是本发明一实施例提出的文件处理装置的结构示意图。

文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点。

参见图3，该装置300包括：

获取模块301，用于获取目标类型的节点所产生的镜像文件；

解析模块302，用于结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；

合并处理模块303，用于根据原始文件的信息，结合预设规则对原始文件进行合并处理。

可选的，一些实施例中，参见图4，该装置300还包括：

存储模块304，用于在数据仓库工具运行过程中，将目标类型的节点所产生的镜像文件存储至本地存储设备中。

可选的，一些实施例中，信息包括：数量和所占用存储空间的大小，解析模块302，具体用于：

结合数据仓库工具的目录信息，确定数据仓库工具的多个数据库表和多个分区中，与各数据库表对应的第一原始文件的信息，以及与各分区对应的第二原始文件的信息。

可选的，一些实施例中，合并处理模块303，具体用于：

根据各第一原始文件的信息，确定各数据库表对应的，第一原始文件所占用存储空间的大小的第一平均值，并确定各分区对应的，第二原始文件所占用存储空间的大小的第二平均值；

根据第一平均值、第二平均值，第一原始文件的数量，以及第二原始文件的数量，结合预设规则对原始文件进行合并处理。

可选的，一些实施例中，合并处理模块303，具体用于：

在第一平均值或者第二平均值，小于或者等于第一预设阈值时，对第一原始文件或者第二原始文件进行合并处理；和/或，

在第一原始文件的数量或者第二原始文件的数量，大于第二预设阈值时，对第一原始文件或者第二原始文件进行合并处理。

需要说明的是，前述图1-图2实施例中对文件处理方法实施例的解释说明也适用于该实施例的文件处理装置300，其实现原理类似，此处不再赘述。

本实施例中，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

图5是本发明一个实施例提出的计算机设备的结构示意图。

该计算机设备可以是手机、平板电脑等。

参见图5，本实施例的计算机设备50包括：壳体501、处理器502、存储器503、电路板504、电源电路505，电路板504安置在壳体501围成的空间内部，处理器502、存储器503设置在电路板504上；电源电路505，用于为计算机设备50各个电路或器件供电；存储器503用于存储可执行程序代码；其中，处理器502通过读取存储器503中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行：

获取目标类型的节点所产生的镜像文件；

结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；

根据原始文件的信息，结合预设规则对原始文件进行合并处理。

需要说明的是，前述图1-图2实施例中对文件处理方法实施例的解释说明也适用于该实施例的计算机设备50，其实现原理类似，此处不再赘述。

本实施例中的计算机设备，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种文件处理方法，文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点，方法包括：

获取目标类型的节点所产生的镜像文件；

结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；

根据原始文件的信息，结合预设规则对原始文件进行合并处理。

本实施例中的非临时性计算机可读存储介质，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行一种文件处理方法，文件为数据仓库工具中的文件，数据仓库工具包括目标类型的节点，方法包括：

获取目标类型的节点所产生的镜像文件；

结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；

根据原始文件的信息，结合预设规则对原始文件进行合并处理。

本实施例中的计算机程序产品，通过获取目标类型的节点所产生的镜像文件；结合数据仓库工具的目录信息，对镜像文件进行解析得到镜像文件所属的原始文件的信息；根据原始文件的信息，结合预设规则对原始文件进行合并处理，能够实现自动化地识别数据仓库工具运行时所产生的文件，并及时地对文件进行合并处理。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种文件处理方法，其特征在于，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，所述方法包括以下步骤：

获取所述目标类型的节点所产生的镜像文件；

结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；

根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理；

所述信息包括：数量和所占用存储空间的大小，所述结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息，包括：

结合所述数据仓库工具的目录信息，确定所述数据仓库工具的多个数据库表和多个分区中，与各所述数据库表对应的第一原始文件的信息，以及与各所述分区对应的第二原始文件的信息。

2.如权利要求1所述的文件处理方法，其特征在于，在所述获取所述目标类型的节点所对应的镜像文件之前，还包括：

在所述数据仓库工具运行过程中，将所述目标类型的节点所产生的镜像文件存储至本地存储设备中。

3.如权利要求1所述的文件处理方法，其特征在于，所述根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理，包括：

根据各所述第一原始文件的信息，确定各所述数据库表对应的，所述第一原始文件所占用存储空间的大小的第一平均值，并确定各所述分区对应的，所述第二原始文件所占用存储空间的大小的第二平均值；

根据所述第一平均值、所述第二平均值，所述第一原始文件的数量，以及所述第二原始文件的数量，结合预设规则对所述原始文件进行合并处理。

4.如权利要求3所述的文件处理方法，其特征在于，所述根据所述第一平均值、所述第二平均值，所述第一原始文件的数量，以及所述第二原始文件的数量，结合预设规则对所述原始文件进行合并处理，包括：

在所述第一平均值或者第二平均值，小于或者等于第一预设阈值时，对所述第一原始文件或者第二原始文件进行合并处理；和/或，

在所述第一原始文件的数量或者所述第二原始文件的数量，大于第二预设阈值时，对所述第一原始文件或者第二原始文件进行合并处理。

5.一种文件处理装置，其特征在于，所述文件为数据仓库工具中的文件，所述数据仓库工具包括目标类型的节点，所述装置包括：

获取模块，用于获取所述目标类型的节点所产生的镜像文件；

解析模块，用于结合所述数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；

合并处理模块，用于根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理；

所述信息包括：数量和所占用存储空间的大小，所述解析模块，具体用于：

结合所述数据仓库工具的目录信息，确定所述数据仓库工具的多个数据库表和多个分区中，与各所述数据库表对应的第一原始文件的信息，以及与各所述分区对应的第二原始文件的信息。

6.如权利要求5所述的文件处理装置，其特征在于，还包括：

存储模块，用于在所述数据仓库工具运行过程中，将所述目标类型的节点所产生的镜像文件存储至本地存储设备中。

7.如权利要求6所述的文件处理装置，其特征在于，所述合并处理模块，具体用于：

根据各所述第一原始文件的信息，确定各所述数据库表对应的，所述第一原始文件所占用存储空间的大小的第一平均值，并确定各所述分区对应的，所述第二原始文件所占用存储空间的大小的第二平均值；

根据所述第一平均值、所述第二平均值，所述第一原始文件的数量，以及所述第二原始文件的数量，结合预设规则对所述原始文件进行合并处理。

8.如权利要求7所述的文件处理装置，其特征在于，所述合并处理模块，具体用于：

在所述第一平均值或者第二平均值，小于或者等于第一预设阈值时，对所述第一原始文件或者第二原始文件进行合并处理；和/或，

在所述第一原始文件的数量或者所述第二原始文件的数量，大于第二预设阈值时，对所述第一原始文件或者第二原始文件进行合并处理。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的文件处理方法。

10.一种计算机设备，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述计算机设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：

获取目标类型的节点所产生的镜像文件；

结合数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息；

根据所述原始文件的信息，结合预设规则对所述原始文件进行合并处理；

所述信息包括：数量和所占用存储空间的大小，所述结合数据仓库工具的目录信息，对所述镜像文件进行解析得到所述镜像文件所属的原始文件的信息，包括：

结合所述数据仓库工具的目录信息，确定所述数据仓库工具的多个数据库表和多个分区中，与各所述数据库表对应的第一原始文件的信息，以及与各所述分区对应的第二原始文件的信息。

Images