CN106294374B - 小文件合并的方法和数据查询系统 - Google Patents

Abstract

本发明公开了一种小文件合并的方法和数据查询系统。其中，该方法包括：数据查询系统接收客户端的合并请求；数据查询系统根据合并请求生成合并任务；以及数据查询系统将合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，数据合并进程对数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，数据合并进程为数据查询系统中的进程。本发明解决了存储合并小文件过程的中间临时结果所造成的消耗大量的I/O开销的技术问题。

Description

小文件合并的方法和数据查询系统

技术领域

本发明涉及数据库领域，具体而言，涉及一种小文件合并的方法和数据查询系统。

背景技术

在Hadoop中的分布式文件系统(Hadoop Distributed File System，简称为HDFS)中保存的数据文件，数据文件的地址信息会映射到命名节点(Namenode)的内存中，当客户端读取HDFS中的数据文件，客户端会先在Namenode内存中查找数据文件的地址信息，然后把对应的地址信息返回给客户端，客户端再通过返回的地址信息直接在Datanode上读取数据文件。当HDFS中数据的不断增加，文件数量变大，需要映射的地址信息也就增大，这就占用了大量Namenode的内存空间。在一个HDFS系统中如果存在大量的小文件，将会消耗大量的Namenode内存空间。例如，在一个生产集群中有大约60000000个小文件，这些小文件消耗了95％的Namenode的内存，但只占用了30％的存储空间。就造成了磁盘空间还没满，Namenode的内存空间就已经满了的结果。

在一个web日志分析系统中，由于web页面的推广力度不同，不同时段产生的日志量也不同，有时每个小时产生几GB的日志，有时只产生几KB的日志。这样在HDFS文件系统中就存在大量只有几KB大小的文件。白白占用大量的Namenode内存空间。

为了解决小文件占用过多的Namenode的内存的问题，目前合并HDFS小文件主要采用创建归档文件的方式，通过Hadoop archive–ArchiveName方式创建一个har文件。这种方式的执行原理是把合并过程转化成Mapreduce操作，Mapreduce是一个很耗时的过程。每次map操作之后都要把中间临时结果保存在本地磁盘中，然后供下一个map使用。这种har文件的存储方式如图1所示，这就导致在文件合并的过程中消耗大量的I/O开销。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种小文件合并的方法和数据查询系统，以至少解决存储合并小文件过程的中间临时结果所造成的消耗大量的I/O开销的技术问题。

根据本发明实施例的一个方面，提供了一种小文件合并的方法，包括：数据查询系统接收客户端的合并请求；所述数据查询系统根据所述合并请求生成合并任务；以及所述数据查询系统将所述合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，所述数据合并进程对所述数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，所述数据合并进程为所述数据查询系统中的进程。

进一步地，所述数据合并进程对所述数据存放节点中存放的小文件进行合并包括：所述数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，所述输入映射表映射的输入目录存储有所述待合并小文件，所述输出映射表映射的输出目录中用于存储所述合并后的文件；按照所述合并任务从所述输入映射表中选择一个或多个待合并小文件；将选择的待合并小文件插入到所述输出映射表中合并为大文件，其中，所述大文件为包含两个以上待合并小文件的文件内容的文件。

进一步地，所述数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表包括：根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表；将选择的待合并小文件插入到所述输出映射表中合并为大文件包括：将从所述第一输入映射表中选择的待合并小文件和从所述第二输入映射表中选择的待合并小文件插入到所述输出映射表，合并为一个大文件。

进一步地，所述合并请求中携带有文件合并后类型信息，则将选择的待合并小文件插入到所述输出映射表中合并为大文件包括：获取所述合并请求所指示的待合并小文件的合并前类型和所述合并后类型信息；在所述选择的待合并小文件的合并前类型与所述合并后类型信息所指示的合并后类型相同时，将所述选择的待合并小文件插入到所述输入映射表中合并为所述大文件；以及在所述选择的待合并小文件的合并前类型与所述合并后的文件的所述合并后类型不同时，将所述选择的待合并小文件的合并前类型转换为所述合并后类型，并且将转换后的待合并小文件插入到所述输入映射表中合并为所述大文件。

进一步地，所述合并前类型包括二进制文件的类型和列示存储文件的类型。

进一步地，在将选择的待合并小文件插入到所述输出映射表中合并为大文件之后，所述方法还包括：按照所述输出映射表更新所述数据库中命名节点存储的地址信息。

进一步地，所述合并请求中还携带有文件合并后的压缩格式信息，则在所述数据合并进程对所述数据存放节点中存放的小文件进行合并之后，所述方法还包括：按照所述压缩格式信息所指示的压缩格式对所述合并后的文件进行压缩。

根据本发明实施例的另一方面，还提供了一种数据查询系统，包括：接收单元，用于接收客户端的合并请求；生成单元，用于根据所述合并请求生成合并任务；以及分发单元，用于将所述合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，所述数据合并进程对所述数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，所述数据合并进程为所述数据查询系统中的进程。

进一步地，所述分发单元包括：创建模块，用于创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，所述输入映射表映射的输入目录存储有所述待合并小文件，所述输出映射表映射的输出目录中用于存储所述合并后的文件；选择模块，用于按照所述合并任务从所述输入映射表中选择两个以上待合并小文件；合并模块，用于将选择的待合并小文件插入到所述输出映射表中合并为大文件，其中，所述大文件为包含两个以上待合并小文件的文件内容的文件。

进一步地，所述创建模块还用于根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表；所述合并模块还用于将从所述第一输入映射表中选择的待合并小文件和从所述第二输入映射表中选择的待合并小文件插入到所述输出映射表，合并为一个大文件。

进一步地，所述合并请求中携带有文件合并后类型信息，所述合并模块包括：获取子模块，用于获取所述合并请求所指示的待合并小文件的合并前类型和所述合并后类型信息；第一合并子模块，用于在所述选择的待合并小文件的合并前类型与所述合并后类型信息所指示的合并后类型相同时，将所述选择的待合并小文件插入到所述输入映射表中合并为所述大文件；以及第二合并子模块，用于在所述选择的待合并小文件的合并前类型与所述合并后的文件的所述合并后类型不同时，将所述选择的待合并小文件的合并前类型转换为所述合并后类型，并且将转换后的待合并小文件插入到所述输入映射表中合并为所述大文件。

进一步地，所述数据查询系统还包括：更新单元，用于在将选择的待合并小文件插入到所述输出映射表中合并为大文件之后，按照所述输出映射表更新所述数据库中命名节点存储的地址信息。

进一步地，所述数据查询系统还包括：压缩模块，用于在所述数据合并进程对所述数据存放节点中存放的小文件进行合并之后，按照所述合并请求所指示的压缩格式对所述合并后的文件进行压缩。

为了实现上述目的，根据本发明的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的小文件合并的方法。

为了实现上述目的，根据本发明的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的小文件合并的方法。

在本发明实施例中，采用数据查询系统接收客户端的合并请求；数据查询系统根据合并请求生成合并任务；数据查询系统将合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，数据合并进程对数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，数据合并进程为数据查询系统中的进程。由于执行小文件合并任务的进程运行在HDFS系统的数据存放节点中，且该进程属于数据查询系统Impala的进程，因此，在Impala接收到客户端发送的合并请求后，能够快速启动执行合并的Impalad进程，降低了合并任务的启动时间，也就提高了合并小文件的合并效率。同时，由于Impalad进程合并时不需要存储中间结果文件，不需要反复调用存储在本地磁盘的中间结果文件，在减少本地磁盘占用的同时节省大量I/O开销，解决了存储合并小文件过程的中间临时结果所造成的消耗大量的I/O开销的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据现有技术的一种小文件合并的方法的示意图；

图2是根据本发明实施例的小文件合并的方法的流程图；

图3是根据本发明实施例的Impala的执行过程示意图；

图4是根据本发明优选实施例的小文件合并的方法的示意图；以及

图5是根据本发明实施例的小文件合并的数据查询系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

名词解释：

HDFS：(Hadoop Distributed File System)是Hadoop中的分布式文件系统。

Impala：是一个数据查询系统，通过SQL语句，查询存储在HDFS上的海量数据。

Namenode：命名节点，HDFS存放数据文件的地址信息保存在Namenode中。当Namenode启动时，会把所有的地址信息加载到内存中。

Datanode：数据节点，存放HDFS数据文件的节点。

Impalad:与Datanode运行在同一节点上，由Impalad进程表示，它接收客户端的合并请求，生成执行计划，执行操作。

本发明提供了一种小文件合并的方法。小文件是HDFS中文件占用存储空间小于HDFS设定块的大小的文件，是未进行合并处理的原始文件。该小文件合并方法可以对HDFS系统中的小文件进行合并，减少Namenode的内存占用。同时，该小文件合并方法利用Impala中的Impalad进程在HDFS数据文件的节点Datanode中直接对小文件进行合并，提高了合并进程的启动效率，还避免了现有技术在合并小文件的过程中消耗大量的I/O开销。

以下结合图2至图4对本发明实施例进行说明。

图2是根据本发明实施例的小文件合并的方法的流程图。如图2所示，该小文件合并的方法包括：

步骤S202，数据查询系统接收客户端的合并请求。

步骤S204，数据查询系统根据合并请求生成合并任务。

步骤S206，数据查询系统将合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，数据合并进程对数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，数据合并进程为数据查询系统中的进程。

客户端向Impala中提交数据处理请求，即数据查询系统接收客户端的合并请求。Impala根据合并请求生成合并任务，并把合并任务分发到运行在Datanode上的Impalad进程中。Impalad直接读取本地Datanode上存储的数据，以对小文件进行合并处理。

由于执行小文件合并任务的进程运行在HDFS系统的数据存放节点中，且该进程属于数据查询系统Impala的进程，因此，在Impala接收到客户端发送的合并请求后，能够快速启动执行合并的Impalad进程，降低了合并任务的启动时间，也就提高了合并小文件的合并效率。同时，由于Impalad进程合并时不需要存储中间结果文件，不需要反复调用存储在本地磁盘的中间结果文件，在减少本地磁盘占用的同时节省大量I/O开销。

可选地，数据合并进程对数据存放节点中存放的小文件进行合并包括：数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，输入映射表映射的输入目录存储有待合并小文件，输出映射表映射的输出目录中用于存储合并后的文件。按照合并任务从输入映射表中选择两个以上待合并小文件。将选择的待合并小文件插入到输出映射表中合并为大文件，其中，大文件为包含两个以上待合并小文件的文件内容的文件。

输入映射表对应待合并小文件，根据输入映射表可以确定待合并小文件的名称和存储地址；输出映射表对应合并后的大文件，通过输出映射表可以查找到合并后的大文件的名称和存储地址。在合并过程中，通过将输入映射表中的待合并小文件插入到输出映射表中，完成对一个或多个待合并小文件的合并。其中，合并后得到的大文件包括被合并的一个或者多个待合并小文件的文件内容。即本实施例所提供的合并方法并不是将多个待合并小文件打包成为一个包括多个小文件的集合，而是将多个待合并的小文件合并成一个大文件，该大文件包括多个小文件的文件内容。同时，输出映射表包括合并后得到的大文件的名称和地址信息，即减少了多个小文件的内存空间的占用。

具体地，在进行文件合并时，可以对多个不同类型的小文件进行合并。在对多个不同类型的小文件进行合并时，为每个类型的小文件建立一个输入映射表，每个输入映射表只存储相同类型的小文件。即数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表包括：根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表。将选择的待合并小文件插入到输出映射表中，得到大文件包括：将从第一输入映射表中选择的待合并小文件和从第二输入映射表中选择的待合并小文件插入到输出映射表，合并为一个大文件。

第一类型的待合并小文件和第二类型的待合并小文件分别插入到输出映射表中，从而完成多个小文件的合并。其中，在合并时可以是同一类型的待合并小文件合并为一个文件块，还可以是不同类型的待合并小文件合并为一个文件块。一个或多个输入映射表对应的小文件可以合并为一个文件块，一个输入映射表对应的小文件也可以存储在多个文件块中。文件块的大小可以根据采用默认的文件块的大小，即与HDFS的文件块大小相同，还可以对每个文件块的大小进行单独设置。

图3是根据本发明实施例的Impala的执行过程示意图。如图所示，客户端提交任务到Impalad，在Impalad中生成执行计划，然后通过协调器把任务发送到执行引擎中，任务在执行引擎中执行，直接访问HDFS上的数据文件进行合并，把合并后的结果写入HDFS中。

在将同一类型的待合并小文件合并为一个文件块时，将该类型的待合并小文件插入到输出映射表中；在将不同类型的待合并小文件合并为一个文件块时，分别对不同类型的待合并小文件进行处理，然后再插入到输出映射表中。

在将选择的待合并小文件插入到输出映射表中合并为大文件时，还需要根据待合并小文件的合并前类型和合并后的文件的合并后类型进行文件的合并，即合并请求中携带有文件合并后类型信息，获取合并请求所指示的待合并小文件的合并前类型和合并后类型信息。在选择的待合并小文件的合并前类型与合并后类型信息所指示的合并后类型相同时，将选择的待合并小文件插入到输入映射表中合并为大文件。在选择的待合并小文件的合并前类型与合并后的文件的合并后类型不同时，将选择的待合并小文件的合并前类型转换为合并后类型，并且将转换后的待合并小文件插入到输入映射表中合并为大文件。

合并后的文件可以按照合并请求所指示的合并后类型进行存储，如果待合并小文件的合并前类型与合并后类型相同，则可以直接插入，如果不同，就需要对待合并小文件的合并前类型进行转换，以满足合并请求所指示的合并后类型的要求。合并前类型和合并后类型包括二进制文件的类型和列示存储文件的类型。其中，二进制文件的类型包括txt等,列示存储文件的类型包括avro文件格式，parquet文件格式，rcfile文件格式、orcfile文件格式等。

图4是根据本发明优选实施例的小文件合并方法的示意图。图4示出了第一输入映射表A1、第二输入映射表A2和输出映射表B。第一输入映射表A1中待合并小文件的合并前类型为txt,第二输入映射表A2中待合并小文件的合并前类型为avro。输出映射表B的指定合并后类型为avro。

(1)将第一输入映射表A1中的待合并小文件合并为一个文件块X，将第二输入映射表A2中的待合并小文件合并为另一个文件块Y。

第一输入映射表A1的待合并小文件的合并前类型与输出映射表的合并后类型不同，将第一输入映射表A1中的待合并小文件的类型txt转换为avro,然后将类型转换后的待合并小文件插入到输出映射表B中作为一个文件块X。

第二输入映射表A2的待合并小文件的合并前类型与输出映射表的合并后类型相同，直接将第二输入映射表A2中的待合并小文件插入到输出映射表B中作为另外一个文件块Y。

这样，第一输入映射表A1中的待合并小文件和第二输入映射表A2中的待合并小文件就分别合并到了映射表B中的两个文件块中，得到两个相同类型的大文件。

(2)将第一输入映射表A1中的待合并小文件和第二输入映射表A2中的待合并小文件合并为一个文件块。

将第一输入映射表A1中的待合并小文件的类型txt转换为avro,然后将类型转换后的待合并小文件插入到输出映射表B中作为一个文件块X。同时，将第二输入映射表A2中的待合并小文件也插入到文件块X中，也就是将两种不同类型的小文件合并到同一个文件块中。

可选地，在将选择的待合并小文件插入到输出映射表中合并为大文件之后，该方法还包括：按照输出映射表更新数据库中命名节点存储的地址信息。合并后的文件存储在输出映射表所对应的输出目录中，通过合并减少了存储的小文件的数量，相应的输出映射表存储的地址信息减少，那么更新后的命名节点存储的地址信息也减少，在存储地址信息和查找合并后的数据时也就减少了内存的占用。

可选地，合并请求中还携带有文件合并后的压缩格式信息，在数据合并进程对数据存放节点中存放的小文件进行合并之后，该方法还包括：按照合并请求所指示的压缩格式对合并后的文件进行压缩。对合并后的文件进行压缩能够减少文件占用的存储存储空间，压缩格式包括但不限于下述格式：gzip，snappy，bzip，lzo。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的小文件合并的方法。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的小文件合并的方法。

图5是根据本发明实施例的小文件合并数据查询系统的示意图。该数据查询系统包括：接收单元10、生成单元30和分发单元50。

接收单元10用于接收客户端的合并请求。

生成单元30用于根据合并请求生成合并任务。

分发单元50用于将合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，数据合并进程对数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，数据合并进程为数据查询系统中的进程。

客户端向Impala中提交数据处理请求，即数据查询系统接收客户端的合并请求。Impala根据合并请求生成合并任务，并把合并任务分发到运行在Datanode上的Impalad进程中。Impalad直接读取本地Datanode上存储的数据，以对小文件进行合并处理。

由于执行小文件合并任务的进程运行在HDFS系统的数据存放节点中，且该进程属于数据查询系统Impala的进程，因此，在Impala接收到客户端发送的合并请求后，能够快速启动执行合并的Impalad进程，降低了合并任务的启动时间，也就提高了合并小文件的合并效率。同时，由于Impalad进程合并时不需要存储中间结果文件，不需要反复调用存储在本地磁盘的中间结果文件，在减少本地磁盘占用的同时节省大量I/O开销。

可选地，分发单元包括：创建模块，用于创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，输入映射表映射的输入目录存储有待合并小文件，输出映射表映射的输出目录中用于存储合并后的文件。选择模块，用于按照合并任务从输入映射表中选择两个以上待合并小文件。合并模块，用于将选择的待合并小文件插入到输出映射表中合并为大文件，其中，大文件为包含两个以上待合并小文件的文件内容的文件。

输入映射表对应待合并小文件，根据输入映射表可以确定待合并小文件的名称和存储地址；输出映射表对应合并后的大文件，通过输出映射表可以查找到合并后的大文件的名称和存储地址。在合并过程中，通过将输入映射表中的待合并小文件插入到输出映射表中，完成对一个或多个待合并小文件的合并。其中，合并后得到的大文件包括被合并的一个或者多个待合并小文件的文件内容。即本实施例所提供的合并方法并不是将多个待合并小文件打包成为一个包括多个小文件的集合，而是将多个待合并的小文件合并成一个大文件，该大文件包括多个小文件的文件内容。同时，输出映射表包括合并后得到的大文件的名称和地址信息，即减少了多个小文件的内存空间的占用。

具体地，在进行文件合并时，可以对多个不同类型的小文件进行合并。在对多个不同类型的小文件进行合并时，为每个类型的小文件建立一个输入映射表，每个输入映射表只存储相同类型的小文件。即创建模块还用于根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表。合并模块还用于将从第一输入映射表中选择的待合并小文件和从第二输入映射表中选择的待合并小文件插入到输出映射表，合并为一个大文件。

第一类型的待合并小文件和第二类型的待合并小文件分别插入到输出映射表中，从而完成多个小文件的合并。其中，在合并时可以是同一类型的待合并小文件合并为一个文件块，还可以是不同类型的待合并小文件合并为一个文件块。一个或多个输入映射表对应的小文件可以合并为一个文件块，一个输入映射表对应的小文件也可以存储在多个文件块中。文件块的大小可以根据采用默认的文件块的大小，即与HDFS的文件块大小相同，还可以对每个文件块的大小进行单独设置。

在将同一类型的待合并小文件合并为一个文件块时，将该类型的待合并小文件插入到输出映射表中；在将不同类型的待合并小文件合并为一个文件块时，分别对不同类型的待合并小文件进行处理，然后再插入到输出映射表中。

在将选择的待合并小文件插入到输出映射表中合并为大文件时，还需要根据待合并小文件的合并前类型和合并后的文件的合并后类型进行文件的合并，即合并请求中携带有文件合并后类型信息，合并模块包括获取子模块，用于获取合并请求所指示的待合并小文件的合并前类型和合并后类型信息。第一合并子模块，用于在选择的待合并小文件的合并前类型与合并后类型信息所指示的合并后类型相同时，将选择的待合并小文件插入到输入映射表中合并为大文件。以及第二合并子模块，用于在选择的待合并小文件的合并前类型与合并后的文件的合并后类型不同时，将选择的待合并小文件的合并前类型转换为合并后类型，并且将转换后的待合并小文件插入到输入映射表中合并为大文件。

合并后的文件可以按照合并请求所指示的合并后类型进行存储，如果待合并小文件的合并前类型与合并后类型相同，则可以直接插入，如果不同，就需要对待合并小文件的合并前类型进行转换，以满足合并请求所指示的合并后类型的要求。合并前类型和合并后类型包括二进制文件的类型和列示存储文件的类型。其中，二进制文件的类型包括txt等,列示存储文件的类型包括avro文件格式，parquet文件格式，rcfile文件格式、orcfile文件格式等。

可选地，数据查询系统还包括：更新单元，用于在将选择的待合并小文件插入到输出映射表中合并为大文件之后，按照输出映射表更新数据库中命名节点存储的地址信息。合并后的文件存储在输出映射表所对应的输出目录中，通过合并减少了存储的小文件的数量，相应的输出映射表存储的地址信息减少，那么更新后的命名节点存储的地址信息也减少，在存储地址信息和查找合并后的数据时也就减少了内存的占用。

可选地，合并请求中还携带有文件合并后的压缩格式信息，该数据查询系统还包括：压缩模块，用于在数据合并进程对数据存放节点中存放的小文件进行合并之后，按照合并请求所指示的压缩格式对合并后的文件进行压缩。对合并后的文件进行压缩能够减少文件占用的存储存储空间，压缩格式包括但不限于下述格式：gzip，snappy，bzip，lzo。

需要说明的是，本发明提供的方法实施例在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的数据查询系统实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种小文件合并的方法，其特征在于，包括：

数据查询系统接收客户端的合并请求；

所述数据查询系统根据所述合并请求生成合并任务；以及

所述数据查询系统将所述合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，所述数据合并进程对所述数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，所述数据合并进程为所述数据查询系统中的进程，

所述数据合并进程对所述数据存放节点中存放的小文件进行合并包括：所述数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，所述输入映射表映射的输入目录存储有所述待合并小文件，所述输出映射表映射的输出目录中用于存储所述合并后的文件；按照所述合并任务从所述输入映射表中选择两个以上待合并小文件；将选择的待合并小文件插入到所述输出映射表中合并为大文件，其中，所述大文件为包含两个以上待合并小文件的文件内容的文件。

2.根据权利要求1所述的方法，其特征在于，

所述数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表包括：根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表；

将选择的待合并小文件插入到所述输出映射表中合并为大文件包括：将从所述第一输入映射表中选择的待合并小文件和从所述第二输入映射表中选择的待合并小文件插入到所述输出映射表，合并为一个大文件。

3.根据权利要求1或2所述的方法，其特征在于，所述合并请求中携带有文件合并后类型信息，则将选择的待合并小文件插入到所述输出映射表中合并为大文件包括：

获取所述合并请求所指示的待合并小文件的合并前类型和所述合并后类型信息；

在所述选择的待合并小文件的合并前类型与所述合并后类型信息所指示的合并后类型相同时，将所述选择的待合并小文件插入到所述输入映射表中合并为所述大文件；以及

在所述选择的待合并小文件的合并前类型与所述合并后的文件的所述合并后类型不同时，将所述选择的待合并小文件的合并前类型转换为所述合并后类型，并且将转换后的待合并小文件插入到所述输入映射表中合并为所述大文件。

4.根据权利要求3所述的方法，其特征在于，所述合并前类型包括二进制文件的类型和列示存储文件的类型。

5.根据权利要求1所述的方法，其特征在于，在将选择的待合并小文件插入到所述输出映射表中合并为大文件之后，所述方法还包括：

按照所述输出映射表更新所述数据库中命名节点存储的地址信息。

6.根据权利要求1所述的方法，其特征在于，所述合并请求中还携带有文件合并后的压缩格式信息，则在所述数据合并进程对所述数据存放节点中存放的小文件进行合并之后，所述方法还包括：

按照所述压缩格式信息所指示的压缩格式对所述合并后的文件进行压缩。

7.一种数据查询系统，其特征在于，包括：

接收单元，用于接收客户端的合并请求；

生成单元，用于根据所述合并请求生成合并任务；以及

分发单元，用于将所述合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，所述数据合并进程对所述数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，所述数据合并进程为所述数据查询系统中的进程，

所述分发单元包括：创建模块，用于创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，所述输入映射表映射的输入目录存储有所述待合并小文件，所述输出映射表映射的输出目录中用于存储所述合并后的文件；选择模块，用于按照所述合并任务从所述输入映射表中选择两个以上待合并小文件；合并模块，用于将选择的待合并小文件插入到所述输出映射表中合并为大文件，其中，所述大文件为包含两个以上待合并小文件的文件内容的文件。

8.根据权利要求7所述的数据查询系统，其特征在于，

所述创建模块还用于根据第一类型的待合并小文件创建第一输入映射表，根据第二类型的待合并小文件创建第二输入映射表；

所述合并模块还用于将从所述第一输入映射表中选择的待合并小文件和从所述第二输入映射表中选择的待合并小文件插入到所述输出映射表，合并为一个大文件。

9.根据权利要求7或8所述的数据查询系统，其特征在于，所述合并请求中携带有文件合并后类型信息，所述合并模块包括：

获取子模块，用于获取所述合并请求所指示的待合并小文件的合并前类型和所述合并后类型信息；

第一合并子模块，用于在所述选择的待合并小文件的合并前类型与所述合并后类型信息所指示的合并后类型相同时，将所述选择的待合并小文件插入到所述输入映射表中合并为所述大文件；以及

第二合并子模块，用于在所述选择的待合并小文件的合并前类型与所述合并后的文件的所述合并后类型不同时，将所述选择的待合并小文件的合并前类型转换为所述合并后类型，并且将转换后的待合并小文件插入到所述输入映射表中合并为所述大文件。

10.根据权利要求7所述的数据查询系统，其特征在于，所述数据查询系统还包括：

更新单元，用于在将选择的待合并小文件插入到所述输出映射表中合并为大文件之后，按照所述输出映射表更新所述数据库中命名节点存储的地址信息。

11.根据权利要求7所述的数据查询系统，其特征在于，所述数据查询系统还包括：

压缩模块，用于在所述数据合并进程对所述数据存放节点中存放的小文件进行合并之后，按照所述合并请求所指示的压缩格式对所述合并后的文件进行压缩。

12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求6中任意一项所述的小文件合并的方法。

13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求6中任意一项所述的小文件合并的方法。