CN114416655A - Hive文件处理方法及装置、计算机设备与存储介质 - Google Patents

Abstract

本发明公开了一种Hive文件处理方法及装置、计算机设备与存储介质，方法包括：获取目标分区，目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；对目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对目标分区进行读取操作。应用本发明方案，在流式数据接入场景下，通过扫描并合并Hive小文件，减小NameNode内存压力，从而加快Hive查询速度，在Hive进行文件合并的替换文件阶段，给正在合并的数据加锁，不允许此时查询这些数据，避免了此时查询数据不准确的问题，并且，合并锁仅仅限制数据的读取，并不限定数据的写入，能够适应于流式数据接入的场景。

Description

Hive文件处理方法及装置、计算机设备与存储介质

技术领域

本发明涉及Hadoop数据仓储技术领域，尤其涉及一种Hive文件处理方法及装置、计算机设备与存储介质。

背景技术

在当前数据爆炸的时代，数据量的累积与增长超出了一般单机运行的数据库所能承受的极限，在这种情况下基于分布式计算的大数据应运而生。现如今较为流行的大数据解决方案通常基于Hadoop生态圈，分布式文件系统HDFS实现了文件的分布式存储，而数据仓储工具Hive可以将HDFS中存储的结构化数据抽象成一张表，并保存文件路径和表元信息的对应关系，并利用计算框架做到HDFS文件的分布式并行读取计算到达Hive表查询的效果。

然而，HDFS存在一个比较致命的缺点：无法存储大量的小文件。HDFS将文件按照固定大小(一般为64m或128m)将数据切割成Block块，同一个文件的不同Block块分布在不同的主机上，从而实现分布式存储。并且，HDFS使用一台主机NameNode来保存每个文件和块的对应关系以及块到主机的对应关系，高读写文件的响应速度，这些信息都被保存在NameNode的内存中。可见，NameNode的内存成为限制HDFS存储上限的瓶颈，而解决办法是：要突破瓶颈要么增大NameNode的内存，要么减少Block块的数量。很显然，主机的内存是不能无限提高的，因此，只能减少Block块的数量。举例而言，假设存在总大小为256M的n个文件。假如按照128M切分，那么会有两个Block块产生；但是，如果文件数量为256个，总共产生的Block块的数量就是256个，要使用的内存就是前面的128倍。在上述场景下，虽然总数据量大小相同，但是文件所占用的内存却是天差地别。而对于Hive而言，同一张表指向的结构化数据文件都是相同结构的，这些文件是可以被合并的。因此，通过将Hive的小文件合并到一起，便可以减少NameNode的内存压力。

现有技术提供了如下的Hive文件合并方法，基于文件分桶的方式将合并前文件大小和达到分割上限的多个文件划分成一个桶，以桶为单位来进行文件的合并。而该方案的缺点是：使用合并前的文件大小预估合并后的文件大小，这样是不准确的。例如，由于列式存储的压缩性，可能导致合并后的文件依然比较小。而且以整个表的文件为基础不适用分区表的文件合并，因为分区表的文件是不能跨分区合并的。

现有技术还提供了如下Hive文件结合方式，基于Hive的分区为单位，基于合并效果优先级来对分区的合并任务进行排序，然后执行合并任务。然而该方案不是在流式数据接入的场景下进行的，由于Hive的文件接入速度和查询频率都很高，因而在文件合并后期的文件替换阶段会影响到数据查询的准确性的，也就是替换时查询结果是不准确的，这对上层的数据使用是致命的。

大数据场景下的数据计算按照实时性可以被分为批处理和流处理，所谓批处理可以理解为数据按照一定时间间隔(如天、周、月)对一批数据进行处理，而流处理需要更高的时效性，基本上数据要在短时间内(如分钟)就被处理。数据接入也是数据处理的一种，也因此，Hive并不太适合于直接应用于流式数据接入，因为高时效性意味着更频繁的查询与计算，数据每来一条都要被写成文件存入HDFS供Hive查询，而不能等待一段时间，将多条数据批量写入一个文件中。所以在Hive用于流式数据接入，对小文件的处理将至关重要。然而，流式数据场景下，Hive的小文件过多，会导致NameNode的内存不足，影响集群的正常运转速度以及Hive的查询速度。

因此，有必要提出一种改进的可应用于流式数据的Hive文件处理方案。

发明内容

为了解决流式数据场景下Hive的小文件过多导致NameNode的内存不足的问题，本发明提供了一种Hive文件处理方法及装置、计算机设备与存储介质，提升了集群的正常运转速度以及Hive的查询速度。

为解决上述技术问题，本发明提供了一种Hive文件处理方法，包括：

获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

可选地，还包括：

合并处理完成后，解除对所述目标分区添加的所述合并锁。

可选地，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

可选地，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

可选地，所述对所述目标分区的待合并文件进行合并处理，包括：

对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；

将切割后的文件输出到预设目录下。

可选地，所述对所述目标分区的待合并文件进行合并处理，还包括：

对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；

将预设目录下的文件移到所述目标分区，完成文件合并处理。

可选地，所述获取目标分区之前，还包括：

基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径；

根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量；

根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区；

基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

为解决上述技术问题，本发明提供了一种Hive文件处理装置，包括：

分区获取模块，用于获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

文件处理模块，用于对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

可选地，还包括合并锁解除模块，用于：

合并处理完成后，解除对所述目标分区添加的所述合并锁。

可选地，所述文件处理模块，用于对所述目标分区的待合并文件进行合并处理，并响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

可选地，所述文件处理模块，用于对所述目标分区的待合并文件进行合并处理，并响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

可选地，所述文件处理模块，用于：

对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；

将切割后的文件输出到预设目录下。

可选地，所述文件处理模块，还用于：

对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；

将预设目录下的文件移到所述目标分区，完成文件合并处理。

可选地，还包括分区筛选模块，用于：

在获取目标分区之前，基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径；

根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量；

根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区；

基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

为解决上述技术问题，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明的Hive文件处理方法及装置、计算机设备与存储介质，在进行Hive文件处理时，先获取目标分区；对目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对该目标分区进行读取操作，其中，该目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区。由以上可知，在流式数据接入场景下，通过扫描并合并Hive小文件，减小NameNode内存压力，从而加快Hive查询速度，避免了因Hive小文件过多而导致NameNode内存不足，进而影响集群的正常运转以及Hive的查询速度的问题。而且，本发明方案中在Hive进行文件合并的替换文件阶段，给正在合并的数据加锁，不允许此时查询这些数据，避免了此时查询数据不准确的问题，并且，合并锁仅仅限制数据的读取，并不限定数据的写入，能够适应于流式数据接入的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的Hive文件处理方法的一种流程图；

图2为本发明实施例提供的Hive文件处理方法的另一种流程图；

图3为本发明实施例提供的Hive文件处理方法的又一种流程图；

图4为本发明实施例提供的Hive文件处理装置的一种结构图；

图5为本发明实施例提供的Hive文件处理装置的另一种结构图；

图6为本发明实施例提供的Hive文件处理装置的又一种结构图；

图7为本发明提供的一种计算机设备的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方法，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

为了解决现有技术中存在的：使用合并前的文件大小预估合并后的文件大小不准确的问题，以及在文件合并后期的文件替换阶段会影响到数据查询的准确性等问题，本申请提出了一种Hive文件处理方法及装置、计算机设备与存储介质。

在对本发明方案进行详细说明之前，先对Hive文件处理尤其是对Hive文件合并的工作原理进行下介绍。

首先，Hive是基于Hadoop的一个数据仓库工具，Hive用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。对于Hive而言，同一张表下的数据文件都具有相同的结构，这为Hive的文件合并提供了基础，具体地，Hive将相同结构的文件读取数据到内存，进而将数据重新分割写到磁盘，从而实现文件合并处理。

Hive自身有两种类型的锁即共享锁S与排他锁X，其中S锁是读锁，它允许其他读操作同时对这段数据进行，但不允许有修改操作同时进行；而X锁是写锁，它既不允许此时有并发的修改操作也不允许有读操作。然而，这两种锁是无法解决现有技术中存在的技术问题，因为，在流式处理中，数据的读写很频繁，合并操作要将对业务的影响降低到最小，因此，在进行合并操作时，除了最后替换文件的阶段，其余时刻数据都是可读可写的，而最后替换文件的阶段，则要求不能有读操作，不然会出现数据不准确的情况，但是此时写数据是不受影响的，基于这样的构思，在本发明的Hive文件处理过程中提出了一种合并锁，该合并锁是在合并数据时对被合并数据加上的一个锁，它将禁止合并数据的替换文件阶段的对被合并数据读的操作但不影响写操作。具体实现方式是：用户对Hive数据的读写操作进行前都会先去访问Hive的元数据，Hive元数据保存了数据的锁状态；读写操作能否进行将取决于此时被读写的数据的锁状态，也即上文提到的Hive本身的S锁和X锁，只有符合锁状态的行为才能进行，否则将会等待锁消失再进行操作，基于此，本申请的一种实现方式中可以对Hive修改源码以添加一种新的合并锁，以实现当Hive读操作进行前读到被读取数据有合并锁，读操作将会等待直到合并锁解除。利用这个合并锁，可以实现在流式数据接入场景下的合并hive小文件操作。

下面对本发明提供的Hive文件处理方法进行说明。

实施例一

如图1所示，为本发明实施例提供的Hive文件处理方法的一种流程图，可以包括以下步骤：

步骤S101：获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区。

需要说明的是，可以根据集群的大小和状态进行第一设定值的设置，当集群的文件数量不多时，可以调大第一设定值，来减少合并的次数，从而降低计算压力；反之当集群的文件数量较多时，可以调小第一设定值，以增加合并的次数，以降低NameNode的内存压力。对于第二设定值而言，通常需要满足文件大小不超过HDFS中Block块的数据大小即可，一种优选实现方式中，第二设定值可设定为64M或128M，当然这仅仅是举例说明，不作为对本发明的限定。应当理解的是，文件大小达到第二设定值的文件无需进行合并处理，仅对文件大小未达到第二设定值的小文件进行合并处理。

步骤S102：对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

一种实现方式中，对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；将切割后的文件输出到预设目录下，例如可以将切割后的文件输出到磁盘的预设扇区中。进而，在对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；将预设目录下的文件移到所述目标分区，完成文件合并处理。

需要说明的是，预设目录是在程序运行前配置的，单独设定好一个单独的文件夹如/hive_merge，然后在合并时再在/hive_merge下创建子文件夹，如要合并表table1的分区20211015的数据，那么临时目录就为/hive_merge/table1/20211015+进行合并的时间戳，以避免文件夹名称重复。

进一步的，合并处理完成后，解除对所述目标分区添加的所述合并锁。

应用本发明的Hive文件处理方法，在流式数据接入场景下，通过扫描并合并Hive小文件，减小NameNode内存压力，从而加快Hive查询速度，避免了因Hive小文件过多而导致NameNode内存不足，进而影响集群的正常运转以及Hive的查询速度的问题。而且，本发明方案中在Hive进行文件合并的替换文件阶段，给正在合并的数据加锁，不允许此时查询这些数据，避免了此时查询数据不准确的问题，并且，合并锁仅仅限制数据的读取，并不限定数据的写入，能够适应于流式数据接入的场景。

实施例二

如图2所示，为本发明实施例提供的Hive文件处理方法的另一种流程图，可以包括以下步骤：

步骤S201：获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区。

步骤S202：对所述目标分区的待合并文件进行合并处理。

步骤S203：响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

步骤S204：响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

需要说明的是，图2所示方法实施例具备图1所示方法实施例的全部有益效果，除此之外，图2还给出了一种添加合并锁的具体实现方式，即基于目标分区是否被Hive读写的状态，来对目标分区进行合并锁的添加，并实现对目标分区在禁止读取操作情况下进行Hive文件处理，避免了此时查询数据不准确的问题。

实施例三

如图3所示，为本发明实施例提供的Hive文件处理方法的又一种流程图，可以包括以下步骤：

步骤S301：基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径。

需要说明的是，在Hive文件处理的过程中，可以基于程序设置基于设定时间来扫描Hive元数据的数据库，以实现对大量Hive文件的扫描；对于一些重要业务而言，还可以由人工设定合并时间，而不是程序定期自动开始合并，从而可以以减少对业务的影响。

步骤S302：根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量。

步骤S303：根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区。

步骤S304：基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

步骤S305：获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区。

步骤S306：对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

需要说明的是，图3所示方法实施例除了具备图1所示方法实施例的全部有益效果之外，还给出了一种筛选出目标分区的方法，即筛选出文件数量和文件大小均符合合并要求的Hive文件，从而有针对性的对Hive文件进行合并处理，提高了合并处理的效果。

下面对本发明实施例提供的Hive文件处理装置进行说明。

实施例四

如图4所示，为本发明实施例提供的Hive文件处理装置的一种结构图，包括：

分区获取模块410，用于获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

文件处理模块420，用于对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

一种情形下，如图5所示，该Hive文件处理装置还包括合并锁解除模块430，用于合并处理完成后，解除对所述目标分区添加的所述合并锁。

另一种情形下，所述文件处理模块420，用于对所述目标分区的待合并文件进行合并处理，并响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

另一种情形下，所述文件处理模块420，用于对所述目标分区的待合并文件进行合并处理，并响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

另一种情形下，所述文件处理模块420，用于对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；将切割后的文件输出到预设目录下。

另一种情形下，所述文件处理模块420，还用于对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；将预设目录下的文件移到所述目标分区，完成文件合并处理。

一种情形下，如图6所示，该Hive文件处理装置还包括分区筛选模块440，用于在获取目标分区之前，基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径；根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量；根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区；基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

应用本发明的Hive文件处理装置，在进行Hive文件处理时，先获取目标分区；对目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对该目标分区进行读取操作，其中，该目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区。由以上可知，应用本发明方案，在流式数据接入场景下，通过扫描并合并Hive小文件，减小NameNode内存压力，从而加快Hive查询速度，避免了因Hive小文件过多而导致NameNode内存不足，进而影响集群的正常运转以及Hive的查询速度的问题。而且，本发明方案中在Hive进行文件合并的替换文件阶段，给正在合并的数据加锁，不允许此时查询这些数据，避免了此时查询数据不准确的问题，并且，合并锁仅仅限制数据的读取，并不限定数据的写入，能够适应于流式数据接入的场景。

实施例五

为解决上述技术问题，本发明提供了一种计算机设备，如图7所示，包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于处理器520、存储器510。本领域技术人员可以理解，图7仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器520可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器510可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器510也可以是计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器510还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器510用于存储所述计算机程序以及所述计算机设备所需的其它程序和数据。所述存储器510还可以用于暂时地存储已经输出或者将要输出的数据。

实施例六

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在、未装配入计算机设备中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述程序被处理器执行时实现上述所述的方法。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器510、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

对于系统或装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到所描述条件或事件”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到所描述条件或事件”或“响应于检测到所描述条件或事件”。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种Hive文件处理方法，其特征在于，包括：

获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

2.根据权利要求1所述的Hive文件处理方法，其特征在于，还包括：

合并处理完成后，解除对所述目标分区添加的所述合并锁。

3.根据权利要求1所述的Hive文件处理方法，其特征在于，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于未被Hive读写的状态，对所述目标分区添加合并锁以禁止对所述目标分区进行读取操作。

4.根据权利要求1所述的Hive文件处理方法，其特征在于，所述对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作，包括：

响应于所述目标分区处于被Hive读写的状态，则等待读写操作完成后，对所述目标分区添加合并锁以禁止所述目标分区的读取操作。

5.根据权利要求1至4任一项所述的Hive文件处理方法，其特征在于，所述对所述目标分区的待合并文件进行合并处理，包括：

对进行合并处理中的目标分区添加合并锁之前，按照设定数据大小对目标分区中的待合并文件进行切割；

将切割后的文件输出到预设目录下。

6.根据权利要求5所述的Hive文件处理方法，其特征在于，所述对所述目标分区的待合并文件进行合并处理，还包括：

对进行合并处理中的目标分区添加合并锁之后，删除所述目标分区中的待合并文件；

将预设目录下的文件移到所述目标分区，完成文件合并处理。

7.根据权利要求6所述的Hive文件处理方法，其特征在于，所述获取目标分区之前，还包括：

基于设定时间或定期扫描Hive元数据的数据库，以获取Hive各分区的HDFS文件夹路径；

根据各个分区的HDFS文件夹路径，查找Namenode中的文件夹信息，所述文件夹信息至少包括各个文件夹包含的文件数量；

根据所述文件夹信息从各个分区中筛选出文件数量达到第一设定值的候选分区；

基于各候选分区中的文件大小，从候选分区中筛选出存在文件大小未达到第二设定值的待合并文件的目标分区。

8.一种Hive文件处理装置，其特征在于，包括：

分区获取模块，用于获取目标分区，所述目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；

文件处理模块，用于对所述目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对所述目标分区进行读取操作。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images