CN110019168A - 文件合并方法和系统 - Google Patents

Abstract

本发明提供了一种文件合并方法和系统，涉及Hbase中的文件合并技术领域，方法应用于Hbase数据库子集中的多个HFile合并过程，包括:每隔预设时间，获取多个待合并子集；根据待合并子集的重要程度，对多个待合并子集进行优先级排序；从优先级队列中，提取预设个数的优先合并子集；分别对优先合并子集中的多个HFile进行合并。解决了在Hbase数据库运行繁忙时过多的合并操作占用数据库的使用空间的问题，同时，限时限量的操作，能够使Hbase数据库的HFile合并操作，过程可控，时间可控，增强了Hbase系统的可操作性。的技术效果。

Description

文件合并方法和系统

技术领域

本发明涉及Hbase中的文件合并技术领域，尤其是涉及一种文件合并方法和系统。

背景技术

Hbase是一个分布式的、面向列的开源数据库，Hbase数据库的子集(region)分布在本地节点中，本地节点中的业务数据存储在对应的多个region中，当本地节点中的业务数据写入region时，以HFile文件进行存储，即，当本地节点中的业务数据写入region时，会生成一个HFile，当本地节点中的业务数据源源不断的写入region时，会生成多个HFile。而当HFile的数量过多时，会降低读性能。为了避免对读性能的影响，通常可以对这些HFile进行合并操作。合并操作包括major和minor这两种方式，major的意思是把所有的HFile都合并为一个HFile。minor则只会选择数个HFile文件合并为一个HFile，minor的过程一般较快，而且IO相对较低。

然而，在数据量较大的情况下major的耗时太长。Hbase的major合并周期为一天或者7天进行一次完整的major的耗时需要长达10数个小时，在此期间Hbase的运行性能都会受到很大的影响。例如视频监控行业要求7*24小时不间断的业务稳定运行，实际的业务不可能每天或者每周留出一大段时间进行major。另外，合并操作的进度不可控，用户或者Hbase自动的下发合并指令时，合并操作在Hbase后台进行，其进度无法控制，只能等到Hbase后台执行完成后才能解除对系统的影响，期间如果强行终止将导致Hbase坏块。对于minor来说，采用minor进行HFile合并时，通常选择合并region中的哪几个HFile合并是随机的，所以，当minor将要合并的文件中有被标记删除的HFile，这时minor进行合并这个标记删除的HFile，浪费了时间，降低的效率。

发明内容

有鉴于此，本发明的目的在于提供文件合并方法和系统，每隔预设时间，获取多个待合并子集后，根据待合并子集的重要程度，对多个待合并子集进行优先级排队，然后从优先级队列中，提取预设个数的优先合并子集，将优先合并文件进行HFile合并，限时限量的将重要程度高的文件优先进行合并，解决了在Hbase数据库运行繁忙时过多的合并操作占用数据库的使用空间的问题，同时，限时限量的操作，能够使Hbase数据库的HFile合并操作，过程可控，时间可控，增强了Hbase系统的可操作性。

第一方面，本发明实施例提供了一种文件合并方法，所述方法应用于Hbase数据库子集中的多个HFile合并过程，包括：每隔预设时间，获取多个待合并子集；根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序；从优先级队列中，提取预设个数的优先合并子集；分别对所述优先合并子集中的多个HFile进行合并。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序，包括：设定影响子集合并的多个要素；根据所述多个要素，计算每个待合并子集的多个要素值；根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；根据所述要素值和所述权重，获得待合并子集的重要程度；根据所述重要程度，对所述多个待合并子集从高到低进行排序。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，包括：根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小；根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述预设时间为15秒，所述预设个数为10个。

第二方面，本发明实施例还提供一种文件合并系统，所述系统应用于Hbase数据库子集中的多个HFile合并过程，包括：获取模块，用于每隔预设时间，获取多个待合并子集；排序模块，用于根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序；提取模块，用于从优先级队列中，提取预设个数的优先合并子集；合并模块，用于分别对所述优先合并子集中的多个HFile进行合并。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述排序模块，具体用于：设定影响子集合并的多个要素；根据所述多个要素，计算每个待合并子集的多个要素值；根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；根据所述要素值和所述权重，获得待合并子集的重要程度；根据所述重要程度，对所述多个待合并子集从高到低进行排序。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述排序模块，具体用于：所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，具体为根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小，根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述预设时间为15秒，所述预设个数为10个。

本发明实施例带来了以下有益效果：每隔预设时间，获取多个待合并子集后，根据待合并子集的重要程度，对多个待合并子集进行优先级排队，然后从优先级队列中，提取预设个数的优先合并子集，将优先合并文件进行HFile合并，限时限量的将重要程度高的文件优先进行合并，解决了在Hbase数据库运行繁忙时过多的合并操作占用数据库的使用空间的问题，同时，限时限量的操作，能够使Hbase数据库的HFile合并操作，过程可控，时间可控，增强了Hbase系统的可操作性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的文件合并方法的流程图；

图2为本发明实施例提供的文件合并方法的工作原理图；

图3为本发明另一个实施例提供的文件合并方法的流程图；

图4为本发明实施例提供的文件合并系统的结构图。

图标：

200-文件合并系统；210-获取模块；220-排序模块；230-提取模块；240-合并模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，HFile合并采用major和minor这两种方式，然而，在数据量较大的情况下major的耗时太长。Hbase的major合并周期为一天或者7天进行一次完整的major的耗时需要长达10数个小时，在此期间Hbase的运行性能都会受到很大的影响。例如视频监控行业要求7*24小时不间断的业务稳定运行，实际的业务不可能每天或者每周留出一大段时间进行major。另外，合并操作的进度不可控，用户或者Hbase自动的下发合并指令时，合并操作在Hbase后台进行，其进度无法控制，只能等到Hbase后台执行完成后才能解除对系统的影响，期间如果强行终止将导致Hbase坏块。对于minor来说，采用minor进行HFile合并时，通常选择合并region中的哪几个HFile合并是随机的，所以，当minor将要合并的文件中有被标记删除的HFile，这时minor进行合并这个标记删除的HFile，浪费了时间，降低的效率。基于此，本发明实施例提供的一种文件合并方法和系统，可以每隔预设时间，获取多个待合并子集后，根据待合并子集的重要程度，对多个待合并子集进行优先级排队，然后从优先级队列中，提取预设个数的优先合并子集，将优先合并文件进行HFile合并，限时限量的将重要程度高的文件优先进行合并，解决了在Hbase数据库运行繁忙时过多的合并操作占用数据库的使用空间的问题，同时，限时限量的操作，能够使Hbase数据库的HFile合并操作，过程可控，时间可控，增强了Hbase系统的可操作性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种文件合并方法进行详细介绍，该方法应用于Hbase数据库子集中的多个HFile合并过程。其中，子集(region)存储用户的应用数据时以存储格式为HFile进行存储，HFile可以理解为子集中包含用户的应用数据的子文件。

结合图1所示，该方法包括：

S110：每隔预设时间，获取多个待合并子集。

再结合图2所示，Hbase数据库中的多个region放在多个本地节点中，一个本地节点中分布多个region，在Hbase数据库运行过程中，用户会将应用数据不断地存储在region中，从而产生多个HFile。其中，待合并子集的意思是具有多个多个HFile的region。该方法，以本地节点为一个获取单元，首先从一个本地节点中获取多个待合并子集，即获取多个具有多个HFile的子集。当然，本操作是所有节点同时进行，各自独立进行合并，不会产生干扰，以下步骤，也是针对同一个节点来说的。其中，每隔预设时间意思是每隔预设时间重新获取一次，这样能够实时更新子集，并且Hbase数据库的操作人员想要暂停Hbase数据库的运行时，只要在重新获取子集时进行暂停，就不会因为暂停，而导致Hbase数据库坏块。

S120：根据待合并子集的重要程度，对多个待合并子集进行优先级排序。

具体来说，在一个本地节点中包括的多个待合并子集进行优先级排序。

结合图3所示，步骤S120具体包括：

S121：设定影响子集合并的多个要素。

其中，多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

S122：根据多个要素，计算每个待合并子集的多个要素值。

具体来说：要素1：子集中的HFile的数量。判断region中的HFile数量减去正在进行HFile合并的HFile数量>＝3。如果大于3，则判定要素1的要素值为region中的HFile数量减去正在进行HFile合并的HFile数量的差值，如果小于3，则判定要素1的要素值为0。举例：在region中，HFile的总数为10个时，在这个region中正在进行HFile合并的为5个时，则10-5＝5〉3，判定要素1的要素值为5。

要素2：子集中的HFile的新/旧程度。region中的HFile文件时间戳小于留存期，这样的文件里的文件内容肯定有超出留存期的废数据需要被彻底删除的。即，当region中的HFile文件时间戳小于且等于留存期，则判定要素2的要素值为1，如果当region中的HFile文件时间戳大于留存期，则判定要素2的要素值为0。

要素3：子集的分裂可能性。这里先解释Region的分裂：随着数据的写入Hbase数据库的region大小也随之变大，在达到一定大小就需要进行分裂(split)。当前大数据系统选择在每日系统压力较小、业务最不繁忙的时间(每日的凌晨2点至每日凌晨4点)进行手动分裂。判断当region大小需要分裂时，判定要素3的要素值为1，当region大小不需要分裂时，判定要素3的要素值为0。

要素4：子集中的HFile的标记删除。是否有HFile被标记为删除，其中的数据只是被标记为删除需要经过处理才能彻底从磁盘上删除数据。判断是否有HFile被标记为删除，如果是，判定要素4的要素值为1，如果否，判定要素4的要素值为0。

S123：根据每个要素对待合并子集的影响力大小，确定每个要素的权重。

进一步的，包括：根据Hbase的运行时间，确定每个要素对待合并子集的影响力大小，根据每个要素对待合并子集的影响力大小，确定每个要素的权重。

具体来说，当Hbase数据库在日常运行过程中，要素1可以为最高权重，要素2可以为次权重，要素3、4可以为最低权重。这是因为随着数据的写入HFile的数量会随之增加，综合考虑日常的运行情况，优先从HFile数量大于等于3的region开始筛选合并文件进行合并比较高效，所以将要素1为最高权重。该要素2影响磁盘空间占用，变化较快。要素3，Region在达到指定大小前都是不需要进行分裂的，所以变化较慢。要素4，大数据的删除操作较少，只有进行了删除操作才会引起该要素的变化，变化较慢。

在每天的00:00:00到01:30:00时间段即hbase数据库中的region分裂开始前，所以将要素3临时提高到最高权重(且此时只需要满足region下hfile数量减去正在进行合并的文件数量>1的条件)，这样保证即将要分裂的region先进行文件合并(进行region分裂时如果该region有多个hfile文件可能导致分裂失败，hbase原始的split的步骤其实就是先compact再split的过程)。即：此时的要素的权重为要素3为最高权重、要素1可以为次权重，要素2、要素4可以为最低权重。

值得注意的是，在hbase数据库的日常运行过程中，如果要素1不满足大于3，则不将对应的region放入到优先合并子集中。

S124：根据要素值和权重，获得待合并子集的重要程度。

举例来说：经过上述计算region中，要素1的要素值为5，要素2的要素值为1，要素3的要素值为0，要素4的要素值为0，要素1的权重为50，要素2的权重为30，要素3的权重为10，要素4的权重为10，所以该region的重要程度为：5*50+1*30+0*10+0*10＝280，同理，可以得到每个待合并子集的重要程度。

S125：根据重要程度，对多个待合并子集从高到低进行排序。

具体来说，将所有待合并子集的重要程度计算出来后，举例：region1为280，region2为210，region3为300，region4为100，region5为230，region6为310，region7为320，region8为120，region9为400，region10为240，region11为130，由region的重要程度从高到低，进行排序，则优先级队列为：region9、region7、region6、region3、region1、region10、region5、region2、region11、region8、region4。

S130：从优先级队列中，提取预设个数的优先合并子集。

在一些实施例中，预设个数可以为10，则提取region9、region7、region6、region3、region1、region10、region5、region2、region11、region8作为优先合并子集。

S140：分别对优先合并子集中的多个HFile进行合并。

值得注意的是，当每次的文件合并操作会将region中的所有Hfile文件合并成一个，并将标记为删除和超过留存期的数据从磁盘上进行真正的“删除”。

在一些实施例中，预设时间为15秒，所述预设个数为10个。

具体来说，预设时间为15秒，实测验证得到，间隔时间过长，合并处理不及时影响hbase查询效率；间隔时间过短，合并过程压力大影响系统运行。预设个数为10个，实测验证得到，并行太多，合并过程压力大影响系统运行；并行太小，运行效率低来不及做完合并，即一台数据节点同时只做10个region的文件合并。

作为一个示例，单次同时合并10个文件耗时远小于合并间隔(15秒)，在单机情况下对于300G的过车数据(约30亿，模拟极限压力)，用本发明优化的合并方法的总耗时为50分钟，是优化前的1/6，标记为删除或者是留存期以外的文件虽然合并优先级不高但在如此高效的合并操作下还是能得到在磁盘上近实时的彻底删除。

参见图4所示，文件合并系统200，文件合并系统200应用于Hbase数据库子集中的多个HFile合并过程，包括：获取模块210、排序模块220、提取模块230、合并模块240。

其中，获取模块210用于每隔预设时间，获取多个待合并子集。排序模块220与获取模块210相连，用于根据待合并子集的重要程度，对多个待合并子集进行优先级排序。提取模块230与排序模块220相连，用于从优先级队列中，提取预设个数的优先合并子集。合并模块240与提取模块230相连，用于分别对优先合并子集中的多个HFile进行合并。

在一些实施例中，排序模块220，具体用于：设定影响子集合并的多个要素；根据多个要素，计算每个待合并子集的多个要素值；根据每个要素对待合并子集的影响力大小，确定每个要素的权重；根据要素值和权重，获得待合并子集的重要程度；根据重要程度，对多个待合并子集从高到低进行排序。

在一些实施例中，排序模块220，具体用于：根据每个要素对待合并子集的影响力大小，确定每个要素的权重，具体为根据Hbase的运行时间，确定每个要素对待合并子集的影响力大小，根据每个要素对待合并子集的影响力大小，确定每个要素的权重。

在一些实施例中，多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

在一些实施例中，预设时间为15秒，所述预设个数为10个。

本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种文件合并方法，其特征在于，所述方法应用于Hbase数据库子集中的多个HFile合并过程，包括：

每隔预设时间，获取多个待合并子集；

根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序；

从优先级队列中，提取预设个数的优先合并子集；

分别对所述优先合并子集中的多个HFile进行合并。

2.根据权利要求1所述的方法，其特征在于，所述根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序，包括：

设定影响子集合并的多个要素；

根据所述多个要素，计算每个待合并子集的多个要素值；

根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；

根据所述要素值和所述权重，获得待合并子集的重要程度；

根据所述重要程度，对所述多个待合并子集从高到低进行排序。

3.根据权利要求2所述的方法，其特征在于，所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，包括：

根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小；

根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。

4.根据权利要求2所述的方法，其特征在于，所述多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

5.根据权利要求1所述的方法，其特征在于，所述预设时间为15秒，所述预设个数为10个。

6.一种文件合并系统，其特征在于，所述系统应用于Hbase数据库子集中的多个HFile合并过程，包括：

获取模块，用于每隔预设时间，获取多个待合并子集；

排序模块，用于根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序；

提取模块，用于从优先级队列中，提取预设个数的优先合并子集；

合并模块，用于分别对所述优先合并子集中的多个HFile进行合并。

7.根据权利要求6所述的系统，其特征在于，所述排序模块，具体用于：设定影响子集合并的多个要素；根据所述多个要素，计算每个待合并子集的多个要素值；根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；根据所述要素值和所述权重，获得待合并子集的重要程度；根据所述重要程度，对所述多个待合并子集从高到低进行排序。

8.根据权利要求7所述的系统，其特征在于，所述排序模块，具体用于：所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，具体为根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小，根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。

9.根据权利要求7所述的系统，其特征在于，所述多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除。

10.根据权利要求6所述的系统，其特征在于，所述预设时间为15秒，所述预设个数为10个。