CN106599247A - LSM‑tree结构中数据文件的合并方法及装置 - Google Patents

Abstract

本发明公开了一种LSM‑tree结构中数据文件的合并方法及装置，其中，数据文件中记录有若干个以数据键值对形式存储在LSM‑tree结构中的数据条目和元信息条目；所述方法包括：针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；若在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除数据条目。根据本发明提供的技术方案，加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

Description

LSM-tree结构中数据文件的合并方法及装置

技术领域

本发明涉及互联网技术领域，具体涉及一种LSM-tree结构中数据文件的合并方法及装置。

背景技术

LSM-tree(日志结构的合并树，Log-Structured Merge-Tree)通过批量存储技术规避了磁盘随机写入问题，大幅度地提高了写性能。具体地，可利用LSM-tree来存储数据条目和元信息条目。在LSM-tree结构中，通过数据文件来记录数据条目和元信息条目。当需要对数据文件进行合并时，针对数据文件中的每一条数据条目，都需要在数据文件中查找该数据条目对应的元信息条目，然后根据该数据条目对应的元信息条目来确定该数据条目是否为在合并过程中应该保留的数据条目。因此，现有技术中的这种合并方式存在着效率低下的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的LSM-tree结构中数据文件的合并方法及装置。

根据本发明的一个方面，提供了一种LSM-tree结构中数据文件的合并方法，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，该方法包括：

针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

若在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除数据条目。

根据本发明的另一方面，提供了一种LSM-tree结构中数据文件的合并装置，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，该装置包括：

第一查找模块，适于针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

第二查找模块，适于若第一查找模块在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目；

写入模块，适于将第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

确定模块，适于根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目；

处理模块，适于若确定模块确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除数据条目。

根据本发明提供的技术方案，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目，如果在缓存中未查找到该数据条目对应的元信息条目，那么在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，然后根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，如果确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除该数据条目。与现有技术中的数据文件合并方式相比，本发明提供的技术方案优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目在缓存中查找对应的元信息条目，从而加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的LSM-tree结构中数据文件的合并方法的流程示意图；

图2示出了根据本发明另一个实施例的LSM-tree结构中数据文件的合并方法的流程示意图；

图3示出了根据本发明一个实施例的LSM-tree结构中数据文件的合并装置的结构框图；

图4示出了根据本发明另一个实施例的LSM-tree结构中数据文件的合并装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

LSM-tree结构可用于存储数据条目和元信息条目。在LSM-tree结构中，通过数据文件来记录数据条目和元信息条目。现有技术中，当需要对数据文件进行合并时，针对数据文件中的每一条数据条目，都需要在数据文件中查找该数据条目对应的元信息条目，然后根据该数据条目对应的元信息条目来确定该数据条目是否为在合并过程中应该保留的数据条目。因此，现有技术中的这种合并方式存在着效率低下的问题。在本发明提供的技术方案中，优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目查找对应的元信息条目时使用，从而加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

图1示出了根据本发明一个实施例的LSM-tree结构中数据文件的合并方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S100，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。

在LSM-tree结构中，数据条目和元信息条目可以数据键值对形式进行存储，并通过数据文件来记录数据条目和元信息条目，具体地，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，并且数据文件中的数据条目和元信息条目是有序排列的。

当需要对数据文件进行合并时，在步骤S100中，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。具体地，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同，那么在步骤S100中，可根据数据条目的数据键，在缓存中查找该数据条目对应的元信息条目。

步骤S101，判断在缓存中是否查找到该数据条目对应的元信息条目；若是，则执行步骤S103；若否，则执行步骤S102。

如果判断得到在缓存中查找到该数据条目对应的元信息条目，则执行步骤S103；如果判断得到在缓存中未查找到该数据条目对应的元信息条目，则执行步骤S102。

步骤S102，在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

在缓存中未查找到该数据条目对应的元信息条目的情况下，在步骤S102中，在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

由于数据文件中的数据条目和元信息条目是有序排列的，因此在该数据条目之后的若干个数据条目将很有可能对应于同一条元信息条目，那么将在数据文件中查找到的该数据条目对应的元信息条目写入缓存中，能够便于后续数据条目查找对应的元信息条目时直接从缓存中进行查找，从而加快了查找元信息条目的速度，进而有助于提高合并数据文件的效率。

步骤S103，根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目；若是，则执行步骤S104；若否，则执行步骤S105。

在从缓存中或者数据文件中查找到该数据条目对应的元信息条目之后，在步骤S103中，根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目。具体地，元信息条目中可包括版本信息或者过期时间信息，可根据数据条目对应的元信息条目中的版本信息或者过期时间信息来确定数据条目是否为应该保留的数据条目。

步骤S104，在数据文件合并过程中合并数据条目。

在经步骤S103确定得到数据条目为应该保留的数据条目的情况下，在步骤S104中，在数据文件合并过程中合并该数据条目。

步骤S105，在数据文件合并过程中删除数据条目。

在经步骤S103确定得到数据条目不为应该保留的数据条目的情况下，在步骤S105中，在数据文件合并过程中删除该数据条目。

根据本发明实施例提供的LSM-tree结构中数据文件的合并方法，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目，如果在缓存中未查找到该数据条目对应的元信息条目，那么在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，然后根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，如果确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除该数据条目。与现有技术中的数据文件合并方式相比，本发明提供的技术方案优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目在缓存中查找对应的元信息条目，从而加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

图2示出了根据本发明另一个实施例的LSM-tree结构中数据文件的合并方法的流程示意图，如图2所示，该方法包括如下步骤：

步骤S200，接收数据合并请求。

其中，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，并且数据文件中的数据条目和元信息条目是有序排列的。具体地，可将hash类型、zset类型、set类型或者list类型等类型的数据根据预设的封装规则封装成数据键值对形式的元信息条目和数据条目。本领域技术人员可根据实际需要设置具体的封装规则，此处不做限定。

以hash类型的数据为例，假设该数据具有对应的hashkey，该数据还包括3个成员，这3个成员分别为m1、m2和m3，那么根据该数据可封装得到数据键值对形式的1条元信息条目和3条数据条目，为了便于管理，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。具体地，该元信息条目的数据键为hashkey，该数据键对应的数据值包括成员数量信息、版本信息或者过期时间信息等信息；第1条数据条目的数据键为hashkeym1，该数据键对应的数据值包括m1对应的数据信息、版本信息等信息；第2条数据条目的数据键为hashkeym2，该数据键对应的数据值包括m2对应的数据信息、版本信息等信息；第3条数据条目的数据键为hashkeym3，该数据键对应的数据值包括m3对应的数据信息、版本信息等信息。

在步骤S200中，接收数据合并请求。具体地，数据合并请求中可包括数据条目对应的数据键的至少一部分。根据数据合并请求可知，需要对哪些数据条目进行合并处理。例如，数据合并请求中包括hashkey1和hashkey2，那么根据该数据合并请求可知，需要对包括hashkey1的数据键所对应的数据条目和包括hashkey2的数据键所对应的数据条目进行合并处理。

步骤S201，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。

在接收了数据合并请求之后，在步骤S201中，根据接收到的数据合并请求，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。具体地，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同，在步骤S201中，可根据数据条目的数据键，在缓存中查找该数据条目对应的元信息条目。例如，数据条目的数据键为hashkeym1，根据该数据条目的数据键可知，该数据条目对应的元信息条目的数据键为hashkey，那么在缓存中查找具有该数据键的元信息条目。

步骤S202，判断在缓存中是否查找到该数据条目对应的元信息条目；若是，则执行步骤S204；若否，则执行步骤S203。

其中，缓存用于存储至少一条元信息条目。如果判断得到在缓存中查找到该数据条目对应的元信息条目，则执行步骤S204；如果判断得到在缓存中未查找到该数据条目对应的元信息条目，则执行步骤S203。

步骤S203，在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

在缓存中未查找到该数据条目对应的元信息条目的情况下，在步骤S203中，在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

具体地，会在两种情况下在缓存中查找不到该数据条目对应的元信息条目，一种情况为缓存中已存储有元信息条目，但所存储的元信息条目不为该数据条目对应的元信息条目，另一种情况为缓存中根本未存储有元信息条目。如果缓存中已存储有元信息条目，但所存储的元信息条目不为该数据条目对应的元信息条目，在这种情况下，在缓存中查找不到该数据条目对应的元信息条目，那么在步骤S203中，在数据文件中查找该数据条目对应的元信息条目，将缓存中存储的元信息条目更新为在数据文件中查找到的该数据条目对应的元信息条目；如果缓存中未存储有元信息条目，则在缓存中查找不到该数据条目对应的元信息条目，那么在步骤S203中，在数据文件中查找该数据条目对应的元信息条目，将在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

步骤S204，判断数据条目中的版本信息是否与数据条目对应的元信息条目中的版本信息相符；若是，则执行步骤S205；若否，则执行步骤S207。

其中，数据条目中和元信息条目中都包括版本信息，根据版本信息可判断数据条目是否已被删除。如果判断得到数据条目中的版本信息与数据条目对应的元信息条目中的版本信息相符，说明该数据条目不是已被删除的数据条目，即该数据条目为有效数据条目，则执行步骤S205；如果判断得到数据条目中的版本信息不与数据条目对应的元信息条目中的版本信息相符，说明该数据条目是已被删除的数据条目，即该数据条目为无效数据条目，则执行步骤S207。

假设，数据条目中的版本信息为版本1，该数据条目对应的元信息条目中的版本信息为版本2，那么该数据条目中的版本信息不与该数据条目对应的元信息条目中的版本信息相符，说明该数据条目是已被删除的数据条目，该数据条目为无效数据条目，则执行步骤S207。

步骤S205，确定数据条目为应该保留的数据条目。

在判断得到数据条目中的版本信息与数据条目对应的元信息条目中的版本信息相符的情况下，确定该数据条目为应该保留的数据条目。

步骤S206，在数据文件合并过程中合并数据条目。

对于应该保留的数据条目，在数据文件合并过程中合并该数据条目。

步骤S207，确定数据条目不为应该保留的数据条目。

在判断得到数据条目中的版本信息不与数据条目对应的元信息条目中的版本信息相符的情况下，确定数据条目不为应该保留的数据条目。

步骤S208，在数据文件合并过程中删除数据条目。

对于不为应该保留的数据条目，在数据文件合并过程中删除数据条目。

可选地，在本实施例的一个可能的实现方式中，如果元信息条目中包括过期时间信息，那么可根据数据条目对应的元信息条目中的过期时间信息判断数据条目是否为应该保留的数据条目，具体地，根据数据条目对应的元信息条目中的过期时间信息，判断数据条目是否为过期数据条目。如果判断得到数据条目为过期数据条目，说明该数据条目为无效数据条目，则确定该数据条目不为应该保留的数据条目；如果判断得到数据条目不为过期数据条目，说明该数据条目为有效数据条目，则确定该数据条目为应该保留的数据条目。

根据本发明实施例提供的LSM-tree结构中数据文件的合并方法，接收数据合并请求，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目，如果在缓存中未查找到该数据条目对应的元信息条目，那么在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，然后根据数据条目中的版本信息和数据条目对应的元信息条目中的版本信息或者根据数据条目对应的元信息条目中的过期时间信息，确定数据条目是否为应该保留的数据条目，如果确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除该数据条目。与现有技术中的数据文件合并方式相比，本发明提供的技术方案优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目在缓存中查找对应的元信息条目，从而加快了查找元信息条目的速度；另外，根据版本信息或过期时间信息可方便、快速地确定数据条目是否为应该保留的数据条目，从而进一步提高了合并数据文件的效率，优化了数据文件合并方式。

图3示出了根据本发明一个实施例的LSM-tree结构中数据文件的合并装置的结构框图，如图3所示，该装置包括：第一查找模块310、第二查找模块320、写入模块330、确定模块340和处理模块350。

第一查找模块310适于：针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。

其中，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目。当需要对数据文件进行合并时，第一查找模块310针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。具体地，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同，那么第一查找模块310可根据数据条目的数据键，在缓存中查找该数据条目对应的元信息条目。

第二查找模块320适于：若第一查找模块310在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目。

如果第一查找模块310在缓存中未查找到该数据条目对应的元信息条目，那么第二查找模块320在数据文件中查找该数据条目对应的元信息条目。

写入模块330适于：将第二查找模块320在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

写入模块330将第二查找模块320在数据文件中查找到的该数据条目对应的元信息条目写入缓存。由于数据文件中的数据条目和元信息条目是有序排列的，因此在该数据条目之后的若干个数据条目将很有可能对应于同一条元信息条目，那么写入模块330将第二查找模块320在数据文件中查找到的该数据条目对应的元信息条目写入缓存中，能够便于后续数据条目查找对应的元信息条目时直接从缓存中进行查找，从而加快了查找元信息条目的速度，进而有助于提高合并数据文件的效率。

确定模块340适于：根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目。

如果第一查找模块310在缓存中查找到该数据条目对应的元信息条目或者第二查找模块320在数据文件中查找到该数据条目对应的元信息条目，则确定模块340根据该数据条目对应的元信息条目，确定该数据条目是否为应该保留的数据条目。

具体地，元信息条目中可包括版本信息或者过期时间信息，确定模块340可根据数据条目对应的元信息条目中的版本信息或者过期时间信息来确定数据条目是否为应该保留的数据条目。

处理模块350适于：若确定模块340确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除数据条目。

其中，处理模块350进一步适于：若确定模块340确定得到数据条目为应该保留的数据条目，则在数据文件合并过程中合并数据条目。

根据本发明实施例提供的LSM-tree结构中数据文件的合并装置，第一查找模块针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目，如果第一查找模块在缓存中未查找到该数据条目对应的元信息条目，那么第二查找模块在数据文件中查找该数据条目对应的元信息条目，写入模块将第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存，确定模块根据数据条目对应的元信息条目，确定数据条目是否为应该保留的数据条目，如果确定模块确定得到数据条目不为应该保留的数据条目，则处理模块在数据文件合并过程中删除该数据条目。本发明提供的技术方案优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目在缓存中查找对应的元信息条目，从而加快了查找元信息条目的速度，有效地提高了合并数据文件的效率，优化了数据文件合并方式。

图4示出了根据本发明另一个实施例的LSM-tree结构中数据文件的合并装置的结构框图，如图4所示，该装置包括：接收模块410、第一查找模块420、第二查找模块430、写入模块440、确定模块450和处理模块460。

接收模块410适于：接收数据合并请求。

其中，数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目。数据合并请求中包括数据条目对应的数据键的至少一部分。根据数据合并请求可知，需要对哪些数据条目进行合并处理。

第一查找模块420适于：针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。

第一查找模块420根据接收到的数据合并请求，针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目。具体地，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同，第一查找模块420可根据数据条目的数据键，在缓存中查找该数据条目对应的元信息条目。

第二查找模块430适于：若第一查找模块420在缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目。

写入模块440适于：将第二查找模块430在数据文件中查找到的该数据条目对应的元信息条目写入缓存。

其中，缓存用于存储至少一条元信息条目。具体地，写入模块440进一步适于：若缓存中已存储有元信息条目，则将缓存中存储的元信息条目更新为第二查找模块430在数据文件中查找到的该数据条目对应的元信息条目；若缓存中未存储有元信息条目，则将第二查找模块430在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

如果第一查找模块420在缓存中查找到该数据条目对应的元信息条目或者第二查找模块430在数据文件中查找到该数据条目对应的元信息条目，则确定模块450根据该数据条目对应的元信息条目，确定该数据条目是否为应该保留的数据条目。

其中，确定模块450包括：判断单元451和确定单元452。

判断单元451适于：判断数据条目中的版本信息是否与数据条目对应的元信息条目中的版本信息相符。

确定单元452适于：若判断单元451判断得到数据条目中的版本信息与数据条目对应的元信息条目中的版本信息相符，则确定数据条目为应该保留的数据条目；若判断单元451判断得到数据条目中的版本信息不与数据条目对应的元信息条目中的版本信息相符，则确定数据条目不为应该保留的数据条目。

可选地，在本实施例的一个可能的实现方式中，如果元信息条目中包括过期时间信息，那么确定模块450中的判断单元451进一步适于：根据数据条目对应的元信息条目中的过期时间信息，判断数据条目是否为过期数据条目。在这种情况下，确定单元452进一步适于：若判断单元451判断得到数据条目不为过期数据条目，则确定数据条目为应该保留的数据条目；若判断单元451判断得到数据条目为过期数据条目，则确定数据条目不为应该保留的数据条目。

处理模块460适于：若确定模块450确定得到数据条目为应该保留的数据条目，则在数据文件合并过程中合并数据条目；若确定模块450确定得到数据条目不为应该保留的数据条目，则在数据文件合并过程中删除数据条目。

根据本发明实施例提供的LSM-tree结构中数据文件的合并装置，优先从缓存中查找数据条目对应的元信息条目，在缓存中未查找到该数据条目对应的元信息条目的情况下，再在数据文件中进行查找，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存，以便后续数据条目在缓存中查找对应的元信息条目，从而加快了查找元信息条目的速度；另外，根据版本信息或过期时间信息可方便、快速地确定数据条目是否为应该保留的数据条目，从而进一步提高了合并数据文件的效率，优化了数据文件合并方式。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了：A1、一种LSM-tree结构中数据文件的合并方法，所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，所述方法包括：

针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

若在所述缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除所述数据条目。

A2、根据A1所述的方法，其中，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。

A3、根据A1或A2所述的方法，所述缓存用于存储至少一条元信息条目；

所述在数据文件中查找该数据条目对应的元信息条目，将在数据文件中查找到的该数据条目对应的元信息条目写入缓存进一步包括：

若所述缓存中已存储有元信息条目，则在数据文件中查找该数据条目对应的元信息条目，将所述缓存中存储的元信息条目更新为在数据文件中查找到的该数据条目对应的元信息条目；

若所述缓存中未存储有元信息条目，则在数据文件中查找该数据条目对应的元信息条目，将在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

A4、根据A1-A3任一项所述的方法，所述根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目进一步包括：

判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符；

若否，则确定所述数据条目不为应该保留的数据条目。

A5、根据A1-A3任一项所述的方法，所述根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目进一步包括：

根据数据条目对应的元信息条目中的过期时间信息，判断所述数据条目是否为过期数据条目；

若是，则确定所述数据条目不为应该保留的数据条目。

A6、根据A1所述的方法，还包括：

接收数据合并请求，所述数据合并请求中包括所述数据条目对应的数据键的至少一部分。

本发明还公开了：B7、一种LSM-tree结构中数据文件的合并装置，所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，所述装置包括：

第一查找模块，适于针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

第二查找模块，适于若所述第一查找模块在所述缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目；

写入模块，适于将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

确定模块，适于根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目；

处理模块，适于若所述确定模块确定得到所述数据条目不为应该保留的数据条目，则在数据文件合并过程中删除所述数据条目。

B8、根据B7所述的装置，其中，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。

B9、根据B7或B8所述的装置，所述缓存用于存储至少一条元信息条目；

所述写入模块进一步适于：

若所述缓存中已存储有元信息条目，则将所述缓存中存储的元信息条目更新为所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目；

若所述缓存中未存储有元信息条目，则将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

B10、根据B7-B9任一项所述的装置，所述确定模块包括：判断单元和确定单元；

所述判断单元适于：判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符；

所述确定单元适于：若所述判断单元判断得到所述数据条目中的版本信息不与所述数据条目对应的元信息条目中的版本信息相符，则确定所述数据条目不为应该保留的数据条目。

B11、根据B7-B9任一项所述的装置，所述确定模块包括：判断单元和确定单元；

所述判断单元适于：根据数据条目对应的元信息条目中的过期时间信息，判断所述数据条目是否为过期数据条目；

所述确定单元适于：若所述判断单元判断得到所述数据条目为过期数据条目，则确定所述数据条目不为应该保留的数据条目。

B12、根据B7所述的装置，所述装置还包括：接收模块，适于接收数据合并请求，所述数据合并请求中包括所述数据条目对应的数据键的至少一部分。

Claims (10)

1.一种LSM-tree结构中数据文件的合并方法，所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，所述方法包括：

针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

若在所述缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目，并将在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目，若否，则在数据文件合并过程中删除所述数据条目。

2.根据权利要求1所述的方法，其中，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。

3.根据权利要求1或2所述的方法，所述缓存用于存储至少一条元信息条目；

所述在数据文件中查找该数据条目对应的元信息条目，将在数据文件中查找到的该数据条目对应的元信息条目写入缓存进一步包括：

若所述缓存中已存储有元信息条目，则在数据文件中查找该数据条目对应的元信息条目，将所述缓存中存储的元信息条目更新为在数据文件中查找到的该数据条目对应的元信息条目；

若所述缓存中未存储有元信息条目，则在数据文件中查找该数据条目对应的元信息条目，将在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

4.根据权利要求1-3任一项所述的方法，所述根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目进一步包括：

判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符；

若否，则确定所述数据条目不为应该保留的数据条目。

5.根据权利要求1-3任一项所述的方法，所述根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目进一步包括：

根据数据条目对应的元信息条目中的过期时间信息，判断所述数据条目是否为过期数据条目；

若是，则确定所述数据条目不为应该保留的数据条目。

6.根据权利要求1所述的方法，还包括：

接收数据合并请求，所述数据合并请求中包括所述数据条目对应的数据键的至少一部分。

7.一种LSM-tree结构中数据文件的合并装置，所述数据文件中记录有若干个以数据键值对形式存储在LSM-tree结构中的数据条目和元信息条目，所述装置包括：

第一查找模块，适于针对数据文件中的一条数据条目，在缓存中查找该数据条目对应的元信息条目；

第二查找模块，适于若所述第一查找模块在所述缓存中未查找到该数据条目对应的元信息条目，则在数据文件中查找该数据条目对应的元信息条目；

写入模块，适于将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目写入缓存；

确定模块，适于根据数据条目对应的元信息条目，确定所述数据条目是否为应该保留的数据条目；

处理模块，适于若所述确定模块确定得到所述数据条目不为应该保留的数据条目，则在数据文件合并过程中删除所述数据条目。

8.根据权利要求7所述的装置，其中，数据条目的数据键和与该数据条目对应的元信息条目的数据键的至少一部分相同。

9.根据权利要求7或8所述的装置，所述缓存用于存储至少一条元信息条目；

所述写入模块进一步适于：

若所述缓存中已存储有元信息条目，则将所述缓存中存储的元信息条目更新为所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目；

若所述缓存中未存储有元信息条目，则将所述第二查找模块在数据文件中查找到的该数据条目对应的元信息条目存储至缓存中。

10.根据权利要求7-9任一项所述的装置，所述确定模块包括：判断单元和确定单元；

所述判断单元适于：判断所述数据条目中的版本信息是否与所述数据条目对应的元信息条目中的版本信息相符；

所述确定单元适于：若所述判断单元判断得到所述数据条目中的版本信息不与所述数据条目对应的元信息条目中的版本信息相符，则确定所述数据条目不为应该保留的数据条目。