CN113986833A - 文件合并方法、系统、计算机系统及存储介质 - Google Patents

Abstract

本公开提供了一种文件合并方法，应用于云存储节点，云存储节点中构建有云数据库，该方法包括：在满足文件合并触发条件的情况下，从云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；根据N个目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；利用目标合并函数，根据合并关键字，将与第一标识相对应的目标源文件合并为与第二标识相对应的目标文件。本公开还提供了一种文件合并系统、计算机系统及存储介质。

Description

文件合并方法、系统、计算机系统及存储介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种文件合并方法、系统、计算机系统、可读存储介质及计算机程序产品。

背景技术

为了维持云数据库的写性能，需要定期对云数据库中的文件进行合并瘦身，清除数据库中的无效信息，缩短读取路径，提高存储介质的利用空间。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：通过相关技术对云数据库中的数据进行合并时，对云数据库的处理器的硬盘的性能消耗较大，影响云数据库业务的正常运行。

发明内容

有鉴于此，本公开提供了一种文件合并方法、系统、计算机系统、可读存储介质及计算机程序。

本公开的一个方面提供了一种文件合并方法，应用于云存储节点，所述云存储节点中构建有云数据库，所述方法包括：

在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；

根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；

利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件。

根据本公开的实施例，所述云存储节点包括第一内存和硬盘；

所述利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件包括：

将存储在所述硬盘中的N个所述目标源文件传输至所述第一内存中；

根据所述合并关键字，对每个所述目标源文件进行归并排序，生成所述目标文件。

根据本公开的实施例，所述云存储节点还包括第二内存，所述第二内存与所述云数据库相关联，所述目标文件包括数据信息，所述数据信息存储于所述第一内存中，所述数据信息包括所述目标文件的缓存信息和属性信息；

所述方法还包括：

响应于所述数据信息获取请求，将存储于所述第一内存中的所述数据信息传输至与所述第二内存中。

根据本公开的实施例，该文件合并方法还包括：

响应于数据写请求，将与所述数据写请求相对应的初始文件存储至所述第二内存中；

在所述第二内存中的所述初始文件的大小达到第一预设阀值的情况下，将所述初始文件转储至所述云存储节点中，生成所述源文件。

根据本公开的实施例，该文件合并方法还包括：

响应于所述数据写请求，在所述云存储节点中生成与所述初始文件相对应的日志文件，以便在发生故障的情况下根据所述日志文件进行故障修复。

根据本公开的实施例，所述根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数包括：

根据与每个所述第一标识相对应的所述目标源文件确定所述第二标识和所述合并关键字；

将每个所述第一标识、第二标识和所述合并关键字填充至初始合并函数，生成所述目标合并函数，其中，所述初始合并函数包括与所述第一标识、所述第二标识和所述合并关键字相对应的填充框。

根据本公开的实施例，所述触发条件包括以下一种或多种的组合：定时触发、在所述目标源文件的文件数量达到第二预设阀值的情况下触发、在所述目标源文件的文件大小达到第三预设阀值的情况下触发。

根据本公开的实施例，该文件合并方法还包括：

将每个所述目标源文件标记为删除；

在生成所述目标文件的情况下，将标记为删除的所述目标源文件进行删除。

根据本公开的实施例，所述在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件包括：

在满足所述文件合并触发条件的情况下，在M个源文件中确定N个文件大小处于预设范围内的所述目标源文件。

本公开的另一个方面提供了一种文件合并系统，应用于云存储节点，所述云存储节点中构建有云数据库，所述装置包括：

确定模块，用于在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；

构建模块，用于根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；

合并模块，用于利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件。

本公开的另一个方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本公开实施例所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现本公开实施例所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现本公开实施例所述的方法。

根据本公开的实施例，在满足文件合并触发条件的情况下，确定N个目标源文件，通过云存储节点根据与目标源文件相对应的第一标识生成目标合并函数，根据目标合并函数中的合并关键字，在云存储中将目标源文件合并为目标文件。由于目标源文件的合并操作是在云数据库中的云存储节点中进行的，因此，能够避免云数据库处理资源的消耗。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用文件合并方法的示例性系统架构。

图2示意性示出了根据本公开实施例的文件合并方法的流程图。

图3示意性示出了根据本公开实施例的目标文件的生成方法示意图。

图4示意性示出了根据本公开实施例的文件合并方法的流程图。

图5示意性示出了根据本公开的实施例的文件合并系统的框图。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

LSM-Tree(Log Structured Merge Tree)是一种分层、有序、面向磁盘的数据结构，其核心思想是充分利用磁盘批量的顺序写的性能高于随机写的性能。

相关技术中，对写吞吐有高要求的数据库都在围绕LSM-Tree的原理进行设计和优化，以此使数据库的写性能达到最优，并且通过对数据库内文件进行定期的合并，能够有效清楚数据库内的无效数据，缩短读取路径，提高磁盘利用空间。但是，文件的合并操作对数据库CPU和磁盘IO的消耗较大，特别是在业务高峰期，对文件进行合并时会造成影响各业务的正常进行。

本公开的实施例提供了一种文件合并方法、系统、计算机系统、可读存储介质及计算机程序。该文件合并方法应用于云存储节点，云存储节点中构建有云数据库，方法包括：在满足文件合并触发条件的情况下，从云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；根据N个目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；利用目标合并函数，根据合并关键字，将与第一标识相对应的目标源文件合并为与第二标识相对应的目标文件。

图1示意性示出了根据本公开实施例的可以应用文件合并方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的文件合并方法一般可以由服务器105执行。相应地，本公开实施例所提供的文件合并系统一般可以设置于服务器105中。本公开实施例所提供的文件合并方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的文件合并系统也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，云存储节点可以设置于服务器105中，云数据库中的数据可以在终端设备101、102、103中获取。在满足文件合并触发条件的情况下，服务器可以在本地执行本公开实施例所提供的文件合并方法。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的文件合并方法的流程图。

本实施例提供的文件合并方法应用于云存储节点，云存储节点中构建有云数据库

如图2所示，该方法包括操作S201～S203。

在操作S201，在满足文件合并触发条件的情况下，从云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2。

根据本公开的实施例，云数据库例如可以构建在云存储节点中，源文件可以存储于云数据库中的云存储节点中。

根据本公开的实施例，源文件例如可以包括数据表等文件。目标源文件例如可以根据预设的合并策略确定。例如，每个目标源文件为相同存储区间中的文件、每个目标源文件的文件大小在预设区间范围内。预设区间例如可以包括0MB～1024MB等。

根据本公开的实施例，文件合并触发条件例如可以包括以下一种或多种的组合：定时触发、在目标源文件的文件数量达到第二预设阀值的情况下触发、在目标源文件的文件大小达到第三预设阀值的情况下触发。具体的，定时触发例如可以设置时间间隔，时间间隔例如可以包括24小时，48小时等等。进一步的，还可以设置触发的具体时间，例如可以在业务闲时触发，以进一步节省系统在业务时间段的运行压力。第二预设阀值例如可以包括10、100等。第三预设阀值例如可以包括1GB、2GB等。需要说明的是，第二预设阀值和第三预设阀值可以根据具体实现需要进行设定。

在操作S202，根据N个目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数。

根据本公开的实施例，第一标识例如可以包括目标源文件的识别号、识别名称或标识符号等。合并关键字例如可以包括目标源文件的索引字段或其他任意字段。目标文件例如可以指由多个目标源文件合并后生成的文件，第二标识例如可以包括目标文件的识别号、识别名称或标识符号等。

根据本公开的实施例，目标合并函数例如可以由云存储节点生成。目标合并函数的格式例如可以包括：merge(files…(第一标识)，file(第二标识)，key(合并关键字))。

在操作S203，利用目标合并函数，根据合并关键字，将与第一标识相对应的目标源文件合并为与第二标识相对应的目标文件。

根据本公开的实施例，根据合并关键，将每个目标源文件合并为一个文件。例如，将具有同一索引字段的两个目标源文件进行合并，使其成为一个目标文件。

根据本公开的实施例，在满足文件合并触发条件的情况下，确定N个目标源文件，通过云存储节点根据与目标源文件相对应的第一标识生成目标合并函数，根据目标合并函数中的合并关键字，在云存储中将目标源文件合并为目标文件。由于目标源文件的合并操作是在云数据库中的云存储节点中进行的，因此，能够避免云数据库处理资源的消耗。

根据本公开的实施例，云存储节点包括第一内存和硬盘。

根据本公开的实施例，利用目标合并函数，根据合并关键字，将与第一标识相对应的目标源文件合并为与第二标识相对应的目标文件包括：

将存储在硬盘中的N个目标源文件传输至第一内存中。根据合并关键字，对每个目标源文件进行归并排序，生成目标文件。

图3示意性示出了根据本公开实施例的目标文件的生成方法示意图。

如图3所示，该方法可以由云存储节点300中的第一内存301和硬盘302执行。

根据本公开的实施例，目标源文件例如原本可以存储于云存储节点300中的硬盘302中。在需要对目标源文件进行合并时，将每个目标源文件从云存储节点300的硬盘302中传输至第一内存301中，然后在第一内存301中对每个目标源文件进行合并。进一步的，在生成目标文件后，将目标文件从第一内存301中转储至硬盘302中。

由于云存储节点300本身就具有缓存和计算资源，因此，在云存储节点300中对目标源文件进行合并时，会消耗云存储节点300中的计算资源。从而释放云数据库中的计算资源。

归并排序(Merge Sort)是建立在归并操作上的一种有效，稳定的排序算法，该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。

根据本公开的实施例，子序列例如可以包括目标源文件，按照合并关键字对每个目标源文件进行归并排序，生成一个有序表，即目标文件。

根据本公开的实施例，云存储节点还包括第二内存，第二内存与云数据库相关联，目标文件包括数据信息，数据信息存储于第一内存中，数据信息包括目标文件的缓存信息和属性信息；

根据本公开的实施例，该文件合并方法还包括：响应于数据信息获取请求，将存储于第一内存中的数据信息传输至与第二内存中。

根据本公开的实施例，在生成目标文件后，会在第一内存中生成与目标文件相应的缓存信息和属性信息，属性信息例如可以包括目标文件的标识信息、存储位置信息等。

若用户想要获取上述数据信息，需要将数据信息转储至数据库中的第二内存中。

根据本公开的实施例，该文件合并方法还包括：

响应于数据写请求，将与数据写请求相对应的初始文件存储至第二内存中。在第二内存中的初始文件的大小达到第一预设阀值的情况下，将初始文件转储至云存储节点中，生成源文件。

根据本公开的实施例，云数据库收到一个写请求时，会将与该写请求相对应的初始文件存储至云数据库的第二内存中，当初始文件超过一定大小后，会在第二内存里面冻结，变成不可变的内存数据。随后会将上述不可变的内存数据转储至云存储节点中，生成源文件。

根据本公开的实施例，该文件合并方法还包括：响应于数据写请求，在云存储节点中生成与初始文件相对应的日志文件，以便在发生故障的情况下根据日志文件进行故障修复。

根据本公开的实施例，云数据库在收到一个写请求时，还会将该初始文件例如于WAL Log(预写式日志)中，以生成日志文件。用于在故障的情况下根据上述日志文件进行故障修复。

根据本公开的实施例，根据N个目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数包括：

根据与每个第一标识相对应的目标源文件确定第二标识和合并关键字。将每个第一标识、第二标识和合并关键字填充至初始合并函数，生成目标合并函数，其中，初始合并函数包括与第一标识、第二标识和合并关键字相对应的填充框。

根据本公开的实施例，合并操作语义由云存储节点提供，合并操作语义例如可以指初始合并函数。而构成目标合并函数的数据由云数据库的计算节点提供。例如，由数据库的计算节点确定目标源文件，从而确定第一标识、合并关键字和第二标识。将上述第一标识、第二标识和合并关键字发送至云存储节点，生成目标合并函数。

根据本公开的实施例，该文件合并方法还包括：将每个目标源文件标记为删除。在生成目标文件的情况下，将标记为删除的目标源文件进行删除。

根据本公开的实施例，在生成目标文件的情况下，需要对无效数据进行清理，无效数据例如可以包括生成目标文件的多个目标源文件。删除无效文件，能够缩短云数据库的读取路径，提高磁盘利用空间。

根据本公开的实施例，在满足文件合并触发条件的情况下，从云数据库中的M个源文件中确定N个目标源文件包括：在满足文件合并触发条件的情况下，在M个源文件中确定N个文件大小处于预设范围内的目标源文件。

根据本公开的实施例，目标源文件的确定方法例如可以通过预设大小范围的方法确定。将处于预设大小范围内的源文件确定为目标源文件。具体的，预设范围例如可以包括0MB～1024MB、0MB～2048MB等。进一步的，目标源文件的确定方法例如还可以由用户的选择操作确定等。

图4示意性示出了根据本公开实施例的文件合并方法的流程图。

如图4所示，该方法包括操作S401～S406。

在操作S401，响应于数据写请求，在云存储节点中生成与初始文件相对应的日志文件，以便在发生故障的情况下根据日志文件进行故障修复。在操作S402，在生成日志文件后，将初始文件传输至第二内存中的内存表中。在操作S403，在内存表的大小超过一定的阀值后，在第二内存中冻结，生成不可变的内存表。在操作S404，将上述不可变的内存表经第一内存传输至硬盘中，生成多个源文件。在操作S405，在源文件达到文件合并的触发条件的情况下，将源文件传输至第一内存中。在操作S406，在第一内存中进行文件合并，生成目标文件，并将目标文件传输至硬盘。

图5示意性示出了根据本公开的实施例的文件合并系统的框图。

如图5所示，文件合并系统500包括确定模块501、构建模块502和合并模块503。

确定模块501，用于在满足文件合并触发条件的情况下，从云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2。其中，触发条件包括以下一种或多种的组合：定时触发、在目标源文件的文件数量达到第二预设阀值的情况下触发、在目标源文件的文件大小达到第三预设阀值的情况下触发。

构建模块502，用于根据N个目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数。

合并模块503，用于利用目标合并函数，根据合并关键字，将与第一标识相对应的目标源文件合并为与第二标识相对应的目标文件。

根据本公开的实施例，在满足文件合并触发条件的情况下，确定N个目标源文件，通过云存储节点根据与目标源文件相对应的第一标识生成目标合并函数，根据目标合并函数中的合并关键字，在云存储中将目标源文件合并为目标文件。由于目标源文件的合并操作是在云数据库中的云存储节点中进行的，因此，能够避免云数据库处理资源的消耗。

根据本公开的实施例，云存储节点包括第一内存和硬盘。

上述合并模块503包括传输单元和第一生成单元。

传输单元，用于将存储在硬盘中的N个目标源文件传输至第一内存中。

第一生成单元，用于根据合并关键字，对每个目标源文件进行归并排序，生成目标文件。

根据本公开的实施例，云存储节点还包括第二内存，第二内存与云数据库相关联，目标文件包括数据信息，数据信息存储于第一内存中，数据信息包括目标文件的缓存信息和属性信息。

根据本公开的实施例，该文件合并系统500还包括第一响应模块

第一响应模块，用于响应于数据信息获取请求，将存储于第一内存中的数据信息传输至与第二内存中。

根据本公开的实施例，该文件合并系统500还包括第二响应模块和转储模块。

第二响应模块，用于响应于数据写请求，将与数据写请求相对应的初始文件存储至第二内存中。

转储模块，用于在第二内存中的初始文件的大小达到第一预设阀值的情况下，将初始文件转储至云存储节点中，生成源文件。

根据本公开的实施例，该文件合并系统500还包括第二响应模块。

第一响应模块，用于响应于数据写请求，在云存储节点中生成与初始文件相对应的日志文件，以便在发生故障的情况下根据日志文件进行故障修复。

根据本公开的实施例，构建模块502包括第一确定单元和第二生成单元。

第一确定单元，用于根据与每个第一标识相对应的目标源文件确定第二标识和合并关键字。

第二生成单元，用于将每个第一标识、第二标识和合并关键字填充至初始合并函数，生成目标合并函数，其中，初始合并函数包括与第一标识、第二标识和合并关键字相对应的填充框。

根据本公开的实施例，该文件合并系统500还包括标记模块和删除模块。

标记模块，用于将每个目标源文件标记为删除。

删除模块，用于在生成目标文件的情况下，将标记为删除的目标源文件进行删除。

根据本公开的实施例，确定模块501还包括第二确定单元。

第二确定单元，用于在满足文件合并触发条件的情况下，在M个源文件中确定N个文件大小处于预设范围内的目标源文件。

需要说明的是，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，本公开在此不再赘述。

根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，确定模块501、构建模块502和合并模块503中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，确定模块501、构建模块502和合并模块503中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，确定模块501、构建模块502和合并模块503中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图6示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，根据本公开实施例的计算机系统600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有计算机系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，计算机系统600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。系统600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种文件合并方法，应用于云存储节点，所述云存储节点中构建有云数据库，所述方法包括：

在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；

根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；

利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件。

2.根据权利要求1所述的方法，其中，所述云存储节点包括第一内存和硬盘；

所述利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件包括：

将存储在所述硬盘中的N个所述目标源文件传输至所述第一内存中；

根据所述合并关键字，对每个所述目标源文件进行归并排序，生成所述目标文件。

3.根据权利要求2所述的方法，其中，所述云存储节点还包括第二内存，所述第二内存与所述云数据库相关联，所述目标文件包括数据信息，所述数据信息存储于所述第一内存中，所述数据信息包括所述目标文件的缓存信息和属性信息；

所述方法还包括：

响应于所述数据信息获取请求，将存储于所述第一内存中的所述数据信息传输至与所述第二内存中。

4.根据权利要求3所述的方法，还包括：

响应于数据写请求，将与所述数据写请求相对应的初始文件存储至所述第二内存中；

在所述第二内存中的所述初始文件的大小达到第一预设阀值的情况下，将所述初始文件转储至所述云存储节点中，生成所述源文件。

5.根据权利要求4所述的方法，还包括：

响应于所述数据写请求，在所述云存储节点中生成与所述初始文件相对应的日志文件，以便在发生故障的情况下根据所述日志文件进行故障修复。

6.根据权利要求1所述的方法，其中，所述根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数包括：

根据与每个所述第一标识相对应的所述目标源文件确定所述第二标识和所述合并关键字；

将每个所述第一标识、第二标识和所述合并关键字填充至初始合并函数，生成所述目标合并函数，其中，所述初始合并函数包括与所述第一标识、所述第二标识和所述合并关键字相对应的填充框。

7.根据权利要求1所述的方法，其中，所述触发条件包括以下一种或多种的组合：定时触发、在所述目标源文件的文件数量达到第二预设阀值的情况下触发、在所述目标源文件的文件大小达到第三预设阀值的情况下触发。

8.根据权利要求1所述的方法，还包括：

将每个所述目标源文件标记为删除；

在生成所述目标文件的情况下，将标记为删除的所述目标源文件进行删除。

9.根据权利要求1所述的方法，其中，所述在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件包括：

在满足所述文件合并触发条件的情况下，在M个源文件中确定N个文件大小处于预设范围内的所述目标源文件。

10.一种文件合并系统，应用于云存储节点，所述云存储节点中构建有云数据库，所述装置包括：

确定模块，用于在满足文件合并触发条件的情况下，从所述云数据库中的M个源文件中确定N个目标源文件，其中，M≥N≥2；

构建模块，用于根据N个所述目标源文件分别对应的第一标识、合并关键字和合并后得到的目标文件的第二标识构建目标合并函数；

合并模块，用于利用所述目标合并函数，根据所述合并关键字，将与所述第一标识相对应的所述目标源文件合并为与所述第二标识相对应的所述目标文件。

11.一种计算机系统，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至9中任一项所述的方法。

Images