CN103631726B - 一种串接流式计算节点的文件处理方法及装置 - Google Patents

Abstract

本发明涉及计算机操作系统领域，尤其涉及一种串接流式计算节点的文件处理方法及装置。该方法包括：当获取到数据写入请求时，将待写入数据写入空闲内存池中；如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；将所述队首存储地址从所述预取池中删除，且将读取的数据删除。该方法能够有效兼顾数据的完整性和数据读写操作速度。

Description

一种串接流式计算节点的文件处理方法及装置

技术领域

本发明涉及计算机操作系统领域，尤其涉及一种串接流式计算节点的文件处理方法及装置。

背景技术

随着大规模并行计算领域的快速发展，在并行计算过程中由于前后串接的服务器的计算能力不完全匹配以及局部系统条件变动而引起的抖动现象受到广泛关注。

常见的局部存储方案多基于以硬盘作为存储介质的文件系统，即前级节点的数据并不直接传给后级节点，而是先写入后级节点的文件系统中，后级节点从文件系统中取出数据处理，再继续传输到其后节点的局部存储中。这种局部存储方法，数据完整性有保障，然而，由于网络传输的瓶颈和硬盘的读写速度限制，文件系统和硬盘的整体吞吐率往往低于流式计算数据平面的处理路径的平均速度，从而成为路径中的阻塞点。

为解决速度问题，提出了基于内存的局部存储文件系统。这种方案以内存为存储介质，也以文件系统的形式提供。其特点和基于硬盘的文件系统相反，数据完整性没有保证，掉电后数据会丢失；但由于没有对相对慢速硬盘的操作，速度很快。

上述两种方案的优缺点都很明显，并不能满足流式处理系统所需要的局部存储需要。

发明内容

本发明实施例提供一种串接流式计算节点的文件处理方法及装置，以兼顾数据的完整性和数据读写操作速度。

本发明实施例提供了一种串接流式计算节点的文件处理方法，所述方法包括：

当获取到数据写入请求时，将待写入数据写入空闲内存池中；

如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；

当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；

将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

对应地，本发明实施例还提供了一种串接流式计算节点的文件处理装置，所述装置包括：

写入数据单元，用于当获取到数据写入请求时，将待写入数据写入空闲内存池中；

写入存储地址单元，用于如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；

读取单元，用于当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；

删除单元，用于将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

本发明提出了一种串接流式计算节点的文件处理方法和装置，在数据写入时，根据预取池中的空间情况将数据写入空闲内存池或硬盘，进而在数据读取或删除过程中，通过预取池中存储地址以高效率处理数据，从而保证了数据的完整性和数据读写操作的速度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，并不构成对本发明的限定。在附图中：

图1是本发明第一实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。

图2是本发明第二实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。

图3是本发明第三实施例中提供的一种串接流式计算节点的文件处理装置的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明第一实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。本发明实施例提供的方法可以由本发明实施例提供的文件处理装置来执行，该装置可以由软件和/或硬件来实现。如图1所示，本发明实施例提供的方法包括：

步骤101、当获取到数据写入请求时，将待写入数据写入空闲内存池中。

在获取数据写入请求之前，还包括预置的分配一定数量的内存空间存放到空闲内存池中。例如，从100G的内存空间中分配10G空间以创建空闲内存池。服务器接收到数据写入请求时，在空闲内存池中的空闲空间存储待写入数据。

在获取数据写入请求之前，还包括：创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中。

在内存空间中创建预取池时，首先根据数据在硬盘中存储的时间顺序，采用基于时间的先用先出算法，将硬盘中数据的存储地址，依据写入的时间顺序依次写入到预取池中。同时将预取池中的存储地址对应的数据存储于空闲内存池中。初始化阶段，硬盘中的数据是由于断电或其它异常情况，为了保证数据的完整性而存储于硬盘中的。

在内存空间中创建用于存储数据的存储地址的预取池，从而能够有效的通过预取池快速的管理空闲内存池和硬盘中的数据，从而保证数据的完整性和提高数据的处理效率。

步骤102、如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾。

当预取池中有空闲空间时，待写入数据保持在空闲内存池中。获取待写入数据在空闲内存池中的存储地址，从而将待写入数据在空闲内存池中的存储地址插入到预取池的队尾。存储地址在预取池中遵循基于时间的先入先出原则。

步骤103、当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据。

当服务器接收到数据读取请求时，首先，遵旨基于时间的先入写出原则，在预取池的队首获取待读取数据的存储地址；进而根据待读取数据的存储地址在空闲内存池或硬盘中读取对应的数据。

根据队首的存储地址读取对应的数据包括：判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，再输出。

从预取池中获取待读取数据的存储地址后，还需要判断所述待读取数据的存储地址是空闲内存池中的地址还是硬盘中的地址，如果是空闲内存池中的地址，则在空闲内存池中读取数据；如果是硬盘中的地址，则根据待读取数据的存储地址，将硬盘中的待读取数据读出并且存储于空闲内存池中，随后输出数据。

由于预取池中存储有待读取数据在空闲内存池或在硬盘中的存储地址，因此，不论数据存储于空闲内存池还是存储于硬盘均能够通过预取池读出数据。

步骤104、将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

完成读取请求之后，将数据的存储地址从预取池中删除，并且将空闲内存池中存储的数据删除。若硬盘中存储有数据时，在硬盘中将数据删除。

本实施例提供的串接流式计算节点的文件处理方法，通过位于内存池中的预取池中空闲空间状态选择数据存储于空闲内存池还是存储于硬盘，从而在读取或删除数据时，能够通过预取池高效率的处理数据。

图2是本发明第二实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。本发明实施例和本发明第一实施例处于统一构思，在本发明实施例中未详述的内容，请参考本发明第一实施例。如图2所示，本发明实施例提供的方法包括：

步骤201、创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中。

服务器在内存空间中创建预取池，采用基于时间的先入先出算法，将硬盘中数据的存储地址，顺序写入预取池中。

步骤202、当获取到数据写入请求时，将待写入数据写入空闲内存池中。

当需要写入数据时，将待写入数据写入到空闲内存池中的空闲空间里。

步骤203、如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾。

如果预取池中有空闲空间，将待写入数据在空闲内存池中的存储地址写入到预取池的队尾。

步骤204、如果内存中设置的预取池中没有空闲空间，则将待写入数据从空闲内存池中删除，且将待写入数据写入硬盘中。

如果预取池中没有空闲空间，将待写入数据写入到硬盘中，并且在空闲内存池中删除待写入数据。

当预取池中没有空闲空间时，将待写入数据存入硬盘中，能够有效提高预取池和空闲内存池中有限内存空间的利用率，从而提高数据的处理效率。

步骤205、当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据。

根据队首的存储地址读取对应的数据包括：判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，再输出。

当需要读取数据时，首先从预取池的队首获取待读取数据的存储地址，判断所述待读取数据的存储地址是空闲内存池中的地址还是硬盘中的地址，如果是空闲内存池中的地址，直接根据待读取数据的存储地址从空闲内存池中读取数据；如果是硬盘中的地址，则根据待读取数据的存储地址从硬盘中读取对应的数据以写入空闲内存池，随后在空闲内存池中将数据读出。

步骤206、将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

完成读取请求之后，删除预取池的队首存储地址。在空闲内存池中删除所述队首存储地址对应的数据，若硬盘中所述队首存储地址对应的数据，同样的，在硬盘中删除所述队首存储地址对应的数据。

步骤207、监测所述预取池的空闲空间是否达到预设水位限值，若是，则按照数据在硬盘中的存储顺序，从所述硬盘中获取未插入所述预取池的数据的存储地址，插入所述预取池的队尾。

预取池中预设有水位限值，在文件处理过程中实时监测预取池的空闲空间是否达到预设水位限值，如果达到，则预取池中的空闲空间过多，没有充分利用所述预取池中有限的内存空间，则安装数据在硬盘中的存储顺序，从硬盘中获取未插入到所述预取池中的数据的存储地址，将其插入到预取池的队尾。上述通过水位限值，同步空闲内存空间和硬盘中数据的方法即为水位标机制。

当预取池中的空闲空间超过预设水位限制时，将数据在硬盘中的存储地址写入预取池的队尾能够有效提高预取池中有效的内存空间的利用率。

步骤208、当获取到数据删除请求时，判断数据删除地址是否与预取池中的存储地址匹配，若是，则从所述预取池中删除匹配的存储地址，且删除对应存储的数据；若否，则从硬盘中查找所述数据删除地址，且删除对应存储的数据。

当接收到数据删除请求时，判断待删除数据的存储地址是空闲内存池中的存储地址还是硬盘中的存储地址，如果是空闲内存池中的存储地址则在空闲内存池中删除对应的数据，并在预取池中删除待删除数据的存储地址，否则，在硬盘中删除对应的数据，同时在预取池中删除待删除数据的存储地址。

根据待删除数据的存储地址，能够在预取池中快速查找到待删除数据的位置，从而高效的删除数据。

步骤209、监测所述预取池内属于空闲内存池的存储地址的存在时间；

当所述存在时间超过第一预设门限值时，将所述存储地址在空闲内存池中存储的数据写入硬盘中；

当所述存在时间超过第二预设门限值时，将所述存储地址在空闲内存池中存储的数据删除；

其中，第一预设门限值小于第二预设门限值。

当预取池内属于空闲内存池的存储地址的存在时间超过第一预设门限值时，即空闲内存池中数据长时间没有被读取或删除时，将空闲内存池中的数据写入硬盘。当预取池内属于空闲内存池的存储地址的存在时间超过第二预设门限值时，即所述存储地址所对应的数据在空闲内存池中的存在时间超过第二预设门限值，在空闲内存池中将所述存储地址所对应的数据删除。上述通过监测所述预取池内属于空闲内存池的存储地址的存在时间，从而处理数据的方法即为超时机制。

采用超时机制，能够有效维护预取池中有限的内存空间的使用率。

本实施例提供的串接流式计算节点的文件处理方法，不仅能够提高文件处理的效率，还通过水位标机制和超时机制实现空闲内存池和硬盘中数据的同步，并且提高了预取池中内存空间的使用效率，从而在文件处理过程中有效兼顾数据的完整性和数据读写操作速度。

图3是本发明第三实施例中提供的一种串接流式计算节点的文件处理装置的结构效果图。本发明实施例和本发明中方法实施例处于统一构思，在本发明实施例中未详述的内容，请参考本发明方法实施例。如图3所示，本发明实施例提供的装置包括：

写入数据单元301，用于当获取到数据写入请求时，将待写入数据写入空闲内存池中；写入存储地址单元302，用于如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；读取单元303，用于当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；删除单元304，用于将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

本实施例所提出的文件处理装置，采用用户空间文件系统框架搭建，在用户态空间维护整个文件装置。装置初始化时预分配一定数量的内存空间，存放到空闲内存池中。

在上述方案中，当响应写入请求时，写入存储地址单元302将待写入数据的存储地址写入预取池中，从而在响应后续的读取请求时，读取单元303直接从预取池中获得待读取数据的地址，并根据待读取数据的存储地址在空闲内存池或硬盘中快捷的读出相应的数据，能够有效提高该文件系统处理数据的速率。

本发明提出的串接流式计算节点的文件处理装置应用于大规模并行计算领域。该领域所涉及的两个核心问题是数据和计算。常见的一种设计思路是将计算分割成若干串行流程，待处理的数据依次通过这些串行流程；在部署形态上，这些被切割串行流程往往映射到独立的处理服务器节点，由多台服务器一起搭建起完整的计算流程。数据从第一台服务器处理后，传递到第二台服务器，直到最后环节。

所述装置还包括：选择单元，用于判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取或删除数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，或从硬盘中删除数据。

所述装置还包括：写入硬盘单元，用于如果内存中设置的预取池中没有空闲空间，则将待写入数据从空闲内存池中删除，且将待写入数据写入硬盘中。

水位监测单元，用于监测所述预取池的空闲空间是否达到预设水位限值，若是，则按照数据在硬盘中的存储顺序，从所述硬盘中获取未插入所述预取池的数据的存储地址，插入所述预取池的队尾。

所述装置，还包括：创建预取池单元，用于创建预取池，并且按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中。

所述装置还包括：删除请求处理单元，用于当获取到数据删除请求时，判断数据删除地址是否与预取池中的存储地址匹配；若是，则从所述预取池中删除匹配的存储地址，且删除对应存储的数据；若否，则从硬盘中查找所述数据删除地址，且删除对应存储的数据。

所述装置还包括：预取池空间监控单元，用于监测所述预取池内属于空闲内存池的存储地址的存在时间；当所述存在时间超过第一预设门限值时，将所述存储地址在空闲内存池中存储的数据写入硬盘中；当所述存在时间超过第二预设门限值时，将所述存储地址在空闲内存池中存储的数据删除；其中，第一预设门限值小于第二预设门限值。

各服务器间的数据交换通道有多种形态，常见的多基于网络，会受到多种因素影响实际的传输效率；前后串接的服务器的计算能力不能做到完全匹配；并且受局部系统条件的变动，往往会出现抖动。基于以上考虑，往往在前后服务器节点采用局部存储的方式来消隐降低以上因素引起的数据处理速度的抖动，降低各级节点间的前后牵制耦合。本发明实施例所提出的串接流式计算节点的文件处理装置采用内存为主硬盘为辅的文件系统。通过位于内存的预取池处理文件能够有效提高文件的处理效率。

串接流式计算节点的局部存储面临的数据处理具有如下特点：多个前级节点高速写入；多个节点高速检索读出后删除、数据存在周期短，数据写入后，往往会在短期内读出，删除；数据处理具有先后性，先写入的数据，往往先被读出或删除。

综上，针对串接流式计算节点的局部存储面临的数据处理的特点，本发明提出的文件处理系统包括下列特点：基于先入先模式的针对读取数据请求的预取池设计；预取池中具有超时写入机制；预取池中超时未删除文件丢弃机制；预取池中文件数量低于水位标时的预取机制；文件写入时和预取池及硬盘的联动机制。

本实施例提供的串接流式计算节点的文件处理装置，通过预取池中获取待处理数据的存储地址，从而能够快速获取待处理数据，以提高文件处理的效率。另外，由于该文件系统通过水位标机制和超时机制能够实现空闲内存池和硬盘中数据的同步，并且提高了预取池中内存空间的使用效率，从而在文件处理过程中有效兼顾数据的完整性和数据读写操作速度。

本实施例提供的文件处理装置用于执行本发明任意实施例提供的文件处理方法，具备相应的功能模块，达到相同的技术效果。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种串接流式计算节点的文件处理方法，其特征在于，包括：

创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中；

当获取到数据写入请求时，将待写入数据写入空闲内存池中；

如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；

当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；

将所述队首存储地址从所述预取池中删除，且将读取的数据删除；

其中，所述根据队首的存储地址读取对应的数据包括：

判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，再输出。

2.根据权利要求1所述的方法，其特征在于，还包括：

如果内存中设置的预取池中没有空闲空间，则将待写入数据从空闲内存池中删除，且将待写入数据写入硬盘中。

3.根据权利要求2所述的方法，其特征在于，还包括：

监测所述预取池的空闲空间是否达到预设水位限值，若是，则按照数据在硬盘中的存储顺序，从所述硬盘中获取未插入所述预取池的数据的存储地址，插入所述预取池的队尾。

4.根据权利要求2所述的方法，其特征在于，还包括：

当获取到数据删除请求时，判断数据删除地址是否与预取池中的存储地址匹配；

若是，则从所述预取池中删除匹配的存储地址，且删除对应存储的数据；

若否，则从硬盘中查找所述数据删除地址，且删除对应存储的数据。

5.根据权利要求2所述的方法，其特征在于，还包括：

监测所述预取池内属于空闲内存池的存储地址的存在时间；

当所述存在时间超过第一预设门限值时，将所述存储地址在空闲内存池中存储的数据写入硬盘中；

当所述存在时间超过第二预设门限值时，将所述存储地址在空闲内存池中存储的数据删除；

其中，第一预设门限值小于第二预设门限值。

6.一种串接流式计算节点的处理装置，其特征在于，包括：

创建预取池单元，用于创建预取池，并且按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中；

写入数据单元，用于当获取到数据写入请求时，将待写入数据写入空闲内存池中；

写入存储地址单元，用于如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；

读取单元，用于当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；

删除单元，用于将所述队首存储地址从所述预取池中删除，且将读取的数据删除；

选择单元，用于判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取或删除数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，或从硬盘中删除数据。

7.根据权利要求6所述的处理装置，其特征在于，还包括：

写入硬盘单元，用于如果内存中设置的预取池中没有空闲空间，则将待写入数据从空闲内存池中删除，且将待写入数据写入硬盘中；

水位监测单元，用于监测所述预取池的空闲空间是否达到预设水位限值，若是，则按照数据在硬盘中的存储顺序，从所述硬盘中获取未插入所述预取池的数据的存储地址，插入所述预取池的队尾。