CN117075815A - 一种磁盘数据缓冲区管理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种磁盘数据缓冲区管理方法、装置、设备及存储介质，涉及磁盘空间管理技术领域，包括：获取当前输入输出请求，判断当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；若所述目标存储区间为所述磁盘数据缓冲区，则判断磁盘数据缓冲区中是否存在满足当前输入输出请求的存储需求的数据缓存空间；若不存在满足当前输入输出请求的所述存储需求的数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，得到临时磁盘数据缓存区；将当前输入输出请求写入临时磁盘数据缓存区。本发明在磁盘数据缓冲区的存储空间不满足需求时向磁盘数据存储区申请临时的空间使用，通过动态弹性的临时空间申请，优化了IO性能且减少了磁盘的损耗。

Description

一种磁盘数据缓冲区管理方法、装置、设备及存储介质

技术领域

本发明涉及磁盘空间管理技术领域，特别涉及一种磁盘数据缓冲区管理方法、装置、设备及存储介质。

背景技术

针对同一OBJ(存储引擎管理IO基本单元)经过多轮IO(Input/Output，输入/输出)写入后，会有部分block(OBJ下最小读写单元)在Journal区(磁盘数据缓冲区)，部分在Data区(磁盘数据存储区)，目前采用的方案是预先设置Journal区和Data区的占比比例，并且Journal区的占比远小于Data的占比，只占磁盘总量的较少部分。当某块磁盘在执行了大量的写IO后，有可能出现Journal区写满的情况，此时新的OBJ如果需要使用Journal就会导致IO阻塞并等待，此时需要触发Journal区下刷操作，从而释放空闲的Journal来满足新的OBJ的存储需求，但是目前Journal区的占比是预先设置好的固定值，当IO并发量达到一定数量的时候，Journal区写满从而导致大量的IO处于等待状态，极大地降低了整个系统的IO处理能力。

发明内容

有鉴于此，本发明的目的在于提供一种磁盘数据缓冲区管理方法、装置、设备和存储介质，能够优化IO性能且减少磁盘的损耗。其具体方案如下：

第一方面，本发明公开了一种磁盘数据缓冲区管理方法，包括：

获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；

若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；

若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；

将所述当前输入输出请求写入所述临时磁盘数据缓存区。

可选的，所述向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区，包括：

向所述磁盘数据存储区发送所述临时存储空间申请请求，并判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值；

若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区，并在所述临时磁盘数据缓存区对应的标记位进行相应的标记。

可选的，所述判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值，包括：

基于所述磁盘数据存储区的已使用数据存储空间大小以及预先分配的磁盘数据存储区完整空间大小计算当前使用率；

若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值；

若所述当前使用率小于所述预设空间利用极限值，则判定所述当前使用率未达到所述预设空间利用极限值。

可选的，所述若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值之后，还包括：

禁止对所述临时存储空间申请请求进行响应，并将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除；

触发针对所述磁盘数据缓冲区的预设数据下刷操作。

可选的，所述触发针对所述磁盘数据缓冲区的预设数据下刷操作，包括：

判断当前是否存在使用所述临时磁盘数据缓存区的存储引擎管理输入输出单元；

若当前存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取所述存储引擎管理输入输出单元的所述临时磁盘数据缓存区中的临时缓存数据，并将所述临时缓存数据写入对应的所述磁盘数据存储区；

删除所述临时磁盘数据缓存区的所述标记位上的标记信息；

若当前不存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取任意所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。

可选的，所述触发针对所述磁盘数据缓冲区的预设数据下刷操作，包括：

获取每个所述存储引擎管理输入输出单元对应的繁忙度，并将每个所述繁忙度与预设繁忙度阈值比较；

读取所述繁忙度低于所述预设繁忙度阈值的所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。

可选的，所述判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区，包括：

获取上一次输入输出请求对应的存储区间信息；

若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据存储区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区；

若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据缓冲区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区；

相应的，所述判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区之后，还包括：

若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区，则判断所述磁盘数据存储区中是否存在满足所述当前输入输出请求的存储需求的所述数据缓存空间；

若所述磁盘数据存储区中存在满足所述当前输入输出请求的存储需求的所述数据缓存空间，则直接将所述当前输入输出请求写入所述磁盘数据存储区。

第二方面，本发明公开了一种磁盘数据缓冲区管理装置，包括：

目标存储区间判断模块，用于获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；

磁盘数据缓冲区空间判断模块，用于若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；

临时存储空间申请模块，用于若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；

请求写模块，用于将所述当前输入输出请求写入所述临时磁盘数据缓存区。

第三方面，本发明公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如前述公开的磁盘数据缓冲区管理方法的步骤。

第四方面，本发明公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的磁盘数据缓冲区管理方法。

可见，本发明提供了一种磁盘数据缓冲区管理方法，包括：获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；将所述当前输入输出请求写入所述临时磁盘数据缓存区。由此可见，本发明在磁盘数据缓冲区的存储空间不满足需求时向磁盘数据存储区申请临时的空间使用，通过动态弹性的临时空间申请，根据不同的IO请求量调整磁盘数据缓冲区的大小，避免IO堵塞，优化了IO性能且减少了磁盘的损耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明公开的一种磁盘数据缓冲区管理方法流程图；

图2为本发明公开的磁盘结构示意图；

图3为本发明公开的一种具体的磁盘数据缓冲区管理方法流程图；

图4为本发明提供的磁盘数据缓冲区管理装置结构示意图；

图5为本发明提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，当某块磁盘在执行了大量的写IO后，有可能出现Journal区写满的情况，此时新的OBJ如果需要使用Journal就会导致IO阻塞并等待，此时需要触发Journal区下刷操作，从而释放空闲的Journal来满足新的OBJ的存储需求，但是目前Journal区的占比是预先设置好的固定值，当IO并发量达到一定数量的时候，Journal区写满从而导致大量的IO处于等待状态，极大地降低了整个系统的IO处理能力。为此，本发明提供了一种磁盘数据缓冲区管理方法，能够优化IO性能且减少了磁盘的损耗。

本发明实施例公开了一种磁盘数据缓冲区管理方法，参见图1所示，该方法包括：

步骤S11：获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区。

本实施例中，获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区。具体的，获取当前输入输出请求，获取上一次输入输出请求对应的存储区间信息；若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据存储区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区；若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据缓冲区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区。

可以理解的是，本发明中的输入输出请求存储区间交替使用，即Journal区(磁盘数据缓冲区)与Data区(磁盘数据缓存区)交替使用。判断本次使用的存储区间通过上一次使用的存储区间决定，即若上一次输入输出请求使用的是Journal区，则本次使用Data区；若上一次输入输出请求使用的是Data区，则本次使用Journal区。

进一步的，判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区之后，若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区，则判断所述磁盘数据存储区中是否存在满足所述当前输入输出请求的存储需求的所述数据缓存空间；若所述磁盘数据存储区中存在满足所述当前输入输出请求的存储需求的所述数据缓存空间，则直接将所述当前输入输出请求写入所述磁盘数据存储区。

可以理解的是，如图2所示，底层引擎存储引擎通过OBJ对IO进行数据管理。一个OBJ信息在存储层面上划分为Data部分和Meta(磁盘元数据存储区域)部分，其中Data部分在IO过程中会根据当前的数据存储情况将数据动态地落入磁盘的Data区或者Journal区。针对单个OBJ，内部划分最小IO单元为Block，Block为IO操作的基本单元。例如：一个OBJ大小为4M，Block块大小为4K，那么在一个OBJ下有1024个4K的Block块供写入。同一OBJ在IO的过程中会在Journal区和Data区各分配一块对应大小的区间供写入，通过动态计算各个Block的当前数据位置(在Meta数据中标记)，依据特定规则将数据写入到Data区或者Journal区中，从而保证数据在写入前后的一致性，写入成功则是新数据，写入失败则是旧数据，没有中间状态。

步骤S12：若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间。

本实施例中，获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区之后，若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间。可以理解的是，在确定目标存储区间为所述磁盘数据缓冲区之后，需要判断当前磁盘数据缓冲区中是否存在可以接收当前输入输出请求的空间，若存在，则直接将所述当前输入输出请求写入磁盘数据缓冲区。需要指出的是，所述磁盘数据缓冲区中的最小IO单元为Block，Block的大小为预先划分好的大小，磁盘数据缓冲区中的Block的大小与磁盘数据存储区中的Block的大小相同。

步骤S13：若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区。

本实施例中，判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间之后，若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区。具体的，向所述磁盘数据存储区发送所述临时存储空间申请请求，并判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值；若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区，并在所述临时磁盘数据缓存区对应的标记位进行相应的标记。申请后整个数据块(临时磁盘数据缓存区)都按照Journal处理，并在Data区做相应的标记。

可以理解的是，判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值，包括：基于所述磁盘数据存储区的已使用数据存储空间大小以及预先分配的磁盘数据存储区完整空间大小计算当前使用率；若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值；若所述当前使用率小于所述预设空间利用极限值，则判定所述当前使用率未达到所述预设空间利用极限值。

IO过程中Journal的申请和使用的整个过程由IO流程来驱动，当某个IO流程需要用到Journal块的时候会优先尝试向固定Journal区申请空间，以用于当前OBJ的IO。当固定Journal区使用完毕的场景下，则尝试向Data区申请借用空间作为Journal使用，即临时磁盘数据缓存区。可以理解的是，所述磁盘会设置一个预设空间利用极限值，例如Data区的预设空间利用极限值为90％(预设空间利用极限值可根据不同需求自行设置)，即若使用率达到90％则表明Data区空间不足，意味着当前磁盘已经写满或接近写满。若使用率未达到90％则表明Data区空间充足有大量富余，此时分配申请的空间为临时Journal区，即从Data区的可使用空间中选择一定的Block作为临时磁盘数据缓存区，在临时磁盘数据缓存区相应的标记位进行标记，以便当前IO流程将该数据块作为Journal使用。

步骤S14：将所述当前输入输出请求写入所述临时磁盘数据缓存区。

本实施例中，向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区之后，将所述当前输入输出请求写入所述临时磁盘数据缓存区。可以理解的是，根据标记信息确定临时磁盘数据缓存区，然后将所述当前输入输出请求写入所述临时磁盘数据缓存区，减少Journal空间不足的场景下申请Journal空间的等待时间。

本发明改进底层存储引擎的IO处理流程和Journal管理模块，通过对Journal区间动态扩容缩减，减少在IO高峰期间Journal空间不足导致的IO冲突的问题，提高IO服务的处理能力，实现整体IO性能的提升，进而提升整个存储平台的吞吐能力。通过设计合理的Journal申请和释放策略，针对分布式存储平台的特性，将空闲的Data区合理地利用起来，在提高整个存储系统性能的同时提高了相关硬件的使用率，降低了整个系统的成本。

可见，本发明提供了一种磁盘数据缓冲区管理方法，包括：获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；将所述当前输入输出请求写入所述临时磁盘数据缓存区。由此可见，本发明在磁盘数据缓冲区的存储空间不满足需求时向磁盘数据存储区申请临时的空间使用，通过动态弹性的临时空间申请，根据不同的IO请求量调整磁盘数据缓冲区的大小，避免IO堵塞，优化了IO性能且减少了磁盘的损耗。

参见图3所示，本发明实施例公开了一种磁盘数据缓冲区管理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

步骤S21：获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区。

本实施例中，磁盘初始化时候全局预留固定大小的磁盘空间作为Journal区使用，本发明在对Journal区和Data区进行空间分配时，减少Journal区在整个磁盘的占比，即降低初始化磁盘时Journal区的大小，增加有效的Data区在整个磁盘空间的占比。本发明在固定Journal区已经使用完毕的情况下，根据当前的磁盘使用情况，向Data区申请部分空闲的空间作为临时的Journal块使用，从而动态调整Journal区存储空间的大小，因此在初始空间分配时，Journal区的大小并不会影响后续的IO接收，因此可以将Journal区的空间占比降低，从而减少磁盘的损耗。

本发明包含磁盘初始分区并格式化、固定Journal块的申请和使用、动态Journal块申请和使用、数据的下刷和Journal块的归还几部分。可以理解的是，1、磁盘初始分区并格式化。一块新磁盘在加入存储平台前需要平台进行格式化处理，将整个磁盘切割划分3个区域：元数据存储的Meta区、数据临时存储的Journal区、数据最终存储的Data区。2、固定Journal块的申请和使用。由于目前采用的是固定Journal大小，但是较小的Journal区无法满足性能要求。本发明执行动态Journal管理操作，从而缩小Journal区的大小就。例如，将占磁盘大小的1/10的Journal区缩小为占磁盘大小的1/20的Journal区，降低了由Journal的使用带来的磁盘损耗，提高了单个磁盘的使用率，降低了整个存储系统的硬件成本。

步骤S22：若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间。

步骤S23：若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向所述磁盘数据存储区发送所述临时存储空间申请请求，并判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值。

本实施例中，若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，即Journal区没有空闲的Journal时，根据当前具体的情况选择等待Journal数据下刷或者临时选择Data区空闲的空间作为Journal块使用，减少Journal的使用对整个IO产生的影响。通过借用空闲Data区数据，增加瞬时的可用的Journal块的数量，降低因Journal使用导致的IO性能下降的概率，增加磁盘的使用率，减少IO和Journal空间不足、IO和Journal数据下刷的冲突，优化IO性能。

步骤S24：若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区，将所述当前输入输出请求写入所述临时磁盘数据缓存区。

步骤S25：若所述当前使用率已达到所述预设空间利用极限值，则禁止对所述临时存储空间申请请求进行响应，并将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除。

本实施例中，判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值之后，若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值；若所述当前使用率已达到所述预设空间利用极限值，则禁止对所述临时存储空间申请请求进行响应，并将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除。可以理解的是，若所述当前使用率已达到所述预设空间利用极限值，则表明当前Data区空间不足，意味着当前磁盘已经写满或接近写满，此时拒绝临时Journal分配的申请，即禁止对所述临时存储空间申请请求进行响应。此时的IO流程沿用旧逻辑，需等待Journal空间释放后才可以执行后续的写入操作，并且此时触发Journal数据强制下刷流程。

需要指出的是，等待Journal空间释放，则首先需要将Data区的旧数据清除以释放空间，当Data区空间富余时，才可以继续申请临时磁盘数据缓存区或下刷Journal区中的数据以释放空间。

步骤S26：触发针对所述磁盘数据缓冲区的预设数据下刷操作。

本实施例中，将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除之后，触发针对所述磁盘数据缓冲区的预设数据下刷操作。可以理解的是，从单个OBJ的维度来说，OBJ数据从Journal块下刷到Data区的过程中需要严格保证数据的一致性，因此下刷的过程中需要锁定该OBJ，此时如果收到该OBJ正常的IO请求，会因锁竞争而触发阻塞等待，两者的冲突会导致系统整体的IO性能下降，增大单个IO请求的时延，降低整个存储平台的IO稳定性和吞吐量。

可以理解的是，数据下刷的OBJ选择标准如下：1、优先选择当前IO不繁忙的OBJ进行下刷，尽量减少IO和数据下刷之间的冲突，降低对性能的影响；2、优先选择使用了动态Journal块的OBJ进行下刷，以释放占用的Data区空间。

具体的，在一种具体的实施方式中，判断当前是否存在使用所述临时磁盘数据缓存区的存储引擎管理输入输出单元；若当前存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取所述存储引擎管理输入输出单元的所述临时磁盘数据缓存区中的临时缓存数据，并将所述临时缓存数据写入对应的所述磁盘数据存储区；删除所述临时磁盘数据缓存区的所述标记位上的标记信息；若当前不存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取任意所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。在另一种具体的实施方式中，获取每个所述存储引擎管理输入输出单元对应的繁忙度，并将每个所述繁忙度与预设繁忙度阈值比较；读取所述繁忙度低于所述预设繁忙度阈值的所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。

Journal数据的下刷流程中，Journal下刷是指将Journal数据读取出来，然后覆盖写入到OBJ对应的Data区，同时释放当前的Journal块。可以理解的是，通过监控磁盘目前的繁忙程度和当前的Journal使用情况来选择数据下刷的时机，数据下刷时机如下：当磁盘整体不繁忙或者空闲的情况下触发Journal数据下刷；或，当磁盘空间整体使用率(即预设空间利用极限值)达到特定标准(如90％以上)后触发强制Journal下刷。

可以理解的是，当磁盘空闲场景下，下刷当前处于非繁忙状态下的OBJ数据，数据下刷完成后根据当前OBJ的Journal块的属性，将其释放到Journal区或者Data区，完成Journal的释放与归还操作。

本发明重将原来的固定大小的Journal区和Data区，改为动态有弹性的Journal块申请方式。在高压力场景下保证Journal块的充足，降低下刷的概率，减少高压力场景下因Journal下刷与正常IO的冲突的等待时间，极大地提升了存储系统的性能。利用增加动态Journal的方式降低对固定Journal区的大小的依赖，增加了磁盘有效的存储空间，减少了磁盘的损耗，在一定程度上降低了整个系统的成本。

关于上述步骤S22、S24的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请实施例通过获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向所述磁盘数据存储区发送所述临时存储空间申请请求，并判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值；若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区，将所述当前输入输出请求写入所述临时磁盘数据缓存区；若所述当前使用率已达到所述预设空间利用极限值，则禁止对所述临时存储空间申请请求进行响应，并将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除；触发针对所述磁盘数据缓冲区的预设数据下刷操作，避免IO堵塞，优化了IO性能且减少了磁盘的损耗。

参见图4所示，本发明实施例还相应公开了一种磁盘数据缓冲区管理装置，包括：

目标存储区间判断模块11，用于获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；

磁盘数据缓冲区空间判断模块12，用于若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；

临时存储空间申请模块13，用于若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；

请求写模块14，用于将所述当前输入输出请求写入所述临时磁盘数据缓存区。

可见，本发明包括：获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；将所述当前输入输出请求写入所述临时磁盘数据缓存区。由此可见，本发明在磁盘数据缓冲区的存储空间不满足需求时向磁盘数据存储区申请临时的空间使用，通过动态弹性的临时空间申请，根据不同的IO请求量调整磁盘数据缓冲区的大小，避免IO堵塞，优化了IO性能且减少了磁盘的损耗。

在一些具体实施例中，所述目标存储区间判断模块11，具体包括：

当前输入输出请求获取单元，用于获取当前输入输出请求；

存储区间信息获取单元，用于获取上一次输入输出请求对应的存储区间信息；

第一目标存储区间确定单元，用于若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据存储区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区；

第二目标存储区间确定单元，用于若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据缓冲区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区；

磁盘数据存储区空间判断单元，用于若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区，则判断所述磁盘数据存储区中是否存在满足所述当前输入输出请求的存储需求的所述数据缓存空间；

当前输入输出请求写单元，用于若所述磁盘数据存储区中存在满足所述当前输入输出请求的存储需求的所述数据缓存空间，则直接将所述当前输入输出请求写入所述磁盘数据存储区。

在一些具体实施例中，所述磁盘数据缓冲区空间判断模块12，具体包括：

磁盘数据缓冲区空间判断单元，用于若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间。

在一些具体实施例中，所述临时存储空间申请模块13，具体包括：

临时存储空间申请请求发送单元，用于若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向所述磁盘数据存储区发送所述临时存储空间申请请求；

当前使用率计算单元，用于基于所述磁盘数据存储区的已使用数据存储空间大小以及预先分配的磁盘数据存储区完整空间大小计算当前使用率；

第一当前使用率判定单元，用于若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值；

响应禁止单元，用于禁止对所述临时存储空间申请请求进行响应；

数据删除单元，用于将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除；

预设数据下刷操作触发单元，用于触发针对所述磁盘数据缓冲区的预设数据下刷操作；

第二当前使用率判定单元，用于若所述当前使用率小于所述预设空间利用极限值，则判定所述当前使用率未达到所述预设空间利用极限值；

临时磁盘数据缓存区确定单元，用于若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区；

标记单元，用于在所述临时磁盘数据缓存区对应的标记位进行相应的标记。

在一些具体实施例中，所述临时存储空间申请模块13，具体包括：

临时磁盘数据缓存区使用判断单元，用于判断当前是否存在使用所述临时磁盘数据缓存区的存储引擎管理输入输出单元；

临时缓存数据读取单元，用于若当前存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取所述存储引擎管理输入输出单元的所述临时磁盘数据缓存区中的临时缓存数据；

临时缓存数据写单元，用于将所述临时缓存数据写入对应的所述磁盘数据存储区；

标记信息删除单元，用于删除所述临时磁盘数据缓存区的所述标记位上的标记信息；

第一缓存数据读取单元，用于若当前不存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取任意所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据；

第一缓存数据写单元，用于将当前读取到的缓存数据写入所述磁盘数据存储区。

在一些具体实施例中，所述临时存储空间申请模块13，具体包括：

繁忙度获取单元，用于获取每个所述存储引擎管理输入输出单元对应的繁忙度；

繁忙度比较单元，用于将每个所述繁忙度与预设繁忙度阈值比较；

第二缓存数据读取单元，用于读取所述繁忙度低于所述预设繁忙度阈值的所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据；

第二缓存数据写单元，用于将当前读取到的缓存数据写入所述磁盘数据存储区。

在一些具体实施例中，所述请求写模块14，具体包括：

请求写单元，用于将所述当前输入输出请求写入所述临时磁盘数据缓存区。

进一步的，本发明实施例还提供了一种电子设备。图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本发明的使用范围的任何限制。

图5为本发明实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的磁盘数据缓冲区管理方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本发明技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的磁盘数据缓冲区管理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本发明实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的磁盘数据缓冲区管理方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种磁盘数据缓冲区管理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种磁盘数据缓冲区管理方法，其特征在于，包括：

获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；

若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；

若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；

将所述当前输入输出请求写入所述临时磁盘数据缓存区。

2.根据权利要求1所述的磁盘数据缓冲区管理方法，其特征在于，所述向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区，包括：

向所述磁盘数据存储区发送所述临时存储空间申请请求，并判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值；

若所述当前使用率未达到所述预设空间利用极限值，则从所述磁盘数据存储区的未使用数据存储空间中确定所述临时磁盘数据缓存区，并在所述临时磁盘数据缓存区对应的标记位进行相应的标记。

3.根据权利要求2所述的磁盘数据缓冲区管理方法，其特征在于，所述判断所述磁盘数据存储区的当前使用率是否达到预设空间利用极限值，包括：

基于所述磁盘数据存储区的已使用数据存储空间大小以及预先分配的磁盘数据存储区完整空间大小计算当前使用率；

若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值；

若所述当前使用率小于所述预设空间利用极限值，则判定所述当前使用率未达到所述预设空间利用极限值。

4.根据权利要求3所述的磁盘数据缓冲区管理方法，其特征在于，所述若所述当前使用率大于或等于所述预设空间利用极限值，则判定所述当前使用率已达到所述预设空间利用极限值之后，还包括：

禁止对所述临时存储空间申请请求进行响应，并将所述磁盘数据存储区中存储时间大于预设时间阈值的待清除数据进行删除；

触发针对所述磁盘数据缓冲区的预设数据下刷操作。

5.根据权利要求4所述的磁盘数据缓冲区管理方法，其特征在于，所述触发针对所述磁盘数据缓冲区的预设数据下刷操作，包括：

判断当前是否存在使用所述临时磁盘数据缓存区的存储引擎管理输入输出单元；

若当前存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取所述存储引擎管理输入输出单元的所述临时磁盘数据缓存区中的临时缓存数据，并将所述临时缓存数据写入对应的所述磁盘数据存储区；

删除所述临时磁盘数据缓存区的所述标记位上的标记信息；

若当前不存在使用所述临时磁盘数据缓存区的所述存储引擎管理输入输出单元，则读取任意所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。

6.根据权利要求4所述的磁盘数据缓冲区管理方法，其特征在于，所述触发针对所述磁盘数据缓冲区的预设数据下刷操作，包括：

获取每个所述存储引擎管理输入输出单元对应的繁忙度，并将每个所述繁忙度与预设繁忙度阈值比较；

读取所述繁忙度低于所述预设繁忙度阈值的所述存储引擎管理输入输出单元的所述磁盘数据缓冲区中的缓存数据，并将当前读取到的缓存数据写入所述磁盘数据存储区。

7.根据权利要求1至6任一项所述的磁盘数据缓冲区管理方法，其特征在于，所述判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区，包括：

获取上一次输入输出请求对应的存储区间信息；

若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据存储区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区；

若所述存储区间信息表征所述上一次输入输出请求用于请求写入所述磁盘数据缓冲区，则判定所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区；

相应的，所述判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区之后，还包括：

若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据存储区，则判断所述磁盘数据存储区中是否存在满足所述当前输入输出请求的存储需求的所述数据缓存空间；

若所述磁盘数据存储区中存在满足所述当前输入输出请求的存储需求的所述数据缓存空间，则直接将所述当前输入输出请求写入所述磁盘数据存储区。

8.一种磁盘数据缓冲区管理装置，其特征在于，包括：

目标存储区间判断模块，用于获取当前输入输出请求，并判断所述当前输入输出请求对应的目标存储区间是否为磁盘数据缓冲区；

磁盘数据缓冲区空间判断模块，用于若所述当前输入输出请求对应的所述目标存储区间为所述磁盘数据缓冲区，则判断所述磁盘数据缓冲区中是否存在满足所述当前输入输出请求的存储需求的数据缓存空间；

临时存储空间申请模块，用于若所述磁盘数据缓冲区中不存在满足所述当前输入输出请求的所述存储需求的所述数据缓存空间，则向磁盘数据存储区发送临时存储空间申请请求，以得到临时磁盘数据缓存区；

请求写模块，用于将所述当前输入输出请求写入所述临时磁盘数据缓存区。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的磁盘数据缓冲区管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的磁盘数据缓冲区管理方法。