CN109800184A - 针对小块输入的缓存方法、系统、装置及可存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，提供一种针对小块输入的缓存方法、系统、装置及可存储介质，其中的方法包括：S110：将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；S120：将所整合的IO集合传送给放置策略组；S130：整合所述放置策略组中的IO集合；S140：对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。利用本发明，能够减少PG处理的IO数量，将CPU资源释放出来，提高数据处理效率。

Description

针对小块输入的缓存方法、系统、装置及可存储介质

技术领域

本发明涉及数据处理技术领域，更为具体地，涉及一种针对小块输入的缓存方法、系统、装置及可存储介质。

背景技术

随着信息化程度的提高，需要计算机读写的数据信息越来越多，海量的数据信息应用对数据的读写方式提出了更高的要求。

由于应用数据的庞杂性，在很多数据读写应用过程中，往往需要反复进行针对某一对象的数据IO(I/O，Input/Output，输入输出)操作，重复的IO过程消耗了大量的CPU资源。

其中，数据写入请求的流程过长，尤其是小块数据，每次IO都要经过冗长的PG(placement group，放置策略组)逻辑和对象存储逻辑。对象存储每次写数据都要先找到对象的元数据，如果元数据不在缓存中，需要去盘中读取。每个IO都要进行一次数据库元数据的更新。如果是针对同一对象的操作，很多更新是重复而且没有必要的，反而会导致读取、更新速度慢、效率低等问题。

为解决上述问题，本发明提供一种针对小块输入的缓存方法、系统、装置及可存储介质。

发明内容

鉴于上述问题，本发明的目的是提供一种针对小块输入的缓存方法、系统、装置及可存储介质，以解决目前IO写入流程过长，无效操作过多，读取、更新速度慢、效率低等问题。

第一方面，本发明提供一种针对小块输入的缓存方法，应用于电子装置，包括如下步骤：

S110：将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；

S120：将所整合的IO集合传送给放置策略组；

S130：整合所述放置策略组中的IO集合；

S140：对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

第二方面，本发明提供一针对小块输入的缓存系统，包括：

IO整合单元，用于将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；

PG采集单元，用于将所整合的IO集合传送给放置策略组；

PG整合单元，用于整合所述放置策略组中的IO集合；

缓存单元，用于对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

第三方面，本发明还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述针对小块输入的缓存方法的步骤。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述针对小块输入的缓存方法的步骤。

从上面的技术方案可知，本发明提供的针对小块输入的缓存方法、系统、装置及可存储介质，能够有效缓解目前CPU的瓶颈问题，通过整合IO，减少PG处理的IO数量，将CPU资源释放出来，处理更多的IO，从而提高数据更新速度，提高效率。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的针对小块输入的缓存方法流程；

图2为根据本发明实施例的数据写入处理流程；

图3为根据本发明实施例的整合数量控制流程；

图4为根据本发明另一实施例的整合数量控制流程；

图5为根据本发明实施例的针对小块输入的缓存系统的逻辑结构；

图6为根据本发明实施例的电子装置逻辑结构示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

本发明实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器等电子设备可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

以下将结合附图对本发明的具体实施例进行详细描述。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

实施例1

为了说明本发明提供的针对小块输入的缓存方法，图1示出了根据本发明实施例的针对小块输入的缓存方法流程。本发明中涉及的数据写入请求包含一些元数据信息及数据，其中的元数据包括要写入的对象名称、偏移量、长度等数据。

如图1所示，本发明提供的针对小块输入的缓存方法，可以包括如下步骤：

S110：对属于一个对象的多次写入请求进行整合，整合为一个IO集合；

S120：将所整合的IO集合传送给放置策略组；

S130：整合放置策略组中的IO集合；

S140：对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

由于信息化程度的提高和海量数据的应用，在很多数据读写应用过程中，往往需要反复进行针对某一对象的数据写入IO操作，单次的数据写入量比较小，但是仍需要重复进行相同的PG逻辑和对象存储逻辑，如果能够对这些属于同一个对象的小的IO操作进行整合，整合为能够统一处理的数据量比较大的集合后统一进行写入操作，则会节省大量的CPU资源。

在此，可以把步骤S110中对多次写入请求的整合视为基础整合。在基础整合处理过程中，首先需要对数据写入请求(即待缓存数据)进行分析，根据数据写入请求的对象(即待缓存数据对象)确定与其对应的IO集合，也就是找到与该待缓存数据对象相同的IO集合，将该数据写入请求(即待缓存数据)先期放置在该IO集合中。然后，当某一IO集合中的数据写入请求达到规定的数量时，就对该IO集合进行整合处理，然后将整合处理后的IO集合传送给放置策略组处理(如步骤S120所述)。

PG(placement group)是一个放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略；简单点说就是相同PG内的对象都会放到相同的硬盘上。因此，可以通过整合对同属于一个对象的IO操作，来避免诸多重复性IO操作。

当然，基于IO操作的共性，在对属于一个对象的多次小IO进行整合的过程中，能够被整合的IO不限于只属于一个对象，还可以将属于一个PG的数据全部加以整合。

因此，为了加大整合力度，充分释放CPU资源，在本发明中，可以设定能够整合的IO不需要属于一个对象，只要属于一个PG即可。即上述步骤S130所述，在将所整合的IO集合传送给放置策略组后，进一步整合放置策略组中的IO集合(如步骤S130所述)。

在完成放置策略组中的IO集合的整合之后，就可以进入步骤S140，对整合后的对象的元数据进行缓存处理。最后，就可以对缓存中的元数据进行写入处理，一次性对缓存中的经过整合的多次数据写入IO执行写入操作，避免基于相同的处理模式频繁调用CPU，提高数据处理效率。

具体的，作为示例，图2示出了根据本发实施例的对上述这些包含元数据信息的数据写入处理流程。

如图2所示，上述数据写入处理流程包括如下步骤：

S210：服务器端接收数据写入请求；

S220：将写入请求缓存在按PG划分的队列中，并把写入请求记录到一个快速设备中；

服务器端在接收到数据写入请求后，先将写入请求缓存在按PG划分的队列中，每个PG一个队列，具有相同放置策略的对象被放在一个队列中，目的是为了在后期便于以PC为单位整合数据。写入队列的时候同时把请入请求记录到一个快速设备中，该快速设备可以是NVME(Non-Volatile Memory Express，非易失性存储器接口)盘、SCSI(SmallComputer System Interface，小型计算机系统接口)盘或者SATA(Serial AdvancedTechnology Attachment，串行高级技术附件)盘，并给客户端回复已经写入成功。

当有大量数据写入请求时，数据整合是按照请求进入的顺序进行。

S230：后台线程依次处理每个队列，将对列中的写入请求合并，提交到PG处理。

S240：PG处理写入请求；

S250：PG处理完写入请求之后，即数据写入成功、缓存完成后，清除内存中及快速设备中的缓冲的写入请求数据。

其中，PG处理写入请求的过程包括在PG中进一步对IO集合进行整合，整合完毕，对对整合后IO集合的对象的元数据进行缓存处理。

当数据写入失败时，可以使用内存中的数据重新提交写入请求。当机器宕机时，重启后再次加载快速设备中的数据写入请求，重新进行提交。

如此进行预定次数，直到数据写入成功。如果重复数次(预定次数)仍不能成功写入，则反馈写入失败信息。重复写入的预定次数可以根据应用的需要通过配置文件灵活设定，比如三次、五次等。

另外，为了合理控制PG写入的数量和数据量，还可以对写入数据的整合数量进行控制。图3和图4分别示出了根据本发明实施例的整合数量控制流程。

如图3和图4所示，在整合数量的控制过程中，可以采用数量控制(图3)或者时间控制方式(图4)。比如，当请求写入的数据到达后，接收数据写入请求(步骤S310、S410)，然后将所接收的数据写入请求加到缓存中(步骤S320、S420)，由后台线程不断检查PG队列中的IO数量是否超过某设定值(步骤S330)。当某个PG队列中的IO数量达到某设定值时，如10条写入请求，则对该PG队列中所有IO进行整合(步骤S340)，否则继续接收数据写入请求(步骤S310)；或者由后台线程不断检查PG队列距离上次整合的时间间隔是否超过某设定值(步骤S430)，当某PG队列离上次整合的时间间隔超过某设定值时，如1秒，则触发IO整合(步骤S430)，否则继续接收数据写入请求(步骤S410)。

IO数量的设定值和时间间隔设定值可以通过配置文件进行设定。

另外，为了增强数据的安全性，还可以对数据的写入IO进行安全认证。比如，在用户希望对某一数据进行缓存时，首先进行安全校验，校验合格后再进行基础整合处理。

通过以上实施例的表述可以看出，无论有多少数据需要写入，只要划分对象类别和PG，都可以通过上述针对小块写入的缓存方法对写入请求进行整合，积存一定数量或者在经过一定时间的写入请求接收之后才触发IO整合，进而对整合后的写入请求进行统一处理，从而减少PG单次处理的IO数量，避免基于相同的处理模式频繁调用CPU，将CPU资源释放出来，处理更多的IO，从而提高数据更新速度，提高数据处理效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例2

与上述方法相对应，本发明还提供一种针对小块输入的缓存系统，图5示出了根据本发明实施例的针对小块输入的缓存系统的逻辑结构。

如图5所示，本发明提供的针对小块输入的缓存系统500，包括IO整合单元510、PG采集单元520、PG整合单元530和缓存单元540。其中，

IO整合单元510，用于对属于一个对象的多次小IO进行整合，将属于一个对象的多次小IO整合为为属于该对象的一个IO集合；

PG采集单元520，用于将所整合的IO集合传送给放置策略组；

PG整合单元530，用于整合放置策略组中的IO集合；

缓存单元540，用于对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

在图5所示的实施例中，IO整合单元510进一步包括写入请求接收单元511、写入请求缓存单元512、整合触发单元513和整合单元514。

其中，写入请求接收单元511用于接收数据写入请求；写入请求缓存单元512用于将所接收的数据写入请求加到缓存中，缓存在按放置策略组划分的PG队列中；整合触发单元513用于在某个PG队列中的IO数量达到某设定值或者某PG队列离上次整合的时间间隔超过某设定值时，触发IO整合；整合单元514用于根据整合触发单元513的触发信号，对缓存中的数据写入请求进行整合处理。

如果所有PG队列中的IO数量均未达到某设定值或者所有PG队列离上次整合的时间间隔均未超过某设定值，则写入请求接收单元511继续接收数据写入请求，直至某个PG队列中的IO数量达到某设定值或者某队列离上次整合的时间间隔超过某设定值。

本发明上述实施例提供的针对小块输入的缓存系统，通过对属于同一对象、同一PG的数据写入请求进行积存和整合处理，进而对整合后的写入请求进行统一的缓存处理，能够减少PG以及CPU单次处理的IO数量，避免基于相同的处理模式频繁调用CPU，将CPU资源释放出来，处理更多的IO，从而提高数据更新速度和处理效率。

实施例3

图6是本发明一实施例提供的电子装置逻辑结构的示意图。如图6所示，该实施例的电子装置600包括处理器610、存储器620以及存储在存储器620中并可在处理器610上运行的计算机程序621。处理器610执行计算机程序621时实现实施例1中针对小块输入的缓存方法的各个步骤，例如图1所示的步骤S110至S140。或者，处理器610执行针对小块输入的缓存方法时实现上述各装置实施例中各模块/单元的功能，例如图5所示的IO整合单元510、PG采集单元520、PG整合单元530和缓存单元540。

示例性的，计算机程序621可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器620中，并由处理器610执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序621在电子装置600中的执行过程。例如，计算机程序620可以被分割成实现实施例2中的各单元的程序：IO整合程序、PG采集程序、PG整合程序和缓存程序，其中，IO整合程序被执行为将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；PG采集程序被执行为将所整合的IO集合传送给放置策略组；PG整合程序被执行为整合所述放置策略组中的IO集合；缓存程序被执行为对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

电子装置600可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子装置600可包括，但不仅限于，处理器610、存储器620。本领域技术人员可以理解，图6仅仅是电子装置600的示例，并不构成对电子装置600的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子装置还可以包括输入输出设备、网络接入设备、总线等。

处理器610可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器620可以是电子装置600的内部存储单元，例如电子装置600的硬盘或内存。存储器620也可以是电子装置500的外部存储设备，例如电子装置600上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器620还可以既包括电子装置600的内部存储单元也包括外部存储设备。存储器620用于存储计算机程序以及电子设备所需的其他程序和数据。存储器620还可以用于暂时地存储已经输出或者将要输出的数据。

实施例4

本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中针对小块输入的缓存方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例2中针对小块输入的缓存系统中各模块/单元的功能，为避免重复，这里不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种针对小块输入的缓存方法，应用于电子装置，其特征在于，包括如下步骤：

S110：将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；

S120：将所整合的IO集合传送给放置策略组；

S130：整合所述放置策略组中的IO集合；

S140：对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

2.根据权利要求1所述的针对小块输入的缓存方法，其特征在于，在所述步骤S110中，

首先，对数据写入请求进行分析，根据所述数据写入请求的对象确定与其对应的IO集合；

其次，将所述数据写入请求先期放置在对应的IO集合中；

最后，当所述IO集合中的数据写入请求达到规定的数量时，对所述IO集合进行整合处理。

3.根据权利要求1所述的针对小块输入的缓存方法，其特征在于，在所述步骤S110中，

在接收到数据写入请求后，将所述数据写入请求缓存在按放置策略组划分的PG队列中，并把所述写入请求记录到一个快速设备中；

后台线程依次处理每个PG队列，将所述PG对列中的写入请求合并。

4.根据权利要求3所述的针对小块输入的缓存方法，其特征在于，在将所述写入请求缓存在按放置策略组划分的PG队列中后，进一步包括：

检查所述PG队列中的写入请求数量是否超过某设定值，或者，检查所述PG队列距离上次整合的时间间隔是否超过某设定值；其中，

当某个PG队列中的写入请求数量达到某设定值时，或者，当某个PG队列离上次整合的时间间隔超过某设定值时，对所述PG队列中所有请求进行整合；否则继续接收数据写入请求。

5.根据权利要求4所述的针对小块输入的缓存方法，其特征在于，

所述写入请求数量的设定值和所述时间间隔的设定值通过配置文件进行设定。

6.一种针对小块输入的缓存系统，其特征在于，包括：

IO整合单元，用于将属于一个对象的多次写入请求整合为属于所述对象的一个IO集合；

PG采集单元，用于将所整合的IO集合传送给放置策略组；

PG整合单元，用于整合所述放置策略组中的IO集合；

缓存单元，用于对整合后的放置策略组中的IO集合的对象的元数据进行缓存处理。

7.根据权利要求6所述的针对小块输入的缓存系统，其特征在于，所述IO整合单元进一步包括：

写入请求接收单元，用于接收数据写入请求；

写入请求缓存单元，用于将所接收的数据写入请求缓存在按放置策略组划分的PG队列中；

整合触发单元，用于在所述PG队列中的IO数量达到某设定值或者PG队列离上次整合的时间间隔超过某设定值时，触发IO整合；

整合单元，用于根据所述整合触发单元的触发信号，对缓存中的数据写入请求进行整合处理。

8.根据权利要求7所述的针对小块输入的缓存系统，其特征在于，

如果所有PG队列中的IO数量均未达到某设定值或者所有PG队列离上次整合的时间间隔均未超过某设定值，则所述写入请求接收单元继续接收数据写入请求，直至某个PG队列中的IO数量达到某设定值或者某PG队列离上次整合的时间间隔超过某设定值。

9.一种电子装置，所述电子装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述针对小块输入的缓存方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的针对小块输入的缓存方法的步骤。