CN117742612A - 用于磁盘文件系统io读写的io访问带宽调整方法及装置 - Google Patents

Abstract

本说明书实施例提供了用于磁盘文件系统IO读写的IO访问带宽调整方法及装置。在该方法中，可以获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息；响应于写操作状态信息指示需要对数据访问设备的IO访问带宽进行调整，根据写操作状态信息确定IO访问带宽调整策略，IO访问带宽包括IO写带宽和IO读带宽，IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若IO写带宽占用多，则IO读带宽占用少，若IO写带宽占用少，则IO读带宽占用多；以及按照IO访问带宽调整策略调整数据访问设备的IO访问带宽。

Description

用于磁盘文件系统IO读写的IO访问带宽调整方法及装置

技术领域

本说明书实施例涉及数据库技术领域，具体地，涉及用于磁盘文件系统IO读写的IO访问带宽调整方法及装置。

背景技术

在磁盘文件系统中，比如，LSM-tree结构的磁盘文件系统中，读写操作都需要占用IO带宽，其中，Flush操作、合并操作等写操作经常性地需要占用过高的存储资源，导致磁盘文件系统出现Write Stall。因此，如何避免或者解决Write Stall是亟待解决的问题。

发明内容

鉴于上述，本说明书实施例提供了用于磁盘文件系统IO读写的IO访问带宽调整方法及装置。在本说明书实施例中，通过写操作状态信息来调整IO访问带宽以优化写停顿，从而确保读写操作正常。

根据本说明书实施例的一个方面，提供了一种用于磁盘文件系统IO读写的IO访问带宽调整方法，包括：获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，所述写操作状态信息包括写停顿信息；响应于所述写操作状态信息指示需要对所述数据访问设备的IO访问带宽进行调整，根据所述写操作状态信息确定IO访问带宽调整策略，所述IO访问带宽包括IO写带宽和IO读带宽，所述IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若所述IO写带宽占用多，则所述IO读带宽占用少，若所述IO写带宽占用少，则所述IO读带宽占用多；以及按照所述IO访问带宽调整策略调整所述数据访问设备的IO访问带宽。

根据本说明书实施例的另一方面，还提供一种用于磁盘文件系统IO读写的IO访问带宽调整装置，包括：信息获取单元，获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，所述写操作状态信息包括写停顿信息；策略确定单元，响应于所述写操作状态信息指示需要对所述数据访问设备的IO访问带宽进行调整，根据所述写操作状态信息确定IO访问带宽调整策略，所述IO访问带宽包括IO写带宽和IO读带宽，所述IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若所述IO写带宽占用多，则所述IO读带宽占用少，若所述IO写带宽占用少，则所述IO读带宽占用多；以及带宽调整单元，按照所述IO访问带宽调整策略调整所述数据访问设备的IO访问带宽。

根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的用于磁盘文件系统IO读写的IO访问带宽调整方法。

附图说明

通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本说明书实施例的LSM-tree的一个示例的示意图。

图2示出了根据本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整方法的一个示例的流程图。

图3示出了根据本说明书实施例提供的确定IO访问带宽调整策略的一个示例的示意图。

图4示出了根据本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整装置的一个示例的方框图。

图5示出了根据本说明书实施例的用于实现IO访问带宽调整方法的电子设备的方框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

在磁盘文件系统中，比如，LSM-tree结构的磁盘文件系统中，读写操作都需要占用IO带宽，其中，Flush操作、合并操作等写操作经常性地需要占用过高的存储资源，导致磁盘文件系统出现Write Stall。因此，如何避免或者解决Write Stall是亟待解决的问题。

鉴于上述，本说明书实施例提供了用于磁盘文件系统IO读写的IO访问带宽调整方法及装置。在该IO访问带宽调整方法中，获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，写操作状态信息包括写停顿信息；响应于写操作状态信息指示需要对数据访问设备的IO访问带宽进行调整，根据写操作状态信息确定IO访问带宽调整策略，IO访问带宽包括被数据访问设备的读写操作竞争使用的IO写带宽和IO读带宽，IO访问带宽调整策略用于指示IO写带宽的调整策略；以及按照IO访问带宽调整策略调整数据访问设备的IO访问带宽。在本说明书实施例中，通过写操作状态信息来调整IO访问带宽以优化写停顿，从而确保读写操作正常。

下面结合附图对本说明书实施例提供的用于磁盘文件系统IO读写的IO访问带宽调整方法及装置进行详细说明。

在本说明书实施例中，数据访问设备可以通过IO接口对磁盘文件系统实施IO访问，包括读操作和写操作。数据访问设备可以包括计算机等设备，磁盘文件系统是外设设备。读操作和写操作均需占用数据访问设备的带宽，读操作和写操作可以共享数据访问设备的带宽，基于此，写操作能够对读操作产生影响。例如，写操作占用的带宽高，则读操作占用的带宽低。因此，可以通过控制写操作的写带宽能够影响读操作，比如，避免读延时等。

在一个示例中，磁盘文件系统可以采用层级存储的存储结构，即，磁盘文件系统包括有多个数据存储分层，每个数据存储分层中有存储数据，各个数据存储分层之间逐级连接，各个数据存储分层中的数据能够被合并至下一层级进行存储。各个数据存储分层之间的合并操作是一种写操作，需要占用一定量的写带宽。在一个示例中，磁盘文件系统可以包括RocksDB、GeaBase等。

在一个示例中，磁盘文件系统可以采用LSM-tree(日志结构合并树)的存储结构。图1示出了根据本说明书实施例的LSM-tree的一个示例的示意图。如图1所示，数据访问设备中的内存包括一个树结构，该树结构可以采用排序树、跳表或TreeMap等有序数据结构，从而可以能够从内存顺序写入到磁盘文件系统中。数据访问设备执行针对磁盘文件系统的写操作时，写入磁盘文件系统的数据先被写入内存，再由内存下刷至磁盘文件系统中存储。具体地，在数据被写入到磁盘文件系统时，该数据先写入到内存的有序的数据结构(MemTable)中，当MemTable中的数据达到指定阈值后，可以转换成只读的数据结构(Immutable MemTable)，还会产生新的MemTable以便后续的数据继续写入。然后，可以根据策略将Immutable MemTable的数据进行下刷操作(Flush)，将Immutable MemTable刷成有序的存储文件(SSTable)存储至磁盘文件系统的第一层，即，第一数据存储分层。

磁盘文件系统中可以包括有多个数据存储分层：第一数据存储分层、第二数据存储分层……第N数据存储分层，可以分别用Level 0、Level 1、……、Level N来对应表示。可以认为，磁盘文件系统中的最上层是第一数据存储分层，该第一数据存储分层用于对接内存，接收从内存写入磁盘文件系统的数据。下面用Level 0表示第一数据存储分层，用LevelN表示第N数据存储分层来进行说明。

从Level 0到Level N的顺序各个层级的存储空间依次递增。例如，Level 0的存储空间是10MB，Level 1的存储空间是100MB，Level N的存储空间是1000MB。每个层级能够通过合并的方式将本数据存储分层中的数据合并存储至相邻的下一个数据存储分层。每个数据存储分层都可以设置有一个合并阈值，当各个数据存储分层中的数据存储量达到对应的合并阈值时，就可以触发合并操作，将该数据存储分层中的数据合并至下一数据存储分层。

在本说明书实施例中，数据访问设备可以对磁盘文件系统执行读写操作。其中，写操作可以包括下刷操作、合并操作等。此外，在写操作中，还可以先将数据写入到磁盘文件系统中的预写式日志(WAL，Write Ahead Log)，然后再写入到内存的MemTable中。WAL能起到备份数据的作用，当数据写入内存时出现宕机等状况时，可以根据WAL恢复内存中的数据。WAL对应一个MemTable，当对应的MemTable落盘后被销毁，然后产生新的WAL。

在读操作中，可以按照从内存到磁盘文件系统的顺序依次读取，在磁盘文件系统中，也按照层级顺序依次读取，比如，按照从Level 0、Level 1到Level N的顺序依次读取。具体地，可以先读取内存中的MemTable，若没有则继续读取内存中的Immutable MemTable，若没有继续读取磁盘文件系统中的数据，从Level 0、Level 1到Level N的顺序依次读取，直至找到所需读取的数据。

本说明书实施例以LSM-tree为例进行说明，需要说明的是，本说明书实施例也可以适用于其他存储结构。

图2示出了根据本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整方法的一个示例200的流程图。

如图2所示，在210，可以获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息。

在本说明书实施例中，数据访问设备可以对磁盘文件系统并行执行读写操作，写操作所占的IO写带宽和读操作所占的IO读带宽可以共享数据访问设备的IO访问带宽。当IO写带宽增加时，则相应地IO读带宽会减少；当IO写带宽减少时，IO读带宽会相应地增加。IO写带宽(或IO读带宽)的带宽增加量可以等于IO读带宽(或IO写带宽)的带宽减少量。

在本说明书实施例中，写操作状态信息可以包括写停顿信息，该写停顿信息可以用于指示是否发生写停顿(Write Stall)。当存在写停顿时，表示IO写带宽不够，磁盘文件系统的压力过大，写停顿可以导致主动限制数据访问设备发起的写操作或者停止写操作。

在一个示例中，写停顿可以根据以下判断条件中的至少一个来确定：待写入磁盘文件系统的MemTable数量达到第一阈值、第一数据存储分层(L0层)的存储数据规模达到第二阈值、除第一数据存储分层之外的其他数据存储分层待合并的数据规模达到第三阈值。其中，待执行的合并操作任务包括磁盘文件系统中的所有数据存储分层中待执行的合并操作任务，第一数据存储分层位于磁盘文件系统的层级结构的最上层。

在该示例中，各个数据存储分层中的数据规模可以用数据量或者文件数量来表示。通常每个文件的大小是一样的，比如64M。所以以byte为单位的数据量和以个为单位的文件数量可以相互转换。

在一个示例中，写操作状态信息还可以包括写操作任务数量信息，写操作任务数量信息用于表示写操作任务的数量。写操作任务可以包括待执行的写操作任务和正在执行的写操作任务，写操作任务可以包括合并操作和数据从内存下刷到磁盘文件系统的下刷操作(flush)等。

在一个示例中，除了获取写操作状态信息以外，还可以获取读操作状态信息，读操作状态信息可以包括读延时信息，该读延时信息可以用于指示是否存在读延时，读延时可以是seek、get、next等读操作所产生的时延。读延时越大，可以表示磁盘文件系统的负载压力越大。从而，读延时可以作为表征磁盘文件系统的负载压力的指标。

在一个示例中，可以用p99时延来表示读延时，从而数据访问设备可以在执行I/O读操作时获取p99时延作为读延时。

在一个示例中，写操作状态中的写停顿状态和写操作任务数量以及读操作状态可以由磁盘文件系统中的监控模块来进行监控，从而可以基于所监控的状态来获取写操作状态信息和读操作状态信息。例如，在RocksDB中，可以通过RocksDB_stat_level来监控写停顿状态和写操作任务数量以及读操作状态。

在一个示例中，针对IO访问带宽的调整可以设置执行周期，可以按照执行周期来进行IO访问带宽调整。可以在每个执行周期内执行带宽分配操作，从而不同执行周期的带宽分配情况可以不同。每个执行周期可以被设置为大于数据写入磁盘文件系统所需的生效时长、且小于磁盘文件系统的监控输出周期。

生效时长是指数据被写入磁盘文件系统时直至生效所需的时长，若数据在写入磁盘文件系统时在生效时长中被再次读取，可以导致该数据的本次写入失败。在一个示例中，数据写入磁盘文件系统所需的生效时长可以是100ms。针对磁盘文件系统的监控输出周期是可以自定义设置的监控整个磁盘文件系统的周期，比如，可以监控p99时延，监控输出周期的监控数据用于呈现给用户。例如，可以将监控输出周期设置为5s，其中，s表示秒。

例如，执行周期位于大于生效时长100ms、且小于监控输出周期5s的有效区间内，从而可以将执行周期设置为200ms。

在上述示例中，可以获取磁盘文件系统中的上一执行周期的写操作状态信息。具体地，在每个执行周期结束时，可以开始执行针对下一执行周期的带宽分配操作，该下一执行周期即作为带宽分配操作的当前执行周期，从而可以获取上一执行周期的写操作状态信息，以用于计算当前执行周期的带宽调整量。

在需要获取写操作状态信息和读操作状态信息时，可以获取上一执行周期的写操作状态信息和读操作状态信息。

在220，响应于写操作状态信息指示需要对数据访问设备的IO访问带宽进行调整，可以根据写操作状态信息确定IO访问带宽调整策略。

在本说明书实施例中，在写操作状态信息所包括的写停顿信息指示存在写停顿时，可以确定需要对数据访问设备的IO访问带宽进行调整。在写操作状态信息还包括写操作任务数量信息的情况下，在写操作状态信息中的写操作任务数量信息所指示的写操作任务数量大于第一预定阈值时，可以确定需要对数据访问设备的IO访问带宽进行调整。其中，第一预定阈值可以自定义，例如，当第一预定阈值是0时，表示只要存在写操作任务，便可以确定需要对数据访问设备的IO访问带宽进行调整。当第一预定阈值是1时，写操作任务数量大于1时，可以触发对数据访问设备的IO访问带宽进行调整。

IO访问带宽包括IO写带宽和IO读带宽，且IO写带宽和IO读带宽构成IO访问带宽。在本说明书实施例中，数据访问设备可以对磁盘文件系统执行读写操作，该读写操作在IO访问带宽中竞争使用IO写带宽和IO读带宽。

针对IO访问带宽的调整方式，可以以IO写带宽和IO读带宽在IO访问带宽中的占比为对象进行调整，通过调整比例大小来调整IO写带宽和IO读带宽的带宽量。此外，还可以以IO写带宽或IO读带宽为对象，调节该对象的带宽量。当IO写带宽(IO读带宽)减少时，IO读带宽(IO写带宽)会相应地增加。

所确定的IO访问带宽调整策略可以用于指示IO写带宽的调整策略，比如，指示IO写带宽增加、减少或保持不变。当存在写停顿时，在一个示例中，所确定的IO访问带宽调整策略可以指示IO写带宽增加，以优化甚至消除写停顿。在另一个示例中，当IO写带宽已达到允许的最大值时，无法再继续增大IO写带宽，则所确定的IO访问带宽调整策略可以指示保持当前的IO写带宽不变。

在一个示例中，针对IO访问带宽的调整策略，可以设置带宽调整范围，该带宽调整范围的最大值小于IO访问带宽，且最小值大于指定阈值，该指定阈值可以是大于或等于0的值。带宽调整范围的最大值和最小值用于限制IO写带宽以及IO读带宽的上限和下限。

例如，可以以IO写带宽为对象，调整IO访问带宽中的比例以确定IO写带宽。比如，将IO访问带宽的20％作为IO写带宽设置为带宽调整范围的最小值，将IO访问带宽的80％作为IO写带宽设置为带宽调整范围的最大值。从而，IO写带宽能够在IO访问带宽的20％至80％的范围内调整。

在该示例中，通过设置带宽调整范围，并限定调整的上限和下限，能够避免将全部的IO访问带宽分配给其中的一方，从而导致另一方没有IO带宽而无法执行对应的操作。

在一个示例中，响应于写操作状态信息指示存在写停顿，可以将IO带宽调整策略确定为第一调整策略，该第一调整策略用于指示将IO写带宽调整为第一预定带宽，该第一预定带宽不低于当前IO写带宽。

在一个示例中，在当前IO写带宽小于针对IO写带宽的可调范围的最大值时，第一调整策略所指示的调整的第一预定带宽高于当前IO写带宽，即，在当前IO写带宽的基础上增加IO写带宽。通过增加IO写带宽，以降低或消除写停顿。

在一个示例中，所确定的第一调整策略所调整的第一预定带宽可以是带宽调整范围的最值，以使得IO写带宽增加至可调整范围的上限，使得IO写带宽达到最大。例如，针对IO访问带宽的带宽调整范围是[10％，80％]，其表示大于等于10％，且小于等于80％，该带宽调整范围中的比例表示IO写带宽在IO访问带宽中的占比。带宽调整范围中的比例越大，表示IO写带宽越大。响应于写操作状态信息指示存在写停顿，所确定的第一调整策略可以指示将IO写带宽调整为80％。

在当前IO写带宽达到针对IO写带宽的可调范围的最大值时，可以保持当前IO写带宽不变，此时的第一调整策略所指示的第一预定带宽为当前IO写带宽。

在一个示例中，写操作状态信息包括写停顿信息和写操作任务数量信息。响应于写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，可以将IO带宽调整策略确定为第二调整策略，第二调整策略用于指示将IO写带宽调整为第二预定带宽。

在该示例中，第一预定阈值可以自定义。在一个示例中，当第一预定阈值是0时，响应于写操作状态信息指示不存在写停顿且写操作任务数量超过0，即，只要存在写操作任务时，可以确定第二调整策略。

第二预定带宽可以不高于第一预定带宽。在一个示例中，所调整的第二预定带宽可以等于第一预定带宽。例如，第二预定带宽和第一预定带宽均为针对IO写带宽的可调范围内的最大值。也就是说，响应于写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，可以将IO访问带宽中的IO写带宽调整为最大。在另一个示例中，第二预定带宽低于第一预定带宽。

此外，第二调整策略所指示的第二预定带宽可以不低于当前IO写带宽。在一个示例中，在当前IO写带宽小于针对IO写带宽的可调范围的最大值时，表示还可以增加IO写带宽，从而，在当前IO写带宽的基础上增加IO写带宽，第二预定带宽可以高于当前IO写带宽。通过增加IO写带宽，以避免写操作所导致的写停顿。

在一个示例中，在当前IO写带宽达到针对IO写带宽的可调范围的最大值时，可以保持当前IO写带宽不变，此时的第二调整策略所指示的第二预定带宽为当前IO写带宽。

在一个示例中，第二调整策略可以包括有多个第二预定带宽，每个第二预定带宽所指示的IO写带宽均不同。从而，响应于写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，可以根据写操作任务数量将IO带宽调整策略确定为第二调整策略。写操作任务数量不同，所确定的第二调整策略不同，不同的第二调整策略所指示的第二预定带宽也不同。

在该示例中，各个第二预定带宽所指示的IO写带宽与写操作任务数量成正比，即，写操作任务数量越多，则确定出的第二预定带宽所指示的IO写带宽越大。

在一个示例中，可以针对写操作任务的数量进行档位区间划分。可以按照数量值从小到大的顺序连续划分，以得到多个数量档位区间。每个数量档位区间包括至少一个数量值，每个数量值属于一个数量档位区间，各个数量档位区间所包括的数量值不同。例如，数量值0和1属于第一数量档位区间，数量值2至8属于第二数量档位区间，大于8的数量值属于第三数量档位区间。

此外，还可以对IO访问带宽的带宽调整范围进行档位划分，以得到不同的多个带宽档位，每个带宽档位对应一个档位带宽调整值，该档位带宽调整值可以用IO写带宽的带宽值来表示，还可以用IO访问带宽的比例值来表示，该多个带宽档位对应的档位带宽调整值均在带宽调整范围内。例如，带宽调整范围是从IO访问带宽的10％至80％。可以将其分成4个档位，作为最小带宽的第一带宽档位对应的档位值可以是10％，第二带宽档位对应的档位值可以是25％，第三带宽档位对应的档位值可以是50％，作为最大带宽的第四带宽档位对应的档位值可以是80％。

在该示例中，针对写操作任务数量的每个数量档位区间可以与针对待调整带宽的带宽档位具有对应关系，每个数量档位区间可以对应一个带宽档位。从而，可以根据该对应关系以及所存在的写操作任务数量来确定第二调整策略。具体地，在确定所存在的写操作任务数量后，可以确定该数量所属的数量档位区间，然后根据对应关系可以确定出该数量档位区间对应的带宽档位，根据该带宽档位对应的档位带宽调整值可以确定第二调整策略。

在一个示例中，针对写操作任务数量的各个数量档位区间可以与针对IO访问带宽的带宽档位一一对应。当写操作任务数量属于最大的数量档位区间时，该最大的数量档位区间对应最大IO写带宽的带宽档位，从而可以确定第二调整策略所指示的第二预定带宽是最大可调的IO写带宽。

在另一个示例中，各个数量档位区间可以与带宽档位中除IO写带宽最大的带宽档位以外的其他带宽档位一一对应。当写操作任务数量属于最大的数量档位区间时，该最大的数量档位区间对应IO写带宽的处于第二大的带宽档位，从而可以确定第二调整策略所指示的第二预定带宽是第二大档位带宽调整值对应的IO写带宽。

在一个示例中，写操作任务可以包括多种不同类型的操作任务，比如，下刷操作和合并操作。不同类型的操作任务所占用的带宽可以不同。可以为各个类型的操作任务设置用于表示该操作任务所需带宽比例的权重，操作任务对应的权重越大，则表示该操作任务所需的带宽越大。

在该示例中，在确定出所存在的写操作任务后，可以根据各个写操作任务的实际个数和权重来确定作为本说明书实施例中的写操作任务数量。例如，可以将写操作任务的实际个数与权重的对应相乘后的和作为写操作任务数量。

在一个示例中，响应于写操作状态信息指示不存在写停顿且写操作任务数据未超过第一预定阈值，可以对IO访问带宽不进行调整。

在一个示例中，在获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息和读操作状态信息的情况下，可以将读操作状态信息所包括的读延时信息作为确定IO访问带宽调整策略的其中一个因素。

具体地，响应于写操作状态信息指示不存在写停顿且写操作任务数据未超过第一预定阈值以及读操作状态信息指示存在读延时，可以将IO带宽调整策略确定为第三调整策略，第三调整策略可以用于指示将IO写带宽调整为第三预定带宽，第三预定带宽低于当前IO写带宽。通过减少IO写带宽，从而相应地增加IO读带宽，以优化读延时。

在一个示例中，可以设置针对读延时的读延时阈值。当读延时达到读延时阈值时，可以第三调整策略，以使得IO读带宽增加。在读延时未达到读延时阈值时，可以保持当前IO读带宽不变。

在一个示例中，读延时阈值可以包括多个不同的子阈值，每个子阈值可以对应一个带宽档位，该示例中的针对带宽的档位划分的规则可以不同于上述示例中针对带宽调整范围的档位划分规则。例如，可以在带宽调整范围中划分一个子区间作为该示例中的档位划分的带宽区间，该子区间在带宽调整范围内，且位于带宽调整范围内指示IO写带宽相对较小的区间内，比如，该子区间为表征IO写带宽的IO访问带宽的10％至20％的范围。然后，可以对该带宽区间进行档位划分，以确保对IO读带宽增加的范围不会影响写操作，更不会导致写停顿。

在一个示例中，磁盘文件系统中的写操作还包括删除操作。当数据访问设备对磁盘文件系统执行删除操作时存在操作时延，则可以确定IO访问带宽调整策略以使得IO写带宽增加。IO写带宽的增加能够让删除操作顺利执行，降低或者消除操作时延。

图3示出了根据本说明书实施例提供的确定IO访问带宽调整策略的一个示例300的示意图。

如图3所示，首先，可以判断是否存在写停顿，如果存在，则可以确定第一调整策略。如果不存在，则可以继续判断写操作任务数量是否超过第一预定阈值。

如果写操作任务数量超过第一预定阈值，可以确定第二调整策略。如果不超过第一预定阈值，可以判断是否存在读延时。如果存在读延时，可以确定第三调整策略。如果不存在读延时，则可以不调整IO访问带宽。

回到图2，在230，可以按照IO访问带宽调整策略调整数据访问设备的IO访问带宽。

在一个示例中，在LSM-tree的存储结构中，写操作任务可以包括下刷操作任务和合并操作任务。合并操作任务用于将各个数据存储分层中的数据合并后存储至下一数据存储分层中，以释放该数据存储分层的存储空间。合并操作任务可以基于磁盘文件系统中的数据存储分层中的存储数据量确定。在磁盘文件系统中，各个数据存储分层的合并操作任务可以仅与该数据存储分层中的存储数据量有关，从而仅基于该数据存储分层中的存储数据量确定。

例如，针对各个数据存储分层，可以设置对应的上限阈值。当该数据存储分层中的存储数据量达到该上限阈值时，可以触发合并任务。在一个示例中，还可以设置对应的下限阈值，当该数据存储分层存在合并操作任务、且该数据存储分层中的存储数据量经过合并操作后达到下限阈值时，则可以删除还未执行的合并操作任务，停止合并操作。

在一个示例中，在磁盘文件系统中，各个数据存储分层中可以存储有数据，且各个数据存储分层的存储空间按照从上至下的顺序逐级递增，如图1所示。因此，在一种情况下，各个数据存储分层中的存储数据量按照从上至下的顺序逐级递增，从而，由各个数据存储分层中的存储数据可以构成分层存储数据树。

分层存储数据树的树形可以随着各个数据存储分层中的存储数据量变化而变化。比如，当各个数据存储分层中的存储数据量按照从上至下的顺序逐级递增时，分层存储数据树所呈现的树形为从树顶端往下逐渐增大。

分层存储数据树的树形完美度可以表征分层存储数据树的树形所呈现的状态。树形完美度可以基于各个数据存储分层中的存储数据量之间的相对差异来确定。例如，相邻两个数据存储分层中的存储数据量之间的差值在指定差值范围内，则可以确定该两个数据存储分层属于构成完美树形的一部分完美树形结构。

在一个示例中，针对各个数据存储分层，可以设置对应的任务触发阈值，该任务触发阈值用于触发合并操作任务。在数据存储分层中的存储数据量达到任务触发阈值时，可以触发针对该数据存储分层执行合并操作任务，以将该数据存储分层中的存储数据合并至下一数据存储分层，从而可以减少该数据存储分层中的存储数据量，以使树形趋于完美。

在该示例中，动态调整的任务触发阈值可以基于磁盘文件系统的分层存储数据树的树形完美度进行调整。

针对各个数据存储分层，当该数据存储分层中的存储数据量太大使得该数据存储分层与相邻的下一数据存储分层之间的存储数据量之差较小，从而导致分层存储数据树的树形不完美。在该情况下，在该数据存储分层的存储数据量还未达到当前的任务触发阈值时，可以将该任务触发阈值减小至低于当前的存储数据量，以触发执行合并操作任务。

在另一个示例中，数据存储分层的合并操作任务的数量还可以基于树形完美度进行调整。针对各个数据存储分层，当该数据存储分层中的存储数据量达到任务触发阈值时，在触发合并操作任务的基础上，可以进一步地根据树形完美度来调整合并操作任务的数量。

在该示例中，针对各个数据存储分层，在该数据存储分层中的存储数据量超出任务触发阈值越多，则表示该数据存储分层的存储数据导致树形越不完美，因此，可以使得针对该数据存储分层的合并操作任务的数量越多，以通过合并操作任务来减少该数据存储分层中的存储数据量。

图4示出了根据本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整装置400的一个示例的方框图。

如图4所示，IO访问带宽调整装置400包括：信息获取单元410、策略确定单元420和带宽调整单元430。

信息获取单元410，可以被配置为获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，写操作状态信息包括写停顿信息。

策略确定单元420，可以被配置为响应于写操作状态信息指示需要对数据访问设备的IO访问带宽进行调整，根据写操作状态信息确定IO访问带宽调整策略，IO访问带宽包括IO写带宽和IO读带宽，IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若IO写带宽占用多，则IO读带宽占用少，若IO写带宽占用少，则IO读带宽占用多。

带宽调整单元430，可以被配置为按照IO访问带宽调整策略调整数据访问设备的IO访问带宽。

在一个示例中，策略确定单元420可以被配置为：响应于写操作状态信息指示存在写停顿，将IO带宽调整策略确定为第一调整策略，第一调整策略用于指示将IO写带宽调整为第一预定带宽，第一预定带宽不低于当前IO写带宽。

在一个示例中，写操作状态信息还包括写操作任务数量信息，策略确定单元420还可以被配置为：响应于写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，将IO带宽调整策略确定为第二调整策略，第二调整策略用于指示将IO写带宽调整为第二预定带宽，第二预定带宽不高于第一预定带宽。

在一个示例中，信息获取单元410可以被配置为：获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息和读操作状态信息，读操作状态信息包括读延时信息。策略确定单元420还可以被配置为：响应于写操作状态信息指示不存在写停顿且写操作任务数据未超过第一预定阈值以及读操作状态信息指示存在读延时，将IO带宽调整策略确定为第三调整策略，第三调整策略用于指示将IO写带宽调整为第三预定带宽，第三预定带宽低于当前IO写带宽。

以上参照图1到图4，对根据本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整方法及装置的实施例进行了描述。

本说明书实施例的用于磁盘文件系统IO读写的IO访问带宽调整装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，用于磁盘文件系统IO读写的IO访问带宽调整装置例如可以利用电子设备实现。

图5示出了根据本说明书实施例的用于实现IO访问带宽调整方法的电子设备500的方框图。

如图5所示，电子设备500可以包括至少一个处理器510、存储器(例如，非易失性存储器)520、内存530和通信接口540，并且至少一个处理器510、存储器520、内存530和通信接口540经由总线550连接在一起。至少一个处理器510执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器510：获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，写操作状态信息包括写停顿信息；响应于写操作状态信息指示需要对数据访问设备的IO访问带宽进行调整，根据写操作状态信息确定IO访问带宽调整策略，IO访问带宽包括IO写带宽和IO读带宽，IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若IO写带宽占用多，则IO读带宽占用少，若IO写带宽占用少，则IO读带宽占用多；以及按照IO访问带宽调整策略调整数据访问设备的IO访问带宽。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器510进行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL 2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(SaaS)。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (14)

1.一种用于磁盘文件系统IO读写的IO访问带宽调整方法，包括：

获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，所述写操作状态信息包括写停顿信息；

响应于所述写操作状态信息指示需要对所述数据访问设备的IO访问带宽进行调整，根据所述写操作状态信息确定IO访问带宽调整策略，所述IO访问带宽包括IO写带宽和IO读带宽，所述IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若所述IO写带宽占用多，则所述IO读带宽占用少，若所述IO写带宽占用少，则所述IO读带宽占用多；以及

按照所述IO访问带宽调整策略调整所述数据访问设备的IO访问带宽。

2.如权利要求1所述的IO访问带宽调整方法，其中，根据所述写操作状态信息确定IO访问带宽调整策略包括：

响应于所述写操作状态信息指示存在写停顿，将所述IO带宽调整策略确定为第一调整策略，所述第一调整策略用于指示将所述IO写带宽调整为第一预定带宽，所述第一预定带宽不低于当前IO写带宽。

3.如权利要求2所述的IO访问带宽调整方法，其中，所述写操作状态信息还包括写操作任务数量信息，根据所述写操作状态信息确定IO访问带宽调整策略还包括：

响应于所述写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，将所述IO带宽调整策略确定为第二调整策略，所述第二调整策略用于指示将所述IO写带宽调整为第二预定带宽，所述第二预定带宽不高于所述第一预定带宽。

4.如权利要求3所述的IO访问带宽调整方法，其中，获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息包括：

获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息和读操作状态信息，所述读操作状态信息包括读延时信息，

根据所述写操作状态信息确定IO访问带宽调整策略还包括：

响应于所述写操作状态信息指示不存在写停顿且写操作任务数据未超过第一预定阈值以及所述读操作状态信息指示存在读延时，将所述IO带宽调整策略确定为第三调整策略，所述第三调整策略用于指示将所述IO写带宽调整为第三预定带宽，所述第三预定带宽低于所述当前IO写带宽。

5.如权利要求1到4中任一所述的IO访问带宽调整方法，其中，所述磁盘文件系统采用LSM-tree的存储结构，所述写停顿信息所指示的写停顿根据以下判断条件中的至少一个来确定：待写入所述磁盘文件系统的MemTable数量达到第一阈值、所述第一数据存储分层的存储数据规模达到第二阈值、除所述第一数据存储分层之外的其他数据存储分层待合并的数据规模达到第三阈值；其中，所述第一数据存储分层位于所述磁盘文件系统的层级结构的最上层。

6.如权利要求5所述的IO访问带宽调整方法，其中，所述写操作任务包括下刷操作任务和合并操作任务，所述合并操作任务基于所述磁盘文件系统中的数据存储分层中的存储数据量确定。

7.如权利要求6所述的IO访问带宽调整方法，其中，数据存储分层的合并操作任务的任务触发阈值基于所述磁盘文件系统的分层存储数据树的树形完美度进行调整。

8.如权利要求6所述的IO访问带宽调整方法，其中，数据存储分层的合并操作任务的数量基于所述树形完美度进行调整。

9.如权利要求4所述的IO访问带宽调整方法，其中，由所述磁盘文件系统中的监控模块对写停顿状态、写操作任务数量以及读延时状态进行监控。

10.一种用于磁盘文件系统IO读写的IO访问带宽调整装置，包括：

信息获取单元，获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息，所述写操作状态信息包括写停顿信息；

策略确定单元，响应于所述写操作状态信息指示需要对所述数据访问设备的IO访问带宽进行调整，根据所述写操作状态信息确定IO访问带宽调整策略，所述IO访问带宽包括IO写带宽和IO读带宽，所述IO访问带宽调整策略用于指示IO写带宽的调整策略；其中，若所述IO写带宽占用多，则所述IO读带宽占用少，若所述IO写带宽占用少，则所述IO读带宽占用多；以及

带宽调整单元，按照所述IO访问带宽调整策略调整所述数据访问设备的IO访问带宽。

11.如权利要求10所述的IO访问带宽调整装置，其中，所述策略确定单元被配置为：

响应于所述写操作状态信息指示存在写停顿，将所述IO带宽调整策略确定为第一调整策略，所述第一调整策略用于指示将所述IO写带宽调整为第一预定带宽，所述第一预定带宽不低于当前IO写带宽。

12.如权利要求11所述的IO访问带宽调整装置，其中，所述写操作状态信息还包括写操作任务数量信息，所述策略确定单元还被配置为：

响应于所述写操作状态信息指示不存在写停顿且写操作任务数量超过第一预定阈值，将所述IO带宽调整策略确定为第二调整策略，所述第二调整策略用于指示将所述IO写带宽调整为第二预定带宽，所述第二预定带宽不高于所述第一预定带宽。

13.如权利要求12所述的IO访问带宽调整装置，其中，所述信息获取单元被配置为：

获取磁盘文件系统被数据访问设备并行执行读写操作时的写操作状态信息和读操作状态信息，所述读操作状态信息包括读延时信息，

所述策略确定单元还被配置为：

响应于所述写操作状态信息指示不存在写停顿且写操作任务数据未超过第一预定阈值以及所述读操作状态信息指示存在读延时，将所述IO带宽调整策略确定为第三调整策略，所述第三调整策略用于指示将所述IO写带宽调整为第三预定带宽，所述第三预定带宽低于所述当前IO写带宽。

14.一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1-9中任一所述的方法。