CN112671666A - Io处理方法及装置 - Google Patents

Abstract

本申请提供一种IO处理方法及装置，所述方法应用于存储服务器，所述方法包括：接收写IO请求；根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

Description

IO处理方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种IO处理方法及装置。

背景技术

目前，集群IO的类型主要分为输入(INPUT)类型和输出(OUTPUT)类型，输入类型也可称之为写操作，输出类型也可称之为读操作。其中，写操作还可进一步分为“极限写”操作和“稳定写”操作，其差别在于当前写操作的下一个写操作是否需要上一个写操作的返回结果。若无需上一个写操作的返回结果则为“极限写”操作，反之则为“稳定写”操作。

为了提高写操作的效率，可将写操作的具体写入过程划分为异步模式和同步模式。其中，将待写入的输入写入缓存即表示写操作成功，称为异步模式；而不使用户缓存的模式则称为同步模式。如图1所示，图1为现有技术中写操作流程示意图。

在图1中，客户端将c1请求包括的数据写入缓存后，缓存通过c4告知客户端数据写入完成，该过程为异步模式。客户端可继续发起下一个写请求，而实际数据写入至存储服务器的流程是通过c2请求c3返回的模式实现。由于缓存中当前可能存在多次客户端的写请求，因此，缓存会将多次的写请求合并为一个写请求并一同通过c2请求将数据写入存储服务器中，提高写操作的效率。

在图1中，客户端将c5请求包括的数据直接写入存储服务器并等待存储服务器处理结束后返回c6，该过程为同步模式。该过程每次均需存储服务器进行处理，写操作的效率比异步模式的写操作的效率较低。

对于读操作来说，一般通过预读的方式提高效率。即在处理当前读请求时，预先多获取一些数据并放入缓存中，以使下一个读请求的内容可直接在缓存中命中，减少对底层数据存储的访问次数，提高读操作的效率。

基于上述的IO流程以及处理方式，通常来说，写操作的处理效率往往高于读操作的处理效率。对于客户端来说，写请求的下发速率也高于读操作的下发速率。但对于存储服务端而言，其需处理更多的写操作。由于资源调度和请求数量的差异，存储服务端的资源可能被写操作抢占，造成存储服务质量下降，甚至是存储服务不可用。

发明内容

有鉴于此，本申请提供了一种IO处理方法及装置，用以解决现有技术中由于资源调度和请求数量的差异，存储服务端的资源可能被写操作抢占，造成存储服务质量下降，甚至是存储服务不可用的问题。

第一方面，本申请提供了一种IO处理方法，所述方法应用于存储服务器，所述方法包括：

接收写IO请求；

根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；

若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；

如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；

若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

第二方面，本申请提供了一种IO处理装置，所述装置应用于存储服务器，所述装置包括：

接收单元，用于接收写IO请求；

第一判断单元，用于根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；

第二判断单元，用于若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；

查询单元，用于如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；

处理单元，用于若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

第三方面，本申请提供了一种网络设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使执行本申请第一方面所提供的方法。

因此，通过应用本申请提供的IO处理方法及装置，存储服务器接收写IO请求。根据写IO请求，存储服务器判断当前令牌桶内的令牌数是否满足写IO请求所需的令牌数。若当前令牌桶内的令牌数未满足写IO请求所需的令牌数，则存储服务器判断当前是否为令牌桶首次申请令牌。如果当前为令牌桶首次申请令牌，则存储服务器查询当前是否存在读IO请求。若当前存在读IO请求，则存储服务器启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

如此，解决了现有技术中由于资源调度和请求数量的差异，存储服务端的大部分资源被写操作抢占，造成存储服务质量下降，甚至是存储服务不可用的问题。实现了在读写混合场景中，若存在读IO请求，则启动写IO请求的限速，避免写IO请求抢占读IO请求的资源，防止出现集群IO抢占的问题，保证服务质量。

附图说明

图1为现有技术中写操作流程示意图；

图2为本申请实施例提供的IO处理方法的流程图；

图3-A为本申请实施例提供的存储服务器处理读写IO请求流程示意图；

图3-B为本申请实施例提供的写IO请求限速装置处理写IO请求流程示意图；

图3-C为本申请实施例提供的令牌桶示意图；

图4为本申请实施例提供的IO处理装置结构图；

图5为本申请实施例提供的一种网络设备硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本申请相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面对本申请实施例提供IO处理方法进行详细地说明。参见图2，图2为本申请实施例提供的IO处理方法的流程图。该方法应用于存储服务器，本申请实施例提供的IO处理方法可包括如下所示步骤。

步骤210、接收写IO请求。

具体地，存储服务器包括写IO请求限速装置以及读IO请求统计装置。存储服务器启动后，也随之启动写IO请求限速装置以及读IO请求统计装置。存储服务器初始化写IO请求限速装置以及读IO请求统计装置。

在本步骤中，存储服务器接收写IO请求。

进一步地，存储服务器启动后，还接收读IO请求。根据读IO请求，读IO请求统计装置将预先设置的原子变量(例如，Num)的值加1。存储服务器对读IO请求进行处理后，将读IO请求下发至读请求队列中。当读IO请求下发至读请求队列后，读IO请求统计装置将原子变量的值减1。

如图3-A所示，图3-A为本申请实施例提供的存储服务器处理读写IO请求流程示意图。

在图3-A中，读IO请求统计装置对存储服务器接收到的读IO请求的个数进行统计。

存储服务器接收到写IO请求后，等待令牌分配。待令牌分配完成后，存储服务器将写IO请求下发至写请求队列中。具体过程请见后续步骤。

步骤220、根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数。

具体地，如图3-B所示，图3-B为本申请实施例提供的写IO请求限速装置处理写IO请求流程示意图。

在图3-B中，根据写IO请求，写IO请求限速装置判断当前令牌桶内的令牌数是否满足写IO请求所需的令牌数。

如果当前令牌桶内的令牌数满足写IO请求所需的令牌数，则写IO请求限速装置从令牌桶内分配与写IO请求匹配(即分配与写IO请求大小相同的令牌)的令牌数。写IO请求限速装置返回图3-A中写IO请求流程中。存储服务器将写IO请求下发至写请求队列。如果当前令牌桶内的令牌数未满足写IO请求所需的令牌数，则执行步骤230。

在本申请实施例中，如图3-C所示，图3-C为本申请实施例提供的令牌桶示意图。

在图3-C中，根据配置的令牌桶大小、令牌生成周期和期望限速速率，初始化一个满令牌数的令牌桶。启动一定时器，依照用户配置文件中指定的写IO请求速率向令牌桶内注入令牌，也即是，令牌桶中的令牌注入速率可与写IO请求速率相同，但不超过写IO请求速率，以此，限制写IO请求的处理效率。由于残留未消耗的令牌不能“继承”，因此，也需要周期性的清理残留令牌，例如，间隔1s对令牌桶中的剩余令牌进行清理。

例如，写IO请求速率为500MB/s，则令牌桶中的令牌注入速率也为500MB/s。

步骤230、若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌。

具体地，如图3-B所示，根据步骤220的判断，如果当前令牌桶内的令牌数未满足写IO请求所需的令牌数，则写IO请求限速装置判断当前是否为令牌桶首次申请令牌。

如果当前为令牌桶首次申请令牌，则执行步骤240。

如果当前不为令牌桶首次申请令牌，则写IO请求限速装置等待令牌桶内注入新令牌。写IO请求限速装置等待预设时间(例如，1ms)后，重复执行判断当前令牌桶内的令牌数是否满足写IO请求所需的令牌数。

若满足则从令牌桶内分配与写IO请求匹配(即分配与写IO请求大小相同的令牌)的令牌数，否则，再次判断当前是否为令牌桶首次申请令牌。

可以理解的是，再次判断当前是否为令牌桶首次申请令牌的结果均为“当前不为令牌桶首次申请令牌”。此时，写IO请求限速装置再次等待令牌桶内注入新令牌，并重复执行步骤220，直至当前令牌桶内的令牌数满足写IO请求所需的令牌数时停止。

步骤240、如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求。

具体地，如图3-B所示，根据步骤230的判断，如果当前为令牌桶首次申请令牌，则写IO请求限速装置查询当前是否存在读IO请求。

若当前存在读IO请求，则执行步骤250。

若当前未存在读IO请求，则写IO请求限速装置确定当前未存在读写IO请求混合的场景，并确定已从令牌桶内分配与写IO请求匹配的令牌数。写IO请求限速装置返回图3-A中写IO请求流程中。存储服务器将写IO请求下发至写请求队列。

步骤250、若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

具体地，如图3-B所示，根据步骤240的判断，若当前存在读IO请求，则写IO请求限速装置确定当前存在读写IO请求混合的场景。写IO请求限速装置启动令牌限速模式，写IO请求限速装置等待令牌桶内注入新令牌。写IO请求限速装置等待预设时间(例如，1ms)后，重复执行前述步骤220-步骤240，直至当前令牌桶内的令牌数满足写IO请求所需的令牌数时停止，或者，当前未存在读IO请求，确定当前未存在读写IO请求混合的场景时停止。写IO请求限速装置返回图3-A中写IO请求流程中。存储服务器将写IO请求下发至写请求队列。

因此，通过应用本申请提供的IO处理方法及装置，存储服务器接收写IO请求。根据写IO请求，存储服务器判断当前令牌桶内的令牌数是否满足写IO请求所需的令牌数。若当前令牌桶内的令牌数未满足写IO请求所需的令牌数，则存储服务器判断当前是否为令牌桶首次申请令牌。如果当前为令牌桶首次申请令牌，则存储服务器查询当前是否存在读IO请求。若当前存在读IO请求，则存储服务器启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

如此，解决了现有技术中由于资源调度和请求数量的差异，存储服务端的大部分资源被写操作抢占，造成存储服务质量下降，甚至是存储服务不可用的问题。实现了在读写混合场景中，若存在读IO请求，则启动写IO请求的限速，避免写IO请求抢占读IO请求的资源，防止出现集群IO抢占的问题，保证服务质量。

基于同一发明构思，本申请实施例还提供了与上述IO处理方法对应的IO处理装置。参见图4，图4为本申请实施例提供的IO处理装置结构图，所述装置应用于存储服务器，所述装置包括：

接收单元410，用于接收写IO请求；

第一判断单元420，用于根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；

第二判断单元430，用于若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；

查询单元440，用于如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；

处理单元450，用于若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

可选地，所述处理单元450还用于，如果当前不为所述令牌桶首次申请令牌，则等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

可选地，所述装置还包括：下发单元(图中未示出)，用于若当前未存在读IO请求，则将所述写IO请求下发至写请求队列。

可选地，所述装置还包括：分配单元(图中未示出)，用于若当前令牌桶内的令牌数满足所述写IO请求所需的令牌数，则从所述令牌桶内分配与所述写IO请求匹配的令牌数；

所述下发单元(图中未示出)还用于，将所述写IO请求下发至写请求队列。

可选地，所述接收单元410还用于，接收读IO请求；

所述装置还包括：计算单元(图中未示出)，用于根据所述读IO请求，将预先设置的原子变量的值加1；

当所述读IO请求下发至读请求队列后，将所述原子变量的值减1；

所述查询单元440具体用于，查询所述原子变量的值；

当所述原子变量的值不小于1时，则确定当前存在所述读IO请求；

当所述原子变量的值小于1时，则确定当前未存在所述读IO请求。

因此，通过应用本申请提供的IO处理装置，该装置接收写IO请求。根据写IO请求，该装置判断当前令牌桶内的令牌数是否满足写IO请求所需的令牌数。若当前令牌桶内的令牌数未满足写IO请求所需的令牌数，则该装置判断当前是否为令牌桶首次申请令牌。如果当前为令牌桶首次申请令牌，则该装置查询当前是否存在读IO请求。若当前存在读IO请求，则该装置启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

如此，解决了现有技术中由于资源调度和请求数量的差异，存储服务端的大部分资源被写操作抢占，造成存储服务质量下降，甚至是存储服务不可用的问题。实现了在读写混合场景中，若存在读IO请求，则启动写IO请求的限速，避免写IO请求抢占读IO请求的资源，防止出现集群IO抢占的问题，保证服务质量。

基于同一发明构思，本申请实施例还提供了一种网络设备，如图5所示，包括处理器510、收发器520和机器可读存储介质530，机器可读存储介质530存储有能够被处理器510执行的机器可执行指令，处理器510被机器可执行指令促使执行本申请实施例所提供的IO处理方法。前述图4所示的IO处理装置，可采用如图5所示的网络设备硬件结构实现。

上述计算机可读存储介质530可以包括随机存取存储器(英文：Random AccessMemory，简称：RAM)，也可以包括非易失性存储器(英文：Non-volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，计算机可读存储介质530还可以是至少一个位于远离前述处理器510的存储装置。

上述处理器510可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例中，处理器510通过读取机器可读存储介质530中存储的机器可执行指令，被机器可执行指令促使能够实现处理器510自身以及调用收发器520执行前述本申请实施例描述的IO处理方法。

另外，本申请实施例提供了一种机器可读存储介质530，机器可读存储介质530存储有机器可执行指令，在被处理器510调用和执行时，机器可执行指令促使处理器510自身以及调用收发器520执行前述本申请实施例描述的IO处理方法。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

对于IO处理装置以及机器可读存储介质实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种IO处理方法，其特征在于，所述方法应用于存储服务器，所述方法包括：

接收写IO请求；

根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；

若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；

如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；

若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果当前不为所述令牌桶首次申请令牌，则等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若当前未存在读IO请求，则将所述写IO请求下发至写请求队列。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

若当前令牌桶内的令牌数满足所述写IO请求所需的令牌数，则从所述令牌桶内分配与所述写IO请求匹配的令牌数，并将所述写IO请求下发至写请求队列。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收读IO请求；

根据所述读IO请求，将预先设置的原子变量的值加1；

当所述读IO请求下发至读请求队列后，将所述原子变量的值减1；

所述查询当前是否存在读IO请求，具体包括：

查询所述原子变量的值；

当所述原子变量的值不小于1时，则确定当前存在所述读IO请求；

当所述原子变量的值小于1时，则确定当前未存在所述读IO请求。

6.一种IO处理装置，其特征在于，所述装置应用于存储服务器，所述装置包括：

接收单元，用于接收写IO请求；

第一判断单元，用于根据所述写IO请求，判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数；

第二判断单元，用于若当前令牌桶内的令牌数未满足所述写IO请求所需的令牌数，则判断当前是否为所述令牌桶首次申请令牌；

查询单元，用于如果当前为所述令牌桶首次申请令牌，则查询当前是否存在读IO请求；

处理单元，用于若当前存在读IO请求，则启动令牌限速模式，并等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

7.根据权利要求6所述的装置，其特征在于，所述处理单元还用于，如果当前不为所述令牌桶首次申请令牌，则等待预设时间后，重复执行判断当前令牌桶内的令牌数是否满足所述写IO请求所需的令牌数，直至当前令牌桶内的令牌数满足所述写IO请求所需的令牌数时停止。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

下发单元，用于若当前未存在读IO请求，则将所述写IO请求下发至写请求队列。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

分配单元，用于若当前令牌桶内的令牌数满足所述写IO请求所需的令牌数，则从所述令牌桶内分配与所述写IO请求匹配的令牌数；

所述下发单元还用于，将所述写IO请求下发至写请求队列。

10.根据权利要求6所述的装置，其特征在于，所述接收单元还用于，接收读IO请求；

所述装置还包括：计算单元，用于根据所述读IO请求，将预先设置的原子变量的值加1；

当所述读IO请求下发至读请求队列后，将所述原子变量的值减1；

所述查询单元具体用于，查询所述原子变量的值；

当所述原子变量的值不小于1时，则确定当前存在所述读IO请求；

当所述原子变量的值小于1时，则确定当前未存在所述读IO请求。

Images