CN116225316A - 一种扁平化速度控制方法及装置 - Google Patents

Abstract

本申请实施例提供了一种扁平化速度控制方法及装置，可以通过获取各个存储节点执行扁平化任务产生的扁平吞吐量和执行业务产生的业务吞吐量，在该扁平吞吐量和业务吞吐量满足预设降速条件时，控制存储节点降低执行扁平化任务的速率。本申请实施例中，通过管理节点获取存储节点上的扁平吞吐量和业务吞吐量，确定出各个节点上的处理业务资源的情况，进而可以按照业务资源情况来控制存储节点执行扁平化任务的速率。即，可以在后台扁平化任务较多时，动态调整扁平化任务速度，进而避免对正常的业务性能的影响。

Description

一种扁平化速度控制方法及装置

技术领域

本申请涉及分布式块存储技术领域，特别是涉及一种扁平化速度控制方法及装置。

背景技术

在存储节点中存储卷的部分或全部存储空间中可能没有所需的数据，需要引用的其他卷中存储的该所需的部分数据，将存储卷引用的其他卷的数据拷贝到卷自身的存储空间中的过程称为扁平化，也称为数据隔离。扁平化完成后存储卷自身不再引用其他卷的数据，可以从自身的存储空间中读取到数据。

在相关技术中扁平化技术一般有两种实现方式：一种是在读取存储卷所引用的其他卷的数据时将该数据直接拷贝到存储卷自身的存储空间中，另一种是通过后台扁平化任务异步将存储卷所引用的其他卷的数据拷贝到存储卷自身的存储空间。但是，当后台的扁平化任务较多时，由于磁盘资源一定，进而导致由于磁盘压力过大，影响到扁平化任务的速率，进而影响到正常的业务性能。

发明内容

本申请实施例的目的在于提供一种扁平化速度控制方法及装置，用以实现在后台的扁平化任务较多时，动态调整扁平化任务速率。具体技术方案如下：

在本申请实施例的第一方面，提供一种扁平化速度控制方法，应用于分布式块存储集群中的管理节点，所述管理节点用于管理所述分布式块存储集群中的存储节点；所述方法包括：

分别获取各存储节点执行扁平化任务产生的扁平吞吐量和所述各存储节点执行业务产生的业务吞吐量；

若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率；其中，所述速率的降低幅度与所述扁平吞吐量负相关，所述速率的降低幅度与所述业务吞吐量正相关。

在一种可能的实施例中，所述若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，其中，所述吞吐量组包括至少一个所述扁平吞吐量。

在一种可能的实施例中，所述吞吐量组包括：

一个扁平化任务产生的扁平吞吐量；或，

同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，

多个所述存储节点上各执行扁平化任务产生的扁平吞吐量。

在一种可能的实施例中，所述若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，包括：

若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向所述扁平化任务所在的存储节点发送降低所述扁平化任务速率的指令；或，

若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向所述存储节点发送降低扁平化任务的速率的指令；或，

若吞吐量组中的多个所述存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向所述多个存储节点发送降低扁平化任务的速率的指令。

在一种可能的实施例中，所述控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

确定第一比值；其中，所述第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值；

根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关。

在一种可能的实施例中，所述根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

若所述第一比值大于预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第一幅度；

若所述第一比值不大于所述预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第二幅度，其中，所述第二幅度大于所述第一幅度。

在本申请实施例的第二方面，提供了一种扁平化速度控制装置，应用于分布式块存储集群中的管理节点，所述管理节点用于管理所述分布块存储集群中的存储节点；所述装置包括：

第一获取模块，用于分别获取各存储节点执行扁平化任务产生的扁平吞吐量和所述各存储节点执行业务产生的业务吞吐量；

控制模块，用于若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率；其中，所述速率的降低幅度与所述扁平吞吐量负相关，所述速率的降低幅度与所述业务吞吐量正相关。

在一种可能的实施例中，所述控制模块具体用于若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，其中，所述吞吐量组包括至少一个所述扁平吞吐量；

所述吞吐量组包括：

一个扁平化任务产生的扁平吞吐量；或，

同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，

多个所述存储节点上各执行扁平化任务产生的扁平吞吐量；

所述若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低上传所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，包括：

若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向所述扁平化任务所在的存储节点发送降低所述扁平化任务速率的指令；或，

若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向所述存储节点发送降低扁平化任务的速率的指令；或，

若吞吐量组中的多个所述存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向所述多个存储节点发送降低扁平化任务的速率的指令；

所述控制模块，具体用于确定第一比值；其中，所述第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值；

根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关；

若所述第一比值大于预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第一幅度；

若所述第一比值不大于所述预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第二幅度，其中，所述第二幅度大于所述第一幅度。

在本申请实施例的第三方面，提供了一种电子设备，所述电子设备包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，上述第一方面任一所述的方法步骤。

在本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本申请实施例有益效果：

本申请实施例提供的一种扁平化速度控制方法及装置，可以通过获取各个存储节点执行扁平化任务产生的扁平吞吐量和执行业务产生的业务吞吐量，在该扁平吞吐量和业务吞吐量满足预设降速条件时，控制存储节点降低执行扁平化任务的速率。本申请实施例中，通过管理节点获取存储节点上的扁平吞吐量和业务吞吐量，确定出各个节点上的处理业务资源的情况，进而可以按照业务资源情况来控制存储节点执行扁平化任务的速率。即，可以在后台扁平化任务较多时，动态调整扁平化任务速度，进而避免对正常的业务性能的影响。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种扁平化速度控制方法的一种流程示意图；

图2a为本申请实施例提供的一个分布式块存储集群的示意图；

图2b为本申请实施例提供的一个分布式块存储集群的分布式块存储中卷进行扁平化的过程示意图；

图3为本申请实施例提供的存储节点上报扁平化任务吞吐量信息示意图；

图4为本申请实施例提供的一种扁平化速度控制方法装置的一种结构示意图；

图5为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为更清楚的对本申请实施例提供的扁平化速度控制方法进行说明，下面将对本申请实施例提供的一种扁平化速度控制方法的一种可能的应用场景进行示例性说明，可以理解的是，以下示例仅是本申请实施例提供的一种扁平化速度控制方法的一种可能的应用场景，在其他可能的应用场景中，本申请实施例提供的一种扁平化速度控制方法也可以应用于其他可能的应用场景中，以下示例对此不做任何限制。

如图2a所示，一个分布式块存储集群中包括管理节点和存储节点。其中，管理节点的作用是管理集群中所有的存储节点和存储卷(下文简称为卷)；存储节点的作用是承载卷并提供块存储服务。

分布式块存储中卷进行扁平化的过程，如图2b所示。其中，管理节点中包括扁平化任务控制模块，作用是管理集群中所有扁平化任务。假设管理节点A管理的集群中存在两个存储节点，分别记为存储节点1和存储节点2。存储节点上有三个卷，卷1、卷2是存储节点1上的卷，卷3是存储节点2上的卷。其中，卷2和卷3引用卷1的数据，即目前卷2和卷3的全部或部分数据与卷1相同，但是卷2和卷3自身并没有这份数据，而是在读取时从卷1处获取这份数据，也就是卷2和卷3引用卷1的全部或部分数据。当卷2和卷3需要进行扁平化时，扁平化任务控制模块会向卷2和卷3的存储节点分别下发扁平化任务，存储节点收到扁平化任务后开始进行数据拷贝。以卷2为例数据拷贝的过程是：查询卷2引用卷1的数据，读取卷1的数据，写入卷2的存储空间。卷3的扁平化过程也类似，此处不做过多赘述。

在分布式块存储系统中卷的数量很多，可能存在较多需要进行扁平化的卷，如果这些卷同时进行扁平化，就会给整个集群带来较大的磁盘读写压力和网络传输压力，而且如果一个卷的数据被多个卷引用时，引用其数据的卷在同时进行扁平化时会给该卷带来很大的读取压力，会导致该卷的业务性能急剧降低，甚至无法使用。所以需要对集群中的所有扁平化速度进行控制，以保证集群块存储服务的质量。

基于此，本申请提供了一种扁平化速度控制方法，应用于分布式块存储集群中的管理节点，管理节点用于管理分布式存储集群中的存储节点；如图1所示，包括：

S101，分别获取各存储节点执行扁平化任务产生的扁平吞吐量和各存储节点执行业务产生的业务吞吐量。

S102，若各扁平吞吐量和各业务吞吐量满足降速条件，则控制至少一个存储节点降低执行扁平化任务的速率；其中，速率的降低幅度与扁平吞吐量负相关，速率的降低幅度与业务吞吐量正相关。

选用该实施例，通过获取各个存储节点执行扁平化任务产生的扁平吞吐量和执行业务产生的业务吞吐量，在该扁平吞吐量和业务吞吐量满足预设降速条件时，控制存储节点降低执行扁平化任务的速率。本申请实施例中，通过管理节点获取存储节点上的扁平吞吐量和业务吞吐量，确定出各个节点上的处理业务资源的情况，进而可以按照业务资源情况来控制存储节点执行扁平化任务的速率。即，可以在后台扁平化任务较多时，动态调整扁平化任务速度，进而避免对正常的业务性能的影响。

示例性的，假设管理节点A管理的集群1中存在两个存储节点，分别记为存储节点1和存储节点2。如图3所示，存储节点上报扁平化任务吞吐量信息示意图。两个存储节点上均有正在执行的扁平化任务，存储节点1上正在执行的扁平化任务有：扁平化任务1、扁平化任务2、扁平化任务3；存储节点2上正在执行的扁平化任务有：扁平化任务4、扁平化任务5。存储节点上的扁平化任务数据吞吐量汇总模块定期会计算本节点上各个扁平化任务的扁平吞吐量、本存储节点的扁平化任务的扁平吞吐量，并定期向管理节点的扁平化任务管理模块汇报，以便于扁平化任务管理模块进行扁平化速度的控制。

块存储的卷需要对外提供业务，在进行扁平化任务时需要产生磁盘的读写操作，可能会影响卷的业务，所以在卷的业务压力较大时应该降低扁平化的速度，同时在卷的业务压力较小时可以充分利用磁盘性能尽快进行扁平化任务。所以需要根据卷的业务压力动态调整扁平化任务的速率。卷的业务压力是由卷的业务吞吐量和扁平吞吐量共同决定，预先为存储节点上的每个卷设定一个最大数据吞吐量，当卷的业务吞吐量+卷的扁平吞吐量＞卷的最大数据吞吐量时，则说明卷的业务压力过大。

下面将对前述S101-S102的步骤进行说明：

在S101中，管理节点获取其管理的集群内的各存储节点执行扁平化任务产生的扁平吞吐量，可以是直接从管理节点的扁平化任务管理模块中获取各个存储节点上传的执行扁平化任务产生的扁平吞吐量对应的数据信息，然后通过解析该数据信息，得到对应的扁平吞吐量。其中，该集群内包括至少一个存储节点。管理节点上有扁平化任务管理模块，存储节点上有扁平化任务数据吞吐量汇总模块。在一种可能的实现方式中，由各个存储节点上的扁平化任务数据吞吐量汇总模块计算本节点上各个扁平化任务的扁平吞吐量、本存储节点的扁平化任务的扁平吞吐量，生成对应的数据信息，，然后将数据信息发送至管理节点的扁平化任务管理模块。

业务吞吐量为存储节点上的卷当前进行的业务产生的数据吞吐量。管理节点获取业务吞吐量的方式和管理节点获取扁平吞吐量的方式类似，对于管理节点如何获取业务吞吐量此处不做过多赘述。

在另一种可能的实现方式中，还可以由各个存储节点上的扁平化任务数据吞吐量汇总模块计算本节点上各个扁平化任务的扁平吞吐量、本存储节点的扁平化任务的扁平吞吐量，生成对应的数据信息，然后将数据信息发送至中间设备，管理节点的扁平化任务管理模块从中间设备获取到该数据信息，通过解析该数据信息进而获取到各存储节点上传的扁平吞吐量。

在另一种可能的实现方式中，还可以有各个存储节点上的扁平化任务数据吞吐量汇总模块计算本节点上各个扁平化任务的扁平吞吐量，生成数据信息，然后将数据信息发送至管理节点的扁平化任务管理模块，由该扁平化任务管理模块解析得到该存储节点上各个扁平化任务的扁平吞吐量，然后计算该存储节点的扁平化任务的扁平吞吐量。任何可以获取各存储节点上传的扁平吞吐量的方式均可以应用于本申请中，本申请对于如何获取各存储节点上传的扁平吞吐量不做限定。

示例性的，以前述管理节点A管理的集群1为例，管理节点A获取存储节点1、存储节点2中的扁平化任务1、扁平化任务2、扁平化任务3、扁平化任务4和扁平化任务5的扁平吞吐量。

在S102中，降速条件是本领域技术人员基于应用场景进行设置的，不同的应用场景预设条件可以不同。

扁平吞吐量和业务吞吐量是针对于存储节点中执行扁平化任务的卷而言的，扁平化吞吐量为卷当前进行扁平化任务是产生的数据吞吐量，业务吞吐量为卷当前进行业务产生的数据吞吐量。另外，每个卷还会预先设定一个最大吞吐量，一旦存储节点上的卷的扁平吞吐量与业务吞吐量的和大于最大吞吐量，则说明该卷的业务压力较大，需要调整该卷所在的存储节点上执行扁平化任务的速率。

示例性的，假设存储节点3上有两个卷，分别为：卷1、卷2，存储节点3中卷2当前进行的业务为业务1，卷2需要引用卷1的数据，则卷2通过扁平化任务1来将卷1中所需引用的数据拷贝至卷2。其中，扁平化任务1是读取卷1的数据，写入卷2的存储空间。即，卷2当前进行的扁平化任务为扁平化任务1。由此可知，卷2的扁平吞吐量为进行扁平化任务1产生的数据吞吐量1，卷2的业务吞吐量为进行业务1产生的数据吞吐量2。假设数据吞吐量1和数据吞吐量2满足预设降速条件，则控制卷2对应的存储节点3降低执行扁平化任务的速率。

在一种可能的实现方式中，为了有针对性的对扁平化任务的速率进行控制，可以将管理节点接收到的扁平吞吐量进行分组，然后再按照分组对扁平化任务的速率进行控制，进而可以提高控制效率。上述S102可以具体为：

S1021，若吞吐量组中各扁平吞吐量的总量满足预设降速条件，降低吞吐量组中各扁平吞吐量的存储节点执行扁平化任务的速率，其中，吞吐量组包括至少一个扁平吞吐量。

在一种可能的实现方式中，根据实际应用场景，吞吐量组具体可以包括：一个扁平化任务产生的扁平吞吐量；或，同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，多个所述存储节点上各执行扁平化任务产生的扁平吞吐量。其中，同一存储节点上各执行扁平化任务产生的扁平吞吐量可以是该存储节点上所有执行扁平化任务产生的扁平吞吐量，也可以是该存储节点上部分执行扁平化任务产生的扁平吞吐量。多个存储节点上各执行扁平化任务产生的扁平吞吐量可以是一个集群中的所有存储节点上执行扁平化任务产生的扁平吞吐量，也可以是一个集群中的部分存储节点上执行扁平化任务产生的扁平吞吐量，本申请实施例中不做过多限定。

仍以前述管理节点A管理的集群1为例，存储节点1上正在执行的扁平化任务包括：扁平化任务1、扁平化任务2、扁平化任务3；存储节点2上正在执行的扁平化任务包括：扁平化任务4和扁平化任务5。

假设吞吐量组中包括：扁平化任务1的扁平吞吐量1；或扁平化任务2的扁平吞吐量2；或扁平化任务3的扁平吞吐量3；或扁平化任务4的扁平吞吐量4；或扁平化任务5的扁平吞吐量5。例如，吞吐量组中包括扁平化任务1的扁平吞吐量1，则吞吐量组中各扁平吞吐量的总量为扁平吞吐量1，若该扁平吞吐量1满足预设降速条件，则降低扁平化任务1的速率；假设吞吐量组中包括扁平化任务2的扁平吞吐量2，则吞吐量组中各扁平吞吐量的总量为扁平吞吐量2，若该扁平吞吐量2满足预设降速条件，则降低扁平化任务2的速率；扁平化任务3、4、5的过程也相类似，此处不作赘述。

假设吞吐量组中包括：存储节点1中的扁平化任务1的扁平吞吐量1和扁平化任务2的扁平吞吐量2和扁平化任务3的扁平吞吐量3；或存储节点2中扁平化任务4的扁平吞吐量4和扁平化任务5的扁平吞吐量5。例如，吞吐量组中包括存储节点1中扁平化任务1的扁平吞吐量1和扁平化任务2的扁平吞吐量2和扁平化任务3的扁平吞吐量3，则吞吐量组中各扁平吞吐量的总量为扁平吞吐量1、扁平吞吐量2和扁平吞吐量3的总和，若扁平吞吐量1、扁平吞吐量2和扁平吞吐量3的总和满足预设降速条件，则降低存储节点1的扁平化任务的速率。具体如何降低存储节点上的扁平化任务的速率，在下文会详细说明。

假设吞吐量组中包括：存储节点1中的扁平化任务1的扁平吞吐量1、扁平化任务2的扁平吞吐量2、扁平化任务3的扁平吞吐量3和存储节点2中扁平化任务4的扁平吞吐量4、扁平化任务5的扁平吞吐量5。则吞吐量组中各扁平吞吐量的总量为集群1中各扁平吞吐量的总和即，扁平吞吐量1、扁平吞吐量2和扁平吞吐量3、扁平吞吐量4和扁平吞吐量5的总和，若扁平吞吐量1、扁平吞吐量2和扁平吞吐量3、扁平吞吐量4和扁平吞吐量5的总和满足预设降速条件则降低存储节点1的扁平化任务的速率。具体如何降低存储节点上的扁平化任务的速率，在下文会详细说明。

本实施例中，按照不同的应用场景，将扁平吞吐量进行分组，按照吞吐量组的形式，确定扁平吞吐量的总量控制存储节点中扁平化任务的速率，进而可以有针对性地对存储节点中的扁平化任务的速率，进而提高了控制扁平化任务速率的效率。

在一种可能的实施例中，为了提高控制扁平化任务速率的效率，上述步骤S1021具体可以为：

S1021a，若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向扁平化任务所在的存储节点发送降低扁平化任务速率的指令。

本步骤中，由于扁平吞吐量的总量是该扁平化任务产生的扁平吞吐量，所以，在该扁平化吞吐量的总量超过吞吐量阈值时，可以直接向该扁平化任务所在的存储节点发送降低扁平化任务速率的指令，以使得该存储节点接收到该指令后，降低该扁平化任务的速率。

仍以前述管理节点A管理的集群1为例，假设吞吐量组中包括扁平化任务2的扁平吞吐量2，则吞吐量组中各扁平吞吐量的总量为扁平吞吐量2，若该扁平吞吐量2满足预设降速条件，则向存储节点1发送降低扁平化任务2的速率的指令2，以使得存储节点1在接收到指令2时，降低扁平化任务2的速率。

或，

S1021b，若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向存储节点发送降低扁平化任务的速率的指令。

本步骤中，由于扁平吞吐量的总量是同一节点上的所有扁平化任务产生的扁平吞吐量总和，所以，在该扁平化吞吐量的总量超过吞吐量阈值时，向该扁平化任务所在的存储节点发送降低扁平化任务速率的指令，以使得该存储节点接收到该指令后，降低该存储节点上的扁平化任务的速率。具体的，可以是按照同等幅度降低该节点上所有扁平化任务的速率，也可以按照具体的扁平化任务的速率，降低速率排名较高的扁平化任务的速率，还可以按照扁平化任务的优先级降低优先级较低的扁平化任务的速率。其他降低速率的方法也可以应用于本申请实施例中。

仍以前述管理节点A管理的集群1为例，假设吞吐量组中包括存储节点1中扁平化任务1的扁平吞吐量1和扁平化任务2的扁平吞吐量2和扁平化任务3的扁平吞吐量3，则吞吐量组中各扁平吞吐量的总量为扁平吞吐量1、扁平吞吐量2和扁平吞吐量3的总和，若扁平吞吐量1、扁平吞吐量2和扁平吞吐量3的总和满足预设降速条件，则向存储节点1发送降低扁平化任务的速率的指令a，以使得存储节点1在接收到指令a时，降低存储节点上的扁平化任务的速率。具体的，可以将扁平化任务1、扁平化任务2和扁平化任务3的速率均降低5％，或者，将扁平化任务1、扁平化任务2和扁平化任务3的速率降低至300MB/S。

或，

S1021c，若吞吐量组中的多个存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向多个存储节点发送降低扁平化任务的速率的指令。

本步骤中，由于扁平吞吐量的总量是同一集群上多个存储节点上的所有扁平化任务产生的扁平吞吐量总和，所以，在该扁平化吞吐量的总量超过吞吐量阈值时，向该集群内所有的存储节点或者部分存储节点发送降低扁平化任务速率的指令，以使得存储节点接收到该指令后，降低该存储节点上的扁平化任务的速率。具体的，将存储节点的所有扁平化任务的扁平吞吐量降低某一个比例(如降速5％)、将存储节点的所有扁平化任务的扁平吞吐量降低到某一个数值(如降速到500MB/S)。其他降低速率的方法也可以应用于本申请实施例中。

仍以前述管理节点A管理的集群1为例，假设吞吐量组中包括：存储节点1中的扁平化任务1的扁平吞吐量1、扁平化任务2的扁平吞吐量2、扁平化任务3的扁平吞吐量3和存储节点2中扁平化任务4的扁平吞吐量4、扁平化任务5的扁平吞吐量5。则吞吐量组中各扁平吞吐量的总量为集群1中所有扁平吞吐量的总和即，扁平吞吐量1、扁平吞吐量2和扁平吞吐量3、扁平吞吐量4和扁平吞吐量5的总和，若扁平吞吐量1、扁平吞吐量2和扁平吞吐量3、扁平吞吐量4和扁平吞吐量5的总和满足预设降速条件，则向存储节点1和存储节点2发送降低扁平化任务的速率的指令A，存储节点1和存储节点2在接收到指令A时，存储节点1降低该存储节点上的扁平化任务的速率、存储节点2降低该存储节点上的扁平化任务的速率。具体的，可以将扁平化任务1、扁平化任务2、扁平化任务3、扁平化任务4和扁平化任务5的速率进行排序，将排名前三的扁平化任务的速率均降低5％，或者，将排名前三的扁平化任务的速率降低至300MB/S。

本实施例中，通过为分布式块存储集群的扁平吞吐量分为三种类型，有针对性地对单个扁平化任务速率进行控制，保证了单个扁平化任务速率不超过预设阈值，避免了对卷业务性能的影响；有针对性地对单个存储节点上的扁平化任务速率进行控制，保证了存储节点上的扁平化任务速率不超过预设阈值，使存储节点上磁盘压力控制在限定范围内；有针对性地对单个集群内所有的存储节点上的扁平化任务速率进行控制，保证了整个集群的所有扁平化任务速率不超过预设阈值，防止对集群带来较大的磁盘压力，避免集群的稳定性和服务质量受到影响。

在一种可能的实施例中，为了实现根据卷的业务压力动态调整扁平化任务的速率，上述控制至少一个存储节点降低执行扁平化任务的速率具体包括：

S201，确定第一比值；其中，第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值。

S202，根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关。

本步骤中，第一比值是存储节点中卷的扁平吞吐量与业务吞吐量的比值，当比值越大，则说明存储节点中卷的业务吞吐量占比越小，说明此时卷处理的业务量较小，降低扁平化任务速率对业务处理速率影响不大，进而以一个低幅度来降低扁平化任务速率。当比值越小，则说明存储节点中卷的业务吞吐量占比越大，说明此时卷处理的业务量较大，为了不影响业务处理速率，需要将扁平化任务的速率大幅度地降低。

在一种可能的实施例中，上述S202，具体可以为：

S202a，若第一比值大于预设比值阈值，则控制至少一个存储节点将执行扁平化任务的速率降低第一幅度。

本步骤中，预设比值阈值是本领域技术人员根据实际应用场景设置的。预设比值阈值为需要调整扁平化任务的速率的存储节点中卷的扁平吞吐量与业务吞吐量的比值的最小比值。预设比值阈值对应一个预设降低扁平化任务的预设幅度，当第一比值大于预设比值阈值时，说明卷的扁平吞吐量占比大于上述最小比值，以一个小于预设速率的幅度降低扁平化任务的速率。

S202b，若第一比值不大于预设比值阈值，则控制至少一个存储节点将执行扁平化任务的速率降低第二幅度，其中，第二幅度大于第一幅度。

本步骤中，当第一比值大于预设比值阈值时，说明卷的扁平吞吐量占比小于上述最小比值，此时以预设幅度降低扁平化任务的速度，对于业务压力的缓解并没有影响，此时需要以一个大于预设幅度降低扁平化任务的速率。

在一种可能的实现方式中，第二幅度可以为此时卷进行扁平化任务的速率大小，即，当第一比值不大于预设比值阈值时，可以按照此时卷进行扁平化任务的速率大小降低扁平化任务的速率，即，直接控制存储节点将执行扁平化任务的速率降低至0MB/S，暂停该扁平化任务。

本实施例中，根据单个卷的业务压力动态调整扁平化速度的控制方法，通过该方法使得卷的业务压力较大时可以降低扁平化速度，在业务压力较小时又可以恢复扁平化速度。这样即防止扁平化时卷的业务性能无法提高，又可以在卷的业务压力小时尽可能快的完成扁平化。

对于分布式块存储集群来说，当集群的整体数据吞吐量达到上限时，集群发生服务异常的概率就比较高，所以当集群的业务压力较高时要控制集群中扁平化任务的数据吞吐量，防止集群的整体数据吞吐量超过上限，造成集群中块存储服务大面积的性能低下或服务异常。

在一种可能的实施例中，可以根据集群的业务压力动态调整扁平化速度，具体可以为：

S301，分别获取各存储节点执行扁平化任务产生的扁平吞吐量和各存储节点执行业务产生的业务吞吐量。

S302，若集群中的扁平吞吐量和业务吞吐量满足预设降速条件，则控制集群内的存储节点降低执行扁平化任务的速率。

本步骤中，存储节点会定时向管理节点汇报各自节点上的业务总数据吞吐量，也会定期汇报各自节点上所有扁平化任务的数据吞吐量，管理节点中会汇总得到集群的所有业务的业务吞吐量和扁平吞吐量，进而根据汇总得到的业务吞吐量和扁平吞吐量确定整个集群的业务压力，然后基于集群的业务压力动态调整扁平化速率。

具体的，可以预先设置一个集群整体的最大数据吞吐量的阈值作为第一阈值。当集群的总的业务吞吐量与扁平吞吐量之和大于第一阈值时，则说明该集群的业务压力较大，需要对该集群的扁平化任务速率进行调整。而具体调整方案和前述步骤S1021C类似，可以基于前述步骤S1021C的调整方式对集群中的存储节点的扁平化任务的速率进行调整。

本实施例中，根据集群整体业务压力动态调整扁平化速度，使得集群业务压力大幅增加时降低扁平化任务对业务性能的影响，同时又可以避免集群的整体磁盘压力过大对业务稳定性和服务质量产生较大影响。

参见图4，图4所示为本申请实施例提供的一种扁平化速度控制装置的一种结构示意图，应用于分布式块存储集群中的管理节点，所述管理节点用于管理所述分布式块存储集群中的的存储节点，该装置包括：

第一获取模块401，用于获取各存储节点执行扁平化任务产生的扁平吞吐量和各存储节点执行业务产生的业务吞吐量；

控制模块402，用于若各扁平吞吐量和各业务吞吐量满足降速条件，则控制至少一个存储节点降低执行扁平化任务的速率；其中，速率的降低幅度与扁平吞吐量负相关，速率的降低幅度与业务吞吐量正相关。

在一种可能的实施例中，所述控制模块402具体用于若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，其中，所述吞吐量组包括至少一个所述扁平吞吐量；

在一种可能的实施例中，所述吞吐量组包括：

一个扁平化任务产生的扁平吞吐量；或，

同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，

多个所述存储节点上各执行扁平化任务产生的扁平吞吐量；

所述若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，包括：

若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向所述扁平化任务所在的存储节点发送降低所述扁平化任务速率的指令；或，

若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向所述存储节点发送降低扁平化任务的速率的指令；或，

若吞吐量组中的多个所述存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向所述多个存储节点发送降低扁平化任务的速率的指令；

所述控制模块402，具体用于确定第一比值；其中，所述第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值；

根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关；

若所述第一比值大于预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第一幅度；

若所述第一比值不大于所述预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第二幅度，其中，所述第二幅度大于所述第一幅度。

本实施例中，通过获取各个存储节点执行扁平化任务产生的扁平吞吐量，在该扁平吞吐量满足预设降速条件时，控制存储节点降低执行扁平化任务的速率。本申请实施例中，通过管理节点获取存储节点上执行扁平化任务产生的扁平吞吐量，确定出各个节点上的扁平化任务的吞吐量情况，进而可以按照扁平吞吐量来控制存储节点执行扁平化任务的速率。即，可以在后台扁平化任务较多时，动态调整扁平化任务速度，进而避免对正常的业务性能的影响。

本申请实施例还提供了一种电子设备，如图5所示，包括:

存储器501，用于存放计算机程序；

处理器502，用于执行存储器501上所存放的程序时，实现如下步骤：

分别获取各存储节点执行扁平化任务产生的扁平吞吐量和所述各存储节点执行业务产生的业务吞吐量；

若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率；其中，所述速率的降低幅度与所述扁平吞吐量负相关，所述速率的降低幅度与所述业务吞吐量正相关。

并且上述电子设备还可以包括通信总线和/或通信接口，处理器502、通信接口、存储器501通过通信总线完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random AcceSS Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central ProceSSing Unit，CPU)、网络处理器(Network ProceSSor，NP)等；还可以是数字信号处理器(Digital SignalProceSSor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任扁平化速度控制方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一扁平化速度控制方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者固态硬盘Solid StateDisk(SSD)等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种扁平化速度控制方法，其特征在于，应用于分布式块存储集群中的管理节点，所述管理节点用于管理所述分布块存储集群中的存储节点；所述方法包括：

分别获取各存储节点执行扁平化任务产生的扁平吞吐量和所述各存储节点执行业务产生的业务吞吐量；

若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率；其中，所述速率的降低幅度与所述扁平吞吐量负相关，所述速率的降低幅度与所述业务吞吐量正相关。

2.根据权利要求1所述的方法，其特征在于，所述若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，其中，所述吞吐量组包括至少一个所述扁平吞吐量。

3.根据权利要求2所述的方法，其特征在于，所述吞吐量组包括：

一个扁平化任务产生的扁平吞吐量；或，

同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，

多个所述存储节点上各执行扁平化任务产生的扁平吞吐量。

4.根据权利要求2所述的方法，其特征在于，所述若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，包括：

若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向所述扁平化任务所在的存储节点发送降低所述扁平化任务速率的指令；或，

若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向所述存储节点发送降低扁平化任务的速率的指令；或，

若吞吐量组中的多个所述存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向所述多个存储节点发送降低扁平化任务的速率的指令。

5.根据权利要求1所述的方法，其特征在于，所述控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

确定第一比值；其中，所述第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值；

根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，包括：

若所述第一比值大于预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第一幅度；

若所述第一比值不大于所述预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第二幅度，其中，所述第二幅度大于所述第一幅度。

7.一种扁平化速度控制装置，其特征在于，应用于分布式块存储集群中的管理节点，所述管理节点用于管理所述分布式块存储集群中的的存储节点；所述装置包括：

第一获取模块，用于分别获取各存储节点执行扁平化任务产生的扁平吞吐量和所述各存储节点执行业务产生的业务吞吐量；

控制模块，用于若各所述扁平吞吐量和各所述业务吞吐量满足降速条件，则控制至少一个所述存储节点降低执行所述扁平化任务的速率；其中，所述速率的降低幅度与所述扁平吞吐量负相关，所述速率的降低幅度与所述业务吞吐量正相关。

8.根据权利要求7所述的装置，其特征在于，所述控制模块具体用于若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，其中，所述吞吐量组包括至少一个所述扁平吞吐量；

所述吞吐量组包括：

一个扁平化任务产生的扁平吞吐量；或，

同一存储节点上各执行扁平化任务产生的扁平吞吐量；或，

多个所述存储节点上各执行扁平化任务产生的扁平吞吐量；

所述若吞吐量组中各所述扁平吞吐量的总量满足降速条件，降低所述吞吐量组中各所述扁平吞吐量的所述存储节点执行所述扁平化任务的速率，包括：

若吞吐量组中的一个扁平化任务产生的扁平吞吐量的总量超过该扁平化任务的吞吐量阈值时，向所述扁平化任务所在的存储节点发送降低所述扁平化任务速率的指令；或，

若吞吐量组中的同一存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该存储节点的扁平化任务的吞吐量阈值时，向所述存储节点发送降低扁平化任务的速率的指令；或，

若吞吐量组中的多个所述存储节点上各执行扁平化任务产生的扁平吞吐量的总量超过该多个存储节点的扁平化任务的吞吐量阈值时，向所述多个存储节点发送降低扁平化任务的速率的指令；

所述控制模块，具体用于确定第一比值；其中，所述第一比值为存储节点中卷的扁平吞吐量与业务吞吐量的比值；

根据所述第一比值，控制至少一个所述存储节点降低执行所述扁平化任务的速率，其中，所述速率的降低幅度与所述第一比值负相关；

若所述第一比值大于预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第一幅度；

若所述第一比值不大于所述预设比值阈值，则控制至少一个所述存储节点将执行所述扁平化任务的速率降低第二幅度，其中，所述第二幅度大于所述第一幅度。

9.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。

Images