CN111586088B

CN111586088B - 一种同步流量控制方法、系统、装置及可读存储介质

Info

Publication number: CN111586088B
Application number: CN202010166550.6A
Authority: CN
Inventors: 刘庆
Original assignee: Anchao Cloud Software Co Ltd
Current assignee: Anchao Cloud Software Co Ltd
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2023-04-07
Anticipated expiration: 2040-03-11
Also published as: CN111586088A

Abstract

本发明公开了一种同步流量控制方法，包括：根据获取的数据对应的数据类型将数据放入对应的队列；统计第一队列的历史延时，利用历史延时计算第二队列中同步数据对应的同步延时；判断同步数据在第二队列中的等待时长是否大于同步延时；若是，则将同步数据放入第一队列；该方法根据第一队列的数据写入情况调整同步数据放入第一队列的速度，以便调整同步数据的写入速度，实现对同步流量大小的控制，实现了根据业务执行情况调整数据同步速度的功能，解决了现有流量控制方法无法根据存储系统的业务执行情况控制数据同步流量的问题；此外，本发明还提供了一种同步流量控制装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

一种同步流量控制方法、系统、装置及可读存储介质

技术领域

本发明涉及分布式存储技术领域，特别涉及一种同步流量控制方法、同步流量控制装置、同步流量控制设备及计算机可读存储介质。

背景技术

为了提高存储资源的利用率和可靠性，云计算提供商和存储提供商通常把多个物理存储设备虚拟成单个或者少数几个存储池，再从这些存储池中创建逻辑磁盘划分给虚拟计算机或者物理计算机使用。

为了避免出现因故障照成的系统不可用情况，存储池中的数据会有多个副本，而且这些副本会分布在不同的设备上。如果某块逻辑盘的一个副本所在的物理设备发生故障，则需要在其他物理设备上重建该副本，从而保证逻辑盘的副本数不变。整个重建过程是上层无感知的，也就是说所有业务都不会因为数据的损坏而停止。为了保证业务有足够的网络和磁盘性能以执行，需要对数据同步这个过程做流量控制，现有流量控制方法需要管理员设置同步带宽百分比，但是如果设置过大，在业务繁忙时会影响业务正常运行。如果设置过小；在业务不繁忙时，会导致数据同步速度过慢，无法尽快完成同步，不能充分发挥物理硬件性能。因此现有流量控制方法无法根据存储系统的业务执行情况控制同步流量。

因此，如何解决现有流量控制方法无法根据存储系统的业务执行情况控制同步流量的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种同步流量控制方法、同步流量控制设备、同步流量控制装置及计算机可读存储介质，解决了现有流量控制方法无法根据存储系统的业务执行情况控制同步流量的问题。

为解决上述技术问题，本发明提供了一种同步流量控制方法，包括：

根据获取的数据对应的数据类型将所述数据放入对应的队列；

统计第一队列的历史延时，并利用所述历史延时计算第二队列中同步数据对应的同步延时；

判断所述同步数据在所述第二队列中的等待时长是否大于所述同步延时；

若是，则将所述同步数据放入所述第一队列。

可选地，所述统计第一队列的历史延时，包括：

统计各个已写入数据对应的写入时长；其中，所述写入时长为所述已写入数据从进入所述第一队列到完成写入所用的时长；

按照滑动平均值公式，利用所述写入时长计算所述历史延时。

可选地，所述利用所述历史延时计算第二队列中同步数据对应的同步延时，包括：

利用延时权重和所述历史延时计算目标延时；

利用所述历史延时与所述目标延时相减，得到所述同步延时。

可选地，所述根据获取的数据对应的数据类型将所述数据放入对应的队列，包括：

对所述数据进行解析，得到所述数据对应的标志信息；

利用所述标志信息判断所述数据是否为所述同步数据；

若是，则将所述数据放入所述第二队列的队尾；

若否，则将所述数据放入所述第一队列的队尾。

可选地，还包括：

从所述第一队列的队首获取目标数据，并将所述目标数据写入存储池。

可选地，在根据获取的数据对应的数据类型将所述数据放入对应的队列之前，还包括：

判断是否发生数据丢失故障；

若否，则将所述数据放入所述第一队列；

若是，则执行所述根据获取的数据对应的数据类型将所述数据放入对应的队列的步骤。

本发明还提供了一种同步流量控制装置，包括：

第一放置模块，用于根据获取的数据对应的数据类型将所述数据放入对应的队列；

计算模块，用于统计第一队列的历史延时，并利用所述历史延时计算第二队列中同步数据对应的同步延时；

时长判断模块，用于判断所述同步数据在所述第二队列中的等待时长是否大于所述同步延时；

第二放置模块，用于若所述等待时长大于所述同步延时，则将所述同步数据放入所述第一队列。

可选地，所述计算模块，包括：

写入时长统计单元，用于统计各个已写入数据对应的写入时长；其中，所述写入时长为所述已写入数据从进入所述第一队列到完成写入所用的时长；

历史延时计算单元，用于按照滑动平均值公式，利用所述写入时长计算所述历史延时。

本发明还提供了一种同步流量控制设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的同步流量控制方法。

本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的同步流量控制方法。

本发明提供的同步流量控制方法，根据获取的数据对应的数据类型将数据放入对应的队列；统计第一队列的历史延时，利用历史延时计算第二队列中同步数据对应的同步延时；判断同步数据在第二队列中的等待时长是否大于同步延时；若是，则将同步数据放入第一队列。

可见，该方法在获取数据后，先根据数据类型将数据放入对应的队列中。同时统计第一队列对应的历史延时，历史延时体现了第一队列中数据的写入情况。根据历史延时计算同步数据对应的同步延时，并在同步数据的等待时长大于同步延时后将其放入第一队列以便等待写入。该方法根据第一队列的数据写入情况调整同步数据放入第一队列的速度，以便调整同步数据的写入速度，实现对同步流量大小的控制。在业务较忙时降低数据同步速度，在业务不忙时提高数据同步速度，实现了根据业务执行情况调整数据同步速度的功能，解决了现有流量控制方法无法根据存储系统的业务执行情况控制数据同步流量的问题。

此外，本发明还提供了一种同步流量控制装置、同步流量控制设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种同步流量控制方法流程图；

图2为本发明实施例提供的一种具体的同步延时计算方法流程图；

图3为本发明实施例提供的一种同步流量控制装置的结构示意图；

图4为本发明实施例提供的一种同步流量控制设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种同步流量控制方法流程图。

该方法包括：

S101：根据获取的数据对应的数据类型将数据放入对应的队列。

具体的，在对数据进行分类放置之前，首先获取需要写入存储池的数据。在本发明实施例中，不同的数据可能对应于不同的数据类型，例如数据可以为普通写入数据；或者可以为同步写入数据。普通写入数据即为业务正常运行时需要写入的数据，也可以成为业务数据；同步写入数据即为副本同步时需要写入的数据，也可以成为同步数据。为了保证业务的正常进行，需要将数据按照对应的数据类型分别放入对应的队列中，以便对各类数据的写入速度进行调整。

在本实施例中，可以共有两个队列，即有两个任务队列，分别为第一队列和第二队列。第一队列用于放置排队等待写入的数据，第二队列用于放置同步数据。队列的总量本实施例不做限定，其数量最少为两个，例如可以为三个，分别为第一队列、第二队列和第三队列，分别用于放置排队等待写入的数据、同步数据和优先级较低的业务数据。第一队列可以被称为正常队列(Normal Priority Queue，npq)，第二队列可以被称为低优先级队列(LowPriority Queue，lpq)。在获取到数据后，根据数据类型将其放入对应的队列中，即判断数据的类型，当数据不为同步数据时，将其放入第一队列，具体的，将数据放入第一队列的队尾；当数据为同步数据时，将该同步数据放入第二队列的队尾。本实施例并不限定其他队列与第一队列或第二队列之间是否存在数据交换过程，若存在，也不限定具体的数据交换方法。

S102：统计第一队列的历史延时，并利用历史延时计算第二队列中同步数据对应的同步延时。

历史延时为第一队列对应的数据历史写入时长，用于表示第一队列中数据的写入情况。当业务较繁忙时，需要写入的数据就较多，第一队列中排队等待写入的数据需要等待的时间就越长，因此对应的历史延时也较长；当业务不繁忙时，需要写入的数据就较少，第一队列中排队等待写入的数据需要等待的时间就较短，因此对应的历史延时也较小。同步延时为同步数据在第二队列中等待的时长，各个同步数据需要在第二队列中等待同步延时后才可以被放入第一队列，排队等待写入。在统计得到第一队列的历史延时后，利用历史延时计算第二队列中同步数据对应的同步延时，以便根据历史延时决定同步数据的同步延时，通过调整同步延时调整各个同步数据被放入第一队列的频率，进而调整各个同步数据的写入频率，防止因写入同步数据而影响到业务的正常运行。

需要说明的是，为了准确地根据历史延时确定同步数据的同步延时，本实施例优选的，在同步数据被放入第二队列时立即统计历史延时，并根据历史延时确定同步数据对应的同步延时。或者为了减低计算资源的使用，可以按照预设周期计算本周期被放入第二队列的同步数据对应的同步延时，预设周期的具体大小不做限定。

S103：判断同步数据在第二队列中的等待时长是否大于同步延时。

在确定同步数据对应的同步延时后，判断各个同步数据在第二队列中的等待时长是否大于对应的同步延时。对于判断操作的执行频率，本实施例不做限定，例如可以实时判断各个同步数据在第二队列中的等待时长是否大于同步延时；或者可以按照预设周期进行判断。当确定等待时长大于同步延时时，可以进入S104步骤；当确定等待时长不大于同步延时时，可以进入S105步骤。

S104：将同步数据放入第一队列。

当确定同步数据对应的等待时长大于同步延时时，则可以将同步数据放入第一队列，具体的，将同步数据放入第一队列的队尾，以便排队等待写入。

S105：预设操作。

当确定等待时长不大于同步延时时，可以执行预设操作，本实施例并不限定预设操作的具体内容，例如可以为无操作，既不执行任何操作；或者可以再次执行S103步骤，即再次判断同步数据在第二队列中的等待时长是否大于同步延时。

应用本发明实施例提供的同步流量控制方法，在获取数据后，先根据数据类型将数据放入对应的队列中。同时统计第一队列对应的历史延时，历史延时体现了第一队列中数据的写入情况。根据历史延时计算同步数据对应的同步延时，并在同步数据的等待时长大于同步延时后将其放入第一队列以便等待写入。该方法根据第一队列的数据写入情况调整同步数据放入第一队列的速度，以便调整同步数据的写入速度，实现对同步流量大小的控制。在业务较忙时降低数据同步速度，在业务不忙时提高数据同步速度，实现了根据业务执行情况调整数据同步速度的功能，解决了现有流量控制方法无法根据存储系统的业务执行情况控制数据同步流量的问题。

基于上述发明实施例，在一种可能的实施方式中，通过平衡当前数据写入情况和历史数据写入情况，可以根据实际需要计算历史延时，以便更好地调节同步数据的写入频率。本发明实施例将对S102步骤做具体说明，请参考图2，图2为本发明实施例提供的一种具体的同步延时计算方法流程图，包括：

S201：统计各个已写入数据对应的写入时长。

已写入数据表示已经被写入存储池的数据，其对应的写入时长为已写入数据从进入第一队列到完成写入所用的时长，即从被放置到第一队列的队尾，到被写入存储池所用的时长。具体的，第一队列中的数据在被写入存储池后，可以生成该数据对应的写入时长记录，以便用于计算历史延时。写入时长可以用Y_t表示，其中，t表示数据的序号。

S202：按照滑动平均值公式，利用写入时长计算历史延时。

在获取各个写入时长后，利用滑动平均值公式计算历史延时，具体的，按照公式(1)计算历史延时：

其中，S_t为历史延时，α为权重参数，其取值范围为0到1之间。当某个同步数据被放入第二队列时，有t个数据已经被写入，即有t个已写入数据，则该同步数据对应的历史延时即为S_t。权重参数用于平衡历史数据写入情况与当前数据写入情况，权重参数越大，当前数据写入情况对历史延时的影响越大，权重参数越小，历史数据写入情况对历史延时的影响越大。优选的，权重参数可以取0.5。

S203：利用延时权重和历史延时计算目标延时。

在本实施例中，利用延时权重与历史延时计算目标延时，具体的，按照公式(2)计算目标延时：

TARGET＝(100+SYNC_IMPACT)*S_t/100 (2)

其中，TARGET表示目标延时，SYNC_IMPACT表示延时权重，其取值范围为正数，优选的，可以取值为20，则表示同步数据的写入延时为业务数据的120％。

S204：利用历史延时与目标延时相减，得到同步延时。

利用历史延时如目标延时相减，即可计算得到同步延时，具体的，可以按照公式(3)计算同步延时：

delay＝S_t-TARGET (3)

其中，delay表示同步延时。

基于上述发明实施例，为了节省计算资源，可以在确定发生数据丢失故障后进行同步流量控制。具体的，可以参照如下步骤：

步骤1：判断是否发生数据丢失故障。

在执行根据获取的数据对应的数据类型将数据放入对应的队列的步骤之前，先判断是否发生数据丢失故障。本实施例并不限定具体的判断方法，例如可以判断是否接受到故障通知或报警，若接受到，则确定发生数据丢失故障；或者可以检测数据对应的标志信息，判断是否出现同步数据，若出现同步数据，则确定出现数据丢失故障。

步骤2：若否，则将数据放入第一队列。

当确定未出现数据丢失故障时，无需将数据进行分类放置，直接将获取到的数据放入第一队列中。

步骤3：若是，则执行根据获取的数据对应的数据类型将数据放入对应的队列的步骤。

当确定出现数据丢失故障时，则执行根据获取的数据对应的数据类型将数据放入对应的队列的步骤。具体的，可以对数据进行匹配，判断数据是否为同步数据，若存储池中已有该数据，则确定数据为同步数据。

进一步，为了准确且高效地判断数据的数据类型，可以利用标志信息确定数据对应的数据类型。具体的，对数据进行解析，得到数据对应的标志信息。利用标志信息判断数据是否为同步数据。若数据为同步数据，则将数据放入第二队列的队尾。若数据不为同步数据，则将数据放入第一队列的队尾。例如当标志信息为0时，说明数据不为同步数据，将其放入第一队列的队尾；当标志信息为1时，说明数据为同步数据，将其放入第二队列的队尾。

步骤4：从第一队列的队首获取目标数据，并将目标数据写入存储池。

在对新获取的数据进行队列分配处理的同时，可以从第一队列的队首获取目标数据，并将目标数据写入存储池，以便完成正常的业务和同步工作。

下面对本发明实施例提供的同步流量控制装置进行介绍，下文描述的同步流量控制装置与上文描述的同步流量控制方法可相互对应参照。

请参考图3，图3为本发明实施例提供的一种同步流量控制装置的结构示意图，包括：

第一放置模块310，用于根据获取的数据对应的数据类型将数据放入对应的队列；

计算模块320，用于统计第一队列的历史延时，并利用历史延时计算第二队列中同步数据对应的同步延时；

时长判断模块330，用于判断同步数据在第二队列中的等待时长是否大于同步延时；

第二放置模块340，用于若等待时长大于同步延时，则将同步数据放入第一队列。

可选地，计算模块320，包括：

写入时长统计单元，用于统计各个已写入数据对应的写入时长；其中，写入时长为已写入数据从进入第一队列到完成写入所用的时长；

历史延时计算单元，用于按照滑动平均值公式，利用写入时长计算历史延时。

可选地，计算模块320，包括：

目标延时计算单元，用于利用延时权重和历史延时计算目标延时；

同步延时计算单元，用于利用历史延时与目标延时相减，得到同步延时。

可选地，第一放置模块310，包括：

标志信息获取单元，用于对数据进行解析，得到数据对应的标志信息；

类型判断单元，用于利用标志信息判断数据是否为同步数据；

第一放置单元，用于若数据为同步数据，则将数据放入第二队列的队尾；

第二放置单元，用于若数据不为同步数据，则将数据放入第一队列的队尾。

可选地，还包括：

数据写入模块，用于从第一队列的队首获取目标数据，并将目标数据写入存储池。

可选地，还包括：

故障判断模块，用于判断是否发生数据丢失故障；

第三放置模块，用于若未发生数据丢失故障，则将数据放入第一队列；

相应的，第一放置模块310为若发生数据丢失故障，则根据获取的数据对应的数据类型将数据放入对应的队列的模块。

下面对本发明实施例提供的同步流量控制设备进行介绍，下文描述的同步流量控制设备与上文描述的同步流量控制方法可相互对应参照。

请参考图4，图4为本发明实施例提供的一种同步流量控制设备的结构示意图，该同步流量控制设备包括存储器、处理器，其中：

存储器410，用于保存计算机程序；

处理器420，用于执行计算机程序，以实现上述的同步流量控制方法。

下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的同步流量控制方法可相互对应参照。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的同步流量控制方法的步骤。该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的一种同步流量控制方法、同步流量控制装置、同步流量控制设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种同步流量控制方法，其特征在于，包括：

统计第一队列的历史延时，并利用延时权重和所述历史延时计算目标延时：

TARGET＝(100+SYNC_IMPACT)*S_t/100

其中，TARGET表示目标延时，S_t为历史延时，SYNC_IMPACT表示延时权重，其取值范围为正数；

利用所述历史延时与所述目标延时相减，得到同步延时；

判断同步数据在第二队列中的等待时长是否大于所述同步延时；

若是，则将所述同步数据放入所述第一队列。

2.根据权利要求1所述的同步流量控制方法，其特征在于，所述统计第一队列的历史延时，包括：

3.根据权利要求1所述的同步流量控制方法，其特征在于，所述根据获取的数据对应的数据类型将所述数据放入对应的队列，包括：

对所述数据进行解析，得到所述数据对应的标志信息；

利用所述标志信息判断所述数据是否为所述同步数据；

若是，则将所述数据放入所述第二队列的队尾；

若否，则将所述数据放入所述第一队列的队尾。

4.根据权利要求1至3任一项所述的同步流量控制方法，其特征在于，还包括：

5.根据权利要求4所述的同步流量控制方法，其特征在于，在根据获取的数据对应的数据类型将所述数据放入对应的队列之前，还包括：

判断是否发生数据丢失故障；

若否，则将所述数据放入所述第一队列；

6.一种同步流量控制装置，其特征在于，包括：

计算模块，包括：

目标延时计算单元，用于利用延时权重和历史延时计算目标延时：

TARGET＝(100+SYNC_IMPACT)*S_t/100

同步延时计算单元，用于利用历史延时与目标延时相减，得到同步延时；

时长判断模块，用于判断同步数据在第二队列中的等待时长是否大于所述同步延时；

第二放置模块，用于若所述等待时长大于所述同步延时，则将所述同步数据放入第一队列。

7.根据权利要求6所述的同步流量控制装置，其特征在于，所述计算模块，包括：

8.一种同步流量控制设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至5任一项所述的同步流量控制方法。

9.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的同步流量控制方法。