CN104090731B - 一种自动进行Cache刷新参数调节的方法和装置 - Google Patents

Abstract

本发明提供一种自动进行Cache刷新参数调节的方法，该方法包括：A、判断磁盘阵列是否有读流量，如果是，则执行步骤B；B、当阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，当阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。本发明的方案在业务压力不大时，能将Cache中的数据尽快写到磁盘，保证数据的安全；在业务压力大时，通过调整Cache刷新参数保证业务性能满足需求。

Description

一种自动进行Cache刷新参数调节的方法和装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种自动进行Cache刷新参数调节的方法和装置。

背景技术

视频监控技术由于其真实性、可靠性、广泛性等优点在安防、交通、金融、教育等各行各业得到了广泛的应用和迅速的发展。前端编码设备将视频数据以块直存的方式写入后端存储控制器的SAN资源。为了提高性能，视频数据在存储的时候通常都会使用高速缓存存储器Cache。存储设备为每个阵列分配一定的Cache空间，业务数据写到Cache后直接向上层返回成功。Cache在存储设备的位置如图1所示。

Cache的空间大小是一定的，不能无限的存放数据。所以需要按照一定的策略将Cache中的数据写到阵列中的磁盘上。通常有以下几种Cache的刷新策略：

1、条带刷新策略

条带个数达到设置的刷新条数则启动条带刷新，条带个数低于设置的刷新条数则停止条带刷新。例如默认配置中达到1个条带就启动条带刷新，当刷到条带个数小于1个时则停止条带刷新。

2、高低水位线刷新策略

缓存中的块(block)占用的比例达到高水位线时，启动高低水位线刷新，block占用的比例低于低水位线时，则停止高低水位线刷新。

3、老化时间刷新策略

当块(block)访问时间超过老化时间，则启动老化刷新，直至不存在访问时间超过老化时间的block。

以上三种刷新策略，满足其中任何一种都会启动Cache刷新。当多种策略同时满足时，优先采用老化刷新策略，再条带刷新策略，最后采用高低水位线刷新策略。

当然有的系统中可能仅有两种Cache刷新策略，比如只有条带刷新策略和高低水位线刷新策略；或者有的系统中还具有这三种策略之外的其他刷新策略。

通常每个阵列不同的刷新策略中所使用的Cache刷新参数都是相同的，即对每个阵列Cache刷新的条带数，高低水位线，老化时间都使用固定阈值。这种处理方式没有区分业务模型、业务量和磁盘的IO处理能力。而实际上，不同阵列上的业务模型、业务量和磁盘IO处理能力均可能存在差异，甚至同一阵列上的业务模型和业务量也可能会发生变化。如果Cache采用固定的阈值进行刷新，不仅不能发挥Cache的最大作用有可能还会影响业务的性能。

发明内容

有鉴于此，本发明提供一种自动进行Cache刷新参数调节的方法和装置。该方法和装置应用于磁盘阵列，该磁盘阵列的Cache包括高低水位线刷新策略和条带刷新策略。

该方法包括：

A、判断磁盘阵列是否有读流量，如果是，则执行步骤B；

B、当阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，

当阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

优选地，在执行步骤B时，先执行步骤B1：判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；再执行步骤B2：判断阵列中是否每个磁盘的await值都小于预设阈值A，如果否，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

优选地，在执行步骤B2时，如果所述条带个数有上调，则返回执行步骤B1，并在不满足高低水位线刷新策略时退出。

优选地，调整后的高低水位线的值和条带个数值记录在存储系统内存中。

优选地，当磁盘阵列从有读流量到无读流量时，所述调整的高低水位线值和条带个数值恢复成初始配置的默认值。

该装置包括：

读流量判断单元，用于判断磁盘阵列是否有读流量；

参数调节单元，用于在磁盘阵列有读流量存在时，若阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，

在磁盘阵列有读流量存在时，若阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

优选地，所述参数调节单元，在磁盘阵列有读流量存在时先判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；然后再判断阵列中是否每个磁盘的await值都小于预设阈值A，如果否，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

优选地，参数调节单元，如果上调了所述条带个数，则进一步判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略后退出操作。

优选地，参数调节单元调整后的高低水位线的值和条带个数值记录在存储系统内存中。

优选地，参数调节单元，用于当磁盘阵列从有读流量到无读流量时，将调整的高低水位线值和条带个数值恢复成初始配置的默认值。

相较于现有技术，本发明方案在业务压力大时，能通过调整Cache刷新参数保证业务性能满足需求。

附图说明

图1是现有的一种存储系统逻辑架构图。

图2是本发明实施例流程图一。

图3是本发明实施例流程图二。

图4是本发明装置逻辑结构图。

具体实施方式

针对背景技术中提到的技术问题，本发明提出一种自动进行Cache刷新参数调节的方案，该方案应用在存储阵列上。本发明的方案在业务压力不大时，能将Cache中的数据尽快写到磁盘，保证数据的安全；在业务压力大时，通过调整Cache刷新参数保证业务性能满足需求。以下通过具体实施例详细描述。

首先请参图2。图2是确定是否需要进行Cache刷新参数调节的一个流程图。

S21、每隔T秒对阵列的流量进行检测。

S22、判断阵列上是否有读流量，如果是，执行步骤S23，否则执行步骤S24。

S23、进入动态调整Cache刷新参数的流程。

S24、Cache刷新参数不调整，采用初始设置的默认值。

当磁盘阵列存在读流量(比如说回放视频业务)时，就属于本发明所认为的业务压力较大的情况，此时就需要进行Cache刷新参数的调整。如果不调整，当读IO得不到及时响应的时候，可能会出现画面卡顿的现象。本例中磁盘存在读流量使用的是定期检测的方式，还可以是一旦执行读流量就上报系统，进入到Cache刷新参数的调整流程。在读流量业务结束后，调整后的Cache刷新参数需要恢复到初始设置的默认值。比如说，磁盘阵列创建时，Cache刷新策略包括高低水位线刷新策略、条带刷新策略，其对应的参数值如表1：高水位线值为H，低水位线值为L；条带数为S。在读流量业务结束后，需要将上述参数都恢复到高水位线值为H，低水位线值为L；条带数为S。

高水位线	H
		低水位线	L
条带数	S

表1

动态调整Cache刷新参数的流程，请参图3。

S31、查询磁盘阵列当前执行的Cache刷新策略。

S32、判断磁盘阵列当前执行的刷新策略是否是高低水位线刷新策略，如果是，转步骤S33，否则转步骤S34。

S33、将当前的高低水位线值分别上调10％，返回步骤S31。

S34、查询当前磁盘阵列中所有磁盘的iostat信息找出await值最大的磁盘。

S35、判断该查询到的磁盘的await值是否高于阈值A，如果是，则执行步骤S36，否则，执行步骤S37。

S36、将当前的条带刷新策略中的设定的条带数乘以2，返回步骤S34。

S37、再次查询磁盘阵列当前执行的Cache刷新策略。

S38、判断磁盘阵列当前执行的刷新策略是否是高低水位线刷新策略，如果是，转步骤S39，否则本流程结束。

S39、将当前的高低水位线值分别上调10％，返回步骤S37。

本实施例设计的Cache刷新参数的调整流程，首先确认阵列当前执行的刷新策略是否为高低水位线刷新，然后再判断阵列中是否所有磁盘的await(平均每次设备I/O操作等待时间)值都小于阈值A。之所以先判断当前执行的刷新策略是否为高低水位线策略，是因为如果是高低水位线刷新策略，则通过调高高低水位线值后，能让数据尽可能的凑成条带写入，减少写业务消耗的性能，在读业务量不大(如回放路数不多)的情况下，该高低水位线的调整基本就能满足性能要求了。并且这个判断与调整的过程相对来讲非常简单，所以首先通过该方式来达到调整读业务性能的目的。而后进一步判断阵列中的所有磁盘的await值是否都小于阈值A，如果都小于A，Cache刷新参数的调整流程就可以结束了。

这里进一步判断阵列中的所有磁盘的await值是否都小于阈值A的目的在于，如果读业务量较大(如回放路数比较多)的时候，很可能调整高低水位线仍无法满足调整读业务性能的目的，需要进一步判断所有磁盘的await值是否小于阈值A。阈值A是一个用来表征磁盘IO处理能力分界线的一个预设参数。每个阵列磁盘的IO处理能力都是一定的，当有磁盘的await值不小于A表明该磁盘当前的压力很大，其IO队列太长。此时读业务得到的响应时间将变慢，在监控业务中可能就表现为回放画面卡顿。所以需要将每个磁盘的await值都调到小于阈值A的状态。

减小磁盘的await值的一种方法为增大条带刷新策略中的设置的条带数。当条带数增大时，合并写入的命令就增多了，如此就可减少磁盘的await值。而判断阵列中所有磁盘的await值是否小于阈值A，可以通过查询阵列中磁盘的iostat信息来得到await值最大的磁盘，然后判断该最大的await值是否小于阈值A，如果是，则阵列中所有磁盘的await值小于阈值A。

上述实施例流程先确认阵列当前执行的刷新策略是否为高低水位线刷新，在是高低水位线刷新时，先进行高低水位线调整；而后再判断阵列中是否所有磁盘的await值都小于阈值A，在否的情况下，再进行条带数调整的设计方案是一种比较优的设计方案。

实际上，高低水位线调整或者条带数调整这两种方式都能实现满足读业务性能的目的。

图3的实施例中，将当前的高低水位线值分别上调10％的方式只是调高高低水位线的一种方式；当然除了这种在当前基础上调高10％，还可以有其它方式，比如固定设置一个调高基数，每次都调高该基数；在本发明中，这些调高高低水位线的方式都可以被称为将高低水位线上调预设值。

图3的实施例中，将当前的条带刷新策略中的设定的条带数乘以2，也只是提高条带刷新数的一种方式；除此之外，还可以有其他方式，比如固定设置一个提高的条带基数，如每次提高1个条带数；在本发明中，这些提高条带数的方式都可以被称为将条带刷新策略中条带个数上调预设值。

当阵列当前执行的刷新策略为高低水位线刷新策略时，将高低水位线上调预设值后，需要进一步判断是否已经不再满足执行高低水位线刷新策略。这里可以在高低水位线上调预设值后，延迟一段时间，比如说n毫秒，然后再执行“是否已经不再满足执行高低水位线刷新策略”的判断。如果n毫秒以后，系统还满足高低水位线刷新策略，则进一步上调高低水位线值。调高高低水位线方式的退出条件是系统不再满足执行高低水位线刷新的策略。

当阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，将条带刷新策略中条带个数上调预设值后，需要进一步判断是否阵列中所有磁盘的await值都小于预设阈值A。同样的，可以在条带个数上调预设值后，延迟一段时间，比如说n毫秒，然后再执行是否阵列中所有磁盘的await值都小于预设阈值A的判断。如果n毫秒以后，并不是所有磁盘的await值都小于预设阈值A，则进一步上调条带刷新数。同样地，提高条带数方式的退出条件是所有磁盘的await值都小于预设阈值A。

在图3的实施例中，在所有磁盘的await值都小于阈值A(即await值最大的磁盘的await值小于阈值A)满足退出条件后，需要再次查询阵列当前执行的Cache刷新策略，在阵列当前执行的Cache刷新策略为高低水位线刷新策略时，则需要进一步上调高低水位线值。之所以如此操作，是因为在条带数调高的情况下，留在cache中的数据相应也会变多，此时可能又会达到高水位线，从而触发高低水位线刷新的情况。当然这里还可以增加一步操作，即在步骤S37之前，进一步判断当前是否提高了条带数，如果提高了，则执行步骤S37“再次查询磁盘阵列当前执行的Cache刷新策略”，否则，流程结束退出。

需要说明的是，上述动态调整的Cache刷新参数在调整后将立即生效。这些调整后的参数值记录在存储系统内存中，而不写入阵列的超级块。这样做的目的是减少更新阵列超级块的次数。另外。在系统重启后Cache刷新参数将恢复成默认值。

从实验结果来看，在存在回放业务时，本发明的方案能很好的解决因为写业务而导致的画面卡顿的问题。

基于同样的构思，本发明还提供一种自动进行Cache刷新参数调节的装置，该装置应用于磁盘阵列，该磁盘阵列的Cache包括高低水位线刷新策略和条带刷新策略，该装置包括：读流量判断单元和参数调节单元，请参图4。

读流量判断单元，用于判断磁盘阵列是否有读流量；

参数调节单元，用于在磁盘阵列有读流量存在时，若阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，

在磁盘阵列有读流量存在时，若阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，每次则将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

该参数调节单元，在磁盘阵列有读流量存在时先判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；然后再判断阵列中是否每个磁盘的await值都小于预设阈值A，如果否，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

该参数调节单元，如果上调了所述条带个数，则进一步判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略后退出操作。

该参数调节单元调整后的高低水位线的值和条带个数值记录在存储系统内存中。

该参数调节单元，用于当磁盘阵列从有读流量到无读流量时，将调整的高低水位线值和条带个数值恢复成初始配置的默认值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种自动进行Cache刷新参数调节的方法，该方法应用于磁盘阵列，该磁盘阵列的Cache包括高低水位线刷新策略和条带刷新策略，其特征在于，该方法包括：

A、判断磁盘阵列是否有读流量，如果是，则执行步骤B；

B、当阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，

当阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A；

其中，在执行步骤B时，先执行步骤B1：判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；再执行步骤B2：判断阵列中是否每个磁盘的await值都小于预设阈值A，如果否，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

2.如权利要求1所述的方法，其特征在于，在执行步骤B2时，如果所述条带个数有上调，则返回执行步骤B1，并在不满足高低水位线刷新策略时退出。

3.如权利要求1或2所述的方法，其特征在于，调整后的高低水位线的值和条带个数值记录在存储系统内存中。

4.如权利要求1或2任一项所述的方法，其特征在于，当磁盘阵列从有读流量到无读流量时，所述调整的高低水位线值和条带个数值恢复成初始配置的默认值。

5.一种自动进行Cache刷新参数调节的装置，该装置应用于磁盘阵列，该磁盘阵列的Cache包括高低水位线刷新策略和条带刷新策略，其特征在于，该装置包括：

读流量判断单元，用于判断磁盘阵列是否有读流量；

参数调节单元，用于在磁盘阵列有读流量存在时，若阵列当前执行的刷新策略为高低水位线刷新策略时，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；或者，

在磁盘阵列有读流量存在时，若阵列中不是每个磁盘的平均每次设备I/O操作等待时间await值都小于预设阈值A时，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A；

其中，所述参数调节单元，在磁盘阵列有读流量存在时先判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略；然后再判断阵列中是否每个磁盘的await值都小于预设阈值A，如果否，则每次将条带刷新策略中条带个数上调预设值，直到阵列中所有磁盘的await值都小于预设阈值A。

6.如权利要求5所述的装置，其特征在于，参数调节单元，如果上调了所述条带个数，则进一步判断阵列当前执行的刷新策略是否为高低水位线刷新策略，如果是，每次将高低水位线上调预设值，直到不满足高低水位线刷新策略后退出操作。

7.如权利要求5或6所述的装置，其特征在于，参数调节单元调整后的高低水位线的值和条带个数值记录在存储系统内存中。

8.如权利要求5或6所述的装置，其特征在于，参数调节单元，用于当磁盘阵列从有读流量到无读流量时，将调整的高低水位线值和条带个数值恢复成初始配置的默认值。