CN103823765B

CN103823765B - 一种动态调整缓存刷新策略的方法和装置

Info

Publication number: CN103823765B
Application number: CN201410067092.5A
Authority: CN
Inventors: 吴会堂; 许勇
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2017-02-01
Anticipated expiration: 2034-02-26
Also published as: CN103823765A

Abstract

本发明提供一种动态调整缓存刷新策略的方法，包括：A、在第一定时器超时时确定阵列的配额使用率；B、判断该配额使用率是否与上一轮确定的配额使用率处于不同的配额使用率区间，如果是，执行C，否则执行步骤D，其中每个配额使用率区间都对应一个预设的高、低水位线；C、调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线；返回A；D、不执行该阵列写Cache空间高、低水位线的调整，返回步骤A。本发明通过实时监测写缓存配额使用率变化，判断当前用户的写Cache缓存使用情况，动态调整刷新的高低水位线，有利于写入性能的提高和掉电风险的降低。

Description

一种动态调整缓存刷新策略的方法和装置

技术领域

本发明涉及存储技术领域，尤其涉及一种动态调整缓存刷新策略的方法和装置。

背景技术

存储的最终目标是要把数据写到磁盘；但是由于磁盘响应速度通常跟不上上层业务的需求，所以通常需要增加了写缓存。并且，目前通用的存储产品中，还使用Cache（高速缓冲存储器，位于CPU和存储器之间，规模较小，但速度很高；通常由SRAM组成）来提高阵列的写入性能。以RAID5为例，业务数据写到Cache后，Cache里的数据如果能凑成整条带则下刷到磁盘阵列。但在随机写命令较多的情况下，凑成整条带下刷的机会减少，从而使得Cache中的数据增多；此时如果一直不将Cache中的数据写入磁盘阵列将导致Cache空间被写满而导致数据丢失。所以一般的Cache空间均设置有高、低水位线。所谓水位线是一种形象的概念；把存储空间想象成一个水库，写入的数据相当于注入该水库的水，随着写入数据的增多，水库的水位逐渐上升；高、低水位线为预先设置的Cache空间被占用的两个大小值。当Cache中被占用的block数（块，写Cache的最小分配单位）高于高水位线时，就开始启动刷新，当被占用的block数低于低水位线时，则停止刷新，使业务数据在写Cache中继续累积，直到再次达到高水位线。

如果高、低水位线设置的不是很好的话，对数据的存储将带来不利的影响。比如如果高低水位线设置的过高，Cache中将缓存较多的数据，一旦存储设备断电，且没有UPS保护的话，该数据就会丢失。尤其是对于监控业务来说，随机命令更多的为索引信息，一旦丢失，将导致很多视频数据无法读出；如果设置的过低，则写性能会下降。

发明内容

有鉴于此，本发明提供一种动态调整缓存刷新策略的方法，该方法应用于存储设备，该方法包括如下步骤：A、在第一定时器超时时确定阵列的配额使用率E；B、判断该配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，如果是，执行步骤C，否则执行步骤D，其中每个配额使用率区间都对应一个预设的高、低水位线；C、调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线；返回步骤A；D、本轮不执行该阵列写Cache空间高、低水位线的调整，返回步骤A。

优选地，所述配额使用率区间至少预设为两个，其中高配额使用率区间的高、低水位线分别大于低配额使用率区间的高、低水位线。

优选地，在第一定时器超时时确定阵列的配额使用率E具体为：按照公式确定阵列的配额使用率，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小；或者，在第一定时器超时时确定阵列的配额使用率E具体为：在第一定时器设置的超时时间内设置第二定时器，第二定时器的超时时间是第一定时器的1/m，当第二定时器超时时按照公式计算当前的配额使用率Ei，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小；并将该配额使用率Ei记录下来；当第一定时器超时时，根据公式得到阵列的配额使用率，其中ni为预设的加权值。

优选地，该方法进一步包括：S1当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，如果是，则执行S2；否则执行S3，其中每个配额区间均对应一个预设的高低水位线；S2、调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线；返回步骤S1；S3、不执行该阵列对应写Cache空间高、低水位线的调整，返回步骤S1。

基于同样的构思，本发明还提供一种动态调整缓存刷新策略的装置，该装置应用于存储设备，该装置包括：配额使用率确定模块，用于在第一定时器超时时确定阵列的配额使用率E；配额使用率调整判断模块，用于判断第一定时器超时时确定的配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，其中每个配额使用率区间都对应一个预设的高、低水位线；水位线调整模块，用于在第一定时器超时时确定的配额使用率E与上一轮确定的配额使用率E处于不同的配额使用率区间时调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线。

优选地，配额使用率区间至少预设为两个，其中高配额使用率区间的高、低水位线分别大于低配额使用率区间的高、低水位线。

优选地，配额使用率确定模块在第一定时器超时时确定阵列的配额使用率E具体为：按照公式确定阵列的配额使用率，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小。或者配额使用率确定模块在第一定时器超时时确定阵列的配额使用率E具体为：在第一定时器设置的超时时间内设置第二定时器，第二定时器的超时时间是第一定时器的1/m，当第二定时器超时时按照公式计算当前的配额使用率Ei，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小；并将该配额使用率Ei记录下来；当第一定时器超时时，根据公式得到阵列的配额使用率，其中ni为预设的加权值。

优选地，该装置进一步包括：配额调整判断模块，用于当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，其中每个配额区间均对应一个预设的高低水位线；水位线调整模块，用于在当前的配额与未变化前的配额属于不同的配额区间时，调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线。

相较于现有技术，本发明通过实时监测写缓存配额使用率变化，判断当前用户的写Cache缓存使用情况，动态调整刷新的高低水位线，有利于写入性能的提高和掉电风险的降低。

附图说明

图1是本发明实施例一方法流程图；

图2是本发明实施例二方法流程图；

图3是本发明实施例装置逻辑结构图；

图4是本发明实施例装置另一逻辑结构图。

具体实施方式

为适应现有某些领域存储流量大小变化突出的情况，本发明提供一种动态调整缓存刷新策略的方法。该方法通过定时监测Cache空间被占用的情况，对Cache空间的高低水位进行动态的调整，以实现在保证数据不会丢失的情况下，增大凑成条带数据下刷存储阵列的概率。以下通过具体实施方式进行详细说明。

本实施例动态调整缓存刷新策略的方法应用在存储设备上。该方法的实施流程请参图1。

步骤S11、在第一定时器超时时确定存储阵列当前的配额使用率E；

步骤S12、判断该配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，如果是，执行步骤S13，否则执行步骤S14，其中每个配额使用率区间都对应一个预设的高、低水位线；

步骤S13、调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线；返回步骤S11；

步骤S14、本轮不执行该阵列写Cache空间高、低水位线的调整，返回步骤S11。

本实施例可以应用于具有一个或者多个阵列的存储设备。这里以应用于具有一个阵列的存储设备为例进行说明。该阵列预先分配有写Cache缓存空间。该阵列分得的写Cache空间大小，本发明实施例称其为存储设备分给该阵列的配额。初始时，可以给该阵列的写Cache缓存空间设置一个高、低水位线初始值。

业务数据发送到存储设备进行存储时，该阵列的写Cache缓存空间的配额使用率将会变化。比如说初始时，配额使用率为0；如果当前业务数据写入阵列1的写Cache缓存空间占用的block数为u，假设每个block的大小为k，并且阵列1的配额为f，则当前阵列1的配额使用率这里可以设置每隔预定的时间执行一次配额使用率E的监测计算，比如说设置一定时器，当定时器超时即执行配额使用率E的计算。本发明实施例预先设置好Cache缓存空间的配额使用率与高低水位线之间的对应关系。高配额使用率区间对应大的高低水位线，低配额使用率区间对应低的高低水位线。比如，对于阵列1，预先设置配额使用率E位于区间（T1，T2]时，将阵列1的写Cache空间的高、低水位线分别调整至H’和L’；当E位于区间（T2，T3]时，将阵列1的Cache空间的高低水位线分别调整至H”和L”；当E位于区间（T3，T4]时，将阵列1的Cache空间的高低水位线分别调整至H”’和L”’。配额使用率区间（T1，T2]在本例的三个区间中属于低配额使用率区间；配额使用率区间（T3，T4]在本例的三个区间中属于高配额使用率区间。这里高低水位线之间的大小关系可以是：H″′>H″>H′且L″′>L″>L′，或者进一步的为H″′>L″′>=H″>L″>=H′>L′。这样，当计算出阵列1当前的配额使用率后，判断该配额使用率E位于哪个预设的区间，是否和上一轮计算得到的配额使用率E 位于同一个区间，如果是，就无需进行高、低水位线的调整；否则就需要将高、低水位线调整至当前配额使用率区间对应的高、低水位线。本实施例每隔预设时间，比如10秒钟进行一次各阵列当前配额使用率的监测；这里“上一次确定的配额使用率E”指上一个10秒的时候监测到的阵列的配额使用率。如果上一次监测到的配额使用率E位于预设的区间（T1，T2]，而本次监测到的配额使用率E位于预设的区间（T2，T3]，则将阵列对应的写Cache缓存空间的高低水位线调至（T2，T3]区间对应的高低水位线。

关于配额使用率的计算，还可以进一步优化。一种优选地配额使用率的计算方式为：将每次按照公式计算得到的配额使用率记录下来，在计算当前的配额使用率时将本次按照公式计算得到的配额使用率和记录的前m-1个配额使用率进行加权平均，将最终计算得到的加权平均值作为当前的配额使用率，即比如说10秒确定一次配额使用率E，则可以在第2秒的时候根据公式得到第一个配额使用率E₁，这里的u为第2秒的时候的值；同样的得到第4秒的配额使用率E₂、第6秒的配额使用率E₃、第8秒的配额使用率E₄和第10秒的配额使用率E5。在第10秒的时候，根据计算得到的本轮的配额使用率用这种方法计算得到的配额使用率更加准确，因为一次计算容易因cache使用率的波动而导致计算结果的不准确性。

通过上述实施例的描述，可以看出，对于写Cache来说，当业务模型中随机命令增多导致占用的写Cache的block数增多时，通过将水位线调高，可以增加随机命令在Cache中的停留时间，增加凑成条带的机会，从而提高写性能。当随机命令减少时，通过将水位线降低，可以尽快下刷Cache中的随机命令。

比如说，对于监控存储业务来说，前端采集的视频数据在存储的时候将产生索引信息和数据信息，其中索引信息都是随机命令，数据信息都是顺序命令。某些监控点，比如说景区监控点，白天使用高码率视频数据、晚上使用低码率视频数据，对于监控存储来说白天产生的随机命令多，晚上产生的随机命令少。使用本发明技术方案后，白天高、低水位线将被调高，这样随机命令凑成整条带的概率提高，写性能提升；晚上高、低水位线被降低，能及时将写Cache中的数据写入磁盘，由于随机命令在晚上不多，所以写性能的降低并不会带来太多的影响，但却防止了设备断电而导致的Cache中索引丢失带来的已经写入的数小时的数据信息读不出来的问题。

对于一个存储设备具有多个阵列的情况，类似于单阵列的方式进行缓存刷新策略的动态调整。通常这n个阵列共用该存储设备的写Cache缓存空间。在使用该Cache缓存空间时，可以给每个阵列预先分配好其对应的写Cache缓存空间。比如说，该存储设备写Cache总空间大小为Z，假设共有r个阵列，按平均分配原则，每个阵列初始配额的大小为Z/r。当然也可以根据各阵列自身的特点，如存储容量、raid方式（raid0、raid5等）给其分配不同的配额。同样的，每个阵列的高低水位线也可以设置为相同或不同。比如，每个阵列的高水位线均设置为H，低水位线均设置为L。或者，阵列1的高水位线为H1，低水位线为L1；阵列2的高水位线为H2，低水位线为L2；阵列3的高水位线为H3，低水位线为L3。后续各阵列可以分别按照图1的方式进行缓存刷新策略的动态调整。

另外，在存储设备写Cache空间大小一定的情况下，如果阵列数量出现变化将导致每个阵列分得的配额发生变换。在这种情况下，本发明实施例进一步考虑根据配额变换进行高低水位线的调整。具体实施流程如下：

S21、当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，如果是，则执行S22；否则执行S23，其中每个配额区间均对应一个高、低水位线；

S22、调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线值；返回步骤S21；

S23、不执行该阵列对应写Cache空间高、低水位线的调整，返回步骤 S21。

阵列配额变化均有一些触发条件，比如新的阵列创建，老的阵列退出等。所以一旦满足预设的触发条件就认为阵列的配额发生变化，从而获取阵列当前的配额，并判断该配额是否与未变化前的配额属于不同的配额区间。配额区间是预先进行设定的，并进一步对每个配额区间预设高低水位线。由于不同的配额区间对应不同的高低水位线，从而能确定当前是否需要进行高低水位线的调整。

这种方法实现了根据阵列分得配额变化而动态地调整写缓存空间高、低水位线的功能。

本发明通过实时监测写缓存的配额大小变化、配额使用率变化，判断当前用户的写Cache缓存使用情况，动态调整刷新的高低水位线，有利于条带命令的形成，提高写入性能。

基于同样的构思，本发明还提供一种动态调整缓存刷新策略的装置。请参图3，该装置包括：配额使用率确定模块、配额使用率调整判断模块和水位线调整模块。

该配额使用率确定模块，用于在第一定时器超时时确定阵列的配额使用率E。

该配额使用率调整判断模块，用于判断第一定时器超时时确定的配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，其中每个配额使用率区间都对应一个预设的高、低水位线。

该水位线调整模块，用于在第一定时器超时时确定的配额使用率E与上一轮确定的配额使用率E处于不同的配额使用率区间时调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线。

该配额使用率确定模块在第一定时器超时时按照公式确定阵列的配额使用率，其中u为当前占用的写Cache缓存空间的block数，k为每个 block的大小，f为该阵列的配额大小。或者，配额使用率确定模块在第一定时器超时时按照以下方式计算配额使用率：在第一定时器设置的超时时间内设置第二定时器，第二定时器的超时时间是第一定时器的1/m，当第二定时器超时时按照公式计算当前的配额使用率Ei，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小；并将该配额使用率Ei记录下来；当第一定时器超时时，根据公式得到阵列的配额使用率，其中ni为预设的加权值。

进一步的，本实施例装置可以包括：配额调整判断模块，请参图4。

该配额调整判断模块，用于当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，其中每个配额区间均对应一个预设的高低水位线；在当前的配额与未变化前的配额属于不同的配额区间时，水位线调整模块调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种动态调整缓存刷新策略的方法，该方法应用于存储设备，其特征在于，该方法包括：

A、在第一定时器超时时确定阵列的配额使用率E，其中，所述阵列的配额表示所述存储设备为阵列分配的写Cache缓存空间的大小；

B、判断该配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，如果是，执行步骤C，否则执行步骤D，其中每个配额使用率区间都对应一个预设的高、低水位线；

C、调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线；返回步骤A；

D、本轮不执行该阵列写Cache空间高、低水位线的调整，返回步骤A。

2.如权利要求1所述的方法，其特征在于，所述配额使用率区间至少预设为两个，其中高配额使用率区间的高、低水位线分别大于低配额使用率区间的高、低水位线。

3.如权利要求2所述的方法，其特征在于，在第一定时器超时时确定阵列的配额使用率E具体为：

按照公式确定阵列的配额使用率，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小。

4.如权利要求2所述的方法，其特征在于，在第一定时器超时时确定阵列的配额使用率E具体为：

在第一定时器设置的超时时间内设置第二定时器，第二定时器的超时时间是第一定时器的1/m，当第二定时器超时时按照公式计算当前的配额使用率Ei，其中u为当前占用的写Cache缓存空间的block数，k为每个block的大小，f为该阵列的配额大小；并将该配额使用率Ei记录下来；当第一定时器超时时，根据公式得到阵列的配额使用率，其中ni为预设的加权值。

5.如权利要求2所述的方法，其特征在于，所述方法进一步包括：

S1当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，如果是，则执行S2；否则执行S3，其中每个配额区间均对应一个预设的高低水位线；

S2、调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线；返回步骤S1；

S3、不执行该阵列对应写Cache空间高、低水位线的调整，返回步骤S1。

6.一种动态调整缓存刷新策略的装置，该装置应用于存储设备，其特征在于，该装置包括：

配额使用率确定模块，用于在第一定时器超时时确定阵列的配额使用率E，其中，所述阵列的配额表示所述存储设备为阵列分配的写Cache缓存空间的大小；

配额使用率调整判断模块，用于判断第一定时器超时时确定的配额使用率E是否与上一轮确定的配额使用率E处于不同的配额使用率区间，其中每个配额使用率区间都对应一个预设的高、低水位线；

水位线调整模块，用于在第一定时器超时时确定的配额使用率E与上一轮确定的配额使用率E处于不同的配额使用率区间时调整该阵列写Cache空间的高、低水位线至预设的高、低水位线，该预设的高、低水位线为当前配额使用率所处的配额使用率区间对应的高、低水位线。

7.如权利要求6所述的装置，其特征在于，所述配额使用率区间至少预设为两个，其中高配额使用率区间的高、低水位线分别大于低配额使用率区间的高、低水位线。

8.如权利要求7所述的装置，其特征在于，配额使用率确定模块在第一定时器超时时确定阵列的配额使用率E具体为：

9.如权利要求7所述的装置，其特征在于，配额使用率确定模块在第一定时器超时时确定阵列的配额使用率E具体为：

10.如权利要求7所述的装置，其特征在于，所述装置进一步包括：

配额调整判断模块，用于当阵列的配额变化时，判断当前的配额与未变化前的配额是否属于不同的配额区间，其中每个配额区间均对应一个预设的高低水位线；

水位线调整模块，用于在当前的配额与未变化前的配额属于不同的配额区间时，调整该阵列对应的写Cache空间的高、低水位线至预设值，该预设值为当前配额所处的配额区间对应的高、低水位线。