CN110968562B

CN110968562B - 一种基于zfs文件系统的缓存自适应调整方法及设备

Info

Publication number: CN110968562B
Application number: CN201911188249.9A
Authority: CN
Inventors: 陈南; 顾荣斌; 张皛; 宋轶慧; 邵佳炜
Original assignee: State Grid Shanghai Electric Power Co Ltd
Current assignee: State Grid Shanghai Electric Power Co Ltd
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2023-05-12
Anticipated expiration: 2039-11-28
Also published as: CN110968562A

Abstract

本发明提出了一种基于ZFS文件系统的缓存自适应调整方法及设备，所述方法通过收集ZFS文件系统的运行指标并进行分析，在满足预设条件时自动为ZFS文件系统增加或移除缓存。本发明通过对运行指标进行事后分析，能更准确理解上层应用，从而提供更加准确的缓存策略。通过软件的方法代替人工决策，能持续分析运行指标，自适应地动态调整缓存策略，提高随机读取效率，以适应复杂多变的上层应用。此外，本发明支持并发处理多套ZFS文件系统缓存策略(仅受硬件条件及操作系统限制)，通过规划可管理全部的ZFS文件系统。

Description

一种基于ZFS文件系统的缓存自适应调整方法及设备

技术领域

本发明属于计算机领域，具体涉及ZFS(Zettabyte File System)文件系统以及运行ZFS软件的相关操作系统及硬件。

背景技术

ZFS在RAM物理内存中提供的读取缓存称为ARC(Adjustable ReplacementCache)，可以减少读取延迟。如果使用快速磁盘专门作为缓存设备，则称为L2ARC(level 2ARC)。ARC之外的读取数据会在L2ARC中缓存，由此提高随机读取性能。但是L2ARC同样需要RAM来运行。如果没有足够大的RAM来存放足够大的ARC，那么添加L2ARC不会提高性能。在大多数情况下，性能实际上还会有所下降，可能导致系统不稳定。

在以ZFS做文件系统/存储设备的方案中，需要具有相关技能的人员根据硬件条件、安装建议以及具体应用等多种因素，预先定制方案，才能定制出合适的缓存策略。现有方法存在以下问题：

1.容易误判：大多数情况下，基础软件安装工作要早于上层应用，此时只能对上层应用做出简单的预判，这可能因为与实际应用有差异而判断失误。

2.效率低：ZFS作为基础服务，可能会部署多台设备，涉及多个应用，如果全部由人工干预，其效率难以保障。而且随着上层应用的不断运行和变化，对缓存的需求也可能会发生变化。这就需要持续的采集运行指标并加以分析，才能适时的调整缓存策略，人工同样难以实现。

发明内容

发明目的：针对上述问题，本发明提出一种基于ZFS文件系统的缓存自适应调整方法及设备，可以降低ZFS文件系统的维护难度，并减少失误，提高生产效率。

技术方案：根据本发明的第一方面，提供一种基于ZFS文件系统的缓存自适应调整方法，包括以下步骤：

根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFS ARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，M<N，获得第M个mrug和/或mfug指标值，当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC；

比较指定时间段内l2hit指标的N'个采样值，按采样值由小到大的顺序选取前M'个值，M'<N'，获得第M'个l2hit指标值，当arcsz低于最大值且第M'个l2hit指标值低于预设的第二阈值时，为ZFS文件系统移除L2ARC。

根据本发明的第二方面，提供一种基于ZFS文件系统的缓存自适应调整设备，包括：

指标监测模块，用于根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFS ARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

采样值比较模块，用于比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，M<N，获得第M个mrug和/或mfug指标值；以及比较指定时间段内l2hit指标的N'个采样值，按采样值由小到大的顺序选取前M'个值，M'<N'，获得第M'个l2hit指标值；

缓存调整模块，用于动态调整缓存的大小，包括缓存增加单元和缓存移除单元，所述缓存增加单元用于当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC；所述缓存移除单元用于当arcsz低于最大值且第M'个l2hit指标值低于预设的第二阈值时，为ZFS文件系统移除L2ARC。

根据本发明的第三方面，提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如本发明第一方面所述方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明第一方面所述方法的步骤。

有益效果：本发明通过收集ZFS文件系统的运行指标，通过对运行指标进行事后分析，能更准确理解上层应用，从而提供更加准确的缓存策略。方法步骤可实现为软件来自动执行，通过软件的方法代替人工决策，能持续分析运行指标，自适应地动态调整缓存策略，提高随机读取效率，以适应复杂多变的上层应用。此外，本发明支持并发处理多套ZFS文件系统缓存策略(仅受硬件条件及操作系统限制)，通过规划可管理全部的ZFS文件系统。

附图说明

图1为本发明的方法在ZFS文件系统中所处位置示意图；

图2为根据本发明实施例的基于ZFS文件系统的缓存自适应调整方法流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

首先对本方案中用到的一些专有名词进行解释如下。

CPU:central processing unit计算机的中央处理器。

RAM:Random Access Memory随机存取存储器，也叫内存。

FIO:一种Linux系统使用的磁盘IO性能测试工具。

ARC:Adjustable Replacement Cache是ZFS的一级缓存。

L2ARC:Level 2ARC是ZFS的二级缓存。

arcsz:ARC Size表示ZFS ARC占用内存的大小。

mfug:全称为Most Frequently Used Ghost，指的是每秒钟在最频繁使用的Ghost列表中的命中数，本发明中使用mfug指标表示最频繁使用的幻影读缓存的命中率。

mrug:全称为Most Recently Used Ghost，指的是每秒钟在最近使用的Ghost列表中的命中数，本发明中使用mrug指标表示最近使用的幻影读缓存的命中率。

图1所示为ZFS文件系统结构示意图，本发明通过分析关键指标mrug和mfug，及其它一些辅助指标，进行ZFS动态增加/移除L2ARC。在一个实施例中，基于以下基础设施环境来实现缓存策略的自动调整：

硬件环境：

CPU 8c，RAM 16G

磁盘：

[0:0:0:0]disk VMware Virtual disk/dev/sda机械硬盘

[0:0:1:0]disk VMware Virtual disk/dev/sdb机械硬盘

[0:0:2:0]disk VMware Virtual disk/dev/sdc机械硬盘

[0:0:3:0]disk VMware Virtual disk/dev/sdd机械硬盘

[0:0:5:0]disk VMware Virtual disk/dev/sdf固态硬盘

软件环境：

CentOS 7.6

Zfs 0.7.13

本发明使用独立服务器，或利用已安装了ZFS文件系统的服务器，部署本方案所需的程序，所述程序实现了本发明所提的缓存自适应调整方法。参照图2，本发明所提缓存自适应调整方法包括以下步骤：

S1、根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFS ARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

S2、比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，M<N，获得第M个mrug和/或mfug指标值，优选N≥5，M≥3；比较指定时间段内l2hit指标的N'个采样值，按采样值由小到大的顺序选取前M'个值，M'<N'，获得第M'个l2hit指标值，优选N'≥5，M'≥3；

S3、当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC；当arcsz低于最大值且第M'个l2hit指标值低于预设的第二阈值时，为ZFS文件系统移除L2ARC。

下面结合具体实例对方法的实现过程以及效果说明如下：

根据程序进行一些参数配置，包括：设置受控ZFS服务器组IP地址和登录帐号/密码、设置受控ZFS pool池和用于缓存的设备、设置采集时间间隔和设置缓存调整策略。

主要参数有：

#用于l2arc的设备

l2arc_device＝/dev/sdf；

#是否使用动态设置l2arc策略

l2arc_autoset＝yes

#采样时间间隔

l2arc_samp_interval＝300(秒)

#最小采样周期

l2arc_samp_min＝5(次)

#最大采样周期

l2arc_samp_max＝10(次)

#采样数

l2arc_samp_count＝3(个)

#增加阈值比率，即第一阈值

l2arc_threshold_add＝5(％)

#删除阈值比率，即第二阈值

l2arc_threshold_del＝20(％)

其中最小采样周期和最大采样周期限定了所述指定时间段在5个采样时间间隔～10个采样时间间隔范围内。应当理解，本实施例中各项参数的取值仅是为了例示和说明的作用，在其他实施例中可以根据需求设置为不同的值，因此这些具体参数不能理解为对本发明的限制。

然后运行程序不少于三个采集时间间隔，获取并保存mfug/mrug的指标；期间运行不同的上层应用，运行程序采集随机读取性能，分析mfug/mrug指标的变化情况，根据预设策略增加或删除L2ARC设置。

1、创建实例：

使用/dev/sd[b-d]创建存储池pool1。

可以查看ZFS存储池的详细信息如下：

2、测试工具：

使用fio测试pool1/data的随机8k读性能，文件大小为10G，大于ARC(默认值为RAM的一半即8G)，单次采样arc变化如下：

arcstat.py

c表示ARC最大值，arcsz表示ARC实际大小，可以看出arcsz已满，而且存在mfug/mrug幻影命中，表明ARC不足。

以每5分钟采样，取10个样本，数据如下：

为了分析方便，mfug和mrug已转换为百分比，可以看出幻影命中率大约维持在10％左右，此时fio性能测试iops为1500左右。

3、自动增加缓存：

基于以上采样数据的实时分析，取最小5次采样周期数据5组(即N＝5)，即00：00至20：00数据{0,8,11,11,11}，由小到大排序取3份(即M＝3)最大采样数据的最小值11，已超过限定的增加阈值5％，本发明结合物理内存情况以及磁盘结构自动为文件系统增加L2ARC：

物理内存不小于16G；

配置有至少一块独立的固态硬盘SSD，其容量不小于物理内存的5倍，专用于做缓存使用，不能存放其它数据；

当满足以上条件，且通过采样分析满足增加条件时，则为ZFS增加L2ARC，即执行命令：zpool add pool1 cache/dev/sdf，/dev/sdf为本例中的固态硬盘设备号，且预先通过程序配置为l2arc专用设备。

增加后的结构为：

观察l2arc相关指标l2hit％，持续一段时间后的ARC变化为：

15分钟后再次查看命中情况：

可以看到L2ARC上已经有逐渐增加的读取动作，l2hit％已上升至95％，此时fio性能测试iops为5万左右，增长了33倍。

4、自动移除缓存：

与步骤3中相反的情况是，当ARC大于随机读取数据时，因为L2ARC的存在，导致占用更多的ARC，使得部分读取不能放入ARC中。同样使用fio测试pool1/data的随机8k读性能，文件大小为7.3G，略小于ARC大小，以每5分钟为周期采样，取10个样本，数据如下：

基于以上采样数据的实时分析，取最小5次采样周期数据5组(即N'＝5)，即00：00至20：00数据{14,5,5,7,3}，按由小到大顺序取3份(即M'＝3)最小采样数据的最大值5，已低于限定的删除阈值20％，且满足arcsz低于c，说明arcz已满足缓存请求，l2arc因为速度慢于arc，反而会影响性能，观察此时fio性能测试iops为19万左右。

本发明结合物理内存情况以及磁盘结构自动为文件系统删除L2ARC：

执行命令：zpool remove cache/dev/sdf

再次执行fio性能测试，iops为23万左右。说明移除l2arc后，iops性能提升了4万。

基于与方法实施例相同的技术构思，根据本发明的另一实施例，提供一种基于ZFS文件系统的缓存自适应调整设备，包括：

本发明支持并发处理多套ZFS文件系统缓存策略(仅受硬件条件及操作系统限制)，通过规划可管理全部的ZFS文件系统。以1套ZFS系统规划10个pool为例，资源占用分析：采样并发为10，实际执行对CPU占用小于1％，内存临时占用约为60K，空间占用分析：配置信息约占100k磁盘空间，采样数据每周期每pool约30k磁盘空间，最长周期一个月，数据共占约255M磁盘空间。对于小型ZFS文件系统(一般认为小于10套)，使用一套程序足以管理。而在中型ZFS文件系统中(一般认为在10～100套)，则可采用第三方软件如keepalived或其它，并使用两台以上的独立采集服务器，实现程序的高可用。大型ZFS文件系统，往往分散在不同网段，需要结合网络拓扑情况综合考虑，可将其分为多个独立系统来规划。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种基于ZFS文件系统的缓存自适应调整方法，其特征在于，所述方法包括以下步骤：

比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，M<N，获得第M个mrug和/或mfug指标值，当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC，所述L2ARC采用预先配置的至少一块独立固态硬盘，其容量不小于物理内存的5倍；

2.根据权利要求1所述的缓存自适应调整方法，其特征在于，所述N≥5，M≥3。

3.根据权利要求1所述的缓存自适应调整方法，其特征在于，所述N'≥5，M'≥3。

4.一种基于ZFS文件系统的缓存自适应调整设备，其特征在于，包括：

指标监测模块，用于根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFSARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

缓存调整模块，用于动态调整缓存的大小，包括缓存增加单元和缓存移除单元，所述缓存增加单元用于当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC，所述L2ARC采用预先配置的至少一块独立固态硬盘，其容量不小于物理内存的5倍；所述缓存移除单元用于当arcsz低于最大值且第M'个l2hit指标值低于预设的第二阈值时，为ZFS文件系统移除L2ARC。

5.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如权利要求1-3中任一项所述方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一项所述方法的步骤。