CN113625956A - Raid卡的缓存设置方法、装置、电子设备及存储介质 - Google Patents
Raid卡的缓存设置方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113625956A CN113625956A CN202110744301.5A CN202110744301A CN113625956A CN 113625956 A CN113625956 A CN 113625956A CN 202110744301 A CN202110744301 A CN 202110744301A CN 113625956 A CN113625956 A CN 113625956A
- Authority
- CN
- China
- Prior art keywords
- cache
- raid card
- raid
- read
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本申请公开了一种RAID卡的缓存设置方法、装置、电子设备及可读存储介质。其中,方法包括根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;根据缓存读写比例参数信息调整待设置RAID卡的缓存设置值;当监测到待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;将预设时间段内的最高IO带宽流量值作为待设置RAID卡的最优缓存设置值,去更新待设置RAID卡的缓存设置值,从而可有效提升系统的读写性能。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种RAID卡的缓存设置方法、装置、电子设备及可读存储介质。
背景技术
随着大数据市场的不断增长,数据表明目前已有250亿字节数据,并且每天以463EB的数据在增长,为了应对现有的海量数据,数据存储技术也得到相应的发展。
众所周知,RAID技术(Redundant Array of Independent Disk,独立冗余磁盘阵列)最初是为了组合小的廉价磁盘来代替大的昂贵磁盘,同时希望磁盘失效时不会使对数据的访问受损失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列,在操作系统下是作为一个独立的大型存储设备出现。尤其是RAID5可以充分发挥出多块硬盘的优势,其易于管理,可有效提升硬盘速度,增大容量,还可通过提供容错功来确保数据安全性,在任何一块硬盘出现问题的情况下都可以继续工作,不会受到损坏硬盘的影响。
目前业内的RAID实现方式,有基于硬件卡实现的,也即通过在BIOS(Basic InputOutput System,基本输入输出系统)中进行配置。也有基于软件实现的,也即在进入操作系统之后再进行配置,如Linux的mdadm配置。相比基于软件的实现方式,基于硬件RAID卡实现的RAID性能更好,其中RAID卡的缓存设置是决定存储随机读写性能的关键,然而相关技术中的硬件RAID卡的缓存设置是静态的、非智能的,其一旦设定后便无法自动调整。这就导致如果缓存预设值是错误的,那么基于错误的缓存预设值的RAID的读写性能较差,在业务层面上无法满足用户需求。
发明内容
本申请提供了一种RAID卡的缓存设置方法、装置、电子设备及可读存储介质,可快速且有效提升存储的读写性能。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种RAID卡的缓存设置方法,包括:
根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;
根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值;
当监测到所述待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;
将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,更新所述待设置RAID卡的缓存设置值。
可选的,所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息之前,还包括:
获取系统硬件信息和预先设置的缓存关闭条件;
基于所述系统硬件信息和所述缓存关闭条件,判断所述待设置RAID卡是否满足所述缓存关闭条件;
若所述待设置RAID卡不满足所述缓存关闭条件,则执行所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若所述待设置RAID卡满足所述缓存关闭条件,则关闭所述待设置RAID卡的缓存。
可选的,所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息,包括:
若所述待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;
根据所述读带宽和所述写带宽计算读写比例值;
基于所述读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
可选的,所述待设置RAID卡为多个,所述根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值,包括:
获取各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,则同时对各待设置RAID卡的缓存设置值进行调整;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,则分别对每个待设置RAID卡的缓存设置值进行单独调整。
可选的,所述将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,去更新所述待设置RAID卡的缓存设置值,包括:
获取每张待设置RAID卡在预设时间段内的IO带宽流量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,从所有待设置RAID卡对应的IO带宽流量中选择IO带宽流量的最大值,作为所述最高IO带宽流量值;同时利用所述最高IO带宽流量值更新各待设置RAID卡的缓存设置;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,对每张RAID卡,将当前RAID卡在所述预设时间段内的IO带宽流量的最大值作为所述最高IO带宽流量值更新所述当前RAID卡的缓存设置。
本发明实施例另一方面提供了一种RAID卡的缓存设置装置,包括:
读写比例参数生成模块,用于根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;
初始设置模块,用于根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值;
带宽监控模块,用于当监测到所述待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;
缓存调整模块,用于将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,更新所述待设置RAID卡的缓存设置值。
可选的,还包括条件甄别模块,用于获取系统硬件信息和预先设置的缓存关闭条件;基于所述系统硬件信息和所述缓存关闭条件,判断所述待设置RAID卡是否满足所述缓存关闭条件;若所述待设置RAID卡不满足所述缓存关闭条件,则执行所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若所述待设置RAID卡满足所述缓存关闭条件,则关闭所述待设置RAID卡的缓存。
可选的,所述初始设置模块进一步用于:
若所述待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;
根据所述读带宽和所述写带宽计算读写比例值;
基于所述读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
本发明实施例还提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述RAID卡的缓存设置方法的步骤。
本发明实施例最后还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述RAID卡的缓存设置方法的步骤。
本申请提供的技术方案的优点在于,根据RAID的读写带宽流量计算当前业务的读写比例,并基于该读写比例对RAID的缓存进行初始设置,然后通过监控系统的带宽流量实现根据业务的实际IO模型调整RAID卡的缓存的读写比例设置值,实现RAID卡缓存设置的智能调整,更贴近实际应用场景,能够智能地检测当前系统中RAID卡缓存设置是否达到最优,不仅可快速且有效地提升存储读写性能,有效提升产品在实际业务中的IO性能,还能帮助用户快速识别出RAID卡缓存设置错误的问题,有效避免RAID卡错误设置对整个系统带来的性能影响,有利于提升业务运行性能。
此外,本发明实施例还针对RAID卡的缓存设置方法提供了相应的实现装置、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种RAID卡的缓存设置方法的流程示意图;
图2为本发明实施例提供的另一种RAID卡的缓存设置方法的流程示意图;
图3为本发明实施例提供的RAID卡的缓存设置装置的一种具体实施方式结构图;
图4为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种RAID卡的缓存设置方法的流程示意图,本发明实施例可包括以下内容:
S101:根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息。
在本步骤中,待设置RAID卡为需要进行缓存设置的RAID卡,可以使用系统命令或者是IO监控工具分别获取待设置RAID卡的读带宽流量和写带宽流量,然后基于待设置RAID卡的读带宽流量和写带宽流量计算读写比例值,该读写比例值即反映了当前运行业务的IO情况,基于该读写比例值生成包含多个数值的缓存读写比例参数信息,缓存读写比例参数信息用于标识当前系统的运行业务的实际IO情况。
S102:根据缓存读写比例参数信息调整待设置RAID卡的缓存设置值。
可以理解的是,缓存读写比例参数信息中包含多个数值,本步骤在对待设置RAID卡进行缓存设置时,需要根据缓存读写比例参数信息中的每个数值分别对待设置RAID卡的缓存设置值进行一次调整。
S103:当监测到待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量。
在上个步骤对待设置RAID进行缓存设置之后,为了检验待设置RAID的所设置的缓存设置值是否为最优值或者是说是否存在设置有误的情况,可利用系统命令或IO监控工具监控一段时间内系统的IO带宽流量,通过这段时间内的系统存储的IO带宽流量信息进行判断。
S104:将预设时间段内的最高IO带宽流量值作为待设置RAID卡的最优缓存设置值,更新待设置RAID卡的缓存设置值。
预设时间段可根据实际应用场景进行灵活选择,这均不影响本申请的实现,预设时间段例如可为60min。在预设时间段内基于预先设置的数值采集频率如每隔2s可得到多个IO带宽流量,比较这些IO带宽流量的数值或者是对这些IO带宽流量数据按照数值从大到小或从小到大进行排序,选择IO带宽流量中的最大值作为最高IO带宽流量值,该最高IO带宽流量值即为待设置RAID卡的最优缓存设置值,若S102对待设置RAID卡的缓存设置值与最高IO带宽流量值相同,则表明该步骤设置的缓存设置值是准确且最优的,若S102对待设置RAID卡的缓存设置值与最高IO带宽流量值差值较大,则表明待设置RAID卡的缓存设置值是错误的,利用本步骤的最高IO带宽流量值对待设置RAID卡的缓存设置值进行更新,从而可帮助用户快速识别出RAID卡缓存设置错误的问题,并及时修复,提升业务运行性能。
在本发明实施例提供的技术方案中,根据RAID的读写带宽流量计算当前业务的读写比例,并基于该读写比例对RAID的缓存进行初始设置,然后通过监控系统的带宽流量实现根据业务的实际IO模型调整RAID卡的缓存的读写比例设置值,实现RAID卡缓存设置的智能调整,更贴近实际应用场景,能够智能地检测当前系统中RAID卡缓存设置是否达到最优,不仅可快速且有效地提升存储读写性能,有效提升产品在实际业务中的IO性能,还能帮助用户快速识别出RAID卡缓存设置错误的问题,有效避免RAID卡错误设置对整个系统带来的性能影响,有利于提升业务运行性能。
可以理解的是,RAID卡在某些应用场景下或者是某些类型的RAID卡不需要进行缓存设置,或者不支持缓存设置,所以在执行上述实施例之前,为了保证RAID卡的缓存设置的准确度,提高RAID卡缓存设置效率,基于上述实施例,在执行S101之前,还可包括:
获取系统硬件信息和预先设置的缓存关闭条件;
基于系统硬件信息和缓存关闭条件,判断待设置RAID卡是否满足缓存关闭条件;
若待设置RAID卡不满足缓存关闭条件,则执行根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若待设置RAID卡满足缓存关闭条件,则关闭待设置RAID卡的缓存。
在本实施例中,系统硬件信息可包括RAID卡信息及其下连存储信息,RAID卡信息包括但并不限制RAID卡型号信息、RAID级别、缓存设置信息,RAID级别例如可为RAID0,RAID5,RAID6,RAID50等。下连存储信息是指与待设置RAID相连的存储介质类型,存储介质类型包括机械硬盘或固态硬盘或NVME硬盘等。可采用带内或带外的命令获取RAID卡型号信息、RAID级别、缓存设置信息等。缓存关闭条件是指哪些RAID卡不支持或无需进行缓存设置,或者是在哪些应用场景不需要进行缓存设置,举例来说,对于X86_64架构的服务器,缓存关闭条件为待设置RAID下联存储介质为NVME硬盘或者待设置RAID卡的RAID级别为RAID0。相应的,在获取待设置RAID卡的系统硬件信息之后,判断待设置RAID卡的RAID级别是否为RAID0,若是,则关闭待设置RAID卡的缓存设置,若否,判断待设置RAID卡的下联存储介质是否为NVME硬盘,若是,则关闭待设置RAID卡的缓存设置,若否,则执行S101-S104步骤。
在上述实施例中,对于如何执行步骤S101并不做限定,本实施例中给出根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的一种实施方式,可包括如下步骤:
若待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;
根据读带宽和写带宽计算读写比例值;
基于读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
在本步骤中,可使用系统命令或者IO监控工具实时获取当前系统下RAID卡初始化状态是否完成,若检测到初始化状态已完成,则启动监控系统下RAID卡的读带宽和写带宽,计算读写比例值K。预设数值生成规则是生成缓存读写比例参数信息的方式,所属领域技术人员可根据实际应用情况灵活设置,作为一种可选的实施方式,本实施例的预设设置生成规则可为以读写比例值为中心,基于预设步长生成多个读写比例值,再添加若干常数值共同组成缓存读写比例参数信息。举例来说,生成以读写比例值K为中心,步长为n的m个读写比例数值,n例如可为+0.05,m例如可为5,除此之外还可增加0和1数值,根据这7个数值生成读写比例参数信息,读写比例参数信息中的每个数值可称为读写比例参数。若检测到初始化状态未完成,则继续实时监控RAID卡初始化状态。
可以理解的是,服务器中会安装多张RAID卡,同一时间不可避免地会存在多张RAID卡均需要进行缓存设置的情况,基于这种应用场景,上述实施例中的根据缓存读写比例参数信息调整待设置RAID卡的缓存设置值的实现方式为:
待设置RAID卡为多个,获取各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,则同时对各待设置RAID卡的缓存设置值进行调整;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,则分别对每个待设置RAID卡的缓存设置值进行单独调整。
相应的,上述步骤S104即将预设时间段内的最高IO带宽流量值作为待设置RAID卡的最优缓存设置值,去更新待设置RAID卡的缓存设置值的实施过程可包括:
获取每张待设置RAID卡在预设时间段内的IO带宽流量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,从所有待设置RAID卡对应的IO带宽流量中选择IO带宽流量的最大值,作为最高IO带宽流量值;同时利用最高IO带宽流量值更新各待设置RAID卡的缓存设置;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,对每张RAID卡,将当前RAID卡在预设时间段内的IO带宽流量的最大值作为最高IO带宽流量值更新当前RAID卡的缓存设置。
在本实施例中,若RAID卡型号、RAID级别、组成RAID成员参数及数量完全相同的情况下,可采取多张RAID卡同时调整不同比例参数;若检测RAID卡型号、RAID级别、组成RAID成员参数及数量中只要有一个变量不相同,则每张RAID卡需要单独设置上述各读写比例参数值。针对第一种情况将每张RAID卡优化后的IO流量进行综合排序;针对第二种情况将每张RAID卡优化后的IO带宽流量进行单独排序。将最高IO带宽流量对应的缓存设置作为最优设置,将最优设置同步到相应RAID卡参数中,完成RAID缓存设置的优化过程。
本实施例通过针对多张RAID卡的实际参数信息提供不同的缓存设置优化,可进一步提高RAID卡缓存设置的准确度。
最后,本申请还提供了一个实施例,请参见图2,图2为本发明实施例提供的另一种RAID卡的缓存设置方法的流程示意图,本发明实施例可应用于所有基于服务器,尤其是存储型服务器,例如可适用于X86_64架构的服务器,所述服务器上配置多张RAID卡,各RAID卡通过PCIe(peripheral component interconnect express,高速串行计算机扩展总线标准)协议与服务器通信,通过SATA(Serial Advanced Technology Attachment)/SAS(Serial Attached SCSI)/NVME(Non Volatile Memory Host Controller InterfaceSpecification,非易失性内存主机控制器接口规范)与其下连的存储介质进行通信。将包含监控模块、数据处理模块、执行模块和显示模块的多个功能模块进行封装,基于这些功能模块可智能调整RAID卡缓存设置,通过监控系统下IO带宽、RAID级别、缓存读写比例、RAID组成成员数量,存储介质类型、来评测RAID卡缓存的设置是否达到最优,若未达到最优设置,通过RAID卡可以通过动态调整RAID卡缓存设置以达到最优设置,实现智能优化当前系统中多张RAID卡缓存设置。其中,监控模块主要采集RAID卡硬件信息、下连存储信息、系统IO流量。数据处理模块可根据监控模块获取的信息,进行数据处理、指令下发操作。执行模块负责调整RAID卡缓存设置,显示模块可显示数据处理模块的数据处理结果、执行模块的命令执行结果及最终缓存读写优化结果。具体的可包括以下内容:
S201:获取系统硬件信息和预先设置的缓存关闭条件。
本步骤获取服务器的硬件信息,主要为RAID卡信息及其下连存储信息;采用带内或带外的命令获取RAID卡型号信息、RAID级别、及存储介质信息。
S202:基于系统硬件信息和缓存关闭条件,判断待设置RAID卡是否满足缓存关闭条件。若否,则执行S203;若是,则关闭待设置RAID卡的缓存。
根据S201获取的硬件信息判断缓存设置是否满足缓存关闭条件,缓存关闭条件可为存储介质为NVME硬盘或者获取的RAID级别为RAID0;若满足缓存关闭条件即关闭缓存,优化结束,反之则开启,进行继续优化设置。
S203:若待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;根据读带宽和写带宽计算读写比例值;基于读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
在本步骤中,监控模块监控系统IO带宽,使用系统命令或者IO监控工具实时获取当前系统下RAID初始化状态是否完成,进一步地若检测到初始化状态已完成,则启动监控系统下RAID的读带宽和写带宽,计算读写比例值为K,生成K为中心,步长为+0.05的5个读写比例数值,除此之外还需增加0和1数值,最后读写比例参数为7个数。反之,则继续实时监控RAID初始化状态。
S204:判断各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量是否均相同,若是,则执行S205;若否,则执行S207。
S205:根据缓存读写比例参数信息同时对各待设置RAID卡的缓存设置值进行调整。
S206:当监测到待设置RAID卡的缓存设置值调整已完成,从所有待设置RAID卡对应的IO带宽流量中选择IO带宽流量的最大值,作为最高IO带宽流量值;同时利用最高IO带宽流量值更新各待设置RAID卡的缓存设置。
S207:根据缓存读写比例参数信息分别对每个待设置RAID卡的缓存设置值进行单独调整。
S208:当监测到待设置RAID卡的缓存设置值调整已完成,对每张RAID卡,将当前RAID卡在预设时间段内的IO带宽流量的最大值作为最高IO带宽流量值更新当前RAID卡的缓存设置。
将按照上述7个读写比例参数按照两种模式进行调整,每次调整后,将进行一段时间内系统IO流量监控,调整模式为:若检测RAID卡型号、RAID级别、组成RAID成员参数及数量完全相同的情况下,那将采取多张RAID同时调整不同比例参数;若检测RAID卡型号、RAID级别、组成RAID成员参数及数量中只要有一个变量不相同,则每张RAID卡需要单独设置上述7个参数值。每次调整缓存读写比例后,获取当前一定时间内存储的平均IO流量并记录本地,举例来说,可获取60分钟时间内的IO带宽流量,采集数据间隔为2s,计算平均IO流量样本数量为1740个,去掉第一分钟和第三十分钟的样本数量,共计60个。将上述参数表中的读写比例设置全部调整后,选择这60个平均IO流量最大值时对应的缓存读写比例设置作为最优参数。
需要说明的是,本申请中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1和图2只是一种示意方式,并不代表只能是这样的执行顺序。
本发明实施例还针对RAID卡的缓存设置方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的RAID卡的缓存设置装置进行介绍,下文描述的RAID卡的缓存设置装置与上文描述的RAID卡的缓存设置方法可相互对应参照。
基于功能模块的角度,参见图3,图3为本发明实施例提供的RAID卡的缓存设置装置在一种具体实施方式下的结构图,该装置可包括:
读写比例参数生成模块301,用于根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;
初始设置模块302,用于根据缓存读写比例参数信息调整待设置RAID卡的缓存设置值;
带宽监控模块303,用于当监测到待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;
缓存调整模块304,用于将预设时间段内的最高IO带宽流量值作为待设置RAID卡的最优缓存设置值,更新待设置RAID卡的缓存设置值。
可选的,在本实施例的一些实施方式中,上述装置例如还可以包括条件甄别模块,该模块用于获取系统硬件信息和预先设置的缓存关闭条件;基于系统硬件信息和缓存关闭条件,判断待设置RAID卡是否满足缓存关闭条件;若待设置RAID卡不满足缓存关闭条件,则执行根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若待设置RAID卡满足缓存关闭条件,则关闭待设置RAID卡的缓存。
可选的,在本实施例的另一些实施方式中,上述初始设置模块302可进一步用于:
若待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;根据读带宽和写带宽计算读写比例值;基于读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
可选的,在本实施例的其他一些实施方式中,上述初始设置模块302还可进一步用于:
待设置RAID卡为多个,获取各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,则同时对各待设置RAID卡的缓存设置值进行调整;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,则分别对每个待设置RAID卡的缓存设置值进行单独调整。
作为本实施例的一种可选的实施方式,上述初始设置模块302还可进一步用于:
获取每张待设置RAID卡在预设时间段内的IO带宽流量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,从所有待设置RAID卡对应的IO带宽流量中选择IO带宽流量的最大值,作为最高IO带宽流量值;同时利用最高IO带宽流量值更新各待设置RAID卡的缓存设置;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,对每张RAID卡,将当前RAID卡在预设时间段内的IO带宽流量的最大值作为最高IO带宽流量值更新当前RAID卡的缓存设置。
本发明实施例所述RAID卡的缓存设置装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可快速且有效提升存储的读写性能。
上文中提到的RAID卡的缓存设置装置是从功能模块的角度描述,进一步的,本申请还提供一种电子设备,是从硬件角度描述。图4为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图4所示,该电子设备包括存储器40,用于存储计算机程序;处理器41,用于执行计算机程序时实现如上述任一实施例提到的RAID卡的缓存设置方法的步骤。
其中,处理器41可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器41可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器41可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器41还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器40可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器40至少用于存储以下计算机程序401,其中,该计算机程序被处理器41加载并执行之后,能够实现前述任一实施例公开的RAID卡的缓存设置方法的相关步骤。另外,存储器40所存储的资源还可以包括操作系统402和数据403等,存储方式可以是短暂存储或者永久存储。其中,操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于RAID卡的缓存设置结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏42、输入输出接口43、通信接口44或者称为网络接口、电源45以及通信总线46。其中,显示屏42、输入输出接口43比如键盘(Keyboard)属于用户接口,可选的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口44可选的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线46可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图4中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器47。
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可快速且有效提升存储的读写性能。
可以理解的是,如果上述实施例中的RAID卡的缓存设置方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时如上任意一实施例所述RAID卡的缓存设置方法的步骤。
本发明实施例所述可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种RAID卡的缓存设置方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种RAID卡的缓存设置方法,其特征在于,包括:
根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;
根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值;
当监测到所述待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;
将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,更新所述待设置RAID卡的缓存设置值。
2.根据权利要求1所述的RAID卡的缓存设置方法,其特征在于,所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息之前,还包括:
获取系统硬件信息和预先设置的缓存关闭条件;
基于所述系统硬件信息和所述缓存关闭条件,判断所述待设置RAID卡是否满足所述缓存关闭条件;
若所述待设置RAID卡不满足所述缓存关闭条件,则执行所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若所述待设置RAID卡满足所述缓存关闭条件,则关闭所述待设置RAID卡的缓存。
3.根据权利要求1所述的RAID卡的缓存设置方法,其特征在于,所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息,包括:
若所述待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;
根据所述读带宽和所述写带宽计算读写比例值;
基于所述读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
4.根据权利要求1至3任意一项所述的RAID卡的缓存设置方法,其特征在于,所述待设置RAID卡为多个,所述根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值,包括:
获取各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,则同时对各待设置RAID卡的缓存设置值进行调整;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,则分别对每个待设置RAID卡的缓存设置值进行单独调整。
5.根据权利要求4所述的RAID卡的缓存设置方法,其特征在于,所述将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,更新所述待设置RAID卡的缓存设置值,包括:
获取每张待设置RAID卡在预设时间段内的IO带宽流量;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量均相同,从所有待设置RAID卡对应的IO带宽流量中选择IO带宽流量的最大值,作为所述最高IO带宽流量值;同时利用所述最高IO带宽流量值更新各待设置RAID卡的缓存设置;
若各待设置RAID卡的卡型号、RAID级别、组成RAID的成员参数和数量不均相同,对每张RAID卡,将当前RAID卡在所述预设时间段内的IO带宽流量的最大值作为所述最高IO带宽流量值更新所述当前RAID卡的缓存设置。
6.一种RAID卡的缓存设置装置,其特征在于,包括:
读写比例参数生成模块,用于根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息;
初始设置模块,用于根据所述缓存读写比例参数信息调整所述待设置RAID卡的缓存设置值;
带宽监控模块,用于当监测到所述待设置RAID卡的缓存设置值调整已完成,监控系统的IO带宽流量;
缓存调整模块,用于将预设时间段内的最高IO带宽流量值作为所述待设置RAID卡的最优缓存设置值,更新所述待设置RAID卡的缓存设置值。
7.根据权利要求6所述的RAID卡的缓存设置装置,其特征在于,还包括条件甄别模块,用于获取系统硬件信息和预先设置的缓存关闭条件;基于所述系统硬件信息和所述缓存关闭条件,判断所述待设置RAID卡是否满足所述缓存关闭条件;若所述待设置RAID卡不满足所述缓存关闭条件,则执行所述根据待设置RAID卡的读写带宽流量生成缓存读写比例参数信息的步骤;若所述待设置RAID卡满足所述缓存关闭条件,则关闭所述待设置RAID卡的缓存。
8.根据权利要求6或7所述的RAID卡的缓存设置装置,其特征在于,所述初始设置模块进一步用于:
若所述待设置RAID卡的初始化状态已完成,监控系统下的待设置RAID卡的读带宽和写带宽;
根据所述读带宽和所述写带宽计算读写比例值;
基于所述读写比例值,按照预设数值生成规则生成包括多个读写比例参数的缓存读写比例参数信息。
9.一种电子设备,其特征在于,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述RAID卡的缓存设置方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有RAID卡的缓存设置计算机程序,所述RAID卡的缓存设置计算机程序被处理器执行时实现如权利要求1至5任一项所述RAID卡的缓存设置方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110744301.5A CN113625956B (zh) | 2021-06-30 | 2021-06-30 | Raid卡的缓存设置方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110744301.5A CN113625956B (zh) | 2021-06-30 | 2021-06-30 | Raid卡的缓存设置方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113625956A true CN113625956A (zh) | 2021-11-09 |
CN113625956B CN113625956B (zh) | 2023-08-22 |
Family
ID=78378816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110744301.5A Active CN113625956B (zh) | 2021-06-30 | 2021-06-30 | Raid卡的缓存设置方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113625956B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101493795A (zh) * | 2008-01-24 | 2009-07-29 | 杭州华三通信技术有限公司 | 存储系统和存储控制器以及存储系统中的缓存实现方法 |
US20150082081A1 (en) * | 2013-09-16 | 2015-03-19 | International Business Machines Corporation | Write cache protection in a purpose built backup appliance |
CN108595347A (zh) * | 2018-04-25 | 2018-09-28 | 咪咕音乐有限公司 | 一种缓存控制方法、装置及计算机可读存储介质 |
CN111124302A (zh) * | 2019-12-18 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种san共享文件存储和归档方法和系统 |
CN111338579A (zh) * | 2020-02-27 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 基于存储池的读写缓存优化方法、系统、终端及存储介质 |
-
2021
- 2021-06-30 CN CN202110744301.5A patent/CN113625956B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101493795A (zh) * | 2008-01-24 | 2009-07-29 | 杭州华三通信技术有限公司 | 存储系统和存储控制器以及存储系统中的缓存实现方法 |
US20150082081A1 (en) * | 2013-09-16 | 2015-03-19 | International Business Machines Corporation | Write cache protection in a purpose built backup appliance |
CN108595347A (zh) * | 2018-04-25 | 2018-09-28 | 咪咕音乐有限公司 | 一种缓存控制方法、装置及计算机可读存储介质 |
CN111124302A (zh) * | 2019-12-18 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种san共享文件存储和归档方法和系统 |
CN111338579A (zh) * | 2020-02-27 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 基于存储池的读写缓存优化方法、系统、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113625956B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10175973B2 (en) | Microcode upgrade in a storage system | |
EP2488929B1 (en) | Memory object relocation for power savings | |
EP2843537B1 (en) | Method and systems for simulating a workload of a storage system | |
EP3216027B1 (en) | Test of semiconductor storage power consumption on basis of executed access commands | |
CN111124305A (zh) | 固态硬盘磨损均衡方法、装置及计算机可读存储介质 | |
US20160011879A1 (en) | Preconfiguring hardware and speeding up server discovery prior to bios boot | |
CN103064792A (zh) | 数据写入方法及装置 | |
US20240264915A1 (en) | Data storage method and apparatus, and electronic device and readable storage medium | |
CN110413430A (zh) | 一种固态硬盘的寿命预测方法、装置及设备 | |
CN110515917B (zh) | 一种控制重构速度的方法、装置及介质 | |
CN109582521A (zh) | 测试存储系统读写性能的方法、装置、设备及介质 | |
CN111091863A (zh) | 一种存储设备故障检测方法及相关装置 | |
CN110795304A (zh) | 分布式存储系统性能测试的方法及装置 | |
CN109271009A (zh) | 一种控制服务器背板上电的方法、装置及cpld | |
CN113272785B (zh) | 一种挂载文件系统的方法、终端设备及存储介质 | |
CN117033099A (zh) | 一种系统硬盘的压力测试方法、系统、装置及存储介质 | |
CN113625956B (zh) | Raid卡的缓存设置方法、装置、电子设备及存储介质 | |
CN111124730A (zh) | 一种服务器的错误定位方法、装置及计算机存储介质 | |
CN106708445A (zh) | 链路选择方法及装置 | |
CN114218001A (zh) | 故障修复方法、装置、电子设备及可读存储介质 | |
CN109542695B (zh) | 确定逻辑存储单元性能的方法和装置 | |
CN109614279B (zh) | 一种工控机自检系统及其控制方法和相关设备 | |
CN113849229A (zh) | 服务器开机方法、装置、电子设备及可读存储介质 | |
RU2724799C1 (ru) | Способ обработки информации для наполнения библиотеки моделей данных и устройство для его осуществления | |
CN103870368A (zh) | Sas扩展卡测试系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |