CN111338579A - 基于存储池的读写缓存优化方法、系统、终端及存储介质 - Google Patents

基于存储池的读写缓存优化方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN111338579A
CN111338579A CN202010125990.7A CN202010125990A CN111338579A CN 111338579 A CN111338579 A CN 111338579A CN 202010125990 A CN202010125990 A CN 202010125990A CN 111338579 A CN111338579 A CN 111338579A
Authority
CN
China
Prior art keywords
cache
read
write
storage pool
data volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010125990.7A
Other languages
English (en)
Other versions
CN111338579B (zh
Inventor
吴丙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010125990.7A priority Critical patent/CN111338579B/zh
Publication of CN111338579A publication Critical patent/CN111338579A/zh
Application granted granted Critical
Publication of CN111338579B publication Critical patent/CN111338579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种基于存储池的读写缓存优化方法、系统、终端及存储介质，包括：根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致：若不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。本发明能够动态调整缓存资源分配，及时为访问数据量较多的操作缓存区增加缓存资源，有效提升读写效率。

Description

基于存储池的读写缓存优化方法、系统、终端及存储介质
技术领域
本发明大涉及存储技术领域，具体涉及一种基于存储池的读写缓存优化方法、系统、终端及存储介质。
背景技术
信息时代数据的爆炸性增长，大数据、云计算等技术的发展，数据量成几何增长趋势。数据是企业市场环境分析的基础，大数据下如何提升数据的读写效率，是每家存储厂商一直关心的问题。
缓存区的资源多少是直接影响读写效率的因素，如何为读操作和写操作合理分配缓存资源，实现缓存资源的最大化利用仍是一个丞待解决的难题。
现有缓存均衡方法是为每个磁盘阵列分配缓存，然后统计每个磁盘阵列组RAID的读写缓存的使用情况以及读写输入输出IO的比例，如果读IO比例升高，则升高读缓冲在该RAID缓存的占比，反之升高写缓存在该RAID缓存中的占比。这种方法虽然能够均衡读缓存与写缓存的占比，但是在RAID较多时，需要分别均衡每个RAID对应的读写缓存，导致计算量较大，占用大量的计算资源。
发明内容
针对现有技术的上述不足，本发明提供一种基于存储池的读写缓存优化方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种基于存储池的读写缓存优化方法，包括：
根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致：
若不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
进一步的，所述根据业务配置初始比例将缓存池划分为读缓存区和写缓存区，包括：
采集历史读写数据量并计算读数据量与写数据量的比例；
根据所述读数据量与写数据量的比例将缓存池划分为读缓存区和写缓存区。
进一步的，所述获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值，包括：
获取存储池属性参数，所述属性参数包括磁盘类型、转速、磁盘数量、Raid类型；
根据所述存储池的磁盘数量以及Raid类型对应的备份磁盘数量计算所述存储池的实际读写磁盘数量；
将所述存储池的磁盘类型对应的转速和所述实际读写磁盘数量的乘积作为所述存储池的最大理论带宽。
进一步的，所述根据存储池的最大理论带宽值计算各存储池的缓存权值，包括：
计算所有存储池的最大理论带宽值之和；
将所述存储池的最大理论带宽值与所述最大理论带宽值之和的比值作为所述存储池的缓存权值。
进一步的，所述通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致，包括：
根据读数据量与写数据量的比例与当前读缓存区与写缓存区比例的差值获取转出缓存区和接收缓存区以及转出资源数量；
采集转出缓存区的缓存块访问次数并根据所述访问次数对缓存块进行排序；
根据所述转出资源数量选取转缓存区中访问次数最少的数据块作为脏块；
将所述脏块的数据下刷至对应存储池的磁盘；
清除所述脏块存储的数据得到干净的缓存块，并将所述缓存块划分至缓存区。
进一步的，所述方法还包括：
根据各存储池的读写数据量，重新计算各存储池对缓存区的占用比例；
根据所述占用比例均衡调整各存储池在缓存区的缓存资源。
第二方面，本发明提供一种基于存储池的读写缓存优化系统，包括：
缓存划分单元，配置用于根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
带宽计算单元，配置用于获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
缓存分配单元，配置用于根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
比例监控单元，配置用于监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致；
缓存均衡单元，配置用于若读数据量与写数据量的比例与当前读缓存区与写缓存区比例不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
进一步的，所述带宽计算单元包括：
参数获取模块，配置用于获取存储池属性参数，所述属性参数包括磁盘类型、转速、磁盘数量、Raid类型；
数量计算模块，配置用于根据所述存储池的磁盘数量以及Raid类型对应的备份磁盘数量计算所述存储池的实际读写磁盘数量；
带宽计算模块，配置用于将所述存储池的磁盘类型对应的转速和所述实际读写磁盘数量的乘积作为所述存储池的最大理论带宽。
进一步的，所述缓存均衡单元包括：
转出计算模块，配置用于根据读数据量与写数据量的比例与当前读缓存区与写缓存区比例的差值获取转出缓存区和接收缓存区以及转出资源数量；
访问排序模块，配置用于采集转出缓存区的缓存块访问次数并根据所述访问次数对缓存块进行排序；
目标选定模块，配置用于根据所述转出资源数量选取转缓存区中访问次数最少的数据块作为脏块；
数据下刷模块，配置用于将所述脏块的数据下刷至对应存储池的磁盘；
缓存转出模块，配置用于清除所述脏块存储的数据得到干净的缓存块，并将所述缓存块划分至缓存区。
本申请对脏块的处理方法是将脏数据下发至对应存储池的磁盘，而非直接清除。这就保证了数据完整性，使得本申请在均衡过程中业务正常进行无需放缓或停止读写操作。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的基于存储池的读写缓存优化方法、系统、终端及存储介质，通过预先对缓存池进行理论资源分配，统计各个存储池的读写数据量，然后将数据量较多的操作作为热操作，将数据量较少的操作定义为冷操作，然后将冷操作缓存区的冗余资源分配给热操作缓存区，实现对缓存资源的均衡和动态合理分配。本发明通过现将整个缓存池分为读缓存和写缓存，再将读缓存和写缓存分别向各存储池分配，在后续读写缓存均衡时，只需要监控总的读写数据量比率即可，大大降低了计算量。此外本发明根据读写数据量以及各存储池最大带宽对缓存池的初始划分，相对于现有技术的平均划分，节省了投入使用后的大幅度均衡步骤，大大降低了后续均衡的计算量。因此本发明能够动态调整缓存资源分配，及时为访问数据量较多的操作缓存区增加缓存资源，有效提升读写效率。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于存储池的读写缓存优化系统。
如图1所示，该方法100包括：
步骤110，根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
步骤120，获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
步骤130，根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
步骤140，监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致；
步骤150，将冷操作类型缓存区的冗余资源分配至热操作类型缓存区。
为了便于对本发明的理解，下面以本发明基于存储池的读写缓存优化方法的原理，结合实施例中对存储池读写缓存进行优化的过程，对本发明提供的医患交互管理方法做进一步的描述。
具体的，所述基于存储池的读写缓存优化方法方法包括：
S1、根据业务配置初始比例将缓存池划分为读缓存区和写缓存区。
初始化缓存池，根据业务配置初始比例(默认读:写＝7:3)，按比例将缓存池分为两部分A与B，A用于读缓存，B用于写缓存。
S2、获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值。
获取每个存储池的属性，包括磁盘类型、转速、磁盘数量、Raid类型等，不同磁盘类型具有不同的特定转速，计算每个存储池支持的最大理论带宽值，计算方法为：利用存储池的磁盘数量减去存储池Raid类型的备用磁盘数量得到存储池的实际读写磁盘数量。利用存储池的磁盘转速乘以实际读写磁盘数量即可得到存储池的最大理论带宽值。分别用这种方法计算出每个存储池的最大理论带宽值。
S3、根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区。
假设有四个存储池，每个存储池的最大理论带宽值分别为a1、a2、a3、a4，则第一存储池的权值为
Figure BDA0002394396290000081
第二存储池的权值
Figure BDA0002394396290000082
以此类推，计算第三存储池的权值A3和第四存储池的权值A4。
分配读缓存区A时，分配第一存储池的读缓存区为A×A1,分配第二存储池的读缓存区为A×A2，以此类推分配第三存储池读缓存区和第四存储池读缓存区。
按分配读缓存区的方法分配写缓存区，例如分配第一存储池的写缓存区为B×A1。
S4、监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致。
周期监控每个存储池下对应卷的读写数据量，计算出整个系统下读写数据量比例，因为初始读写缓存区比例为7:3，所以统计所有存储池的读数据量之和和写数据量之和，得到总读数据量和总写数据量，判断总读数据量：总写数据量是否为7：3，若不是则需要对缓存区资源进行均衡。若之前的缓存区已经经过均衡处理，其当前读缓存区与写缓存区的比例并不是7:3，则需要采集当前的读缓存区与写缓存区的比例，然后判断该比例与当前的总读数据量：总写数据量是否一致，若不一致则需要进行缓存区资源均衡。
S5、若不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
若当前总读数据量：总写数据量＝C:D，而读缓存区：写缓存区＝E:F。假设读缓存区需要向写缓存区转出资源量x，则有以下等式：
Figure BDA0002394396290000083
则
Figure BDA0002394396290000084
若
Figure BDA0002394396290000091
则将写缓存区作为转出缓存区，将读缓存区作为接收缓存区，写缓存区的转出资源量为整个缓存池的资源量乘以
Figure BDA0002394396290000092
若
Figure BDA0002394396290000093
则将读缓存区作为转出缓存区，将写缓存区作为接收缓存区，读缓存区的转出资源量为整个缓存池的资源量乘以
Figure BDA0002394396290000094
在转移缓存资源时，实时记录A与B中每个缓存块数据的访问次数，按照访问次数进行排序。根据转出资源数量选取转缓存区中访问次数最少的数据块作为脏块，将选出的脏块的数据下刷至对应存储池的磁盘，然后将这些脏块存储的数据清除后分配给接收缓存区。
例如：周期监控每个存储池下对应卷的读写数据量，计算出整个系统下读写数据量比例，按照该比例调整A与B的缓存大小，当读操作增加时，将写缓存B中的访问次数少的脏块数据下刷到磁盘，同时将这部分缓存块调整到读缓存A中，当读操作减少时，将读缓存A中的访问次数少的缓存块调整到写缓存B中。
针对读缓存区内部，周期监控每个存储池读数据的变化幅度，按照变化幅度，在A中完成存储池间读缓存资源大小调整。具体方法为，根据每个存储池的读数据量重新计算各存储池对读缓存区的占用比例(与利用各存储池最大理论带宽值计算占用比例的计算方法相同)，判断计算出的各存储池对读缓存区的占用比例与当前实际占用比例是否一致，若不一致则进行资源均衡，在重新分配缓存块的分配方法与上述读写缓存区均衡方法相同。
针对写缓存，与读缓存区的内部均衡方法相同。
当存储池增加或删除后，按照上述步骤调整各个存储池读写缓存大小。
如图2示，该系统200包括：
缓存划分单元210，配置用于根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
带宽计算单元220，配置用于获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
缓存分配单元230，配置用于根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
比例监控单元240，配置用于监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致；
缓存均衡单元250，配置用于若读数据量与写数据量的比例与当前读缓存区与写缓存区比例不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
可选地，作为本发明一个实施例，所述带宽计算单元包括：
参数获取模块，配置用于获取存储池属性参数，所述属性参数包括磁盘类型、转速、磁盘数量、Raid类型；
数量计算模块，配置用于根据所述存储池的磁盘数量以及Raid类型对应的备份磁盘数量计算所述存储池的实际读写磁盘数量；
带宽计算模块，配置用于将所述存储池的磁盘类型对应的转速和所述实际读写磁盘数量的乘积作为所述存储池的最大理论带宽。
可选地，作为本发明一个实施例，所述缓存均衡单元包括：
转出计算模块，配置用于根据读数据量与写数据量的比例与当前读缓存区与写缓存区比例的差值获取转出缓存区和接收缓存区以及转出资源数量；
访问排序模块，配置用于采集转出缓存区的缓存块访问次数并根据所述访问次数对缓存块进行排序；
目标选定模块，配置用于根据所述转出资源数量选取转缓存区中访问次数最少的数据块作为脏块；
数据下刷模块，配置用于将所述脏块的数据下刷至对应存储池的磁盘；
缓存转出模块，配置用于清除所述脏块存储的数据得到干净的缓存块，并将所述缓存块划分至缓存区。
图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的基于存储池的读写缓存优化方法。
其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明通过预先对缓存池进行理论资源分配，统计各个存储池的读写数据量，然后将数据量较多的操作作为热操作，将数据量较少的操作定义为冷操作，然后将冷操作缓存区的冗余资源分配给热操作缓存区，实现对缓存资源的均衡和动态合理分配。本发明能够动态调整缓存资源分配，及时为访问数据量较多的操作缓存区增加缓存资源，有效提升读写效率，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于存储池的读写缓存优化方法，其特征在于，包括：
根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致：
若不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
2.根据权利要求1所述的方法，其特征在于，所述根据业务配置初始比例将缓存池划分为读缓存区和写缓存区，包括：
采集历史读写数据量并计算读数据量与写数据量的比例；
根据所述读数据量与写数据量的比例将缓存池划分为读缓存区和写缓存区。
3.根据权利要求1所述的方法，其特征在于，所述获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值，包括：
获取存储池属性参数，所述属性参数包括磁盘类型、转速、磁盘数量、Raid类型；
根据所述存储池的磁盘数量以及Raid类型对应的备份磁盘数量计算所述存储池的实际读写磁盘数量；
将所述存储池的磁盘类型对应的转速和所述实际读写磁盘数量的乘积作为所述存储池的最大理论带宽。
4.根据权利要求1所述的方法，其特征在于，所述根据存储池的最大理论带宽值计算各存储池的缓存权值，包括：
计算所有存储池的最大理论带宽值之和；
将所述存储池的最大理论带宽值与所述最大理论带宽值之和的比值作为所述存储池的缓存权值。
5.根据权利要求1所述的方法，其特征在于，所述通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致，包括：
根据读数据量与写数据量的比例与当前读缓存区与写缓存区比例的差值获取转出缓存区和接收缓存区以及转出资源数量；
采集转出缓存区的缓存块访问次数并根据所述访问次数对缓存块进行排序；
根据所述转出资源数量选取转缓存区中访问次数最少的数据块作为脏块；
将所述脏块的数据下刷至对应存储池的磁盘；
清除所述脏块存储的数据得到干净的缓存块，并将所述缓存块划分至缓存区。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据各存储池的读写数据量，重新计算各存储池对缓存区的占用比例；
根据所述占用比例均衡调整各存储池在缓存区的缓存资源。
7.一种基于存储池的读写缓存优化系统，其特征在于，包括：
缓存划分单元，配置用于根据业务配置初始比例将缓存池划分为读缓存区和写缓存区；
带宽计算单元，配置用于获取各存储池属性参数并根据所述属性参数计算各存储池的最大理论带宽值；
缓存分配单元，配置用于根据存储池的最大理论带宽值计算各存储池的缓存权值，并根据各存储池的缓存权值向各存储池分配各自的读缓存区和写缓存区；
比例监控单元，配置用于监控各存储池的读写数据量并比对读数据量与写数据量的比例是否与当前读缓存区与写缓存区比例一致；
缓存均衡单元，配置用于若读数据量与写数据量的比例与当前读缓存区与写缓存区比例不一致，则通过均衡冗余资源将读缓存区与写缓存区比例调整至于当前读数据量与写数据量的比例一致。
8.根据权利要求7所述的系统，其特征在于，所述缓存均衡单元包括：
转出计算模块，配置用于根据读数据量与写数据量的比例与当前读缓存区与写缓存区比例的差值获取转出缓存区和接收缓存区以及转出资源数量；
访问排序模块，配置用于采集转出缓存区的缓存块访问次数并根据所述访问次数对缓存块进行排序；
目标选定模块，配置用于根据所述转出资源数量选取转缓存区中访问次数最少的数据块作为脏块；
数据下刷模块，配置用于将所述脏块的数据下刷至对应存储池的磁盘；
缓存转出模块，配置用于清除所述脏块存储的数据得到干净的缓存块，并将所述缓存块划分至缓存区。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010125990.7A 2020-02-27 2020-02-27 基于存储池的读写缓存优化方法、系统、终端及存储介质 Active CN111338579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125990.7A CN111338579B (zh) 2020-02-27 2020-02-27 基于存储池的读写缓存优化方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125990.7A CN111338579B (zh) 2020-02-27 2020-02-27 基于存储池的读写缓存优化方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111338579A true CN111338579A (zh) 2020-06-26
CN111338579B CN111338579B (zh) 2022-07-19

Family

ID=71183789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125990.7A Active CN111338579B (zh) 2020-02-27 2020-02-27 基于存储池的读写缓存优化方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111338579B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379844A (zh) * 2020-11-25 2021-02-19 深圳市华宝电子科技有限公司 一种数据保护方法、装置、电子终端及存储介质
CN113625956A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质
CN114253880A (zh) * 2020-09-24 2022-03-29 京东方科技集团股份有限公司 时钟频率调整方法、装置、电子设备及可读存储介质
CN118519928A (zh) * 2024-07-24 2024-08-20 江苏华存电子科技有限公司 一种固态硬盘的读写质量增强方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063386A (zh) * 2010-12-17 2011-05-18 曙光信息产业(北京)有限公司 一种单载体多目标的缓存系统的缓存管理方法
CN102411541A (zh) * 2010-10-13 2012-04-11 微软公司 使用分开的读和写高速缓存的动态高速缓存配置
CN105183378A (zh) * 2015-08-31 2015-12-23 北京神州云科数据技术有限公司 自适应混合读/写缓存的方法
CN108595347A (zh) * 2018-04-25 2018-09-28 咪咕音乐有限公司 一种缓存控制方法、装置及计算机可读存储介质
CN109388589A (zh) * 2018-10-08 2019-02-26 郑州云海信息技术有限公司 一种调整缓存分区比例的方法、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411541A (zh) * 2010-10-13 2012-04-11 微软公司 使用分开的读和写高速缓存的动态高速缓存配置
CN102063386A (zh) * 2010-12-17 2011-05-18 曙光信息产业(北京)有限公司 一种单载体多目标的缓存系统的缓存管理方法
CN105183378A (zh) * 2015-08-31 2015-12-23 北京神州云科数据技术有限公司 自适应混合读/写缓存的方法
CN108595347A (zh) * 2018-04-25 2018-09-28 咪咕音乐有限公司 一种缓存控制方法、装置及计算机可读存储介质
CN109388589A (zh) * 2018-10-08 2019-02-26 郑州云海信息技术有限公司 一种调整缓存分区比例的方法、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253880A (zh) * 2020-09-24 2022-03-29 京东方科技集团股份有限公司 时钟频率调整方法、装置、电子设备及可读存储介质
CN112379844A (zh) * 2020-11-25 2021-02-19 深圳市华宝电子科技有限公司 一种数据保护方法、装置、电子终端及存储介质
CN113625956A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质
CN113625956B (zh) * 2021-06-30 2023-08-22 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质
CN118519928A (zh) * 2024-07-24 2024-08-20 江苏华存电子科技有限公司 一种固态硬盘的读写质量增强方法及装置

Also Published As

Publication number Publication date
CN111338579B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN111338579B (zh) 基于存储池的读写缓存优化方法、系统、终端及存储介质
CN109976917B (zh) 一种负载调度方法、装置、负载调度器、存储介质及系统
CN111984407B (zh) 一种数据块读写性能优化方法、系统、终端及存储介质
CN111966449B (zh) 一种虚拟机备份管理方法、系统、终端及存储介质
CN108647155A (zh) 一种基于深度学习的多级cache共享的方法和装置
CN107343023A (zh) 一种Mesos管理集群中的资源分配方法、装置及电子设备
CN106970841A (zh) 一种基于云计算的资源限制及动态调整方法
CN113821340A (zh) 分布式系统的动态均衡方法、系统、终端及存储介质
US20240036756A1 (en) Systems, methods, and devices for partition management of storage resources
CN110543355A (zh) 一种自动均衡云平台资源的方法
CN115421924A (zh) 一种内存分配方法、装置及设备
CN109725835A (zh) 用于管理盘阵列的方法、设备和计算机程序产品
CN113806089A (zh) 集群负载资源调度方法、装置、电子设备及可读存储介质
CN113687949B (zh) 服务器部署方法、装置、部署设备及存储介质
US10606478B2 (en) High performance hadoop with new generation instances
CN111007988B (zh) 一种raid内部磨损均衡方法、系统、终端及存储介质
CN110308865A (zh) 存储器系统、计算系统及其操作方法
CN111124681B (zh) 一种集群负载分配方法及装置
CN114816766A (zh) 一种计算资源分配方法及其相关组件
CN111198649A (zh) 磁盘选择方法及装置
CN109144231B (zh) 一种虚拟化电力管理方法及设备
CN108733484A (zh) 管理应用程序的方法与装置
CN110865768A (zh) 写缓存资源分配方法、装置、设备以及存储介质
CN118069378B (zh) 位置的确定方法及装置、存储介质、电子设备
US12045664B1 (en) Classifying workloads for burstable compute platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant