CN105068768A - 一种写策略控制方法和装置 - Google Patents
一种写策略控制方法和装置 Download PDFInfo
- Publication number
- CN105068768A CN105068768A CN201510531297.9A CN201510531297A CN105068768A CN 105068768 A CN105068768 A CN 105068768A CN 201510531297 A CN201510531297 A CN 201510531297A CN 105068768 A CN105068768 A CN 105068768A
- Authority
- CN
- China
- Prior art keywords
- strategy
- buffer memory
- occupation proportion
- trigger condition
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本申请实施例提供了一种写策略控制方法和装置,该方法包括:获取当前时刻存储系统中缓存的占用比例;如果基于该缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略,其中,该目标写策略为由所述策略触发条件所触发转换至的写策略。该方法和装置可以兼顾存储系统存储数据的可靠性和存储性能。
Description
技术领域
本申请涉及通信技术领域,更具体的说是涉及一种写策略控制方法和装置。
背景技术
目前,存储系统处理写请求的写策略包括两种:回写和透写。其中,回写是指写请求到达存储系统的缓存后,就会向存储系统的主机返回一个写成功信号;而透写是指写请求所经该缓存并最终到达存储系统的硬盘后,才会向该主机返回一个写成功信号。
其中,当存储系统采用回写方式来处理写请求时,存储系统的存储性能会较高,但是当存储系统中出现异常状态时,则可能会导致数据丢失等问题。而如果存储系统采用透写方式来处理写请求,虽然存储的可靠性提高,但却会影响到存储系统的存储性能。因此,现有存储系统的处理写请求的写策略无法兼顾存储性能和数据的可靠性。
发明内容
有鉴于此,本申请提供了一种写策略控制方法和装置,以在兼顾存储系统存储数据的可靠性的前提下,提高数据存储性能。
为实现上述目的,本申请的第一方面提供了一种写策略控制方法,包括:
获取当前时刻存储系统中缓存的占用比例;
如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标写策略为由所述策略触发条件所触发转换至的写策略。
结合第一方面,在第一种可能的实现方式中,所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略,包括:
在所述存储系统当前配置的写策略不为目标写策略的情况下,如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则将所述存储系统当前的写策略调整为所述目标写策略。
结合第一方面,在第二种可能的实现方式中,所述预设的策略触发条件包括:回写策略触发条件和透写策略触发条件,其中,所述回写策略触发条件所触发转换至的目标写策略为回写策略,所述透写策略触发条件所触发转换至的目标写策略为透写策略;
则所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,包括:
如果基于所述缓存的占用比例,确定出当前满足目标策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标策略触发条件为所述回写策略触发条件或者所述透写策略触发条件。
结合第一方面、第一方面的第一种可能的实现方式以及第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述缓存的缓存空间被划分为第一缓存空间和第二缓存空间,得到与所述第一缓存空间对应的第一缓存以及与所述第二缓存空间对应的第二缓存;
所述获取存储系统中缓存的占用比例,包括:
获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略,包括:
如果所述第一占用比例以及第二占用比例均满足预设的透写策略触发条件时,则控制存储系统处理写请求的写策略为透写策略,其中,所述透写策略触发条件为:E>1/2;其中,
如果所述第一占用比例以及第二占用比例均满足预设的回写策略触发条件,则控制存储系统处理写请求的写策略为回写策略,其中,所述回写策略触发条件为:σ>1/2;其中,
其中,m为当前缓存的占用比例,Mh为当前缓存中预设的表征高占用比例的第一阈值;Ml为当前缓存中预设的表征低占用比例的第二阈值。
结合第一方面的第三种可能的实现方式,在第五种可能的实现方式中,还包括:
当所述第一占用比例与所述第二占用比例的差值超过预设值时,则调整所述第一缓存和所述第一缓存的缓存空间大小。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,所述调整所述第一缓存和所述第一缓存的缓存空间大小,包括:
确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;
当第一占用比例大于所述第二占用比例时,则将第二缓存中所述待转移缓存空间大小的缓存空间分配给所述第一缓存;
当所述第二占用比例大于所述第一占用比例时,则将所述第一缓存中所述待转换缓存空间大小的缓存空间分配给所述第二缓存。
本申请的第二方面提供了一种写策略控制装置,包括:
比例获取单元,用于获取当前时刻存储系统中缓存的占用比例;
策略存储单元,用于存储预设的策略触发条件;
策略控制单元,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标写策略为由所述策略触发条件所触发转换至的写策略。
结合第二方面,在第一种可能的实现方式中,所述策略控制单元,包括:
第一策略控制子单元,用于在所述存储系统当前配置的写策略不为目标写策略的情况下,如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则将所述存储系统当前的写策略调整为所述目标写策略。
结合第二方面,在第二种可能的实现方式中,所述策略存储单元具体用于存储预设的回写策略触发条件和透写策略触发条件,其中,所述回写策略触发条件所触发转换至的目标写策略为回写策略,所述透写策略触发条件所触发转换至的目标写策略为透写策略;
则所述策略控制单元,包括:
第二策略控制子单元,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的目标策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标策略触发条件为所述回写策略触发条件或所述透写策略触发条件。
结合第二方面、第二方面的第一种可能的实现方式以及第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述缓存的缓存空间被划分为第一缓存空间和第二缓存空间,得到与所述第一缓存空间对应的第一缓存以及与所述第二缓存空间对应的第二缓存;
所述比例获取单元,包括:
比例获取子单元,用于获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,所述策略控制单元,包括:
透写控制子单元,用于如果所述第一占用比例以及第二占用比例均满足预设的透写策略触发条件时,则控制存储系统处理写请求的写策略为透写策略,其中,所述透写策略触发条件为:E>1/2;其中,
回写控制子单元,用于如果所述第一占用比例以及第二占用比例均满足预设的回写策略触发条件,则控制存储系统处理写请求的写策略为回写策略,其中,所述回写策略触发条件为:σ>1/2;其中,
其中,m为当前缓存的占用比例,Mh为当前缓存中预设的表征高占用比例的第一阈值;Ml为当前缓存中预设的表征低占用比例的第二阈值。
结合第二方面的第三种可能的实现方式,在第五种可能的实现方式中,还包括:
缓存调整单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,则调整所述第一缓存和所述第一缓存的缓存空间大小。
结合第二方面的第五种可能的实现方式,在第六种可能的实现方式中,所述缓存调整单元,包括:
调整量确定单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;
第一调整子单元,用于当第一占用比例大于所述第二占用比例时,则将第二缓存中所述待转移缓存空间大小的缓存空间分配给所述第一缓存;
第二调整子单元,用于当所述第二占用比例大于所述第一占用比例时,则将所述第一缓存中所述待转换缓存空间大小的缓存空间分配给所述第二缓存。
经由上述的技术方案可知,在本申请实施例中如果基于存储系统中缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为策略触发条件所触发转换至的该目标写策略,实现了基于存储系统中缓存的占用比例来动态控制存储系统的写策略,从而选取出适合该缓存当前占用比例的写策略,进而有利于在兼顾存储系统可靠性的前提下,提高存储系统的存储性能。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请一种写策略控制方法一个实施例的流程示意图;
图2示出了本申请一种写策略控制方法又一个实施例的流程示意图;
图3示出了本申请一种写策略控制装置一个实施例的结构示意图;
图4示出了本申请一种存储系统一个实施例的组成结构示意图。
具体实施方式
本申请实施例提供了一种写策略控制方法和装置,以基于存储系统中缓存的占用比例,动态控制处理写请求的写策略,有利于在处理写请求的过程中兼顾存储系统的性能和可靠性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先对本申请实施例的一种写策略控制方法进行介绍,本申请实施例的写策略控制方法可以应用于现有的任意存储系统,如采用集中的存储服务器存储所有数据的存储系统或者是分布式存储系统等。
参见图1,其示出了本申请一种写策略控制方法一个实施例的流程示意图,本实施例的方法可以包括:
101,获取当前时刻存储系统中缓存的占用比例。
其中,缓存也可以称为高速缓冲存储器cache。
该缓存的占用比例为该缓存中已存储数据所占用的缓存空间与所述缓存的总缓存空间之间的比值。
102,如果基于该缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略。
其中,该目标写策略为由该策略触发条件所触发转换至的写策略。
该写请求也可以称为写IO请求,写请求可以携带待写入的数据、该待写入数据所需写入的地址等。
本申请实施例的发明人通过对存储系统的存储过程进行研究发现:当存储系统中缓存内存储的数据量较少时,存储系统的存储压力小,存储系统出现异常的概率较低,在该种情况下,采用回写策略来处理写请求,存储性能较高,而且出现数据丢失的概率也较低。而当存储系统中缓存内存储的数据量过大时,存储系统的存储压力过大,而如果存储系统长时间处于存储压力过大的情况下,存储系统出现异常的概率就会增多,此时如果采用回写策略来处理写请求,则可能会由于存储系统异常而导致缓存中的数据丢失,影响数据的可靠性。由此可见,缓存空间中已存储数据占用该缓存空间的比例不同时,适用于存储系统处理写请求的写策略也会有所不同。
基于发明人的以上研究发现,本申请实施例中,可以根据存储系统中缓存的占用比例,来确定当前该存储系统需要配置的写策略,从而使得存储系统配置的写策略可以根据缓存的占用比例而动态变化。
其中,为了实现动态变化,可以预置触发存储系统将写策略设置为目标写策略为策略触发条件,当基于该缓存的占用比例,确定出存储系统当前满足该策略触发条件,则控制存储系统的写策略为该目标写策略。
可见,本申请实施例中,如果基于存储系统中缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为策略触发条件所触发转换至的该目标写策略,实现了基于存储系统中缓存的占用比例来动态控制存储系统的写策略,从而选取出适合该缓存当前占用比例的写策略,进而有利于在兼顾存储系统可靠性的前提下,提高存储系统的存储性能。
可以理解的是,在实际应用中,如果基于存储系统的占用比例,确定出当前满足预设的策略触发条件时,存储系统中当前配置的写策略有可能就是该策略触发条件所触发转换至的目标写策略,则存储系统可以维持当前的写策略不变。而在存储系统当前配置的写策略不是该策略触发条件所触发转换至的目标写策略的情况下,如果基于该缓存的占用比例,确定出当前满足预设的策略触发条件,则将该存储系统当前的写策略调整为该目标写策略。
可以理解的是,回写策略触发条件和透写策略触发条件可以根据需要设定,或者由经验人员根据经验设定。
对设置回写策略触发条件和透写策略触发条件的一个举例,回写策略触发条件以及透写策略触发条件中可以分别设定占用比例所需满足的阈值或者范围,如,回写策略触发条件可以为该缓存的占用比例小于预设阈值,透写策略触发条件可以为缓存的占用比例大于预设阈值。
对设置回写策略触发条件和透写策略触发条件的又一个举例,该回写策略触发条件以及该透写策略触发条件也可以是占用比例与预设阈值之间所需满足的预设关系等,如回写策略触发条件可以为缓存占用比例与预设的表征高占用比例的目标阈值之间的差值是否小于第一预设阈值;透写策略触发条件可以为缓存占用比例与该目标阈值之间的差值是否大于第二预设阈值。
需要说明的是,在实际应用中存储系统可以预先设定一个写策略为默认的写策略,如果基于存储系统中缓存占用比例,确定出当前满足预设的策略触发条件,则存储系统可以控制当前的写策略为该策略触发条件所触发转换至的目标写策略;否则,则存储系统控制写策略为默认的写策略。在该种情况下,存储系统中可以预置一条策略触发条件,该策略触发条件用于触发一种写策略,如果当前不满足该策略触发条件,则存储系统以默认的写策略处理写请求;如果当前满足该策略触发条件,则存储系统配置写策略为该策略触发条件对应的写策略,并以该写策略处理IO请求。
例如,可以默认存储系统的写策略为回写策略,并预置将回写策略转换为透写策略的策略触发条件,则在以回写策略处理IO请求的过程中,如果基于存储系统中缓存的占用比例确定出当前满足该策略触发条件,则将写策略调整为透写策略。
可选的,预设的策略触发条件可以包括:回写策略触发条件和透写策略触发条件。其中,该回写策略触发条件所触发转换至的目标写策略为回写策略;该透写策略触发条件所触发转换至的目标写策略为透写策略。在该种情况下,可以直接基于当前所满足的目标策略触发条件为回写策略触发条件还是透写策略触发条件,来确定所需配置的写策略。如,如果基于存储系统中缓存的占用比例,确定出当前满足透写策略触发条件,则将存储系统的写策略配置为透写策略。
当然,如果回写策略触发条件和透写策略触发条件这两个触发条件之间可能并不存在临界条件,这样就有可能基于该缓存的占用比例,确定出当前既不满足该回写策略触发条件,也不满足该透写策略触发条件,在该种情况下,则可以维持该存储系统中当前配置的写策略不变。如,在存储系统初始化的过程中可以默认写策略为回写策略,在回写策略处理写请求的过程中,缓存的占用比例不断变化,当基于该缓存的占用比例,确定当前满足透写策略触发条件时,则将写策略由回写策略调整为透写策略,并以透写策略处理写请求,且在此过程中如果当前不满足回写策略触发条件,则一直以透写策略触发写请求,只有当确定出当前满足回写策略触发条件时,则将透写策略变换为回写策略。
在实际应用中,可能会对存储系统中缓存进行分层,也就是对缓存进行分区,使得从划分出的多个子缓存分别负责不同类型数据的缓存。可以理解的是,缓存的分层并不是指从物理上对缓存进行划分,而仅仅是逻辑上的分区,即从逻辑上将缓存的缓存空间进行分区,并配置划分出的各个子缓存空间所负责缓存的数据类型。如,基于RAID技术进行数据存储的存储系统,可以对缓存空间进行分区。又如,也可以是根据需要对云计算平台或者虚拟化计算平台中的存储系统内的缓存进行分区。
当存储系统中缓存进行分层后,则可以针对分层出的各个子缓存的占用比例,来预置相应策略触发条件。这样获取到各个子缓存的占用比例后,对于任意一个子缓存,均能基于该子缓存的占用比例,确定该子缓存满足该策略触发条件,则控制写策略为该策略触发条件对应的目标写策略。
以缓存被划分为两层缓存的存储系统为例,如基于RAID2.0技术进行数据存储的存储系统等。在该种存储系统中,则可以将缓存的缓存空间划分为第一缓存空间和第二缓存空间,使得存储系统的缓存由具有第一缓存空间的第一缓存和具有第二缓存空间的第二缓存组成。可选地,第一缓存和第二缓存属于存储系统中的处理器缓存,第一缓存为处理器的一级缓存,第二缓存为处理器的二级缓存。
在存储系统可以获取第一缓存的第一占用比例以及第二缓存的第二占用比例。如果基于该第一缓存的第一占用比例以及第二缓存的第二占用比例,确定出当前满足预设的策略触发条件,则可以控制存储系统处理写请求的策略为当前满足的该策略触发条件所触发转换至的目标写策略。
与前面实施例相似,在本实施例中策略触发条件可以仅仅有一个,如,存储系统可以将回写策略设置为默认的写策略,而策略触发条件则可以理解为用于触发将回写策略转换为透写策略的条件。
策略触发条件也可以包括两个,即分别包括回写策略触发条件和透写策略触发条件。如参见图2,其示出了一种写策略控制方法另一个实施例的流程示意图,本实施例的方法应用于缓存空间被划分第一缓存空间和第二缓存空间的存储系统中,所述存储系统的缓存包括:与第一缓存空间对应的第一缓存以及与该第二缓存空间对应的第二缓存,本实施例可以包括:
201,获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
其中,第一占用比例为第一缓存中缓存数据所占用的缓存空间与该第一缓存的总缓存空间的比值。第二占用比例则为第二缓存中缓存数据所占用的缓存空间与该第二缓存的总缓存空间的比值。
202,如果该第一占用比例以及第二占用比例均满足预设的透写策略触发条件,则控制存储系统处理写请求的写策略为透写策略。
203,如果该第一占用比例以及所述第二占用比例均满足预设的回写策略触发条件时,则控制存储系统处理写请求的写策略为回写策略。
本申请实施例中分别获取存储系统中第一缓存以及第二缓存的占用比例,如果根据第一缓存和第二缓存的占用比例,确定当前满足回写策略触发条件或者是透写策略触发条件,则控制写策略为回写策略或者是透写策略,从而根据这两层缓存的占用比例,控制写策略在回写策略与透写策略之间进行切换,以使得存储系统以最佳的写策略来触发写请求,从而尅兼顾存储性能和存储数据的可靠性。
其中,在缓存包括第一缓存和第二缓存的情况下,该预设的透写策略触发条件以及回写策略触发条件可以根据实际需要设定。如,当第一占用比例与第二占用比例均小于第一阈值时,则确定当前满足预设该回写策略触发条件;如果第一占用比例与第二占用比例均大于第二阈值,则确定当前满足该透写策略触发条件。
可选的,该透写策略触发条件可以为:E>1/2;其中,其中,m为当前缓存的占用比例,Mh为当前缓存中预设的第一阈值。其中,Mh可以为针对当前缓存预先设定的一个用于表征该当前缓存处于高占用比例的阈值,也就是本领域技术人员所俗称的高水位。1-Mh表征该高水位距离该当前缓存的缓存空间被全部占用的差值。
该回写策略触发条件可以为:σ>1/2,其中,m为当前缓存的占用比例,Ml为当前缓存中预设的第二阈值。其中,Ml可以为针对当前缓存预先设定的一个用于表征该当前缓存处于低占用比例的阈值,也就是本领域技术人员所俗称的低水位。
为了便于理解,以满足透写触发条件的一个实例进行介绍。假设存储系统当前时刻配置的写策略为回写策略,并假设第一缓存的第一阈值为0.7;第二缓存的第一阈值为0.6,第二阈值为0.1。如果当前时刻获取到第一缓存的第一占用比例为0.9,则此时第一缓存所对应的E=2/3,此时第一缓存满足E>1/2这个透写策略触发条件;假设第二缓存的第二占用比例为0.85,则此时第一缓存所对应的E为5/8,此时第二缓存也满足E>1/2这个透写策略触发条件,则可以将存储系统的写策略由回写策略调整为透写策略,以透写策略处理写请求。同时,继续监控第一占用比例与第二占用比例,直至第一占用比例与第二占用比例均满足回写触发条件时,再将存储系统的写策略由透写策略转换为回写策略。
可以理解的是,在存储系统的缓存空间被划分为第一缓存的第一缓存空间和第二缓存的第二缓存空间的情况下,第一缓存和第二缓存负责缓存的数据类型会有所区别,且这两个缓存所对应的缓存空间固定,这样就可能出现这两个缓存在同一时刻缓存数据的压力有所不同,使得一个缓存处于空闲状态,而另一个缓存则处于繁忙状态,从而无法合理利用资源。
为了减少资源不能合理利用的情况,在本申请实施例中,当第一缓存的第一占用比例与第二缓存的第二占用比例满足预设条件时,还可以调整第一缓存和第二缓存所分配的缓存空间。
具体的,可以为:当该第一占用比例与该第二占用比例的差值超过预设值时,则调整该第一缓存和该第一缓存的缓存空间大小。其中,该第一缓存的占用比例与第二缓存的占用比例差距较大时,则说明这两个缓存的缓存压力差距较大,需要调整这两个缓存所占用的缓存空间的大小。其中,该预设值可以根据实际需要设定,例如,该预设值可以为百分之五。
其中,调整该第一缓存和第二缓存的缓存空间大小时,可以是每次调整指定大小的缓存空间,直至第一占用比例与第二占用比例的差值小于或等于该预设值。如,如果第一缓存的第一占用比例大于该第二缓存的第二占用比例,则从第二缓存中去除指定大小的缓存空间分配给该第一缓存。
调整该第一缓存和第二缓存的缓存空间的大小还可以是根据该第一占用比例与该第二占用比例的差值来确定需要转移的缓存空间大小。具体的,确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;当第一占用比例大于第二占用比例时,则将第二缓存中该gx大小的缓存空间分配给该第一缓存,使得第一缓存从原有缓存空间的基础上,增加了gx大小的缓存空间;当该第二占用比例大于该第一占用比例时,则将该第一缓存中该待转换缓存空间大小的缓存空间分配给该第二缓存,使得第二缓存从原有缓存空间的基础上,增加了gx大小的缓存空间。
可以理解的是,在调整了第一缓存和第二缓存所分配的缓存空间之后,还可以继续监控该第一缓存的第一占用比例和第二缓存的第二占用比例,此时该第一占用比例是该第一缓存调整后的总缓存空间的占用比例,相应的,该第二占用比例是该第二缓存调整后的总缓存空间的占用比例。
需要说明的是,在本申请以上任意一个实施例中,除了根据缓存的占用比例以及预设的策略触发条件,动态调整存储系统的写策略外,本申请还可以包括在检测到存储系统存在预设故障时,控制存储系统的写策略为透写策略,以保证数据的可靠性,其中,预设故障可以包括:存储系统内存温度达到预设温度;基带处理单元(BBU,BasebandUnite)未连接;刷盘导致错误页面超过预设比例等。
另一方面,对应本申请的一种写策略控制方法,本申请实施例还提供了一种写策略控制装置。
参见图3,其示出了本申请一种写策略控制装置一个实施例的结构示意图,本实施例的装置可以包括:比例获取单元301、策略存储单元302和策略控制单元303。
其中,比例获取单元301,用于获取当前时刻存储系统中缓存的占用比例;
策略存储单元302,用于存储预设的策略触发条件;
策略控制单元303,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标写策略为由所述策略触发条件所触发转换至的写策略。
可选的,本申请实施例的装置中,该策略控制单元,可以包括:
第一策略控制子单元,用于在所述存储系统当前配置的写策略不为目标写策略的情况下,如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则将所述存储系统当前的写策略调整为所述目标写策略。
可选的,在本申请以上任意一个装置的实施例中,所述策略存储单元具体用于存储预设的回写策略触发条件和透写策略触发条件,其中,所述回写策略触发条件所触发转换至的目标写策略为回写策略,所述透写策略触发条件所触发转换至的目标写策略为透写策略;
则所述策略控制单元,可以包括:
第二策略控制子单元,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的目标策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标策略触发条件为所述回写策略触发条件或所述透写策略触发条件。
可选的,在本申请以上任意一个装置的实施例中,该装置所应用于的存储系统的缓存空间被划分第一缓存空间和第二缓存空间,得到与所述第一缓存空间对应的第一缓存以及与所述第二缓存空间对应的第二缓存;
则,该比例获取单元,可以包括:
比例获取子单元,用于获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
可选的,在该存储系统的缓存包括第一缓存和第二缓存的基础上,该策略控制单元,可以包括:
透写控制子单元,用于如果所述第一占用比例以及所述第二占用比例均满足预设的透写策略触发条件时,则控制存储系统处理写请求的写策略为透写策略,其中,所述透写策略触发条件为:E>1/2;其中,
回写控制子单元,用于如果所述第一占用比例以及第二占用比例均满足预设的回写策略触发条件,则控制存储系统处理写请求的写策略为回写策略,其中,所述回写策略触发条件为:σ>1/2;其中,
其中,m为当前缓存的占用比例,Mh为当前缓存中预设的表征高占用比例的第一阈值;Ml为当前缓存中预设的表征低占用比例的第二阈值。
可选的,该存储系统的缓存包括第一缓存和第二缓存的基础上,该策略控制单元,还可以包括:
缓存调整单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,则调整所述第一缓存和所述第一缓存的缓存空间大小。
进一步的,所述缓存调整单元,可以包括:
调整量确定单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;
第一调整子单元,用于当第一占用比例大于所述第二占用比例时,则将第二缓存中所述待转移缓存空间大小的缓存空间分配给所述第一缓存;
第二调整子单元,用于当所述第二占用比例大于所述第一占用比例时,则将所述第一缓存中所述待转换缓存空间大小的缓存空间分配给所述第二缓存。
本申请实施例还提供了一种存储系统。参见图4,其示出了本申请一种存储系统一个实施例的组成结构示意图。本实施例的存储系统可以包括:处理器401,至少一个存储控制器402、与存储控制器相连的缓存403和硬盘404。
其中,处理器401,用于将写请求发送给所述存储控制器402;
所述存储控制器,用于获取当前时刻存储系统中缓存403的占用比例;如果基于该缓存403的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理该处理器401发送的写请求的写策略为目标写策略,其中,该目标写策略为由所述策略触发条件所触发转换至的写策略。
所述缓存,用于在所述存储控制器的控制下,缓存所述写请求所请求写入的数据;
所述硬盘,用于在所述存储控制器的控制下,存储写请求所请求写入的数据。
可以理解的是,该硬盘可以为固态硬盘,也可以为磁盘阵列等。当该硬盘为磁盘阵列时,该磁盘阵列上还可以设置有磁盘框,在该磁盘框上可以设置有通信总线,存储控制器与磁盘框上的通信总线相连,且各个磁盘与该磁盘框上的通信总线相连,进而实现该控制器与该磁盘之间的连接。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种写策略控制方法,其特征在于,包括:
获取当前时刻存储系统中缓存的占用比例;
如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标写策略为由所述策略触发条件所触发转换至的写策略。
2.根据权利要求1所述的方法,其特征在于,所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略,包括:
在所述存储系统当前配置的写策略不为目标写策略的情况下,如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则将所述存储系统当前的写策略调整为所述目标写策略。
3.根据权利要求1所述的方法,其特征在于,所述预设的策略触发条件包括:回写策略触发条件和透写策略触发条件,其中,所述回写策略触发条件所触发转换至的目标写策略为回写策略,所述透写策略触发条件所触发转换至的目标写策略为透写策略;
则所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,包括:
如果基于所述缓存的占用比例,确定出当前满足目标策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标策略触发条件为所述回写策略触发条件或者所述透写策略触发条件。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述缓存的缓存空间被划分为第一缓存空间和第二缓存空间,得到与所述第一缓存空间对应的第一缓存以及与所述第二缓存空间对应的第二缓存;
所述获取存储系统中缓存的占用比例,包括:
获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
5.根据权利要求4所述的方法,其特征在于,所述如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则控制存储系统处理写请求的写策略为目标写策略,包括:
如果所述第一占用比例以及第二占用比例均满足预设的透写策略触发条件时,则控制存储系统处理写请求的写策略为透写策略,其中,所述透写策略触发条件为:E>1/2;其中,
如果所述第一占用比例以及第二占用比例均满足预设的回写策略触发条件,则控制存储系统处理写请求的写策略为回写策略,其中,所述回写策略触发条件为:σ>1/2;其中,
其中,m为当前缓存的占用比例,Mh为当前缓存中预设的表征高占用比例的第一阈值;Ml为当前缓存中预设的表征低占用比例的第二阈值。
6.根据权利要求4所述的方法,其特征在于,还包括:
当所述第一占用比例与所述第二占用比例的差值超过预设值时,则调整所述第一缓存和所述第一缓存的缓存空间大小。
7.根据权利要求6所述的方法,其特征在于,所述调整所述第一缓存和所述第一缓存的缓存空间大小,包括:
确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;
当第一占用比例大于所述第二占用比例时,则将第二缓存中所述待转移缓存空间大小的缓存空间分配给所述第一缓存;
当所述第二占用比例大于所述第一占用比例时,则将所述第一缓存中所述待转换缓存空间大小的缓存空间分配给所述第二缓存。
8.一种写策略控制装置,其特征在于,包括:
比例获取单元,用于获取当前时刻存储系统中缓存的占用比例;
策略存储单元,用于存储预设的策略触发条件;
策略控制单元,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标写策略为由所述策略触发条件所触发转换至的写策略。
9.根据权利要求8所述的装置,其特征在于,所述策略控制单元,包括:
第一策略控制子单元,用于在所述存储系统当前配置的写策略不为目标写策略的情况下,如果基于所述缓存的占用比例,确定出当前满足预设的策略触发条件,则将所述存储系统当前的写策略调整为所述目标写策略。
10.根据权利要求8所述的装置,其特征在于,所述策略存储单元具体用于存储预设的回写策略触发条件和透写策略触发条件,其中,所述回写策略触发条件所触发转换至的目标写策略为回写策略,所述透写策略触发条件所触发转换至的目标写策略为透写策略;
则所述策略控制单元,包括:
第二策略控制子单元,用于如果基于所述比例获取单元获取到的所述占用比例,确定出当前满足所述策略存储单元中存储的目标策略触发条件,则控制所述存储系统处理写请求的写策略为目标写策略,其中,所述目标策略触发条件为所述回写策略触发条件或所述透写策略触发条件。
11.根据权利要求8至10任一项所述的装置,其特征在于,所述缓存的缓存空间被划分为第一缓存空间和第二缓存空间,得到与所述第一缓存空间对应的第一缓存以及与所述第二缓存空间对应的第二缓存;
所述比例获取单元,包括:
比例获取子单元,用于获取所述存储系统中第一缓存的第一占用比例,以及所述第二缓存的第二占用比例。
12.根据权利要求11所述的装置,其特征在于,所述策略控制单元,包括:
透写控制子单元,用于如果所述第一占用比例以及第二占用比例均满足预设的透写策略触发条件时,则控制存储系统处理写请求的写策略为透写策略,其中,所述透写策略触发条件为:E>1/2;其中,
回写控制子单元,用于如果所述第一占用比例以及第二占用比例均满足预设的回写策略触发条件,则控制存储系统处理写请求的写策略为回写策略,其中,所述回写策略触发条件为:σ>1/2;其中,
其中,m为当前缓存的占用比例,Mh为当前缓存中预设的表征高占用比例的第一阈值;Ml为当前缓存中预设的表征低占用比例的第二阈值。
13.根据权利要求11所述的装置,其特征在于,还包括:
缓存调整单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,则调整所述第一缓存和所述第一缓存的缓存空间大小。
14.根据权利要求13所述的装置,其特征在于,所述缓存调整单元,包括:
调整量确定单元,用于当所述第一占用比例与所述第二占用比例的差值超过预设值时,确定待转移缓存空间大小gx,其中,mx为所述第一占用比例与第二占用比例的差值的绝对值,GT为存储系统中的总缓存空间的大小;
第一调整子单元,用于当第一占用比例大于所述第二占用比例时,则将第二缓存中所述待转移缓存空间大小的缓存空间分配给所述第一缓存;
第二调整子单元,用于当所述第二占用比例大于所述第一占用比例时,则将所述第一缓存中所述待转换缓存空间大小的缓存空间分配给所述第二缓存。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510531297.9A CN105068768B (zh) | 2015-08-26 | 2015-08-26 | 一种写策略控制方法和装置 |
PCT/CN2016/073809 WO2017031958A1 (zh) | 2015-08-26 | 2016-02-15 | 一种写策略控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510531297.9A CN105068768B (zh) | 2015-08-26 | 2015-08-26 | 一种写策略控制方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105068768A true CN105068768A (zh) | 2015-11-18 |
CN105068768B CN105068768B (zh) | 2020-06-26 |
Family
ID=54498149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510531297.9A Active CN105068768B (zh) | 2015-08-26 | 2015-08-26 | 一种写策略控制方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105068768B (zh) |
WO (1) | WO2017031958A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017031958A1 (zh) * | 2015-08-26 | 2017-03-02 | 华为技术有限公司 | 一种写策略控制方法和装置 |
CN108052414A (zh) * | 2017-12-28 | 2018-05-18 | 湖南国科微电子股份有限公司 | 一种提升ssd工作温度范围的方法及系统 |
CN109062513A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109213446A (zh) * | 2018-08-23 | 2019-01-15 | 郑州云海信息技术有限公司 | 写缓存模式的切换方法、装置、设备及可读存储介质 |
CN110008135A (zh) * | 2018-01-05 | 2019-07-12 | 北京搜狗科技发展有限公司 | 一种信息处理方法、装置及电子设备 |
CN111221475A (zh) * | 2020-01-04 | 2020-06-02 | 苏州浪潮智能科技有限公司 | 一种存储空间的管理方法、装置、设备及可读介质 |
CN112162940A (zh) * | 2020-09-11 | 2021-01-01 | 北京浪潮数据技术有限公司 | 一种减小缓存故障域的方法、装置、系统及存储系统 |
WO2021229368A1 (en) * | 2020-05-15 | 2021-11-18 | International Business Machines Corporation | Write sort management in data storage system |
US11580022B2 (en) | 2020-05-15 | 2023-02-14 | International Business Machines Corporation | Write sort management in a multiple storage controller data storage system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311637A (zh) * | 2023-10-12 | 2023-12-29 | 汇钜存储科技(东莞)有限公司 | 性能和数据安全可调式存储系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957800A (zh) * | 2010-06-12 | 2011-01-26 | 福建星网锐捷网络有限公司 | 多通道缓存分配方法及装置 |
US20140189252A1 (en) * | 2012-12-31 | 2014-07-03 | Arijit Biswas | Dynamic cache write policy |
CN104572502A (zh) * | 2015-01-12 | 2015-04-29 | 浪潮电子信息产业股份有限公司 | 一种存储系统缓存策略自适应方法 |
WO2015061921A1 (zh) * | 2013-10-29 | 2015-05-07 | 上海宝存信息科技有限公司 | 用于数据存储系统的动态缓存方法和系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027544A (ja) * | 2010-07-20 | 2012-02-09 | Toshiba Corp | ライトバックキャッシュを備える情報処理装置、及びその主メモリ診断方法 |
CN102096556B (zh) * | 2010-12-03 | 2013-11-06 | 华为数字技术(成都)有限公司 | 拷贝数据的方法、读取数据的方法和装置及系统 |
CN105068768B (zh) * | 2015-08-26 | 2020-06-26 | 华为技术有限公司 | 一种写策略控制方法和装置 |
-
2015
- 2015-08-26 CN CN201510531297.9A patent/CN105068768B/zh active Active
-
2016
- 2016-02-15 WO PCT/CN2016/073809 patent/WO2017031958A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957800A (zh) * | 2010-06-12 | 2011-01-26 | 福建星网锐捷网络有限公司 | 多通道缓存分配方法及装置 |
US20140189252A1 (en) * | 2012-12-31 | 2014-07-03 | Arijit Biswas | Dynamic cache write policy |
WO2015061921A1 (zh) * | 2013-10-29 | 2015-05-07 | 上海宝存信息科技有限公司 | 用于数据存储系统的动态缓存方法和系统 |
CN104572502A (zh) * | 2015-01-12 | 2015-04-29 | 浪潮电子信息产业股份有限公司 | 一种存储系统缓存策略自适应方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017031958A1 (zh) * | 2015-08-26 | 2017-03-02 | 华为技术有限公司 | 一种写策略控制方法和装置 |
CN108052414A (zh) * | 2017-12-28 | 2018-05-18 | 湖南国科微电子股份有限公司 | 一种提升ssd工作温度范围的方法及系统 |
CN110008135B (zh) * | 2018-01-05 | 2024-01-30 | 北京搜狗科技发展有限公司 | 一种信息处理方法、装置及电子设备 |
CN110008135A (zh) * | 2018-01-05 | 2019-07-12 | 北京搜狗科技发展有限公司 | 一种信息处理方法、装置及电子设备 |
CN109062513B (zh) * | 2018-08-06 | 2021-10-15 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109062513A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109213446B (zh) * | 2018-08-23 | 2022-03-22 | 郑州云海信息技术有限公司 | 写缓存模式的切换方法、装置、设备及可读存储介质 |
CN109213446A (zh) * | 2018-08-23 | 2019-01-15 | 郑州云海信息技术有限公司 | 写缓存模式的切换方法、装置、设备及可读存储介质 |
CN111221475A (zh) * | 2020-01-04 | 2020-06-02 | 苏州浪潮智能科技有限公司 | 一种存储空间的管理方法、装置、设备及可读介质 |
WO2021229368A1 (en) * | 2020-05-15 | 2021-11-18 | International Business Machines Corporation | Write sort management in data storage system |
US11580022B2 (en) | 2020-05-15 | 2023-02-14 | International Business Machines Corporation | Write sort management in a multiple storage controller data storage system |
US11762559B2 (en) | 2020-05-15 | 2023-09-19 | International Business Machines Corporation | Write sort management in a multiple storage controller data storage system |
CN112162940A (zh) * | 2020-09-11 | 2021-01-01 | 北京浪潮数据技术有限公司 | 一种减小缓存故障域的方法、装置、系统及存储系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105068768B (zh) | 2020-06-26 |
WO2017031958A1 (zh) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105068768A (zh) | 一种写策略控制方法和装置 | |
US10838626B2 (en) | Methods, apparatuses, and computer program products for controlling write requests in storage system | |
KR101393933B1 (ko) | 캐시 블록 코히어런스를 위한 시스템들, 방법들, 및 디바이스들 | |
US9330108B2 (en) | Multi-site heat map management | |
US9208094B2 (en) | Managing and sharing storage cache resources in a cluster environment | |
CN106648464B (zh) | 基于云存储的多节点混合块缓存数据读写方法及系统 | |
US20070028053A1 (en) | System and method for dynamically adjusting the caching characteristics for each logical unit of a storage array | |
CN109582223B (zh) | 一种内存数据迁移的方法及装置 | |
US20050172076A1 (en) | System for managing distributed cache resources on a computing grid | |
US10048876B2 (en) | Method for providing nonvolatile storage write bandwidth using a caching namespace | |
US9390010B2 (en) | Cache management | |
US8656119B2 (en) | Storage system, control program and storage system control method | |
CN111124951A (zh) | 管理数据访问的方法、设备和计算机程序产品 | |
US11288600B2 (en) | Determining an amount of data of a track to stage into cache using a machine learning module | |
EP2972899B1 (en) | Providing local cache coherency in a shared storage environment | |
US20190095347A1 (en) | Multi-port shared cache apparatus | |
US11403562B2 (en) | Determining sectors of a track to stage into cache by training a machine learning module | |
CN113407119B (zh) | 数据预取方法、数据预取装置、处理器 | |
CN105095495A (zh) | 一种分布式文件系统缓存管理方法和系统 | |
US9298397B2 (en) | Nonvolatile storage thresholding for ultra-SSD, SSD, and HDD drive intermix | |
WO2016206463A1 (zh) | 一种写操作控制方法、装置及系统 | |
US10108350B2 (en) | Method for providing nonvolatile storage write bandwidth using a caching namespace | |
US9575898B2 (en) | Implementing coherency with reflective memory | |
US20230342036A1 (en) | Storage management system and method | |
CA2832223C (en) | Multi-port shared cache apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220217 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Patentee after: Huawei Cloud Computing Technology Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |