CN107992434A - 用于分布式分层存储系统的下刷方法、装置及存储介质 - Google Patents
用于分布式分层存储系统的下刷方法、装置及存储介质 Download PDFInfo
- Publication number
- CN107992434A CN107992434A CN201711191696.0A CN201711191696A CN107992434A CN 107992434 A CN107992434 A CN 107992434A CN 201711191696 A CN201711191696 A CN 201711191696A CN 107992434 A CN107992434 A CN 107992434A
- Authority
- CN
- China
- Prior art keywords
- copy data
- index information
- data
- storage table
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0893—Caches characterised by their organisation or structure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于分布式分层存储系统的下刷方法、装置及存储介质,方法包括:将高速存储介质中的副本数据按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配;当第一存储表中主副本数据的索引信息依据LRU算法淘汰出时,将对应的索引信息移至第二存储表的头部;当第二存储表中的副本数据的索引信息依据LRU算法淘汰出时,将该索引信息对应的副本数据下刷至低速存储介质中;当对第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至第一存储表的头部。可见,本方法能够提升数据在被读取时候的命中率,且能够最大程度的提高读取效率。
Description
技术领域
本发明涉及LRU算法技术领域,特别是涉及一种用于分布式分层存储系统的下刷方法、装置及存储介质。
背景技术
LRU算法,简称LRU,是Least Recently Used的缩写,即最近最久未使用,其常用于页面置换算法,是为虚拟页式存储管理服务的。对于在内存中但又不用的数据块(内存块),操作系统会根据哪些数据属于LRU算法中命中的数据,而将其移出内存而腾出空间来加载另外的数据,该过程就是数据下刷的过程。
之所以需要下刷,是由于系统中的高速存储介质的容量是有限的,无法将全部的数据均存储在高速存储介质中,则必然有部分数据是无法存储在高速存储介质中,这部分数据就需要下刷至低速存储介质,从而更大程度保证热度较高的数据存储至高速存储介质,提高数据的读取速度。当前,为了数据的可靠性,每个数据均会有主副本和从副本,从而形成冗余,避免数据丢失。现有技术中,仅仅是通过LRU算法计算每个数据的副本(不区分主副本数据还是从副本数据)的热度,从而确定该副本是留在高速存储介质中,还是下刷至低速存储介质中。该方式,虽然能够将热度较高的副本保留在高速存储介质中,但是在实际读写操作中,尤其是读操作中,通常是读取主副本数据,因此,在高速存储介质的容量有限的情况下,如果存储了大量的从副本数据,则容易造成读取速度慢的问题。
由此可见,如何最优的利用高速存储介质进行存储是本领域技术人员接待解决的问题。
发明内容
本发明的目的是提供一种用于分布式分层存储系统的下刷方法、装置及存储介质,最优的利用高速存储介质进行存储。
为解决上述技术问题,本发明提供一种用于分布式分层存储系统的下刷方法,包括:
根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配;
当所述第一存储表中的主副本数据的索引信息依据LRU算法淘汰出所述第一存储表时,将该主副本数据的索引信息移至所述第二存储表的头部;
当所述第二存储表中的副本数据的索引信息依据所述LRU算法淘汰出所述第二存储表时,将该索引信息对应的副本数据由所述高速存储介质下刷至低速存储介质中;
当对所述第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至所述第一存储表的头部。
优选地,淘汰触发条件具体根据所述高速存储介质中副本数据的当前水位确定。
优选地,还包括:
输出所述高速存储介质中副本数据的实时水位。
优选地,所述第一存储表对应的淘汰触发条件具体为:
若所述高速存储介质中副本数据的当前水位达到50%,则开始淘汰。
优选地,所述第二存储表对应的淘汰触发条件具体为:
若所述高速存储介质中副本数据的当前水位达到80%,则开始淘汰。
为解决上述技术问题,本发明还提供一种用于分布式分层存储系统的下刷装置,包括:
划分单元,根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配;
执行单元,用于按照主副本数据存储至所述第一存储模块,从副本数据存储至所述第二存储模块的规则存储接收到的副本数据;
处理单元,用于当所述第一存储表中的主副本数据的索引信息依据LRU算法淘汰出所述第一存储表时,将该主副本数据的索引信息移至所述第二存储表的头部;
当所述第二存储表中的副本数据的索引信息依据所述LRU算法淘汰出所述第二存储表时,将该索引信息对应的副本数据由所述高速存储介质下刷至低速存储介质中;
当对所述第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至所述第一存储表的头部。
优选地,所述处理单元中的淘汰触发条件具体根据所述高速存储介质中副本数据的当前水位确定。
优选地,还包括:
输出单元,用于输出所述高速存储介质中副本数据的实时水位。
为解决上述技术问题,本发明还提供一种用于分布式分层存储系统的下刷装置,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述所述的用于分布式分层存储系统的下刷方法的步骤。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述的用于分布式分层存储系统的下刷方法的步骤。
本发明所提供的用于分布式分层存储系统的下刷方法,根据高速存储介质中副本数据的属性,将主副本数据的索引信息存储在第一存储表中,将从副本数据的索引信息存储在第二存储表中,在第一存储表中只存储主副本数据的索引信息,在第二存储表中只存储从副本数据的索引信息和由第一存储表迁移过来的主副本数据索引信息,并且迁移至第二存储表中的主副本数据如果被再次访问,则其索引信息依然会迁移至第一存储表中,而第二存储表中淘汰的索引信息所对应的副本数据会下刷至低速存储介质。由此可见,相对于现有技术中,单纯通过LRU算法的方式而言,本方法将LRU算法和上述存储规则相结合,能够保证主副本数据的索引信息最大程度保留在第一存储表中,则对应的主副本数据最大程度的存储在高速缓存介质中,且同时优先下刷从副本数据,使得在进行读操作时,提升数据在被读取时候的命中率,且能够最大程度的提高读取效率。此外,本发明还提供一种与该方法对应的用于分布式分层存储系统的下刷装置及存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于分布式分层存储系统的下刷方法的流程图;
图2为本发明实施例提供的一种用于分布式分层存储系统的下刷方法示意图;
图3为本发明实施例提供的一种用于分布式分层存储系统的下刷装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
本发明的核心是提供一种用于分布式分层存储系统的下刷方法、装置及存储介质,最优的利用高速存储介质进行存储。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种用于分布式分层存储系统的下刷方法的流程图。如图1所示,该方法包括:
S11:根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配。
S12:当第一存储表中的主副本数据的索引信息依据LRU算法淘汰出第一存储表时,将该主副本数据的索引信息移至第二存储表的头部。
S13:当第二存储表中的副本数据的索引信息依据LRU算法淘汰出第二存储表时,将该索引信息对应的副本数据由高速存储介质下刷至低速存储介质中。
S14:当对第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至第一存储表的头部。
需要说明的是,图1所示的几个步骤除步骤S11在步骤S12-S14之前外,均没有严格的先后顺序,甚至有的步骤可以是同时进行,或者有的步骤执行N次,有的步骤执行M次,只要方法中包含上述步骤,无论何种顺序以及执行次数的多少都在本发明保护范围内。
对于步骤S10来说,高速存储介质可以为内存等,本发明不作限定。另外,第一存储表和第二存储表可以存储在内存中,能够快速读取。本文中的高速存储介质和低速存储介质是相对于,可以根据具体系统的情况确定,高速存储介质和低速存储介质并不是特指某一个固定的存储介质。
可以理解的是,高速存储介质在读取速度上要比普度存储介质的读取速度快很多,而且在写入速度上也要比普通存储介质的写入速度快很多,因而,在高速存储介质上执行读写操作所用的时间比在普通存储介质上所用的时间少很多。但是,由于高速存储介质的容量是有限的,无法将全部的主副本数据和从副本数据都存储在其中,因此,将访问度高,即热度高的数据的主副本数据或从副本数据存储至高速缓存介质,可以最大程度的发挥高速存储介质的优势。
如果与现有技术中一样,仅仅是通过LRU算法将主副本数据或从副本数据存储至高速缓存介质中,则高速缓存介质中会存在大量的主副本数据和从副本数据,二者是随机的,当遇到读操作时,通常是读取主副本数据,如果高速缓存介质中存储的大量数据是从副本数据的话,则命中目标主副本数据的概率必然会很低,而且这样的操作必然导致副本数据频繁的迁移与高速缓存介质和低速缓存介质之间。在一种极端情况下,可能存在当前高速缓存介质中存储的数据全部是从副本数据,则遇到读操作时,还需要去低速缓存介质中读取,必然增加了读取的时间,降低读取效率。
考虑到上述情况,本发明中,根据高速存储介质中存储的副本数据属性,将这些副本数据按照主副本数据的索引信息存储在第一存储表中,从副本数据的索引信息存储在第二存储表的规则划分。可以理解的是,在最初,第一存储表中只包含主副本数据的索引信息,第二存储表只包含从副本的索引信息。
当第一存储表中满足淘汰触发条件时,即第一存储表中需要有主副本数据的索引信息转移,可以理解的是,哪一个索引信息被淘汰是根据LRU算法计算得到的,与该索引信息对应的副本数据是有关系的,当下一个主副本数据的索引信息存储至第一存储表时,则根据LRU算法的计算结果将被淘汰的移至第二存储表。需要说明的是,这里只是索引信息的转移,而该索引信息对应的主副本数据依然是存储在高速存储介质中,并未发生改变。
当第二存储表中满足淘汰触发条件时,即第二存储表中需要有副本数据的索引信息转移,而哪个索引信息会被淘汰,也是根据LRU算法得到的,与该索引信息对应的副本数据是有关系的,当下一个副本数据的索引信息存储至第二存储表时,则根据LRU算法的计算结果将被淘汰的索引信息删除,且将与该索引信息对应的副本数据由高速存储介质转移至低速存储介质中,从而节约高速存储介质的存储空间。可以理解的是,第二存储表淘汰的索引信息可能是主副本数据的索引信息也可能是从副本数据的索引信息,所以对应的副本数据可以是主副本数据也可能是从副本数据。
随着读写操作的不断进行,高速存储介质中的副本数据不断被读写,即各副本数据的冷热程度是会发生变化的,则各自对应的索引信息也在第一存储表或第二存储表中的位置有所变动。对于第二存储表来说,如果被操作的副本数据是主副本数据,那么说明该主副本的热度较高,则将该主副本数据对应的索引信息再次存储至第一存储表,如果被操作的副本数据是从副本数据,那么说明该从副本的热度较高,但是由于其是从副本数据,因此,该从副本数据对应的索引信息依然留在第二存储表中且是表的头部,只不过根据LRU算法计算时,其淘汰的概率会最低。
综上所述,在第一存储表和第二存储表对索引信息的位置进行调整时,各索引信息对应的副本数据依然保留在高速存储介质中,只有在第二存储表中有淘汰的副本数据的索引信息时,才会发生将某一个副本数据由高速存储介质存储至低速存储介质中。
为了让本领域技术人员更加清楚本发明实施例提供的用于分布式分层存储系统的下刷方法,本实施例中采用LRU表格的方式对下刷过程再次说明。图2为本发明实施例提供的一种用于分布式分层存储系统的下刷方法示意图。
图2中的1如步骤S11所述,按照主副本数据的索引信息存储至第一存储表中的方式存储;
图2中的2如步骤S11所述,按照从副本数据的索引信息存储至第二存储表中的方式存储。
可以理解的是,根据LRU算法,当前被操作的数据所对应的索引信息将会排列在表头,因此,当第一存储表中的主副本数据的索引信息满足淘汰触发条件时,如果再有新的主副本数据的索引信息存储进来,则必然有主副本数据的索引信息被淘汰,淘汰出第一存储表中的主副本数据的索引信息会优先放入第二存储表的头部,而主副本数据本身还存在高速存储介质中,不会下刷至低速存储介质,即图2中的3淘汰出第一存储表的索引信息。
根据LRU算法,如果第一存储表中的索引信息对应的主副本数据再次被访问,即需要对某一主副本数据操作,则操作之后,就如图2中的4一样,该主副本数据的索引信息会移至第一存储表的头部。
同样的,根据LRU算法,如果第二存储表对应的副本数据(可能是主副本数据也可能是从副本数据)再次被访问,即需要对判断该数据为主副本数据还是从副本数据,如果是从副本数据,则如图2中的5-1一样,将该从副本数据的索引信息迁移至第二存储表的头部,如果是主副本数据,则如图2中的5-2一样,将该主副本数据的索引信息迁移至第一存储表的头部。
可以理解的是,根据LRU算法,当前被操作的数据的索引信息将会排列在表头,因此,当第二存储表中的副本数据的索引信息满足淘汰触发条件时,如果再有新的副本数据的索引信息存储进来,则必然有副本数据的索引信息被淘汰,则该索引信息对应的淘汰出的副本数据的会下刷至低速存储介质,如图2中的6淘汰出第二存储表的索引信息。
本实施例提供的用于分布式分层存储系统的下刷方法,根据高速存储介质中副本数据的属性,将主副本数据的索引信息存储在第一存储表中,将从副本数据的索引信息存储在第二存储表中,在第一存储表中只存储主副本数据的索引信息,在第二存储表中只存储从副本数据的索引信息和由第一存储表迁移过来的主副本数据索引信息,并且迁移至第二存储表中的主副本数据如果被再次访问,则其索引信息依然会迁移至第一存储表中,而第二存储表中淘汰的索引信息所对应的副本数据会下刷至低速存储介质。由此可见,相对于现有技术中,单纯通过LRU算法的方式而言,本方法将LRU算法和上述存储规则相结合,能够保证主副本数据的索引信息最大程度保留在第一存储表中,则对应的主副本数据最大程度的存储在高速缓存介质中,且同时优先下刷从副本数据,使得在进行读操作时,提升数据在被读取时候的命中率,且能够最大程度的提高读取效率。
在上述实施例的基础上,作为优选地实施方式,淘汰触发条件具体根据高速存储介质中副本数据的当前水位确定。
在上述实施例中,不限定第一存储表存储主副本数据的索引信息的上限的方式,本实施例中,就是以高速存储介质中副本数据的当前水位确定,换句话说,如果当前水位达到上限,则在下一次有主副本数据存储进来时,则就会满足淘汰触发条件,即第一存储表有索引信息淘汰出,或者第二存储表有索引信息淘汰出。具体的第一存储表对应的淘汰触发条件具体为:若高速存储介质中副本数据的当前水位达到50%,则开始淘汰。第二存储表对应的淘汰触发条件具体为:若高速存储介质中副本数据的当前水位达到80%,则开始淘汰。
作为优选地实施方式,还包括:输出高速存储介质中副本数据的实时水位。使得能够更快速的判断是否满足淘汰触发条件。
上文中对于用于分布式分层存储系统的下刷方法的具体实施方式进行的详细描述,再次基础上,本发明还提供一种与该方法对应的装置的实施例。图3为本发明实施例提供的一种用于分布式分层存储系统的下刷装置的结构图。如图3所示,该装置包括:
划分单元10,根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配。
执行单元11,用于按照主副本数据存储至第一存储模块,从副本数据存储至第二存储模块的规则存储接收到的副本数据;
处理单元12,用于当第一存储表中的主副本数据的索引信息依据LRU算法淘汰出第一存储表时,将该主副本数据的索引信息移至第二存储表的头部;
当第二存储表中的副本数据的索引信息依据LRU算法淘汰出第二存储表时,将该索引信息对应的副本数据由高速存储介质下刷至低速存储介质中;
当对第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至第一存储表的头部。
优选地,处理单元中的淘汰触发条件具体根据高速存储介质中副本数据的当前水位确定。
优选地,还包括:
输出单元,用于输出高速存储介质中副本数据的实时水位。
上文从表化功能实体的角度分别对本发明实施例中的用于分布式分层存储系统的下刷装置进行了描述,下面从硬件处理的角度对本发明实施例中的用于分布式分层存储系统的下刷装置进行详细描述,本发明实施例中的用于分布式分层存储系统的下刷装置一个实施例,包括:存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述实施例的用于分布式分层存储系统的下刷方法的步骤。
本实施例提供的用于分布式分层存储系统的下刷装置,根据高速存储介质中副本数据的属性,将主副本数据的索引信息存储在第一存储表中,将从副本数据的索引信息存储在第二存储表中,在第一存储表中只存储主副本数据的索引信息,在第二存储表中只存储从副本数据的索引信息和由第一存储表迁移过来的主副本数据索引信息,并且迁移至第二存储表中的主副本数据如果被再次访问,则其索引信息依然会迁移至第一存储表中,而第二存储表中淘汰的索引信息所对应的副本数据会下刷至低速存储介质。由此可见,相对于现有技术中,单纯通过LRU算法的方式而言,本方法将LRU算法和上述存储规则相结合,能够保证主副本数据的索引信息最大程度保留在第一存储表中,则对应的主副本数据最大程度的存储在高速缓存介质中,且同时优先下刷从副本数据,使得在进行读操作时,提升数据在被读取时候的命中率,且能够最大程度的提高读取效率。
最后,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述实施例的用于分布式分层存储系统的下刷方法的步骤。
上述虚拟装置中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,平板电脑,服务器,或者手持设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的计算机可读存储介质,存储了用于分布式分层存储系统的下刷方法的程序,具体方式是根据高速存储介质中副本数据的属性,将主副本数据的索引信息存储在第一存储表中,将从副本数据的索引信息存储在第二存储表中,在第一存储表中只存储主副本数据的索引信息,在第二存储表中只存储从副本数据的索引信息和由第一存储表迁移过来的主副本数据索引信息,并且迁移至第二存储表中的主副本数据如果被再次访问,则其索引信息依然会迁移至第一存储表中,而第二存储表中淘汰的索引信息所对应的副本数据会下刷至低速存储介质。由此可见,相对于现有技术中,单纯通过LRU算法的方式而言,本方法将LRU算法和上述存储规则相结合,能够保证主副本数据的索引信息最大程度保留在第一存储表中,则对应的主副本数据最大程度的存储在高速缓存介质中,且同时优先下刷从副本数据,使得在进行读操作时,提升数据在被读取时候的命中率,且能够最大程度的提高读取效率。
以上对本发明所提供的用于分布式分层存储系统的下刷方法、装置及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种用于分布式分层存储系统的下刷方法,其特征在于,包括:
根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配;
当所述第一存储表中的主副本数据的索引信息依据LRU算法淘汰出所述第一存储表时,将该主副本数据的索引信息移至所述第二存储表的头部;
当所述第二存储表中的副本数据的索引信息依据所述LRU算法淘汰出所述第二存储表时,将该索引信息对应的副本数据由所述高速存储介质下刷至低速存储介质中;
当对所述第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至所述第一存储表的头部。
2.根据权利要求1所述的用于分布式分层存储系统的下刷方法,其特征在于,淘汰触发条件具体根据所述高速存储介质中副本数据的当前水位确定。
3.根据权利要求2所述的用于分布式分层存储系统的下刷方法,其特征在于,还包括:
输出所述高速存储介质中副本数据的实时水位。
4.根据权利要求2所述的用于分布式分层存储系统的下刷方法,其特征在于,所述第一存储表对应的淘汰触发条件具体为:
若所述高速存储介质中副本数据的当前水位达到50%,则开始淘汰。
5.根据权利要求2所述的用于分布式分层存储系统的下刷方法,其特征在于,所述第二存储表对应的淘汰触发条件具体为:
若所述高速存储介质中副本数据的当前水位达到80%,则开始淘汰。
6.一种用于分布式分层存储系统的下刷装置,其特征在于,包括:
划分单元,根据高速存储介质中副本数据的属性,将副本数据的索引信息按照主副本数据的索引信息存储至第一存储表,从副本数据的索引信息存储至第二存储表的规则分配;
执行单元,用于按照主副本数据存储至所述第一存储模块,从副本数据存储至所述第二存储模块的规则存储接收到的副本数据;
处理单元,用于当所述第一存储表中的主副本数据的索引信息依据LRU算法淘汰出所述第一存储表时,将该主副本数据的索引信息移至所述第二存储表的头部;
当所述第二存储表中的副本数据的索引信息依据所述LRU算法淘汰出所述第二存储表时,将该索引信息对应的副本数据由所述高速存储介质下刷至低速存储介质中;
当对所述第二存储表中对应的副本数据操作后,若该副本数据为主副本数据,则将该数据的索引信息移至所述第一存储表的头部。
7.根据权利要求6所述的用于分布式分层存储系统的下刷装置,其特征在于,所述处理单元中的淘汰触发条件具体根据所述高速存储介质中副本数据的当前水位确定。
8.根据权利要求7所述的用于分布式分层存储系统的下刷装置,其特征在于,还包括:
输出单元,用于输出所述高速存储介质中副本数据的实时水位。
9.一种用于分布式分层存储系统的下刷装置,其特征在于,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的用于分布式分层存储系统的下刷方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的用于分布式分层存储系统的下刷方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711191696.0A CN107992434A (zh) | 2017-11-24 | 2017-11-24 | 用于分布式分层存储系统的下刷方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711191696.0A CN107992434A (zh) | 2017-11-24 | 2017-11-24 | 用于分布式分层存储系统的下刷方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107992434A true CN107992434A (zh) | 2018-05-04 |
Family
ID=62032942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711191696.0A Pending CN107992434A (zh) | 2017-11-24 | 2017-11-24 | 用于分布式分层存储系统的下刷方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107992434A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086141A (zh) * | 2018-09-19 | 2018-12-25 | 北京京东尚科信息技术有限公司 | 内存管理方法和装置以及计算机可读存储介质 |
CN112463079A (zh) * | 2020-12-17 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种数据存储控制方法、装置、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049394A (zh) * | 2012-11-30 | 2013-04-17 | 记忆科技(深圳)有限公司 | 固态硬盘数据缓存的方法及其系统 |
CN103959253A (zh) * | 2011-12-01 | 2014-07-30 | 英特尔公司 | 基于硬件的存储器迁移和重新同步 |
CN106528454A (zh) * | 2016-11-04 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种基于闪存的内存系统缓存机制 |
CN106897030A (zh) * | 2017-02-28 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种缓存数据管理方法及装置 |
CN107066397A (zh) * | 2016-02-10 | 2017-08-18 | 谷歌公司 | 剖析缓存替换 |
CN107329708A (zh) * | 2017-07-04 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种分布式存储系统实现缓存数据的方法及系统 |
-
2017
- 2017-11-24 CN CN201711191696.0A patent/CN107992434A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103959253A (zh) * | 2011-12-01 | 2014-07-30 | 英特尔公司 | 基于硬件的存储器迁移和重新同步 |
CN103049394A (zh) * | 2012-11-30 | 2013-04-17 | 记忆科技(深圳)有限公司 | 固态硬盘数据缓存的方法及其系统 |
CN107066397A (zh) * | 2016-02-10 | 2017-08-18 | 谷歌公司 | 剖析缓存替换 |
CN106528454A (zh) * | 2016-11-04 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种基于闪存的内存系统缓存机制 |
CN106897030A (zh) * | 2017-02-28 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种缓存数据管理方法及装置 |
CN107329708A (zh) * | 2017-07-04 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种分布式存储系统实现缓存数据的方法及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086141A (zh) * | 2018-09-19 | 2018-12-25 | 北京京东尚科信息技术有限公司 | 内存管理方法和装置以及计算机可读存储介质 |
CN112463079A (zh) * | 2020-12-17 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种数据存储控制方法、装置、设备及可读存储介质 |
CN112463079B (zh) * | 2020-12-17 | 2023-12-22 | 北京浪潮数据技术有限公司 | 一种数据存储控制方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104699424B (zh) | 一种基于页面热度的异构内存管理方法 | |
US9959054B1 (en) | Log cleaning and tiering in a log-based data storage system | |
CN106201916B (zh) | 一种面向ssd的非易失缓存方法 | |
CN106527988B (zh) | 一种固态硬盘数据迁移的方法及装置 | |
CN104834608B (zh) | 一种异构内存环境下的缓存替换方法 | |
CN106227731B (zh) | 一种数据处理方法、装置及分布式文件系统 | |
US8478939B2 (en) | Relative heat index based hot data determination for block based storage tiering | |
CN103140840B (zh) | 数据管理的方法及装置 | |
WO2017211247A1 (zh) | 缓存管理方法、缓存控制器以及计算机系统 | |
CN105095113B (zh) | 一种缓存管理方法和系统 | |
CN106951375A (zh) | 在存储系统中删除快照卷的方法及装置 | |
CN110795363B (zh) | 一种存储介质的热页预测方法和页面调度方法 | |
CN107992434A (zh) | 用于分布式分层存储系统的下刷方法、装置及存储介质 | |
CN109710184A (zh) | 瓦记录磁盘感知的分层式混合存储方法及系统 | |
CN106355031A (zh) | 基于层次分析法的数据价值度计算方法 | |
CN109388341A (zh) | 一种基于Device Mapper的系统存储优化方法 | |
CN106933516A (zh) | 一种混合介质的存储系统的存储控制方法及装置 | |
CN105302493B (zh) | 一种混合存储阵列中ssd缓存的换入换出控制方法及系统 | |
CN110532200A (zh) | 一种基于混合内存架构的内存系统 | |
CN106547477B (zh) | 用于在线地减少缓存设备的方法和装置 | |
CN111722797A (zh) | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 | |
CN106227466B (zh) | 一种数据段迁移方法及系统 | |
CN103605482B (zh) | 一种硬盘内数据高性能存储方法 | |
CN107506466A (zh) | 一种小文件存储方法及系统 | |
CN107133183A (zh) | 一种基于tcmu虚拟块设备的缓存数据访问方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |
|
RJ01 | Rejection of invention patent application after publication |