CN108874311A - 融合存储系统中的数据迁移方法和装置 - Google Patents
融合存储系统中的数据迁移方法和装置 Download PDFInfo
- Publication number
- CN108874311A CN108874311A CN201810535281.9A CN201810535281A CN108874311A CN 108874311 A CN108874311 A CN 108874311A CN 201810535281 A CN201810535281 A CN 201810535281A CN 108874311 A CN108874311 A CN 108874311A
- Authority
- CN
- China
- Prior art keywords
- storage medium
- data file
- storage
- equal
- hot value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种融合存储系统中的数据迁移方法和装置,属于数据存储技术领域。所述方法包括:周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;将第二存储介质和第三存储介质中热度值大于等于第一存储介质对应的第一迁入阈值的数据文件迁移至第一存储介质;将第三存储介质中热度值大于等于第二存储介质对应的第二迁入阈值的数据文件迁移至第二存储介质。本发明可以整体提高获取数据文件的效率。
Description
技术领域
本发明涉及数据存储技术领域,特别涉及一种融合存储系统中的数据迁移方法和装置。
背景技术
融合存储系统是同时包含多种存储介质的存储系统,目前主要采用的存储介质包括以固态硬盘为代表的电存储介质、以机械硬盘为代表的磁存储介质和以蓝光光盘为代表的光存储介质。
融合存储系统中,一般按照数据文件的存储时间的先后和存储介质的读写性能的高低,将数据文件优先存储在读写性能高的存储介质中。这样,融合存储系统在接收到用户对于某个数据文件的读取请求后,可以按照访问性能高低依次查询各个存储介质,直至找到该数据文件,然后将数据文件返回给用户。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
对于被存储在读写性能较低的存储介质中的数据文件,每次用户访问该数据文件时,融合存储系统都需花费大量时间进行读写,用户往往需要较长的等待时间才能获取到数据文件,故而获取数据文件的效率较低。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种融合存储系统中的数据迁移方法和装置。所述技术方案如下:
第一方面,提供了一种融合存储系统中的数据迁移方法,所述方法包括:
周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所述所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;
将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质;
将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,所述周期性确定融合存储系统的所有存储介质上各数据文件的热度值,包括:
对于融合存储系统的所有存储介质上的每个数据文件,记录当前周期内所述数据文件的读写次数;
周期性根据所述数据文件的文件大小和读写次数,以及所述数据文件历史周期内的热度值计算所述数据文件的热度值。
可选的,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质,包括:
如果所述第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将所述第一存储介质中热度值小于所述第一存储介质对应的第一迁出阈值的数据文件逐一迁移至所述第二存储介质;
如果所述第一存储介质的剩余空间大于等于所述第一空间阈值,则按照热度值从大到小的顺序,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件逐一迁移至所述第一存储介质。
可选的,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质,包括:
如果所述第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将所述第二存储介质中热度值小于所述第二存储介质对应的第二迁出阈值的数据文件逐一迁移至所述第三存储介质;
如果所述第二存储介质的剩余空间大于等于所述第二空间阈值,则按照热度值从大到小的顺序,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,所述方法还包括:
接收对于所述第三存储介质上的目标数据文件的访问请求;
如果所述第一存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第一存储介质上;
如果所述第一存储介质的剩余空间小于所述目标数据文件的文件大小,且所述第二存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第二存储介质上。
可选的,所述方法还包括:
在接收到数据文件的存储请求后,如果检测到所述第一存储介质的剩余空间大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第一存储介质中,否则检测所述第二存储介质的剩余空间大小;
如果所述第二存储介质的剩余空间大小大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第二存储介质,否则将所述数据文件存储在所述第三存储介质。
可选的,所述方法中:
第一存储介质为电存储介质,第二存储介质为磁存储介质,第三存储介质为光存储介质。
第二方面,提供了一种融合存储系统中的数据迁移装置,所述装置包括:
计算模块,用于周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所述所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;
迁移模块,用于将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质;将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,所述计算模块,具体用于:
对于融合存储系统的所有存储介质上的每个数据文件,记录当前周期内所述数据文件的读写次数;
周期性根据所述数据文件的文件大小和读写次数,以及所述数据文件历史周期内的热度值计算所述数据文件的热度值。
可选的,所述迁移模块,具体用于:
如果所述第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将所述第一存储介质中热度值小于所述第一存储介质对应的第一迁出阈值的数据文件逐一迁移至所述第二存储介质;
如果所述第一存储介质的剩余空间大于等于所述第一空间阈值,则按照热度值从大到小的顺序,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件逐一迁移至所述第一存储介质。
可选的,所述迁移模块,具体用于:
如果所述第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将所述第二存储介质中热度值小于所述第二存储介质对应的第二迁出阈值的数据文件逐一迁移至所述第三存储介质;
如果所述第二存储介质的剩余空间大于等于所述第二空间阈值,则按照热度值从大到小的顺序,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,所述装置还包括:
接收模块,用于接收对于所述第三存储介质上的目标数据文件的访问请求;
所述迁移模块还用于,如果所述第一存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第一存储介质上;如果所述第一存储介质的剩余空间小于所述目标数据文件的文件大小,且所述第二存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第二存储介质上。
可选的,所述装置还包括:
存储模块,用于在接收到数据文件的存储请求后,如果检测到所述第一存储介质的剩余空间大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第一存储介质中,否则检测所述第二存储介质的剩余空间大小;如果所述第二存储介质的剩余空间大小大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第二存储介质,否则将所述数据文件存储在所述第三存储介质。
可选的,所述装置中:
第一存储介质为电存储介质,第二存储介质为磁存储介质,第三存储介质为光存储介质。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;将第二存储介质和第三存储介质中热度值大于等于第一存储介质对应的第一迁入阈值的数据文件迁移至第一存储介质;将第三存储介质中热度值小于第一迁入阈值,且大于等于第二存储介质对应的第二迁入阈值的数据文件迁移至第二存储介质。这样,可以始终将访问频率较高的数据文件存储在读写性能较高的第一存储介质或第二存储介质中,进而在用户访问这些数据文件时,融合存储系统可以对其进行快速读写,用户无需长时间等待就能获取到数据文件,故而,可以整体提高获取数据文件的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种融合存储系统中的数据迁移方法的流程图;
图2是本发明实施例提供的一种融合存储系统中的数据迁移装置的结构示意图;
图3是本发明实施例提供的一种融合存储系统中的数据迁移装置的结构示意图;
图4是本发明实施例提供的一种融合存储系统中的数据迁移装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种融合存储系统中的数据迁移方法,该方法的执行主体为融合存储系统,融合存储系统中可以设置三个或者三个以上读写速度不同的存储介质,如固态硬盘、机械硬盘和光盘,用以满足不同的存储需求。融合存储系统可以存储视频、音频、文字和图像等数据文件,在数据文件存储到融合存储系统中后,融合存储系统能够根据数据文件的访问频率将数据文件存储在适宜的存储介质中,当融合存储系统接收到数据文件的访问请求时,能够快速的读取并反馈该数据文件。
下面将结合具体实施方式,对图1所示的一种融合存储系统中的数据迁移流程进行详细的说明,内容可以如下:
步骤101:周期性确定融合存储系统的所有存储介质上各数据文件的热度值。
其中,融合存储系统中所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质。例如,第一存储介质可以是电存储介质,第二存储介质可以是磁存储介质,第三存储介质可以是光存储介质。
在实施中,融合存储系统中可以存在包含有第一存储介质、第二存储介质和第三存储介质在内的至少三种读写性能不同的存储介质,第一存储介质、第二存储介质和第三存储介质中均可以存储有大量的数据文件。同时,融合存储系统可以记录所有用户对于各数据文件的访问频率,具体可以通过热度值的形式来体现数据文件的访问频率,数据文件的访问频率越高,则对应的热度值越高。可以理解,用户对于数据文件的访问频率可能随时发生变化,故而,融合存储系统可以周期性确定所有存储介质上数据文件的热度值,以更好的反映数据文件的访问频率。
具体的,融合存储系统可以对于第一存储介质、第二存储介质和第三存储介质设置一个共同的时间范围作为一个周期长度,并且在三个存储介质中采用同一时刻起点作为周期开始的时间,周期性计算三个存储介质中各数据文件的热度值。比如设置周期开始时间为某日8:00:00,60分钟作为一个周期长度,则当日9:00:00时,融合存储系统计算三个存储介质上各数据文件的热度值。
可选的,融合存储系统周期性确定多个存储介质上各数据文件的热度值的处理可以如下:对于融合存储系统的多个存储介质上的每个数据文件,记录当前周期内数据文件的读写次数;周期性根据数据文件的文件大小和读写次数,以及数据文件历史周期内的热度值计算数据文件的热度值。
在实施中,当前周期中,各存储介质上每个数据文件每次被读写后都由融合存储系统进行统计计数,数据文件每被读写一次,读写次数加一,直至当前周期结束,读写次数归零,融合存储系统对各存储介质上每个数据文件的读写次数均依此进行统计。可以理解的,读写次数越大,说明该数据文件访问频率越高,可认为其热度也越高。数据文件的文件大小是数据文件的固有属性,当数据文件第一次被存储在融合存储系统中时,其文件大小即被系统所获取。对于具有同等读写次数的数据文件,数据文件越大,说明数据文件内单位大小的数据访问频率越低,因此,文件大小与读写次数的比值,可以反应不同数据文件之间,单位数据的热度情况。考虑到一些热门数据文件虽然在前一周期内的热度值较高,但是可能因某些突发因素在当前周期内访问频率较低,因此,在计算数据文件的热度值时可以加入其历史周期内的热度值。故而,融合存储系统可以周期性根据数据文件的文件大小和读写次数,以及数据文件历史周期内的热度值计算数据文件的热度值。
下面给出一种确定数据文件热度值的具体算法:融合存储系统计算数据文件上一周期的热度值与其在本周期对应权重值的乘积;计算数据文件本周期的读写次数和文件大小的比值,再乘以本周期对应权重值;将两个乘积结果相加,即为本周期数据文件的热度值,具体可以参考公式(1)。
ht=ht-1×d1+(nt/s)×d2 (1)
其中,ht为数据文件周期t的热度值;ht-1为数据文件周期t-1的热度值;d1为衰减因子,表示数据文件周期t-1的热度值在周期t的热度值中占有的权重值,取值在0到1之间;nt为周期t内数据文件的读写次数;s为数据文件的文件大小;d2表示数据文件周期t内单位数据的访问频率在周期t的热度值中占有的权重值,取值在0到1之间。
在上述公式(1)中,通常我们可以设定d1+d2=1。
例如,某一数据文件本周期的读写次数为100,文件大小为20,上一周期的热度值为10,预设上一周期热度值在本周期中所占权重值为0.3,则上一周期该数据文件的热度值与其在本周期权重值的乘积为3;该数据文件本周期的读写次数和文件大小的比值为5,再乘以本周期对应权重值0.7,得到乘积3.5;将两个乘积结果相加,则本周期该数据文件的热度值为10×0.3+(100/20)×(1-0.3)=6.5。
可以理解的是,计算数据文件的热度值的实施方式还有很多,例如还可以在计算中加入待计算数据文件前N个周期的热度值,并对每一周期热度值设置不同的权重值,经过计算也可以得到该数据文件本周期的热度值。
步骤102:将第二存储介质和第三存储介质中热度值大于等于第一存储介质对应的第一迁入阈值的数据文件迁移至第一存储介质。
在实施中,融合存储系统中预先设置了第一存储介质对应的数据文件迁入阈值(即第一迁入阈值),周期结束后,在确定了三个存储介质中各数据文件的热度值后,如果第二存储介质或第三存储介质中存在热度值大于等于上述第一迁入阈值的数据文件,则说明这些数据文件的访问频率较高,用户访问较为频繁,此时,可以将这些数据文件迁移至读写性能更高的第一存储介质。这样,可以利用第一存储介质读写速度快的优势,显著缩短热度值高的数据文件的读写时间,缩短用户等待时间,提高获取数据文件的效率,改善用户体验。
可选的,由于第一存储介质的存储空间有限,因此,在将第二存储介质和第三存储介质中的数据文件迁移至第一存储介质前,还可以考虑第一存储介质的剩余空间是否足以存储待迁入的数据文件,相应的处理可以如下:
如果第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将第一存储介质中热度值小于第一存储介质对应的第一迁出阈值的数据文件逐一迁移至第二存储介质;如果第一存储介质的剩余空间大于等于第一空间阈值,则按照热度值从大到小的顺序,将第二存储介质和第三存储介质中热度值大于等于第一存储介质对应的第一迁入阈值的数据文件逐一迁移至第一存储介质。
在实施中,由于每个数据文件的数据量有大有小,当进行数据文件迁移时,第一存储介质的剩余空间是动态变化的。然而,如果第一存储介质的存储空间接近饱和,剩余空间过小,会导致第一存储介质读写性能降低,读写速度减慢,同时还会影响第一存储介质的稳定性和使用寿命。为了避免上述情况的发生,可以预先为第一存储介质设置第一空间阈值,当第一存储介质的剩余空间小于第一空间阈值时,禁止向第一存储介质存储数据文件。同时,为了使第一存储介质中存储的全部是具有较高热度值的数据文件,还可以设置第一存储介质对应的数据文件迁出阈值(即第一迁出阈值),将热度值低于第一迁出阈值的数据文件迁出第一存储介质。例如,预先设置第一空间阈值为200M,迁移前第一存储介质的剩余空间为500M,大于第一空间阈值,当数据量为300M的数据文件迁移完成时,第一存储介质的剩余空间将变为200M,此时第一存储介质的剩余空间等于第一空间阈值,融合存储系统仍然可以向第一存储介质内迁移数据文件,如果下次需要迁移的数据文件的数据量为50M,则当迁移完成时,第一存储介质的剩余空间将变为150M,此时第一存储介质的剩余空间小于第一空间阈值,融合存储系统不能再向第一存储介质内迁移数据文件,这时,融合存储系统按照热度值从小到大的顺序,开始将第一存储介质中热度值小于上述第一迁出阈值的数据文件逐一迁移至第二存储介质,从而可以释放第一存储介质的存储空间,直至检测到第一存储介质的剩余空间大于等于第一空间阈值,停止将第一存储介质中热度值小于第一迁出阈值的数据文件迁移至第二存储介质,然后,融合存储系统可以继续按照热度值从大到小的顺序,将第二存储介质和第三存储介质中热度值大于等于第一迁入阈值的数据文件逐一迁移至第一存储介质。
容易理解的是,当第一存储介质中热度值小于第一迁出阈值的数据文件全部迁移到第二存储介质时,第二存储介质或第三存储介质中仍然存在热度值大于等于第一迁入阈值的数据文件,则表明第一存储介质的不能够存储所有热度值大于等于第一迁入阈值的数据文件,此时,融合存储系统无法继续将第二存储介质或第三存储介质中剩余的热度值大于等于第一迁入阈值的数据文件迁移至第一存储介质,故而可以将这些数据文件暂时保留在原存储介质中。
步骤103:将第三存储介质中热度值大于等于第二存储介质对应的第二迁入阈值的数据文件迁移至第二存储介质。
在实施中,与第一存储介质类似的,融合存储系统还设置了第二存储介质对应的第二迁入阈值,可以理解的,由于第一存储介质的读写性能高于第二存储介质,第一存储介质中可以存储热度值更高的数据文件,故而,可以设置第一迁入阈值大于第二迁入阈值。在步骤102后,第三存储介质中可能存在热度值大于等于第二迁入阈值的数据文件,这些数据文件同样具有高访问频率,故而,可以将这些数据文件迁移至读写性能较高的第二存储介质。这样,可以利用第二存储介质比第三存储介质读写速度快的优势,减少读写时间,提高获取数据文件的效率。
可选的,由于第二存储介质的存储空间有限,因此,在将第三存储介质中的数据文件迁移至第二存储介质前,还可以考虑第二存储介质的剩余空间是否足以存储待迁入的数据文件,相应的处理可以如下:
如果第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将第二存储介质中热度值小于第二存储介质对应的第二迁出阈值的数据文件逐一迁移至第三存储介质;如果第二存储介质的剩余空间大于等于第二空间阈值,则按照热度值从大到小的顺序,将第三存储介质中热度值小于第一存储介质对应的第一迁入阈值,且大于等于第二存储介质对应的第二迁入阈值的数据文件迁移至第二存储介质。
在实施中,其具体实施过程与第一存储介质类似,预先为第二存储介质设置第二空间阈值和第二迁出阈值。当第二存储介质的剩余空间小于第二空间阈值时,禁止将第三存储介质中热度值大于等于第二迁入阈值的数据文件迁移至第二存储介质,这时融合存储系统按照热度值从小到大的顺序,开始将第二存储介质中热度值小于第二迁出阈值的数据文件逐一迁移至第三存储介质,从而可以释放第二存储介质的存储空间,直至检测到第二存储介质的剩余空间大于等于第二空间阈值,停止将第二存储介质中热度值小于第二迁出阈值的数据文件迁移至第三存储介质,然后,融合存储系统可以继续按照热度值从大到小的顺序,将第三存储介质中热度值大于等于第二迁入阈值的数据文件迁移至第二存储介质。
容易理解的是,当第二存储介质中热度值小于第二迁出阈值的数据文件全部迁移到第三存储介质时,第三存储介质中仍然存在热度值大于等于第二迁入阈值的数据文件,则表明第二存储介质的剩余空间不足以存储目前第三存储介质中所有热度值大于等于第二迁入阈值的数据文件,此时,融合存储系统无法继续将剩余的热度值大于等于第二迁入阈值的数据文件迁移至第二存储介质,故而,可以将这些数据文件保留在第三存储介质中。
可选的,当融合存储系统处于两次迁移之间的周期内时,还可以对第三存储介质上收到访问请求的目标数据文件进行即时迁移,可以减少该周期剩余时间中目标数据文件的访问等待时间,相应的处理可以如下:接收对于第三存储介质上的目标数据文件的访问请求;如果第一存储介质的剩余空间大于等于目标数据文件的文件大小,则将目标数据文件迁移到第一存储介质上;如果第一存储介质的剩余空间小于目标数据文件的文件大小,且第二存储介质的剩余空间大于等于目标数据文件的文件大小,则将目标数据文件迁移到第二存储介质上。
在实施中,在实际使用过程中,某些访问频率很低的数据文件可能会在某一时间点后突然出现爆发性的访问,而这些数据文件由于之前长时间处于较低的访问频率,导致热度值较低,可能已经被融合存储系统迁移到读写速度较慢的第三存储介质当中。当该数据文件的大量访问刚开始时,如果不能及时将该数据转移到读写速度较快的存储介质中,面对后续可能出现的大量访问请求,由于第三存储介质读写速度的限制,会影响用户访问效率。因此,当融合存储系统接收对于第三存储介质上的目标数据文件的访问请求后,首先检测第一存储介质的剩余空间大小,如果第一存储介质的剩余空间大于等于目标数据文件的文件大小,则将目标数据文件迁移到第一存储介质上;如果第一存储介质的剩余空间小于目标数据文件的文件大小,则进一步检测第二存储介质的剩余空间大小,如果第二存储介质的剩余空间大于等于目标数据文件的文件大小,则将目标数据文件迁移到第二存储介质上。
例如,在融合存储系统接收对于第三存储介质上的一个文件大小为150M的目标数据文件的访问请求后,检测第一存储介质的剩余空间大小,如果检测结果第一存储介质的剩余空间大于等于150M,比如150M、200M或500M,则将目标数据文件迁移至第一存储介质;如果第一存储介质的剩余空间小于150M,比如100M或50M,则继续检测第二存储介质的剩余空间大小;如果检测结果第二存储介质的空间大小大于等于150M,比如150M、300M或800M,则将目标数据文件迁移至第二存储介质,如果第二存储介质的剩余空间小于150M,比如120M或80M,则不对目标数据文件进行迁移。
可选的,当融合存储系统需要存储新的数据文件时,还需要判断存储该数据文件的存储介质是第一存储介质、第二存储介质还是第三存储介质,相应的处理可以如下:在接收到数据文件的存储请求后,如果检测到第一存储介质的剩余空间大于等于数据文件的文件大小,则将数据文件存储在第一存储介质中,否则检测第二存储介质的剩余空间大小;如果第二存储介质的剩余空间大小大于等于数据文件的文件大小,则将数据文件存储在第二存储介质,否则将数据文件存储在第三存储介质。
在实施中,一般新存储的数据文件在存储后的一段时间内会有较高的访问频率,而融合存储系统中第一存储介质、第二存储介质和第三存储介质的读写性能依次降低,同时,融合存储系统中各个存储介质的剩余空间随周期性的数据文件迁移而周期性变化,因此,为了获得较好的文件访问效率,优先选择将数据文件存储在第一存储介质,如果第一存储介质的剩余空间不足以存储数据文件,再将数据文件存储在第二存储介质,直至第二存储介质的剩余空间也不足以存储数据文件,才将数据文件存储在第三存储介质。
例如,在融合存储系统接收到一个文件大小为200M的数据文件的存储请求后,首先检测第一存储介质的剩余空间大小,如果检测结果第一存储介质的剩余空间大于等于200M,比如300M,则将数据文件存储至第一存储介质,第一存储介质剩余空间大小为100M;此时融合存储系统又接收到一个文件大小为150M的数据文件的存储请求,而此时第一存储介质的剩余存储空间小于待存储数据文件的文件大小,不足以存储数据文件,则继续检测第二存储介质的剩余空间大小;如果检测结果第二存储介质的空间大小大于等于100M,比如100M,则将目标数据文件存储至第二存储介质,如果第二存储介质的剩余空间小于100M,比如80M,则将数据文件存储至第三存储介质。
可选的,在融合存储系统中,新存储的数据文件由于第一个周期一般不是完整周期,热度值较低,很容易在第一个周期结束后被迁入第三存储介质,为了提高数据文件访问效率,避免反复迁移,相应的处理可以如下:周期内新存储在融合存储系统的数据文件在本周期只计算热度值,不进行迁移。
在实施中,对于存储在第三存储介质中的新的数据文件,在本周期虽然不进行迁移,但下一周期开始后,如果周期中该数据文件被访问,则可以立即迁移至第一存储介质或第二存储介质,对其访问效率不会有太大影响。对于存储在第一存储介质和第二存储介质中的新的数据文件,由于其热度值的计算不满一个周期,可能出访问频率较高但热度值较低的情况,这种情况下计算出的热度值不能反映数据文件真实的访问频率。如果此时按照热度值将其迁移,第二周期若该数据文件仍然维持较高的访问频率,则在周期结束后需再次迁移,尤其是迁移至第三存储介质时,在第二周期当中一旦被访问,即会再次迁移,极大的增加了迁移成本。因此,周期内新存储在融合存储系统的数据文件在本周期只计算热度值,不进行迁移,本周期计算的热度值可以应用于下一周期热度值的计算,保证下一周期热度值的准确性。
可选的,在融合存储系统中,第三存储介质读写速度相对较慢且容易损坏,为了避免数据文件在第三存储介质与其他存储介质之间反复迁移,相应的处理可以如下:上一周期从第三存储介质迁移至第二存储介质或第一存储介质的数据文件,本周期只计算热度值,不进行迁移。
在实施中,由于有些数据文件的访问具有一定周期性,为了提高这类文件的访问效率,避免在存储介质之间反复迁移,对于在上一周期从第三存储介质迁移至第二存储介质或第一存储介质的数据文件,即使数据文件本周热度值较低,但为了避免在本周期迁移回第三存储介质之后,下一周期又被迁出,防止数据文件在第三存储介质反复迁移,节约迁移成本,在本周期内也只计算热度值,不进行迁移。
另外,需要说明的是,迁移使用中的数据文件,可能会导致用户重新读取数据文件,或者造成数据文件丢失、损坏以及数据不一致的情况,所以处于打开状态的数据文件不进行迁移。
本发明实施例中,周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;将第二存储介质和第三存储介质中热度值大于等于第一存储介质对应的第一迁入阈值的数据文件迁移至第一存储介质;将第三存储介质中热度值小于第一迁入阈值,且大于等于第二存储介质对应的第二迁入阈值的数据文件迁移至第二存储介质。这样,可以始终将访问频率较高的数据文件存储在读写性能较高的第一存储介质或第二存储介质中,进而在用户访问这些数据文件时,融合存储系统可以对其进行快速读写,用户无需长时间等待就能获取到数据文件,故而,可以整体提高获取数据文件的效率。
基于相同的技术构思,本发明实施例还提供了一种融合存储系统中的数据迁移装置,如图2所示,所述装置包括:
计算模块201,用于周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所述所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质。例如,第一存储介质为电存储介质,第二存储介质为磁存储介质,第三存储介质为光存储介质。
迁移模块202,用于将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质;将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,所述计算模块201,具体用于:
对于融合存储系统的所有存储介质上的每个数据文件,记录当前周期内所述数据文件的读写次数;
周期性根据所述数据文件的文件大小和读写次数,以及所述数据文件历史周期内的热度值计算所述数据文件的热度值。
可选的,所述迁移模块202,具体用于:
如果所述第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将所述第一存储介质中热度值小于所述第一存储介质对应的第一迁出阈值的数据文件逐一迁移至所述第二存储介质;
如果所述第一存储介质的剩余空间大于等于所述第一空间阈值,则按照热度值从大到小的顺序,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件逐一迁移至所述第一存储介质。
可选的,所述迁移模块202,具体还用于:
如果所述第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将所述第二存储介质中热度值小于所述第二存储介质对应的第二迁出阈值的数据文件逐一迁移至所述第三存储介质;
如果所述第二存储介质的剩余空间大于等于所述第二空间阈值,则按照热度值从大到小的顺序,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
可选的,如图3所示,所述装置还包括:
接收模块203,用于接收对于所述第三存储介质上的目标数据文件的访问请求。
所述迁移模块202还用于,如果所述第一存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第一存储介质上;如果所述第一存储介质的剩余空间小于所述目标数据文件的文件大小,且所述第二存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第二存储介质上。
可选的,如图4所示,所述装置还包括:
存储模块204,用于在接收到数据文件的存储请求后,如果检测到所述第一存储介质的剩余空间大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第一存储介质中,否则检测所述第二存储介质的剩余空间大小;如果所述第二存储介质的剩余空间大小大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第二存储介质,否则将所述数据文件存储在所述第三存储介质。
可选的,所述迁移模块202,具体还用于:
周期内新存储在融合存储系统的数据文件在本周期只计算热度值,不进行迁移。
可选的,所述迁移模块202,具体还用于:
上一周期从第三存储介质迁移至第二存储介质或第一存储介质的数据文件,本周期只计算热度值,不进行迁移。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.融合存储系统中的数据迁移方法,其特征在于,所述方法包括:
周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所述所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;
将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质;
将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
2.根据权利要求1所述的方法,其特征在于,所述周期性确定融合存储系统的所有存储介质上各数据文件的热度值,包括:
对于融合存储系统的所有存储介质上的每个数据文件,记录当前周期内所述数据文件的读写次数;
周期性根据所述数据文件的文件大小和读写次数,以及所述数据文件历史周期内的热度值计算所述数据文件的热度值。
3.根据权利要求1所述的方法,其特征在于,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质,包括:
如果所述第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将所述第一存储介质中热度值小于所述第一存储介质对应的第一迁出阈值的数据文件逐一迁移至所述第二存储介质;
如果所述第一存储介质的剩余空间大于等于所述第一空间阈值,则按照热度值从大到小的顺序,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件逐一迁移至所述第一存储介质。
4.根据权利要求3所述的方法,其特征在于,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质,包括:
如果所述第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将所述第二存储介质中热度值小于所述第二存储介质对应的第二迁出阈值的数据文件逐一迁移至所述第三存储介质;
如果所述第二存储介质的剩余空间大于等于所述第二空间阈值,则按照热度值从大到小的顺序,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对于所述第三存储介质上的目标数据文件的访问请求;
如果所述第一存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第一存储介质上;
如果所述第一存储介质的剩余空间小于所述目标数据文件的文件大小,且所述第二存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第二存储介质上。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到数据文件的存储请求后,如果检测到所述第一存储介质的剩余空间大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第一存储介质中,否则检测所述第二存储介质的剩余空间大小;
如果所述第二存储介质的剩余空间大小大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第二存储介质,否则将所述数据文件存储在所述第三存储介质。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法中:
第一存储介质为电存储介质,第二存储介质为磁存储介质,第三存储介质为光存储介质。
8.融合存储系统中的数据迁移装置,其特征在于,所述装置包括:
计算模块,用于周期性确定融合存储系统的所有存储介质上各数据文件的热度值,其中,所述所有存储介质按读写性能由高到低至少分为第一存储介质、第二存储介质和第三存储介质;
迁移模块,用于将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件迁移至所述第一存储介质;将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
9.根据权利要求8所述的装置,其特征在于,所述计算模块,具体用于:
对于融合存储系统的所有存储介质上的每个数据文件,记录当前周期内所述数据文件的读写次数;
周期性根据所述数据文件的文件大小和读写次数,以及所述数据文件历史周期内的热度值计算所述数据文件的热度值。
10.根据权利要求8所述的装置,其特征在于,所述迁移模块,具体用于:
如果所述第一存储介质的剩余空间小于第一空间阈值,则按照热度值从小到大的顺序,将所述第一存储介质中热度值小于所述第一存储介质对应的第一迁出阈值的数据文件逐一迁移至所述第二存储介质;
如果所述第一存储介质的剩余空间大于等于所述第一空间阈值,则按照热度值从大到小的顺序,将所述第二存储介质和所述第三存储介质中热度值大于等于所述第一存储介质对应的第一迁入阈值的数据文件逐一迁移至所述第一存储介质。
11.根据权利要求10所述的装置,其特征在于,所述迁移模块,具体用于:
如果所述第二存储介质的剩余空间小于第二空间阈值,则按照热度值从小到大的顺序,将所述第二存储介质中热度值小于所述第二存储介质对应的第二迁出阈值的数据文件逐一迁移至所述第三存储介质;
如果所述第二存储介质的剩余空间大于等于所述第二空间阈值,则按照热度值从大到小的顺序,将所述第三存储介质中热度值大于等于所述第二存储介质对应的第二迁入阈值的数据文件迁移至所述第二存储介质。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
接收模块,用于接收对于所述第三存储介质上的目标数据文件的访问请求;
所述迁移模块还用于,如果所述第一存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第一存储介质上;如果所述第一存储介质的剩余空间小于所述目标数据文件的文件大小,且所述第二存储介质的剩余空间大于等于所述目标数据文件的文件大小,则将所述目标数据文件迁移到所述第二存储介质上。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:
存储模块,用于在接收到数据文件的存储请求后,如果检测到所述第一存储介质的剩余空间大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第一存储介质中,否则检测所述第二存储介质的剩余空间大小;如果所述第二存储介质的剩余空间大小大于等于所述数据文件的文件大小,则将所述数据文件存储在所述第二存储介质,否则将所述数据文件存储在所述第三存储介质。
14.根据权利要求8-13任一项所述的装置,其特征在于,所述装置中:
第一存储介质为电存储介质,第二存储介质为磁存储介质,第三存储介质为光存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810535281.9A CN108874311B (zh) | 2018-05-29 | 2018-05-29 | 融合存储系统中的数据迁移方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810535281.9A CN108874311B (zh) | 2018-05-29 | 2018-05-29 | 融合存储系统中的数据迁移方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108874311A true CN108874311A (zh) | 2018-11-23 |
CN108874311B CN108874311B (zh) | 2022-02-08 |
Family
ID=64335585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810535281.9A Active CN108874311B (zh) | 2018-05-29 | 2018-05-29 | 融合存储系统中的数据迁移方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108874311B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109739646A (zh) * | 2018-12-28 | 2019-05-10 | 北京神州绿盟信息安全科技股份有限公司 | 一种数据处理方法及装置 |
CN110018788A (zh) * | 2019-03-01 | 2019-07-16 | 平安科技(深圳)有限公司 | 分级存储方法、装置、电子设备及计算机可读存储介质 |
CN110162273A (zh) * | 2019-05-28 | 2019-08-23 | 北京计算机技术及应用研究所 | 一种基于分布式存储系统的衰减式分层存储系统及方法 |
CN110381153A (zh) * | 2019-07-24 | 2019-10-25 | 深圳市网心科技有限公司 | 一种文件部署方法、部署设备、系统及介质 |
CN110647498A (zh) * | 2019-09-12 | 2020-01-03 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及计算机可读存储介质 |
CN110825908A (zh) * | 2019-11-04 | 2020-02-21 | 安超云软件有限公司 | 一种对象的迁移方法、装置、电子设备及存储介质 |
CN111625203A (zh) * | 2020-07-31 | 2020-09-04 | 苏州浪潮智能科技有限公司 | 一种分级存储的方法、系统、设备及介质 |
CN113391765A (zh) * | 2021-06-22 | 2021-09-14 | 中国工商银行股份有限公司 | 基于分布式存储系统的数据存储方法、装置、设备及介质 |
CN113867645A (zh) * | 2021-09-30 | 2021-12-31 | 苏州浪潮智能科技有限公司 | 数据迁移和数据读写方法、装置、计算机设备及存储介质 |
CN114706535A (zh) * | 2022-05-18 | 2022-07-05 | 北京中科开迪软件有限公司 | 一种磁光电混合存储方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6397293B2 (en) * | 1998-06-23 | 2002-05-28 | Hewlett-Packard Company | Storage management system and auto-RAID transaction manager for coherent memory map across hot plug interface |
CN103077127A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移对象的方法和装置 |
US20140196025A1 (en) * | 2012-02-23 | 2014-07-10 | Dahrwin Llc | Systems and methods utilizing highly dynamic wireless ad-hoc networks |
CN105138290A (zh) * | 2015-08-20 | 2015-12-09 | 浪潮(北京)电子信息产业有限公司 | 一种高性能存储池组织方法及装置 |
CN105653591A (zh) * | 2015-12-22 | 2016-06-08 | 浙江中控研究院有限公司 | 一种工业实时数据分级存储及迁移方法 |
CN105808443A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 一种数据迁移的方法、装置及系统 |
CN106598501A (zh) * | 2016-12-16 | 2017-04-26 | 郑州云海信息技术有限公司 | 用于存储自动分层的数据迁移设备及方法 |
CN107092443A (zh) * | 2017-04-28 | 2017-08-25 | 杭州宏杉科技股份有限公司 | 数据迁移方法及装置 |
CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
CN107340975A (zh) * | 2017-07-13 | 2017-11-10 | 郑州云海信息技术有限公司 | 一种文件存储的方法及装置 |
-
2018
- 2018-05-29 CN CN201810535281.9A patent/CN108874311B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6397293B2 (en) * | 1998-06-23 | 2002-05-28 | Hewlett-Packard Company | Storage management system and auto-RAID transaction manager for coherent memory map across hot plug interface |
US20140196025A1 (en) * | 2012-02-23 | 2014-07-10 | Dahrwin Llc | Systems and methods utilizing highly dynamic wireless ad-hoc networks |
CN103077127A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移对象的方法和装置 |
CN105808443A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 一种数据迁移的方法、装置及系统 |
CN105138290A (zh) * | 2015-08-20 | 2015-12-09 | 浪潮(北京)电子信息产业有限公司 | 一种高性能存储池组织方法及装置 |
CN105653591A (zh) * | 2015-12-22 | 2016-06-08 | 浙江中控研究院有限公司 | 一种工业实时数据分级存储及迁移方法 |
CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
CN106598501A (zh) * | 2016-12-16 | 2017-04-26 | 郑州云海信息技术有限公司 | 用于存储自动分层的数据迁移设备及方法 |
CN107092443A (zh) * | 2017-04-28 | 2017-08-25 | 杭州宏杉科技股份有限公司 | 数据迁移方法及装置 |
CN107340975A (zh) * | 2017-07-13 | 2017-11-10 | 郑州云海信息技术有限公司 | 一种文件存储的方法及装置 |
Non-Patent Citations (1)
Title |
---|
朱莉珏: "基于HDFS的文件访问性能优化技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109739646A (zh) * | 2018-12-28 | 2019-05-10 | 北京神州绿盟信息安全科技股份有限公司 | 一种数据处理方法及装置 |
CN110018788A (zh) * | 2019-03-01 | 2019-07-16 | 平安科技(深圳)有限公司 | 分级存储方法、装置、电子设备及计算机可读存储介质 |
CN110162273A (zh) * | 2019-05-28 | 2019-08-23 | 北京计算机技术及应用研究所 | 一种基于分布式存储系统的衰减式分层存储系统及方法 |
CN110381153A (zh) * | 2019-07-24 | 2019-10-25 | 深圳市网心科技有限公司 | 一种文件部署方法、部署设备、系统及介质 |
CN110647498A (zh) * | 2019-09-12 | 2020-01-03 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及计算机可读存储介质 |
CN110825908A (zh) * | 2019-11-04 | 2020-02-21 | 安超云软件有限公司 | 一种对象的迁移方法、装置、电子设备及存储介质 |
CN111625203A (zh) * | 2020-07-31 | 2020-09-04 | 苏州浪潮智能科技有限公司 | 一种分级存储的方法、系统、设备及介质 |
CN113391765A (zh) * | 2021-06-22 | 2021-09-14 | 中国工商银行股份有限公司 | 基于分布式存储系统的数据存储方法、装置、设备及介质 |
CN113867645A (zh) * | 2021-09-30 | 2021-12-31 | 苏州浪潮智能科技有限公司 | 数据迁移和数据读写方法、装置、计算机设备及存储介质 |
CN113867645B (zh) * | 2021-09-30 | 2023-08-18 | 苏州浪潮智能科技有限公司 | 数据迁移和数据读写方法、装置、计算机设备及存储介质 |
CN114706535A (zh) * | 2022-05-18 | 2022-07-05 | 北京中科开迪软件有限公司 | 一种磁光电混合存储方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108874311B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108874311A (zh) | 融合存储系统中的数据迁移方法和装置 | |
EP0795813B1 (en) | Recording area management method and storage apparatus | |
EP3869316B1 (en) | Hybrid storage | |
US10521131B2 (en) | Storage apparatus and storage control apparatus | |
CN103080896B (zh) | 对访问重新排序以减少对磁带介质的总查找时间 | |
CN111737265B (zh) | 区块数据访问方法、区块数据存储方法及装置 | |
US20180059959A1 (en) | Recalling files stored on a tape | |
CN111367469B (zh) | 一种分层存储数据迁移方法和系统 | |
CN107291399B (zh) | 一种基于spdk的后端存储方法、装置及系统 | |
CN111309245B (zh) | 一种分层存储写入方法和装置、读取方法和装置及系统 | |
US8055839B2 (en) | Maintaining reserved free space at the end of a physical volume for creating new segments of segmented logical volumes in the reserved free space | |
CN116560585B (zh) | 一种数据分级存储方法和系统 | |
US10620865B2 (en) | Writing files to multiple tapes | |
CN102929935B (zh) | 一种基于事务的大容量数据读写方法 | |
US7975100B2 (en) | Segmentation of logical volumes and movement of selected segments when a cache storage is unable to store all segments of a logical volume | |
CN105893198A (zh) | 一种kvm稳定性的测试方法及装置 | |
CN101783814A (zh) | 海量存储系统的元数据存储方法 | |
WO2018077092A1 (zh) | 应用于分布式文件系统的存盘方法、装置及分布式文件系统 | |
CN103176753B (zh) | 存储设备及其数据管理方法 | |
CN109726212A (zh) | 数据存储系统及方法 | |
CN113778341A (zh) | 遥感数据分布式存储方法和装置及遥感数据读取方法 | |
US20220129182A1 (en) | Systems and methods for object migration in storage devices | |
CN111880735B (zh) | 一种存储系统中数据迁移方法、装置、设备及存储介质 | |
CN106469174B (zh) | 数据读取方法和装置 | |
CN107577428A (zh) | 一种数据存储方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |