CN105183368A - 多种存储介质并存的系统及进行文件操作的方法和装置 - Google Patents
多种存储介质并存的系统及进行文件操作的方法和装置 Download PDFInfo
- Publication number
- CN105183368A CN105183368A CN201510483927.XA CN201510483927A CN105183368A CN 105183368 A CN105183368 A CN 105183368A CN 201510483927 A CN201510483927 A CN 201510483927A CN 105183368 A CN105183368 A CN 105183368A
- Authority
- CN
- China
- Prior art keywords
- file
- storage medium
- path
- store path
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
多种存储介质并存的系统及进行文件操作的方法和装置;所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;所述方法包括:根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;周期性对满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。本发明提供了一种适用于多种存储介质并存的系统的文件操作方案。
Description
技术领域
本发明涉及存储领域,具体涉及多种存储介质并存的系统及进行文件操作的方法和装置。
背景技术
随着时代的发展,人们对文件(比如但不限于视频等多媒体文件)服务的需求越来越高,传统单台服务器已无法满足实际应用的需求,服务器集群,分布式存储技术应运而生。
存储集群几种典型的应用场景如图1(a)~(c)所示。在这些场景中,当文件存储共享时,采用如图1(a)所示的全部共享存储方式。当文件存储不全部共享时,分为两种方式,一种是文件全部互斥存储的方式,如图1(b)所示,另一种是如图1(c)所示的部分共享存储,部分互斥存储,也就是混合存储的方式。
最新的硬件环境上,存储集群可能存在两种或两种以上的存储介质,存在两种存储介质时的应用场景如图2(a)和(b)所示,图2(a)中每个服务器对应的两种存储介质(第一存储介质和第二存储介质)都是互斥存储的;图2(b)中每个服务器对应一个互斥的存储介质(第一存储介质),两个服务器对应一个共享的存储介质(第二存储介质)。图2(a)和(b)所示的应用场景均属于上述文件存储不全部共享的情况。
现有技术中,缺乏针对多种存储介质并存的不同应用场景都能适用的文件操作方案。
发明内容
本发明所要解决的技术问题是提供一种适用于多种存储介质并存的系统的文件操作方案。
为了解决上述问题,采用如下技术方案。
一种在多种存储介质并存的系统中进行文件操作的方法,所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;所述方法包括:
根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
周期性对满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
可选地,所述的方法还包括:
当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;
当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
可选地,所述的方法还包括:
根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
可选地,所述的方法还包括:
当需要删除文件时,查询所述文件的全部存储路径;
删除所查询出的各存储路径上的文件。
可选地,所述的方法还包括:
当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
可选地,所述写入文件前还包括:
将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;
所述读取文件前还包括:
根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
一种在多种存储介质并存的系统中进行文件操作的装置,所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;所述装置包括:
文件访问统计模块,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
文件迁移模块,用于周期性满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
可选地,所述的装置还包括:
存储管理模块,用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
文件访问模块,用于根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;指示所述存储管理模块从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
可选地,所述文件访问统计模块还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
所述存储管理模块还用于对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
所述文件迁移模块还用于周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
可选地,所述文件访问模块还用于当需要删除文件时,查询所述文件的全部存储路径;
所述文件迁移模块还用于删除所查询出的各存储路径上的文件。
可选地,所述文件访问模块还用于当需要重新写入文件时,查询所述文件的存储路径,指示所述存储管理模块从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;指示所述文件迁移模块删除所查询到的其它存储路径上的文件。
可选地,所述的装置还包括:
文件服务模块,用于在写入文件前将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
一种多种存储介质并存的系统,包括:
多种存储介质;所述多种存储介质至少包括第一存储介质和第二存储介质;所述第一存储介质包括一个或多个;所述第二存储介质包括一个或多个;
处理器,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;周期性对满足热化触发条件的文件进行复制,当所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值时,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
可选地,所述处理器还用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
可选地,所述处理器还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
可选地,所述处理器还用于当需要删除文件时,查询所述文件的全部存储路径;删除所查询出的各存储路径上的文件。
可选地,所述处理器还当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
可选地,所述处理器还用于在写入文件前将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
采用本发明所述的方法和装置,可以对不同种类的存储介质组成的集群进行统一管理,提供当存储介质的预定的性能参数存在较大差异时,使热点内容优先在预定的性能参数高的存储介质访问的特性;本发明的可选方案还能够实现文件的负载均衡,可以通过文件写入时优先选择预定的性能参数低的存储介质、自动的对冷化文件删除等方式来达到存储空间的均衡。本发明的可选方案还能够通过对原始文件划分出的片段的管理设置操作粒度;本发明还解决了存储文件在重新写入时的替换问题。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1(a)是共享存储时存储集群的应用场景示意图;
图1(b)是互斥存储时存储集群的应用场景示意图;
图1(c)是混合存储时存储集群的应用场景示意图;
图2(a)是存在两种存储介质时的应用场景示意图之一;
图2(b)是存在两种存储介质时的应用场景示意图之二;
图3是实施例一的在多种存储介质并存的系统中进行文件操作的方法的流程示意图;
图4是实施例二的在多种存储介质并存的系统中进行文件操作的装置的示意图;
图5(a)是实施例二应用于多种存储介质并存的系统中的概要示意图;
图5(b)是采用了实施例二所述的装置进行文件操作的示意图之一;
图5(c)是采用了实施例二所述的装置进行文件操作的示意图之二;
图6是实施例二的一种实现方式中,写入操作的流程示意图;
图7是实施例二的一种实现方式中,重新写入操作的流程示意图;
图8是实施例二的的一种实现方式中,删除操作的流程示意图;
图9是实施例二的的一种实现方式中,读取操作的流程示意图;
图10是实施例二的的一种实现方式中,文件迁移操作的流程示意图;
图11是实施例二的的一种实现方式中,文件冷化删除操作的示意图。
图12是实施例三的多种存储介质并存的系统的示意图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一、一种在多种存储介质并存的系统中进行文件操作的方法,所述多种存储介质至少包括一个或多个第一存储介质、和一个或多个第二存储介质;如图3所示,所述方法包括:
S110、根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
S120、周期性对满足热化触发条件的文件进行复制,当所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值时,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
本实施例中,所述文件是指由创建者所定义的一组相关信息的集合,逻辑上可分为有结构文件和无结构文件两种。在有结构文件中,文件由一组相似记录组成,如报考某学校的所有考生的报考信息记录,又称记录式文件;而无结构文件则被看成是一个字符流,比如一个二进制文件或字符文件,又称流式文件。可以认为,所述文件与通常意义上理解的文件的含义一致。
本实施例中,所述多种存储介质可以位于所述系统中的一个或多个存储设备上,一个存储设备中可以有一种或多种存储介质,而且一个存储设备中同一种存储介质可以有一个或多个。比如假设所述系统中有X个(X为正整数)存储设备(比如但不限于存储服务器),其中Y个(Y为≤X的正整数)存储设备上有一个或多个所述第一存储介质(比如但不限于SSD存储等),Z个(Z为≤X的正整数)存储设备上有一个或多个第二存储介质(比如但不限于SATA存储等);每一个存储介质的根路径及设备编号在所述系统中都是唯一的。
本实施例中,使用的不同存储介质由分布式文件系统或本地文件系统进行管理,具体应用时可以使用一个根路径对应一个存储介质,不同的存储介质和访问该存储介质的客户端可以在同一个存储总线上(不同存储介质使用同一个存储控制器进行管理),在使用分布式文件系统时,可能文件系统能访问不在本机存储控制器管理的磁盘,访问时所述不在本机存储控制器管理的磁盘能体现为一个存储路径。
本实施例中,不同种类的存储介质(比如所述第一、第二存储介质)的性能可以接近(即所述预定的性能参数的差值绝对值小于或等于预设阈值),也可以具有明显差异(即所述预定的性能参数的差值绝对值大于预设阈值)。
比如,当对某一个第二存储介质中满足热化触发条件的文件进行复制时,如果所述第一存储介质的预定的性能参数高于第二存储介质且差值绝对值大于预设阈值,则复制时优先复制到所述第一存储介质中;如果所述第一存储介质的预定的性能参数低于第二存储介质且差值绝对值大于预设阈值,则复制时优先复制到所述第二存储介质中;如果两种存储介质预定的的性能参数的差值绝对值小于或等于预设阈值,则可以自行设置复制策略,比如可以复制到任一种存储介质中,也可以优先复制到第一或第二存储介质。
本实施例中,所述预定的性能参数包括但不限于所述存储介质的I/O(Input/Output,输入/输出)速度。为了方便说明,后文将预定的性能参数高的存储介质简称为高性能存储介质或性能高的存储介质,将预定的性能参数低的存储介质简称为低性能存储介质或性能低的存储介质。
在多种存储介质并存的系统中,文件存储不全部共享,当访问的文件成为热点后,相应文件需要存在多个副本;本实施例中,如果多种存储介质的性能有较大差异(即所述特定的性能参数的差值绝对值大于预设阈值),则成为热点的文件的副本将会尽量多地放在性能高的存储介质上。
本实施例提供了一种在多种存储介质并存的存储集群中进行文件操作的方法,能够灵活的达到优先在高性能存储介质上部署热点内容的效果。
进一步地,当满足热化触发条件的文件在多个存储设备中的存储介质上都存在时,可根据预定的负载均衡策略选择作为源设备的存储介质,即选择将哪一个存储设备中的哪一个存储介质上存储的所述满足热化触发条件的文件作为源文件进行复制。每次复制时可以只复制出一个新的文件(即副本),也可以复制出多个新的文件。
可选地,所述方法还包括:
当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;
当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
本可选方案中,根据所选择的存储介质的根路径记录所述文件的存储路径的步骤包括多种实现方式;比如可以将存储介质的根路径和文件在存储介质上的相对路径分开记录,相应地,查询时可以是分别查询根路径和相对路径,拼接为绝对路径后反馈给需要写入/读取文件的应用程序。也可以将存储介质的根路径和文件在存储介质上的相对路径拼接为绝对路径,将该绝对路径记录为存储路径,相应地,查询到的是拼接后的绝对路径。还可以由应用程序记录文件的相对路径,或根据预定规则和文件编号/文件名或其它文件标识计算出文件的相对路径,此时记录/查询/反馈的可以只有根路径。
本可选方案可保证内容优先在性能低的存储介质上发布以兼顾存储成本。
进一步地,当性能低的存储介质有多个时,还可以优先选择存储空间使用较少或存储容量大的存储介质。
进一步地,读取文件时可以优先选择性能高的存储介质对应的存储路径。
进一步地,写入或读取时,如果可供选择的存储介质有多个时,可根据预定的负载均衡策略选择其一。
本可选方案中,应用程序可以根据反馈的存储路径直接去文件系统写入和读取所述文件。还可以提供接口,从而让应用程序看到具体的存储路径,也可以只让应用程序看到一个虚拟的存储系统。另外,还可以控制应用程序编号可访问的存储空间,实际上完成了应用程序的存储设备/介质的分配。
在其它可选方案中,文件访问也可以不查询文件的存储路径,直接访问,访问失败后,由应用层控制下一步处理。
考虑到存储设备的空间有限,因此还需要不断进行内容的老化。除了文件形成热点后需要复制,还需要在文件变冷时从存储介质上清除文件。可选地,所述方法还包括:
根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
本可选方案中,当文件不再是访问热点需要冷化时,可以自动删除该文件在存储介质上的存储数据,而且优先删除高性能存储介质中的该文件。
所述热化触发条件及冷化触发条件可自行设置。
可选地,所述方法还包括:
当需要删除文件时,查询所述文件的全部存储路径;
删除所查询出的各存储路径上的文件。
可选地,所述方法还包括:
当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
本可选方案中,所述应用程序根据反馈的存储路径去文件系统对相应的文件进行覆盖操作。进一步地,选择时可优先选择性能低的存储介质对应的存储路径。进一步地,如果可供选择的存储介质有多个时,可根据预定的负载均衡策略选择其一。
可选地,写入文件前还包括:
将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;
所述读取文件前还包括:
根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
本可选方案中,内部存储时可指定原始文件要切割为片段后存储,上述文件是指原始文件分割后得到的片段。其它可选方案中,也可以不进行切割,该情况下所述文件是指原始文件本身,及原始文件的整体。
本可选方案可以控制内部文件使用的粒度。
实施例一中的各步骤可以分别采用多个功能模块实现,也可以全部步骤或部分步骤共用一个功能模块实现。
实施例二、一种在多种存储介质并存的系统中进行文件操作的装置,所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;如图4所示,所述装置包括:
文件访问统计模块102,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
文件迁移模块103,用于周期性满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
本实施例中,所述装置还可以包括文件访问模块101及存储管理模块104;可以但不限于由文件访问模块101根据所述文件访问统计模块102的筛选结果,指示存储管理模块104选择复制的目的设备、源设备;然后将所选择的目的设备、源设备通知给文件迁移模块103,由文件迁移模块103执行复制的操作。当然,所述文件迁移模块103也可以直接和所述文件访问统计模块102交互,根据筛选结果进行复制。
通过本实施例的装置可完成多种存储介质并存时的热点负荷分担,如果包含两种性能差距较大的存储介质,当文件较热时,可优先在更高性能的存储介质上进行服务。
可选地,所述存储管理模块104用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
所述文件访问模块101用于根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;指示所述存储管理模块从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
可选地,所述文件访问统计模块102还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
所述存储管理模块104还用于对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
所述文件迁移模块103还用于周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
可选地,所述文件访问模块101还用于当需要删除文件时,查询所述文件的全部存储路径;
所述文件迁移模块103还用于删除所查询出的各存储路径上的文件。
可选地,所述文件访问模块101还用于当需要重新写入文件时,查询所述文件的存储路径,指示所述存储管理模块104从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;指示所述文件迁移模块103删除所查询到的其它存储路径上的文件。
可选地,如果需要采用文件分片存储,在目前介绍系统上,只要应用完成片段的应用层划分,就可以进行片段的调度和服务。
如果需要在系统层面完成分片文件的划分,则所述装置还包括:
文件服务模块,用于将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
其它实现细节可参见实施例一。
本实施例的一个具体例子中,所述装置包括:文件访问模块、文件访问统计模块、文件迁移模块及存储管理模块。
所述文件访问模块用于当写入文件时,将所述存储管理模块选择的存储介质的路径记录为所述文件的存储路径;读取文件时查询所述文件的存储路径;反馈查询到的存储路径给应用程序。
所述文件访问模块用于维护文件与存储路径的映射关系,文件写入和读取时确认文件具体的存储路径。
所述文件访问模块还用于当文件的访问信息满足热化/冷化触发条件,生成文件迁移或删除指令发送给文件迁移模块。所述文件迁移模块根据所述文件迁移或删除指令进行相应的操作。
所述存储管理模块用于维护各个路径和存储介质的对应关系。维护各存储设备的空间信息(可以包括其中各存储介质的空间信息),磁盘IO信息(可以包括其中各存储介质的IO信息),状态信息(可以包括其中各存储介质的状态信息)。维护应用程序和可使用存储设备/介质的对应关系。维护存储设备/介质间的负载均衡。
当文件写入时,由存储管理模块优先选择一种存储介质进行文件的写入。当写入文件时存储管理模块还可以根据负载均衡策略在所选择的种类的多个存储介质中选择一个。
当有内容需要写入时,应用程序访问文件访问模块,由文件访问模块和存储管理模块交互,确认本应用程序可使用的最优的存储路径反馈给应用程序,应用程序根据返回的存储路径进行文件的写入。
当有内容需要读取时,应用程序访问文件访问模块,由文件访问模块和存储管理模块交互,选择一个最优的可访问的路径返回给应用程序。
所述文件访问统计模块用于根据文件访问信息进行文件访问热度统计,根据热化、冷化算法,将达到热化/冷化触发条件的文件通知给文件访问模块,文件访问模块通过和存储管理模块进行交互,获取待复制或待删除的文件路径,然后生成迁移/删除指令通知文件迁移模块进行文件的调度或删除。
所述文件迁移模块收到请求,通过指定的方式(比如周期性执行或立刻执行),发起复制或删除操作,操作完成后,通知文件访问模块更新相应的文件信息,这样,下次再发起内容读取时,文件访问模块会重新选择相应文件对应的路径。
文件服务模块,用来管理原始文件到片段的划分和映射,和划分为片段后,片段的读取和写入。
文件服务模块在原始文件写入时,按原始文件大小或其他业务属性进行原始文件的切割,内部进行片段的命名,记录原始文件到片段的映射关系。当片段写入时,通过和文件访问模块交互,完成片段的写入。当文件读取时,由文件服务模块完成偏移量到片段的映射和读取,读取的策略还是通过文件访问模块来进行。该情况下,存储、访问的文件是原始文件划分成的各片段,因此进行访问信息统计、复制、写入、读取、冷化处理、删除等操作的对象都是所述片段,这样可以完成分片级的热度统计和分片的访问的负载均衡。
下面结合图5(a)~(c)对技术方案的实施来做进一步的详细描述。简单起见,下面的描述中,假定各存储介质组分别为不同存储介质,由更底层的分布式文件系统或本地文件系统进行管理,具体使用一个根路径对应一个存储介质,不同的存储介质和访问该存储介质的客户端在同一个存储总线上(不同存储介质使用同一个存储控制器进行管理),在使用分布式文件系统时,可能文件系统能访问不在本机存储控制器管理的磁盘,所述不在本机存储控制器管理的磁盘能体现为一个存储路径。
图5(a)所示为实施例二应用于多种存储介质的系统中的概要示意图,三个存储设备各包括存储介质1~n,一个存储设备中的存储介质1~n为同一种或不同种类的存储介质。应用程序由业务层的应用程序和承载层的应用程序代理组成,而承载层的管理程序代理模块(也属于实施例二提供的进行文件操作的装置)主要负责存储设备的信息的采集,和文件热化/冷化的执行。进行文件操作的装置完成具体的负载均衡和访问统计功能。需要执行业务操作时,应用程序先访问管理程序选择合适的存储介质,如剩余空间最大的存储介质,或磁盘IO量较小的存储介质,然后应用程序与所选择的存储介质所在的存储设备对应的应用程序代理通讯,由应用程序代理完成后续工作。
图5(b)所示为一个采用了实施例二所述的装置进行文件操作的示意图之一。实施例二所述的装置包括:文件访问模块101,文件访问统计模块102,文件迁移模块103,存储管理模块104,管理程序代理模块105。单台设备部署时,应用程序和应用程序代理可以作为一个模块。
图5(c)所示为一个采用了实施例二所述的装置进行文件操作的示意图之二。实施例二所述的装置包括:文件访问模块101,文件访问统计模块102,文件迁移模块103,存储管理模块104,管理程序代理模块105,文件服务模块106。
其中,文件服务模块106主要是隔离应用程序直接访问文件系统,并且控制完成文件的分片功能,每个文件在写入时由文件服务模块根据应用程序指定片段的大小,当原始文件写入超过片段的大小后,自动重新生成片段名,将每个片段各作为一个文件,并通过文件访问模块101进行片段的写入。文件服务模块维护原始文件和片段的映射关系。当文件中的数据需要读取时,由文件服务模块106判断需要读取的数据是否跨片段,如果跨片段则由文件服务模块106根据新的片段发起文件读获取实际路径后,由文件服务模块106读取片段,并返回给应用程序,以完成读取。
文件服务模块106实际上包括两部分功能:文件分片管理,文件读写代理。实际上就是管理大的原始文件到小的片段的映射关系,根据偏移量和片段的大小进行新片段的生成和老片段的结束。而文件读写代理,一部分功能就是上面流程中的应用程序完成的功能,另一部分功能为读取数据传递给应用程序。
通过以上文件服务模块106的部署可完成文件细粒度的调度和服务的控制,如果文件较大可以分片存储,将每个片段各作为一个文件,片段访问热度较高时进行复制,如果原始文件较小或原始文件不需要考虑细粒度控制时不指定片段的大小即可,将原始文件整个作为一个文件。同时由于片段在文件服务模块内部处理,对应用来说实际上不感知片段的存在。同时由于不直接访问存储空间,当每个应用程序部署使用一个文件服务模块,这里可以实现应用程序使用的存储空间的隔离,防止跨应用程序的存储数据的异常访问。
存储管理模块104负责周期采集管理各存储设备的存储信息,包括各存储设备中各存储介质的存储空间和磁盘读写IO,是否可用。这里采集的信息主要是供其他模块如文件访问模块101或文件访问统计模块102选取一个负载低或空间剩余大的可用存储介质时使用。这里的存储路径的使用上,以单个磁盘为最小粒度,这样可以获取一个路径的访问统计信息。
在后面的描述过程中,省略了应用程序与存储设备对应的应用程序代理通讯过程,将应用程序和应用程序代理整体描述为应用程序。
当应用程序请求文件访问模块101时,文件访问模块101要根据其存储的文件到存储介质的映射路径,请求存储管理模块104选择一个负载低或空间剩余大的可用存储介质,确定文件使用的具体的存储路径后由应用程序直接根据具体的存储路径进行文件的写入或读取。当访问为读取时,文件访问模块101还要通知文件访问统计模块102进行文件访问信息统计。
文件访问统计模块102收到文件访问模块101通知后,对维护的该文件的访问统计信息进行更新。同时定时检查所有文件的统计信息是否有满足热化触发条件和/或冷化触发条件的文件需要处理,如果是满足热化触发条件,通知文件访问模块101进行复制,文件访问模块101,查询该文件已发布的存储介质,请求存储管理模块104选择一个已发布的负载低的可用存储介质作为该文件具体的源存储路径,和一个未发布过的可用的负载低或存储空间剩余大的存储介质作为该文件的目的路径。文件访问模块101将选择结果处理后发给文件迁移模块103。如果是满足冷化触发条件,通知文件访问模块101进行文件冷化删除,文件访问模块101查询该文件已发布的存储介质,请求存储管理模块104选择一个存储空间使用多的可用存储介质。文件访问模块101将选择结果处理后发给文件迁移模块103。
文件迁移模块103根据收到源路径和目的路径发起文件复制或根据收到的存储路径完成删除动作,完成后通知文件访问模块101,文件访问模块101将新的存储路径置为可用或将老的存储路径进行删除。
图6所示为实施例二的一种实现方式中,文件写入的具体流程。包括步骤401~410。
401、当应用程序需要写入文件时,应用程序确定需要写入的文件的相对路径或文件编号。
402、应用程序向文件访问模块101请求文件写入。
403、文件访问模块101记录文件信息,包括文件的相对路径或文件编号,并记录文件对应的应用程序编号。
404、文件访问模块101向存储管理模块104发起负载均衡请求(携带应用程序编号)。
405、存储管理模块104采用预设的负载均衡策略选择一个应用程序编号对应的、可访问的低性能存储介质所在的负载低或空间剩余大的存储介质(具体使用哪种负载均衡策略由配置决定),在负载均衡响应中返回所选择的存储介质的设备编号和存储介质对应的根路径。
406、文件访问模块101记录文件信息,包括:文件对应的应用程序编号,文件相对路径或文件编号,选中的存储介质的信息(包括根路径和设备编号),并将文件访问状态标记为新建。
407、文件访问模块101向应用程序返回文件写入路径响应,其中携带由根路径和相对路径拼接而成的绝对路径。
408、应用程序收到文件访问模块101的文件写入路径响应后,根据文件写入路径响应中拼接的绝对路径直接向文件系统发起文件写请求。
409、完成写操作后,应用程序发送写入结果通知给文件访问模块101,将文件大小上报文件访问模块101。
410、文件访问模块101找到原来记录的相应的文件信息,修改该文件信息,将文件访问状态标记为写入完成。
图7所示为实施例二的一种实现方式中,文件重新写入的具体流程。包括步骤501~510。
501、当文件需要重新写入时,应用程序确定需要重新写入的文件的相对路径或文件编号。
502、应用程序向文件访问模块101请求文件写入。
503、文件访问模块101查询记录的文件信息,筛选出该应用程序编号对应的的存储介质,将筛选出的存储介质的设备编号保存为已使用的设备编号列表。
504、文件访问模块101向存储管理模块104发起负载均衡请求(携带应用程序编号,已使用的设备编号列表)。
505、存储管理模块104采用预设的负载均衡策略,在已使用的设备编号列表所对应的各存储介质中,选择可访问的、低性能存储介质所在的负载低或空间剩余大的存储介质(具体使用哪种负载均衡策略由配置决定),在负载均衡响应中返回所选择的存储介质的根路径和设备编号。
506、文件访问模块101记录文件信息,包括文件对应的应用程序编号,文件相对路径或文件编号,选中的存储介质的信息(包括设备编号和根路径),并将所选中文件(即重新写入的文件)的文件访问状态标记为新建,将该文件的其它副本对应的文件信息中的文件访问状态标记为待删除。
507、文件访问模块101向应用程序返回文件写入路径响应,其中携带由选中的存储介质的根路径和相对路径拼接而成的绝对路径。
508、应用程序收到文件访问模块101的文件写入路径响应后,根据文件写入路径响应中拼接的绝对路径直接向文件系统发起文件覆盖写请求。
509、完成写操作后,应用程序发送写入结果通知给文件访问模块101,将文件大小上报文件访问模块101。
510、文件访问模块101找到原来记录的相应的文件信息,修改该文件信息,将所选中文件(即重新写入的文件)的文件访问状态标记为写入完成。其余待删除状态的记录由冷化流程保证删除。
图8所示为实施例二的一种实现方式中,文件删除的具体流程。包括步骤601~604。
601、当文件需要删除时,应用程序确定需要删除的文件的相对路径或文件编号。
602、应用程序向文件访问模块101请求文件删除。
603、文件访问模块101查询记录的文件信息,筛选出该应用程序编号对应的所有该文件的文件访问状态标记为待删除。待删除状态的记录由冷化流程保证删除。
604、文件访问模块101向应用程序返回文件删除响应;应用程序收到文件访问模块101的文件删除响应后,删除操作完成。
图9所示为实施例二的一种实现方式中,文件读取的具体流程。包括步骤701~709。
701、当应用程序需要读取文件时,应用程序确定需要读取的文件的相对路径或文件编号。
702、应用程序向文件访问模块101请求文件读取。
703、文件访问模块101查询记录的文件信息,获取已使用的设备编号列表。
704、文件访问模块101向存储管理模块104发起负载均衡请求(携带应用程序编号,已使用的设备编号列表)。
705、存储管理模块104采用预设的负载均衡策略选择已使用的设备编号列表所对应的各存储介质中,选择可访问的存储介质所在的负载低或空间剩余大的存储介质(优先选择高性能存储介质,具体使用哪种负载均衡策略由配置决定),在负载均衡响应中返回所选择的存储介质的根路径和设备编号。
706、文件访问模块101确认哪条文件信息可以匹配所选择的存储介质的设备编号,根据匹配的文件信息拼接出绝对路径作为最优访问路径。
707、文件访问模块101向文件访问统计模块102发送文件访问通知,其中携带所述最优访问路径。
708、文件访问模块101向应用程序返回文件读取路径响应,其中携带所述最优访问路径。
709、应用程序收到文件访问模块101的文件读取路径响应后,根据文件读取路径响应中拼接的绝对路径直接向文件系统发起文件读请求。
图10所示为实施例二的一种实现方式中,文件调度的具体流程。包括步骤801~810。
801、文件访问统计模块102周期性判断各应用程序编号对应的文件访问计数的热度,进行热化触发检查;如果一个文件在一个窗口范围超过热化点击阈值的次数大于预设的热化阈值,认为该文件满足热化触发条件,达到了复制到其他存储介质的条件。
802、文件访问统计模块102向文件访问模块101发送热化通知,通知文件访问模块101进行文件迁移处理。
803、文件访问模块101查询记录的文件信息,获取已使用的设备编号列表。
804、文件访问模块101向存储管理模块104发起负载均衡请求(携带应用程序编号,已使用的设备编号列表)。
805、存储管理模块104采用预定的负载均衡策略在已使用的设备编号列表所对应的存储介质以外的其余存储介质中,选择可访问的存储介质所在的负载低或空间剩余大的存储介质(优先选择高性能存储介质,具体使用哪种负载均衡策略由配置决定)作为目的设备,以及在设备编号列表所对应的存储介质中选择可访问的存储介质所在的负载低或空间剩余大的存储介质(具体使用哪种负载均衡策略由配置决定)作为源设备,在负载均衡响应中返回所选择的存储介质的根路径和设备编号。
806、文件访问模块101记录文件对应的应用程序编号,文件相对路径或文件编号,选中的存储介质的信息(包括根路径——即目的路径,和设备编号),并将文件访问状态标记为待迁移,记录待迁移文件所在的源设备的源路径。
807、文件访问模块101周期性发起文件迁移操作:将文件访问状态为待迁移的文件信息生成文件迁移任务发送给文件迁移模块103,并将文件访问状态标记为迁移中。
808、文件迁移模块103收到文件迁移任务后,从源路径读取内容,然后写入到目地路径中,
809、完成迁移任务后或迁移失败时,文件迁移模块103向文件访问模块101发送文件迁移结果通知。
810、文件访问模块101根据收到的文件迁移结果,更新记录的文件信息,将文件访问状态标记为写入完成或待迁移。
图11所示为实施例二的一种实现方式中,文件冷化删除的具体流程。包括步骤901~911。
901、文件访问统计模块102周期性判断某一个应用程序编号对应的文件访问计数的热度,进行冷化触发检查;如果一个文件在一个窗口范围低于点击阈值的次数小于预设的冷化阈值,认为该文件满足冷化触发条件。
902、文件访问统计模块102向文件访问模块101发送冷化通知,通知文件访问模块101进行文件删除处理。
903、文件访问模块101查询记录的文件信息,获取已使用的设备编号列表。
904、文件访问模块101向存储管理模块104发起负载均衡请求(携带应用程序编号,已使用的设备编号列表)。
905、存储管理模块104采用预设的负载均衡策略在已使用的设备编号列表对应的存储介质中,选择可访问的存储介质所在的负载高或空间使用大的存储介质(优先选择高性能存储介质,具体使用哪种负载均衡策略由配置决定),在负载均衡响应中返回所选择的设备的根路径和设备编号。
906、文件访问模块101记录文件对应的应用程序编号,文件相对路径或文件编号,选中的存储介质的信息(包括根路径和设备编号),并将文件访问状态标记为待删除。
907、文件访问模块101周期性检测文件访问状态为待删除的文件信息。
908、文件访问模块101发起文件删除操作:将文件访问状态为待删除的文件信息生成文件删除任务发送给文件迁移模块103,其中携带由906中的根路径和相对路径拼接处的绝对路径;并将文件访问状态标记为删除中。
909、文件迁移模块103收到文件删除任务后,从绝对路径删除文件。
910、完成删除任务后或删除失败时,文件迁移模块103向文件访问模块101发送文件删除结果通知。
911、文件访问模块101根据收到的文件删除结果,删除相应的文件信息或将文件访问状态标记为待删除。
实施例三、一种多种存储介质并存的系统,包括多种存储介质;所述多种存储介质至少包括第一存储介质和第二存储介质;所述第一存储介质包括一个或多个;所述第二存储介质包括一个或多个;
如图12所示,所述系统还包括:
处理器,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;周期性对满足热化触发条件的文件进行复制,当所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值时,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
可选地,所述处理器还用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
可选地,所述处理器还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
可选地,所述处理器还用于当需要删除文件时,查询所述文件的全部存储路径;删除所查询出的各存储路径上的文件。
可选地,所述处理器还当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
可选地,所述处理器还用于在写入文件前将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
其它实现细节可参见实施例一及实施例二。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (18)
1.一种在多种存储介质并存的系统中进行文件操作的方法,所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;其特征在于,所述方法包括:
根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
周期性对满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
2.如权利要求1所述的方法,其特征在于,还包括:
当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;
当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
3.如权利要求2所述的方法,其特征在于,还包括:
根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
4.如权利要求2所述的方法,其特征在于,还包括:
当需要删除文件时,查询所述文件的全部存储路径;
删除所查询出的各存储路径上的文件。
5.如权利要求2所述的方法,其特征在于,还包括:
当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
6.如权利要求2所述的方法,其特征在于,所述写入文件前还包括:
将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;
所述读取文件前还包括:
根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
7.一种在多种存储介质并存的系统中进行文件操作的装置,所述多种存储介质至少包括一个或多个第一存储介质、以及一个或多个第二存储介质;其特征在于,所述装置包括:
文件访问统计模块,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;
文件迁移模块,用于周期性满足热化触发条件的文件进行复制,如果所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
8.如权利要求7所述的装置,其特征在于,还包括:
存储管理模块,用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;
文件访问模块,用于根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;指示所述存储管理模块从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
9.如权利要求8所述的装置,其特征在于:
所述文件访问统计模块还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;
所述存储管理模块还用于对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;
所述文件迁移模块还用于周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
10.如权利要求8所述的装置,其特征在于:
所述文件访问模块还用于当需要删除文件时,查询所述文件的全部存储路径;
所述文件迁移模块还用于删除所查询出的各存储路径上的文件。
11.如权利要求8所述的装置,其特征在于:
所述文件访问模块还用于当需要重新写入文件时,查询所述文件的存储路径,指示所述存储管理模块从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;指示所述文件迁移模块删除所查询到的其它存储路径上的文件。
12.如权利要求8所述的装置,其特征在于,还包括:
文件服务模块,用于在写入文件前将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
13.一种多种存储介质并存的系统,其特征在于,包括:
多种存储介质;所述多种存储介质至少包括第一存储介质和第二存储介质;所述第一存储介质包括一个或多个;所述第二存储介质包括一个或多个;
处理器,用于根据所述系统中存储的各文件的访问统计信息,筛选出满足热化触发条件的文件;周期性对满足热化触发条件的文件进行复制,当所述第一存储介质、第二存储介质的预定的性能参数的差值绝对值大于预设阈值时,则对满足热化触发条件的文件进行复制时优先复制到所述预定的性能参数高的存储介质中。
14.如权利要求13所述的系统,其特征在于:
所述处理器还用于当有文件需要写入时,选择用于写入所述文件的存储介质;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数低的存储介质;根据所选择的存储介质的根路径记录所述文件的存储路径,将所记录的存储路径作为写入所述文件的路径;当需要读取文件时,查询所述文件的存储路径;从查询到的存储路径中选择一个存储路径作为读取所述文件的路径。
15.如权利要求14所述的系统,其特征在于:
所述处理器还用于根据所述系统中存储的各文件的访问统计信息,筛选出满足冷化触发条件的文件;对于各满足冷化触发条件的文件,分别在该文件的各存储路径中,选择至少一个存储路径作为删除文件的路径;当所述第一存储介质、第二存储介质的所述预定的性能参数的差值绝对值大于预设阈值时,优先选择所述预定的性能参数高的存储介质对应的存储路径;当所述预定的性能参数高的存储介质有多个时,优先选择存储空间使用多的存储介质对应的存储路径;周期性根据所选择的删除文件的路径删除满足冷化触发条件的文件。
16.如权利要求14所述的系统,其特征在于:
所述处理器还用于当需要删除文件时,查询所述文件的全部存储路径;删除所查询出的各存储路径上的文件。
17.如权利要求14所述的系统,其特征在于:
所述处理器还当需要重新写入文件时,查询所述文件的存储路径,从查询到的存储路径中选择一个;将所选择的存储路径作为修改所述文件的路径;删除所查询到的其它存储路径上的文件。
18.如权利要求14所述的系统,其特征在于:
所述处理器还用于在写入文件前将原始文件切割为多个片段,一个所述片段作为一个所述文件;保存各片段和所述原始文件之间的映射关系,以及片段的大小;读取文件前根据需要读取的数据与所述原始文件开头之间的偏移量、以及片段的大小,确定所述需要读取的数据所对应的片段,将所确定的片段作为需要读取的文件。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510483927.XA CN105183368A (zh) | 2015-08-07 | 2015-08-07 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
PCT/CN2016/078398 WO2017024802A1 (zh) | 2015-08-07 | 2016-04-01 | 多种存储介质并存的系统及进行文件操作的方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510483927.XA CN105183368A (zh) | 2015-08-07 | 2015-08-07 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105183368A true CN105183368A (zh) | 2015-12-23 |
Family
ID=54905477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510483927.XA Withdrawn CN105183368A (zh) | 2015-08-07 | 2015-08-07 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105183368A (zh) |
WO (1) | WO2017024802A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017024802A1 (zh) * | 2015-08-07 | 2017-02-16 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法、装置及计算机存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113541783A (zh) * | 2020-04-21 | 2021-10-22 | 中兴通讯股份有限公司 | 光模块及其参数传输、检测方法、控制方法、前传系统 |
CN115718571B (zh) * | 2022-11-23 | 2023-08-22 | 深圳计算科学研究院 | 一种基于多维度特征的数据管理方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010033578A (ja) * | 2008-07-30 | 2010-02-12 | Samsung Electronics Co Ltd | データ管理方法、記録媒体及びデータ保存システム |
CN102364465A (zh) * | 2011-09-30 | 2012-02-29 | 深圳市赫迪威信息技术有限公司 | 一种文件存储方法及存储集群 |
CN102508789A (zh) * | 2011-10-14 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种系统分级存储的方法 |
CN103139302A (zh) * | 2013-02-07 | 2013-06-05 | 浙江大学 | 考虑负载均衡的实时副本调度方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183368A (zh) * | 2015-08-07 | 2015-12-23 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
-
2015
- 2015-08-07 CN CN201510483927.XA patent/CN105183368A/zh not_active Withdrawn
-
2016
- 2016-04-01 WO PCT/CN2016/078398 patent/WO2017024802A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010033578A (ja) * | 2008-07-30 | 2010-02-12 | Samsung Electronics Co Ltd | データ管理方法、記録媒体及びデータ保存システム |
CN102364465A (zh) * | 2011-09-30 | 2012-02-29 | 深圳市赫迪威信息技术有限公司 | 一种文件存储方法及存储集群 |
CN102508789A (zh) * | 2011-10-14 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种系统分级存储的方法 |
CN103139302A (zh) * | 2013-02-07 | 2013-06-05 | 浙江大学 | 考虑负载均衡的实时副本调度方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017024802A1 (zh) * | 2015-08-07 | 2017-02-16 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法、装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2017024802A1 (zh) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9930118B2 (en) | Systems and methods for granular resource management in a storage network | |
CN103106152B (zh) | 基于层次存储介质的数据调度方法 | |
US9164692B2 (en) | System and method for allocation of organizational resources | |
US7631151B2 (en) | Systems and methods for classifying and transferring information in a storage network | |
US9355112B1 (en) | Optimizing compression based on data activity | |
US8112605B2 (en) | System and method for allocation of organizational resources | |
US7822749B2 (en) | Systems and methods for classifying and transferring information in a storage network | |
CN104615606B (zh) | 一种Hadoop分布式文件系统及其管理方法 | |
CN103605585B (zh) | 一种基于数据发现的智能备份方法 | |
WO2013061382A1 (ja) | 計算機システム及びストレージ管理方法 | |
CN103631940A (zh) | 一种应用于hbase数据库的数据写入方法及系统 | |
US20140201482A1 (en) | Selecting first data sets in a first storage group to swap with second data sets in a second storage group | |
CN109885642A (zh) | 面向全文检索的分级存储方法及装置 | |
CN105183368A (zh) | 多种存储介质并存的系统及进行文件操作的方法和装置 | |
US10289685B2 (en) | Information lifecycle governance | |
CN103380418A (zh) | 存储系统 | |
US8495315B1 (en) | Method and apparatus for supporting compound disposition for data images | |
CN109508140B (zh) | 存储资源管理方法、装置、电子设备及电子设备、系统 | |
US8478936B1 (en) | Spin down of storage resources in an object addressable storage system | |
KR101694299B1 (ko) | 클라우드 스토리지의 저장장치를 관리하기 위한 방법 및 메타데이터 서버 | |
CN114258532A (zh) | 用于合并备份策略的设备和方法 | |
CN116414620A (zh) | 一种数据备份方法、系统、装置及电子设备 | |
CN118193460A (zh) | 一种hdfs多租户回收站实现方法 | |
CN116501252A (zh) | 数据管理方法及装置 | |
WO2016027370A1 (ja) | アーカイブ制御システム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20151223 |