CN100538702C - 管理存储系统的方法和数据处理系统 - Google Patents

管理存储系统的方法和数据处理系统 Download PDF

Info

Publication number
CN100538702C
CN100538702C CNB2007100015083A CN200710001508A CN100538702C CN 100538702 C CN100538702 C CN 100538702C CN B2007100015083 A CNB2007100015083 A CN B2007100015083A CN 200710001508 A CN200710001508 A CN 200710001508A CN 100538702 C CN100538702 C CN 100538702C
Authority
CN
China
Prior art keywords
file
probability
storage space
strategy
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2007100015083A
Other languages
English (en)
Other versions
CN1996311A (zh
Inventor
J-P·阿克尔贝因
J·福特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1996311A publication Critical patent/CN1996311A/zh
Application granted granted Critical
Publication of CN100538702C publication Critical patent/CN100538702C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/185Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及管理存储系统的方法和数据处理系统,其中存储系统包括第一存储空间和第二存储空间,其中第一存储空间包括多个文件,其中为多个文件中的每个文件指定了至少一个属性,并且其中为每个属性分配了策略。所述方法包括:确定每个策略的策略特定的概率分布,以及使用策略特定的概率分布确定每个文件的策略特定的概率。所述方法还包括:使用每个策略特定的概率确定每个文件的总概率,以及将总概率等于1的所述多个文件中的每个文件从所述第一存储空间移动到所述第二存储空间。所述方法还包括:如果第一存储空间上使用的存储空间达到高阈值,则移动总概率在0和1之间的所述多个文件中的文件,直到达到低阈值,其中所述低阈值和高阈值是预定的。

Description

管理存储系统的方法和数据处理系统
技术领域
本发明一般地涉及用于管理存储系统的方法和数据处理系统,具体地说,涉及用于管理包括高速和较慢存储设备的存储系统的方法和数据处理系统。
背景技术
存储系统是用于管理和存储文件的系统。存储系统通常包括数个存储设备,其中一些为高速存储设备,如硬盘驱动器,另一些为较慢的存储设备,如磁带驱动器。原则上,优选将所有文件保存在高速存储设备上,以便可以将这些文件快速提供给请求这些文件中的任何文件的应用。但是,较慢的存储设备比高速存储设备廉价,因此,配备具有较慢存储设备的存储系统会产生更加成本有效的存储系统。
存储系统需要管理由存储系统的存储设备保存的文件。存储系统使用各种概念以便决定是将文件放置在快速存储设备中还是放置在慢速存储设备中。对于存储系统,根据其决定在何处存储文件的策略的概念是公知的。在zOS上,通过数据工具存储管理系统(DFSMS)(其是来自IBM公司的商业系统)引入了此概念。同样是来自IBM公司的商业存储系统一部分的Tivoli Storage Manager还为备份和归档提供了类似的基于策略的存储管理。
策略一般指文件的属性并描述了根据属性对文件执行的操作。例如,存储系统可以包含1层存储和2层存储。所有旧文件应放置在2层存储(相对廉价的存储介质)中,而特定时间点之前的所有文件应放置在1层存储中。基于文件寿命属性的策略然后为:“将所有早于100天的文件从昂贵的(1层)存储设备移动到廉价的(2层)存储设备”。
控制不同大小文件的分布的策略的另一个实例是:“将大于10GB的文件从1层存储设备移
Figure C200710001508D0007094023QIETU
到2层存储设备”。可以合并这两个策略,以便只将100天以前且大于10GB的文件从一个存储设备移动到另一个存储设备。
管理不同存储设备上的文件分布的另一个概念称为分层存储管理(HSM)。例如,用于空间管理的Tivoli Storage Manager采用分层存储管理的概念。用于空间管理的Tivoli Storage Manager监视例如在1层存储设备与2层存储设备之间分布的文件系统的已用容量。如果达到1层存储上已用容量的高阈值,则将文件移动到2层存储,直到1层存储上的已用容量达到低阈值。然而,这意味着由于策略而可移动的文件仍然可能保留在1层存储上。例如,可根据上面给出的策略移动100天之前的文件,但是只要1层存储设备上存在足够的可用存储空间,所述文件仍位于1层存储设备上。
更糟的情况是,如果已100%填充了1层存储的容量,并且由于某个策略,仍需要将每个文件保留在1层存储上,则没有适于迁移到2层存储的文件。例如,通过应将100天以前的文件移动到2层存储这一策略来管理1层存储与2层存储之间的文件分布。如果没有100天之前的文件,则不会移动任何文件,即使1层存储的已用容量为100%。Tivoli StorageManagement分层存储管理的实现通过应用基于得分的策略解决了此问题。使用下式为每个文件计算各自的得分:得分=文件寿命×寿命因子+文件大小×大小因子。寿命和大小的因子可用于调整合格准则对文件寿命和大小的影响。现在通过文件的得分选择文件移动的候选者,以便首先移动具有最高得分的文件,而得分较低的文件将驻留在昂贵的介质上。这避免了文件系统空间不足的情况,但是系统管理员不再能够定义文件的确切寿命或大小以便文件变得适合于被移动。
因此,存在两个管理存储系统的概念。一个概念基于策略触发文件的迁移,而另一个概念基于高速存储设备的已用存储来触发文件的迁移。但是,这两个概念不能在没有相互干扰的情况下被合并。因此,需要一种改进的管理存储系统的方法和数据处理系统。
发明内容
根据本发明的实施例,提供了一种管理存储系统的方法,其中所述存储系统包括第一存储空间和第二存储空间,其中所述第一存储空间包括多个文件,其中通过至少一个属性来描述所述多个文件中的每个文件的特性,其中所述存储系统还将策略分配给每个属性,并且其中所述方法包括以下步骤:确定每个策略的策略特定的概率分布,以及使用策略特定或能力分布来确定每个文件的策略特定的概率。所述方法还包括以下步骤:使用每个策略特定的概率来确定每个文件的总概率,以及将总概率等于1的所述多个文件中的每个文件从所述第一存储空间移动到所述第二存储空间。所述方法还包括以下步骤:如果所述第一存储空间上使用的存储空间达到高阈值,则移动总概率在0和1之间的所述多个文件中的文件,直到达到低阈值,其中所述低阈值和所述高阈值是预定的。
通过至少一个属性来描述所述多个文件中的每个文件的特性。定义每个属性的策略并且对于每个策略,确定策略特定的概率分布。从所述策略特定的概率分布,确定每个文件的策略特定的概率。从所有策略特定的概率,可以确定每个文件的总概率。根据所述总概率,判定是否将文件从所述第一存储空间移动到所述第二存储空间。
根据本发明的方法尤其有利,因为两个概念,即基于策略的概念和容量使用率概念,可在彼此不干扰的情况下被采用。独立于所述第一存储空间上的可用存储来迁移总概率为1的文件,而当所述第一存储空间上的已用容量增加到最高阈值之上时移动总概率在0和1之间的文件。此外,不考虑迁移概率为0的文件。
根据本发明的实施例,如果文件的至少一个策略特定的概率等于1,则所述文件的总概率等于1,并且如果文件的至少一个策略特定的概率等于0,则所述文件的总概率等于0。通过将每个文件的策略特定的概率相加来确定文件的总概率,其中如果文件的所有策略特定的概率在0和1的范围之内,则将每个策略特定的概率乘以优选的权重因子。如果文件的任一策略特定的概率等于1,则将该文件的总概率确定为1,这表示将所述文件从所述第一存储空间迁移到所述第二存储空间。此外,如果文件的至少一个策略特定的概率等于0,则将该文件的总概率确定为0,这表示不将此文件从所述第一存储空间迁移到所述第二存储空间。如果通过将每个文件的策略特定的概率相加来确定总概率,则同样按照结果在0和1之间的方式来确定概率。例如,这可以通过将总概率正规化为最大值来实现。总概率在范围0和1之间的这些文件为合适的迁移候选者,并且可能在所述第一存储空间上的存储空间达到高阈值时进行迁移。
根据本发明的实施例,如果所述第一存储空间上使用的存储空间达到高阈值,并且如果所述多个文件中包括的所有文件的总概率等于0,则从所述多个文件移动文件直到达到低阈值。这表示当所有文件的概率为0时,不考虑所述基于策略的概念。其优点是当所有文件的概率都为0(表示根据所述策略,假定所有文件都位于所述第一存储设备上),在所述第一存储设备上使用的容量达到高阈值时,仍会将这些文件移动到所述第二存储设备。这防止了所述基于策略的概念干扰所述空间利用率概念。
根据本发明的实施例,在具有较低总概率的文件之前移动具有较高总概率的文件。具体地说,这涉及所述第一存储设备上使用的容量达到最高阈值之后移动概率在0和1之间的文件的情况。然后,在移动概率较低的文件之前移动概率较高的文件,直到所述第一存储空间上使用的容量达到最低阈值。
根据本发明的实施例,如果只有一个属性描述文件的特性,则所述文件的总概率等于所述文件的策略特定的概率。
根据本发明的实施例,所述属性指文件的寿命或文件的大小。
根据本发明的实施例,通过变换来确定每个策略的策略特定的概率分布,其中通过关系数来描述所述变换的特性,并且其中所述关系数在范围-1和+1之间。
根据本发明的实施例,所述属性指文件名,并且其中分配给所述文件名的策略的策略特定的概率分布是预定的。
根据本发明的实施例,所述第一存储空间为1层存储,并且所述第二存储空间为2层存储。
根据本发明的实施例,通过1减去文件的总概率得出所述文件的业务值,并且使用每个文件的所述业务值对文件进行相互比较。
本发明的其他方面涉及一种计算机程序产品,所述计算机程序产品包括用于执行根据本发明的方法的计算机可执行指令。
本发明的其他方面涉及一种用于管理存储系统的数据处理系统,其中所述存储系统包括第一存储空间和第二存储空间,其中所述第一存储空间包括多个文件,其中通过至少一个属性来描述所述多个文件中的每个文件的特性,其中所述存储系统还将策略分配给每个属性,并且其中所述数据处理系统包括用于确定每个策略的策略特定的概率分布的装置,以及使用所述策略特定的概率分布来确定每个文件的策略特定的概率的装置。所述数据处理系统还包括使用所述策略特定的概率来确定每个文件的总概率的装置,以及用于将总概率等于1的所述多个文件中的每个文件从所述第一存储空间移动到所述第二存储空间的装置。所述数据处理系统还包括如果所述第一存储空间上使用的存储空间达到高阈值,则移动总概率在0和1之间的所述多个文件中的文件直到达到低阈值的装置,其中所述低阈值和所述高阈值是预定的。
附图说明
下面将仅通过实例的方式参考附图来描述本发明的实施例,这些附图是:
图1示出了承载存储系统的计算机系统的方块图;
图2示出了描述根据本发明的方法的基本步骤的流程图;
图3示出了如何通过使用变换来确定策略特定的概率分布;以及
图4示出了业务值的分布。
具体实施方式
图1示出了承载存储系统的计算机系统100的方块图。计算机系统100包括微处理器102、易失性存储器设备106、非易失性存储器设备108、监视器140以及键盘142。非易失性存储器设备108包括第一存储空间110和第二存储空间112。第一存储空间110保存多个文件114。文件116包括在多个文件114中。如每个文件一样,文件116的特性在此实例中由两个属性,即属性118和属性119来描述。微处理器102执行计算机程序产品104,计算机程序产品104包括用于执行根据本发明的方法的指令。计算机程序产品104、第一存储空间110和第二存储空间112是存储系统的组件。
定义引用属性118的策略120。定义引用属性119的另一个策略121。对于每个策略120,121,分别确定策略特定的概率分布122,123。对于多个文件114中的每个文件,通过使用相应的概率分布122和123来进一步确定策略特定的概率。例如,对于文件116,通过使用策略特定的概率分布122并考虑文件116的属性118来确定策略特定的概率124。此外,通过使用策略特定的概率分布123并考虑文件116的属性119来确定文件116的策略特定的概率125。
从策略特定的概率124和125得出每个文件的总概率126。将总概率为1的多个文件114中的每个文件从第一存储空间110移动到第二存储空间112。
监视第一存储空间110上的可用存储空间,并将表示已用存储空间130的相应值存储在易失性存储器设备106中。例如,高阈值132和低阈值134由系统管理员指定。计算机程序产品104可以例如请求系统管理员通过在监视器140上可视化请求来指定这些值。系统管理员然后可以例如通过使用键盘142为计算机系统100提供高阈值132和低阈值134。然后,将高阈值132和低阈值134存储在易失性存储器设备106中或者存储在非易失性存储器设备108中。
如果第一存储设备130上已用存储空间的值增加到高阈值132之上,则将概率在0和1之间的所有文件从第一存储空间110移动到第二存储空间112,直到已用存储空间130的值降到低阈值134以下为止。通常,首先移动概率较高的文件。在一个实施例中,如果文件(例如文件116)的一个策略特定的概率124或125等于1,则确定文件116的总概率126等于1。这意味着会将文件116从第一存储空间110移动到第二空间112。因此,如果文件116的一个策略特定的概率124或125等于0,则文件116的总概率126等于0。这意味着文件116将保留在第一存储空间110中。通过将文件116的策略特定的概率124、125相加,可进一步确定所有其他情况下的总概率126,其中分别用权重因子136、138乘以每个策略特定的概率124、125。为了确保总概率126仍在范围0和1之间,将和除以正规化因子。例如,如果和由两个策略特定的概率组成,则和可以被除以因子2,以便确保总概率126仍在范围0和1之间。可以由系统管理员来指定权重因子136和138。
例如,如图1所示,可以在单个非易失性存储器设备108中分配第一存储空间110和第二存储空间112。非易失性存储器设备108然后可以是硬盘驱动器,其上的第一存储空间110指一个分区,第二存储空间12指另一个分区,其中所有文件都例如以压缩的方式存储。第一存储空间110也可以是硬盘驱动器,而第二存储空间可以是磁带驱动器或任何其他低速存储设备。然后,两个驱动器可以通过例如互联网连接来连接。第一存储空间110也可以是存储系统的1层存储,而第二存储空间112是存储系统的2层存储。原则上,文件也可以分布在若干高速和低速设备上,并且根据本发明的方法用于将文件从高速存储设备迁移到低速存储设备。
图2是示出了用于执行根据本发明的方法的基本步骤的流程图。在步骤200中,确定每个策略的策略特定的概率分布。在步骤202中,通过使用策略特定的概率分布来确定每个文件的策略特定的概率。在步骤204中,通过已在步骤202中为每个文件确定的策略特定的概率来确定每个文件的总概率。在步骤206中,将总概率为1的文件从第一存储设备移动到第二存储设备。在步骤208中,当第一存储空间中使用的容量达到高阈值时,将总概率在0和1之间的文件从第一存储空间移动到第二存储空间,直到达到低阈值为止。
图3示出了如何通过使用变换来确定策略的策略特定的概率分布300。在此实例中,分配给每个文件的属性为文件寿命。所述策略指定将150天以前的每个文件从第一存储空间移动到第二存储空间。通过使用变换将布尔公式(如果文件超过150天,则移动文件为真;如果文件未超过150天,则移动文件为假)变换为概率分布,所述概率分布的特性由-1和+1之间(包括-1和+1)的区间内包含的关系数tf=[-1,1]来描述。策略特定的分布300是文件寿命302期间内在y轴304上显示的概率的函数。
策略的概率分布由概率分布312表示,其对应于tf=0的变换。禁用策略的概率分布由概率分布306表示,其对应于tf=-1的变换。禁用策略意味着所有文件都适合于独立于文件寿命进行移动。概率分布308和310是通过tf=-0.5和tf=-0.25的变换得出的概率分布。例如,使用概率分布310时,被移动的寿命为70天的文件的概率大约为0.25,而使用概率分布308时,文件的概率为0。
对于0<tf<1,必须指定最大寿命agemax,以便为p=1的文件的寿命计算(agemax-age)*tf,其中p在寿命为[age,...,agemax]的文件的范围中从0到1线性增加。还可以以其他方式来指定概率分布。在使用的变换中的重要因素是将布尔逻辑(真,假)变换成概率,这允许在文件级别上区分哪些文件较多或较少遵循策略。
还可以将未表示为基数的属性(如文件名)变换为概率。这可以通过如(
Figure C200710001508D0013094144QIETU
filei:matches(pattern,filei)→pi=p)的搜索模式来实现。例如,匹配模式“*.jpg”的所有文件将获得概率pi=pjpg=0.5,而匹配模式“*.doc”的其他文件将获得概率pi=pdoc=0.3。这意味着由于概率pjpg<pdoc,因此开始迁移文本文档之前,首先迁移所有图像文件。
如果将多个策略用于确定的适于迁移的文件,则可以独立计算每个属性的变换以便确定概率p。这导致一组概率p={p1,p2,...}与每个单个文件关联。从概率的子集,必须得出总概率ptotal。例如,可以通过下列规则得出ptotal
-如果p的子集的任意概率等于1,则ptotal=1。
-如果p的子集的任意概率等于0,则ptotal=0。
-否则ptotal=SUM(p0*w0,...,pn*wn)file/MAX(SUM(p0*w0...,pn*wn));
在最后的情况中,从概率的子集的加权和得出ptotal,其中通过w0,...,wn给出权重因子。例如,系统管理员可以指定权重因子。只需要除数将ptotal正规化为[0,...,1]。
概率1-pfile可解释为放置到1层存储或移动到廉价的2层存储的文件的业务值vb。vb=[0,1]要求将文件放置在某个存储层上,而vb=[0<vb<1]允许存储系统决定在何处放置文件。vb的绝对值允许比较文件及其业务值,以便决定移动哪些文件。
图4示出了以不同方式使用的文件系统的业务值的分布400。文件的业务值vp可解释为1减去文件的总概率p(vb=1-p)。作为总概率,vb的绝对值允许将文件相对于其业务值进行比较,并允许做出应移动哪些文件的决策。图4示出了作为文件的累计容量对文件系统容量百分比402的函数的各种文件系统406、408和410的文件的业务值404。
文件系统406包含80%不适于移动的较新文件,而文件系统408只包含30%的不适于移动的数据。文件系统406代表典型的文件系统。文件系统410包含的不应移动的数据低于20%,而所有文件中的大约55%需要移动。
根据提供的引入业务值vb的概念,可以使用考虑两个概念的新的迁移工具来替换类似HSM的存储管理上的阈值迁移工具。因此,需要定义代表要迁移的文件的实际业务值的业务值vb,threshold,以便将当前容量使用率降低到阈值本身以下。因此,所述工具可以遵循如下算法:
WHILE(vb,threshold==1)DO迁移vb=1的下一个文件;
END
WHILE(0<vb,thresholdvb<1)DO迁移具有最高vb的下一个文件;END
IF(vb,threshold==0)THEN发出将发生策略违规的警告;
可以在多层存储环境(如上面的实例显示用于两层体系结构的概念)中使用整个概念。由于需要定义每个附加层策略,因此需要为每个对象计算附加概率p。
作为此概念的最后扩展,可以定义每个策略的优先级。所述优先级提供了在所有策略中定义顺序的能力。如果概率为0的文件占用了第一存储层的容量,则唯一的选择是移动更多数据以避免空间不足的情况,以停用为文件集定义概率0的策略。如果存在多个定义概率0的策略,则优先级定义停用策略的顺序,以便使这些文件变得适于迁移到下一个存储层。由于此活动通常不是管理员预期的行为并且只是最后的操作手段,所以在这种情况下应发出警告,发信号通知阻止的空间不足的情况。
标号列表
100 计算机系统
102 微处理器
104 计算机程序产品
106 易失性存储器设备
108 非易失性存储器设备
110 第一存储空间
112 第二存储空间
114 多个文件
116 文件
118 属性
119 属性
120 策略
121 策略
122 策略特定的概率分布
123 策略特定的概率分布
124 策略特定的概率
125 策略特定的概率
126 总概率
130 已用存储空间的值
132 高阈值
134 低阈值
136 权重因子
138 权重因子
140 监视器
142 键盘
300 分布
302 指文件寿命的x轴
304 指概率的y轴
306 概率分布
308 概率分布
310 概率分布
312 概率分布
400 业务值分布
402 以百分比显示文件累计容量对文件系统容量的x轴
404 显示业务值的y轴
406 文件系统
408 文件系统
410 文件系统

Claims (19)

1.一种管理存储系统的方法,所述存储系统包括第一存储空间(110)和第二存储空间(112),所述第一存储空间(110)包括多个文件(114),所述多个文件中的每个文件(116)的特性由至少一个属性(118、119)来描述,所述存储系统还将策略(120、121)分配给每个属性(118、119),所述方法包括:
确定每个策略(120、121)的策略特定的概率分布(122、123);
通过使用所述策略特定的概率分布(122、123)来确定每个文件(116)的策略特定的概率(124、125);
通过使用每个策略特定的概率(124、125)来确定每个文件(116)的总概率(126);
将总概率(126)等于1的所述多个文件(114)中的每个文件从所述第一存储空间(110)移动到所述第二存储空间(112);
如果所述第一存储空间(110)上使用的存储空间(130)达到高阈值(132),则移动总概率(126)在0和1之间的所述多个文件(114)中的文件,直到达到低阈值(134),所述低阈值(134)和所述高阈值(132)是预定的。
2.根据权利要求1的方法,所述方法还包括:
如果所述文件(116)的一个策略特定的概率(124、125)等于1,则确定文件(116)的所述总概率(126)等于1;
如果所述文件(116)的一个策略特定的概率等于0,则确定文件(116)的所述总概率(126)等于0;
通过对每个策略特定的概率(124、126)乘以预定的权重因子(136、138)之后再将每个文件(116)的策略特定的概率(124、125)相加来确定所述总概率(126),其中通过因子正规化所述总概率(126),使所述总概率(126)位于0和1之间。
3.根据权利要求1或2的方法,所述方法还包括:如果所述第一存储空间(110)上使用的存储空间(130)达到高阈值(132),并且如果所述多个文件(114)中包括的所有文件的总概率(126)等于0,则移动所述多个文件(114)中的文件,直到达到低阈值(134)为止。
4.根据权利要求1或2的方法,其中在具有较低总概率的文件之前移动具有较高总概率的文件。
5.根据权利要求1或2的方法,其中如果只有一个属性描述文件的特性,则所述文件的总概率等于所述文件的策略特定的概率。
6.根据权利要求1或2的方法,其中属性(118、119)指文件的寿命或文件的大小。
7.根据权利要求1或2的方法,其中通过变换确定每个策略(120、121)的策略特定的概率分布(122、123),其中所述变换的特性由关系数来描述,其中所述关系数在包括-1和+1的范围-1和+1之间。
8.根据权利要求1或2的方法,其中所述属性指文件名,并且其中分配给所述文件名的策略的策略特定的概率分布是预定的。
9.根据权利要求1或2的方法,其中通过1减去文件的总概率来得出所述文件的业务值,并且其中使用所述业务值对文件进行相互比较。
10.根据权利要求1或2的方法,其中所述第一存储空间是1层存储,并且其中所述第二存储空间是2层存储。
11.一种管理存储系统的数据处理系统,所述存储系统包括第一存储空间(110)和第二存储空间(112),所述第一存储空间(110)包括多个文件(114),通过至少一个属性(118、119)来描述所述多个文件中的每个文件(116)的特性,所述存储系统还将策略(120、121)分配给每个属性(118、119),所述数据处理系统包括:
用于确定每个策略(120、121)的策略特定的概率分布(122、123)的装置;
用于通过使用所述策略特定的概率分布(122、123)来确定每个文件(116)的策略特定的概率(124、125)的装置;
用于通过使用每个策略特定的概率(124、125)来确定每个文件(116)的总概率(126)的装置;
用于将总概率(126)等于1的所述多个文件(114)中的每个文件从所述第一存储空间(110)移动到所述第二存储空间(112)的装置;
用于在所述第一存储空间(110)上使用的存储空间(130)达到高阈值(132)的情况下,移动总概率(126)在0和1之间的所述多个文件(114)中的文件,直到达到低阈值(134)的装置,所述低阈值(134)和所述高阈值(132)是预定的。
12.根据权利要求11的数据处理系统,所述数据处理系统还包括:
用于在文件(116)的一个策略特定的概率(124、125)等于1的情况下,确定所述文件(116)的所述总概率(126)等于1的装置;
用于在文件(116)的一个策略特定的概率等于0的情况下,确定所述文件(116)的所述总概率(126)等于0的装置;
用于通过对每个策略特定的概率(124、126)乘以预定的权重因子(136、138)之后再将每个文件(116)的策略特定的概率(124、125)相加来确定所述总概率(126)的装置,其中通过因子正规化所述总概率(126),使所述总概率(126)位于0和1之间。
13.根据权利要求11或12的数据处理系统,所述数据处理系统还包括:用于在所述第一存储空间(110)上使用的存储空间(130)达到高阈值(132),并且所述多个文件(114)中包括的所有文件的总概率(126)等于0的情况下,移动所述多个文件(114)中的文件,直到达到低阈值(134)的装置。
14.根据权利要求11或12的数据处理系统,所述数据处理系统包括用于在具有较低总概率的文件之前移动具有较高总概率的文件的装置。
15.根据权利要求11或12的数据处理系统,其中如果只有一个属性描述文件的特性,则所述文件的总概率等于所述文件的策略特定的概率。
16.根据权利要求11或12的数据处理系统,其中属性(118、119)指文件的寿命或文件的大小。
17.根据权利要求11或12的数据处理系统,其中通过变换确定每个策略(120、121)的策略特定的概率分布(122、123),其中所述变换的特性由关系数来描述,其中所述关系数在包括-1和+1的范围-1和+1之间。
18.根据权利要求11或12的数据处理系统,其中所述属性指文件名,并且其中分配给所述文件名的策略的策略特定的概率分布是预定的。
19.根据权利要求11或12的数据处理系统,其中所述第一存储空间是1层存储,并且其中所述第二存储空间是2层存储。
CNB2007100015083A 2006-01-02 2007-01-04 管理存储系统的方法和数据处理系统 Active CN100538702C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06100011.3 2006-01-02
EP06100011 2006-01-02

Publications (2)

Publication Number Publication Date
CN1996311A CN1996311A (zh) 2007-07-11
CN100538702C true CN100538702C (zh) 2009-09-09

Family

ID=38251401

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007100015083A Active CN100538702C (zh) 2006-01-02 2007-01-04 管理存储系统的方法和数据处理系统

Country Status (2)

Country Link
US (1) US7693884B2 (zh)
CN (1) CN100538702C (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5081498B2 (ja) * 2007-05-24 2012-11-28 株式会社日立製作所 計算機システム、および、その制御方法
US8117235B1 (en) * 2008-09-29 2012-02-14 Emc Corporation Techniques for binding resources for use by a consumer tier
JP2010257094A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 階層ストレージ管理システムにおける移動候補ファイルの抽出方法
US9785641B2 (en) 2011-04-01 2017-10-10 International Business Machines Corporation Reducing a backup time of a backup of data files
CN103186566B (zh) * 2011-12-28 2017-11-21 中国移动通信集团河北有限公司 一种数据分级存储方法、装置及系统
US10057726B2 (en) * 2012-10-02 2018-08-21 Razer (Asia-Pacific) Pte. Ltd. Managing user data on an electronic device
WO2014149025A1 (en) * 2013-03-18 2014-09-25 Ge Intelligent Platforms, Inc. Apparatus and method for optimizing time series data store usage
CN105631035B (zh) * 2016-01-04 2018-04-17 北京百度网讯科技有限公司 数据存储方法和装置
US10397056B2 (en) 2016-12-16 2019-08-27 Google Llc Optimized digital component analysis system
CN108038168A (zh) * 2017-12-07 2018-05-15 中国南方航空股份有限公司 数据外存储方法
CN108664219A (zh) * 2018-05-07 2018-10-16 苏州恒成芯兴电子技术有限公司 数据存储装置与方法
US10929176B2 (en) * 2018-10-24 2021-02-23 EMC IP Holding Company LLC Method of efficiently migrating data from one tier to another with suspend and resume capability
US10740103B2 (en) * 2018-10-26 2020-08-11 Google Llc Probabilistic techniques for formatting digital components
JP2020201574A (ja) * 2019-06-06 2020-12-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびアプリケーション実行方法
US12026132B2 (en) * 2022-06-14 2024-07-02 Rubrik, Inc. Storage tiering for computing system snapshots

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088767A (en) * 1993-04-30 2000-07-11 International Business Machines Corporation Fileserver buffer manager based on file access operation statistics
US5802301A (en) * 1994-05-11 1998-09-01 International Business Machines Corporation System for load balancing by replicating portion of file while being read by first stream onto second device and reading portion with stream capable of accessing
DE4431237A1 (de) * 1994-09-02 1996-03-07 Bosch Gmbh Robert Verfahren zur Gewinnung von bitspezifischen Zuverlässigkeitsinformationen
FR2767939B1 (fr) * 1997-09-04 2001-11-02 Bull Sa Procede d'allocation de memoire dans un systeme de traitement de l'information multiprocesseur
US6704753B1 (en) * 1998-01-29 2004-03-09 International Business Machines Corporation Method of storage management in document databases
US6839803B1 (en) * 1999-10-27 2005-01-04 Shutterfly, Inc. Multi-tier data storage system
US6779094B2 (en) * 2000-06-19 2004-08-17 Storage Technology Corporation Apparatus and method for instant copy of data by writing new data to an additional physical storage area
WO2002065329A1 (en) * 2001-02-14 2002-08-22 The Escher Group, Ltd. Peer-to peer enterprise storage
US6954833B1 (en) * 2001-06-29 2005-10-11 Emc Corporation Expedited dynamic mirror service policy
US7130866B2 (en) * 2002-07-30 2006-10-31 Koninklijke Philips Electronics N.V. Controlling the growth of a feature frequency profile by deleting selected frequency counts of features of events
US8671132B2 (en) * 2003-03-14 2014-03-11 International Business Machines Corporation System, method, and apparatus for policy-based data management
JP2005228170A (ja) * 2004-02-16 2005-08-25 Hitachi Ltd 記憶装置システム
US7233935B1 (en) * 2004-04-16 2007-06-19 Veritas Operating Corporation Policy-based automation using multiple inference techniques
US7330997B1 (en) * 2004-06-03 2008-02-12 Gary Odom Selective reciprocal backup
US8341345B2 (en) * 2005-08-08 2012-12-25 International Business Machines Corporation System and method for providing content based anticipative storage management
US7434011B2 (en) * 2005-08-16 2008-10-07 International Business Machines Corporation Apparatus, system, and method for modifying data storage configuration

Also Published As

Publication number Publication date
US7693884B2 (en) 2010-04-06
CN1996311A (zh) 2007-07-11
US20070255759A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
CN100538702C (zh) 管理存储系统的方法和数据处理系统
US6928450B2 (en) Storage apparatus acquiring static information related to database management system
US8700684B2 (en) Apparatus and method for managing a file in a distributed storage system
US9823875B2 (en) Transparent hybrid data storage
US8090924B2 (en) Method for the allocation of data on physical media by a file system which optimizes power consumption
US20070283091A1 (en) Method, computer and computer system for monitoring performance
US20120197845A1 (en) Apparatus and method for managing a file in a distributed storage system
CN107291889A (zh) 一种数据存储方法及系统
US10061781B2 (en) Shared data storage leveraging dispersed storage devices
WO2010124024A2 (en) Dynamic placement of replica data
CN103064639A (zh) 数据存储方法及装置
CN103455526A (zh) 一种etl数据处理方法、装置及系统
CN103020255A (zh) 分级存储方法和装置
US6981118B2 (en) Storage control system
CN110109868A (zh) 用于索引文件的方法、装置和计算机程序产品
US7752206B2 (en) Method and data processing system for managing a mass storage system
WO2018236429A1 (en) METADATA LOAD DISTRIBUTION MANAGEMENT
CN108431815A (zh) 在处理器网格中的分布式数据的去重复数据
CN104054076A (zh) 数据存储方法、数据库存储节点故障处理方法及装置
CN104246720A (zh) 确定用于去重复的段边界
CN115794945A (zh) 区块链数据存储方法、装置、可读存储介质及计算机设备
CN108132759A (zh) 一种文件系统中管理数据的方法和装置
EP1817674B1 (en) Cache for an enterprise software system
JP6115575B2 (ja) データセット多重度変更装置、サーバ、データセット多重度変更方法、およびコンピュータ・プログラム
US20100107161A1 (en) Method of Improving or Managing Performance of Storage System, System, Apparatus, and Program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant