CN102929566B - 一种多级自适应存储方法 - Google Patents

Abstract

一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中：存储资源变动过程的触发条件为存储资源发生变动，存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分。本发明克服现有技术的不足，能够对外提供快速，可靠的存储服务。

Description

一种多级自适应存储方法

技术领域

本发明涉及一种多级存储方法。

背景技术

目前，随着遥感卫星从科学实验型走向工程实践，应用范围有了较大的拓展。当前地面系统存储系统采用的固定天数存储策略已经不能满足应用的需要。

固定天数存储策略是这样运行的。在地面系统设计初期，设计人员制定该卫星载荷的分级，一般按照处理程度可以把遥感卫星数据分为至少4级，分别进行了辐射校正，系统几何校正，带控制点的系统精校正，带地形的正射校正的处理。然后设计人员确定每一级产品数据的单产品大小，常规生产和订购生产比例。并依次计算出每一级产品的存储需求，每一级产品在不同存储区域的不同存储介质上的存储时间。最后得到整个地面系统的存储需求。

这样的估算包含很多不确定的因素，导致实际情况与预估出入很大。随着目前卫星载荷越来越复杂，处理流程和技术不断改进，用户的需求日益多样化，估算的结果离实际要求渐行渐远。具体表现在，一是存储资源没有得到充分利用，在线盘阵的使用率不高；二是用户的需求不能快速得到满足，产品在预先定义的在线周期结束后，不管是否仍然被用户使用，仍然从在线盘阵删除，后续的用户请求将导致数据再次从次级存储恢复。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种多级自适应存储方法，该方法能够快速、可靠的对外提供存储服务。

本发明的技术解决方案是：一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中：

存储资源变动过程的触发条件为存储资源发生变动，触发后的步骤如下：

(1)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；

(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表中；所述的可用资源表存储在管理层且由管理层维护；

(3)判断步骤(1)中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4)；否则直接转步骤(4)；

(4)存储资源变动过程结束。

存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如下：

第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；

第二步，管理层依照可用资源表，确定待执行的执行模块；

第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；

第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作，并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过程；

存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分；

其中策略表的维护步骤如下：

(a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定该文件的使用度；所述的使用度为该文件操作过程中所有优先级的和；

(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(c)；

(c)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线；

可用资源表的维护步骤如下：

管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。

本发明与现有技术相比有益效果为：

(1)本发明方法可以对由多个存储节点组成的分布式多级存储体系进行有效管理，根据存储节点的容量，速度，通过改变权重等可以使整个存储系统对外提供的存储服务快速，可靠。

(2)用户利用本发明方法进行多级存储操作，不需要关心产品数据具体存储在何地以及如何备份，能够非常容易的保证文件存储的可靠性。

(3)本发明方法的注册或注销步骤，可以实现根据实际应用时存储的负载情况增删节点而不会影响存储的稳定性，以保证存储具有可扩展性。

(4)本发明可以根据实际存储资源的利用情况进行存储策略的持续优化，提高整个存储分布的合理性。

附图说明

图1为本发明轴向剖视图；

图2为本发明存储资源变动过程流程图；

图3为本发明存储操作过程流程图；

图4为本发明存储策略调整及报警过程流程图。

具体实施方式

一种多级自适应存储方法，方法依托的存储系统如图1所示，包括主区和备区两个存储区，以及部署在每个存储区中的执行层和管理层；执行层和管理层之间通过网络通信；存储区每个区包含多个在线盘阵和多个近线带库；其中执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；迁移器负责通过磁带驱动器在线盘阵和近线带库之间进行数据迁移，管理的存储资源为磁带驱动器；生命周期负责同区内在线盘阵之间的数据迁移，管理的存储资源为在线盘阵；灾备负责主备区之间在线盘阵之间数据的迁移，管理的存储资源为主备区之间的网络；存储管理负责与近线带库通信，把适当的磁带装入磁带驱动器或者从磁带驱动器中卸载磁带，管理的存储资源为近线带库。生命周期和在线盘阵为多对多关系，每一个生命周期模块都可管理本区的所有在线盘阵；其他执行模块与存储资源为一一对应关系。

存储系统的控制中枢是管理层，系统默认为主区中的管理层工作，此时备区中的管理层不起作用，当主份出故障时，启用备区中的管理层。上述数据迁移实质就是数据之间的拷贝，为目前通用的处理处理技术，此处不进行详细说明。

本发明方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中：

存储资源变动过程的触发条件为存储资源发生变动，例如新增磁带驱动器、卸载一个在线盘阵、增加网络带宽等，触发后的步骤如图2所示，具体如下：

(1)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；

例如当需要新增磁带驱动器时，执行模块为迁移器，迁移器向管理层提出注册资源申请；当卸载一个在线盘阵，生命周期向管理层提出注销资源申请；当增加网络带宽，灾备向管理层提出注册申请。

(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表(表1)中；所述的可用资源表存储在管理层且由管理层维护；

(3)判断步骤(1)中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4)；否则直接转步骤(4)；

例如：当卸载一个在线盘阵，生命周期向管理层提出注销资源申请；判断该在线盘阵中的文件的重要程度，假设存在20个需要至少2个备份的重要文件，则需要对这20个文件中的每个文件都按照下述步骤处理：

判断文件分布表中该文件的份数在删除相应在线盘阵后是否少于2份，若少于2份，则管理层发出迁移命令，由生命周期将该文件迁移至另外一个在线盘阵，满足备份要求；

(4)存储资源变动过程结束；

存储操作过程的触发条件为根据预先设定的时间触发事件触发(一般为定期清理在线盘阵)，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如图3所示，具体如下：

第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；

文件分布表如表2所示：

表中1代表该存储资源包含该文件，反之为0。

例如当管理层接收到外部输入将文件File1进行归档的请求时，管理层根据表2的文件分布，将该文件存储在主区的标志为0的在线盘阵中，并同时更新表2。

当管理层接收到外部输入的提取文件的请求时，判断主区中在线盘阵和近线带库中是否包含该文件，若包含，则根据每个执行模块的功能进行数据迁移，最终由生命周期将文件迁移到目标在线盘阵。若主区中不包含该文件，则管理层先发出命令，由灾备将文件迁移至主区，再由生命周期将文件迁移到目标在线盘阵。

例1，提取文件File1，从表2中可以确定在线盘阵1中包含该文件，则需要的动作是利用生命周期完成在线盘阵之间文件的迁移。

例2，提取文件File2，从表2中可以确定主区的近线带库1中包含该文件，则需要的动作是利用存储管理模块将包含近线带库1中包含该文件的磁带装载到磁带驱动器k，由磁带驱动器k对应的迁移器k把File2迁移到主区的在线盘阵中，再由生命周期完成在线盘阵之间文件的迁移。

例3，提取文件File3，从表2中可以确定备区的在线盘阵1中包含该文件，则需要的动作是利用灾备模块1将备区在线盘阵中的File3通过网络迁移到主区在线盘阵，再由主区生命周期完成在线盘阵之间文件的迁移。

第二步，管理层依照可用资源表，确定待执行的执行模块；

管理层根据表1中的速度与权重，选择执行第一步动作的相应执行模块。

以例2作说明，管理层根据表1中的权重，存储管理将会把磁带装载带磁带驱动器1中，再由迁移器1把File2迁移到在线盘阵。

第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；

任务表如表3所示：

表3中，任务的执行状态分为5个状态，NOACTIVE表示该任务未激活；PENDING表示该任务等待执行；EXECUTING表示该任务在执行过程中；FAILED表示该任务执行失败；SUCCESS表示该任务执行成功。

表3表示的是例2管理层根据提取File2的任务发出的命令序列。

第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作，并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过程；

在例2中，管理层发出任务后，首先把命令1激活，当执行模块存储管理1把该命令1执行成功后，管理层把命令1置为SUCCESS状态，把紧后的序号命令2由NOACTIVE改为PENDING，这时迁移器1就可以执行命令2。同样执行模块迁移器1把命令2执行成功后，管理层把命令2置为SUCCESS状态，把紧后的序号命令3由NOACTIVE改为PENDING，这时生命周期就可以执行命令3。最后生命周期执行完命令3，就完成提取FILE2的任务。

存储策略调整及报警过程的触发条件为根据存储操作的次数(规定存储操作的次数超过10000次)或者根据预先设定的时间(例如每个月执行一次)触发，触发后的步骤如图4所示，包括策略表及可用资源表的维护两部分；

其中策略表的维护步骤如下：

(a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定该文件的使用度；所述的使用度为该文件操作过程中所有优先级的和；

例如，在一次统计中，涉及文件FILE2的操作，用户要求的优先级分别是3，5，5，4；则该次统计中，文件FILE2的使用度是3+5+5+4＝17。

(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(c)；

(c)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线；

例如，在一次统计中，文件FILE2的使用度是17，大于预先设定的阈值15，若FILE2是一个大文件(例如大于1M)，原先的FILE2在在线盘阵1在线天数是30天，则管理层把其在线天数延长至32天。

策略表中内容见表4.

可用资源表的维护步骤如下：

管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。

例如按照上面第四步中的步骤提取FILE2，所需时间为10分钟，没有超过执行该操作的合理时间范围，则将表1中迁移器1的权重降低，目的将迁移器1对应的磁带驱动器的损耗。其余情况都为增加权重，例如当例3中的命令执行情况证明该灾备对应的网络执行速度快时，则增加该灾备对应网络的权重。

应用实例

遥感卫星地面系统用于接收卫星下传的地球影像数据，根据地球影像数据的特点，例如对热点地区的影像关注度远远大于其他地区，利用本发明方法，将热点地区的影像文件始终存储到高速的存储资源中，保证珍贵的影像数据的冗余安全性。

本发明未详细说明部分属于本领域技术人员公知常识。

Claims (1)

1.一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；其特征在于：方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中：

存储资源变动过程的触发条件为存储资源发生变动，触发后的步骤如下：

(1)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；

(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表中；所述的可用资源表存储在管理层且由管理层维护；

(3)判断步骤(1)中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4)；否则直接转步骤(4)；

(4)存储资源变动过程结束；

存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如下：

第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；

第二步，管理层依照可用资源表，确定待执行的执行模块；

第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；

第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作，并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过程；

存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分；

其中策略表的维护步骤如下：

(a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定待统计文件的使用度；所述的使用度为该待统计文件操作过程中所有优先级的和；

(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(c)；

(c)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线；

可用资源表的维护步骤如下：

管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。