CN109684271B - 快照数据管理方法、装置、电子设备及机器可读存储介质 - Google Patents
快照数据管理方法、装置、电子设备及机器可读存储介质 Download PDFInfo
- Publication number
- CN109684271B CN109684271B CN201811522381.4A CN201811522381A CN109684271B CN 109684271 B CN109684271 B CN 109684271B CN 201811522381 A CN201811522381 A CN 201811522381A CN 109684271 B CN109684271 B CN 109684271B
- Authority
- CN
- China
- Prior art keywords
- snapshot
- time point
- production
- historical time
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供快照数据管理方法、装置、电子设备及机器可读存储介质。在本申请中,基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;监测所述快照资源中的生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务进行快照数据迁移,实现了对快照数据灵活、统一的管理,并大幅降低了用户的硬件成本。
Description
技术领域
本申请涉及存储技术领域,尤其涉及快照数据管理方法、装置、电子设备及机器可读存储介质。
背景技术
在大数据时代,数据量越来越大,数据也越来越重要,把数据保存在专门的存储设备中,并通过存储设备的数据保护特性提高数据可靠性已经成为主流方式。
快照是存储设备的数据保护特性之一,也是应对“软灾难”的常用方案。软灾难,故名思议,指“软”的灾难,通常指由于误操作、软件Bug、病毒等导致生产数据逻辑上损坏或者不能读取。通过快照技术,在写入新数据前,可以把旧数据保存起来,这样当数据发生软灾难时,可以采用之前保存的旧数据来恢复,使数据回退到一个可用的时间平面。
发明内容
本申请提供一种快照数据的管理方法,所述方法包括:
基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;
基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;
依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;
监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
可选的,还包括:
监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述创建时间最老的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
可选的,所述快照仓库为自动精简配置卷。
可选的,还包括:
监测所述快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
可选的,还包括:
监测所述快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取所述快照仓库中创建时间最老的历史时间点,删除所述创建时间最老的历史时间点以及对应的快照数据。
可选的,在删除历史时间点以及对应的快照数据之后,所述快照仓库存在多个空闲的存储子空间,还包括:
记录所述快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
可选的,在将所述生产时间点对应的快照数据迁移到所述快照仓库时,还包括:
基于所述快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
可选的,在删除历史时间点以及对应的快照数据之后,还包括:
向所述快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
可选的,所述第二存储介质的存储性能低于所述第一存储介质的存储性能。
本申请还提出一种快照数据的管理装置,所述装置包括:
创建模块,用于基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;用于基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;
分析模块,用于依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;
处理模块,用于监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
可选的,还包括:
所述处理模块进一步,监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述创建时间最老的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
可选的,所述快照仓库为自动精简配置卷。
可选的,还包括:
所述处理模块进一步,监测所述快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
可选的,还包括:
所述处理模块进一步,监测所述快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取所述快照仓库中创建时间最老的历史时间点,删除所述创建时间最老的历史时间点以及对应的快照数据。
可选的,在删除历史时间点以及对应的快照数据之后,所述快照仓库存在多个空闲的存储子空间,还包括:
所述处理模块进一步,记录所述快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
可选的,在将所述生产时间点对应的快照数据迁移到所述快照仓库时,还包括:
所述处理模块进一步,基于所述快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
可选的,在删除历史时间点以及对应的快照数据之后,还包括:
所述处理模块进一步,向所述快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
可选的,所述第二存储介质的存储性能低于所述第一存储介质的存储性能。
本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述的方法。
本申请还提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现上述方法。
通过以上实施例,基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点,实现了对快照数据灵活、统一的管理,并大幅降低了用户的硬件成本。
附图说明
图1是一示例性实施例提供的一种快照数据的管理方法的流程图。
图2是一示例性实施例提供的一种快照数据的迁移流程图。
图3是一示例性实施例提供的一种快照数据的管理装置的框图。
图4是一示例性实施例提供的一种电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,下面先对本申请实施例涉及的快照相关技术,进行简单说明。
目前常用的快照技术包括:写拷贝和写重定向。所谓写拷贝即COW(Copy OnWrite),COW是最老的快照技术之一,其做法是在创建了新的快照后,当生产数据卷(简称为生产卷)的数据首次发生变化时,在向所述生产卷写入新数据前,把旧数据拷贝到其他的区域中,然后再覆盖原来的区域中旧数据;已拷贝的旧数据被提供给最新的快照使用,也称为快照数据,通常保存在不属于生产卷的额外的快照资源中。对于COW技术而言,一旦创建了新的快照,首次写入新数据到生产数据卷之前,需要把旧数据拷贝到快照资源中作为所述新的快照的快照数据,写入所述旧数据到快照资源的速度将影响所述生产卷上写入新数据的总响应时间,即,影响生产卷的性能,因此要求快照资源对应的存储空间的性能和生产卷对应的存储空间的性能相同。所谓写重定向即ROW(Redirect On Write),其是和COW并列的另一种快照技术,其做法是在创建了新的快照后,当生产卷的数据首次发生变化时,额外为新数据分配一块区域写入,而不是覆盖生产卷数据对应原来的区域,同时,把所述生产卷数据对应原来的区域中旧数据变成快照数据,提供给最新的快照使用。对于ROW技术而言,一旦创建了新的快照,生产卷中用户数据和快照数据交织到一起,其存储空间也交织到一起,因此用户数据占用的存储空间和快照数据占用的存储空间的性能是一致的。
随着时间推移,所述生产卷的快照个数变多,快照数据量也越来越大。快照数据对存储空间的性能要求和生产卷对存储空间的性能要求相同,将会导致用户的硬件成本急剧增加。
基于此,本申请提出一种快照数据的管理技术方案,该方案包括:
基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点,实现了对快照数据灵活、统一的管理,并大幅降低了用户的硬件成本。
下面通过具体实施例并结合具体的应用场景对本申请进行描述。
在对具体实施例及其方法描述前,本申请引入几个自定义概念,请参见如下:
历史时间点(History Point,简称HP):结合生产业务特征,存储设备基于预设快照策略,创建时间在距离当前时刻以前的一定时间范围以内的快照,称之为历史时间点。
生产时间点(Production Point,简称PP):结合生产业务特征,存储设备基于预设快照策略,创建时间在距离当前时刻以前的一定时间范围以后的快照,称之为生产时间点。生产时间点相对历史时间点,是指创建时间距离当前时刻较近的快照,即生产时间点对应较新的快照。
快照仓库(Snapshot Vault):快照仓库是由存储设备维护的一块存储空间,用于存储生产卷的历史时间点对应的快照数据,其基于的存储介质相对生产卷基于的存储介质的性能要低。
请参考图1,图1是本申请一实施例提供的一种快照数据的管理方法,应用存储设备;上述方法执行以下步骤:
步骤102、基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据。
这里的第一存储介质是指IDE(Integrated Drive Electronics)机械硬盘、SATA(Serial Advanced Technology Attachment)机械硬盘、SAS(Serial Attached SCSI)机械硬盘、SCSI(Small Computer System Interface)机械硬盘、SATA固态硬盘、SAS固态硬盘、任何类型的存储盘(如光盘、DVD等)、闪存、非易失性存储器或者类似的存储介质,或者它们的组合,或者基于上述存储介质创建的RAID,在本申请中不进行特别限定。
这里的快照数据是指一个或多个生产时间点对应的快照数据;所述快照是指生产卷预设有快照策略,存储设备按所述快照策略为所述生产卷生成的一系列快照。所述快照策略生成快照的时间策略在本申请中不进行特别限定,其具体可以至少包括按周期策略、按定时策略。在本申请所描述的快照,其具体实现模式可以包括COW、ROW等,在本申请中不进行特别限定。
这里的快照资源是指用于存放所述生产卷的生产时间点对应的快照数据。一个例子,比如:该快照资源可以是一个独立于生产卷之外的另一个数据卷,该数据卷和生产卷位于相同的第一存储介质。所述生产卷是一个或多个。
在本申请所描述的快照,其具体实现模式可以包括COW、ROW等,在本申请中不进行特别限定。
步骤104、基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据。
这里的快照数据是指一个或多个历史时间点对应的快照数据。这里的第二存储介质是指IDE(Integrated Drive Electronics)机械硬盘、SATA(Serial AdvancedTechnology Attachment)机械硬盘、SAS(Serial Attached SCSI)机械硬盘、SCSI(SmallComputer System Interface)机械硬盘、SATA固态硬盘、SAS固态硬盘、任何类型的存储盘(如光盘、DVD等)、闪存、非易失性存储器或者类似的存储介质,或者它们的组合,或者基于上述存储介质创建的RAID,在本申请中不进行特别限定,但存储设备所设置的第二存储介质的存储性能和硬件成本要低于步骤102中所述的第一存储介质的存储性能和硬件成本。
在示出的一种实施方式中,存储设备中的存储介质包含有SAS固态硬盘和SATA机械硬盘,存储设备基于类型为SAS固态硬盘的存储介质创建RAID1,在RAID1上创建快照资源;基于类型为SATA机械硬盘的存储介质创建RAID2,在RAID2上创建快照仓库,快照仓库实际对应一个存储卷,该存储卷的卷类型可以是普通卷、自动精简配置卷,在本申请中不作具体限定。
在示出的一种实施方式中,快照仓库对应存储卷的卷类型为自动精简配置卷,所述自动精简配置是一种新的存储容量分配的技术,即存储设备不会一次性的划分过大的空间给某项应用,而是根据该项应用实际所需要的容量,多次的少量的分配给该项应用。
在示出的一种实施方式中,存储设备监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
具体地,比如:所述快照资源容量是100GB,若所述空间使用率达到第一阈值时,比如:达到90%,则按预设扩容策略自动扩容快照资源,所述预设扩容策略在本申请中不作具体限定;如果自动扩容失败,则存储设备触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,具体可以是一个或多个生产时间点,将所述生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
步骤106、依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围。
具体地,是指存储设备结合生产业务特征,基于预设快照策略,预先确定创建时间在距离当前时刻以前的一定时间范围T以内的快照,对应为历史时间点,也即创建时间在距离当前时刻以前的一定时间范围T以后的快照为生产时间点。
比如:从某个时刻开始,存储设备基于预设快照策略,针对生产卷每隔1个小时创建一个快照,7天前的快照是历史时间点,每个快照最多保留30天。即,创建时间距离当前时刻小于等于7天的快照是生产时间点,其对应的快照数据保存在如步骤102所述的快照资源中;创建时间距离当前时刻大于7天且小于等于30天的快照作为历史时间点,其对应的快照数据需要被迁移到如步骤104所述的快照仓库。
步骤108、监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
存储设备基于预设快照策略创建快照,某一个快照的初始标记是生产时间点;随着时间的推移,该生产时间点的创建时间越来越旧,经存储设备监测,当该生产时间点的创建时间落在如步骤106所述的历史时间点的范围内时,该生产时间点将被判定为历史时间点。比如:生产时间点的创建时间距离当前时刻超过7天时,该快照将被判断为历史时间点。存储设备触发迁移任务,将所述生产时间点对应的快照数据从迁移到快照仓库,标记所述生产时间点为历史时间点。
至此,完成图1所示的流程,通过图1所示的流程可以看出,存储设备基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
应用本申请实施例,存储设备中所有生产卷的生产时间点及历史时间点的快照数据集中统一管理,一方面,历史时间点对存储性能要求较低,因此快照仓库可以采用低成本的存储介质;另一方面,生产时间点对应生产空间容量有限时,可及时把已是历史时间点对应的快照数据迁移至快照仓库中,以释放其占用的生产空间,满足了用户对快照数据灵活、统一的管理,并大幅降低了用户的硬件成本。
可选的,在示出的一种实施方式中,快照仓库对应存储卷的卷类型为自动精简配置卷,针对快照仓库中存储的历史时间点对应的快照数据,存储设备进行快照仓库空间管理,执行以下步骤:
a)存储设备监测快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
具体地,比如:从某个时刻开始,存储设备基于预设快照策略,针对生产卷每隔1个小时创建一个快照,7天前的快照是历史时间点,每个快照最多保留30天。即,创建时间距离当前时刻小于等于7天的快照是生产时间点,其对应的快照数据保存在如步骤102所述的快照资源中;创建时间距离当前时刻大于7天且小于等于30天的快照作为历史时间点,其对应的快照数据需要被迁移到如步骤104所述的快照仓库。随着时间推移,历史时间点的创建时间越来越旧,经存储设备监测,在已迁移到快照仓库的历史时间点中,若某个历史时间点的创建时间在如步骤106所述的历史时间点的范围外时,即,该历史时间点的创建时间距离当前时刻已经超过了30天,该历史时间点将被判定为已超期的历史时间点,则存储设备删除所述已超期的历史时间点以及对应的快照数据。
b)存储设备监测快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取快照仓库中创建时间最老的历史时间点,删除所述最老的历史时间点以及对应的快照数据。
具体地,比如:存储设备监测快照仓库的空间使用率,若所述空间使用率达到第二阈值时,比如:达到90%,则按预设扩容策略自动扩容快照仓库,所述预设扩容策略在本申请中不作具体限定;如果自动扩容失败,则存储设备获取快照仓库中创建时间最老的历史时间点,具体可以是一个或多个历史时间点,删除所述最老的历史时间点及其对应的快照数据。
c)存储设备在删除历史时间点以及对应的快照数据之后,快照仓库存在多个空闲的存储子空间,存储设备记录快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
具体地,在存储设备删除如步骤a)所述已超期的历史时间点以及对应的快照数据,或者删除如步骤b)所述最老的历史时间点以及对应的快照数据后,快照仓库中将出现空闲的物理存储空间,即空闲存储子空间。存储设备记录所述每个空闲存储子空间的存储状态,其中所述存储状态包括所述每个空闲存储子空间的起始地址和存储空间容量。所述多个空闲存储子空间是离散的,即某个空闲存储子空间A的起始地址Addr1+该空闲存储子空间A的存储空间容量ASIZE和其它空闲存储子空间B的起始地址Addr2+该空闲存储子空间B的存储空间容量BSIZE不相等。
可选的,存储设备在删除历史时间点及其对应的历史快照数据之后,向快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
具体地,在存储设备删除如步骤a)所述已超期的历史时间点以及对应的快照数据,或者删除如步骤b)所述最老的历史时间点以及对应的快照数据时,将向快照仓库对应的自动精简配置卷针对上述以删除的历史时间点以及对应的快照数据占用的存储空间发送unmap命令,所述自动精简配置卷将释放所述存储空间真实占用的物理空间,使得已释放的物理空间可以给其他的数据使用。所述unmap命令是自动精简配置卷的现有命令,在本申请中不作赘述。
d)存储设备将所述生产时间点对应的快照数据迁移到快照仓库时,存储设备基于快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
具体地,当如步骤102所述的存储设备将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,或者如步骤104所述的将所述创建时间最老的生产时间点对应的快照数据迁移到所述快照仓库时,存储设备基于快照仓库中空闲存储子空间状态为所述快照数据分配存储空间,用于将所述快照资源中所述生产时间点对应的快照数据迁移到快照仓库,如果存储设备获取的快照仓库的第一个空闲存储子空间不能满足所述快照数据的容量需求,需要从下一个可用存储子空间中继续分配,即所述快照数据可能占用1个或多个存储子空间,从空闲存储子空间状态中移除已分配的所述1个或多个存储子空间。如果所述快照数据需占用多个存储子空间,则需要在每个存储子空间中记录下一个存储子空间的起始地址(简称子空间索引),可约定在特定位置记录(比如存储子空间首部)。
在示出的一种实施方式中,如果某个历史时间点对应的快照数据占用1个或多个存储子空间,最后一个存储子空间记录的子空间索引可记录为NULL或其他特殊值。在示出的另一种实施方式中,如果某个历史时间点对应的快照数据占用1个或多个存储子空间,如果最后一个存储子空间未被占满,则不从空闲存储子空间状态中移除最后一个存储子空间,而是把最后一个存储子空间LS的结束地址,其中LS的结束地址=LS的起始地址+LS中需存储的快照数据量,作为空闲存储子空间状态中记录的该存储子空间的新的起始地址。在示出的另一种实施方式中,若存储设备无法找到剩余空闲的存储子空间或者已找到所有剩余空闲的存储子空间的存储容量之和小于某个历史时间点对应的快照数据的容量需求,则表明快照仓库存储容量已用光,直接返回快照仓库存储已满的告警提示。需要注意的是,当删除历史时间点以及对应的快照数据时,如果为该历史时间点对应的快照数据分配了多个存储子空间,需要根据子空间索引回收所述多个存储子空间。基于上述对快照仓库存储空间管理,实现了快照仓库存储空间统一灵活调配,提高了存储效率。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体应用场景对本申请实施例提供的技术方案进行说明。
针对生产卷LUN-A、LUN-B、LUN-C,存储设备分别预设有快照策略,每个快照策略具体配置包括:从2018年8月1日00:00:00开始,每隔1个小时自动创建快照,7天前的时间点是历史时间点,每个快照最多保留30天。
基于多个SAS固态磁盘,存储设备分别创建与生产卷LUN-A、LUN-B、LUN-C一一对应的多个快照资源SS-LUN-A、SS-LUN-B、SS-LUN-C,其中SS-LUN-A、SS-LUN-B、SS-LUN-C分别用于存放所述生产卷LUN-A、LUN-B、LUN-C的生产时间点对应的快照数据。基于多个SATA机械磁盘,存储设备创建快照仓库,其中所述快照仓库用于存放所述生产卷LUN-A、LUN-B、LUN-C的历史时间点对应的快照数据。在另一实施例中,还可以为LUN-A、LUN-B、LUN-C分别创建快照仓库,在本申请中不作赘述。
存储设备依据为所述生产卷LUN-A、LUN-B、LUN-C预设的快照策略,预先分别确定针对每个生产卷对应的历史时间点的范围,即创建时间距离当前时刻7天之外的快照是历史时间点。上述确定历史时间点的操作,可以在为生产卷启用快照时触发或者修改快照策略时更新。
存储设备按一定周期监测存储在快照资源SS-LUN-A、SS-LUN-B、SS-LUN-C中的生产时间点,若所述生产时间点在所述历史时间点的范围内,即创建时间在距离当前时刻7天之外的生产时间点将被判定为历史时间点,则触发迁移任务,将存储在快照资源SS-LUN-A、SS-LUN-B、SS-LUN-C上的创建时间在距离当前时刻7天之外的生产时间点对应的快照数据迁移到快照仓库,标记所述生产时间点为历史时间点。
具体地,请参见图2所示例,存储设备在执行将LUN-A对应存储在快照资源SS-LUN-A上的一个生产时间点对应的快照数据迁移到快照仓库的具体过程中,执行以下步骤:
步骤202、存储设备在快照仓库上预先创建历史时间点迁移表。
具体地,请参见表1所示例,是已存在多条生产卷历史时间点的快照迁移记录的迁移表。
表1
如上表所示,相关各个表项字段定义如下:
生产卷标识:表示某个历史时间点对应的生产卷。
时间点ID:表示某个生产卷上某个历史时间点的ID编号。生产卷标识+时间点ID可用于存储设备唯一标识一个历史时间点。
时间戳:表示对应某个历史时间点对应的快照的具体创建时间。
起始LBA地址:表示对应某个历史时间点对应的快照数据在快照仓库中存储的存储子空间的起始地址。
数据量:表示对应某个历史时间点对应的快照数据量。
迁移状态:表示对应某个历史时间点的迁移状态。迁移状态的初始值都是“迁移中”。
如上所述,其中生产卷LUN标识+时间点ID唯一确定了一条迁移记录。
步骤204、存储设备触发迁移任务,将一个原来是生产时间点,但已被更新标记为历史时间点对应的快照数据从快照资源迁移到快照仓库。
a)以迁移生产卷LUN-A的时间点ID为171的生产时间点为例。存储设备触发迁移任务前,预先获取最新的历史时间点迁移表,具体如表1所示例。
b)以生产卷标识为LUN-A,时间点ID为171为查询条件,查询所述最新的历史时间点索引表,确定不存在,则获取LUN-A的时间点ID为171的生产时间点的对应时间戳、对应快照数据量等,基于快照仓库中空闲存储子空间状态根据获取到的快照数据量分配1个或多个存储子空间,生成LUN-A的时间点ID为171相关的新记录,并追加至历史时间点迁移表中,然后开始迁移所述快照数据,具体如表2所示例。
表2
LUN-A的时间点ID为171的生产时间点,对应快照的具体创建时间为2018-09-0110:00:00,快照数据量为2GB,分配到的存储子空间的起始LBA地址为LBA-B-S6。
步骤206、在所述迁移任务完成后,存储设备更新所述历史时间点迁移表状态。
具体地,当LUN-A的时间点ID为171的生产时间点对应的快照数据已从快照资源SS-LUN-A迁移到快照仓库后,存储设备所述历史时间点迁移表中的时间点ID为171对应迁移记录的迁移状态,将“迁移中”更新为“已完成”。具体如表3所示例。
表3
至此,完成图2所示的迁移流程。
应用本技术方案,实现存储设备中所有生产卷的生产时间点及历史时间点的快照数据集中统一管理,一方面,历史时间点对存储性能要求较低,因此快照仓库可以采用低成本的存储介质;另一方面,生产时间点对应生产空间容量有限时,可及时把历史时间点对应的快照数据迁移至快照仓库中,以释放其占用的生产空间,满足了用户对快照数据灵活、统一的管理,并大幅降低了用户的硬件成本;再一方面,快照仓库中存储空间统一调配,真正做到了谁需要谁使用,而且快照仓库也不会成为影响生产性能的关键因素。
图3是本申请一示例性实施例提供的一种快照数据的管理装置的框图。与上述方法实施例相对应,本申请还提供了一种快照数据的管理装置的实施例,请参考图3所示例的一种快照数据的管理装置30,所述装置包括:
创建模块301,用于基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;
分析模块302,用于依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;
处理模块303,用于监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将所述在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
在本实施例中,还包括:
所述处理模块303进一步,监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
在本实施例中,所述快照仓库为自动精简配置卷。
在本实施例中,还包括:
所述处理模块303进一步,监测所述快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
在本实施例中,还包括:
所述处理模块303进一步,监测所述快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取所述快照仓库中创建时间最老的历史时间点,删除所述最老的历史时间点以及对应的快照数据。
在本实施例中,在删除历史时间点以及对应的快照数据之后,所述快照仓库存在多个空闲的存储子空间,还包括:
所述处理模块303进一步,记录所述快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
在本实施例中,将所述生产时间点的快照数据迁移到所述快照仓库时,还包括:
所述处理模块303进一步,基于所述快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
在本实施例中,在删除历史时间点以及对应的快照数据之后,还包括:
所述处理模块303进一步,向所述快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
在本实施例中,所述第二存储介质的存储性能低于所述第一存储介质的存储性能。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的系统、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本申请的快照数据的管理装置的实施例可以应用在图4所示的电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将机器可读存储介质中对应的计算机程序指令读取后运行形成的机器可执行指令。从硬件层面而言,如图4所示,为本申请的快照数据的管理装置所在电子设备的一种硬件结构图,除了图4所示的处理器、通信接口、总线以及机器可读存储介质之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
对应地,本申请实施例还提供了图3所示装置的一种电子设备的硬件结构,请参见图4,图4为本申请实施例提供的一种电子设备的硬件结构示意图。该设备包含:通信接口401、处理器402、机器可读存储介质403和总线404;其中,通信接口401、处理器402、机器可读存储介质403通过总线404完成相互间的通信。其中,通信接口401,用于进行网络通信。处理器402可以是一个中央处理器(CPU),处理器402可以执行机器可读存储介质403中存储的机器可读指令,以实现上述图1所示的方法。
本文中提到的机器可读存储介质403可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:易失存储器、非易失性存储器或者类似的存储介质。具体地,机器可读存储介质403可以是RAM(Radom Access Memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
至此,完成图4所示的硬件结构描述。
此外,本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质,例如图4中的机器可读机器可读存储介质403,所述机器可执行指令可由数据处理装置中的处理器402执行以实现以上描述的数据处理方法。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (20)
1.一种快照数据的管理方法,其特征在于,所述方法包括:
基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;
基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;
依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;
监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
2.根据权利要求1所述的方法,其特征在于,还包括:
监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述创建时间最老的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
3.根据权利要求1所述的方法,其特征在于,所述快照仓库为自动精简配置卷。
4.根据权利要求3所述的方法,其特征在于,还包括:
监测所述快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
5.根据权利要求3所述的方法,其特征在于,还包括:
监测所述快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取所述快照仓库中创建时间最老的历史时间点,删除所述创建时间最老的历史时间点以及对应的快照数据。
6.根据权利要求4或5所述的方法,其特征在于,在删除历史时间点以及对应的快照数据之后,所述快照仓库存在多个空闲的存储子空间,还包括:
记录所述快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
7.基于权利要求6所述的方法,其特征在于,在将所述生产时间点对应的快照数据迁移到所述快照仓库时,还包括:
基于所述快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
8.基于权利要求4或5所述的方法,其特征在于,在删除历史时间点以及对应的快照数据之后,还包括:
向所述快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
9.根据权利要求1所述的方法,其特征在于,所述第二存储介质的存储性能低于所述第一存储介质的存储性能。
10.一种快照数据的管理装置,其特征在于,所述装置包括:
创建模块,用于基于第一存储介质,创建与生产卷对应的快照资源,其中所述快照资源用于存放所述生产卷的生产时间点对应的快照数据;用于基于第二存储介质,创建与生产卷对应的快照仓库,其中所述快照仓库用于存放所述生产卷的历史时间点对应的快照数据;
分析模块,用于依据所述生产卷预设的快照策略,预先确定所述历史时间点的范围;
处理模块,用于监测所述快照资源中生产时间点,若所述生产时间点在所述历史时间点的范围内,则触发迁移任务,将在所述历史时间点的范围内的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
11.根据权利要求10所述的装置,其特征在于,还包括:
所述处理模块进一步,监测所述快照资源的空间使用率,若所述空间使用率达到第一阈值时触发自动扩容,如果自动扩容失败,则触发迁移任务,获取所述快照资源中创建时间最老的生产时间点,将所述创建时间最老的生产时间点对应的快照数据迁移到所述快照仓库,标记所述生产时间点为历史时间点。
12.根据权利要求10所述的装置,其特征在于,所述快照仓库为自动精简配置卷。
13.根据权利要求12所述的装置,其特征在于,还包括:
所述处理模块进一步,监测所述快照仓库中历史时间点,若所述历史时间点在所述历史时间点的范围外,则删除所述在所述历史时间点的范围外的历史时间点以及对应的快照数据。
14.根据权利要求12所述的装置,其特征在于,还包括:
所述处理模块进一步,监测所述快照仓库的空间使用率,若所述空间使用率达到第二阈值时触发自动扩容,如果自动扩容失败,则获取所述快照仓库中创建时间最老的历史时间点,删除所述创建时间最老的历史时间点以及对应的快照数据。
15.根据权利要求13或14所述的装置,其特征在于,在删除历史时间点以及对应的快照数据之后,所述快照仓库存在多个空闲的存储子空间,还包括:
所述处理模块进一步,记录所述快照仓库中空闲存储子空间的存储状态,其中所述存储状态包括所述空闲存储子空间的起始地址和存储空间容量。
16.基于权利要求15所述的装置,其特征在于,在将所述生产时间点对应的快照数据迁移到所述快照仓库时,还包括:
所述处理模块进一步,基于所述快照仓库中空闲存储子空间状态,为所述快照数据分配存储空间。
17.基于权利要求13或14所述的装置,其特征在于,在删除历史时间点以及对应的快照数据之后,还包括:
所述处理模块进一步,向所述快照仓库对应的自动精简配置卷发送unmap命令,释放所述历史时间点以及对应的快照数据占用的存储空间。
18.根据权利要求10所述的装置,其特征在于,所述第二存储介质的存储性能低于所述第一存储介质的存储性能。
19.一种电子设备,其特征在于,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行如权利要求1至9任一项所述的方法。
20.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811522381.4A CN109684271B (zh) | 2018-12-13 | 2018-12-13 | 快照数据管理方法、装置、电子设备及机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811522381.4A CN109684271B (zh) | 2018-12-13 | 2018-12-13 | 快照数据管理方法、装置、电子设备及机器可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684271A CN109684271A (zh) | 2019-04-26 |
CN109684271B true CN109684271B (zh) | 2020-09-01 |
Family
ID=66187672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811522381.4A Active CN109684271B (zh) | 2018-12-13 | 2018-12-13 | 快照数据管理方法、装置、电子设备及机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684271B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111090399A (zh) * | 2019-12-13 | 2020-05-01 | 北京浪潮数据技术有限公司 | 一种磁盘数据的在线迁移方法、装置、设备及介质 |
CN111090400B (zh) * | 2019-12-29 | 2022-03-22 | 浪潮(北京)电子信息产业有限公司 | 一种快照自动回滚的方法、装置及设备 |
CN112835521B (zh) * | 2021-02-01 | 2022-02-18 | 杭州宏杉科技股份有限公司 | 一种存储空间分配方法、装置 |
CN114237498B (zh) * | 2021-12-02 | 2023-08-11 | 上海道客网络科技有限公司 | 一种云原生存储数据卷的快照生成方法与系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040139125A1 (en) * | 2001-06-05 | 2004-07-15 | Roger Strassburg | Snapshot copy of data volume during data access |
CN108959614A (zh) * | 2018-07-17 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种快照管理方法、系统、装置、设备及可读存储介质 |
-
2018
- 2018-12-13 CN CN201811522381.4A patent/CN109684271B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109684271A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684271B (zh) | 快照数据管理方法、装置、电子设备及机器可读存储介质 | |
JP4733461B2 (ja) | 計算機システム、管理計算機及び論理記憶領域の管理方法 | |
JP5647203B2 (ja) | メモリページ管理 | |
CN109902034B (zh) | 快照创建方法、装置、电子设备及机器可读存储介质 | |
JP2013509658A (ja) | 将来の使用推量に基づく記憶メモリの割り当て | |
CN109614055B (zh) | 快照创建方法、装置、电子设备及机器可读存储介质 | |
US9767015B1 (en) | Enhanced operating system integrity using non-volatile system memory | |
CN106776147B (zh) | 一种差异数据备份方法和差异数据备份装置 | |
US8479046B1 (en) | Systems, methods, and computer readable media for tracking pool storage space reservations | |
CN103207883A (zh) | 用于元数据持久存储的方法 | |
US20100268689A1 (en) | Providing information relating to usage of a simulated snapshot | |
US11640244B2 (en) | Intelligent block deallocation verification | |
CN113377292B (zh) | 一种单机存储引擎 | |
CN106844491B (zh) | 一种临时数据的写入、读取方法及写入、读取装置 | |
CN109739688B (zh) | 快照资源空间管理方法、装置、电子设备 | |
CN109508140B (zh) | 存储资源管理方法、装置、电子设备及电子设备、系统 | |
CN107545022B (zh) | 磁盘管理方法及装置 | |
CN109284270B (zh) | 一种分布式文件系统存储模块的部署优化方法及装置 | |
CN110287064B (zh) | 一种磁盘数据的还原方法、装置及电子设备 | |
CN110196785B (zh) | 数据备份管理方法、装置及电子设备 | |
CN112181277B (zh) | 一种数据存储空间管理方法、装置、存储介质及电子设备 | |
CN109960611B (zh) | 数据恢复的方法、装置、电子设备及机器可读存储介质 | |
JP5203788B2 (ja) | 安全なデータ消去プロセス用のテープ・ドライブの割り振りを決定するための方法、コンピュータ・プログラム及びシステム | |
CN112835521B (zh) | 一种存储空间分配方法、装置 | |
CN106959888B (zh) | 云存储系统中的任务处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |