CN104407936B - 一种数据快照方法及装置 - Google Patents
一种数据快照方法及装置 Download PDFInfo
- Publication number
- CN104407936B CN104407936B CN201410655473.5A CN201410655473A CN104407936B CN 104407936 B CN104407936 B CN 104407936B CN 201410655473 A CN201410655473 A CN 201410655473A CN 104407936 B CN104407936 B CN 104407936B
- Authority
- CN
- China
- Prior art keywords
- data
- written
- reserved storage
- write
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
一种数据快照方法及装置。其中的方法包括:接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间;从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。还公开了相应的装置。本发明在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
Description
技术领域
本发明涉及存储技术领域,尤其涉及一种数据快照方法及装置。
背景技术
伴随着计算机技术的巨大发展,数据备份的重要性也逐渐凸显出来。传统地,人们一直采用数据复制、备份、恢复等技术来保护重要的数据信息,定期对数据进行备份或复制。但是这种备份方式的代价和成本比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标(Recovery Time Object,RTO)和恢复点目标(Recovery Point Object,RPO)也很长。由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行(如夜间)。另外,为了节省存储空间,通常结合全量备份和增量备份技术。
不过,这种数据备份方式存在一个显著的不足,即备份窗口问题。在数据备份期间,企业业务需要暂时停止对外提供服务。随着企业数据量和数据增长速度的加快,这个窗口可能会要求越来越长,这对于关键性业务系统来说是无法接受的。诸如银行、电信等机构,信息系统要求24x7不间断运行,短时的停机或者少量数据的丢失都会导致巨大的损失。因此,就需要将数据备份窗口尽可能地缩小,甚至缩小为零。数据快照(Snapshot)就是为了满足这样的需求而出现的数据保护技术。快照(Snapshot)是某个数据集在某一特定时刻的镜像,也称为即时拷贝,它是这个数据集的一个完整可用的副本。
常见的快照技术有写时拷贝(Copy On Write,COW)和写时重定向(Redirect OnWrite,ROW)。这些技术都是延迟数据保护操作到主机需要进行数据写时执行,从而达到瞬时完成数据保护目的。写时拷贝要求必须在保护数据完成拷贝后,主机写输入/输出(Input/Output,I/O)才能执行,同时,保护数据是以固定大小进行备份的,较大的增加了主机写I/O延时。
写时重定向是指,主机对快照源逻辑单元号(Logical Unit Number,LUN)进行写时,主机I/O直接重定向写入新的数据区域,不再更改源LUN现有空间中的数据。当主机对源LUN进行读操作时,I/O直接从新数据区域读取。写时重定向虽然不会对主机写性能影响,但是由于重定向写入的空间是由存储池随机分配的,存储池无法理解和保证源LUN空间连续性的要求,导致源LUN多次重定向写后,数据空间就会从连续的变成离散的。缓存的预读操作是只能支持连续数据空间的,是不能对离散的数据空间进行预读。结果是主机对源LUN进行读时,缓存命中率很低,几乎都需要从硬盘上读取数据,降低了读性能。
发明内容
本发明提供一种数据快照方法及装置,以保证快照即时完成备份,并且不影响源LUN的读写性能。
第一方面,提供了一种数据快照方法,包括:
接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间;
从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
在第一种可能的实现方式中,所述接收主机对源LUN的第一数据写入请求之前,所述方法还包括:
当接收到快照创建请求时,向所述主机申请快照保护空间和预留所述预留存储空间;
其中,所述快照对所述预留存储空间具有优先使用权。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
将所述源LUN存储空间的已有数据复制到所述快照保护空间。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述方法还包括:
将所述第一待写入数据从所述预留存储空间复制到所述源LUN存储空间;
清空所述预留存储空间。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第四种可能的实现方式中,所述方法还包括:
接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储空间的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
根据所述第二数据写入请求,获取待写入数据在所述预留存储空间的第二重定向写入起始地址;
从所述第二重定向写入起始地址开始,将所述待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续;
将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
第二方面,提供了一种数据快照装置,包括:
接收单元,用于接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
获取单元,用于根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间;
写入单元,用于从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
在第一种可能的实现方式中,所述装置还包括:
创建单元,用于当接收到快照创建请求时,向所述主机申请快照保护空间和预留所述预留存储空间;
其中,所述快照对所述预留存储空间具有优先使用权。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述装置还包括:
第一复制单元,用于将所述源LUN存储空间的已有数据复制到所述快照保护空间。
结合第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述装置还包括:
第二复制单元,用于将所述第一待写入数据从所述预留存储空间复制到所述源LUN存储空间;
清空单元,用于清空所述预留存储空间。
结合第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式,在第四种可能的实现方式中:
所述接收单元还用于:接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储空间的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
所述获取单元还用于:根据所述第二数据写入请求,获取待写入数据在所述预留存储空间的第二重定向写入起始地址;
所述写入单元还用于:从所述第二重定向写入起始地址开始,将所述待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续;
所述装置还包括:
第三复制单元,用于将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
可见,根据本发明提供的一种数据快照方法及装置,在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据快照方法的流程示意图;
图2为本发明实施例提供的另一种数据快照方法的流程示意图;
图3为本发明实施例的存储空间划分示意图;
图4为重定向存储空间申请流程示意图;
图5为本发明实施例提供的一种数据快照装置的结构示意图;
图6为本发明实施例提供的另一种数据快照装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的应用场景例如可以是数据库服务器、邮件服务器等,通过快照方式对数据库服务器、邮件服务器的数据进行即时备份。磁盘抽象为LUN,企业的业务数据存放直接访问的是LUN,并不是磁盘物理介质。LUN的封装保证了业务数据不用关心物理磁盘类型。当企业期望每隔较短时间备份一次业务数据时,可以选择快照技术。对LUN创建快照、备份数据后,LUN上的数据就被快照完整的保护,此时我们称LUN为快照源LUN。快照实现了在线数据备份与恢复,并提供了另外一个数据访问通道。
请参阅图1,为本发明实施例提供的一种数据快照方法的流程示意图,该方法包括以下步骤:
步骤S101,接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度。
主机通过I/O向存储池写入数据,存储池为物理存储空间,在本发明中,主机无需关心存储池的物理磁盘类型,可以直接访问源LUN。一个源LUN在存储池中对应具有一定的源LUN存储空间(Source Space)。数据写入请求包括源LUN存储空间的起始地址和数据长度。
步骤S102,根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间。
本发明在存储池中预留一块与源LUN存储空间同等大小或其大小大于源LUN存储空间的预留存储空间(Reserved Space),该空间并未实际分配,仅是快照拥有这块空间的优先使用权。快照向存储池申请预留一块空间,这块空间平时不对外,只能用于快照的空间使用要求。仅当存储池空间由于其他原因导致空间不足时,其他空间分配申请才能使用预留空间。本发明实施例在请求将数据写入源LUN时,直接重定向写入预留存储空间。
在快照程序使用该预留存储空间时,根据数据写入请求的待写入源LUN存储空间的起始地址和数据长度,获取待写入数据在预留存储空间的重定向写入起始地址。
步骤S103,从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
从获得的重定向写入起始地址开始,将待写入数据直接写入预留存储空间。由于预留存储空间的大小大于或等于源LUN存储空间,可以保证待写入数据在预留存储空间的连续性。而现有的重定向写入的空间是由存储池随机分配的,存储池无法理解和保证源LUN空间连续性的要求,导致源LUN重定向写后,数据空间就会从连续的变成离散的。缓存的预读操作是只能支持连续数据空间的,是不能对离散的数据空间进行预读。结果是主机对源LUN进行读时,缓存命中率很低,几乎都需要从硬盘上读取数据,降低了读性能。本实施例通过保证待写入数据在预留存储空间的连续性,对源LUN进行读时,直接读预留存储空间或源LUN,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
根据本发明实施例提供的一种数据快照方法,在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
请参阅图2,为本发明实施例提供的另一种数据快照方法的流程示意图,该方法包括以下步骤:
步骤S201,当接收快照创建请求时,向所述主机申请快照保护空间和预留所述预留存储空间;其中,所述快照对所述预留存储空间具有优先使用权。
当用户期望保护当前时间源LUN存储空间中的数据时,才创建快照。创建快照后,之后的任意时间段,主机都可以通过快照读取该时间点的数据,并能恢复源LUN到该时间点时的状态。创建快照的执行主体一般是自然人(如IT管理员,数据库管理员等)和备份软件。备份软件一般是定时(如每隔15分钟)创建一个快照。
如图3所示的本发明实施例的存储空间划分示意图,本发明在创建快照时,向存储池申请预留一块源LUN同等大小的空间或其大小大于源LUN存储空间的预留存储空间(Reserved Space),在本实施例中,优选申请与源LUN存储空间同等大小的预留存储空间。当存储池空间足够时,存储池会将该空间分配给快照。该空间并未实际分配,仅是快照拥有这块空间的优先使用权,其他非快照空间分配申请,仅当存储池空间不足时,存储池才能从Reserved Space中分配。
假设用户8:00对存放数据库数据的源LUN创建了一个快照。由于快照创建不涉及具体数据拷贝,能够瞬时完成。快照创建完成后,存储池中共有三个空间:源LUN存储空间(Source Space),预留存储空间(Reserved Space),快照保护空间(Protect Space),后两个空间为逻辑示意,未实际分配。
例如,存储区域的具体区间是:
Source Area:[0,100),Reserved Area:[100,200),Protect Space:[400,430)。
步骤S202,接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度。
8点10分,主机对源LUN进行创建快照后的第一次写操作,预期写入的区域(SourceArea)起始地址(Write_Start)为2,长度为3。数据内容为data new。一个快照只保护一个时间点的数据,示例中快照从概念上是生成了一个源LUN在8点时的数据映像。
步骤S203,根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间。
主机在写源LUN时,快照程序计算出保证源LUN连续性的重定向写入地址,以该地址向存储池指定申请从预留空间中分配数据存放区域(Redirect Area)。此时,计算主机写操作的重定向写入地址Redirect_Start。计算公式如下:
Redirect_Start=Reserved_Space_Start–Souce_Space_Start+Write_Start
其中,Redirect_Start为主机I/O重定向写入起始地址,Reserved_Space_Start为预留空间起始地址,Souce_Space_Start为源LUN空间起始地址,Write_Start为主机I/O写入空间的起始地址,故Redirect_Start=100-0+2=102。由此可知,主机I/O重定向写入区域Redirect Area为[102,105)。
如图4所示重定向存储空间申请流程示意图,快照检查[102,105)是否已经分配,当前场景下未分配,所以快照直接向存储池申请分配该空间。分配成功后,主机I/O直接重定向写入Redirect Area中。
步骤S204,从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
将待写入数据从获得的重定向写入起始地址开始,将待写入数据直接写入预留存储空间。由于预留存储空间的大小大于或等于源LUN存储空间,可以保证待写入数据在预留存储空间的连续性。本实施例通过保证待写入数据在预留存储空间的连续性,而源LUN存储空间的数据可以不发生变化,对源LUN进行读时,直接读预留存储空间,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
步骤S205,将所述源LUN存储空间的已有数据复制到所述快照保护空间。
判断源LUN Source Area中现有的数据内容data current是否已经在快照保护空间中。如果存在,说明Source Area在创建快照时的数据已经被保护了,主机I/O可直接写Source Area,对于当前示例来说,8:00时刻,Source Area是第一次写,data current数据不在快照保护空间中,需要对data current数据进行保护。data current数据在源LUN存储区域的地址为[0,3)。
由于重定向写入区域(Redirect Area)都是从预留存储区域中分配,并且由快照程序负责计算重定向写入区域,保证了主机I/O重定向写后,源LUN数据的连续性。从而不会影响源LUN的读性能。同时,将源LUN上Source Area中的data current数据镜像复制到快照保护空间中,在该示例中,data current数据镜像复制到快照保护空间中的地址为[400,403)。在主机没有对Redirect Area进行写后,再将Redirect Area中的data new数据镜像复制到源LUN的Source Area中,data new数据镜像复制到源LUN的Source Area中的地址为[2,5)。这些流程保证源LUN存储区域数据的连续性,不会由于主机写的重定向而导致源LUN数据的离散化。最后,将预留存储区域清空。
8点20分,主机对源LUN进行再次创建一个快照。之后源LUN上总共有两个快照。
此时快照保护空间中,有数据data current。源LUN空间中Source Area有数据data new。Reserve Area空间保留,但内容为空。
Source Area:[2,5)data new
Reserve Area:[102,105)
Protect Area:[400,403)data current。
步骤S206,接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储空间的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储空间的起始地址和数据长度。
步骤S207,根据所述第二数据写入请求,获取待写入数据在所述预留存储空间的第二重定向写入起始地址。
步骤S208,从所述第二重定向写入起始地址开始,将所述待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续。
步骤S209,将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
8点22分,主机继续写Source Area[2,5),写入的数据内容为data sec.对于第二个快照来说,Source Area中的data new是需要保护的,但是未在快照保护空间中。主机写I/O直接重定向到Reserved Area[102,105)。重定向后,空间数据内容如下:
Source Area:[2,5)data new
Reserved Area:[102,105)data sec
Protect Area:[400,403)data current
8点23分,主机对源LUN进行写操作,写入区域为[5,9),写入内容为data third。假设[5,9)中现有数据data current59。快照计算重定向地址,申请分配第二个预留分配区域Reserve Area2[105,109)。由于Reserve Area2和Reserve Area是连续的,可以合并。合并后的Reserve Area为[102,109)。重定向后,空间数据内容如下:
Source Area:[2,9)data new,data current59
Reserved Area:[102,109)data sec,data third
Protect Area:[400,403)data current
从上可以看出,主机重定向写入预期区域后,数据仍然是连续的。此时重定向到预期区域读数据时,可以使用缓存的预取功能从而提高了性能。预留存储区域中[102,109)的两部分重定向写入的数据data sec和data third,由于是地址连续的,可以两次重定向写入后,一并镜像复制到源LUN存储空间,提高存储效率。
本实施例通过保证待写入数据在预留存储空间的连续性,对源LUN进行读时,直接读预留存储空间或源LUN,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
根据本发明实施例提供的一种数据快照方法,在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
请参阅图5,为本发明实施例提供的一种数据快照装置的结构示意图,该装置1000包括:
接收单元11,用于接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度。
主机通过I/O向存储池写入数据,存储池为物理存储空间,在本发明中,主机无需关心存储池的物理磁盘类型,可以直接访问源LUN。一个源LUN在存储池中对应具有一定的源LUN存储空间(Source Space)。数据写入请求包括源LUN存储空间的起始地址和数据长度。
获取单元12,用于根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间。
本发明在存储池中预留一块与源LUN存储空间同等大小或其大小大于源LUN存储空间的预留存储空间(Reserved Space),该空间并未实际分配,仅是快照拥有这块空间的优先使用权。快照向存储池申请预留一块空间,这块空间平时不对外,只能用于快照的空间使用要求。仅当存储池空间由于其他原因导致空间不足时,其他空间分配申请才能使用预留空间。本发明实施例在请求将数据写入源LUN时,直接重定向写入预留存储空间。
在快照程序使用该预留存储空间时,根据数据写入请求的待写入源LUN存储空间的起始地址和数据长度,获取单元12获取待写入数据在预留存储空间的重定向写入起始地址。
写入单元13,用于从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
写入单元13从获得的重定向写入起始地址开始,将待写入数据直接写入预留存储空间。由于预留存储空间的大小大于或等于源LUN存储空间,可以保证待写入数据在预留存储空间的连续性。而现有的重定向写入的空间是由存储池随机分配的,存储池无法理解和保证源LUN空间连续性的要求,导致源LUN重定向写后,数据空间就会从连续的变成离散的。缓存的预读操作是只能支持连续数据空间的,是不能对离散的数据空间进行预读。结果是主机对源LUN进行读时,缓存命中率很低,几乎都需要从硬盘上读取数据,降低了读性能。本实施例通过保证待写入数据在预留存储空间的连续性,对源LUN进行读时,直接读预留存储空间或源LUN,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
根据本发明实施例提供的一种数据快照装置,在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
请参阅图6,为本发明实施例提供的另一种数据快照装置的结构示意图,该装置2000包括:
创建单元21,用于当接收快照创建请求时,向所述主机申请快照保护空间和预留所述预留存储空间;其中,所述快照对所述预留存储空间具有优先使用权。
当用户期望保护当前时间源LUN存储空间中的数据时,才创建快照。创建快照后,之后的任意时间段,主机都可以通过快照读取该时间点的数据,并能恢复源LUN到该时间点时的状态。创建快照的执行主体一般是自然人(如IT管理员,数据库管理员等)和备份软件。备份软件一般是定时(如每隔15分钟)创建一个快照。
如图3所示的本发明实施例的存储空间划分示意图,本发明在创建快照时,向存储池申请预留一块源LUN同等大小的空间或其大小大于源LUN存储空间的预留存储空间(Reserved Space),在本实施例中,优选申请与源LUN存储空间同等大小的预留存储空间。当存储池空间足够时,存储池会将该空间分配给快照。该空间并未实际分配,仅是快照拥有这块空间的优先使用权,其他非快照空间分配申请,仅当存储池空间不足时,存储池才能从Reserved Space中分配。
假设用户8:00对存放数据库数据的源LUN创建了一个快照。由于快照创建不涉及具体数据拷贝,能够瞬时完成。快照创建完成后,存储池中共有三个空间:源LUN存储空间(Source Space),预留存储空间(Reserved Space),快照保护空间(Protect Space),后两个空间为逻辑示意,未实际分配。
例如,存储区域的具体区间是:
Source Area:[0,100),Reserved Area:[100,200),Protect Space:[400,430)。
接收单元22,用于接收主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度。
8点10分,主机对源LUN进行创建快照后的第一次写操作,预期写入的区域(SourceArea)起始地址(Write_Start)为2,长度为3。数据内容为data new。一个快照只保护一个时间点的数据,示例中快照从概念上是生成了一个源LUN在8点时的数据映像。
获取单元23,用于根据所述第一数据写入请求,获取第一待写入数据在预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间。
主机在写源LUN时,计算出保证源LUN连续性的重定向写入地址,以该地址向存储池指定申请从预留空间中分配数据存放区域(Redirect Space)。此时,计算主机写操作的重定向写入地址Redirect_Start。计算公式如下:
Redirect_Start=Reserved_Space_Start–Souce_Space_Start+Write_Start
其中,Redirect_Start为主机I/O重定向写入起始地址,Reserved_Space_Start为预留空间起始地址,Souce_Space_Start为源LUN空间起始地址,Write_Start为主机I/O写入空间的起始地址,故Redirect_Start=100-0+2=102。由此可知,主机I/O重定向写入区域Redirect Area为[102,105)。
如图4所示重定向存储空间申请流程示意图,快照检查[102,105)是否已经分配,当前场景下未分配,所以快照直接向存储池申请分配该空间。分配成功后,主机I/O直接重定向写入Redirect Area中。
写入单元24,用于从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
将待写入数据从获得的重定向写入起始地址开始,将待写入数据直接写入预留存储空间。由于预留存储空间的大小大于或等于源LUN存储空间,可以保证待写入数据在预留存储空间的连续性。本实施例通过保证待写入数据在预留存储空间的连续性,而源LUN存储空间的数据可以不发生变化,对源LUN进行读时,直接读预留存储空间,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
第一复制单元25,用于将所述源LUN存储空间的已有数据复制到所述快照保护空间。
判断源LUN Source Area中现有的数据内容data current是否已经在快照保护空间中。如果存在,说明Source Area在创建快照时的数据已经被保护了,主机I/O可直接写Source Area,对于当前示例来说,8:00时刻,Source Area是第一次写,data current数据不在快照保护空间中,需要对data current数据进行保护。data current数据在源LUN存储区域的地址为[0,3)。
由于重定向写入区域(Redirect Area)都是从预留存储区域中分配,并且计算重定向写入区域,保证了主机I/O重定向写后,源LUN数据的连续性。从而不会影响源LUN的读性能。同时,第一复制单元25将源LUN上Source Area中的data current数据镜像复制到快照保护空间中,在该示例中,data current数据镜像复制到快照保护空间中的地址为[400,403)。在主机没有Redirect Area进行写后,第二复制单元再将Redirect Area中的datanew数据镜像复制到源LUN的Source Area中,data new数据镜像复制到源LUN的SourceArea中的地址为[2,5)。这些流程保证源LUN存储区域数据的连续性,不会由于主机写的重定向而导致源LUN数据的离散化。最后,清空单元27将预留存储区域清空。
8点20分,主机对源LUN进行再次创建一个快照。之后源LUN上总共有两个快照。
此时快照保护空间中,有数据data current。源LUN空间中Source Area有数据data new。Reserve Area空间保留,但内容为空。
Source Area:[2,5)data new
Reserve Area:[102,105)
Protect Area:[400,403)data current。
接收单元22还用于接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储区域的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储区域的起始地址和数据长度。
获取单元23还用于根据所述第二数据写入请求,获取待写入数据在所述预留存储空间的第二重定向写入起始地址。
写入单元24还用于从所述第二重定向写入起始地址开始,将所述待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续。
第三复制单元26,用于将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
8点22分,主机继续写Source Area[2,5),写入的数据内容为data sec.对于第二个快照来说,Source Area中的data new是需要保护的,但是未在快照保护空间中。主机写I/O直接重定向到Reserved Area[102,105)。重定向后,空间数据内容如下:
Source Area:[2,5)data new
Reserved Area:[102,105)data sec
Protect Area:[400,403)data current
8点23分,主机对源LUN进行写操作,写入区域为[5,9),写入内容为datathird。假设[5,9)中现有数据data current59。快照计算重定向地址,申请分配第二个预留分配区域Reserve Area2[105,109)。由于Reserve Area2和Reserve Area是连续的,可以合并。合并后的Reserve Area为[102,109)。重定向后,空间数据内容如下:
Source Area:[2,9)data new,data current59
Reserved Area:[102,109)data sec,data third
Protect Area:[400,403)data current
从上可以看出,主机重定向写入预期区域后,数据仍然是连续的。此时重定向到预期区域读数据时,可以使用缓存的预取功能从而提高了性能。预留存储区域中[102,109)的两部分重定向写入的数据data sec和data third,由于是地址连续的,可以两次重定向写入后,一并镜像复制到源LUN存储区域,提高存储效率。
本实施例通过保证待写入数据在预留存储空间的连续性,对源LUN进行读时,直接读预留存储空间或源LUN,从而可以保证缓存是对连续的数据空间进行预读操作,而重定向操作不影响写数据性能,从而整体提高了读写性能。
根据本发明实施例提供的一种数据快照装置,在进行数据快照时,通过获取待写入数据在预留存储空间的重定向写入起始地址,将待写入数据写入连续的预留存储空间,可以保证待写入数据可以连续写入预留存储空间,从而可以保证快照即时完成备份,并且不影响源LUN的读写性能。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为根据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(Digital Subscriber Line,DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的,盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之,以上所述仅为本发明技术方案的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据快照方法,其特征在于,包括:
当接收到快照创建请求时,向主机申请快照保护空间和预留预留存储空间;其中,所述快照对所述预留存储空间具有优先使用权;
接收所述主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
根据所述第一数据写入请求,获取第一待写入数据在所述预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间;
从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
2.如权利要求1所述的方法,其特征在于,还包括:
将所述源LUN存储空间的已有数据复制到所述快照保护空间。
3.如权利要求1或2所述的方法,其特征在于,还包括:
将所述第一待写入数据从所述预留存储空间复制到所述源LUN存储空间;
清空所述预留存储空间。
4.如权利要求1或2所述的方法,其特征在于,还包括:
接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储空间的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
根据所述第二数据写入请求,获取第二待写入数据在所述预留存储空间的第二重定向写入起始地址;
从所述第二重定向写入起始地址开始,将所述第二待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续;
将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
5.一种数据快照装置,其特征在于,包括:
创建单元,用于当接收到快照创建请求时,向主机申请快照保护空间和预留预留存储空间;其中,所述快照对所述预留存储空间具有优先使用权;
接收单元,用于接收所述主机对源逻辑单元号LUN的第一数据写入请求,所述第一数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
获取单元,用于根据所述第一数据写入请求,获取第一待写入数据在所述预留存储空间的第一重定向写入起始地址,所述预留存储空间的大小大于或等于所述源LUN存储空间;
写入单元,用于从所述第一重定向写入起始地址开始,将所述第一待写入数据写入所述预留存储空间。
6.如权利要求5所述的装置,其特征在于,还包括:
第一复制单元,用于将所述源LUN存储空间的已有数据复制到所述快照保护空间。
7.如权利要求5或6所述的装置,其特征在于,还包括:
第二复制单元,用于将所述第一待写入数据从所述预留存储空间复制到所述源LUN存储空间;
清空单元,用于清空所述预留存储空间。
8.如权利要求5或6所述的装置,其特征在于:
所述接收单元还用于:接收所述主机对所述源LUN的第二数据写入请求,其中,所述第二数据写入请求所请求写入所述源LUN存储空间的地址与所述第一数据写入请求所请求的地址连续,所述第二数据写入请求包括待写入源LUN存储空间的起始地址和数据长度;
所述获取单元还用于:根据所述第二数据写入请求,获取第二待写入数据在所述预留存储空间的第二重定向写入起始地址;
所述写入单元还用于:从所述第二重定向写入起始地址开始,将所述第二待写入数据写入所述预留存储空间,其中,在所述预留存储空间中,所述第二待写入数据的地址与所述第一待写入数据的地址连续;
所述装置还包括:
第三复制单元,用于将地址连续的所述第一待写入数据和第二待写入数据从所述预留存储空间复制到所述源LUN存储空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410655473.5A CN104407936B (zh) | 2014-11-18 | 2014-11-18 | 一种数据快照方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410655473.5A CN104407936B (zh) | 2014-11-18 | 2014-11-18 | 一种数据快照方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104407936A CN104407936A (zh) | 2015-03-11 |
CN104407936B true CN104407936B (zh) | 2017-08-18 |
Family
ID=52645569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410655473.5A Active CN104407936B (zh) | 2014-11-18 | 2014-11-18 | 一种数据快照方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104407936B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105278878B (zh) * | 2015-09-30 | 2018-09-21 | 成都华为技术有限公司 | 一种磁盘空间分配方法及装置 |
CN107203331B (zh) * | 2016-03-17 | 2022-05-06 | 中兴通讯股份有限公司 | 写数据的方法及装置 |
CN107239365B (zh) * | 2016-03-29 | 2020-11-27 | 华为技术有限公司 | 一种访问存储设备的方法及装置 |
CN107608623B (zh) * | 2016-07-11 | 2021-08-31 | 中兴通讯股份有限公司 | 一种异步远程复制的方法、装置和系统 |
CN106383667B (zh) * | 2016-09-18 | 2019-06-21 | 华为数字技术(成都)有限公司 | 业务运行中lun迁移的方法和装置 |
CN107621994B (zh) * | 2017-09-18 | 2021-06-29 | 郑州云海信息技术有限公司 | 一种数据快照创建的方法及装置 |
CN110008197B (zh) * | 2019-04-12 | 2020-07-07 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统及电子设备和存储介质 |
CN110781133B (zh) * | 2019-10-25 | 2023-03-21 | 深信服科技股份有限公司 | 一种row快照方法、系统、设备及计算机可读存储介质 |
CN111857593A (zh) * | 2020-07-21 | 2020-10-30 | 星辰天合(北京)数据科技有限公司 | 提高快照数据和克隆数据读写速度的方法与装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154172A (zh) * | 2006-09-27 | 2008-04-02 | 英业达股份有限公司 | 集中建立依赖型快照的方法 |
CN102289510A (zh) * | 2011-08-31 | 2011-12-21 | 成都市华为赛门铁克科技有限公司 | 向生产卷写入数据的方法和装置 |
CN102650931A (zh) * | 2012-04-01 | 2012-08-29 | 华为技术有限公司 | 一种写入数据的方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2977906A1 (en) * | 2004-04-28 | 2016-01-27 | Panasonic Corporation | Nonvolatile storage device and data write method |
-
2014
- 2014-11-18 CN CN201410655473.5A patent/CN104407936B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154172A (zh) * | 2006-09-27 | 2008-04-02 | 英业达股份有限公司 | 集中建立依赖型快照的方法 |
CN102289510A (zh) * | 2011-08-31 | 2011-12-21 | 成都市华为赛门铁克科技有限公司 | 向生产卷写入数据的方法和装置 |
CN102650931A (zh) * | 2012-04-01 | 2012-08-29 | 华为技术有限公司 | 一种写入数据的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104407936A (zh) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104407936B (zh) | 一种数据快照方法及装置 | |
JP6778795B2 (ja) | データを記憶するための方法、装置及びシステム | |
US7725655B2 (en) | Method of operating distributed storage system in which data is read from replicated caches and stored as erasure-coded data | |
US7761663B2 (en) | Operating a replicated cache that includes receiving confirmation that a flush operation was initiated | |
US9037828B2 (en) | Transferring storage resources between snapshot storage pools and volume storage pools in a data storage system | |
US8805902B2 (en) | Managing snapshot storage pools | |
US8171205B2 (en) | Wrap-around sequence numbers for recovering from power-fall in non-volatile memory | |
CN103593147B (zh) | 一种数据读取的方法及装置 | |
CN100481028C (zh) | 一种利用缓存实现数据存储的方法和装置 | |
CN105718217B (zh) | 一种精简配置存储池数据一致性维护的方法及装置 | |
CN107436725A (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
CN103761190B (zh) | 数据处理方法及装置 | |
CN109614377A (zh) | 分布式文件系统的文件删除方法、装置、设备及存储介质 | |
EP2367100A2 (en) | Controller, data storage device, and program product | |
TW201113705A (en) | Wear leveling of solid state disks distributed in a plurality of redundant array of independent disk ranks | |
CN107391391A (zh) | 在固态硬盘的ftl实现数据拷贝的方法、系统及固态硬盘 | |
KR20150104434A (ko) | 플래시 메모리에서 사용하는 로그 구조 파일시스템의 메타데이터 저장 방법 | |
CN110196818A (zh) | 缓存数据的方法、缓存设备和存储系统 | |
CN115576501B (zh) | 一种raid卡的节点更新方法、系统及相关装置 | |
CN104272242A (zh) | 创建加密存储体 | |
CN111309245B (zh) | 一种分层存储写入方法和装置、读取方法和装置及系统 | |
CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
CN104079600B (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 | |
CN114327270B (zh) | 一种请求处理方法、装置、设备及可读存储介质 | |
TW201126338A (en) | Flash memory device and data access method for flash memories |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220907 Address after: 611731 No. 1899, Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan Patentee after: Chengdu Huawei Technologies Co.,Ltd. Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd. |
|
TR01 | Transfer of patent right |