CN105677252A - 读数据的方法、数据处理方法及相关存储设备 - Google Patents

读数据的方法、数据处理方法及相关存储设备 Download PDF

Info

Publication number
CN105677252A
CN105677252A CN201610006123.5A CN201610006123A CN105677252A CN 105677252 A CN105677252 A CN 105677252A CN 201610006123 A CN201610006123 A CN 201610006123A CN 105677252 A CN105677252 A CN 105677252A
Authority
CN
China
Prior art keywords
volume
data
mark
snapped
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610006123.5A
Other languages
English (en)
Other versions
CN105677252B (zh
Inventor
何龙
胡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610006123.5A priority Critical patent/CN105677252B/zh
Publication of CN105677252A publication Critical patent/CN105677252A/zh
Priority to PCT/CN2016/111333 priority patent/WO2017118289A1/zh
Application granted granted Critical
Publication of CN105677252B publication Critical patent/CN105677252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1461Backup scheduling policy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明公开了一种读数据的方法及存储设备,能够提高读快照的效率,以及读快照的稳定性。本发明方法包括:接收读数据指令,读数据指令包括卷的标识和起始地址;根据起始地址确定数据块标识;根据卷的标识,以及数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识、与快照卷的标识之间的对应关系;从与确定出的快照卷的标识对应的快照卷中读取待读取数据。本发明还公开了一种数据处理方法以及实现上述数据处理方法的存储设备。

Description

读数据的方法、数据处理方法及相关存储设备
技术领域
本发明涉及数据处理领域,尤其涉及读数据的方法、数据处理方法及相关存储设备。
背景技术
快照(Snapshot)是对指定数据集合的一个完全可用的拷贝,该拷贝包含源数据拷贝时间点的静态映像,其作用主要是在线数据备份与恢复。虚拟快照是快照技术的一种,虚拟快照不生成完整的物理上的数据拷贝,而是通过映射表来定位数据位置。存储设备可以划分为多个卷,卷与卷之间存在级联关系。卷可以分为源卷和快照卷,源卷为第一个快照卷的上级卷,第一快照卷为源卷的下级卷,第二快照卷为第一快照卷的下级卷,依此类推其他快照卷之间的级联关系。
现有技术中读数据的方法大致如下:主机向存储设备发送读I/O指令,若数据没有写在该读I/O指令指定的卷中,那么存储设备会查询指定卷的上一级卷,以从下级到上级的顺序,逐一查询存储设备包含的卷,直至查找到数据所在卷,从其中读取数据。
在实际应用中,数据可能写在与指定卷有级联关系的任意一个卷上,如果数据没有写在指定卷,那么需要对指定卷的上级卷进行逐级查询,在最坏的情况下在源卷中才能读取数据,当卷的级数很多时,需要进行多次查询,因此读写性能不佳。另外,由于数据存储位置的不确定,因此查询数据的次数是随机的,在多次读数据的情况下,读数据的时间可能相差很大,读数据性能会发生波动。
发明内容
本申请提供了读数据的方法、数据处理方法以及相关存储设备,能够提高读写数据的效率,提高数据读写性能的稳定性。
本申请第一方面提供一种读数据的方法,所述方法应用于存储设备中,存储设备包括卷,卷包括源卷和多个快照卷,源卷用于保存写入存储设备的数据;多个快照卷中的第一个快照卷是源卷的快照,除第一快照卷之外的其余快照卷均是最近一次快照卷的快照,并且每个卷分配有标识;所述方法包括:接收读数据指令,读数据指令包括卷的标识和起始地址;根据起始地址确定数据块标识,根据卷的标识,以及数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识、与快照卷的标识之间的对应关系;从与确定出的快照卷的标识对应的快照卷中读取待读取数据。
按照这种实施方式,当主机读快照时,由于存储设备为每个卷的数据块预先设置了相应的对应关系,存储设备利用卷标识和数据块标识进行一次查找,就可以查找到待读取数据并返回给主机,无需进行多次查找,因此提高了读快照的效率。另外,在多次读快照的情况下,每次读取数据的时间非常相近,因此提高了读快照的稳定性。
结合第一方面,在第一方面的第一种实现方式中,每个快照卷包含有预先设置的对应关系。
按照这种实施方式,在存储设备根据读数据指令查询任意一个快照卷时,就能够根据其包含的预设对应关系确定待读取数据所在快照,提供了本发明实施的可行性。
本申请第二方面提供一种数据处理方法,所述方法应用于存储设备中,存储设备包括卷,卷包括源卷和多个快照卷,源卷用于保存写入存储设备的数据;多个快照卷中的第一个快照卷是源卷的快照,除第一快照卷之外的其余快照卷均是最近一次快照卷的快照,并且每个卷分配有标识;所述方法包括:接收写数据指令,写数据指令包括待写数据、卷的标识和起始地址;根据起始地址确定数据块标识,根据卷的标识、数据块标识以及预先设置的对应关系,预先设置的对应关系包括卷的标识、数据块标识,与快照卷的标识之间的对应关系;从与确定出的快照卷的标识对应的快照卷中获取需保护数据,将需保护数据写入卷的标识对应的卷,将待写数据写入卷的标识对应的卷,并在预先设置的对应关系中,将快照卷的标识修改为卷的标识。
按照这种实施方式,在快照卷的映射对象由需保护数据更改为待写数据的过程中,存储设备利用卷标识和数据块标识,通过一次查找,可以查找到快照卷所映射的数据,并对该数据进行保护,无需逐级查找快照卷,减少了查找数据的时间,因此提高了数据处理效率。另外,在多次执行上述数据处理方法的情况下,每次数据处理的时间非常相近,因此提高了数据处理的稳定性。
结合第二方面,在第二方面的第一种实现方式中,将需保护数据写入卷的标识对应的卷包括:将需保护数据写入数据保护空间,数据保护空间属于与卷的标识对应的卷。
按照这种实施方式,将需保护数据写入数据保护空间之后,主机读快照时,可以从快照中读取需保护数据,避免了需保护数据被后来写入的数据覆盖而丢失的情况。
结合第二方面的第一种实现方式,在第二方面的第二种实现方式中,将需保护数据写入卷的标识对应的卷包括:根据卷的标识以及数据块标识,将待写数据写入卷的数据块,卷的数据块与数据块标识对应。
按照这种实施方式,当主机读数据时,存储设备可以从该卷的数据块中读取待写数据。
结合第二方面的以上任意一种实现方式,在第二方面的第四种实现方式中,每个快照卷包含有预先设置的对应关系。
按照这种实施方式,在存储设备根据写数据指令查询任意一个快照卷时,就能够根据其包含的预设对应关系确定需保护数据所在快照,提供了本发明实施的可行性。
本申请第三方面提供一种存储设备,具有实现第一方面读数据方法的功能,功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
一种可能的实现方式中,存储设备包括通讯接口、控制器、存储器以及总线;通讯接口、控制器和存储器之间通过总线相互连接,存储器用于存储数据以及操作指令,其中,通过调用存储器存储的操作指令,控制器用于执行以下方法:控制通讯接口接收读数据指令,读数据指令包括卷的标识和起始地址,根据起始地址确定数据块标识,根据卷的标识,以及数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识、与快照卷的标识之间的对应关系,从与确定出的快照卷的标识对应的快照卷中读取待读取数据。
按照这种实施方式,当主机读快照时,由于每个卷的数据块预先设置了相应的对应关系,控制器利用卷标识和数据块标识进行一次查找,就可以查找到待读取数据并返回给主机,无需进行多次查找,因此提高了读快照的效率。另外,在多次读快照的情况下,每次读取数据的时间非常相近,因此提高了读快照的稳定性。
可选的,每个快照卷包含有预先设置的对应关系。
第四方面提供一种存储设备,具有实现第二方面中数据处理方法的功能。
一种可能的实现方式中,存储设备包括通讯接口、控制器、存储器以及总线;通讯接口、控制器和存储器之间通过总线相互连接,存储器用于存储数据以及操作指令,其中,通过调用存储器存储的操作指令,控制器用于执行以下方法:控制通讯接口接收写数据指令,写数据指令包括待写数据、卷的标识和起始地址,根据起始地址确定数据块标识,根据卷的标识、数据块标识以及预先设置的对应关系,确定需保护数据所在快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识,与快照卷的标识之间的对应关系;从与确定出的快照卷的标识对应的快照卷中获取需保护数据,将需保护数据写入卷的标识对应的卷;将待写数据写入卷的标识对应的卷,并在预先设置的对应关系中,将快照卷的标识修改为卷的标识。
按照这种实施方式,在快照卷的映射对象由需保护数据更改为待写数据的过程中,控制器利用卷标识和数据块标识,通过一次查找,可以从存储器中查找到快照卷所映射的数据,并对该数据进行保护,无需逐级查找快照卷,减少了查找数据的时间,因此提高了数据处理效率。另外,在多次执行上述数据处理方法的情况下,每次数据处理的时间非常相近,因此提高了数据处理的稳定性。
另一种可能的实现方式中,控制器具体用于将需保护数据写入数据保护空间,数据保护空间属于与卷的标识对应的卷。
按照这种实施方式,控制器将需保护数据写入数据保护空间之后,主机读快照时,控制器可以从快照中读取需保护数据,避免了需保护数据被后来写入的数据覆盖而丢失的情况。
另一种可能的实现方式中,控制器具体用于根据卷的标识以及数据块标识,将待写数据写入卷的数据块,卷的数据块与数据块标识对应。
按照这种实施方式,当主机读数据时,控制器可以从该卷的数据块中读取待写数据。
另一种可能的实现方式中,每个快照卷包含有预先设置的对应关系。
本申请提供的读数据的方法中,存储设备利用卷标识和数据块标识进行一次查找,就可以查找到待读取数据并返回给主机,无需进行多次查找,因此提高了读快照的效率。另外,在多次读快照的情况下,每次读取数据的时间非常相近,因此提高了读快照的稳定性。
附图说明
图1为本发明实施例中数据处理系统的一个示意图;
图2为本发明实施例中存储设备的一个示意图;
图3为本发明实施例中存储设备的另一个示意图;
图4为本发明实施例中读数据的方法的一个流程示意图;
图5为本发明实施例中存储设备数据存储的一个示意图;
图6为本发明实施例中数据处理方法的一个流程示意图;
图7为本发明实施例中存储设备中数据存储的一个示意图。
具体实施方式
下面对本申请中读数据的方法的应用环境进行介绍,读数据的方法一般应用于数据处理系统,请参阅图1,数据处理系统包括主机1以及存储设备2;
主机1,用于执行应用程序,向存储设备2发送控制指令,以读写数据;其中控制指令包括输入/输出(Input/Output,简称I/O)指令;
存储设备2,可以是磁盘或磁盘阵列等设备,用于存储数据以及操作指令。存储设备2包括通讯接口21、控制器22、存储器23以及总线24;通讯接口21、控制器22和存储器24之间通过总线24相互连接,如图2所示。存储器24用于存储数据以及操作指令,其中,通过调用存储器24存储的操作指令,控制器22可以执行图3所示读数据的方法。存储器23包括卷,卷用于保存写入存储设备的数据;卷包括源卷和多个快照卷,多个快照卷中的第一个快照卷是源卷的快照,除第一快照卷之外的其余快照卷均是最近一次快照卷的快照,并且每个快照卷分配有标识。
其中,控制器22可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件等。
存储器23可以包括随机存取存储器(RandomAccessMemory,简称RAM)231实现,也可能包括非易失性存储器(Non-VolatileMemory,简称NVM)232,例如至少一个磁盘存储器,如图3所示。在实际应用中,存储设备的缓存可以由RAM实现,卷可以由NVM实现。
需要说明的是,数据处理系统可以是存储区域网(StorageAreaNetworks,简称SAN),也可以是网络附加存储设备(NetworkAttachedStorage,简称NAS)。
下面对本申请提供的读数据的方法进行介绍,本申请实施例提供的读数据方法的执行主体可以是如图1所示的控制器22,请参阅图4,上述方法包括:
S401、接收读数据指令,读数据指令包括卷的标识和起始地址;
本实施例中,当主机通过快照访问数据资源时,主机向存储设备发送读I/O指令,接收读I/O指令。其中,读I/O指令包括卷的标识和起始地址。
S402、根据起始地址确定数据块标识;
具体的,获取起始地址之后,将起始地址除以数据块的大小,可以得到数据块标识。
S403、根据卷的标识,以及数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识、与快照卷的标识之间的对应关系;
具体的,预先设置的对应关系可以采用(X,Y)→Z表示,X为数据块标识,Y为读数据指令包括的卷标识,Z为待读取数据所在快照卷的卷标识。
举例来说,源卷的卷标识为0,快照卷1的卷标识为1,快照卷2的卷标识为2,快照卷3的卷标识为3,卷包含的数据块标识包括0,1,2,3,4,…,n,待读取数据存储在快照卷1上,快照卷2为快照卷1的快照,快照卷3为快照卷2的快照。在存储设备中,创建访问加速表可以如下表所示,访问加速表包含预先设置的对应关系可参阅表1:
(0,0)→0 (0,1)→0 (0,2)→0 (0,3)→0
(1,0)→0 (1,1)→1 (1,2)→1 (1,3)→1
(2,0)→0 (2,1)→1 (2,2)→1 (2,3)→1
(3,0)→0 (3,1)→1 (3,2)→1 (3,3)→1
(4,0)→0 (4,1)→1 (4,2)→1 (4,3)→1
表1
获取一个卷的标识和一个数据块标识之后,可以查询访问加速表,确定对应的卷标识。若数据存储在快照卷1中,那么访问快照卷2或快照卷3都可以一次查找到快照卷1的标识。
可以理解的是,预先设置的对应关系还可以采用(Y,X)→Z表示,X,Y,Z的含义可参阅上述X,Y,Z,还可以采用其他表示方法,具体此处不作限定。
S404、从与确定出的快照卷的标识对应的快照卷中读取待读取数据。
存储设备确定快照卷的标识之后,根据快照卷的标识确定快照卷,从快照卷中读取待读取数据。从快照卷中读取数据的过程可参阅现有技术,此处不再赘述。
需要说明的是,若数据存储在源卷中,存储设备根据卷的标识和数据块的标识,以及预设的对应关系也可以一次查找到源卷的卷标识,再从源卷中读取数据,具体实现过程与上述从快照卷中读取数据的过程相似,此处不再赘述。
为便于理解,下面以一具体应用场景对本申请中的读数据的方法进行详细说明:
存储设备包括源卷、快照卷1、快照卷2和快照卷3,源卷、快照卷1、快照卷2和快照卷3的卷标识分别以0,1,2,3为例,每个卷都包括Chunk0,Chunk1,Chunk2,Chunk3,Chunk4,…,Chunkn,待读取数据以data1为例,假定data1存储在快照卷1的Chunk4中,快照卷2为快照卷1的下一级快照,快照卷3为快照卷2的下一级快照,如图5所示;建立的访问加速表如表2所示:
(0,0)→0 (0,1)→0 (0,2)→0 (0,3)→0
(1,0)→0 (1,1)→0 (1,2)→0 (1,3)→0
(2,0)→0 (2,1)→0 (2,2)→0 (2,3)→0
(3,0)→0 (3,1)→0 (3,2)→0 (3,3)→0
(4,0)→0 (4,1)→1 (4,2)→1 (4,3)→1
表2
当主机下发读I/O指令,读I/O指令包括卷ID和地址,卷ID以3为例,地址以300为例,Chunk的大小以64kb为例,确定ChunkID=300/64=4,根据(4,3)和预先设置的对应关系,可以确定data1所在卷为卷1,即快照卷1,从快照卷1中读取数据。
由此可见,存储设备可以通过一次查找确定数据所在快照,减少了查找数据所用时间,因此提高了读数据的效率。同时,在多次读快照的情况下,查找次数为0,或查找次数为1,因此读数据的时间非常接近,避免了现有技术中读数据的时间相差较大的情况,因此提高了读数据的稳定性。
在实际应用中,若I/O指定的快照卷所映射的数据为需保护数据,则需要先将需保护数据进行保护,再写入主机下发的数据,才能保护需保护数据,在现有技术中,存储设备需要逐一查询快照卷,直至查找到需保护数据所在卷,才能获取需保护数据,查询次数越多,写数据速度越慢。
为了提高上述数据处理过程的数据处理效率,本申请提供一种数据处理方法,本申请实施例提供的读数据方法的执行主体可以是如图1所示的控制器22。请参阅图6,上述数据处理方法包括:
S601、接收写数据指令,写数据指令包括待写数据、卷的标识和起始地址;
本实施例中,主机下发写数据指令时,存储设备接收写数据指令。其中,写数据指令包括待写数据、卷的标识和起始地址。
S602、根据起始地址确定数据块标识;
步骤S602与图4所示实施例中步骤S402相似,此处不再赘述。
S603、根据卷的标识、数据块标识以及预先设置的对应关系,确定需保护数据所在快照卷的标识,预先设置的对应关系包括卷的标识、数据块标识,与快照卷的标识之间的对应关系;
本实施例中,写数据指令包含的卷的标识和数据块的标识,所对应的卷的数据块所映射的数据为需保护数据。需保护数据可以是重要等级的数据,或重要用户的数据,或其他类型需要要被保护的数据,此处不作限定。
具体的,根据卷的标识、数据块标识以及预先设置的对应关系,确定需保护数据所在快照卷的标识的具体过程与图2所示实施例中步骤203相似,此处不再赘述。
S604、从与确定出的快照卷的标识对应的快照卷中获取需保护数据,将需保护数据写入卷的标识对应的卷;
存储设备确定快照卷的标识之后,根据快照卷的标识确定快照卷,从快照卷中获取需保护数据,并确定与写指令包括的卷标识对应的卷,将需保护数据写入该卷。主机再读该卷时,可以从其中读取需保护数据,从而实现了数据保护功能。
作为一个可选的实施例,将需保护数据写入卷的标识对应的卷具体可以通过以下方式实现:将需保护数据写入数据保护空间,数据保护空间属于与卷的标识对应的卷。
具体的,在存储设备中,每个卷还包括数据保护空间,获取需保护数据之后,可以将需保护数据写入卷的数据保护空间,以实现数据保护功能。
S605、将待写数据写入卷的标识对应的卷,并在预先设置的对应关系中,将快照卷的标识修改为卷的标识。
将待写数据写入卷的标识对应的卷,并将快照卷的标识修改为卷的标识之后,当主机读该卷时,存储设备根据对应关系在该卷中查找,并读取主机最后写入该卷的数据。
需要说明的是,在预先设置的对应关系中,将快照卷的标识修改卷的标识之后,可以不再修改卷的标识和数据块的标识对应的卷的标识,以避免重复修改。
作为一个可选的实施例,将待写数据写入卷的标识对应的卷具体可以通过以下方式实现:根据卷的标识以及数据块标识,将待写数据写入卷的数据块,卷的数据块与数据块标识对应。
具体的,将需保护数据写入卷的标识对应的卷之后,再将待写数据写入该卷的数据块,完成写数据的过程,以便主机下次从该卷中读取上述待写数据。
需要说明的是,若需保护数据存储在源卷中,本发明根据卷的标识和数据块的标识,以及预设的对应关系也可以一次查找到源卷的卷标识,再从源卷中读取需保护数据,具体实现过程与上述从快照卷中获取需保护数据的过程相似,此处不再赘述。
作为一个可选的实施例,每个快照卷包含有预先设置的对应关系。
具体的,存储设备根据写数据指令查询任意一个快照卷时,就能够根据其包含的预设对应关系确定需保护数据所在快照,提供了实施的可行性。
为便于理解,下面以一具体应用场景对本申请中的数据处理方法进行详细说明:
存储设备包括源卷、快照卷1、快照卷2和快照卷3,源卷、快照卷1、快照卷2和快照卷3的卷标识分别以0,1,2,3为例,每个卷都包括Chunk0,Chunk1,Chunk2,Chunk3,Chunk4,…,Chunkn,需保护数据以data2为例,假定data2存储在快照卷1的Chunk5中,快照卷2为快照卷1的下一级快照,快照卷3为快照卷2的下一级快照,如图7所示;建立的访问加速表如表3所示:
表3
当主机下发写IO指令时,写I/O指令包括data3、卷ID和地址,卷ID以3为例,数据块标识以5为例,存储设备根据(5,3)和预先设置的对应关系,可以确定需保护数据所在卷为快照卷1,从快照卷1中获取data2,将data2写入快照卷3,具体的,将data2写入快照卷3的数据保护空间;
再将data3写入快照卷3,具体的,将data3写入快照卷3的的Chunk5,完成写快照的过程。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种读数据的方法,其特征在于,所述方法应用于存储设备中,所述存储设备包括卷,所述卷包括源卷和多个快照卷,所述源卷用于保存写入所述存储设备的数据;所述多个快照卷中的第一个快照卷是所述源卷的快照,除所述第一快照卷之外的其余快照卷均是最近一次快照卷的快照,并且每个卷分配有标识;所述方法包括:
接收读数据指令,所述读数据指令包括卷的标识和起始地址;
根据所述起始地址确定数据块标识;
根据所述卷的标识,以及所述数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,所述预先设置的对应关系包括所述卷的标识、数据块标识、与所述快照卷的标识之间的对应关系;
从与所述确定出的快照卷的标识对应的快照卷中读取所述待读取数据。
2.根据权利要求1所述的方法,其特征在于,每个快照卷包含有所述预先设置的对应关系。
3.一种数据处理方法,其特征在于,所述方法应用于存储设备中,所述存储设备包括卷,所述卷包括源卷和多个快照卷,所述源卷用于保存写入所述存储设备的数据;所述多个快照卷中的第一个快照卷是所述源卷的快照,除所述第一快照卷之外的其余快照卷均是最近一次快照卷的快照,并且每个卷分配有标识;所述方法包括:
接收写数据指令,所述写数据指令包括待写数据、卷的标识和起始地址;
根据所述起始地址确定数据块标识;
根据所述卷的标识、所述数据块标识以及预先设置的对应关系,确定需保护数据所在快照卷的标识,所述预先设置的对应关系包括所述卷的标识、数据块标识,与所述快照卷的标识之间的对应关系;
从与确定出的所述快照卷的标识对应的所述快照卷中获取所述需保护数据,将所述需保护数据写入所述卷的标识对应的卷;
将所述待写数据写入所述卷的标识对应的卷,并在所述预先设置的对应关系中,将所述快照卷的标识修改为所述卷的标识。
4.根据权利要求3所述的方法,其特征在于,将所述需保护数据写入所述卷的标识对应的卷包括:
将所述需保护数据写入数据保护空间,所述数据保护空间属于与所述卷的标识对应的卷。
5.根据权利要求4所述的方法,其特征在于,所述将所述待写数据写入所述卷的标识对应的卷包括:
根据所述卷的标识以及所述数据块标识,将所述待写数据写入所述卷的数据块,所述卷的数据块与所述数据块标识对应。
6.根据权利要求3至5中任一项所述的方法,其特征在于,每个快照卷包含有预先设置的对应关系。
7.一种存储设备,其特征在于,包括通讯接口、控制器、存储器以及总线;所述通讯接口、所述控制器和所述存储器之间通过所述总线相互连接,所述存储器用于存储数据以及操作指令,其中,通过调用所述存储器存储的操作指令,所述控制器用于执行以下方法:
控制所述通讯接口接收读数据指令,所述读数据指令包括卷的标识和起始地址;
根据所述起始地址确定数据块标识;
根据所述卷的标识,以及所述数据块标识与预先设置的对应关系确定待读取数据所在的快照卷的标识,所述预先设置的对应关系包括所述卷的标识、数据块标识、与所述快照卷的标识之间的对应关系;
从与所述确定出的快照卷的标识对应的快照卷中读取所述待读取数据。
8.根据权利要求7所述的存储设备,其特征在于,每个快照卷包含有所述预先设置的对应关系。
9.一种存储设备,其特征在于,包括通讯接口、控制器、存储器以及总线;所述通讯接口、所述控制器和所述存储器之间通过所述总线相互连接,所述存储器用于存储数据以及操作指令,其中,通过调用所述存储器存储的操作指令,所述控制器用于执行以下方法:
控制所述通讯接口接收写数据指令,所述写数据指令包括待写数据、卷的标识和起始地址;
根据所述起始地址确定数据块标识;
根据所述卷的标识、所述数据块标识以及预先设置的对应关系,确定需保护数据所在快照卷的标识,所述预先设置的对应关系包括所述卷的标识、数据块标识,与所述快照卷的标识之间的对应关系;
从与确定出的所述快照卷的标识对应的所述快照卷中获取所述需保护数据,将所述需保护数据写入所述卷的标识对应的卷;
将所述待写数据写入所述卷的标识对应的卷,并在所述预先设置的对应关系中,将所述快照卷的标识修改为所述卷的标识。
10.根据权利要求9所述的存储设备,其特征在于,所述控制器具体用于将所述需保护数据写入数据保护空间,所述数据保护空间属于与所述卷的标识对应的卷。
11.根据权利要求10所述的存储设备,其特征在于,所述控制器具体用于根据所述卷的标识以及所述数据块标识,将所述待写数据写入所述卷的数据块,所述卷的数据块与所述数据块标识对应。
12.根据权利要求9至11中任一项所述的存储设备,其特征在于,每个快照卷包含有预先设置的对应关系。
CN201610006123.5A 2016-01-06 2016-01-06 读数据的方法、数据处理方法及相关存储设备 Active CN105677252B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610006123.5A CN105677252B (zh) 2016-01-06 2016-01-06 读数据的方法、数据处理方法及相关存储设备
PCT/CN2016/111333 WO2017118289A1 (zh) 2016-01-06 2016-12-21 读数据的方法、数据处理方法及相关存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610006123.5A CN105677252B (zh) 2016-01-06 2016-01-06 读数据的方法、数据处理方法及相关存储设备

Publications (2)

Publication Number Publication Date
CN105677252A true CN105677252A (zh) 2016-06-15
CN105677252B CN105677252B (zh) 2019-06-07

Family

ID=56299064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610006123.5A Active CN105677252B (zh) 2016-01-06 2016-01-06 读数据的方法、数据处理方法及相关存储设备

Country Status (2)

Country Link
CN (1) CN105677252B (zh)
WO (1) WO2017118289A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118289A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 读数据的方法、数据处理方法及相关存储设备
CN107071031A (zh) * 2017-04-19 2017-08-18 电子科技大学 基于chunk块版本号的分布式块存储系统数据恢复判定方法
CN107329698A (zh) * 2017-06-29 2017-11-07 杭州宏杉科技股份有限公司 一种数据保护方法及存储设备
CN107679276A (zh) * 2017-08-31 2018-02-09 电力规划总院有限公司 电力系统潮流接线图的生成方法、装置及电子设备
WO2019062574A1 (zh) * 2017-09-27 2019-04-04 华为技术有限公司 一种元数据查询方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140536A (zh) * 2007-05-21 2008-03-12 中兴通讯股份有限公司 一种支持级联快照的快照系统及其快照处理方法
US20080183990A1 (en) * 2007-01-31 2008-07-31 Inventec Corporation Disk snapshot method
CN101419564A (zh) * 2008-12-11 2009-04-29 杭州华三通信技术有限公司 一种采用快照恢复数据的方法和装置
CN102411524A (zh) * 2011-12-30 2012-04-11 云海创想信息技术(天津)有限公司 一种快照卷数据拷贝方法
CN103761159A (zh) * 2014-01-23 2014-04-30 天津中科蓝鲸信息技术有限公司 增量快照处理的方法及系统
CN105138281A (zh) * 2015-08-05 2015-12-09 华为技术有限公司 一种物理磁盘的共享方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677252B (zh) * 2016-01-06 2019-06-07 华为技术有限公司 读数据的方法、数据处理方法及相关存储设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080183990A1 (en) * 2007-01-31 2008-07-31 Inventec Corporation Disk snapshot method
CN101140536A (zh) * 2007-05-21 2008-03-12 中兴通讯股份有限公司 一种支持级联快照的快照系统及其快照处理方法
CN101419564A (zh) * 2008-12-11 2009-04-29 杭州华三通信技术有限公司 一种采用快照恢复数据的方法和装置
CN102411524A (zh) * 2011-12-30 2012-04-11 云海创想信息技术(天津)有限公司 一种快照卷数据拷贝方法
CN103761159A (zh) * 2014-01-23 2014-04-30 天津中科蓝鲸信息技术有限公司 增量快照处理的方法及系统
CN105138281A (zh) * 2015-08-05 2015-12-09 华为技术有限公司 一种物理磁盘的共享方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118289A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 读数据的方法、数据处理方法及相关存储设备
CN107071031A (zh) * 2017-04-19 2017-08-18 电子科技大学 基于chunk块版本号的分布式块存储系统数据恢复判定方法
CN107071031B (zh) * 2017-04-19 2019-11-05 电子科技大学 基于chunk块版本号的分布式块存储系统数据恢复判定方法
CN107329698A (zh) * 2017-06-29 2017-11-07 杭州宏杉科技股份有限公司 一种数据保护方法及存储设备
CN107329698B (zh) * 2017-06-29 2020-08-11 杭州宏杉科技股份有限公司 一种数据保护方法及存储设备
CN107679276A (zh) * 2017-08-31 2018-02-09 电力规划总院有限公司 电力系统潮流接线图的生成方法、装置及电子设备
CN107679276B (zh) * 2017-08-31 2021-06-18 电力规划总院有限公司 电力系统潮流接线图的生成方法、装置及电子设备
WO2019062574A1 (zh) * 2017-09-27 2019-04-04 华为技术有限公司 一种元数据查询方法及装置
CN110018983A (zh) * 2017-09-27 2019-07-16 华为技术有限公司 一种元数据查询方法及装置
CN110018983B (zh) * 2017-09-27 2021-07-16 华为技术有限公司 一种元数据查询方法及装置
US11474972B2 (en) 2017-09-27 2022-10-18 Huawei Technologies Co., Ltd. Metadata query method and apparatus

Also Published As

Publication number Publication date
WO2017118289A1 (zh) 2017-07-13
CN105677252B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
US10013317B1 (en) Restoring a volume in a storage system
US10417202B2 (en) Storage system deduplication
CN105677252A (zh) 读数据的方法、数据处理方法及相关存储设备
US10175894B1 (en) Method for populating a cache index on a deduplicated storage system
US9910620B1 (en) Method and system for leveraging secondary storage for primary storage snapshots
EP3361409B1 (en) Data deduplication method and apparatus
US8650379B2 (en) Data processing method for nonvolatile memory system
US20150113218A1 (en) Distributed Data Processing Method and Apparatus
US9612948B2 (en) Reads and writes between a contiguous data block and noncontiguous sets of logical address blocks in a persistent storage device
CN101944124A (zh) 分布式文件系统管理方法、装置以及对应的文件系统
CN104461390A (zh) 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN109522154B (zh) 数据恢复方法及相关设备与系统
CN110532201B (zh) 一种元数据处理方法及装置
CN103154950A (zh) 重复数据删除方法及装置
CN102200972A (zh) 一种数据库维护方法和设备
CN103034566A (zh) 虚拟机还原的方法和装置
CN103677674A (zh) 一种数据处理方法及装置
CN104823184A (zh) 一种数据处理方法、系统及客户端
CN105183399A (zh) 一种基于弹性块存储的数据写、读方法及装置
US20080320062A1 (en) Method of transferring file system, file system transference program, and file system transference device
US9766826B2 (en) Mirroring multiple writeable storage arrays
CN104461706A (zh) 一种将共享全局变量共享的方法和多处理装置
CN104182182A (zh) 智能终端及智能终端的数据备份方法
CN104407990A (zh) 一种磁盘访问方法及装置
CN103049561A (zh) 一种数据压缩方法、存储引擎及存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant