CN101809551A - 自动精简配置迁移和清理 - Google Patents

自动精简配置迁移和清理 Download PDF

Info

Publication number
CN101809551A
CN101809551A CN200880109702A CN200880109702A CN101809551A CN 101809551 A CN101809551 A CN 101809551A CN 200880109702 A CN200880109702 A CN 200880109702A CN 200880109702 A CN200880109702 A CN 200880109702A CN 101809551 A CN101809551 A CN 101809551A
Authority
CN
China
Prior art keywords
data
data partition
storage system
subregion
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880109702A
Other languages
English (en)
Other versions
CN101809551B (zh
Inventor
奥菲尔·佐哈尔
谢默·施瓦茨
海姆·海曼
埃胡德·格米扎
奥姆里·帕尔蒙
埃弗里·蔡德纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101809551A publication Critical patent/CN101809551A/zh
Application granted granted Critical
Publication of CN101809551B publication Critical patent/CN101809551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
    • G06F11/106—Correcting systematically all correctable errors, i.e. scrubbing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于将数据迁移到大容量存储系统(10)的方法，包括接收进入数据分区用于在大容量存储系统中的存储，并且在大容量存储系统中为进入数据分区分配逻辑存储。该方法还包括进行进入数据分区只包括零数据的确定，并且响应于该确定，在大容量存储系统中禁止进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。

Description

自动精简配置迁移和清理
技术领域
本发明一般涉及用于数据存储的方法和装置，并且具体地涉及用于在数据存储系统中管理多个逻辑卷的方法和装置。
背景技术
在给它们的用户提供多种应用的组织中，经常使用大规模计算机盘存储系统。存储虚拟化也用于从物理存储抽象化逻辑存储。虚拟化系统提供用于数据存储的逻辑空间，同时管理逻辑和实际物理存储位置之间的映射的一些形式。自动精简配置(thin provisioning)系统根据需要给应用服务器提供存储空间。自动精简配置还简化容量计划，因为其自动将共享存储系统的所有服务器的需要聚集为单个增长率。
发明内容
在本发明的实施例中，提供了一种用于将数据迁移到大容量存储系统的方法。该方法包括接收进入数据分区用于大容量存储系统中的存储。在大容量存储系统中为进入数据分区分配逻辑存储。检查数据分区的内容，并且如果进入数据分区只包括零数据，则禁止大容量存储系统中进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。禁止物理存储和保持逻辑存储提供存储空间的显著节省，并且不减少存储的信息的级别。
在一些实施例中，分配逻辑存储包括创建具有用于进入数据分区的逻辑地址的分区数据记录，并且将分区数据记录存储在永久介质中。当确定进入数据分区包括非零数据时，将进入数据分区存储在永久介质中，并且分区数据记录典型地包含进入数据分区的物理地址。
典型地，该大容量存储系统是自动精简配置存储系统。
在公开的实施例中，利用包括零比特的数据分区响应请求存储系统提供只包括零数据的数据分区。
在本发明的替代实施例中，提供了一种用于监视大容量存储系统中的数据的方法。该方法包括从物理存储读取数据分区，并且确定数据分区是否只包括零数据。响应于该分区只包括零数据的确定，重新分配大容量存储系统中数据分区的物理存储，同时保持用于数据分区的逻辑存储。
在一些公开的实施例中，读取数据分区包括检查数据分区的完整性和正确性的至少一个，并且响应于检查，校正数据分区。
在一些实施例中，重新分配物理存储包括从与数据分区相关联的分区描述符记录移除物理地址。
因此，根据本发明的实施例，提供一种用于将数据迁移到大容量存储系统的方法，包括：
接收进入数据分区用于在大容量存储系统中的存储；
在大容量存储系统中为进入数据分区分配逻辑存储；
进行进入数据分区只包括零数据的确定；以及
响应于该确定，在大容量存储系统中禁止进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。
典型地，分配逻辑存储包括创建至少包括用于进入数据分区的逻辑地址的分区数据记录。创建分区数据记录可以包括将分区数据记录存储在永久介质中。
在一个实施例中，该方法包括进行进入数据分区包括非零数据的进一步确定，并且响应于该进一步确定，将进入数据分区存储在永久介质中。将进入数据分区存储在永久介质中可以包括更新分区数据记录以包含用于进入数据分区的物理地址。
在公开的实施例中，该大容量存储系统包括自动精简配置存储系统。
在替代实施例中，该方法包括利用零比特的数据分区响应请求大容量存储系统提供只具有零数据的数据分区。
根据本发明的实施例，还提供了一种用于监视大容量存储系统中的数据方法，包括：
从物理存储读取数据分区；
进行数据分区只包括零数据的确定；以及
响应于该确定，重新分配大容量存储系统中数据分区的物理存储，同时保持用于数据分区的逻辑存储的分配。
典型地，读取数据分区包括检查数据分区的完整性和正确性的至少一个。该方法还可以包括响应于检查，校正数据分区。
在一个实施例中，读取数据分区包括进行数据分区错误地包括非零数据的确定。
在替代实施例中，保持逻辑存储的分配包括创建至少具有用于数据分区的逻辑地址的分区数据记录。该方法典型地包括将分区存储在永久介质中，并且将分区存储在永久介质中可以包括更新分区数据记录以包含用于进入数据分区的物理地址，并且重新分配物理存储可以包括从分区描述符记录移除物理地址。
在另外的替代实施例中，该方法包括利用零比特的输出数据分区响应请求大容量存储系统提供数据分区。
根据本发明的实施例，还提供了一种用于将数据迁移到大容量存储系统的装置，包括：
控制单元，其配置为：
接收进入数据分区用于在大容量存储系统中的存储，以及
在大容量存储系统中为进入数据分区分配逻辑存储；以及
处理器，其耦合到控制单元，以便：
进行进入数据分区只包括零数据的确定；以及
响应于该确定，在大容量存储系统中禁止进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。
根据本发明的实施例，还提供了一种用于监视大容量存储系统中的数据的装置，包括：
控制单元，其配置为从物理存储读取数据分区；以及
处理器，其耦合到控制单元，以便：
执行数据分区只包括零数据的确定；以及
响应于该确定，重新分配大容量存储系统中数据分区的物理存储，并且保持用于数据分区的分配的逻辑存储。
附图说明
从下面与附图一起进行的本发明的实施例的详细描述中，将更完全地理解本发明，附图中：
图1是根据本发明实施例的数据存储系统的示意图；
图2是根据本发明实施例的、连接到另一存储系统的图1的数据存储系统的示意图；
图3是根据本发明实施例的、示意性图示用于在图1的数据存储系统中存储迁移分区的方法的流程图；
图4是根据本发明实施例的、图1的数据存储系统中的高速缓存的示意图；以及
图5是根据本发明实施例的、示意性图示用于在图1的数据存储系统中清理(scrubbing)数据分区的方法的流程图。
具体实施方式
概述
自动精简配置是“即时容量(just in time capacity)”，其本质上消除了分配的但是未使用的存储或搁置的存储(stranded storage)。在题为“Dynamicallocation of storage for hierarchical copies”的美国专利申请公开No.2006/0253681中描述了一种在存储系统中实现自动精简配置的机制的方式，在此通过引用并入其全部内容。
本发明的实施例提供用于增强自动精简配置存储系统的性能的方法。当物理数据分区的内容具有零值时，从而所有的数据比特为“关(off)”，该分区需要逻辑定义但是不需要物理存储空间。该情况可以以各种方式出现，例如当应用对分区中包含的数据进行操作并产生等于零的结果时。
当数据从源存储系统迁移到目的地自动精简配置存储系统时，可以使用下面描述的本发明的一个实施例。在分配物理存储之前分析迁移的每个数据分区。如果分区的内容具有零值，则分配逻辑存储，并且不使用物理存储。当应用请求读取该分区的全部或部分时，通过返回只由零构成的分区适当地响应该请求。禁止迁移的“零”分区的物理存储提高了存储效率，同时增加了用于应用数据的可用存储空间。
本发明的另一实施例在“清理”过程期间，消除了具有零值的分区的物理存储。典型地，存储系统包括清理过程，其在常规系统活动的后台工作，以周期性检查盘上存储的每个分区的数据完整性和正确性。清理过程典型地通过将数据清理干净，应用来将正确数据恢复到发现有缺陷的分区。除了执行完整性和正确性检查外，清理过程还可以实现来检查存储在分区中的数据只是零的可能性。如果分区只包含零，则该分区保持逻辑地在系统中定义，但是盘上的物理存储空间被重新分配，并且分区的内容(只有零)不写到盘上。当应用请求读取该分区的全部或部分时，通过返回只有零构成的分区来适当地响应该请求。当在清理期间发现“零”分区时消除用于它们的物理空间提供了类似于上面对于数据迁移描述的优点。
系统描述
图1示出根据本发明实施例的大容量数据存储系统10的示意方块图。系统10通过本领域任何已知方式，例如经由网络50(如因特网)或通过总线连接到一个或多个主机52。数据以逻辑单元(LUN)存储在系统10内，该逻辑单元包括与逻辑地址(LA)相关联的逻辑块序列。这些块的内容典型地以分布式方式遍及一组慢和/或快存取时间、非易失性大容量存储设备12存储，这里通过示例的方式假设是盘。主机52经由输入/输出(I/O)请求存取盘12中存储的数据，该I/O请求包括I/O读取请求和I/O写入请求。在I/O读取请求中，从其中存储数据的盘12之一读取请求的数据。在I/O写入请求中，将数据写入到一个或多个盘12中。
通过本领域技术人员所熟悉的方式，系统10可以包括管理节点25和/或系统10的其他元件，该管理节点25典型地实现为可以并入盘12的一个或多个处理单元。系统10还可以包括一个或多个基本类似的接口26，其从主机52接收I/O读取和写入请求，请求访问盘12。每个接口26可以以硬件和/或软件实现，并且可以位于存储系统10中，或可替代地位于任何其他适当位置，如网络50的元件或主机52之一。在盘12和接口之间是许多中间高速缓存20，每个高速缓存耦合到盘12的各自的子组。高速缓存20通过本领域所知的任何适合的快速耦合系统(如总线或开关)耦合到接口26，使得每个接口能够与每个高速缓存通信，并且传送数据到每个高速缓存和从其接收数据，该高速缓存反过来能够根据需要将数据传送到它的盘12的子组或从其接收数据。通过示例的方式，这里假设高速缓存20和接口26之间的耦合是通过第一交叉点开关14。接口26基本上相互独立地操作。高速缓存20和接口26操作为数据传送系统，在主机52和盘12之间传送数据。
典型地在存储系统10中分布的、可以包括一个或多个处理单元的处理器30操作该系统。处理器典型地发送指令到管理节点25和高速缓存20。
系统10中的每个逻辑单元(LUN)的连续块分组为分区，其长度贯穿系统典型地是相等的。因此，LUN包括连续的逻辑分区的串，该逻辑分区依次包括连续的逻辑块的串。在这里描述的本发明的实施例中，假设分区是用于管理在此描述的大多数数据事务(包括清理处理)的基本数据部分。然而，可以使用用于在数据事务中分配数据的任何其他的方便的系统。
管理节点分配逻辑单元分区给每个高速缓存20，使得每个高速缓存能够从其分配的分区的LA的范围内检索数据和/或存储数据。典型地选择该范围，使得利用盘12的全部存储器地址空间。在系统10中，数据可以冗余存储，在该情况下，每个分区映射到至少两个高速缓存，并且映射到分别与它们相关联的盘12。在转让给本发明的受让人的、题为“Data Allocation in aDistributed Storage System”的美国专利申请公开No.2005/0015566中描述了用于冗余地将逻辑地址范围映射到高速缓存的方法。这种方法可以在本发明的实施例中使用。
每个高速缓存20的分配的分区典型地记录在每个接口26中存储的分布表格19中。每个分布表格由其接口使用，以将I/O请求从主机52路由到高速缓存。可替代地或另外地，通过本领域已知的用于生成分区和高速缓存之间的对应的任何适合的方法，每个高速缓存20的分配的分区存储在每个接口26中。将理解分布表格19对每个接口26给出系统10的全部高速缓存地址范围的一般概述。在转让给本发明的受让人的、题为“Distributed IndependentCache Memory”的美国专利申请公开No.2005/0015567中描述了可以用于生成如分布表格19的表格的方法。
用于访问数据的I/O请求转送到特定高速缓存，并且可以由高速缓存自身或连接到高速缓存的盘12服务。因此，每个高速缓存对转送到其的I/O请求作用，基本上与其他高速缓存独立；类似地，每个高速缓存与其各自的盘子组通信，基本上与其他高速缓存和它们各自的子组之间的通信独立。每个高速缓存20包括各自的一组分区表格17，其对该高速缓存特定；分区表格的功能在下面更详细地描述。
管理节点25还可以保持主配置表格18，其包括部分包含在分区表格17并且部分在分布表格19中的信息。在本发明的实施例中，处理器30可以通过修改主配置表格并将相关的、修改的信息广播给高速缓存20和接口26，产生系统中的配置改变，使得它们将分别修改分区表格17和分布表格19。
图2示出根据本发明实施例的、连接到源存储系统11的存储系统10的示意图。在系统10中，每个高速缓存20可以包括控制单元64、数据空间66和分区描述符记录70，它们全部下面更详细地描述。为了清楚，在图2中只示出一个接口26和一个高速缓存20及其耦合的盘12。比图1更详细地示出高速缓存。存储系统之间的连接的目的是将数据从源存储系统迁移到存储系统10，这里也称为目的地存储系统。源系统11基本包括本领域已知的任何种类的存储系统。接口26配置为读取按照源系统11格式化的数据，并且如果需要，将迁移的数据重新安排为系统10可以存储的数据分区种类，使得可以执行迁移处理。
两个系统之间的连接可以经由链路84实现，该链路84例如将数据从系统11的一些通信端口传送到系统10的一个或多个接口26。从这里，数据将引导到对应的高速缓存20，如同在来自主机52的任何种类的I/O写入请求的情况下。
当来自系统11的数据分区到达系统10中的适当的高速缓存20时，其还可以写入盘12。高速缓存可以包含用于管理高速缓存功能的控制单元64，该单元典型地在来自处理器30的指令下操作。可替代地，高速缓存行为可以通过专用硬件逻辑或通过硬件和软件元件的组合，在处理器30的整体控制下实现。以下，假设高速缓存20包括控制单元64，并且由控制单元64和处理器30执行的功能可以互换。
如果在盘12上有足够的用于存储数据的数据块可用，则控制单元64在盘上的物理地址处存储数据，并且创建物理存储地址和LUN的一个或多个各自的逻辑分区之间的链接。由控制单元创建的链接在这里称为分区描述符记录(PDR)70，并且PDR存储在高速缓存的分区表格17中。当存储系统接收用于访问在LUN的逻辑分区的数据的I/O命令时，控制单元使用PDR来标识请求的物理位置。
如果不存在足够的数据块来存储数据，则存储系统10返回错误消息。
根据本发明的实施例，迁移分区初始暂时存储在数据空间66中。控制单元然后检查该分区，以确定是否其包含不同于零的数据。这是典型的标准情况。然而，还可以存在这样的情况，其中该分区只由零构成，或换句话说，使得其全部比特关闭。
如果控制单元64确定数据空间66的进入分区只由零构成，则其认为该分区要在系统10中定义，但是在盘上不为该分区分配物理存储空间，并且不将该分区的内容(只有零)写入盘上。稍后，如果主机52发送要存储系统10读取迁移的分区的全部或部分的请求，则通过将只由零构成的分区返回给主机来适当地响应该请求。
图3是根据本发明实施例的、示意性图示用于存储从存储系统11迁移到存储系统10的分区的方法的流程图91。该方法可以响应于控制数据迁移的命令由控制单元64使用。另外地或可替代地，当需要将分区从源存储系统迁移到存储系统10时，该方法可以由处理器操作的管理节点25调用。
在接收步骤90，高速缓存20接收从存储系统11迁移的分区，并且控制单元64可以在数据空间66中暂时存储分区用于分析。
在PDR写入步骤92，控制单元创建特定PDR 70(图2)，并且将接收的分区的逻辑地址(LA)写入PDR中。PDR存储在分区表格17中以记录迁移的分区的接收。
在分区分析步骤94中，控制单元64然后分析数据空间66中的迁移的分区，以确定是否所有比特具有零值。如果控制单元确定该分区只由零组成，则在确认步骤102中，其可以通知管理节点25或处理器30它已经完成分区迁移。另外，控制单元可以更新PDR 70以指示没有分配物理空间。
然而，如果控制单元64确定迁移的分区包含非零数据，则在足够空间确定步骤96，其检查以了解盘12上是否存在可用于该分区的足够物理存储。如果盘上不存在足够的空间可用，则在错误响应步骤98出现错误状况。如果在盘上存在足够的可用空间来存储迁移的分区，则控制单元将分区数据写入盘中，并且在物理存储步骤100中，通过记录分区的物理地址来更新迁移的分区PDR。控制单元然后在确认步骤102通知管理节点25或处理器30它已经完成分区迁移。流程图91的实现禁止迁移的“零”分区的物理存储，提高了存储效率，并且增加了应用数据的可用存储空间。
图4示出根据本发明实施例的、存储系统10中的一个高速缓存20及其盘12的子组的示意图。在图4中，由与上面参照图2所述的高速缓存20的元件相同的参照标号所示高速缓存20的元件通常在结构和操作上是类似的。在下面的描述中，假设盘12包括物理数据分区110。存储系统10可以配置为通过并入上述增强的自动精简配置系统，在其盘上实现增强的清理过程。在本发明的一个实施例中，除了执行完整性和正确性检查外(上面在概述中描述的)，还检查分区中存储的数据只是零的可能性。
在清理时，控制单元64将盘12上存储的给定的物理数据分区110复制到数据空间66。检查物理分区的完整性和正确性，并且控制单元校正发现的任何错误。然后，控制单元检查数据空间中存储的数据只包含零的可能性。如果事实如此，则控制单元更新分区表格17中的PDR 70，使得分区保留逻辑地址，同时重新分配物理地址。如果分区包含非零数据，则控制单元将数据空间66中的清理的分区写回到盘上的物理数据分区。
在完整性和正确性检查中可能发现的一类错误是当物理数据分区错误地包含非零数据，但是实际上应当只包含非零数据。如果事实如此，则如上所述，控制单元更新分区表格17中的PDR 70，使得分区保留逻辑地址，同时重新分配物理地址。
图5是根据本发明实施例的、示意性图示用于通过图4的高速缓存清理数据分区的流程图121。
在分区接收步骤120中，控制单元64从盘12接收分区用于清理，并且可以将其暂时存储在数据空间66中。在完整性检查步骤122中，控制单元检查分区数据的完整性和正确性。完整性检查典型地包括检查分区数据符合相关数据，正确性检查典型地包括检查分区数据的值有效。在缺陷数据确定步骤124中，控制单元确定分区数据是否包含错误。在数据校正步骤126中，控制单元校正发现的任何缺陷数据。应用的校正包括上面参照图4描述的那些。
在分区分析步骤128中，控制单元64然后分析数据空间66中的分区以确定是否所有比特具有零值。如果确定分区只由零构成，则在存储重新分配步骤132中，控制单元重新分配物理分区。这释放了之前由该分区占据的、盘12上的物理盘空间，以用于存储。
在步骤132之后，在PDR更新步骤134中，更新用于分区的分区数据记录以移除物理地址，保留逻辑地址(LA)。控制单元理解包含逻辑地址而没有对应的物理地址的任何PDR 70指示该分区只由零构成。这确保如果稍后主机52发送请求到存储系统10要读取该分区的全部或部分，则通过存储系统将只由零构成的输出(outgoing)分区返回到主机来适当地响应该请求。
返回到分区分析步骤128，如果发现非零分区数据，则在分区写入步骤130中，控制单元64将来自数据空间66的分区数据写到盘上。在PDR修改步骤134中，如果数据校正已经改变分区大小，则控制单元64可以更新PDR70的物理地址。
在步骤130或134之后，控制单元64在确认步骤136中通知管理节点25或处理器30它已经完成清理分区。流程图121的实现消除了在清理处理期间发现的“零”分区的物理存储，这提高了存储效率，并且增加了应用数据的可用存储空间。
将意识到，上述实施例通过示例的方式举出，并且本发明不限于上面具体示出和描述的那些。而是，本发明的范围包括上面描述的各种特征及其变化和修改的组合和子组合，该变化和修改在本领域技术人员阅读前面的描述时将出现并且没有在现有技术中公开。
相关申请的交叉引用
本申请要求2007年10月1日提交的美国临时专利申请号60/976,572的权益，在此通过引用并入其全部内容。

Claims (32)

1.一种用于将数据迁移到大容量存储系统的方法，包括：
接收进入数据分区用于在大容量存储系统中的存储；
在大容量存储系统中为进入数据分区分配逻辑存储；
进行进入数据分区只包括零数据的确定；以及
响应于该确定，在大容量存储系统中禁止进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。
2.如权利要求1所述的方法，其中分配逻辑存储包括创建至少包括用于进入数据分区的逻辑地址的分区数据记录。
3.如权利要求2所述的方法，其中创建分区数据记录包括将分区数据记录存储在永久介质中。
4.如权利要求1所述的方法，还包括进行进入数据分区包括非零数据的进一步确定，并且响应于该进一步确定，将进入数据分区存储在永久介质中。
5.如权利要求4所述的方法，其中将进入数据分区存储在永久介质中包括更新分区数据记录以包含用于进入数据分区的物理地址。
6.如权利要求1所述的方法，其中该大容量存储系统包括自动精简配置存储系统。
7.如权利要求1所述的方法，并且包括利用由零比特构成的数据分区响应请求大容量存储系统提供只包括零数据的数据分区。
8.一种用于监视大容量存储系统中的数据的方法，包括：
从物理存储读取数据分区；
进行数据分区只包括零数据的确定；以及
响应于该确定，重新分配大容量存储系统中数据分区的物理存储，同时保持用于数据分区的逻辑存储的分配。
9.如权利要求8所述的方法，其中读取数据分区包括检查数据分区的完整性和正确性的至少一个。
10.如权利要求9所述的方法，并且包括响应于检查校正数据分区。
11.如权利要求8所述的方法，其中读取数据分区包括进行数据分区错误地包括非零数据的确定。
12.如权利要求8所述的方法，其中保持逻辑存储的分配包括创建至少包括用于数据分区的逻辑地址的分区数据记录。
13.如权利要求12所述的方法，并且包括将分区存储在永久介质中。
14.如权利要求13所述的方法，其中将分区存储在永久介质中包括更新分区数据记录以包含用于进入数据分区的物理地址。
15.如权利要求12所述的方法，其中重新分配物理存储包括从分区描述符记录移除物理地址。
16.如权利要求8所述的方法，并且包括利用由零比特构成的输出数据分区响应请求大容量存储系统提供数据分区。
17.一种用于将数据迁移到大容量存储系统的装置，包括：
控制单元，其配置为：
接收进入数据分区用于在大容量存储系统中的存储，以及
在大容量存储系统中为进入数据分区分配逻辑存储；以及
处理器，其耦合到控制单元以便：
进行进入数据分区只包括零数据的确定；以及
响应于该确定，在大容量存储系统中禁止进入数据分区的物理存储，同时保持用于进入数据分区的分配的逻辑存储。
18.如权利要求17所述的装置，其中分配逻辑存储包括创建至少包括用于进入数据分区的逻辑地址的分区数据记录。
19.如权利要求18所述的装置，其中创建分区数据记录包括将分区数据记录存储在永久介质中。
20.如权利要求17所述的装置，其中处理器配置为进行进入数据分区包括非零数据的进一步确定，并且响应于该进一步确定，将进入数据分区存储在永久介质中。
21.如权利要求20所述的装置，其中将进入数据分区存储在永久介质中包括更新分区数据记录以包含用于进入数据分区的物理地址。
22.如权利要求17所述的装置，其中该大容量存储系统包括自动精简配置存储系统。
23.如权利要求17所述的装置，其中处理器配置为利用由零比特构成的输出数据分区响应请求大容量存储系统提供数据分区。
24.一种用于监视大容量存储系统中的数据的装置，包括：
控制单元，其配置为从物理存储读取数据分区；以及
处理器，其耦合到控制单元以便：
执行数据分区只包括零数据的确定；以及
响应于该确定，重新分配大容量存储系统中数据分区的物理存储，并且保持用于数据分区的分配的逻辑存储。
25.如权利要求24所述的装置，其中读取数据分区包括检查数据分区的完整性和正确性的至少一个。
26.如权利要求25所述的装置，其中处理器配置为响应于检查校正数据分区。
27.如权利要求24所述的装置，其中读取数据分区包括进行数据分区错误地包括非零数据的确定。
28.如权利要求24所述的装置，其中分配逻辑存储包括创建至少包括用于数据分区的逻辑地址的分区数据记录。
29.如权利要求28所述的装置，其中分区的物理存储包括将分区存储在永久介质中。
30.如权利要求29所述的装置，其中将分区存储在永久介质中包括更新分区数据记录以包含用于进入数据分区的物理地址。
31.如权利要求28所述的装置，其中重新分配物理存储包括从分区描述符记录移除物理地址。
32.如权利要求24所述的装置，其中处理器配置为利用由零比特构成的输出数据分区响应请求大容量存储系统提供数据分区。
CN200880109702.6A 2007-10-01 2008-09-28 自动精简配置迁移和清理 Active CN101809551B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US97657207P 2007-10-01 2007-10-01
US60/976,572 2007-10-01
US12/019,650 2008-01-25
US12/019,650 US8386744B2 (en) 2007-10-01 2008-01-25 Thin provisioning migration and scrubbing
PCT/IL2008/001305 WO2009044397A2 (en) 2007-10-01 2008-09-28 Thin provisioning migration and scrubbing

Publications (2)

Publication Number Publication Date
CN101809551A true CN101809551A (zh) 2010-08-18
CN101809551B CN101809551B (zh) 2013-06-05

Family

ID=40509709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880109702.6A Active CN101809551B (zh) 2007-10-01 2008-09-28 自动精简配置迁移和清理

Country Status (6)

Country Link
US (1) US8386744B2 (zh)
EP (1) EP2206045A4 (zh)
JP (1) JP5315348B2 (zh)
KR (1) KR20100077156A (zh)
CN (1) CN101809551B (zh)
WO (1) WO2009044397A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446072A (zh) * 2010-10-07 2012-05-09 国际商业机器公司 用于池式存储中的raid 阵列变换的系统和方法
CN102498466A (zh) * 2009-09-14 2012-06-13 国际商业机器公司 数据存储实体之间的数据迁移
CN102651009A (zh) * 2011-02-28 2012-08-29 国际商业机器公司 一种存储系统中检索数据的方法和设备
CN104035887A (zh) * 2014-05-22 2014-09-10 中国科学院计算技术研究所 一种基于精简配置系统的块设备缓存装置及其方法
US9563359B2 (en) 2010-10-07 2017-02-07 International Business Machines Corporation System and method for transforming an in-use RAID array including migrating data using reserved extents

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140752B2 (en) * 2007-09-20 2012-03-20 Xyratex Technology Limited Method of executing a background task and an array controller
US8108634B1 (en) * 2008-06-27 2012-01-31 Emc B.V., S.A.R.L. Replicating a thin logical unit
US7856528B1 (en) * 2009-08-11 2010-12-21 Texas Memory Systems, Inc. Method and apparatus for protecting data using variable size page stripes in a FLASH-based storage system
US8578087B2 (en) * 2010-02-02 2013-11-05 International Business Machines Corporation On demand conversion of standard logical volumes to thin-provisioned logical volumes
US8429391B2 (en) * 2010-04-16 2013-04-23 Micron Technology, Inc. Boot partitions in memory devices and systems
US8510527B1 (en) * 2010-10-08 2013-08-13 Qlogic, Corporation System and methods for migrating information from source storage to destination storage
CN101976223B (zh) * 2010-10-09 2012-12-12 成都市华为赛门铁克科技有限公司 自动精简配置方法和装置
US8688908B1 (en) 2010-10-11 2014-04-01 Infinidat Ltd Managing utilization of physical storage that stores data portions with mixed zero and non-zero data
US8577836B2 (en) 2011-03-07 2013-11-05 Infinidat Ltd. Method of migrating stored data and system thereof
CN103493086B (zh) * 2011-04-25 2018-01-02 伊卡诺斯通讯公司 用于在联网环境中进行高速缓存的方法和装置
US9465737B1 (en) * 2012-07-02 2016-10-11 Toshiba Corporation Memory systems including a duplicate removing filter module that is separate from a cache module
CN102915275A (zh) * 2012-09-13 2013-02-06 曙光信息产业(北京)有限公司 一种自动精简配置系统
US10908832B2 (en) * 2017-10-31 2021-02-02 Micron Technology, Inc. Common pool management
CN111273870B (zh) * 2020-01-20 2023-06-06 深圳奥思数据科技有限公司 云存储系统间海量数据迭代迁移方法、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3236152B2 (ja) 1992-10-22 2001-12-10 日本電気株式会社 ファイル圧縮処理装置
JP3133525B2 (ja) 1992-11-27 2001-02-13 三洋電機株式会社 データバックアップシステム
JP3554045B2 (ja) 1994-10-28 2004-08-11 富士通株式会社 補助記憶装置の記録内容復元装置および記録復元装置
US5649158A (en) 1995-02-23 1997-07-15 International Business Machines Corporation Method for incrementally archiving primary storage to archive storage by utilizing both a partition archive status array and a partition map
US7162600B2 (en) 2005-03-29 2007-01-09 Hitachi, Ltd. Data copying method and apparatus in a thin provisioned system
US7546482B2 (en) * 2002-10-28 2009-06-09 Emc Corporation Method and apparatus for monitoring the storage of data in a computer system
US7024526B2 (en) * 2002-10-31 2006-04-04 Hitachi, Ltd. Apparatus and method of null data skip remote copy
US7908413B2 (en) 2003-07-15 2011-03-15 International Business Machines Corporation Data allocation in a distributed storage system
US7293156B2 (en) 2003-07-15 2007-11-06 Xiv Ltd. Distributed independent cache memory
US7225314B1 (en) * 2004-05-26 2007-05-29 Sun Microsystems, Inc. Automatic conversion of all-zero data storage blocks into file holes
US20060200481A1 (en) * 2005-03-04 2006-09-07 Khalid Goyan Method and system for data optimization and protection in DSP firmware
US7130960B1 (en) * 2005-04-21 2006-10-31 Hitachi, Ltd. System and method for managing disk space in a thin-provisioned storage subsystem
US7490213B2 (en) 2005-05-06 2009-02-10 Xiv Ltd. Dynamic allocation of storage for hierarchical copies
US20070150690A1 (en) * 2005-12-23 2007-06-28 International Business Machines Corporation Method and apparatus for increasing virtual storage capacity in on-demand storage systems
US20070174549A1 (en) 2006-01-24 2007-07-26 Yevgen Gyl Method for utilizing a memory interface to control partitioning of a memory module
JP4927408B2 (ja) * 2006-01-25 2012-05-09 株式会社日立製作所 記憶システム及びそのデータ復元方法
JP2008146574A (ja) * 2006-12-13 2008-06-26 Hitachi Ltd 記憶制御装置及び記憶制御方法
JP2008171311A (ja) 2007-01-15 2008-07-24 Matsushita Electric Ind Co Ltd データ保存装置
US20080288436A1 (en) * 2007-05-15 2008-11-20 Harsha Priya N V Data pattern matching to reduce number of write operations to improve flash life

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102498466A (zh) * 2009-09-14 2012-06-13 国际商业机器公司 数据存储实体之间的数据迁移
CN102498466B (zh) * 2009-09-14 2015-01-28 国际商业机器公司 一种迁移数据存储系统的数据的方法和控制器
CN102446072A (zh) * 2010-10-07 2012-05-09 国际商业机器公司 用于池式存储中的raid 阵列变换的系统和方法
CN102446072B (zh) * 2010-10-07 2014-11-19 国际商业机器公司 用于池式存储中的raid 阵列变换的系统和方法
US9552167B2 (en) 2010-10-07 2017-01-24 International Business Machines Corporation Raid array transformation in a pooled storage system
US9563359B2 (en) 2010-10-07 2017-02-07 International Business Machines Corporation System and method for transforming an in-use RAID array including migrating data using reserved extents
CN102651009A (zh) * 2011-02-28 2012-08-29 国际商业机器公司 一种存储系统中检索数据的方法和设备
CN102651009B (zh) * 2011-02-28 2014-09-24 国际商业机器公司 一种存储系统中检索数据的方法和设备
US9058112B2 (en) 2011-02-28 2015-06-16 International Business Machines Corporation Retrieving data in a storage system using thin provisioning
US9747318B2 (en) 2011-02-28 2017-08-29 International Business Machines Corporation Retrieving data in a storage system using thin provisioning
CN104035887A (zh) * 2014-05-22 2014-09-10 中国科学院计算技术研究所 一种基于精简配置系统的块设备缓存装置及其方法
CN104035887B (zh) * 2014-05-22 2017-10-31 中国科学院计算技术研究所 一种基于精简配置系统的块设备缓存装置及其方法

Also Published As

Publication number Publication date
KR20100077156A (ko) 2010-07-07
CN101809551B (zh) 2013-06-05
JP5315348B2 (ja) 2013-10-16
WO2009044397A2 (en) 2009-04-09
JP2010541060A (ja) 2010-12-24
US20090089534A1 (en) 2009-04-02
WO2009044397A3 (en) 2010-03-04
EP2206045A2 (en) 2010-07-14
US8386744B2 (en) 2013-02-26
EP2206045A4 (en) 2012-08-01

Similar Documents

Publication Publication Date Title
CN101809551B (zh) 自动精简配置迁移和清理
US6675176B1 (en) File management system
AU661680B2 (en) Disk drive array memory system using nonuniform disk drives
US7383379B2 (en) Manipulating data in a data storage device using an auxiliary memory device
US9003414B2 (en) Storage management computer and method for avoiding conflict by adjusting the task starting time and switching the order of task execution
JP5099128B2 (ja) ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
JP5342086B2 (ja) 計算機システム、及びその管理方法、並びにプログラム
JP4579492B2 (ja) 媒体識別子に基づいてデータストレージ媒体へのドライブアクセスをセキュア化する方法
CN101510145B (zh) 一种存储系统管理方法和装置
US20090327642A1 (en) Storage management program, storage management method, and storage management apparatus
CN103080917A (zh) 可扩展存储装置
CN101788890A (zh) 在一储存系统架构下产生一虚拟卷的方法及数据存取方法
CN101840308A (zh) 一种分级存储系统及其逻辑卷管理方法
CN101223498A (zh) 用于管理数据存储的方法、系统和计算机程序产品以及虚拟化引擎
WO2014162586A1 (ja) ストレージシステムおよびストレージシステム制御方法
CN110058960B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US6922762B2 (en) Clustering storage system
US20040111580A1 (en) Method and apparatus for mapping storage partitions of storage elements for host systems
CN101976181A (zh) 一种存储资源的管理方法及管理装置
CN106843773A (zh) 存储方法和分布式存储系统
CN102576329A (zh) 存储区域网络中虚拟存储管理的主动-主动支持
CN101997919B (zh) 一种存储资源的管理方法及管理装置
US10019359B1 (en) Optimized read processing
US11061604B2 (en) Method and storage system architecture for accessing data by means of a compatible module
JP2003131818A (ja) クラスタ構成ストレージにおけるクラスタ間ｒａｉｄ構成

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: HUAWEI TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINES CORPORATION

Effective date: 20150323

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: 518129 SHENZHEN, GUANGDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20150323

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee after: Huawei Technologies Co., Ltd.

Address before: New York grams of Armand

Patentee before: International Business Machines Corp.