CN114063886A - 用于存储管理的方法、电子设备和计算机程序产品 - Google Patents

用于存储管理的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN114063886A
CN114063886A CN202010759577.6A CN202010759577A CN114063886A CN 114063886 A CN114063886 A CN 114063886A CN 202010759577 A CN202010759577 A CN 202010759577A CN 114063886 A CN114063886 A CN 114063886A
Authority
CN
China
Prior art keywords
storage
block
metadata
identification
orphaned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010759577.6A
Other languages
English (en)
Inventor
姚思聪
余长勇
邵建华
刘先龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202010759577.6A priority Critical patent/CN114063886A/zh
Priority to US17/081,179 priority patent/US11385826B2/en
Publication of CN114063886A publication Critical patent/CN114063886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

本公开的实施例涉及用于存储管理的方法、电子设备和计算机程序产品。根据本公开的示例性实现，一种用于存储管理的方法，包括：如果确定文件系统的源存储切片要被回收，从包括多个存储块的源存储切片中标识文件系统的客户端不可访问的孤立存储块；将孤立存储块的数据复制到目标存储块，目标存储块位于文件系统的预定隔离区域内的目标存储切片中；以及至少基于孤立存储块的第一元数据，生成目标存储块的第二元数据，第二元数据至少包括孤立存储块的标识。由此，可以提高管理性能，并且降低存储成本。

Description

用于存储管理的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及存储管理，具体涉及用于存储管理的方法、电子设备和计算机程序产品。
背景技术
孤立存储块是文件系统中分配的寻址信息损坏的存储块。由于孤立存储块的寻址信息损坏，因此访问文件系统的客户端无法访问孤立存储块。尽管孤立存储块无法被客户端访问，但是可以在执行文件系统的内部操作(例如，空间回收操作或碎片整理操作等)期间被检测到。这些内部操作能够遍历文件系统中的所有已分配的存储块，并且对孤立存储块进行处理。
传统的文件系统在检测到孤立存储块时，将立即离线以将孤立存储块从文件系统中删除。然而，由于文件系统进行离线恢复，因此由文件系统离线导致的数据不可用时间将严重影响用户体验。
发明内容
本公开的实施例提供了用于存储管理的方法、电子设备和计算机程序产品。
在本公开的第一方面，提供了一种用于存储管理的方法。该方法包括：如果确定文件系统的源存储切片要被回收，从包括多个存储块的源存储切片中标识文件系统的客户端不可访问的孤立存储块；将孤立存储块的数据复制到目标存储块，目标存储块位于文件系统的预定隔离区域内的目标存储切片中；以及至少基于孤立存储块的第一元数据，生成目标存储块的第二元数据，第二元数据至少包括孤立存储块的标识。
在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：如果确定文件系统的源存储切片要被回收，从包括多个存储块的源存储切片中标识文件系统的客户端不可访问的孤立存储块；将孤立存储块的数据复制到目标存储块，目标存储块位于文件系统的预定隔离区域内的目标存储切片中；以及至少基于孤立存储块的第一元数据，生成目标存储块的第二元数据，第二元数据至少包括孤立存储块的标识。
在本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了本公开的一些实施例能够在其中实现的存储管理环境的示例的示意图；
图2示出了根据本公开的一些实施例的用于存储管理的方法的流程图；
图3示出了根据本公开的一些实施例的标识映射信息和元数据的示例的示意图；以及
图4示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
传统上，文件系统可以执行一些内部操作(诸如，空间回收操作或碎片整理操作等)以进行空间回收。文件系统进行空间回收的单元称为存储切片。存储切片包括多个存储块。例如，一个存储切片的大小可以为256MB，而一个存储块的大小可以为8KB。当在文件系统执行内部操作期间检测到孤立存储块时，文件系统将立即离线以执行恢复操作，并且中断正在执行的内部操作。如果一个存储切片包含一个孤立存储块，则不仅孤立存储块本身，而且整个存储切片的回收都将失败。可见，孤立存储块将显著降低存储管理效率。
此外，在文件系统执行了离线恢复操作之后，孤立存储块才会被删除或回收，并且文件系统才会再次上线。然而，由于文件系统离线导致的数据不可用时间将显著影响用户对文件系统的使用。
进一步地，在某些情况下，父目录结构可能损坏，使得损坏的目录下的文件成为孤立的索引节点(inode)。文件系统的离线恢复操作可以为这些文件提供新的名称，并且将这些文件放入指定目录中。客户端可以通过搜索该指定目录来找到这些文件。上述方式的缺点在于，其仅能够针对由父目录损坏导致的孤立的索引节点的情况进行恢复。而对于由映射指针损坏或引用失配等导致的孤立存储块的情况，上述方式将不起作用。
即使将上述方式改进为能够回收孤立存储块，并且为这些孤立存储块提供可寻址的索引节点和偏移，用户仍然会丢失孤立存储块中的数据。这是因为被回收的文件实际上只是稀疏地被存储在一些离散的存储块中，用户通常无法轻易地确定被回收的孤立存储块与原始文件之间的关系。例如，对于记录了一篇文章的原始文件，如果被回收的孤立存储块存储有数据“苹果”，则用户也无法确定数据“苹果”与整篇文章的上下文关系。在启用了压缩的文件系统中，被回收的孤立块将变得更无意义。
根据本公开的示例实施例，提出了一种用于存储管理的改进方案。在该方案中，如果确定文件系统的源存储切片要被回收，文件系统可以从包括多个存储块的源存储切片中标识文件系统的客户端不可访问的孤立存储块。文件系统可以将孤立存储块的数据复制到目标存储块。目标存储块位于文件系统的预定隔离区域内的目标存储切片中。进一步地，文件系统可以至少基于孤立存储块的第一元数据，生成目标存储块的第二元数据，第二元数据至少包括孤立存储块的标识。
以此方式，在本方案中，在检测到孤立存储块时，文件系统不会离线，从而避免文件系统离线导致的数据不可用时间造成的显著影响。此外，孤立存储块不会中断存储切片的回收。另外，将孤立存储块的数据存储在隔离区域中消耗的空间显著小于存储切片的回收产生的可用空间，因此增加了文件系统的空间。
在下文中，将结合图1-图4更详细地描述本方案的具体示例。图1示出了根据本公开的一些实施例的存储管理环境100的示例的示意图。存储管理环境100包括文件系统120和客户端130。
客户端130可以访问文件系统120中的数据。例如，客户端130可以通过文件系统120提供接口来访问文件系统120中的数据。文件系统120可以管理用于存储数据或文件的存储空间。应当理解，该存储空间可以以具有存储能力的任何设备实现，诸如任何磁性存储设备或光学存储设备。该存储空间可以包括多个存储切片130-1至130-8(在下文中，统称为“存储切片”)。每个存储切片130包括多个存储块。
存储空间可以包括已分配区域、待回收区域和预定隔离区域。已分配区域包括从存储池中被分配用于存储数据的存储切片，诸如存储切片130-1至130-3。待回收区域包括要被回收的存储切片，诸如存储切片130-6至130-8。在某些情况下，在要被回收的存储切片中，可能存在孤立存储块，诸如存储切片130-6(在下文中，称为“源存储切片”)中的孤立存储块140。如上所述，客户端130可以访问文件系统120中的数据。然而，由于指向孤立存储块140的寻址信息损坏，使得孤立存储块140无法被客户端130访问。
如上所述，传统上，在文件系统回收待回收区域中的存储切片时，如果文件系统检测到孤立存储块，则文件系统将中断回收操作，并且执行离线恢复，以删除或回收孤立存储块。然而，这将导致不期望的数据不可用时间。为此，在本方案中，在存储空间中创建了隔离区域。隔离区域可以将孤立存储块与客户端130可以访问的正常存储块隔离。例如，可以在文件系统的存储空间的尾部并且在待回收区域之前，创建隔离区域。隔离区域包括用于存储孤立存储块的数据的存储切片，诸如存储切片130-4至130-5。
在某些实施例中，在从文件系统120正在回收的源存储切片130-6中检测到孤立存储块140的情况下，文件系统120将孤立存储块140中的数据从源存储切片130-6复制到隔离区域内的空闲位置，诸如存储切片130-4(在下文中，称为“目标存储切片”)中的空闲存储块150(在下文中，称为“目标存储块”)，并且释放孤立存储块140。在将孤立存储块140中的数据复制到目标存储块150之后，文件系统120可以将存储切片130-6回收到存储池中，以供将来重新分配。在这种情况下，在检测到孤立存储块140时，文件系统120也可以继续回收存储切片130-6，而非中断回收操作，从而不会导致数据不可用时间。因此，可以提高文件系统120的性能和用户体验。
此外，由于孤立存储块的数据被聚集到隔离区域中。而隔离区域中的一个存储切片可以包括多个存储块，因此即使在待回收区域中的多个存储切片中分布有多个孤立存储块，这些孤立存储块也能够被隔离区域中的一个或少数几个存储切片容纳。因此，显著减少了文件系统120的空间成本。
另外，在某些实施例中，多个孤立存储块的数据被依序存储在隔离区域中，因此可以实现快速检索。同时，为了确保数据一致性，文件系统120还生成了标识映射信息和元数据来跟踪复制操作。在下文中，将对标识映射信息和元数据进行详细描述。
以下将结合图2-图3对文件系统120进行的操作进行详细描述。图2示出了根据本公开的一些实施例的用于存储管理的方法200的流程图。例如，方法200可以由如图1所示的文件系统120来执行。应当理解的是，方法200还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。为了便于理解，将参考图3对方法200进行描述。
在某些实施例中，文件系统120可以确定文件系统120的源存储切片130-6是否要被回收。如果文件系统120的源存储切片130-6要被回收，则在210，文件系统120从包括多个存储块的源存储切片130-6中标识文件系统120的客户端130不可访问的孤立存储块140。
在220，文件系统120将孤立存储块140的数据复制到位于文件系统120的预定隔离区域内的目标存储切片130-4中的目标存储块150。此外，除了使孤立存储块140的数据被复制到目标存储块150以外，文件系统120还可以生成目标存储块150的元数据。在230，文件系统120至少基于孤立存储块140的元数据(在下文中，称为“第一元数据”)，生成目标存储块150的元数据(在下文中，称为“第二元数据”)。特别地，第二元数据可以包括孤立存储块140的标识，从而可以指示目标存储块150的数据来自孤立存储块140。应当理解，存储块的标识是可以在文件系统120中唯一地确定存储块并且可以用于寻址存储块的信息。例如，存储块的标识可以是存储块的文件系统块编号。
进一步地，在某些实施例中，文件系统120还可以基于孤立存储块140的标识和目标存储块150的标识，生成目标存储块150的标识映射信息，以用于跟踪复制操作。
为了帮助理解，图3示出了根据本公开的一些实施例的标识映射信息和元数据的示例的示意图300。如图3所示，目标存储块150的标识映射信息360包括孤立存储块的标识(例如，“存储块140”)和目标存储块的标识(例如，“存储块150”)。
此外，目标存储块150的第二元数据370可以包括孤立存储块的标识、源存储切片的标识、孤立存储块在源存储切片中的偏移、寻址信息权重和/或分配状态。寻址信息权重表示存储块中的与存储块的寻址信息相关联的数据在所述存储块中所占的比例。分配状态表示存储块处于已分配、未分配还是隔离状态。
例如，第二元数据370可以以如下方式被生成。具体地，文件系统120可以获取孤立存储块140的标识(例如，“存储块140”)，并且将第二元数据370中的孤立存储块的标识设置为所获取的孤立存储块140的标识。此外，文件系统120可以基于孤立存储块140的第一元数据380，生成第二元数据370。具体地，文件系统120可以将第一元数据380中的源存储切片的标识、孤立存储块在源存储切片中的偏移、以及寻址信息权重复制到第二元数据370中的相应项。进一步地，关于分配状态，文件系统120可以将第二元数据370中的分配状态设置为隔离，以指示目标存储块150处于预定隔离区域内。
在某些实施例中，标识映射信息360可以被存储在文件系统120的存储器中。该存储器可以是易失性的。而第二元数据370可以被存储在文件系统120的存储装置中。该存储装置可以是非易失性的。在这种情况下，标识映射信息360在文件系统120关闭之后将会丢失。为此，在文件系统120重新启动之后，可以使用第二元数据370来恢复或重建标识映射信息360。例如，文件系统120可以基于第二元数据370中的孤立存储块的标识恢复标识映射信息360中的孤立存储块的标识。此外，文件系统120可以获取目标存储块150的标识来恢复标识映射信息360中的目标存储块的标识。
进一步地，为了避免由于频繁检查标识映射信息而导致文件系统120的访问性能下降。文件系统120还可以生成针对源存储切片130-6的孤立存储块索引信息。孤立存储块索引信息可以指示源存储切片130-6中的孤立存储块。例如，孤立存储块索引信息可以指示存储切片中的一个或多个孤立存储块在该存储切片中的相应位置，从而避免将数据写入孤立存储块中。具体地，在某些实施例中，在回收的源存储切片130-6被重新分配之后，文件系统120可以基于孤立存储块索引信息，来将数据存储到被重新分配的源存储切片130-6中除了孤立存储块140以外的其他存储块中。
另外，如上所述，孤立存储块不可访问是由于寻址信息损坏导致的。寻址信息可以包括索引节点信息和映射指针信息。索引节点信息包括源存储切片130-6的标识和孤立存储块140在源存储切片130-6中的偏移。映射指针信息包括孤立存储块140的标识。由于寻址信息包括索引节点信息和映射指针信息，因此孤立存储块不可访问的情况可以由于索引节点信息损坏导致，也可以由于映射指针信息损坏导致。在本方案中，由于生成了映射指针信息360和第二元数据370，使得文件系统120可以容忍这两种情况，并且恢复损坏的寻址信息。
具体地，针对孤立存储块140不可访问是由于寻址信息中的映射指针信息损坏导致的情况，传统文件系统在进行恢复时会将映射指针信息标记为损坏并且删除孤立存储块。因此，尽管恢复了文件系统，但丢失了最初由损坏的映射指针信息指向的数据。为了解决这一问题，在本方案中，文件系统120可以使用第二元数据来恢复映射指针信息。例如，文件系统120可以确定与寻址信息中的索引节点信息中的源存储切片的标识和孤立存储块在源存储切片中的偏移相对应的第二元数据。例如，所确定出的第二元数据的源存储切片的标识和偏移可以与索引节点信息中的源存储切片的标识和偏移相同。然后，文件系统120可以将映射指针信息中的孤立存储块的标识更新为第二元数据中的孤立存储块的标识。
针对孤立存储块140不可访问是由于寻址信息中的索引节点信息损坏导致的情况，如果在索引节点信息被文件系统120恢复之后接收到访问孤立存储块140的请求，则文件系统120可以基于标识映射信息360，确定与映射指针信息中的孤立存储块140的标识相对应的目标存储块150的标识，并且基于目标存储块150的标识访问目标存储块150。
以此方式，基于映射指针信息和第二元数据，文件系统120可以减少孤立存储块上的数据的丢失的可能性，并且可以增加保持数据完整的可能性。
图4示出了可以用来实施本公开内容的实施例的示例设备400的示意性框图。例如，如图1所示的文件系统120可以由设备400来实施。如图所示，设备400包括中央处理单元(CPU)410，其可以根据存储在只读存储器(ROM)420中的计算机程序指令或者从存储单元480加载到随机访问存储器(RAM)430中的计算机程序指令，来执行各种适当的动作和处理。在RAM 430中，还可存储设备400操作所需的各种程序和数据。CPU 410、ROM 420以及RAM430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。
设备400中的多个部件连接至I/O接口450，包括：输入单元460，例如键盘、鼠标等；输出单元470，例如各种类型的显示器、扬声器等；存储单元480，例如磁盘、光盘等；以及通信单元490，例如网卡、调制解调器、无线通信收发机等。通信单元490允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200，可由处理单元410执行。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元480。在一些实施例中，计算机程序的部分或者全部可以经由ROM 420和/或通信单元490而被载入和/或安装到设备400上。当计算机程序被加载到RAM 430并由CPU 410执行时，可以执行上文描述的方法200的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种用于存储管理的方法，包括：
如果确定文件系统的源存储切片要被回收，从包括多个存储块的所述源存储切片中标识所述文件系统的客户端不可访问的孤立存储块；
将所述孤立存储块的数据复制到目标存储块，所述目标存储块位于所述文件系统的预定隔离区域内的目标存储切片中；以及
至少基于所述孤立存储块的第一元数据，生成所述目标存储块的第二元数据，所述第二元数据至少包括所述孤立存储块的标识。
2.根据权利要求1所述的方法，其中生成所述第二元数据包括以下中至少一项：
基于所述第一元数据中的源存储切片的标识，生成所述第二元数据中的源存储切片的标识；
基于所述第一元数据中的孤立存储块在源存储切片中的偏移，生成所述第二元数据中的孤立存储块在源存储切片中的偏移；以及
基于所述第一元数据中的寻址信息权重，生成所述第二元数据中的寻址信息权重，所述第一元数据中的寻址信息权重表示所述孤立存储块中的与所述孤立存储块的寻址信息相关联的数据在所述孤立存储块中所占的比例。
3.根据权利要求2所述的方法，其中生成所述第二元数据还包括：
将所述第二元数据中的分配状态设置为隔离，以指示所述目标存储块处于所述预定隔离区域内。
4.根据权利要求2所述的方法，其中所述孤立存储块不可访问是由于所述寻址信息中的映射指针信息损坏导致的，并且所述方法还包括：
确定与所述寻址信息中的索引节点信息中的源存储切片的标识和孤立存储块在源存储切片中的偏移相对应的所述第二元数据；以及
将所述映射指针信息中的孤立存储块的标识更新为所述第二元数据中的所述孤立存储块的标识。
5.根据权利要求1所述的方法，还包括：
基于所述孤立存储块的标识和所述目标存储块的标识，生成所述目标存储块的标识映射信息。
6.根据权利要求5所述的方法，其中所述标识映射信息在所述文件系统关闭之后将丢失，并且所述方法还包括：
如果所述文件系统重新启动，基于所述第二元数据中的孤立存储块的标识恢复所述标识映射信息中的孤立存储块的标识。
7.根据权利要求5所述的方法，其中所述孤立存储块不可访问是由于所述孤立存储块的寻址信息中的索引节点信息损坏导致的，并且所述方法还包括：
如果在所述索引节点信息被所述文件系统恢复之后接收到访问所述孤立存储块的请求，基于所述标识映射信息，确定与所述映射指针信息中的所述孤立存储块的标识相对应的所述目标存储块的标识；以及
基于所述目标存储块的标识访问所述目标存储块。
8.根据权利要求1所述的方法，还包括：
生成针对所述源存储切片的孤立存储块索引信息，所述孤立存储块索引信息指示所述源存储切片中的孤立存储块。
9.根据权利要求8所述的方法，还包括：
在回收的所述源存储切片被重新分配之后，基于所述孤立存储块索引信息，来将数据存储到被重新分配的所述源存储切片中除了所述孤立存储块以外的其他存储块中。
10.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
如果确定文件系统的源存储切片要被回收，从包括多个存储块的所述源存储切片中标识所述文件系统的客户端不可访问的孤立存储块；
将所述孤立存储块的数据复制到目标存储块，所述目标存储块位于所述文件系统的预定隔离区域内的目标存储切片中；以及
至少基于所述孤立存储块的第一元数据，生成所述目标存储块的第二元数据，所述第二元数据至少包括所述孤立存储块的标识。
11.根据权利要求10所述的设备，其中生成所述第二元数据包括以下中至少一项：
基于所述第一元数据中的源存储切片的标识，生成所述第二元数据中的源存储切片的标识；
基于所述第一元数据中的孤立存储块在源存储切片中的偏移，生成所述第二元数据中的孤立存储块在源存储切片中的偏移；以及
基于所述第一元数据中的寻址信息权重，生成所述第二元数据中的寻址信息权重，所述第一元数据中的寻址信息权重表示所述孤立存储块中的与所述孤立存储块的寻址信息相关联的数据在所述孤立存储块中所占的比例。
12.根据权利要求11所述的设备，其中生成所述第二元数据还包括：
将所述第二元数据中的分配状态设置为隔离，以指示所述目标存储块处于所述预定隔离区域内。
13.根据权利要求11所述的设备，其中所述孤立存储块不可访问是由于所述寻址信息中的映射指针信息损坏导致的，并且所述方法还包括：
确定与所述寻址信息中的索引节点信息中的源存储切片的标识和孤立存储块在源存储切片中的偏移相对应的所述第二元数据；以及
将所述映射指针信息中的孤立存储块的标识更新为所述第二元数据中的所述孤立存储块的标识。
14.根据权利要求10所述的设备，所述动作还包括：
基于所述孤立存储块的标识和所述目标存储块的标识，生成所述目标存储块的标识映射信息。
15.根据权利要求14所述的设备，其中所述标识映射信息在所述文件系统关闭之后将丢失，并且所述方法还包括：
如果所述文件系统重新启动，基于所述第二元数据中的孤立存储块的标识恢复所述标识映射信息中的孤立存储块的标识。
16.根据权利要求14所述的设备，其中所述孤立存储块不可访问是由于所述孤立存储块的寻址信息中的索引节点信息损坏导致的，并且所述方法还包括：
如果在所述索引节点信息被所述文件系统恢复之后接收到访问所述孤立存储块的请求，基于所述标识映射信息，确定与所述映射指针信息中的所述孤立存储块的标识相对应的所述目标存储块的标识；以及
基于所述目标存储块的标识访问所述目标存储块。
17.根据权利要求10所述的设备，所述动作还包括：
生成针对所述源存储切片的孤立存储块索引信息，所述孤立存储块索引信息指示所述源存储切片中的孤立存储块。
18.根据权利要求17所述的设备，所述动作还包括：
在回收的所述源存储切片被重新分配之后，基于所述孤立存储块索引信息，来将数据存储到被重新分配的所述源存储切片中除了所述孤立存储块以外的其他存储块中。
19.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至9任一项所述的方法的步骤。
CN202010759577.6A 2020-07-31 2020-07-31 用于存储管理的方法、电子设备和计算机程序产品 Pending CN114063886A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010759577.6A CN114063886A (zh) 2020-07-31 2020-07-31 用于存储管理的方法、电子设备和计算机程序产品
US17/081,179 US11385826B2 (en) 2020-07-31 2020-10-27 Method, electronic device and computer program product for restoring orphan block via replication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010759577.6A CN114063886A (zh) 2020-07-31 2020-07-31 用于存储管理的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114063886A true CN114063886A (zh) 2022-02-18

Family

ID=80003118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010759577.6A Pending CN114063886A (zh) 2020-07-31 2020-07-31 用于存储管理的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11385826B2 (zh)
CN (1) CN114063886A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861581A (zh) * 2007-09-28 2010-10-13 埃克斯里昂股份公司 网络操作系统
CN102939593A (zh) * 2010-03-05 2013-02-20 艾菲股份有限公司 无限存储器
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
CN106372140A (zh) * 2016-08-29 2017-02-01 浪潮软件集团有限公司 一种可变块大小的兼容文件系统
CN106716412A (zh) * 2014-09-25 2017-05-24 甲骨文国际公司 用于支持分布式计算环境中的零拷贝二进制基数树的系统和方法
US20170235641A1 (en) * 2016-02-17 2017-08-17 International Business Machines Corporation Runtime file system consistency checking during backup operations
CN111143231A (zh) * 2018-11-02 2020-05-12 伊姆西Ip控股有限责任公司 用于数据处理的方法、设备和计算机程序产品

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180811B2 (en) * 2010-10-19 2012-05-15 Symantec Corporation Identifying unreferenced file system components
CN110945486B (zh) * 2018-06-30 2022-06-10 华为技术有限公司 一种存储碎片管理方法及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861581A (zh) * 2007-09-28 2010-10-13 埃克斯里昂股份公司 网络操作系统
CN102939593A (zh) * 2010-03-05 2013-02-20 艾菲股份有限公司 无限存储器
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
CN106716412A (zh) * 2014-09-25 2017-05-24 甲骨文国际公司 用于支持分布式计算环境中的零拷贝二进制基数树的系统和方法
US20170235641A1 (en) * 2016-02-17 2017-08-17 International Business Machines Corporation Runtime file system consistency checking during backup operations
CN106372140A (zh) * 2016-08-29 2017-02-01 浪潮软件集团有限公司 一种可变块大小的兼容文件系统
CN111143231A (zh) * 2018-11-02 2020-05-12 伊姆西Ip控股有限责任公司 用于数据处理的方法、设备和计算机程序产品

Also Published As

Publication number Publication date
US11385826B2 (en) 2022-07-12
US20220035538A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US8510499B1 (en) Solid state drive caching using memory structures to determine a storage space replacement candidate
US9690666B1 (en) Incremental backup operations in a transactional file system
CN108701048B (zh) 数据加载方法及装置
US8386717B1 (en) Method and apparatus to free up cache memory space with a pseudo least recently used scheme
US9785643B1 (en) Systems and methods for reclaiming storage space in deduplicating data systems
CN108733311B (zh) 用于管理存储系统的方法和设备
US10620871B1 (en) Storage scheme for a distributed storage system
CN111240892B (zh) 数据备份方法及装置
CN111143113B (zh) 复制元数据的方法、电子设备和计算机程序产品
GB2520361A (en) Method and system for a safe archiving of data
CN111143231B (zh) 用于数据处理的方法、设备和计算机程序产品
CN110968417B (zh) 管理存储单元的方法、装置、系统和计算机存储介质
CN111581017A (zh) 一种现代应用的备份恢复系统及方法
CN111104249A (zh) 用于数据备份的方法、设备和计算机程序产品
CN110674084A (zh) 用于数据保护的方法、设备和计算机可读存储介质
CN111475100B (zh) 用于管理存储系统的方法、设备和计算机可读介质
US10545825B2 (en) Fault-tolerant enterprise object storage system for small objects
US11392546B1 (en) Method to use previously-occupied inodes and associated data structures to improve file creation performance
US20210326271A1 (en) Stale data recovery using virtual storage metadata
CN114327292B (zh) 文件管理方法、系统、电子设备和存储介质
CN111488117A (zh) 用于管理元数据的方法、电子设备和计算机可读介质
CN114063886A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN111625500B (zh) 文件快照方法及装置、电子设备和存储介质
US11645333B1 (en) Garbage collection integrated with physical file verification
CN114328373A (zh) 管理文件系统的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220218