CN111143231A - 用于数据处理的方法、设备和计算机程序产品 - Google Patents

用于数据处理的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111143231A
CN111143231A CN201811301506.0A CN201811301506A CN111143231A CN 111143231 A CN111143231 A CN 111143231A CN 201811301506 A CN201811301506 A CN 201811301506A CN 111143231 A CN111143231 A CN 111143231A
Authority
CN
China
Prior art keywords
data
entry
metadata
storage location
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811301506.0A
Other languages
English (en)
Other versions
CN111143231B (zh
Inventor
孙骜
雷璐
孙伟
吴佳磊
滕昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201811301506.0A priority Critical patent/CN111143231B/zh
Priority to US16/442,374 priority patent/US11294880B2/en
Publication of CN111143231A publication Critical patent/CN111143231A/zh
Application granted granted Critical
Publication of CN111143231B publication Critical patent/CN111143231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1056—Simplification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例旨提供一种用于数据处理的方法、设备和计算机程序产品。该方法包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该方法还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该方法还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。本公开的实施例能够避免多次更改元数据带来的巨额成本，降低了系统负载和对前端负载的影响。

Description

用于数据处理的方法、设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据处理，更具体地，涉及一种用于数据处理的方法、设备和计算机程序产品。
背景技术
弹性云存储器(Elastic Cloud Storage，ECS)使用名为存储块(chunk)的特定的磁盘容量管理方法。所有用户数据都存储在存储块而不是文件系统中，它们对下层硬件是透明的并且存储块是共享的。一个对象通常表示为存储到不同存储块的一组数据段并且在一个存储块可以包含多个对象的片段。通过存储块来管理磁盘容量并以仅附加方式在存储块上存储数据，ECS使用户数据对下层磁盘和文件系统保持透明，并且可以轻松地考虑分布式系统实现数据一致性。但是仅仅基于存储块的系统的一个缺点是，在收集碎片时更多的数据碎片和高成本。
发明内容
本公开的实施例旨在提供一种用于数据处理的方法、设备和计算机程序产品，以解决现有技术中存在的问题。
在本公开的第一方面，提供一种用于数据处理的方法。该方法包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该方法还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该方法还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。
在本公开的第二方面，提供一种用于数据处理的设备。所述设备包括至少一个处理器以及与所述至少一个处理器耦合的存储器。所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作。该动作包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该动作还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该动作还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。
在本公开的第三方面，提供一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行上述第一方面所述的方法的步骤。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。
附图说明
通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本公开的若干实施例，其中：
图1示出了根据一些实施例的系统100的示意图。
图2示出了根据一些实施例的场景的示意图。
图3示出了根据一些实施例的场景的示意图。
图4能够实施本公开的实施例的示例性系统400的示意图。
图5示出了根据本公开的实施例的方法500的流程图。
图6示出了根据本公开的实施例的场景的示意图。
图7示出了根据本公开的实施例的场景的示意图。
图8示出了可以用来实施本公开的实施例的设备800的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
在下文中，将参考附图详细描述本公开的各个示例性实施例。应当注意，这些附图和描述涉及的仅仅是作为示例性的实施例。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施例，并且可以在不脱离本公开要求保护的原理的情况下使用这些替代实施例。
应当理解，给出这些示例性实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一些实施例”表示“至少一些实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
弹性云存储器(Elastic Cloud Storage，ECS)使用名为存储块(chunk)的特定的磁盘容量管理方法。在ECS中，所有用户数据都存储在存储块而不是文件系统中。一个对象通常表示为存储到不同存储块的一组数据段并且在一个存储块可以包含多个对象的片段。
图1示出了根据一些实施例的存储器系统100的示意图。如图1所示，系统100可以包括对象层110，存储块层120以及硬件层130。对象层110包括对象111-1,111-2以及111-3。对象111-1的数据分别表示为122，对象111-2的数据可以表示为数据123和数据124以及对象111-3的数据可以表示为数据125。
存储块层120例如可以包括多个存储块121-1至121-X。从图1中可以看出，对象111-1的数据122被存储在存储块121-1中，对象111-2的数据123也被存储在存储块121-1中，而对象111-2的数据124被存储在存储块121-2中，以及对象111-3的数据125被存储在存储块121-2中。
此外，硬件层130可以包括多个盘(盘131-1至131-4)，盘包括与存储块相对应的物理块133。盘例如可以包括存储块的备份，例如存储块121-1可以在硬件层130中存在3个备份，即块132-1,132-2以及132-3。
在图1示出的系统100中，对象的元数据例如可以描述对象的数据的大小以及对象的数据被存储于哪个存储块里。例如，对象111-2的元数据可以被表示为([0,2M)->A/S2,[2M,4M)->B/S3)。该元数据描述了对象111-2的数据123被存储在存储块121-1中(将数据123表示成S2，将存储块121-1表示为A)，而对象111-2的数据124被存储在存储块121-2中的(将数据124表示成S3，将存储块121-2表示为B)。数据123和124可以视作对象111-2的两个数据片段，整个数据可能具有4M的大小，其中数据123是整个数据中的“([0,2M)”，而数据124是整个数据中的“[2M,4M)”。
在图1示出的系统100中，对象层仅仅关注存储块，例如关于如何分配物理块，是否被镜像或被EC保护，如何执行恢复，以及在存储块删除后物理块返回的方式等等，都被隐藏在存储块层中。
ECS以仅附加方式将数据存储在存储块上。一旦一个存储块充满并被密封，该存储块是不可变的。图2示出了根据一些实施例的场景的示意图。如图2所示，用户覆盖对象111-2，数据123和124并不是分别在存储块121-1和121-2中被重写，而是ECS将数据123和124附加到一个新的存储块121-X。如图2所示，数据123和数据124被写入到存储块121-X。而在原来的存储块121-1和121-2中分别剩下数据123和数据124的碎片123’和124’。此外，对象111-2的元数据更新为([0,2M]->X/S2，[2M，4M)->X/S3)(其将存储块121-X表示为X)。与上文类似的，该元数据描述了对象111-2的数据被存储在哪个存储块中以及该数据各自的大小。
与随机读写系统相比，ECS的这种存储方式主要优点是更简单且更容易确保一致性。新写入的数据123/124的损坏对数据的原始副本没有影响。
然而，这种存储方式的缺点在于会产生更多碎片，并且高度依赖碎片收集(garbage collection，GC)来恢复容量。例如，在图2中，没有发生任何删除操作，更新/覆盖操作会消耗所有系统容量。碎片收集的速度决定容量开销。遗憾的是，基于存储块的系统上的碎片收集本质上是低效的并且操作非常昂贵。
因为，首先，存储块由对象共享，因此碎片收集需要对对象的元数据更改进行复杂计算，以便告知存储块中的碎片。其次，存储块是用户数据的最小存储/保护单元，ECS期望只有在它完全为空时才回收它的容量。因此，存储块中的部分碎片以需要对象元数据更新的方式处理。在下文中将对这种情况进行说明。
图3示出了根据一些实施例的场景的示意图。如图3所示，在图3中，在对象111-2被覆盖之后，存储块121-1中的数据123和存储块121-2中的数据124变为碎片，并且由于存储块的不可改变性而无法重复使用。在这种情况下，ECS将剩余的有效数据段，也就是存储块121-1中数据122和存储块121-2中的数据125复制到新存储块121-X’，因此存储块121-1和121-2变为完全空置并且可作为一个单元回收。但是，由于数据122和124的存储位置已经改变，因此还必须更改对象111-1和对象111-3的元数据以更新存储块的信息。
在上述过程中涉及对象元数据操作。然而，在ECS上，与对象元数据相关的操作非常昂贵，因为元数据更改的存储块参考计算，存储块和对象之间的同步需要考虑地理备份，前端对象操作和后台元数据更新请求等之间的同步。这导致ECS上的碎片收集本质上是低效的并且操作成本非常高。
为了解决上述问题和其他潜在问题，根据本公开的实施例提出了一种基于逻辑空间层存储方式，以解除对象的元数据和存储块之间的关联，从而降低了碎片收集的复杂性。
以下结合图4至图7进一步详细描述根据本公开的实施例的方法。
图4中示出了能够在其中实施本公开的实施例的存储器的系统400的示意图。图5示出了示出了根据本公开的实施例的方法500的流程图。首先结合图4和图5详细阐述根据本公开的实施例中的存储方法。为了方便描述，在图5中针对相同或相似的部件使用与图4一致的附图标记。
如图4所示，相较于图1示出的系统100，图4示出的系统400还包括逻辑空间层410，在逻辑空间层410中包括多个条目411-414。这些条目411-414可以指示对象层110的对象的数据与存储块之间的关联关系。
在下文中，结合图5示出的流程图500，进一步阐述利用系统400进行存储的方法。
参见图5，在框510，如果与对象相关联的数据被存储在存储位置(即上文中存储块)中，系统400生成指示数据与存储位置之间的第一关联关系的条目。
例如，如图4所示，对象111-1的数据122被存储在存储块121-1中，则在逻辑空间层410中的生成条目411。该条目411指示数据122被存储在存储块121-1中。
在某些实施例中，系统400可以确定存储有数据的存储位置的标识。例如，针对数据122而言，其存储位置是存储块121-1。例如可以用“A”来作为存储块121-1的标识。
此外，系统400可以确定数据在存储位置的存储空间的范围。例如数据122的存储空间的范围可以是[0,2M]。又例如，对于对象111-2而言，数据123和124均是与对象111-2相关联的数据，数据123和124整体可以被视为由对象111-2的数据。然而存储有数据122的存储块121-1没有足够的空间来存储对象111-2的整个数据，因此该数据被拆分成数据123和124，其中数据123被存储在存储块121-1中，而数据124被存储在存储块121-2中。在这种情况下，数据123和数据124的存储空间的范围例如可以分别被表示为[0,2M)和(2M,4M]。这样的范围表示对象111-2的数据的第一部分数据123占整个数据(例如为4M)的0-2M的部分，而对象111-2的数据的第一部分数据124占整个数据2M-4M的部分。
系统400根据所确定的存储有数据的存储位置的标识和数据的存储空间的范围来生成条目中的第一关联关系。换言之，条目中的第一关联关系指示哪个数据被存储在哪个存储位置，即存储块中。针对数据122，条目411例如可以被表示为([0,2M)->A/S1)，其中A为存储位置的标识，S1表示数据122，这个数据122的大小为2M。
再次参照图5，在框520，系统400生成对象的元数据，该元数据指示对象与条目之间的第二关联关系。通过该元数据指示的第二关联关系，使得对象的元数据仅仅与条目相关联。这导致对象解除其本身与数据和数据的存储位置之间的直接关联。
根据某些实施例，系统400生成与对象相关联的条目的索引。该索引例如可以指示在存储条目的列表中的某个条目。例如，针对条目411而言，可以使用“LS1”作为其标识并且建立该索引与对象111-1的关联。系统400通过将索引与对象相关联地存储来生成元数据。仍然以条目411为例，该元数据可以表示为([0,2M)->LS1)。该元数据被存储在对象111-1处。
继续参照图5，在框530，如果数据与存储位置之间的第一关联关系发生变化，则系统400独立于元数据而更新条目。
在某些实施例中，如果数据的存储位置被改变，则更新条目。应当理解，更新条目可以被视作更新数据和其存储位置之间的关联关系，也就是上文涉及的第一关联关系。
以下结合图6和图7来详细说明更新条目的过程。首先参照图6。与图3相比，图6中增加了上文所述的逻辑空间层410。当前在逻辑空间成410中存在条目411和条目414。条目411指示数据122和存储位置，即存储块121-1之间的关联关系，条目414指示数据125和其存储位置，即存储块121-2之间的关联关系。
为了彻底地释放存储块121-1和121-2的空间并将它们回收到硬件层，系统400将数据122和数据125分别移动至新的存储位置，即存储块121-X’。在存储位置发生变化之后，条目411和414分别更新该条目指示的相应地数据和存储位置的关联关系。例如，条目411可以从原本的([0,2M)->A/S1)修改为([0,2M)->X’/S1)。
可以看出，以此方式，仅仅是条目411指示的内容发生了变化，也就是说，变化仅仅发生在逻辑空间层410上。对象层的对象111-1本身的元数据仍然是([0,2M)->LS1)。也就是说，存储数据122的存储块的变化并不能影响对象111-1本身的元数据。系统400仅仅需要更新条目，即更新条目指示的数据和存储位置的关联关系。如图7所示，条目411被更新为关联到存储数据122的新的存储块121-X’。
根据一些实施例，如果数据失效，系统400与数据相关联的条目并且更新与对象相关联的元数据以移除条目的信息。如图6和图7所示，与图4相比，数据123和数据124被移除，相应的条目也被移除。
本公开的实施例能够避免多次更改元数据带来的巨额成本。尽管逻辑空间层的条目发生改变，然而相较于对象层而言，逻辑空间层的变化成本远低于对象层。这是因为对象元数据远大于逻辑空间标记。前者包括除范围映射以外的更多元数据，并且可能是数百KB甚至MB/GB/...，但后者只是一个标识和一个索引，最多几百个字节。通过标识迭代来计算碎片比对象元数据更容易。
此外，系统无需进行针对部分碎片处理的对象元数据更新，因此减少了系统负载和对前端负载的影响。由此，逻辑空间层和存储块层之间的映射变化独立地发生在每个区域中。与对象元数据更新上的地理备份相比，还节省了地理同步的工作量。
图8示出了可以用来实施本公开的实施例的设备800的示意性框图。如图8所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元804加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法500，可由处理单元801执行。例如，在一些实施例中，方法500可被实现为计算机软件程序，其被有形地包含于机器程序产品，例如存储单元804。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法500的一个或多个步骤。
综上所述，本公开的实施例提供了一种用于数据处理的方法和设备，能在满足QAT所提出的存储需求的前提下，避免在目前的解决方案中由于缓冲区复制的操作造成系统性能瓶颈，同时提供了对于不同平台的良好的兼容性。
本公开内容可以是方法、设备和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开内容的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集系统(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
这里参照根据本公开内容实施例的方法、装置(设备)和计算机程序产品的流程图和/或框图描述了本公开内容的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机程序产品则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开内容的多个实施例的方法、设备和计算机程序产品的可能实现的体系系统、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开内容的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文公开的各实施例。

Claims (15)

1.一种数据存储的方法，包括：
响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；
生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及
响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。
2.根据权利要求1所述的方法，其中生成所述条目包括：
确定存储有所述数据的所述存储位置的标识；
确定所述数据在所述存储位置的存储空间的范围；以及
将所述标识和所述范围相关联以生成所述条目中的所述第一关联关系。
3.根据权利要求1所述的方法，其中生成所述元数据包括：
生成与所述对象相关联的所述条目的索引；以及
通过将所述索引与所述对象相关联地存储来生成所述元数据。
4.根据权利要求1所述的方法，其中更新所述条目包括：
响应于所述数据的所述存储位置被改变，更新所述条目。
5.根据权利要求1所述的方法，还包括：
响应于所述数据失效，移除与所述数据相关联的条目；以及
更新与所述对象相关联的元数据以移除所述条目的信息。
6.一种用于数据处理的设备，包括：
至少一个处理器；以及
与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；
生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及
响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。
7.根据权利要求6所述的设备，其中生成所述条目包括：
确定存储有所述数据的所述存储位置的标识；
确定所述数据在所述存储位置的存储空间的范围；以及
将所述标识和所述范围相关联以生成所述条目中的所述第一关联关系。
8.根据权利要求6所述的设备，其中生成所述元数据包括：
生成与所述对象相关联的所述条目的索引；以及
通过将所述索引与所述对象相关联地存储来生成所述元数据。
9.根据权利要求6所述的设备，其中更新所述条目包括：
响应于所述数据的所述存储位置被改变，更新所述条目。
10.根据权利要求6所述的设备，还包括：
响应于所述数据失效，移除与所述数据相关联的条目；以及
更新与所述对象相关联的元数据以移除所述条目的信息。
11.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行以下步骤：
响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；
生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及
响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。
12.根据权利要求11所述的计算机程序产品，其中生成所述条目包括：
确定存储有所述数据的所述存储位置的标识；
确定所述数据在所述存储位置的存储空间的范围；以及
将所述标识和所述范围相关联以生成所述条目中的所述第一关联关系。
13.根据权利要求11所述的计算机程序产品，其中生成所述元数据包括：
生成与所述对象相关联的所述条目的索引；以及
通过将所述索引与所述对象相关联地存储来生成所述元数据。
14.根据权利要求11所述的计算机程序产品，其中更新所述条目包括：
响应于所述数据的所述存储位置被改变，更新所述条目。
15.根据权利要求11所述的计算机程序产品，还包括：
响应于所述数据失效，移除与所述数据相关联的条目；以及
更新与所述对象相关联的元数据以移除所述条目的信息。
CN201811301506.0A 2018-11-02 2018-11-02 用于数据处理的方法、设备和计算机程序产品 Active CN111143231B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811301506.0A CN111143231B (zh) 2018-11-02 2018-11-02 用于数据处理的方法、设备和计算机程序产品
US16/442,374 US11294880B2 (en) 2018-11-02 2019-06-14 Method, device and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811301506.0A CN111143231B (zh) 2018-11-02 2018-11-02 用于数据处理的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111143231A true CN111143231A (zh) 2020-05-12
CN111143231B CN111143231B (zh) 2023-06-13

Family

ID=70459594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811301506.0A Active CN111143231B (zh) 2018-11-02 2018-11-02 用于数据处理的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11294880B2 (zh)
CN (1) CN111143231B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063886A (zh) * 2020-07-31 2022-02-18 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486404A (zh) * 2019-09-12 2021-03-12 伊姆西Ip控股有限责任公司 用于管理存储块的方法、设备和计算机程序产品
CN113268482B (zh) * 2021-04-29 2023-12-08 北京旷视科技有限公司 数据关联方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567244A (zh) * 2011-12-13 2012-07-11 清华大学 闪存和磁盘转换存取方法
CN102598019A (zh) * 2009-09-09 2012-07-18 弗森-艾奥公司 用于分配存储的设备、系统和方法
CN104347118A (zh) * 2013-08-02 2015-02-11 英飞凌科技股份有限公司 用于仿真电可擦除可编程只读存储器的系统及方法
EP3364303A1 (en) * 2016-02-01 2018-08-22 Huawei Technologies Co., Ltd. Data arrangement method, storage apparatus, storage controller and storage array
CN108595349A (zh) * 2017-12-28 2018-09-28 贵阳忆芯科技有限公司 大容量存储设备的地址转换方法与装置
CN110727604A (zh) * 2019-08-26 2020-01-24 华为技术有限公司 一种数据处理方法及装置
CN111338990A (zh) * 2020-02-12 2020-06-26 合肥康芯威存储技术有限公司 一种数据存储装置及数据存储方法与存储系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533158B1 (en) * 2006-09-28 2013-09-10 Emc Corporation Reclaiming data space by rewriting metadata
US8601222B2 (en) * 2010-05-13 2013-12-03 Fusion-Io, Inc. Apparatus, system, and method for conditional and atomic storage operations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598019A (zh) * 2009-09-09 2012-07-18 弗森-艾奥公司 用于分配存储的设备、系统和方法
CN102567244A (zh) * 2011-12-13 2012-07-11 清华大学 闪存和磁盘转换存取方法
CN104347118A (zh) * 2013-08-02 2015-02-11 英飞凌科技股份有限公司 用于仿真电可擦除可编程只读存储器的系统及方法
EP3364303A1 (en) * 2016-02-01 2018-08-22 Huawei Technologies Co., Ltd. Data arrangement method, storage apparatus, storage controller and storage array
CN108595349A (zh) * 2017-12-28 2018-09-28 贵阳忆芯科技有限公司 大容量存储设备的地址转换方法与装置
CN110727604A (zh) * 2019-08-26 2020-01-24 华为技术有限公司 一种数据处理方法及装置
CN111338990A (zh) * 2020-02-12 2020-06-26 合肥康芯威存储技术有限公司 一种数据存储装置及数据存储方法与存储系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063886A (zh) * 2020-07-31 2022-02-18 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品

Also Published As

Publication number Publication date
US20200142880A1 (en) 2020-05-07
US11294880B2 (en) 2022-04-05
CN111143231B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN108733507B (zh) 文件备份和恢复的方法和设备
CN107870728B (zh) 用于移动数据的方法和设备
US8386717B1 (en) Method and apparatus to free up cache memory space with a pseudo least recently used scheme
US9785643B1 (en) Systems and methods for reclaiming storage space in deduplicating data systems
CN111143231B (zh) 用于数据处理的方法、设备和计算机程序产品
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
US11604808B2 (en) Methods, electronic devices and computer program product for replicating metadata
CN109726037B (zh) 用于备份数据的方法、设备和计算机程序产品
CN111858577A (zh) 存储管理的方法、设备和计算机程序产品
CN111104249A (zh) 用于数据备份的方法、设备和计算机程序产品
US11093389B2 (en) Method, apparatus, and computer program product for managing storage system
US11048417B2 (en) Method, device and computer program product for storage management
US11216427B2 (en) Method, electronic device and computer-readable medium for managing metadata
US10678453B2 (en) Method and device for checking false sharing in data block deletion using a mapping pointer and weight bits
US11226739B2 (en) Method, device and computer program product for storage management
US11385967B2 (en) Method for managing backup data by having space recycling operations on executed backup data blocks
CN108196979B (zh) 数据备份方法和装置
CN111831620B (zh) 用于存储管理的方法、设备和计算机程序产品
US11340811B2 (en) Determining reclaim information for a storage block based on data length and matching write and delete parameters
US20220035538A1 (en) Method, electronic device and computer program product for storage management
CN111857547B (zh) 用于管理数据存储的方法、设备和计算机可读介质
CN112685378A (zh) 用于垃圾回收的方法、设备和计算机可读存储介质
CN114816218A (zh) 管理存储块的方法、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant