CN114063935A - 处理数据的方法以及装置 - Google Patents

处理数据的方法以及装置 Download PDF

Info

Publication number
CN114063935A
CN114063935A CN202210046705.1A CN202210046705A CN114063935A CN 114063935 A CN114063935 A CN 114063935A CN 202210046705 A CN202210046705 A CN 202210046705A CN 114063935 A CN114063935 A CN 114063935A
Authority
CN
China
Prior art keywords
data
metadata
information
file
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210046705.1A
Other languages
English (en)
Other versions
CN114063935B (zh
Inventor
吕爽意
裴晓辉
谢东凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202210046705.1A priority Critical patent/CN114063935B/zh
Publication of CN114063935A publication Critical patent/CN114063935A/zh
Application granted granted Critical
Publication of CN114063935B publication Critical patent/CN114063935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G06F12/0261—Garbage collection, i.e. reclamation of unreferenced memory using reference counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供处理数据的方法以及装置，其中所述处理数据的方法包括：响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息；保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系；响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息；根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。

Description

处理数据的方法以及装置
技术领域
本说明书实施例涉及数据存储技术领域，特别涉及处理数据的方法以及装置。
背景技术
元数据，用于保存数据的创建时间，修改时间、存储位置信息等基本信息。
为了提高查询性能，数据存储系统会在满足GC（垃圾回收）的条件下，执行GC。GC包括元数据GC和磁盘数据GC两个方面:元数据GC是将元数据信息的多次更改合并起来，优化查询性能；磁盘数据GC则根据元数据信息将有效数据从一个磁盘区域中读出来写到新的磁盘区域上，当有效数据搬迁结束后，再将元数据信息中的存储位置信息指向新的磁盘区域，以完成数据GC。
由于元数据GC和磁盘数据GC均需要更改元数据信息，因此，为了避免二者并发带来错误，目前，元数据GC须在磁盘数据GC完成之后串行执行，而磁盘数据GC又是耗时较长的过程，这就导致磁盘数据GC拉长元数据GC时间，导致元数据GC无法及时执行，影响查询性能。
发明内容
有鉴于此，本说明书施例提供了一种处理数据的方法。本说明书一个或者多个实施例同时涉及一种处理数据的装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种处理数据的方法，包括：响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息；保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系；响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息；根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
可选地，其中，所述有效数据在搬迁前位于文件存储系统中的第一数据文件，所述有效数据在搬迁后位于所述文件存储系统中的第二数据文件，所述有效数据的最小搬迁单位为数据块。其中，所述有效数据中每个数据块对应一条位置对应关系，一条位置对应关系包括：用户文件的标识、数据块在用户文件中的偏移量、用户文件中数据长度、搬迁前所在的第一数据文件、搬迁前在第一数据文件中的偏移量、第一数据文件的长度、搬迁后在第二数据文件中的偏移量之间的对应关系。
可选地，所述保存位置对应关系，包括：将所述位置对应关系保存在所述第二数据文件的尾部。或者，将所述位置对应关系保存在所述第二数据文件中对应数据块的头部字段中。
可选地，其中，所述有效数据搬迁前位于第一数据集合，所述有效数据搬迁后位于第二数据集合；所述方法还包括：响应于系统存储空间满足删除旧数据集合的条件，将所述有效数据搬迁前所在的第一数据集合删除；和/或，响应于元数据垃圾回收完成，将所述有效数据搬迁前所在的第一数据集合删除。
可选地，还包括：响应于接收到数据读请求，通过元数据信息获取所述数据读请求要读取的数据的存储位置信息；判断根据所述存储位置信息是否能够读取出所述数据读请求要读取的数据；如果是，根据从所述存储位置信息读取出所述数据读请求要读取的数据；如果否，从所述位置对应关系中查找出所述存储位置信息对应的搬迁后的存储位置信息，利用所述搬迁后的存储位置信息读取出数据。
可选地，所述有效数据搬迁前位于第一数据集合，所述有效数据搬迁后位于第二数据集合。所述方法还包括：在保存位置对应关系时，将集合对应关系作为所述位置对应关系的索引，所述集合对应关系包括所述有效数据搬迁前所在的第一数据集合与搬迁后所在的第二数据集合的对应关系。在从所述位置对应关系中查找出对应的搬迁后的存储位置信息之前，还包括：根据所述数据读请求要读取的数据所在的数据集合，在所述集合对应关系中查找出匹配的集合对应关系；根据匹配的集合对应关系，查找对应的位置对应关系。
可选地，所述响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，包括：响应于满足元数据合并操作的条件，从多个元数据文件中读取出元数据信息，其中，所述元数据文件是基于LSM-tree结构生成的；将具有相同关键属性的元数据信息进行合并，得到合并后的元数据信息；将合并后的元数据信息中无效的元数据信息删除。所述根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息，包括：判断是否发生过磁盘数据垃圾回收；如果是，获取所述位置对应关系，将合并后的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息；利用合并后的元数据信息生成新的元数据文件。
可选地，还包括：删除元数据合并之前的旧的元数据文件。
根据本说明书实施例的第二方面，提供了一种处理数据的装置，包括：数据搬迁模块，被配置为响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息。关系保存模块，被配置为保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系。元数据处理模块，被配置为响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息。元数据更新模块，被配置为根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述处理数据的方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述处理数据的方法的步骤。
本说明书一个实施例实现了处理数据的方法，该方法响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息，保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系，响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息，根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。可见，由于该方法中磁盘数据GC并不触发更改元数据信息，而是额外保存位置对应关系，并在元数据GC时，根据保存的位置对应关系更新元数据信息，从而将磁盘数据GC与元数据GC解耦，避免磁盘数据GC导致元数据无法GC，充分保障了元数据GC的及时执行以提高查询性能。
附图说明
图1是本说明书一个实施例提供的一种处理数据的方法的流程图；
图2是本说明书一个实施例提供的NAS文件系统的数据写入示意图;
图3是本说明书一个实施例提供的重定位表示意图；
图4是本说明书一个实施例提供的磁盘数据GC流程示意图；
图5是本说明书一个实施例提供的FileMapping Table示意图；
图6是本说明书一个实施例提供的基于LSM管理元数据的示意图；
图7是本说明书一个实施例提供的一种处理数据的方法的磁盘数据垃圾回收的处理过程流程图；
图8是本说明书一个实施例提供的一种处理数据的方法的元数据垃圾回收的处理过程流程图；
图9是本说明书一个实施例提供的一种处理数据的装置的结构示意图；
图10是本说明书另一个实施例提供的一种处理数据的装置的结构示意图；
图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
LSM-tree：日志结构合并树，是一种分层，有序，面向磁盘的数据结构，其核心思想是充分了利用了磁盘批量的顺序写要远比随机写性能高出很多的特点，将所有数据读写操作全部转换成尾追加的方式记录。LSM-tree包含多个层级，如Memtable，L0，L1等。一层数据达到一定阈值时将合并到下一层。Memtable保存在内存中，LVX保存在磁盘中
Compaction（合并操作）：在LSM-tree结构中，采取compaction的方式来对已有的记录进行整理压缩，通过这种方式，删除无效数据，优化查询性能。
GC：垃圾回收，指垃圾数据（如已删除或已覆盖的数据）、碎片数据的整理。
MetaServer：元数据服务器，管理存储系统的元数据信息。
GCServer：磁盘数据垃圾回收服务器，用于执行磁盘数据的垃圾回收。
在本说明书中，提供了一种处理数据的方法，本说明书同时涉及一种处理数据的装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种处理数据的方法的流程图，具体包括以下步骤：
步骤102：响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息。
其中，磁盘数据垃圾回收的条件，是根据实际应用场景下对存储性能的需要设置的，本说明书实施例提供的方法对此并不进行限制。磁盘数据可以指磁盘上存储的用户数据。例如，当磁盘垃圾数据达到一定比例时，满足磁盘数据垃圾回收的条件。所述有效数据，是指垃圾数据以外处于有效状态的数据。例如，在NAS文件系统中，垃圾数据是随着数据的不断写入而产生的。例如，如图2所示的NAS文件系统的数据写入示意图，用户文件“UserFile”第一次写的数据保存在数据文件“DataFile1”中，第二次进行覆盖写，写在数据文件“DataFile2”中，此时DataFile1中标识为“X”的区域是垃圾数据的区域，标识为“Y”的区域为有效数据的区域。
其中，存储位置信息的具体表达方式不限，具体可以根据磁盘的存储方式确定。例如，如图3所示的NAS文件存储系统磁盘数据GC过程示意图，数据块“A”、“B”、“C”、“E”从DataFile1和DataFile2搬迁合并到DataFile3。可以理解的是，根据具体应用场景下垃圾回收的策略，搬迁前的存储位置信息以及搬迁后的存储位置信息，在执行搬迁时是能够确定并获得的。如图3所示，数据块“A”、“B”、“C”搬迁前的存储位置信息为在DataFile1中的偏移量，搬迁后的存储位置信息为在DataFile3中的偏移量。
步骤104：保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系。
例如，如图3所示，可以将用于记录位置对应关系的重定位表“Relocation Talbe”保存在DataFile3的尾部。
步骤106：响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息。
需要说明的是，步骤106与步骤102之间并无必须要遵循的执行顺序，根据垃圾回收的条件被满足的时机，步骤106可以与步骤102并发执行，或者在步骤102之前开始执行，也可以在步骤102之后开始执行。
步骤108：根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
可见，由于该方法中磁盘数据GC并不触发更改元数据信息，而是额外保存位置对应关系，并在元数据GC时或元数据GC之后，根据保存的位置对应关系更新元数据信息，从而将磁盘数据GC与元数据GC解耦，避免磁盘数据GC导致元数据无法GC，充分保障了元数据GC的及时执行以提高查询性能，而且可以防止频繁更新元数据影响前台写入性能。
以本说明书实施例提供的方法应用于文件存储系统为例，其中，所述有效数据在搬迁前位于文件存储系统中的第一数据文件，所述有效数据在搬迁后位于所述文件存储系统中的第二数据文件，所述有效数据的最小搬迁单位为数据块。所述有效数据中的一个数据块对应一个位置对应关系，所述位置对应关系包括：用户文件的标识、数据块在用户文件中的偏移量、用户文件中数据长度、搬迁前所在的第一数据文件、搬迁前在第一数据文件中的偏移量、第一数据文件的长度、搬迁后在第二数据文件中的偏移量。
例如，可以将本说明书实施例提供的方法应用在NAS文件存储系统的数据读写链路上。在NAS文件存储系统中，数据子系统采用LSM-Tree结构的LayoutKV系统管理元数据信息和用户文件数据。用户文件数据保存在磁盘的数据文件中。LayoutKV管理的元数据信息中包括用户文件与磁盘的数据文件的数据映射关系。具体地，LayoutKV系统中的Layoutfile内记录了用户文件数据在磁盘文件上的映射布局。NAS数据子系统的GC包括Layout自身的GC（也即元数据GC）和磁盘数据GC两个方面。其中Layout自身的GC是将Layout的多次更改合并起来，优化查询性能；磁盘数据的GC则根据Layout将有效数据从磁盘文件中读出来写到新的磁盘文件上。以图4所示的磁盘数据GC流程示意图为例， DataFile1、DataFile2为旧数据文件，存在一定的垃圾数据，当垃圾数据达到一定比例时，会触发磁盘数据GC。磁盘数据GC会将DataFile1、DataFile2进行数据整理并将有效数据保存到新的数据文件DataFile3中，同时创建Relocation Table（重定位表）用于记录位置对应关系。其中Relocation Table记录有效数据搬迁前和搬迁后的存储位置信息之间的对应关系。例如，针对一个数据块，Relocation Table记录的一条信息如下：
(1)inode：用户文件的标识。
(2)offset：此块数据块在用户文件中的偏移量。
(3)length：用户文件中数据长度。
(4)ori_datafile：GC之前所在的数据文件。
(5)ori_df_offset: GC之前所在的数据文件的偏移量。
(5)ori_df_length：GC之前在数据文件中的长度。
(6)df_offset：GC之后在数据文件中的偏移量。
如上所示，Relocation Table中记录的是已GC磁盘数据在新旧数据文件间的重定位关系，当使用旧Layout定位数据时，可根据重定位关系得到搬迁后的数据位置。
需要说明的是，本说明书实施例提供的方法对于所述位置对应关系如何保存并不进行限制。例如，可以设置单独的文件，用于保存所有的位置对应关系。再例如，可以将位置对应关系保存在有效数据所在的数据集合内的预设位置。以本说明书实施例提供的方法应用于文件存储系统为例，为了便于访问，所述方法可以将所述位置对应关系保存在所述第二数据文件的尾部；或者，将所述位置对应关系保存在所述第二数据文件中对应数据块的头部字段中。例如，可以在新的数据文件中的每个数据块中增加Header，将该数据块的位置对应关系写入该数据块的header，以描述该数据块来自于哪。
在一些存储系统中，在发生磁盘数据GC时，有效数据会从所在的第一数据集合搬迁到第二数据集合。以文件存储系统为例，第一数据集合对应第一数据文件，第二数据集合对应第二数据文件。磁盘数据GC结束后,删除旧的第一数据集合，能够有效提升可用的存储空间。第一数据集合删除的时机，本说明书实施例提供的方法并不进行限制。由于在发生数据读请求时，可以根据元数据信息确定数据的存储位置，而本说明书实施例提供的方法，在有效数据搬迁后，并未立刻更新元数据信息，因此，在元数据信息尚未被更新且存储空间充裕的情况下可以延迟删除旧的第一数据集合，以便尽量通过元数据信息进行查询来完成数据读请求。当然，在系统存储空间满足删除旧数据集合的条件的情况下，例如，系统存储空间不足的情况下，可以将有效数据搬迁前所在的第一数据集合删除，以便提升可用的存储空间。另外，在元数据垃圾回收完成的情况下，元数据信息中的存储位置信息已更新，可以将有效数据搬迁前所在的第一数据集合删除。因此，本说明书实施例提供的方法，还可以包括：响应于系统存储空间满足删除旧数据集合的条件，将所述有效数据搬迁前所在的第一数据集合删除；和/或，响应于元数据垃圾回收完成，将所述有效数据搬迁前所在的第一数据集合删除。
通过上述实施例可见，磁盘数据GC结束后，旧的第一数据集合如图4所示的DataFile1和DataFile2的删除时机可以有多种实施方式，例如：可以立刻删除，可以在系统存储空间满足删除旧数据集合的条件时删除，可以在元数据垃圾回收完成时删除。因此，该方法通过将将磁盘数据GC与元数据GC解耦，允许元数据GC和磁盘数据GC并行执行，保障了元数据GC能够按需及时执行，优化查询性能，且磁盘数据GC完成后，旧磁盘文件无需等待元数据GC完成即可删除，保证了磁盘空间的回收效率。
由于磁盘数据GC结束后，不会立刻更新元数据信息，且可以延迟删除有效数据搬迁前所在存储位置的旧数据，旧数据标记为可删除状态，可能随时被删除，此时数据读流程分为两种情况：
一种情况是：旧数据未删除时，按照原有链路读取数据。也即，按照元数据信息查找出数据读请求要读取的数据的存储位置信息，并读取出数据。这种情况下不会访问额外保存的位置对应关系如上述示例中的RelocationTable，会一定程度提高读性能。如图4所示，假设DataFile1和DataFile2未删除且元数据信息未更新时，可以根据元数据信息“MetaInfo”从DataFile1和DataFile2对应的存储位置来读取出数据。
另一种情况是：旧数据已被删除，但由于元数据信息尚未更新，则需访问额外保存的位置对应关系查找搬迁后的存储位置信息，以读出数据。如图4所示，假设DataFile1和DataFile2已删除但元数据信息未更新时，可以根据元数据信息“MetaInfo”确定有效数据搬迁前所在的数据文件“DataFile1”，再根据FileMapping Table确定搬迁前的数据文件“DataFile1”对应的搬迁后的数据文件 “NewDataFile1”、“NewDataFile2”和“NewDataFile3”。再从搬迁后的“NewDataFile1”、“NewDataFile2”和“NewDataFile3”各自尾部的RelocationTable中，查找出数据读请求要读取的数据的存储位置，进而读取出数据。
因此，本说明书一个或多个实施例中，所述方法还可以包括：响应于接收到数据读请求，通过元数据信息获取所述数据读请求要读取的数据的存储位置信息；判断根据所述存储位置信息是否能够读取出所述数据读请求要读取的数据；如果是，根据从所述存储位置信息读取出所述数据读请求要读取的数据；如果否，从所述位置对应关系中查找出所述存储位置信息对应的搬迁后的存储位置信息，利用所述搬迁后的存储位置信息读取出数据。
具体地，例如，在文件存储系统的应用场景中，所述数据读请求中可以携带了用户文件的标识、要读取的数据在用户文件中的偏移量。而元数据信息中记录了用户文件的标识、数据块在该用户文件中的偏移量、该用户文件中数据长度、用户文件对应的磁盘存储服务存储的数据文件的长度、数据块在该数据文件中的偏移量。根据元数据信息以及数据读请求携带的信息，获取的存储位置信息包括要读取的数据块所在的数据文件以及在该数据文件中的偏移量，进而可以根据该存储位置信息读取出数据。如果不能根据元数据信息读取出数据，则可以根据从元数据信息获取的搬迁前所在的数据文件以及偏移量，从如上述示例中的RelocationTable中确定对应的搬迁后的数据文件以及偏移量，在此不再赘述。
由于一些存储系统在发生磁盘数据GC时，有效数据会从所在的第一数据集合搬迁到第二数据集合，也即有效数据搬迁前位于第一数据集合，搬迁后位于第二数据集合，因此，为了提高访问数据的效率，可以将集合对应关系作为所述位置对应关系的索引。具体地，例如，所述方法还可以包括：在保存位置对应关系时，将集合对应关系作为所述位置对应关系的索引，所述集合对应关系包括所述有效数据搬迁前所在的第一数据集合与搬迁后所在的第二数据集合的对应关系。在从所述位置对应关系中查找出对应的搬迁后的存储位置信息之前，还包括：根据所述数据读请求要读取的数据所在的数据集合，在所述集合对应关系中查找出匹配的集合对应关系；根据匹配的集合对应关系，查找对应的位置对应关系。
以上述文件存储系统在磁盘数据GC时创建Relocation Table为例，在磁盘数据GC时，可以同时创建如图5所示的FileMapping Table，该FileMapping Table即集合对应关系列表。需要说明的是，RelocationTable可以和FileMapping分别保存，也可以放在同一结构中（例如，同一表格或同一文件），本说明书实施例提供的方法对此并不进行限制。FileMapping Table可以是一个KV结构，记录了旧数据文件中的数据搬迁到了哪些新数据文件中，精确到文件级别，相当于Relocation Table的索引，以提高查询效率。当旧数据文件被删除时，需查找搬迁后的存储位置信息，则可以先查询FileMapping Table以确定新数据文件列表。再遍历新数据文件列表，读取RelocationTable，确定要读取的数据所在的新数据文件以及在新数据文件上的存储位置，最终读出数据。通过设置FileMapping Table，磁盘数据GC完成后可以删除旧数据文件实现存储空间释放，读数据时可以通过此表查询到GC后数据所在的新数据文件从而读数据。
本说明书实施例提供的方法对于元数据垃圾回收的条件并不进行限制。例如，如图6所示的基于LSM管理元数据的示意图，新的元数据文件以追加的方式写入LSM-tree中。LSM-tree中包括Memtable、LV0、LV1等各层，各层保存了各自当前层的Layoutfile如“LV0”、“LV1”。每个元数据文件中的元数据信息如图6所示的“LV1”，包含：用户文件的标识“inode”、数据块在用户文件中的偏移量“offset”、用户文件中数据长度“length”、该用户文件实际存储到的数据文件“datafile”、数据块在数据文件中的偏移量“df_offset”、数据块在数据文件中的长度“df_length”。
当Memtable达到一定大小时触发dump（转储），meta_server会将追加的数据写入LV0的Layoutfile中。同样，LV0、LV1层达到一定大小时触发合并操作，对已有的元数据信息进行合并，但并不会对文件的数据进行修改。由于每次读数据时，都会遍历所有元数据文件，过多的元数据文件会造成元数据的读性能大幅下降，因此，在使用LSM管理元数据的应用场景中，在满足元数据合并操作（Compaction）的条件时，通过对具有相同关键属性的元数据信息进行合并来提高元数据的读性能，同时相应进行元数据垃圾回收以及磁盘数据GC带来的元数据的更新，防止对元数据系统频繁操作造成冲击。因此，所述响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，可以包括：响应于满足元数据合并操作的条件，从多个元数据文件中读取出元数据信息，其中，所述元数据文件是基于LSM-tree结构生成的；将具有相同指定关键属性的元数据信息进行合并，得到合并后的元数据信息；将合并后的元数据信息中无效的元数据信息删除。相应地，所述根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息，包括：判断是否发生过磁盘数据垃圾回收；如果是，获取所述位置对应关系，将合并后的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息；利用合并后的元数据信息生成新的元数据文件。另外，由于元数据GC完成之后，旧的元数据文件不再使用，此时可以将旧的元数据文件删除。
例如，用于执行磁盘数据GC的服务器GCServer可以在每次执行GC完成后，相应向用于执行元数据GC的服务器MetaServer发送通知，以使MetaServer根据该通知判断是否发生过磁盘数据垃圾回收。
下述结合附图7，以本说明书提供的处理数据的方法在文件存储系统的应用为例，对所述处理数据的方法进行进一步说明。其中，图7示出了本说明书一个实施例提供的一种处理数据的方法的磁盘数据垃圾回收的处理过程流程图，具体包括以下步骤：
步骤702：判断磁盘数据中垃圾数据的比例是否超过预设比例阈值。
步骤704：如果是，则确定满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，清理无效数据。
如果否，则结束当前流程。
步骤706：生成重定位表,所述重定位表用于记录位置对应关系，包括：数据块所在用户文件的标识、数据块在用户文件中的偏移量、用户文件中数据长度、搬迁前所在的第一数据文件、搬迁前在第一数据文件中的偏移量、第一数据文件的长度、搬迁后在第二数据文件中的偏移量之间的对应关系。
步骤708：通知用于执行元数据GC的服务器，磁盘数据GC完成。
下述结合附图8，以本说明书提供的处理数据的方法在文件存储系统的应用为例，对所述处理数据的方法进行进一步说明。其中，图8示出了本说明书一个实施例提供的一种处理数据的方法的元数据垃圾回收的处理过程流程图，具体包括以下步骤：
步骤802：判断LSM-Tree当前层的layoutfile的数量或大小是否超过预设阈值。
步骤804：如果是，顺序扫描所有的layoutfile，将具有相同关键属性的元数据信息进行合并，得到合并后的元数据信息。
如果否，则结束当前流程。
步骤806：判断是否发生过磁盘数据垃圾回收。
步骤808：如果是，获取重定位表，将合并后的元数据信息中的信息进行更新。
如果否，则直接进入步骤810。
步骤810：将元数据信息写入新的layoutfile，删除旧的layoutfile。
步骤812：删除有效数据搬迁前所在的旧的数据文件。
通过上述实施例可见，元数据使用LSM进行管理的应用场景中，若磁盘数据GC后的大量新的Layout数据以追加的方式写入LSM中，由于每次读都会遍历所有元数据，会造成元数据的读性能大幅下降。因此，可以将元数据的更新放在合并操作（Compaction）流程中来避免这一问题，合并操作是后台操作。例如，后台线程检查当前LV0 LV1层的layoutfile是否超过指定数量或大小，如果超过则触发合并操作流程。合并操作流程会顺序读取所有的Layoutfile，将同一用户、同一文件的元数据信息收集起来做合并操作，将其中无效的元数据信息剔除并合并连续的元数据信息。检查是否发生过磁盘数据GC，如果发生过磁盘数据GC，根据重定位表记录的对应关系修改元数据信息中记录的数据块实际存储的位置，生成新的元数据信息，也即新的layout记录，将新的layout记录写入新的layoutfile，删除旧的layoutfile。由于上述计算过程均是内存操作且后台执行，对用户读写影响很小。
与上述方法实施例相对应，本说明书还提供了处理数据的装置实施例，图9示出了本说明书一个实施例提供的一种处理数据的装置的结构示意图。如图9所示，该装置包括：数据搬迁模块902、关系保存模块904、元数据处理模块906及元数据更新模块908。
该数据搬迁模块902，可以被配置为响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息。
该关系保存模块904，可以被配置为保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系。
该元数据处理模块906，可以被配置为响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息。
该元数据更新模块908，可以被配置为根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
可见，由于该装置中磁盘数据GC并不触发更改元数据信息，而是额外保存位置对应关系，并在元数据GC之后，再根据保存的位置对应关系更新元数据信息，从而将磁盘数据GC与元数据GC解耦，避免磁盘数据GC导致元数据无法GC，充分保障了元数据GC的及时执行以提高查询性能，而且可以防止频繁更新元数据影响前台写入性能。
以本说明书实施例提供的装置配置于文件存储系统为例，其中，所述有效数据在搬迁前位于文件存储系统中的第一数据文件，所述有效数据在搬迁后位于所述文件存储系统中的第二数据文件，所述有效数据的最小搬迁单位为数据块。所述有效数据中的一个数据块对应一个位置对应关系，所述位置对应关系包括：用户文件的标识、数据块在用户文件中的偏移量、用户文件中数据长度、搬迁前所在的第一数据文件、搬迁前在第一数据文件中的偏移量、第一数据文件的长度、搬迁后在第二数据文件中的偏移量。
需要说明的是，本说明书实施例提供的装置对于所述位置对应关系如何保存并不进行限制。例如，所述关系保存模块904，可以被配置为将所述位置对应关系保存在所述第二数据文件的尾部；或者，将所述位置对应关系保存在所述第二数据文件中对应数据块的头部字段中。
在一些存储系统中，在发生磁盘数据GC时，有效数据会从所在的第一数据集合搬迁到第二数据集合。以文件存储系统为例，第一数据集合对应第一数据文件，第二数据集合对应第二数据文件。磁盘数据GC结束后,删除旧的第一数据集合，能够有效提升可用的存储空间。因此，如图10所示的本说明书另一个实施例提供的一种处理数据的装置的结构示意图。所述装置还可以包括：旧数据删除模块910，可以被配置为响应于系统存储空间满足删除旧数据集合的条件，将所述有效数据搬迁前所在的第一数据集合删除；和/或，响应于元数据垃圾回收完成，将所述有效数据搬迁前所在的第一数据集合删除。
由于磁盘数据GC结束后，不会立刻更新元数据信息，且可以延迟删除有效数据搬迁前所在存储位置的旧数据，旧数据标记为可删除状态，可能随时被删除，因此，所述装置在接收到数据读请求时，可以按未删除和已删除两种情况分别进行处理。具体地，如图10所示，所述装置还可以包括：
元数据查询模块912，可以被配置为响应于接收到数据读请求，通过元数据信息获取所述数据读请求要读取的数据的存储位置信息。
读取判断模块914，可以被配置为判断根据所述存储位置信息是否能够读取出所述数据读请求要读取的数据。
第一读取模块916，可以被配置为如果所述读取判断模块914判定为是，根据从所述存储位置信息读取出所述数据读请求要读取的数据。
第二读取模块918，可以被配置为如果所述读取判断模块914判定为否，从所述位置对应关系中查找出所述存储位置信息对应的搬迁后的存储位置信息，利用所述搬迁后的存储位置信息读取出数据。
为了提高访问数据的效率，可以将集合对应关系作为所述位置对应关系的索引。具体地，例如，所述有效数据搬迁前位于第一数据集合，所述有效数据搬迁后位于第二数据集合。如图10所示，所述装置还可以包括：
索引创建模块920，可以被配置为在保存位置对应关系时，将集合对应关系作为所述位置对应关系的索引，所述集合对应关系包括所述有效数据搬迁前所在的第一数据集合与搬迁后所在的第二数据集合的对应关系。
集合匹配模块922，可以被配置为根据所述数据读请求要读取的数据所在的数据集合，在所述集合对应关系中查找出匹配的集合对应关系。
关系确定模块924，可以被配置为根据匹配的集合对应关系，查找对应的位置对应关系。
本说明书实施例提供的装置对于元数据垃圾回收的条件并不进行限制。例如，在使用LSM管理元数据的应用场景中，由于每次读数据时，都会遍历所有元数据文件，过多的元数据文件会造成元数据的读性能大幅下降，因此，在使用LSM管理元数据的应用场景中，在满足元数据合并操作（Compaction）的条件时，通过对具有相同关键属性的元数据信息进行合并来提高元数据的读性能，同时相应进行元数据垃圾回收以及磁盘数据GC带来的元数据的更新，防止对元数据系统频繁操作造成冲击。因此，所述元数据处理模块906，可以包括：
元数据读取子模块9062，可以被配置为响应于满足元数据合并操作的条件，从多个元数据文件中读取出元数据信息，其中，所述元数据文件是基于LSM-tree结构生成的。
元数据合并子模块9064，可以被配置为将具有相同关键属性的元数据信息进行合并，得到合并后的元数据信息。
无效删除子模块9066，可以被配置为将合并后的元数据信息中无效的元数据信息删除。
相应地，所述元数据更新模块908，可以包括：
数据垃圾回收判断子模块9082，可以被配置为判断是否发生过磁盘数据垃圾回收。
元数据更新子模块9084，可以被配置为如果所述数据垃圾回收判断子模块9082判定为是，获取所述位置对应关系，将合并后的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
元数据文件处理子模块9086，可以被配置为利用合并后的元数据信息生成新的元数据文件。
另外，所述元数据文件处理子模块9086，还可以被配置为删除元数据合并之前的旧的元数据文件。
上述为本实施例的一种处理数据的装置的示意性方案。需要说明的是，该处理数据的装置的技术方案与上述的处理数据的方法的技术方案属于同一构思，处理数据的装置的技术方案未详细描述的细节内容，均可以参见上述处理数据的方法的技术方案的描述。
图11示出了根据本说明书一个实施例提供的一种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接，数据库1150用于保存数据。
计算设备1100还包括接入设备1140，接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本说明书的一个实施例中，计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图11所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
其中，处理器1120用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述处理数据的方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的处理数据的方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述处理数据的方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述处理数据的方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的处理数据的方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述处理数据的方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述处理数据的方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的处理数据的方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述处理数据的方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (11)

1.一种处理数据的方法，包括：
响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息；
保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系；
响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息；
根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
2.根据权利要求1所述的方法，其中，所述有效数据在搬迁前位于文件存储系统中的第一数据文件，所述有效数据在搬迁后位于所述文件存储系统中的第二数据文件，所述有效数据的最小搬迁单位为数据块；
其中，所述有效数据中每个数据块的位置对应关系中包括：用户文件的标识、数据块在用户文件中的偏移量、用户文件中数据长度、搬迁前所在的第一数据文件、搬迁前在第一数据文件中的偏移量、第一数据文件的长度、搬迁后在第二数据文件中的偏移量之间的对应关系。
3.根据权利要求2所述的方法，所述保存位置对应关系，包括：
将所述位置对应关系保存在所述第二数据文件的尾部；
或者，
将所述位置对应关系保存在所述第二数据文件中对应数据块的头部字段中。
4.根据权利要求1所述的方法，其中，所述有效数据搬迁前位于第一数据集合，所述有效数据搬迁后位于第二数据集合；所述方法还包括：
响应于系统存储空间满足删除旧数据集合的条件，将所述有效数据搬迁前所在的第一数据集合删除；
和/或，
响应于元数据垃圾回收完成，将所述有效数据搬迁前所在的第一数据集合删除。
5.根据权利要求1所述的方法，还包括：
响应于接收到数据读请求，通过元数据信息获取所述数据读请求要读取的数据的存储位置信息；
判断根据所述存储位置信息是否能够读取出所述数据读请求要读取的数据；
如果是，根据从所述存储位置信息读取出所述数据读请求要读取的数据；
如果否，从所述位置对应关系中查找出所述存储位置信息对应的搬迁后的存储位置信息，利用所述搬迁后的存储位置信息读取出数据。
6.根据权利要求5所述的方法，所述有效数据搬迁前位于第一数据集合，所述有效数据搬迁后位于第二数据集合；
所述方法还包括：
在保存位置对应关系时，将集合对应关系作为所述位置对应关系的索引，所述集合对应关系包括所述有效数据搬迁前所在的第一数据集合与搬迁后所在的第二数据集合的对应关系；
在从所述位置对应关系中查找出对应的搬迁后的存储位置信息之前，还包括：
根据所述数据读请求要读取的数据所在的数据集合，在所述集合对应关系中查找出匹配的集合对应关系；
根据匹配的集合对应关系，查找对应的位置对应关系。
7.根据权利要求1所述的方法，所述响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，包括：
响应于满足元数据合并操作的条件，从多个元数据文件中读取出元数据信息，其中，所述元数据文件是基于LSM-tree结构生成的；
将具有相同关键属性的元数据信息进行合并，得到合并后的元数据信息；
将合并后的元数据信息中无效的元数据信息删除；
所述根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息，包括：
判断是否发生过磁盘数据垃圾回收；
如果是，获取所述位置对应关系，将合并后的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息；
利用合并后的元数据信息生成新的元数据文件。
8.根据权利要求7所述的方法，还包括：
删除元数据合并之前的旧的元数据文件。
9.一种处理数据的装置，包括：
数据搬迁模块，被配置为响应于满足磁盘数据垃圾回收的条件，对有效数据进行搬迁，得到搬迁前的存储位置信息以及搬迁后的存储位置信息；
关系保存模块，被配置为保存位置对应关系，所述位置对应关系包括所述有效数据搬迁前的存储位置信息与搬迁后的存储位置信息之间的对应关系；
元数据处理模块，被配置为响应于满足元数据垃圾回收的条件，对元数据信息进行垃圾处理，生成新的元数据信息，其中，所述元数据信息中包括所述有效数据搬迁前的存储位置信息；
元数据更新模块，被配置为根据所述位置对应关系，将所述新的元数据信息中所述有效数据搬迁前的存储位置信息更新为搬迁后的存储位置信息。
10.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述处理数据的方法的步骤。
11.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述处理数据的方法的步骤。
CN202210046705.1A 2022-01-17 2022-01-17 处理数据的方法以及装置 Active CN114063935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046705.1A CN114063935B (zh) 2022-01-17 2022-01-17 处理数据的方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046705.1A CN114063935B (zh) 2022-01-17 2022-01-17 处理数据的方法以及装置

Publications (2)

Publication Number Publication Date
CN114063935A true CN114063935A (zh) 2022-02-18
CN114063935B CN114063935B (zh) 2022-06-14

Family

ID=80231002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046705.1A Active CN114063935B (zh) 2022-01-17 2022-01-17 处理数据的方法以及装置

Country Status (1)

Country Link
CN (1) CN114063935B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024016A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种分布式文件系统快速数据恢复的方法
US20120110247A1 (en) * 2010-10-27 2012-05-03 International Business Machines Corporation Management of cache memory in a flash cache architecture
CN104035943A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 存储数据的方法及相应服务器
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法
CN107659626A (zh) * 2017-09-11 2018-02-02 上海交通大学 面向临时元数据的分离存储方法
CN108038026A (zh) * 2017-11-17 2018-05-15 中国科学院信息工程研究所 一种基于闪存的数据快速恢复方法与系统
CN108345431A (zh) * 2017-12-29 2018-07-31 杭州华为数字技术有限公司 一种数据读取的方法及装置
CN110659217A (zh) * 2019-08-30 2020-01-07 苏州浪潮智能科技有限公司 一种固态硬盘的垃圾回收方法、装置、设备及存储介质
CN111488117A (zh) * 2019-01-29 2020-08-04 伊姆西Ip控股有限责任公司 用于管理元数据的方法、电子设备和计算机可读介质
CN111737261A (zh) * 2020-06-24 2020-10-02 山东大学 基于LSM-Tree的压缩日志缓存方法及装置
CN112346666A (zh) * 2020-11-30 2021-02-09 华中科技大学 基于ocssd的键值存储系统的写、块粒度压缩合并方法和系统
CN112732191A (zh) * 2021-01-08 2021-04-30 苏州浪潮智能科技有限公司 基于日志结构合并树合并数据的方法、系统、设备及介质
CN113190523A (zh) * 2021-04-08 2021-07-30 金钱猫科技股份有限公司 一种基于多客户端协同的分布式文件系统、方法和客户端
CN113434440A (zh) * 2021-08-27 2021-09-24 广东省新一代通信与网络创新研究院 一种减少存储器访问延迟方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120110247A1 (en) * 2010-10-27 2012-05-03 International Business Machines Corporation Management of cache memory in a flash cache architecture
CN102024016A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种分布式文件系统快速数据恢复的方法
CN104035943A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 存储数据的方法及相应服务器
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法
CN107659626A (zh) * 2017-09-11 2018-02-02 上海交通大学 面向临时元数据的分离存储方法
CN108038026A (zh) * 2017-11-17 2018-05-15 中国科学院信息工程研究所 一种基于闪存的数据快速恢复方法与系统
CN108345431A (zh) * 2017-12-29 2018-07-31 杭州华为数字技术有限公司 一种数据读取的方法及装置
CN111488117A (zh) * 2019-01-29 2020-08-04 伊姆西Ip控股有限责任公司 用于管理元数据的方法、电子设备和计算机可读介质
CN110659217A (zh) * 2019-08-30 2020-01-07 苏州浪潮智能科技有限公司 一种固态硬盘的垃圾回收方法、装置、设备及存储介质
CN111737261A (zh) * 2020-06-24 2020-10-02 山东大学 基于LSM-Tree的压缩日志缓存方法及装置
CN112346666A (zh) * 2020-11-30 2021-02-09 华中科技大学 基于ocssd的键值存储系统的写、块粒度压缩合并方法和系统
CN112732191A (zh) * 2021-01-08 2021-04-30 苏州浪潮智能科技有限公司 基于日志结构合并树合并数据的方法、系统、设备及介质
CN113190523A (zh) * 2021-04-08 2021-07-30 金钱猫科技股份有限公司 一种基于多客户端协同的分布式文件系统、方法和客户端
CN113434440A (zh) * 2021-08-27 2021-09-24 广东省新一代通信与网络创新研究院 一种减少存储器访问延迟方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马骏等: "一种基于热数据识别技术的ＵＢＩＦＳ优化方案", 《计算机科学》 *

Also Published As

Publication number Publication date
CN114063935B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US11023448B2 (en) Data scrubbing method and apparatus, and computer readable storage medium
CN110018989B (zh) 一种快照比对的方法和装置
CN108415986B (zh) 一种数据处理方法、装置、系统、介质和计算设备
US8225060B2 (en) Data de-duplication by predicting the locations of sub-blocks within the repository
CN110998537B (zh) 一种过期备份处理方法及备份服务器
CN111198856B (zh) 文件管理方法、装置、计算机设备和存储介质
WO2019062572A1 (zh) 一种数据处理方法、装置及系统
CN110888837A (zh) 对象存储小文件归并方法及装置
CN111563053A (zh) 处理Bitmap数据的方法以及装置
CN113867627B (zh) 一种存储系统性能优化方法及系统
WO2024041433A1 (zh) 数据处理方法以及装置
CN114063935B (zh) 处理数据的方法以及装置
CN115509440A (zh) 存储系统及数据处理方法
CN115509808B (zh) 数据备份方法、装置、计算机设备和存储介质
CN111723092A (zh) 数据处理方法及装置
CN114625695A (zh) 数据处理方法以及装置
CN108021562B (zh) 应用于分布式文件系统的存盘方法、装置及分布式文件系统
CN115168403A (zh) 数据处理方法以及装置
CN113886350A (zh) 数据处理方法及系统
CN113296693A (zh) 数据存储方法及装置
CN113626382A (zh) 分布式文件系统中聚合对象的索引方法、系统及相关装置
CN114185849A (zh) 文件操作方法、文件操作系统、电子设备及存储介质
CN112527197A (zh) 一种智能卡碎片存储空间整理方法、智能卡及系统
CN104572643A (zh) 搜索方法和搜索引擎
CN115221165A (zh) 元数据存储方法以及装置、元数据查询方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067494

Country of ref document: HK