CN102301347B - 存储系统 - Google Patents

存储系统 Download PDF

Info

Publication number
CN102301347B
CN102301347B CN201080006260.XA CN201080006260A CN102301347B CN 102301347 B CN102301347 B CN 102301347B CN 201080006260 A CN201080006260 A CN 201080006260A CN 102301347 B CN102301347 B CN 102301347B
Authority
CN
China
Prior art keywords
metadata
data
upper strata
storage
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080006260.XA
Other languages
English (en)
Other versions
CN102301347A (zh
Inventor
森研司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102301347A publication Critical patent/CN102301347A/zh
Application granted granted Critical
Publication of CN102301347B publication Critical patent/CN102301347B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了存储单元用于存储构成文件的分割数据，元数据存储单元用于存储表示分割数据的存储位置的元数据，数据处理装置用于相对于数据存储单元而存储分割数据以及将表示分割数据的存储位置的元数据存储到所述元数据存储单元中。数据处理单元包括：关键单元，用于存储表示分割数据在文件中的位置的文件内位置信息；以及地址单元，用于根据文件内位置信息而存储地址信息，该地址信息表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置；以及将由被划分为关键单元和地址单元的数据构成的元数据存储到元数据存储单元中。

Description

存储系统
技术领域
本发明涉及存储系统，并且特别地，涉及用于将数据分发和存储到多个存储设备中的存储系统。
背景技术
近年来，随着计算机的发展并且开始流行，各种信息被转换为数字数据。作为用于存储这种数字数据的设备，存在例如磁带和磁盘的存储设备。由于要被存储的数据逐日增加并且其数量已经变得非常巨大，所以需要高容量存储系统。此外，需要在降低存储设备的成本的同时，保持可靠性。另外，需要随后能够容易地获取数据。结果是，期望一种这样的存储系统，该存储系统能够自动实现存储容量和性能的提高，消除重复存储以降低存储成本，并且具有高冗余度。
在这种情况下，近年来，已经研发出了如专利文献1中所示的内容地址存储系统。该内容地址存储系统将数据分发和存储到多个存储设备中，并且基于根据该数据的内容而指定的唯一内容地址来指定存储该数据的存储位置。
特别地，该内容地址存储系统将预定数据分割为多个片段，向其添加作为冗余数据的片段，并且将这些片段分别存储到多个存储设备中。随后，通过指定内容地址，可以获取数据，即在存储在该内容地址所指定的存储位置中的片段，并且根据该多个片段恢复被分割之前的预定数据。
此外，内容地址的生成使得其取决于数据的内容而是唯一的。因此，在重复数据的情况下，可以引用相同存储位置中的数据，从而由此获取具有相同内容的数据。由此，不必分开存储重复数据，并且可以消除重复记录并且减少数据量。
[专利文献1]日本未审专利申请公开No.JP-A 2005-235171
在内容地址存储系统中，用于指定所存储的数据的存储位置的内容地址作为元数据而被存储，并且特别地，随着数据数量的增加，元数据被分层存储。例如，图1示出了内容地址存储系统中的元数据的示例。如该图中所示，元数据181、182和171包括关键部分181a、182a和171a以及地址部分181b、182b和171b，关键部分181a、182a和171a存储表示分割数据在原始文件中的位置的信息，地址部分181b、182b和171b存储表示数据或其他元数据的存储位置的信息。在地址部分181b、182b和171b存储相同内容地址的情况下，这些地址部分引用相同存储位置中的数据。
然而，在上述内容地址存储系统中，例如，如图1中的参考标记181b和182b所示，相同内容的数据可能被存储在元数据内的地址部分中。也就是说，出现了这样的问题：内容地址数据可能被频繁地重复和记录，并且数据量将会增加。
发明内容
因此，本发明的目的在于解决上述任务，即，消除重复记录并减少数据量，并且提供能够降低存储成本的存储系统。
为了实现上述目的，本发明实施例的存储系统包括：
数据存储单元，被配置为存储构成文件的分割数据；
元数据存储单元，被配置为存储表示分割数据的存储位置的元数据；以及
数据处理装置，被配置为将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中；以及基于元数据存储单元中存储的元数据获取数据存储单元中存储的分割数据并且重现文件。
继而，数据处理装置被配置为将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
此外，本发明的另一示例性实施例的计算机程序是一种包括用于使信息处理设备实现下述装置的指令的计算机程序，该信息处理设备包括数据存储单元和元数据存储单元，数据存储单元被配置为存储构成文件的分割数据，元数据存储单元被配置为存储表示分割数据的存储位置的元数据：
数据处理装置，被配置为将分割数据存储到数据存储单元中，以及将表示分割数据的存储位置的元数据存储到元数据存储单元中，以及基于元数据存储单元中存储的元数据来获取数据存储单元中存储的分割数据并且重现文件。
继而，数据处理装置被配置为将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
此外，本发明的另一示例性实施例的数据的数据结构是一种在存储系统中的元数据存储单元中存储的数据的数据结构，该存储系统包括：
数据存储单元，被配置为存储构成文件的分割数据；
元数据存储单元，被配置为存储表示分割数据的存储位置的元数据；以及
数据处理装置，被配置为将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中，以及基于元数据存储单元中存储的元数据来获取数据存储单元中存储的分割数据并且重现文件。
继而，数据的数据结构具有元数据，该元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，元数据具有由相互分离的数据构成的关键部分和地址部分。
此外，本发明的另一示例性实施例的一种数据处理方法包括：在包括被配置为存储构成文件的分割数据的数据存储单元和被配置为存储表示分割数据的存储位置的元数据的元数据存储单元的信息处理设备中：
将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中；
基于元数据存储单元中存储的元数据，获取数据存储单元中存储的分割数据并且重现文件。
继而，该数据处理方法还包括：在存储分割数据时或在任何时候，将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
利用上述配置，本发明可以降低元数据的存储量，并且降低整个存储系统中的存储量，从而降低存储成本。
附图说明
图1是示出与本发明相关的存储系统中存储的数据的结构的数据结构示图；
图2是示出包括本发明的第一示例性实施例的存储系统的整个系统的配置的方框图；
图3是示出本发明的第一示例性实施例的存储系统的示意配置的方框图；
图4是示出图3中公开的存储系统的配置和所存储的数据的结构的示图；
图5是示出在图3中公开的存储系统中存储的内容地址表的示例的示图；
图6A和图6B中的每个是示出在图3中公开的存储系统的根节点和索引节点中存储的元数据的示例的示图；
图7A和图7B中的每个是示出在图3中公开的存储系统的叶节点中存储的元数据的示例的示图；
图8是示出在图3中公开的存储系统中的数据处理的一个方面的示图；
图9是示出在图3中公开的存储系统中的数据处理的一个方面的示图；
图10是示出在图3中公开的存储系统中的数据处理的一个方面的示图；
图11是示出本发明的第二示例性实施例的存储系统中存储的数据的结构的示图；
图12A到图12C是用于说明由本发明的第三示例性实施例的存储系统进行的数据处理的一个方面的示图；
图13是示出第四示例性实施例的存储系统的配置的功能方框图；和
图14是示出在图13中公开的存储系统中存储的数据的结构示例的数据结构图。
具体实施方式
<第一示例性实施例>
将参照图2到图10描述本发明的第一示例性实施例。图2是示出整个系统的配置的方框图。图3是示意性地示出存储系统的方框图。图4是示出已存储数据的配置和结构的示图。图5是示出内容地址表的示例的示图。图6和图7是示出所存储的元数据的示例的示图。图8到图10是示出数据处理的示例的示图。
该示例性实施例示出了稍后描述的第四示例性实施例中公开的存储系统的具体示例。下面，将描述通过连接多个服务器计算机配置存储系统的情形。然而，本发明的存储系统不限于由多个计算机配置，而是可以由一个计算机配置。
[配置]
如图2中所示，本发明的存储系统10经由网络N连接到备份系统11，备份系统11控制备份处理。备份系统11获取经由网络N连接的备份目标设备12中所存储的备份目标文件(文件)，并且请求存储系统10进行存储。因此，存储系统10将被请求存储的备份目标文件存储为备份。
此外，如图3中所示，该示例性实施例的存储系统100采用一种连接多个服务器计算机的配置。特别地，存储系统10配备有加速器节点10A以及存储节点10B，加速器节点10A从当用于控制存储系统10的存储和重现操作的服务器计算机，存储节点10B充当配备有用于存储数据的存储设备的服务器计算机。加速器节点10A的数目和存储节点10B的数目不限于图3中示出的那些，并且可以通过连接更多的节点10A和更多的节点10B来配置存储系统。
如图4中所示，加速器节点10A配备有文件系统单元20，文件系统单元20通过安装加速器节点程序而被构造。该文件系统单元20具有管理从备份系统11获取的备份目标文件、实际存储数据的数据存储位置等以便稍后获取的功能。将省略加速器节点10A的更为详细的配置的描述。
如图4中所示，存储节点10B配备有存储节点控制单元30(数据处理装置)和内容地址单元40。存储节点控制单元30配备有内容地址控制单元31。存储节点控制单元30通过将存储节点程序安装到存储节点10B的CPU(中央处理单元)中来实现。
例如，程序以存储在例如CD-ROM的存储介质中的状态而被提供给各个节点10A和10B。备选地，程序可以存储在网络上的其他服务器计算机的存储设备中，并且经由网络从另一服务器计算机提供给各个节点10A和10B。
内容地址单元40被配置在存储设备中，并且如稍后描述的，配备有存储元数据的元数据单元50(元数据存储单元)和存储对文件进行配置的分割数据的数据单元90(数据存储单元)。特别地，元数据单元50具有根节点60、索引节点70以及叶节点80，其存储表示数据单元90中存储的数据的存储位置的元数据。在根节点60、索引节点70和叶节点80中存储的各个元数据被新近生成或更新，并且由存储节点控制单元30在存储数据时或在任何时候存储。由存储节点控制单元30存储到根节点60、索引节点70以及叶节点80中的元数据的数据结构将稍后描述。此外，存储节点控制单元30的内容地址控制单元31存储并管理已存储数据中的内容地址表，并且将在稍后详细描述。
接下来，参照图4，将详细描述存储在数据单元90中的已存储数据以及存储在根节点60、索引节点70和叶节点80中且表示已存储数据的存储位置的相应元数据，已存储数据和元数据由存储节点控制单元30的存储过程控制。
首先，在数据单元90中存储的已存储数据91、92和93是分割数据，其通过对存储系统中存储的存储目标文件进行分割而获得。
在叶节点80中存储的元数据81和82是表示已存储数据91、92等的存储位置的数据。特别地，如图中所示，叶节点80中存储的元数据81具有地址部分81b和关键部分81a，地址部分81b存储内容地址(CA)等，内容地址(CA)是表示已存储数据91的存储位置的地址信息，而关键部分81a存储表示已存储数据91在被分割之前的文件内的相对位置的文件内信息(文件偏移)等。关键部分81a和地址部分81b由相互分离的文件(数据)形成。
图7A和图7B中示出了叶节点80中存储的元数据的实际存储状态的示例。图7A示出了形成关键部分81a的文件，图7B示出了形成地址部分81b的文件。尽管如上所述关键部分81a和地址部分81b是相互分离的文件，但是在各个部分中存储的数据，即文件偏移(文件内位置信息)和CA(内容地址)，在存储顺序上相互对应。例如，文件偏移1对应于CA 1，文件偏移2对应于CA 2。关键部分81a和地址部分81b中的每个最多存储320条数据。
地址部分81b中存储的CA(内容地址)引用数据单元90中存储的已存储数据91等，并且是对于已存储数据91的存储位置而言唯一的数据。例如，CA被这样生成的数据，其包括：基于该CA所引用的已存储数据的数据内容而生成的散列值的部分，以及表示物理位置信息的信息。此外，关键部分81a中存储的文件偏移是这样的数据，其表示对应的CA所引用的已存储数据91在被分割之前的文件中的文件内相对位置等。例如，如图7A和7B中所示，在文件偏移1和文件偏移2以此顺序存储在关键部分81a中的情况下，数据单元90中所存储的、与对应于文件偏移1和文件偏移2的CA1和CA2相对应的已存储数据91和92以此顺序定位在被分割之前的文件中。
接下来，将描述索引节点70中存储的元数据71和72。索引节点70中存储的元数据71(上层元数据)是表示上述叶节点80中存储的元数据81的存储位置的数据。特别地，如图4中所示，索引节点70中存储的元数据71在下部具有地址部分(上层元地址部分)，地址部分存储内容地址(CA)，内容地址(CA)是分别引用关键部分81a和地址部分81b的地址信息，关键部分81a和地址部分81b组成叶节点80中存储的元数据81。此外，元数据71在上部具有关键部分(上层元关键部分)，该关键部分存储表示由地址部分引用的已存储数据在被分割之前的文件中的相对位置的文件内位置信息(文件偏移)。
特别地，在该示例性实施例中，索引节点70中存储的元数据71存储分别引用组成定位在下部中的叶节点80内的元数据81的关键部分81a和地址部分81b的内容地址(CA)，从而与定位在上文描述的上部(上面的元关键部分)上的一个文件偏移(文件内位置信息)相对应。也就是说，在图4中，与元数据71的左端上的文件偏移相对应的两个内容地址引用由参考标记81a表示的关键部分和由参考标记81b表示的地址部分所组成的元数据81。
此外，定位在存储在索引节点70中的元数据71的下部上的地址部分中存储的各个内容地址(CA)是对于由内容地址引用的叶节点80内的关键部分81a和地址部分81b而言唯一的数据。例如，内容地址是被生成为包括具有基于由内容地址引用的关键部分81a和地址部分81b的数据内容所生成的散列值的部分和表示物理位置信息的信息的数据。
此外，定位在存储在索引节点70中的元数据71的上部上的关键部分中所存储的上述文件偏移是表示由对应CA引用的已存储数据在被分割之前的文件中的文件内相对位置的数据。换言之，文件偏移表示已存储数据91等在被分割之前的文件中的顺序，已存储数据91等由CA所引用的叶节点80内的元数据81，82等引用并最终指定。
图6B中示出了索引节点70中存储的元数据71的实际存储状态的示例。在该图中，“文件偏移(数字)”表示每个文件偏移。此外，“CA k(数字)”表示示出所引用的叶节点内的元数据的关键部分的内容地址，“CA a(数字)”表示示出所引用的叶节点内的元数据的地址部分的内容地址。如该图中所示，文件由与之对应的以此顺序排列的“文件偏移(数字)”、“CA k(数字)”和“CAa(数字)”而配置。索引节点70中存储的元数据71最多存储320组数据。
接下来，将描述根节点60中存储的元数据61，62和63。根节点60中存储的元数据61是定位在上述元数据之上且表示索引节点70中存储的元数据71的存储位置的数据。特别地，如图4中所示，根节点60中存储的元数据61具有地址部分和关键部分，地址部分存储内容地址(CA)作为表示索引节点70中存储的元数据71的存储位置的地址信息，关键部分存储文件内位置信息(文件偏移)，文件内位置信息表示由CA引用的已存储数据在被分割之前的文件中的相对位置。关键部分和地址部分被存储为使其相互对应。
在地址部分中存储的上述CA(内容地址)是对于由CA引用的索引节点70内的元数据71的存储位置而言唯一的数据。例如，CA是这样生成的数据，其包括：基于CA所引用的元数据71的数据内容而生成的散列值的部分，以及表示物理位置信息的信息。此外，在关键部分中存储的上述文件偏移是表示由对应的CA所引用的已存储数据的文件内相对位置的数据。也就是说，文件偏移表示已存储数据91等在被分割之前的文件中的顺序，已存储数据91等由CA所引用的索引节点70所引用的叶节点80内的元数据81、82等引用并最终指定。
由参考标记61表示的元数据是相当于文件A的元数据。也就是说，通过使用该元数据61所引用的所有元数据(索引节点70和叶节点80内的元数据71、81等)之后所引用的已存储数据，可以构成分割之前的文件A。
图6A中示出了根节点60中存储的元数据的实际存储状态的示例。在该图中，“文件偏移(数字)”表示每个文件偏移。此外，“CA(i+数字)”(例如，CAi1、CAi2)表示示出所引用的索引节点内的元数据的内容地址。如该图中所示，文件由以此顺序排列的与之对应的“文件偏移(数字)”和“CA(i+数字)”来进行配置。根节点60中存储的元数据61最多存储320组数据。
如上所述，在存储文件时，存储节点控制单元30分割文件，并将其分割数据存储到数据单元90中。引用已存储数据的相应元数据被分层生成或更新，如图4中所示。此时，存储节点控制单元30可以生成元数据的内容地址(CA)以引用在定位在下层中的已有其他元数据和已存储数据，以此防止元数据和已存储数据的重复存储。
此外，在获取文件时，存储节点控制单元30跟随由各个元数据引用的目的地，并且获取已经被引用的已存储数据91等，从而生成并获取文件。例如，假设数据如图4中所示存储，在获取文件A时，存储节点控制单元30跟随引用文件A的根节点60内的元数据61、由元数据61引用的索引节点70内的元数据以及叶节点80内的元数据，并且获取多个已经被最终引用的已存储数据。然后，存储节点控制单元30按照相应元数据内的文件偏移所表示的顺序来重现文件。
接下来，将描述存储节点控制单元30所包含的内容地址控制单元31所管理的内容地址表(地址表)。图5中示出了内容地址表的示例。
如在该图中所示，内容地址表在“内容地址部分”中存储所有上述元数据的地址部分中存储的内容地址(CA)的类型。此外，内容地址表在“计数部分”中存储每个内容地址(CA)引用其他数据(已存储数据、元数据(包括组成元数据的关键部分文件和地址部分文件))的次数。
当已存储数据被新近存储或者已存储数据被删除并且由此生成或更新元数据时，内容地址控制单元31更新内容地址表。特别地，内容地址控制单元31通过将每个内容地址(CA)引用其他数据的次数存储到内容地址表中来进行更新。
此外，存储节点控制单元30删除其计数器变为“0”的内容地址(CA)(即，作为上述内容地址表更新的结果，其引用数据的次数变为“0”的内容地址)所引用的其他数据。
[操作]
接下来，将参照图8到图10描述上述存储系统的操作的示例。首先，将参照图8描述当将文件A存储在存储系统中时的方案。如图8中所示，文件A具有数据结构[a，a，b，b，b，c，c，d]。此外，该图中由虚线包围的参考符号代表表示每个数据的存储位置的内容地址，且对于该数据而言是唯一的。
首先，在存储文件A时，向数据单元90中存储数据a(DATAa)、数据b(DATAb)、数据c(DATAc)和数据d(DATAd)，它们是构成文件A的分割数据的元素。在数据具有相同内容的情况下，仅存储上述数据之一。
然后，存储引用已存储数据a，b，c和d的元数据。该图中的箭头指示相应内容地址(CA)所引用的数据。例如，“DATAa”由组成叶节点80中存储的元数据81的地址部分81b中所存储的内容地址“CAa，CAa”引用。换言之，表示“DATAa”的存储位置的内容地址是“CAa”。地址部分81b的内容地址“CAa，CAa”分别对应于关键部分81a中存储的文件内位置信息“off1，off2”，其配置与地址部分81b配对但是与之分离的元数据81b。
此外，叶节点80中存储的元数据81由叶节点70中存储的元数据71引用。特别地，组成叶节点80内的元数据81的关键部分81a和地址部分81b分别由索引节点70内的元数据71的地址部分中存储的内容地址“CA3，CA4”引用。换言之，表示组成元数据81的关键部分81a的存储位置的内容地址是“CA3”，表示地址部分81b的存储位置的内容地址是“CA4”。此外，这些内容地址“CA3，CA4”对应于元数据71中存储的一个文件内位置信息“off1”。该元数据71存储引用构成文件A的DATAa之后的其他数据的文件内位置信息和内容地址。
此外，索引节点70中存储的元数据71由根节点60中存储的元数据61引用。特别地，索引节点70内的元数据71由根节点60内的元数据61中的地址部分中存储的内容地址“CA1”引用。换言之，表示元数据71的存储位置的内容地址是“CA1”。此外，内容地址“CA1”对应于元数据61中存储的文件内位置信息“off1”。该元数据61存储引用构成文件A的、由CA1引用的数据之后的其他数据的文件内位置信息和内容地址。换言之，通过使用定位在根节点60中存储的内容地址所引用的目的地处的所有已存储数据，可以生成文件A。
如图8所示，基于上文描述的各元数据更新内容地址表。在此，每个内容地址的计数器数值是内容地址引用数据的次数，即，参照图8，来自各个内容地址的箭头的数目。
接下来，将参照图9描述存储文件B时的方案。文件B具有如图9中所示的数据结构[a，a，e，b，b，b，c，c]。
首先，在存储文件B时，向数据单元90存储数据a(DATAa)、数据e(DATAe)、数据b(DATAb)和数据c(DATAc)，它们是对文件B进行配置的分割数据的元素。在数据具有相同内容的情况下，仅存储这些数据之一。因此，此时仅添加并存储DATAe。
根据如上所述的文件B的数据结构，引用已存储数据a，e，b和c的元数据被生成或更新，并且被存储。由于位于文件B的开始侧的数据结构“a，a”已经在存储文件A时被存储，所以使用引用上述“DATAa”的叶节点80中存储的元数据81(关键部分81a，地址部分81b)。也就是说，叶节点80内的元数据81由定位在叶节点80的上层中的索引节点70内的元数据73引用。特别地，组成叶节点80内的已有元数据81的关键部分81a和地址部分81b分别由索引节点70内的元数据73的地址部分中存储的内容地址“CA3，CA4”引用。换言之，组成叶节点80内的已有元数据81的关键部分81a和地址部分81b的内容地址“CA3，CA4”由元数据73引用。此外，内容地址“CA3，CA4”对应于元数据73中存储的一个文件内位置信息“off1”。该元数据73存储引用构成文件B的其他后续数据的文件内位置信息和内容地址。
此外，索引节点70中存储的元数据73由根节点60中存储的元数据62引用。特别地，索引节点70内的元数据73由根节点60内的元数据62的地址部分中存储的内容地址“CA11”引用。此外，内容地址“CA11”对应于元数据62中存储的文件内位置信息“off1”。该元数据62存储引用CA11所引用的数据之后的其他数据的文件内位置信息和内容地址，以便对文件B进行配置。换言之，通过使用定位在根节点60中存储的内容地址所引用的目的地处的所有已存储数据，可以生成文件B。
将描述由根节点60的元数据62的内容地址CA12引用的索引节点70内的元数据74。该元数据74存储与一个文件内位置信息“off4”对应的内容地址“CA15，CA6”。换言之，内容地址CA15引用形成叶节点80内新近生成的元数据的一部分的关键部分(由内容地址CA15示出)，而内容地址CA6引用形成被生成以用于引用文件A的数据的已有元数据的一部分的地址部分(由内容地址CA6示出的数据)。备选地，与索引节点70中存储的一个文件内位置信息相对应的内容地址对中的一个内容地址可以引用另一已有关键部分，并且另一内容地址引用新近生成的其他地址部分。
然后，如图9中所示，基于上文描述的各个元数据更新内容地址表。特别地，当生成新类型的内容地址时，添加该内容地址，并且当已有内容地址的引用次数增加时更新计数器。
接下来，将参照图9和图10描述删除文件A的方面。在删除文件A时，引用文件A的元数据被删除。例如，删除图9中所示的与根节点60中存储的文件A对应的元数据61。由于该元数据61中存储的内容地址CA1和CA2被删除，内容地址表内的计数器被分别减1，其中该计数器是内容地址CA1和CA2引用其他数据的引用计数器。然后，由于内容地址CA1和CA2的引用计数器变为“0”，所以由内容地址CA1和CA2引用的索引节点70内的元数据71和72被删除。
然后，由于所删除的元数据71和72中存储的内容地址CA3等以类似于上文描述的方式被删除，所以内容地址表也被更新。由于内容地址CA3的计数器从“2”变为“1”，其不是“0”，所以由内容地址CA3引用的元数据不会被删除。
因此，引用计数变为“0”的元数据和已存储数据被删除，而引用计数不为“0”的元数据和已存储数据保持不变。因此，如图10中所示，可以删除未被任何元数据引用并且由此不再需要的其他元数据和已存储数据，并且可以有效地消除数据重复。此外，由于重复数据如上被消除，所以减少了内容地址的类型，并且促进了内容地址表的管理。
<第二示例性实施例>
接下来，将参照图11描述本发明的第二示例性实施例。图11是示出在该示例性实施例的存储节点中存储的数据的方面的示图。
本示例性实施例的存储系统的存储节点控制单元30使用几乎与上述第一示例性实施例中相同的配置，但是特别地，所存储元数据的构成不同。特别地，如图11中所示，上述索引节点70中存储的元数据71由关键部分71a和地址部分71b形成，关键部分71a和地址部分71b是相互分离的不同文件。
相应地，在本示例性实施例中，上述根节点60中存储的元数据61存储分别引用组成定位在下层中的索引节点70内的元数据71的关键部分71a的文件和地址部分71b的文件的内容地址(CA)，以对应于如图11中所示在上述上部上放置的一个文件偏移(文件内位置信息)。也就是说，本示例性实施例中的根节点60的元数据61使用几乎与第一示例性实施例中的在索引节点中存储的元数据相同的配置。
因此，通过构成对定位在上层中的元数据以使得关键部分和地址部分分离，可以分别引用定位在下层中的其他已有数据(特别地，构成元数据的相互分离的其他关键部分文件和地址部分文件)，并且可以消除重复数据。结果是，可以进一步降低整个存储系统的存储量。
<第三示例性实施例>
接下来，将参照图12A到图12C描述本发明的第三示例性实施例。图12A到图12C是用于说明该示例性实施例的存储节点中存储的数据的方面的示图。
本示例性实施例的存储系统的存储节点控制单元30具有几乎与上述第一和第二示例性实施例中相同的配置，但是特别地，具有在任何地方分割元数据的功能。例如，构成元数据的相互分离的关键部分和地址部分被这样分割，使得在关键部分和地址部分中存储的信息变为与在其他元数据的关键部分和地址部分中存储的信息相同。
图12C中示出了分割的一个示例。首先，假设如图12A中所示构成的文件A和文件B被存储在存储系统中。然后，各个文件的分割数据被存储在数据单元中。此时，图12B中示出了在引用各个分割数据的元数据的地址部分中存储的内容地址的分割，特别地，按照预定数据量对叶节点中存储的内容地址进行的分割。
另一方面，在本示例性实施例中，存储控制单元30分割对构成文件A的元数据的地址部分内的内容地址以及构成文件B的元数据的地址部分内的内容地址，从而使其相同，如图12C中所示。例如，由于存在如虚线区域所示的、相同内容地址由相同数字聚集的地方，所以在这个地方对元数据的地址部分进行分割。
因此，例如，文件A的地址部分可以由文件B的上层的元数据引用。也就是说，可以防止在由点划线区域所示的部分中的数据的重复记录。结果是，可以进一步降低整个存储系统中的存储量。尽管在上面的描述中是对地址部分进行分割，但是也可以对关键部分进行分割。
<第四示例性实施例>
将参照图13和图14描述本发明的第四示例性实施例。图13是示出存储系统的配置的功能方框图。图14是示出在存储系统中存储的数据的结构的数据结构示图。本示例性实施例示意性地描述存储系统。
如图13中所示，本示例性实施例中的存储系统1包括：
数据存储单元4，被配置为存储构成文件的分割数据；
元数据存储单元3，被配置为存储表示分割数据的存储位置的元数据；以及
数据处理装置2，其被配置为将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中，以及基于元数据存储单元中存储的元数据来获取数据存储单元中存储的分割数据并且重现文件。
继而，数据处理装置2被配置为将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
在上述存储系统中，如图14中所示，首先，在存储文件时，将文件的分割数据5分别存储到多个存储设备的数据存储单元4中。然后，将表示每个分割数据5在文件中的位置以及在数据存储单元4中的存储位置的元数据6存储到元数据存储单元3中。此后，在获取文件时，参照元数据6，指定组成文件的每个分割数据5在文件中的位置以及在数据存储单元中的存储位置，从存储设备的数据存储单元4中获取分割数据5，并且重现由多个分割数据5组成的文件。
接下来，在如上配置的存储系统1中，在与新近存储的分割数据具有相同内容的其他分割数据5已经存储在数据存储单元中的情况下，设置并存储表示已有的其他分割数据5的存储位置是新近存储的分割数据的存储位置的元数据。由此，不需要对具有相同内容的分割数据进行重复存储，并且可以降低存储量。
此外，在如上的存储系统1中，如图14中所示，元数据6具有关键部分61和地址部分62，关键部分61表示分割数据在被分割之前的文件中的位置，地址部分62存储表示分割数据在数据存储单元中的存储位置的信息，并且各个部分分离且由不同的文件构成。因此，在如上所述消除了分割数据的重复的情况下，元数据的地址部分可能是另一地址部分的重复，如图1中的参考标记182b所表示的元数据所示，但是可以引用其他地址部分以消除对地址部分的数据的重复。也就是说，在图14的示例中，可以引用参考标记6所表示的元数据的地址部分6b作为参考标记7b所表示的地址部分。不仅可以消除对地址部分的重复，也可以以相似的方式消除对关键部分的重复。因此，可以降低元数据的存储量，并且可以降低整个存储系统中的存储量。
此外，在该存储系统中：
数据处理装置被配置为将表示元数据的存储位置的上层元数据存储到元数据存储单元中；以及
上层元数据具有上层元关键部分以及上层元地址部分，上层元关键部分被配置为将表示经由元数据指定的分割数据在文件中的位置的文件内位置信息存储在上层元数据表示的存储位置中，上层元地址部分被配置为存储分别表示元数据的关键部分和地址部分的存储位置的地址信息，从而与关键部分中存储的一个文件内位置信息相对应。
此外，在该存储系统中，数据处理装置被配置为将表示组成由其他上层元数据引用的已有元数据的地址部分的存储位置的地址信息存储到上层元数据的上层元地址部分中。
此外，在该存储系统中，数据处理装置被配置为将表示组成由其他上层元数据引用的已有元数据的关键部分的存储位置的地址信息，存储到上层元数据的上层元地址部分中。
因此，通过由上层元数据引用关键部分和地址部分分离的已有元数据，可以有效地消除关键部分和地址部分的重复数据。
此外，在该存储系统中，数据处理装置被配置为将具有由相互分离的数据构成的上层元关键部分和上层元地址部分的上层元数据，存储到元数据存储单元中。
此外，在该存储系统中：
数据处理单元被配置为将具有上层元关键部分和上层元地址部分的上层元数据存储到元数据存储单元中，其中上层元地址部分表示其他上层元数据的存储位置并且定位在其他上层元数据的上层中；以及
上层元数据的定位在上层的上层元地址部分被配置为存储分别表示定位在下层中的其他上层元数据的上层元关键部分和上层元地址部分的存储位置的地址信息，从而与上层元关键部分中存储的一个文件内位置信息相对应。
此外，在该存储系统中，数据处理装置被配置为将表示组成由其他上层元数据引用的已有上层元数据的上层元地址部分的存储位置的地址信息存储到上层元数据的定位在上层中的上层元地址部分中。
此外，在该存储系统中，数据处理装置被配置为将表示组成由其他上层元数据引用的已有上层元数据的上层元关键部分的存储位置的地址信息存储到上层元数据的定位在上层中的上层元地址部分中。
因此，通过将组成上层元数据的上层元关键部分和上层元地址部分构成为分离的，可以由定位在更上层中的上层元数据引用已有上层元关键部分和上层元地址部分，并且消除重复数据。结果是，可以进一步降低整个存储系统中的存储量。
此外，在该存储系统中，数据处理装置被配置为基于关键部分和/或地址部分中存储的信息以及其他元数据的关键部分和/或地址部分中存储的信息，对元数据存储单元中存储的元数据的关键部分和/或地址部分进行分割。
此外，在该存储系统中，数据处理装置被配置为对元数据的关键部分和/或地址部分进行分割，使得关键部分和/或地址部分中存储的信息变为与其他元数据的关键部分和/或地址部分中存储的信息相同。
因此，通过将元数据的关键部分和地址部分进行分割从而变为与其他元数据的关键部分和地址部分中存储的信息相同，可以生成重复信息，并且消除关键部分和地址部分的重复数据。结果是，可以进一步降低整个存储系统中的存储量。
此外，该存储系统包括地址表，地址表被配置为针对地址部分中存储的每个地址信息，存储地址信息对其他数据的引用计数，并且数据处理装置被配置为根据地址表中存储的每个地址信息的引用计数，删除由该地址信息引用的数据。
此外，该存储系统包括地址表，配置为针对地址部分和上层元地址部分中存储的每个地址信息，存储地址信息对其他数据的引用计数，并且数据处理装置被配置为根据地址表中存储的每个地址信息的引用计数，删除由地址信息引用的数据。
此外，在存储系统中，数据处理装置被配置为删除由地址表中存储的引用计数为0的地址信息所引用的数据。
因此，通过存储各个地址信息的引用计数，便于进行删除未被引用的多余数据的过程。在这种情况下，特别地，通过消除上述地址信息的重复，各个地址信息的引用次数变小，便于计算地址表，并且可以实现快速数据处理。
此外，上述存储系统可以通过将程序安装到信息处理设备中来实现。特别地，本发明的另一示例性实施例的计算机程序包括用于使得信息处理设备实现下述装置的指令的计算机程序，其中信息处理设备包括数据存储单元和元数据存储单元，数据存储单元被配置为存储构成文件的分割数据，元数据存储单元被配置为存储表示分割数据的存储位置的元数据：
数据处理装置，其被配置为将分割数据存储到数据存储单元中，以及将表示分割数据的存储位置的元数据存储到元数据存储单元中，并且基于元数据存储单元中存储的元数据，获取数据存储单元中存储的分割数据并重现文件。
继而，数据处理装置被配置为将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
此外，在计算机程序中：
数据处理装置被配置为将表示元数据的存储位置的上层元数据存储到元数据存储单元中；以及
上层元数据具有上层元关键部分以及上层元地址部分，上层元关键部分被配置为将表示经由元数据指定的分割数据在文件中的位置的文件内位置信息存储在由上层元数据表示的存储位置中，上层元地址部分被配置为存储分别表示元数据的关键部分和地址部分的存储位置的地址信息，从而与关键部分中存储的一个文件内位置信息相对应。
此外，作为本发明的另一示例性实施例，上述存储系统中存储的数据的数据结构是元数据存储单元中存储的数据的数据结构，存储系统包括：
数据存储单元，被配置为存储构成文件的分割数据；
元数据存储单元，被配置为存储表示分割数据的存储位置的元数据；以及
数据处理装置，被配置为将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中，并且基于元数据存储单元中存储的元数据，获取数据存储单元中存储的分割数据并重现文件。
继而，数据的数据结构具有元数据，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息从而与文件内位置信息相对应，元数据具有由相互分离的数据构成的关键部分和地址部分。
此外，数据结构具有通过数据处理装置存储到元数据存储单元中且表示元数据的存储位置的上层元数据，并且上层元数据具有上层元关键部分以及上层元地址部分，上层元关键部分被配置为将表示经由元数据指定的分割数据在文件中的位置的文件内位置信息存储在由上层元数据表示的存储位置中，上层元地址部分被配置为存储分别表示元数据的关键部分和地址部分的存储位置的地址信息，从而与关键部分中存储的一个文件内位置信息相对应。
此外，作为本发明的另一示例性实施例，通过操作上述存储系统而执行的数据处理方法包括：在包括被配置为存储构成文件的分割数据的数据存储单元和被配置为存储表示分割数据的存储位置的元数据的元数据存储单元的信息处理设备中，
将分割数据存储到数据存储单元中，并且将表示分割数据的存储位置的元数据存储到元数据存储单元中；以及
基于元数据存储单元中存储的元数据，获取数据存储单元中存储的分割数据并重现文件。
继而，该数据处理方法还包括：在存储分割数据时或在任何时候，将元数据存储到元数据存储单元中，元数据具有关键部分和地址部分，关键部分被配置为存储表示分割数据在文件中的位置的文件内位置信息，地址部分被配置为存储表示存储与文件内位置信息所表示的位置相对应的分割数据的存储位置的地址信息，从而与文件内位置信息相对应，并且关键部分和地址部分由相互分离的数据构成。
此外，该数据处理方法包括：将表示元数据的存储位置的上层元数据存储到元数据存储单元中，并且上层元数据具有上层元关键部分以及上层元地址部分，上层元关键部分被配置为将表示经由元数据指定的分割数据在文件中的位置的文件内位置信息存储在由上层元数据表示的存储位置中，上层元地址部分被配置为存储分别表示元数据的关键部分和地址部分的存储位置的地址信息，从而与关键部分中存储的一个文件内位置信息相对应。
具有上述配置的计算机程序、数据结构和数据处理方法的发明具有与上述存储系统类似的动作，并且因此可以实现如上的本发明的目的。
尽管已经参照上述各个示例性实施例描述了本发明，但是本发明不限于上述示例性实施例。本发明的配置和细节可以以本领域技术人员能够理解的各种方式，在本发明的范围内改变。
本发明基于并要求2009年3月4日提交的日本专利申请No.2009-050062的优先权，该申请的公开内容在此全文引入作为参考。
实用性
本发明可以用于通过连接多个计算机配置的存储系统，并且具有实用性。
参考标记的描述
1 存储系统
2 数据处理装置
3 元数据存储单元
4 数据存储单元
10 存储系统
10A 加速器节点
10B 存储节点
11 备份系统
12 备份设备
20 文件存储单元
30 存储节点控制单元
31 内容地址控制单元
40 内容地址单元
50 元数据单元
60 路由节点
61、71、81 元数据
70 索引节点
80 叶节点
81a 关键部分
81b 地址单元
90 数据单元
91 已存储数据

Claims (14)

1.一种存储系统，包括：
数据存储单元，被配置为存储构成文件的分割数据；
元数据存储单元，被配置为存储表示所述分割数据的存储位置的元数据；以及
数据处理单元，被配置为将所述分割数据存储到所述数据存储单元中，并且将表示所述分割数据的所述存储位置的所述元数据存储到所述元数据存储单元中，以及基于所述元数据存储单元中存储的所述元数据来获取所述数据存储单元中存储的所述分割数据并且重现所述文件，
其中所述数据处理单元被配置为将所述元数据存储到所述元数据存储单元中，所述元数据具有关键部分和地址部分，所述关键部分被配置为存储表示所述分割数据在所述文件中的位置的文件内位置信息，所述地址部分被配置为存储表示存储与所述文件内位置信息所表示的位置相对应的所述分割数据的存储位置的地址信息从而与所述文件内位置信息相对应，并且所述关键部分和所述地址部分由相互分离的数据构成，
其中：
所述数据处理单元被配置为将表示所述元数据的存储位置的上层元数据存储到所述元数据存储单元中；以及
所述上层元数据具有上层元关键部分以及上层元地址部分，所述上层元关键部分被配置为将表示经由所述元数据指定的所述分割数据在所述文件中的位置的所述文件内位置信息存储在由所述上层元数据表示的所述存储位置中，所述上层元地址部分被配置为存储分别表示所述元数据的关键部分和地址部分的存储位置的地址信息，从而与所述关键部分中存储的一个所述文件内位置信息相对应。
2.根据权利要求1所述的存储系统，其中所述数据处理单元被配置为将表示组成由其他上层元数据引用的已有元数据的地址部分的存储位置的地址信息存储到所述上层元数据的上层元地址部分中。
3.根据权利要求1所述的存储系统，其中所述数据处理单元被配置为将表示组成由其他上层元数据引用的已有元数据的关键部分的存储位置的地址信息存储到所述上层元数据的上层元地址部分中。
4.根据权利要求1所述的存储系统，其中所述数据处理单元被配置为将具有由相互分离的数据构成的所述上层元关键部分和所述上层元地址部分的所述上层元数据存储到所述元数据存储单元中。
5.根据权利要求4所述的存储系统，其中：
所述数据处理单元被配置为将具有所述上层元关键部分和所述上层元地址部分的所述上层元数据存储到所述元数据存储单元中，所述上层元地址部分表示其他上层元数据的存储位置并且定位在所述其他上层元数据的上层中；以及
定位在所述上层中的所述上层元数据的上层元地址部分被配置为存储分别表示定位在下层中的其他上层元数据的上层元关键部分和上层元地址部分的存储位置的地址信息，从而与所述上层元关键部分中存储的一个所述文件内位置信息相对应。
6.根据权利要求5所述的存储系统，其中所述数据处理单元被配置为将表示组成由其他上层元数据引用的已有上层元数据的上层元地址部分的存储位置的地址信息存储到定位在所述上层中的所述上层元数据的上层元地址部分中。
7.根据权利要求5所述的存储系统，其中所述数据处理单元被配置为将表示组成由其他上层元数据引用的已有上层元数据的上层元关键部分的存储位置的地址信息存储到定位在所述上层中的所述上层元数据的上层元地址部分中。
8.根据权利要求1所述的存储系统，其中所述数据处理单元被配置为基于所述关键部分和/或所述地址部分中存储的信息以及其他元数据的关键部分和/或地址部分中存储的信息，对所述元数据存储单元中存储的所述元数据的关键部分和/或地址部分进行分割。
9.根据权利要求8所述的存储系统，其中所述数据处理单元被配置为对所述元数据的关键部分和/或地址部分进行分割，使得所述关键部分和/或所述地址部分中存储的信息变为与所述其他元数据的关键部分和/或地址部分中存储的信息相同。
10.根据权利要求1所述的存储系统，包括地址表，被配置为针对所述地址部分中存储的所述地址信息中的每一个而存储所述地址信息对其他数据的引用的计数，
其中所述数据处理单元被配置为根据所述地址表中存储的所述地址信息中的每一个的引用计数来删除所述地址信息所引用的数据。
11.根据权利要求1所述的存储系统，包括地址表，被配置为针对在所述地址部分和所述上层元地址部分中存储的所述地址信息中的每一个而存储所述该地址信息对其他数据的引用的计数，
其中所述数据处理单元被配置为根据所述地址表中存储的所述地址信息中的每一个的引用计数而删除所述地址信息所引用的数据。
12.根据权利要求10所述的存储系统，其中所述数据处理单元被配置为删除所述地址表中存储的引用计数为0的地址信息所引用的数据。
13.一种数据处理装置，包括在包含被配置为存储构成文件的分割数据的数据存储单元和被配置为存储表示所述分割数据的存储位置的元数据的元数据存储单元的信息处理设备中：
用于将所述分割数据存储到所述数据存储单元中，并且将表示所述分割数据的所述存储位置的所述元数据存储到所述元数据存储单元中的模块；
用于基于所述元数据存储单元中存储的所述元数据来获取所述数据存储单元中存储的所述分割数据并且重现所述文件的模块；
用于将所述元数据存储到所述元数据存储单元中的模块，所述元数据具有关键部分和地址部分，所述关键部分被配置为存储表示所述分割数据在所述文件中的位置的文件内位置信息，所述地址部分被配置为存储表示存储与所述文件内位置信息所表示的位置相对应的所述分割数据的存储位置的地址信息从而与所述文件内位置信息相对应，并且所述关键部分和所述地址部分由相互分离的数据构成；以及
用于将表示所述元数据的存储位置的上层元数据存储到所述元数据存储单元中的模块，
其中所述上层元数据具有上层元关键部分以及上层元地址部分，所述上层元关键部分被配置为将表示经由所述元数据指定的所述分割数据在所述文件中的位置的所述文件内位置信息存储在由所述上层元数据表示的存储位置中，所述上层元地址部分被配置为存储分别表示所述元数据的关键部分和地址部分的存储位置的地址信息，从而与所述关键部分中存储的一个所述文件内位置信息相对应。
14.一种数据处理方法，包括在包含被配置为存储构成文件的分割数据的数据存储单元和被配置为存储表示所述分割数据的存储位置的元数据的元数据存储单元的信息处理设备中：
将所述分割数据存储到所述数据存储单元中，并且将表示所述分割数据的存储位置的所述元数据存储到所述元数据存储单元中；
基于所述元数据存储单元中存储的所述元数据来获取所述数据存储单元中存储的所述分割数据并且重现所述文件；
将所述元数据存储到所述元数据存储单元中，所述元数据具有关键部分和地址部分，所述关键部分被配置为存储表示所述分割数据在所述文件中的位置的文件内位置信息，所述地址部分被配置为存储表示存储与所述文件内位置信息所表示的位置相对应的所述分割数据的存储位置的地址信息从而与所述文件内位置信息相对应，并且所述关键部分和所述地址部分由相互分离的数据构成；以及
将表示所述元数据的存储位置的上层元数据存储到所述元数据存储单元中，
其中所述上层元数据具有上层元关键部分以及上层元地址部分，所述上层元关键部分被配置为将表示经由所述元数据指定的所述分割数据在所述文件中的位置的所述文件内位置信息存储在由所述上层元数据表示的所述存储位置中，所述上层元地址部分被配置为存储分别表示所述元数据的关键部分和地址部分的存储位置的地址信息，从而与所述关键部分中存储的一个所述文件内位置信息相对应。
CN201080006260.XA 2009-03-04 2010-01-14 存储系统 Expired - Fee Related CN102301347B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-050062 2009-03-04
JP2009050062A JP5407430B2 (ja) 2009-03-04 2009-03-04 ストレージシステム
PCT/JP2010/000153 WO2010100813A1 (ja) 2009-03-04 2010-01-14 ストレージシステム

Publications (2)

Publication Number Publication Date
CN102301347A CN102301347A (zh) 2011-12-28
CN102301347B true CN102301347B (zh) 2014-10-29

Family

ID=42709386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080006260.XA Expired - Fee Related CN102301347B (zh) 2009-03-04 2010-01-14 存储系统

Country Status (5)

Country Link
US (1) US8843445B2 (zh)
EP (1) EP2405359A4 (zh)
JP (1) JP5407430B2 (zh)
CN (1) CN102301347B (zh)
WO (1) WO2010100813A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098015B (zh) 2010-09-30 2015-11-25 日本电气株式会社 存储系统
JP5673232B2 (ja) * 2011-03-09 2015-02-18 日本電気株式会社 ストレージシステム
JP2012198786A (ja) * 2011-03-22 2012-10-18 Fujitsu Ltd ファイル処理プログラム及び装置
JP5751041B2 (ja) * 2011-06-17 2015-07-22 日本電気株式会社 ストレージ装置、ストレージ方法およびプログラム
US8732401B2 (en) 2011-07-07 2014-05-20 Atlantis Computing, Inc. Method and apparatus for cache replacement using a catalog
US9277010B2 (en) 2012-12-21 2016-03-01 Atlantis Computing, Inc. Systems and apparatuses for aggregating nodes to form an aggregated virtual storage for a virtualized desktop environment
US9069472B2 (en) 2012-12-21 2015-06-30 Atlantis Computing, Inc. Method for dispersing and collating I/O's from virtual machines for parallelization of I/O access and redundancy of storing virtual machine data
US9372865B2 (en) 2013-02-12 2016-06-21 Atlantis Computing, Inc. Deduplication metadata access in deduplication file system
US9250946B2 (en) 2013-02-12 2016-02-02 Atlantis Computing, Inc. Efficient provisioning of cloned virtual machine images using deduplication metadata
US9471590B2 (en) 2013-02-12 2016-10-18 Atlantis Computing, Inc. Method and apparatus for replicating virtual machine images using deduplication metadata
WO2014174380A2 (en) 2013-04-22 2014-10-30 Bacula Systems Sa Creating a universally deduplicatable archive volume
JP6050794B2 (ja) * 2014-08-22 2016-12-21 株式会社日立製作所 フラッシュメモリモジュール、不揮発性半導体メモリモジュール及びストレージ装置
CN104239575A (zh) * 2014-10-08 2014-12-24 清华大学 一种虚拟机镜像文件存储、分发方法及装置
CN104539733B (zh) * 2015-01-20 2017-12-22 电子科技大学 一种隐私碎片文件的云同步方法
US9967093B2 (en) * 2015-03-25 2018-05-08 Intel Corporation Techniques for securing and controlling access to data
CN106021538A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的文件分割方法与系统
CN106021217A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的大文件数据的编辑方法与系统
CN106095794A (zh) * 2016-05-27 2016-11-09 成都索贝数码科技股份有限公司 一种基于fics对象存储的文件合并方法与系统
CN106021536A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的数据插入方法与系统
CN106021537A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的数据剔除方法与系统
CN113625938A (zh) * 2020-05-06 2021-11-09 华为技术有限公司 一种元数据存储方法及其设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4125873A (en) * 1977-06-29 1978-11-14 International Business Machines Corporation Display compressed image refresh system
US5991862A (en) * 1996-12-30 1999-11-23 Sun Microsystems, Inc. Modified indirect addressing for file system
US6101506A (en) * 1997-05-01 2000-08-08 Hitachi, Ltd. Method and system for managing files by version and programs therefor
EP1238335A1 (en) 1999-12-07 2002-09-11 Data Foundation, Inc. Scalable storage architecture
KR100749428B1 (ko) * 1999-12-20 2007-08-14 다이니폰 인사츠 가부시키가이샤 분산형 데이터 아카이브 장치, 시스템 및 기록 매체
JP4284896B2 (ja) * 2001-08-02 2009-06-24 コニカミノルタビジネステクノロジーズ株式会社 ファイル管理プログラム、ファイル管理プログラムを記録したコンピュータ読取可能な記録媒体、およびファイル管理方法
GB2395809B (en) 2002-11-28 2005-12-21 Ibm Metadata lock management in advanced function n-way shared storage controller systems
US7143251B1 (en) * 2003-06-30 2006-11-28 Data Domain, Inc. Data storage using identifiers
US7444389B2 (en) 2003-12-09 2008-10-28 Emc Corporation Methods and apparatus for generating a content address to indicate data units written to a storage system proximate in time
AU2005304759B2 (en) * 2004-11-05 2012-05-17 Drobo, Inc. Dynamically expandable and contractible fault-tolerant storage system permitting variously sized storage devices and method
US7949845B2 (en) * 2005-08-03 2011-05-24 Sandisk Corporation Indexing of file data in reprogrammable non-volatile memories that directly store data files
US8412682B2 (en) * 2006-06-29 2013-04-02 Netapp, Inc. System and method for retrieving and using block fingerprints for data deduplication
US8090792B2 (en) * 2007-03-08 2012-01-03 Nec Laboratories America, Inc. Method and system for a self managing and scalable grid storage
US20090049260A1 (en) * 2007-08-13 2009-02-19 Upadhyayula Shivarama Narasimh High performance data deduplication in a virtual tape system
JP2009050062A (ja) 2007-08-16 2009-03-05 Delta Electronics Inc 自己冷却後面接続駆動原動機組立品
US7788220B1 (en) * 2007-12-31 2010-08-31 Emc Corporation Storage of data with composite hashes in backup systems
JP5339432B2 (ja) * 2009-02-25 2013-11-13 日本電気株式会社 ストレージシステム

Also Published As

Publication number Publication date
EP2405359A1 (en) 2012-01-11
US20110295914A1 (en) 2011-12-01
WO2010100813A1 (ja) 2010-09-10
JP2010204970A (ja) 2010-09-16
US8843445B2 (en) 2014-09-23
CN102301347A (zh) 2011-12-28
EP2405359A4 (en) 2013-07-24
JP5407430B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
CN102301347B (zh) 存储系统
EP3333718B1 (en) Task allocation method and task allocation apparatus for distributed data calculation
CN102317923B (zh) 存储系统
EP3201775B1 (en) File system with per-extent checksums
CN103067433B (zh) 一种分布式存储系统的数据迁移方法、设备和系统
CN102282544B (zh) 存储系统
CN112328435B (zh) 目标数据备份和恢复的方法、装置、设备及存储介质
CN105468473A (zh) 数据迁移方法及数据迁移装置
CN110221782A (zh) 视频文件处理方法及装置
CN105593828A (zh) 管理文件的方法、分布式存储系统和管理节点
CN102799628A (zh) 在key-value数据库中进行数据分区的方法和装置
CN109831540B (zh) 分布式存储方法、装置、电子设备及存储介质
CN110096227A (zh) 数据存储方法、数据处理方法、装置、电子设备及计算机可读介质
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN103995855A (zh) 存储数据的方法和装置
WO2019183958A1 (zh) 数据写入方法、客户端服务器和系统
CN111309523A (zh) 数据读写方法、数据远程复制方法及装置、分布式存储系统
JP6823734B2 (ja) ソリッドステートディスクアクセス
CN112230861A (zh) 一种基于一致性哈希算法的数据存储方法及终端
CN107153512A (zh) 一种数据迁移方法和装置
US20230342054A1 (en) Method, electronic device and computer program product for processing data
JP2006331076A (ja) データ記憶システム及び記憶方法
CN109710454A (zh) 一种云主机快照方法及装置
CN102792281B (zh) 存储设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141029

Termination date: 20220114