CN104298681B - 一种数据存储方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据存储方法及装置。本发明实施例方法包括：按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

Description

一种数据存储方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种数据存储方法及装置。

背景技术

存储系统的空间管理方法中存在两种技术，一种是写时复制（COW，copy-on-write）技术的基本思想是当多个访问者使用同一数据时，只需维护指向数据的指针，当一个访问者要修改数据时，需要对数据进行拷贝，在拷贝的数据上进行操作，这种操作对于其他访问者透明。另一种是日志结构（log-structured）的基本思想是将存储空间作为日志（log）使用，数据以追加写的形式写入存储空间。log-structured聚合小粒度写为大粒度写，并顺序地写入存储空间。

现有技术中，在使用COW技术的存储系统中，在更新数据时将根目录到需要更新数据的文件这一整条路径进行拷贝和重新放置。在使用log-structured技术的存储系统中，在更新文件数据时，将新数据，文件的元数据和索引节点表（inode map）进行更新并重新放置。

在上述现有技术中，在使用COW技术的存储系统中，由于需要更新数据的节点有多个，并且不同节点更新数据的频率不同，如，树根节点和叶子节点的更新频率节点的原始数据成为垃圾数据的频率不同，有效数据和垃圾数据混杂存储，空间碎片化严重。当进行大粒度输入/输出（IO，Input/Output）操作时，需要将大粒度IO拆分成多个小粒度IO，严重降低存储系统的性能。在使用log-structured技术的存储系统中，随着存储空间不断使用，大粒度空间逐渐减少，为了维持一定数量的大粒度空闲空间，需要进行空间整理，即垃圾回收，由于进行垃圾回收，需要将有效数据读出，然后再聚合写入，除了正常的应用IO操作外，额外地增加了进行垃圾回收的IO操作，并且，垃圾回收和正常应用IO操作产生竞争，争夺带宽，增大操作响应时间。

发明内容

本发明提供了一种数据存储方法及装置，能够降低垃圾回收的开销，提高存储空间中形成大块的空闲空间的几率。

本发明实施例的第一方面提供了数据存储方法，包括：按照数据的更新频率，将所述数据进行类型划分；

将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型；

根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

结合本发明实施例的第一方面，在本发明实施例的第一方面的第一种实施方式中，所述按照数据的更新频率，将所述数据进行类型划分具体包括：

按照数据所属节点在节点树中的位置将所述数据进行类型划分，或者，按照数据的记录类型将所述数据进行类型划分。

结合本发明实施例的第一方面的第一种实施方式，在本发明实施例的第一方面的第二种实施方式中，所述根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中包括：

将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。

结合本发明实施例的第一方面的第一种实施方式，在本发明实施例的第一方面的第三种实施方式中，所述根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中包括：

将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，所述索引节点表存储到同类型的簇中，所述文件的元数据和所述目录的数据存储到同类型的簇中，所述文件存储到同类型的簇中，其中所述目录的数据包括目录的元数据和目录的有效数据。

本发明实施例的第二方面提供了一种数据存储装置，所述数据存储装置包括：划分单元，用于按照数据的更新频率，将所述数据进行类型划分；

所述划分单元，还用于将存储空间划分为多个簇，所述多个簇划分为与所述数据的类型数量相同数量的类型；

存储单元，用于根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

结合本发明实施例的第二方面，在本发明实施例的第二方面的第一种实施方式中，包括：所述划分单元，具体用于按照数据所属节点在节点树中的位置将所述数据进行类型划分，或者，按照数据的记录类型将所述数据进行类型划分。

结合本发明实施例的第二方面的第一种实施方式，在本发明实施例的第二方面的第二种实施方式中，包括：所述存储单元，还用于将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。

结合本发明实施例的第二方面的第一种实施方式，在本发明实施例的第二方面的第三种实施方式中，包括：所述存储单元，还用于将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，所述索引节点表存储到同类型的簇中，所述文件的元数据及所述目录的数据存储到同类型的簇中，所述文件的有效数据存储到同类型的簇中，其中所述目录的数据包括目录的元数据和目录的有效数据。

从以上技术方案可以看出，本发明实施例具有以下优点：按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的数据量较少，同时在存储空间中形成大块空闲空间的几率也较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

附图说明

图1为本发明实施例中的数据存储方法的一个实施例示意图；

图2为本发明实施例中的数据存储方法的另一个实施例示意图；

图3a为现有cow技术中B-树的节点位置示意图；

图3b为图3a中各节点的存储位置示意图；

图4为图3a中节点更新数据后的各类数据存储位置示意图；

图5为本发明实施例中节点更新数据后的新数据及垃圾数据存储位置示意图；

图6为现有WAFL技术中文件及目录存储数据位置示意图；

图7为本发明实施例中文件及目录存储数据位置示意图；

图8为现有WAFL技术中文件更新数据后各类数据存储位置示意图；

图9为本发明实施例中文件更新数据后各类数据存储位置示意图；

图10为本发明实施例中的数据存储装置的一个实施例示意图；

图11为本发明实施例中的数据存储装置的另一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据存储方法及装置，用于降低垃圾回收的开销，提高存储空间中形成大块的空闲空间的几率。

本发明实施例中提供的数据存储方法，以在写时复制和日志结构两种存储技术中的实施为例进行说明，其中日志结构存储技术以写入任何文件布局（WAFL，write-anywhere-file-layout）为例。

请参阅图1，本发明实施例中的数据存储方法的一个实施例包括：

101、按照数据的更新频率，将数据进行类型划分；

在存储系统中，不同数据的更新频率会因为读写操作次数及内容的不同而不同，按照数据的更新频率，将所述数据进行分类，将更新频率相同或相近的数据划分为同一类型。如，可将更新频率最快的数据划分为第一类，将更新频率最慢的数据划分为二类，将更新频率介于前两类更新频率之间的数据划分为第三类。当然，也可以根据系统中对数据的读写情况划分为更多或更少的类别，此处不作具体限定。

更新频率相近的数据的界定，可通过预先在系统中进行设置的方式具体界定，如可设置相近的更新频率的范围，数据的更新频率在此范围内，则认为数据的更新频率相近，可将这些数据划为同一类型的数据。

102、将存储空间划分为多个类型的簇，多个类型的簇划分为至少与数据的类型数量相同数量的类型；

将存储空间划分为多个类型的簇，多个类型的簇划分为至少与数据的类型数量相同数量的类型，即，簇的类型数量可以多于数据类型的数量，也可以等于数据类型的数量。

本发明实施例中的簇是存储空间中的子存储空间，可在系统的存储空间中任意划定，各簇大小可以不等，并且同一类型的簇可以不止一个，而是多个簇的大小可根据系统的实际应用情况自定义设定，可大可小，设定方式灵活。

103、根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

将数据按照更新频率分类后，根据预置存储对应关系，将分类后的数据分别存储到存储空间同类型的簇中，如步骤101中的例子，第一类数据存储到第一类簇中，将第二类数据存储到第二类簇中，将第三类数据存储到第三类簇中，以此类推。同一类型的数据存储到同一类型的簇中。

在现有的存储系统中，当存储的数据需要更新时，存储系统根据策略在空闲空间的预置位置写入更新后的新数据，则已经被更新的原数据成为垃圾数据，例如，策略为在靠近原数据的地方写入，则新数据的位置（即预置位置）靠近原数据的位置。在本实施例中，当存储的数据需要更新时，存储系统根据策略只能在需要更新的数据所在的同类型的簇中的预置位置写入更新后的新数据，在该簇中已经被更新的原数据成为垃圾数据。当到达系统预置的回收垃圾数据的时间，或，一个簇中的垃圾数据所占用的空间达到系统预置的阀值时，系统回收垃圾数据所占用的空间。如上例，由于存储在第一类簇中的第一类数据更新频率最快，容易在较短的时间形成大块的垃圾数据，这样，当系统回收垃圾数据时，在第一类簇中容易形成对应的大块的空闲空间。

本发明实施例中，按照数据的更新频率，将数据进行类型划分，将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，因此，按照数据的更新频率将所述数据进行分类，并将同一类型的数据存储到同一类型簇中，能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。下面以另一实施例详细说明本发明实施例中的数据存储方法，请参阅图2，本发明实施例中的数据存储方法的另一个实施例包括：

201、按照数据所属节点在节点树中的层次位置将数据进行分类，或者，按照数据的记录类型将数据进行分类；

本实施例中，在cow技术中的存储方式，按照数据所属节点在节点树中的位置将数据进行类型划分与数据的更新频率相关，可以按照数据所属节点在节点树中的位置将数据进行分类，将在节点树中位于同一层次的节点的数据划分为同一类型。在log-structured技术中的存储方式，按照数据的记录类型将所述数据进行类型划分与数据的更新频率相关，按照数据的记录类型将数据进行分类，可以将数据分为索引节点表、文件的元数据和目录的数据、一般文件的有效数据。

202、将存储空间划分为多个类型的簇，多个类型的簇划分为至少与数据的类型数量相同数量的类型；

将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，即，簇的类型数量可以多于数据类型的数量，也可以等于数据类型的数量。

本发明实施例中的簇是存储空间中的子存储空间，可在系统的存储空间中任意划定，各簇大小可以不等，并且同一类型的簇可以不止一个，而是多个簇的大小可根据系统的实际应用情况自定义设定，可大可小，设定方式灵活。

203、根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

下面举例说明本发明实施例中的数据存储方法，根据存储技术的不同分为以下两种方式。

一、以cow技术中的B-树为例，请参阅图3a，在B-树中存在节点A、B、C、D、E、F，则各节点的存储位置为图3b，需要说明的是，各节点的位置不限于图3b中所示具体存储位置，图3b中节点所在存储位置只是一个例子。那么，当节点A、B、C中存储的数据发生更新时，系统将更新后的新数据写入空闲空间的预置位置之后形成节点A’、B’、C’，则被更新的原数据已经成为垃圾数据，即节点A、B、C的存储空间被垃圾数据占用而成为不可用空间。其中，更新后的新数据写入的空闲空间的预置位置为依据策略写入的，此处为现有技术不做限定，例如，策略为在靠近原数据的地方写入，则新数据的位置（即预置位置）靠近原数据的位置。如图4所示，图中做了阴影的节点中存储的是垃圾数据。

进一步地，由图3a和图3b可知，节点A为根节点，在节点树中单独为一个层次，节点B、C在节点树中位于同一层次，节点D、E、F在节点树中位于同一层次。那么，根据各节点在节点树中的层次位置，将节点A中存储的数据单独划分为一类，将节点B、C中存储的数据划分为同一类，将节点D、E、F中存储的数据划分为同一类。为便于描述，以每一类簇中只有一个簇为例，请参阅图5，将节点A中的数据单独存储于一个簇中，将节点B、C中的数据存储于同一个簇中，将节点D、E、F中的数据存储于同一个簇中。那么，当节点A、B、C中存储的数据发生更新时，系统在将更新后的新数据写入预先划分的各簇中，则被更新的原数据已经成为垃圾数据，即节点A、B、C的存储空间被垃圾数据占用而成为不可用空间，图5中做了阴影的节点中存储的是垃圾数据，其余节点中存储的是有效数据。由于节点A为根节点，节点树任何一条分支的节点数据更新，根节点都会一同更新，则节点A中存储的数据更新的次数最多，更新频率最快，每更新一次都会使得原数据成为垃圾数据，那么，节点A所在簇在较短的时间形成大块的垃圾数据的几率较高，这样，当系统回收垃圾数据时，节点A所在簇中形成对应的大块的空闲空间几率也较高。相反的，由于节点树的叶子节点更新的可能性相对较小，更新频率最慢，每更新一次都会使得原数据成为垃圾数据，那么，节点D、E、F所在簇在较短的时间形成大块的垃圾数据的几率较低，这样，当系统回收垃圾数据时，节点D、E、F所在簇中形成对应的大块的空闲空间几率也较低。

二、以log-structured技术中的WAFL技术为例，在系统中创建目录dir1和dir2，在目录dir1下创建文件file1，在目录dir2下创建文件file2，以上创建的目录dir1、目录dir2、文件file1、文件file2都以文件的形式进行存储。文件包括元数据和一般数据两部分，其中，元数据用于记录目录dir1、目录dir2、文件file1、文件file2的属性、数据大小、数据存储位置等，一般数据为目录dir1、目录dir2、文件file1、文件file2的实际内容。元数据一般用索引节点记录来表示，目录下的有效数据记录目录项和子目录和文件之间的映射关系。

本实施例中，索引节点表（inode map）为元数据，用于记录索引节点的存储位置的信息；

目录索引节点（inode），用于存储目录的元数据；

文件索引节点（inode），用于存储文件的元数据，文件的元数据用于记录文件大小、数据块位置信息等表示文件性质的数据。

具体请参阅图6，在文件file1、文件file2、目录dir1及目录dir2的数据中均包括有效数据和元数据。

inode map为元数据，反映全局目录索引节点和文件索引节点存储位置的信息，更新频率最快，单独划分为一类；文件的元数据和目录的数据的更新较为频繁，更新频率接近，因此，将文件的元数据和目录的数据划分为一类，文件的有效数据更新频率最慢，单独划分为一类，其中目录的数据包括目录的元数据和目录的有效数据。在存储空间中划分出与数据类型对应的多个类型的簇，每个类型的簇可以为一个，也可以为多个，存储空间还可以全部按照数据类型的数量，划分为对应数量的多个类型的簇，将上述三类数据分别存储于预先划分的各簇中，则图6中各目录的数据及各文件的数据的存储位置如图7所示。

当在目录dir1下的文件file1中发生数据更新时，写入新数据，同时，file1中的元数据相应更新，inode map也相应更新，那么，file1中被更新的原有效数据产生垃圾数据，该垃圾数据的存储位置及更新后的file1中元数据、inode map元数据的位置如图8所示。

本实施例中，当在目录dir1下的文件file1发生数据更新时，存储的file1元数据也相应更新，则被更新的file1的原数据成为垃圾数据，该垃圾数据的存储位置及更新后的元数据位置如图9所示。为便于描述，以每一类簇中只有一个簇为例，文件的有效数据存储于第一类簇中，即file1的有效数据和file2的有效数据存储在第一类簇中，元数据和目录的有效数据存储于第二类簇中，即file1下的元数据和file2下的元数据，dir1下的元数据和dir2下的元数据和dir1下的有效数据和dir2下的有效数据存储于第二类簇中，inodemap存储于第三类簇中。在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，因此，按照数据的更新频率将所述数据进行分类，并将同一类型的数据存储到同一类型簇中，能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

下面介绍本发明实施例中的数据存储装置，请参阅图10，本发明实施例中的数据存储装置的一个实施例包括：

划分单元301，用于按照数据的更新频率，将所述数据进行类型划分；

所述划分单元301，还用于将存储空间划分为多个簇，所述多个簇划分为与所述数据的类型数量相同数量的类型；

存储单元302，用于根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

本实施例中各功能单元实现各自功能的过程，与前述图1所示实施例描述的数据存储方法相同，此处不再赘述。

本发明实施例中，划分单元301按照数据的更新频率，将所述数据进行类型划分，划分单元301将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，存储单元302根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，因此，按照数据的更新频率将所述数据进行分类，并将同一类型的数据存储到同一类型簇中，能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

下面以另一实施例详细描述本发明实施例中的数据存储装置，请参阅图11，本发明实施例中的数据存储装置的另一个实施例包括：

划分单元401，用于按照数据的更新频率，将所述数据进行类型划分；

所述划分单元401，还用于将存储空间划分为多个簇，所述多个簇划分为与所述数据的类型数量相同数量的类型；

存储单元402，用于根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。

所述划分单元401，具体用于按照数据所属节点在节点树中的位置将数据进行类型划分，或者，按照数据的记录类型将所述数据进行类型划分；

进一步地，所述存储单元402，还用于将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中；

更进一步地，所述存储单元402，还用于将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，索引节点表存储到同类型的簇中，文件的元数据及目录的数据存储到同类型的簇中，文件的有效数据存储到同类型的簇中，目录的数据包括目录的元数据和目录的有效数据，索引节点表为元数据。

本实施例中各功能单元实现各自功能的过程，与前述图1、图2所示实施例描述的数据存储方法相同，此处不再赘述。

本发明实施例中，划分单元401按照数据的更新频率，将所述数据进行类型划分，划分单元401将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，具体按照数据所属节点在节点树中的位置将数据进行类型划分，或者，按照数据的记录类型将所述数据进行类型划分，存储单元402根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，存储单元402将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中，存储单元402也可以将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，索引节点表存储到同类型的簇中，文件的元数据及目录的数据存储到同类型的簇中，文件的有效数据存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种数据存储方法及装置进行了详细介绍，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种数据存储方法，其特征在于，包括：

按照数据的更新频率，将所述数据进行类型划分；

将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量相同数量的类型；

根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中；

所述按照数据的更新频率，将所述数据进行类型划分具体包括：

在cow技术中的存储方式，按照数据所属节点在节点树中的位置将所述数据进行类型划分，或者，在log-structured技术中的存储方式，按照数据的记录类型将所述数据进行类型划分。

2.根据权利要求1所述的方法，其特征在于，所述根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中包括：

将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。

3.根据权利要求1所述的方法，其特征在于，所述根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中包括：

将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，所述索引节点表存储到同类型的簇中，所述文件的元数据和所述目录的数据存储到同类型的簇中，所述文件存储到同类型的簇中，其中所述目录的数据包括目录的元数据和目录的有效数据。

4.一种数据存储装置，其特征在于，包括：

划分单元，用于按照数据的更新频率，将所述数据进行类型划分；

所述划分单元，还用于将存储空间划分为多个簇，所述多个簇划分为与所述数据的类型数量相同数量的类型；

存储单元，用于根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中；

所述划分单元，具体用于在cow技术中的存储方式，按照数据所属节点在节点树中的位置将所述数据进行类型划分，或者，在log-structured技术中的存储方式，按照数据的记录类型将所述数据进行类型划分。

5.根据权利要求4所述的装置，其特征在于，

所述存储单元，还用于将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。

6.根据权利要求4所述的装置，其特征在于，

所述存储单元，还用于将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到对应类型的簇中，其中，所述索引节点表存储到同类型的簇中，所述文件的元数据及所述目录的数据存储到同类型的簇中，所述文件的有效数据存储到同类型的簇中，其中所述目录的数据包括目录的元数据和目录的有效数据。