CN104917788A - 一种数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种数据存储方法及装置，该方法包括：在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；并指示分布式数据存储系统中的各数据存储节点共享保留的数据块。能够较好地解决在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据进行备份操作，对正常业务操作产生一定影响和干扰的问题。

Description

一种数据存储方法及装置

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据存储方法及装置。

背景技术

分布式数据存储系统，是由分布于多个计算机节点的若干个数据存储系统组成。其中，分布于多个计算机节点的数据存储系统，又可以称之为数据存储节点。

在分布式数据存储系统中，通常采用数据备份的方式来保证数据存储的可靠性。其中，作为备份存储的数据可以称之为副本。一般情况下，分布式数据存储系统采用多副本的方式来保证数据存储的可靠性。例如，采用2副本或者3副本技术，其实现方式为将提供给用户使用的存储卷划分成固定大小的数据块。对于数据块，系统会在不同的数据存储节点上保留固定数量的数据副本。随着技术的不断发展，数据消冗技术出现在分布式数据存储系统中，其主要方法类似于数据压缩技术，分别以不同长度来查找和比对某个存储卷内的数据，压缩数据存储空间。对于重复的数据块只保留1份，以节省存储空间。

现有的分布式数据存储系统一般采用固定的数据副本（如：2或3副本），不支持数据副本数量的增加和减少。一旦系统运行后，则不再支持副本变化。其主要缺点是对于数据存储节点中存储的访问次数较少的冷数据，需要同样占用多副本存储空间，使得无法腾出较多的存储空间给数据存储节点中存储的访问次数较多的热点数据使用，造成存储空间的有效利用率较低。另外，对于数据的备份操作，需要从在线的数据存储节点上读取数据，这样会对正常业务操作产生一定影响和干扰。

综上所述，在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰。

发明内容

本发明提供了一种数据存储方法及装置，能够较好地解决在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰的问题。

一种数据存储方法，包括：在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；并指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

一种数据存储装置，包括：接收模块，用于在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；存储模块，用于根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；指示模块，用于指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

采用上述技术方案，对于数据存储操作，首先区分冷热数据，进而对冷数据进行相应的处理，这样，可以降低备份操作对在线数据存储节点的性能影响。能够较好地解决在分布式数据存储系统中，存储空间的有效利用率较低，且从在线的数据存储节点上读取数据，对正常业务操作产生一定影响和干扰的问题。

附图说明

图1为本发明实施例中，提出的一种数据存储方法流程图；

图2为本发明实施例中，提出的对存储的数据进行读操作方法流程图；

图3为本发明实施例中，提出的对存储的数据进行写操作方法流程图；

图4为本发明实施例中，提出的一种数据存储装置结构组成示意图。

具体实施方式

下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。

本发明实施例提出一种数据存储方法，如图1所示，其具体处理流程如下述：

步骤11，在分布式数据存储系统中，确定数据块中的数据是否是冷数据，如果判断结果为是，执行步骤12，反之结束处理。

在第一设定时长内，确定数据存储节点中的每个数据块的访问频率和值，并确定每个数据块的访问频率，若单个数据块的访问频率和访问频率和值的比值小于第一设定阈值时，确定所述数据块中的数据是冷数据。

本发明实施例提出的技术方案中，分布式数据存储系统中，包括至少一个数据存储节点，以及包括至少一个预备份存储节点。其中在数据存储节点中，存储有数据块（英文：Chunk）的元数据对象记录数据块副本的数量和地址信息。预备份存储节点用于存储冷数据。

其中，在每个数据存储节点中通过大规模数组记录所有数据块的读写次数。较佳地，本发明实施提出的技术方案中，可以周期性地统计所有数据存储节点上所有数据块的读写次数。对于相同数据块的不同副本，本发明实施例提出的技术方案中，累加其所有副本的读写次数。

一种较佳地实现方式，本发明实施例提出的技术方案中，对于数据存储节点中存储的访问次数高于一定比例的数据块（例如大于20%），将这部分数据块标记为热数据。而对于数据存储节点中存储的访问次数低于一定比例的数据块（例如：60%），将这部分数据块Chunk标记为冷数据。

步骤12，若确定出数据块中的数据是冷数据时，接收并备份存储冷数据。

步骤13，根据备份存储的冷数据，在确定出数据存储节点中至少有两个和冷数据相同的数据块时，保留其中一个数据存储节点中的数据块。

步骤14，指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

在上述步骤11～步骤14中，可以周期性地将冷数据复制到预备份存储节点中。预备份存储节点可以查找和比对接收到冷数据块的内容。对于相同的数据块只保留一份，并且发送指令，来使得在线的数据存储节点共享该数据块，从而达到释放存储空间和数据副本消冗的目的。

较佳地，本发明实施例提出的技术方案中，统计的周期可以设置为数小时。例如可以是3个小时，或者4个小时等等。每个统计周期之后，可以将所有数据块的读写计数下调一定比例，（例如：30%）。可以使得数据块的读写次数信息能够更准确地反映近期的数据读写负载状态。此外，本发明实施例提出的技术方案中，在对分布式存储系统中的数据进行读或写的操作过程中，仅需要额外更新数据块的引用计数或访问计数，开销小，不影响正常读写操作。

在上述步骤14指示分布式数据存储系统中的各数据存储节点共享保留的数据块之后，还包括对分布式数据存储系统中的数据进行读操作和写操作的具体处理方式，其中，对分布式数据存储系统中的数据进行读操作的具体处理流程如下述：

步骤一，接收对保留的数据块中的数据进行读操作的第一操作指令。

步骤二，在进行读操作成功之后，更新所述保留的数据块对应的访问频率。

可以增加该保留的数据块对应的读操作计数。

其中，对保留的数据块中的数据进行读操作，具体如图2所示，可以包括下述步骤：

步骤211：根据接收到的第一操作指令，确定待进行读操作的数据块。

步骤212：根据待进行读操作的数据块的逻辑地址，查找和待进行读操作的数据块副本和存储副本的数据存储节点。

其中，可以在接收到进行读操作的第一操作指令时，根据数据读操作所在的数据卷、逻辑地址偏移量和长度，计算第一操作指令对应的数据块列表。

步骤213，判断是否所有的数据块均处理完成，如果判断结果为是，执行步骤219，反之，执行步骤214。

步骤214：在查找到的存储副本的数据存储节点中，选择其中一个数据存储节点。

可以根据逻辑地址、通过平衡树结构，查找对应的数据块副本和该副本所在的数据存储节点。

步骤215：判断是否找到对应的数据副本，如果判断结果为是，执行步骤216，反之执行步骤220。

步骤216：将第一操作指令发送给选择的数据存储节点。

其中，可以根据设定的策略，选择一个存储数据副本的数据存储节点，并将第一操作指令发送给选择的数据存储将诶点。

步骤217：根据第一操作指令，对选择的数据存储节点中的副本进行读取。

根据第一操作指令，读取选择的数据存储节点中的数据。

步骤218，判断对该数据是否读取成功，如果判断结果为是，执行步骤22，在进行读操作成功之后，更新所述保留的数据块对应的访问频率。反之，执行步骤221。

步骤219：所有的数据块处理完成时，返回与第一操作指令对应的结果。

其中，所有的数据块处理完成时，返回数据读操作请求的结果。

步骤220：若没有查找到对应的数据副本时，返回数据块分配异常。

步骤221：若数据块读取失败时，返回数据块输入输出异常。

在上述步骤14指示分布式数据存储系统中的各数据存储节点共享保留的数据块之后，还包括对分布式数据存储系统中的数据进行读操作和写操作的具体处理方式，其中，对分布式数据存储系统中的数据进行写操作的具体处理如下述：

步骤一，接收对保留的数据块中的数据进行写操作的第二操作指令。

步骤二，在对所述保留的数据块进行写操作成功之后，更新保留的数据块对应的访问频率。

步骤三，在确定出所述写操作成功的数据块已进行过备份存储时，根据第二操作指令，对备份存储的数据块中的数据进行写操作后存储。

其中，对保留的数据块中的数据进行写操作，如图3所示，可以包括下述步骤：

步骤511，根据接收到的第二操作指令，确定待进行写操作的数据块。

步骤512，根据待进行写操作的数据块的逻辑地址，查找和所述待进行写操作的数据块副本和存储副本的数据存储节点。

其中，可以在接收到进行读操作的第二操作指令时，根据数据读操作所在的数据卷、逻辑地址偏移量和长度，计算第二操作指令对应的数据块列表。

步骤513，判断是否所有的数据块均处理完成，如果判断结果为是，执行步骤523，反之，执行步骤514。

步骤514，在查找到的存储副本的数据存储节点中，选择其中一个数据存储节点。

根据逻辑地址，采用平衡树结构，查找对应的数据库块副本和存储该副本的数据存储节点。

步骤515，判断是否找到与第二操作指令对应的数据块副本。如果判断结果为是，执行步骤515A，反之，执行步骤524。

步骤515A，判断该选择的数据块是否在工作缓冲区，如果判断结果为是，执行步骤516，反之，执行步骤525。

步骤516，将查找到的数据块副本按照第二操作指令进行写操作，在写操作完成后数据块副本存储到数据存储节点中。

其中，可以将对该选择的数据块进行写操作，发送给分布式数据存储节点中所有存储该数据块副本的数据存储节点。

步骤517，按照第二操作指令，对数据块进行写操作。

步骤518，判断分布式存储系统中所有相同的数据开副本的写操作是否成功，如果判断结果为是，执行步骤519，反之，执行步骤526。

步骤519，更新写操作完成后的数据块的访问频率。

其中，可以增加进行写操作的数据块的写操作技术。

进一步地，还可以包括下述步骤：

步骤520，判断数据块是否存储在预备份存储节点中，如果判断结果为是，执行步骤521，反之执行步骤527。

步骤521，该数据块存储在预备份存储节点中，以异步处理的方式将第二操作指令发送给预备份存储节点，并进行共享关系处理。

步骤522，返回数据块写操作成功。进而返回执行判断所有数据块是否处理完成的步骤。

步骤523，返回与第二操作指令对应的写操作结果。

步骤524，若未找到对应的数据副本，则为数据卷分配数据块。

步骤525，若数据块未在工作缓冲区，则可以选择若干个数据数据节点，将第二操作指令发送给选择的数据存储节点中。并继续执行步骤516。

步骤526，若数据块写操作失败时，返回数据块输入输出异常。

步骤527，通过异步的方式转发第二操作指令给预备份存储节点，进行共享关系处理。

本发明实施例提出的技术方案中，对于分布式数据存储系统中的数据，首先区分冷数据和热数据，对于冷数据的写操作，首先在数据存储节点集群中，正常写入数据的各个副本。并把请求的信息发送给分布式数据存储系统中的预备份存储节点。如果预备份存储节点自身存储有该数据块信息，则会降低该数据块的引用计数，即解除冗余数据块服务的共享。如果没有共享情况，则在预备份存储节点中直接放弃该数据块。如果预备份存储节点内没有该数据块，则可忽略该信息。

对于数据备份操作，分布式数据存储系统中的备份进程会首先在预备份存储节点中查找要备份的数据块。如果找到该数据块则会直接从预备份存储节点中读取数据块。如果没有找到该数据块则从在存储节点上读取该数据块。这样，大部分冷数据的I/O请求都会落在预备份存储节点上，从而降低备份操作对在线数据存储节点的性能影响。

相应地，本发明实施还提出一种数据存储装置，如图4所示，包括：

接收模块401，用于在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据。

存储模块402，用于根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块。

指示模块403，用于指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

可选地，所述装置还包括确定模块，用于在第一设定时长内，确定数据存储节点中的每个数据块的访问频率和值，并确定每个数据块的访问频率，若单个数据块的访问频率和所述访问频率和值的比值小于第一设定阈值时，确定所述数据块中的数据是冷数据。

可选地，所述接收模块，还用于接收对保留的数据块中的数据进行读操作的第一操作指令；所述装置还包括：更新模块，用于在进行读操作成功之后，更新所述保留的数据块对应的访问频率。

可选地，所述装置还包括：确定模块，还用于根据接收到的第一操作指令，确定待进行读操作的数据块；查找模块，用于根据所述待进行读操作的数据块的逻辑地址，查找和所述待进行读操作的数据块副本和存储所述副本的数据存储节点；选择模块，用于在查找到的存储所述副本的数据存储节点中，选择其中一个数据存储节点；发送模块，还用于将所述第一操作指令发送给选择的数据存储节点；读取模块，用于根据所述第一操作指令，对选择的数据存储节点中的副本进行读取。

可选地，所述接收模块，还用于接收对保留的数据块中的数据进行写操作的第二操作指令；所述装置还包括：更新模块，在对所述保留的数据块进行写操作成功之后，更新所述保留的数据块对应的访问频率；在确定出所述写操作成功的数据块已进行过备份存储时，根据所述第二操作指令，对备份存储的数据块中的数据进行写操作后存储。

可选地，该装置还包括：确定模块，用于根据接收到的第二操作指令，确定待进行写操作的数据块；查找模块，用于根据所述待进行写操作的数据块的逻辑地址，查找和所述待进行写操作的数据块副本和存储所述副本的数据存储节点；将查找到的数据块副本按照第二操作指令进行写操作，在写操作完成后数据块副本存储到数据存储节点中；更新模块，用于更新写操作完成后的数据块的访问频率。

采用上述技术方案，能够实现自动监测数据块级别的访问热度，动态将冷数据的副本占用降低，释放存储空间，提高存储空间的利用率。能够利用在线存储系统外的预备份存储节点上进行复杂的消冗操作，并根据结果来调整在线数据块副本的共享，减少对在线系统的影响。进而可以实现不同数据卷或相同数据卷内的不同数据块的存储资源共享，有效降低存储空间占用，提高存储空间利用率。

本领域的技术人员应明白，本发明的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、只读光盘、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种数据存储方法，其特征在于，包括：

在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；

根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；并

指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

2.如权利要求1所述的方法，其特征在于，确定数据块中的数据是冷数据，包括：

在第一设定时长内，确定数据存储节点中的每个数据块的访问频率和值，并确定每个数据块的访问频率，若单个数据块的访问频率和所述访问频率和值的比值小于第一设定阈值时，确定所述数据块中的数据是冷数据。

3.如权利要求1所述的方法，其特征在于，在指示分布式数据存储系统中的各数据存储节点共享保留的数据块之后，还包括：

接收对保留的数据块中的数据进行读操作的第一操作指令；

在进行读操作成功之后，更新所述保留的数据块对应的访问频率。

4.如权利要求3所述的方法，其特征在于，对所述保留的数据块中的数据进行读操作，包括：

根据接收到的第一操作指令，确定待进行读操作的数据块；

根据所述待进行读操作的数据块的逻辑地址，查找和所述待进行读操作的数据块副本和存储所述副本的数据存储节点；

在查找到的存储所述副本的数据存储节点中，选择其中一个数据存储节点；并

将所述第一操作指令发送给选择的数据存储节点；

根据所述第一操作指令，对选择的数据存储节点中的副本进行读取。

5.如权利要求1所述的方法，其特征在于，在指示分布式数据存储系统中的各数据存储节点共享保留的数据块之后，还包括：

在指示分布式数据存储系统中的各数据存储节点共享保留的数据块之后，还包括：

接收对保留的数据块中的数据进行写操作的第二操作指令；

在对所述保留的数据块进行写操作成功之后，更新所述保留的数据块对应的访问频率；并

在确定出所述写操作成功的数据块已进行过备份存储时，根据所述第二操作指令，对备份存储的数据块中的数据进行写操作后存储。

6.如权利要求5所述的方法，其特征在于，对所述保留的数据块中的数据进行写操作，包括：

根据接收到的第二操作指令，确定待进行写操作的数据块；

根据所述待进行写操作的数据块的逻辑地址，查找和所述待进行写操作的数据块副本和存储所述副本的数据存储节点；

将查找到的数据块副本按照第二操作指令进行写操作，在写操作完成后数据块副本存储到数据存储节点中；并

更新写操作完成后的数据块的访问频率。

7.一种数据存储装置，其特征在于，包括：

接收模块，用于在分布式数据存储系统中，若确定出数据块中的数据是冷数据时，接收并备份存储所述冷数据；

存储模块，用于根据备份存储的所述冷数据，在确定出数据存储节点中至少有两个和所述冷数据相同的数据块时，保留其中一个数据存储节点中的数据块；

指示模块，用于指示分布式数据存储系统中的各数据存储节点共享保留的数据块。

8.如权利要求7所述的装置，其特征在于，所述装置还包括确定模块，用于在第一设定时长内，确定数据存储节点中的每个数据块的访问频率和值，并确定每个数据块的访问频率，若单个数据块的访问频率和所述访问频率和值的比值小于第一设定阈值时，确定所述数据块中的数据是冷数据。

9.如权利要求7所述的装置，其特征在于，

所述接收模块，还用于接收对保留的数据块中的数据进行读操作的第一操作指令；

所述装置还包括：

更新模块，用于在进行读操作成功之后，更新所述保留的数据块对应的访问频率。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

确定模块，还用于根据接收到的第一操作指令，确定待进行读操作的数据块；

查找模块，用于根据所述待进行读操作的数据块的逻辑地址，查找和所述待进行读操作的数据块副本和存储所述副本的数据存储节点；

选择模块，用于在查找到的存储所述副本的数据存储节点中，选择其中一个数据存储节点；

发送模块，还用于将所述第一操作指令发送给选择的数据存储节点；

读取模块，用于根据所述第一操作指令，对选择的数据存储节点中的副本进行读取。

11.如权利要求7所述的装置，其特征在于，

所述接收模块，还用于接收对保留的数据块中的数据进行写操作的第二操作指令；

所述装置还包括：

更新模块，在对所述保留的数据块进行写操作成功之后，更新所述保留的数据块对应的访问频率；在确定出所述写操作成功的数据块已进行过备份存储时，根据所述第二操作指令，对备份存储的数据块中的数据进行写操作后存储。

12.如权利要求11所述的装置，其特征在于，还包括：

确定模块，用于根据接收到的第二操作指令，确定待进行写操作的数据块；

查找模块，用于根据所述待进行写操作的数据块的逻辑地址，查找和所述待进行写操作的数据块副本和存储所述副本的数据存储节点；将查找到的数据块副本按照第二操作指令进行写操作，在写操作完成后数据块副本存储到数据存储节点中；

更新模块，用于更新写操作完成后的数据块的访问频率。