CN116225327A - 一种数据存储系统及方法 - Google Patents

Abstract

本发明公开了一种数据存储系统及方法，所述系统包括：应用模块、异构文件模块和ZNS存储模块，所述ZNS存储模块设置若干个隔离区域；所述异构文件模块用于接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；所述ZNS存储模块用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。本发明能够在存储模块划分多个隔离区域，并支持用户发出指令对隔离区域进行相应配置以适应不同用户的需求，在隔离区域内部还进一步分离了顺序写数据和随机写数据，从而增强了数据读写性能、提高了数据存储的空间利用率以及实现良好的系统满载持续性能。

Description

一种数据存储系统及方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据存储系统及方法。

背景技术

在现有技术中，针对ZNS(zoned namespace，分区命名空间)设备的数据存储方案一般是F2FS或BTRFS文件系统。其中，F2FS是针对闪存特性进行了优化设计的文件系统，采用日志化的写入模式，符合ZNS的顺序写约束，调整了映射规则，使得逻辑粒度与物理粒度对齐；而基于写时复制的BTRFS则在原有的架构基础上，引入了“日志超级块”的概念，解决了超级块的就地更新问题，因此得以支持ZNS设备。

但是，现有技术中在多租户场景下无法实现数据隔离存储策略，并且产生冗余的元数据开销。

发明内容

为了解决上述技术问题，本发明实施例提出了一种数据存储系统及方法，能够提升读写性能、提高存储空间利用率且在满载时拥有更好的持续性能表现。

为了实现上述目的，本发明实施例提供了一种数据存储系统，包括应用模块、异构文件模块和ZNS存储模块，所述ZNS存储模块设置若干个隔离区域；

所述异构文件模块用于接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；

所述ZNS存储模块用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

进一步的，所述写请求信息包括顺序写请求信息、随机写请求信息或混合请求信息，所述存储空间配置信息包括顺序配置信息、常规配置信息或混合配置信息；则，所述异构文件模块用于接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息，具体包括：当所述写请求信息为所述顺序写请求信息时，向所述ZNS存储模块发送所述顺序配置信息；当所述写请求信息为所述随机写请求信息时，向所述ZNS存储模块发送所述常规配置信息；当所述写请求信息为所述混合请求信息时，向所述ZNS存储模块发送所述混合配置信息。

进一步的，所述隔离区域包括第一隔离区域和第二隔离区域；则，所述ZNS存储模块用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类，具体包括：根据所述顺序配置信息，将每一隔离区域的数据分区种类均配置为顺序分区类型；或，根据所述常规配置信息，将每一隔离区域的数据分区种类均配置为常规分区类型；或，根据所述混合配置信息，将所述第一隔离区域的数据分区种类配置为顺序分区类型，并将所述第二隔离区域的数据分区种类配置为常规分区类型。

进一步的，所述异构文件模块包括超级分区单元、目录分区单元和数据分区单元；所述超级分区单元用于存储设备信息、隔离区域信息、目录地址信息和一致性检查点信息；所述目录分区单元用于存储目录节点信息和目录数据。

进一步的，所述超级分区单元设置有分区管理器；所述分区管理器用于存储分区组信息、分区描述符信息、分区链表信息和分区地址表信息。

进一步的，所述数据分区单元包括常规数据分区和顺序数据分区；其中，所述常规数据分区设置屏蔽底层映射机制，所述顺序数据分区设置顺序索引映射机制。

进一步的，所述异构文件模块设置有文件异构管理机制。

进一步的，所述文件异构管理机制包括顺序写文件异构管理机制和随机写文件异构管理机制。

进一步的，所述数据存储系统设置有垃圾数据回收机制。

本发明实施例还提供了一种数据存储方法，应用于上述任一项所述的数据存储系统，包括如下步骤：

所述异构文件模块接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；

所述ZNS存储模块根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

综上，本发明具有以下有益效果：

在存储模块划分了多个隔离区域，并支持用户发出指令对隔离区域进行相应配置以适应不同用户的需求，在隔离区域内部还进一步分离了顺序写数据和随机写数据，此外还配置了垃圾数据回收机制，从而增强了在多用户场景下的数据读写性能、提高了数据存储的空间利用率以及实现良好的系统满载持续性能。

附图说明

图1是本发明提供的一种数据存储系统的一个实施例的结构示意图；

图2是本发明提供的一种数据存储方法的一个实施例的流程示意图；

图3是本发明提供的一种数据存储系统的一个实施例的数据交互示意图；

图4是本发明提供的一种数据存储系统的一个实施例的顺序写文件异构管理机制示意图；

图5是本发明提供的一种数据存储系统的一个实施例的随机写文件异构管理机制示意图；

图6是本发明提供的一种数据存储系统的另一个实施例的随机写文件异构管理机制示意图；

图7是本发明提供的一种数据存储系统的另一个实施例的随机写文件异构管理机制示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的数据存储系统的一个实施例的流程示意图，该系统102包括应用模块201、异构文件模块202和ZNS存储模块203，所述ZNS存储模块203设置若干个隔离区域；

所述异构文件模块202用于接收所述应用模块201发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块203发送存储空间配置信息；

优选地，所述异构文件模块202包括超级分区单元、目录分区单元和数据分区单元；所述超级分区单元用于存储设备信息、隔离区域信息、目录地址信息和一致性检查点信息；所述目录分区单元用于存储目录节点信息和目录数据。

优选地，所述超级分区单元设置有分区管理器；所述分区管理器用于存储分区组信息、分区描述符信息、分区链表信息和分区地址表信息。

优选地，所述数据分区单元包括常规数据分区和顺序数据分区；其中，所述常规数据分区设置屏蔽底层映射机制，所述顺序数据分区设置顺序索引映射机制。

示例性的，异构文件模块的整体架构具体如下：分区(zone)是最小的空间管理单元。异构文件模块的分区与ZNS设备的“zone”严格对齐。依据分区存储的内容，异构文件模块的分区定义为三种类型：

1)超级分区(super zone)。存储通用的设备信息、分区管理器、隔离区域信息、目录地址以及一致性检查点。超级分区包含了两个超级块备份，一旦发生崩溃，系统能及时从另一个超级块中恢复到更新前的状态。

2)目录分区(directory zone)。目录相关的节点和数据集中存放在目录分区，与文件分离存储一方面可以加快挂载速度，不需要通过扫描全盘构建文件树。另一方面可以加快目录查找和更新，目录是需要频繁更新的内容，在内存中更新，可以合并修改，定期更新，减少递归更新对性能的影响。

3)数据分区(data zone)。数据分区有两种：常规(conventional，CNV)类型和顺序(sequential，SEQ)类型。常规数据分区通过映射机制屏蔽了底层介质的写入顺序，因此像常规块设备一样支持随机写和顺序写，而顺序数据分区为了兼顾性能和开销，简化了映射规则，只提供顺序索引，因此只支持顺序写。

示例性的，每个隔离区域都有对应的分区管理器，分区管理器内部包含了两个不同的处理流程，分别处理发送到SEQ分区和CNV分区的请求。当请求被分发至隔离区域后，分区管理器会根据路径选择某一流程进行调度，并与文件接口、设备接口交互。参见图3，分区管理器主要包含以下内容：

定义1.分区组信息(zone group information)。分区组记录了同一类型数据分区的调度信息，如序号范围、当前访问点，以及分区链表索引等。

定义2.分区描述符(zone descripter)。分区描述符是分区的唯一标识，记录了分区的状态、顺序写入点，以及包含的文件数量和有效块数量。分区状态有四种：空白(empty)、写满(full)、显示打开(explicitly opened)、隐式打开(implicitly opened)，其中显示打开代表分区可正常写入，隐式打开代表分区正在进行回收写入，需要等待清理过程结束，分区转为显示打开状态后才能正常写入。

定义3.分区链表(zone list)。分区链表有两种：已分配链表和空闲链表。已分配链表管理full分区或open分区。空闲链表管理empty分区，对于SEQ分区，链表采取轮转分配分配，分配与回收发生在链表头尾。对于CNV分区，需要基于选择策略确定待分配与回收的分区。不同分区组的链表管理差异是由索引机制和文件特性决定的：SEQ分区基于顺序索引，文件的修改频率较低，采用轮转的方式可以提高效率并节约开销。CNV分区采用较灵活的映射机制，存放的文件修改频率较高，分区状态和有效块数量一直处在动态变化中，因此需要更复杂的选择排序策略。

定义4.分区地址表(zone address table，ZAT)。ZAT的本质是数组，数组长度等于CNV分区数量，分区序号就是数组偏移，数组内存放了与分区对应的分区节点(Znode)的内存地址，Znode作为ZAT和已分配链表的中间节点，其作用是记录分区的回收顺序，维护分区的分配顺序。由于链表的随机查找效率低，通过ZAT和Znode可以更灵活高效地访问分区链表，同时提高垃圾回收效率。

当文件即将存入“SEQ”目录或“CNV”目录时，分区管理器会先检查已分配链表，如果链表尾部正在使用的分区尚未写满，就顺序分配文件所请求的空间，并通过文件接口返回空间的首地址。如果当前分区剩余空间不足，就启动回收程序，回收结束后再次分配。

优选地，所述写请求信息包括顺序写请求信息、随机写请求信息或混合请求信息，所述存储空间配置信息包括顺序配置信息、常规配置信息或混合配置信息；则，所述异构文件模块202用于接收所述应用模块201发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块203发送存储空间配置信息，具体包括：当所述写请求信息为所述顺序写请求信息时，向所述ZNS存储模块203发送所述顺序配置信息；当所述写请求信息为所述随机写请求信息时，向所述ZNS存储模块203发送所述常规配置信息；当所述写请求信息为所述混合请求信息时，向所述ZNS存储模块203发送所述混合配置信息。

示例性的，异构文件模块为每个租户划分了隔离区域(isolate area)，租户可以配置隔离区域内的数据分区的种类和数量：

1)若租户仅发出顺序写请求，则将当前隔离区域内的所有数据分区当作SEQ(sequential，顺序)类型使用，只存放顺序写的文件。针对日志式更新场景，为租户争取更大的性能增益和更低的系统开销。

2)若租户仅发出随机写请求，则将当前隔离区域内的所有数据分区当作CNV(conventional，常规)类型使用，可以接收随机写文件，针对频繁的文件修改场景，该设置能向租户提供更大的可覆盖逻辑空间，简化应用程序的修改。

3)若租户发出顺序写和随机写的混合请求，则可以自行配置SEQ类型和CNV类型的分区数量，允许租户实现更大限度的数据分离。

优选地，所述异构文件模块202设置有文件异构管理机制。

优选地，所述文件异构管理机制包括顺序写文件异构管理机制和随机写文件异构管理机制。

示例性的，为了降低上层应用的迁移成本，异构文件模块保留了基于inode、dentry的文件异构管理机制，通过文件映射向上层应用屏蔽了底层设备的写入顺序。文件结构由inode块和数据块组成，inode包含了文件的元数据、内联数据(inline data)以及extent索引。extent记录了连续数据块的起点和偏移。但是作为端到端的文件系统，异构文件模块在软硬件协作方面拥有更大的自由度，在设计映射机制时，应尽量减少占用主机端的内存与CPU资源，比如对于底层支持顺序写的应用，提供过于复杂的映射机制会导致性能过剩和资源浪费，对于底层不支持顺序写的应用，又必须提供具有鲁棒性的映射机制，以应对不同应用架构的文件修改方式。因此，在实现数据隔离的基础上，异构文件模块针对顺序写文件和随机写文件分别设计了异构管理机制：(1)顺序写文件存储在SEQ分区，其支持文件的顺序写入和追加写入。基于此设计了基于extent的顺序索引结构，参见图4,每次追加写入会在索引尾部新增一个指向数据段的extent结构。(2)随机写文件存储在CNV分区，通过extent链表的动态变化处理文件的随机更新。被覆盖写的位置会生成无效数据块，异构文件模块并不标记无效数据块，只通过修改链表记录更新后的有效数据。具体操作参见图5：如果覆盖区域涉及多个extent，那么完全失效的extent将直接从索引链表中移除，释放相关的内存结构，起点和终点所在的extent，通过修改extent的起点和长度可以将失效的数据块直接抛弃。如果文件修改范围在某个extent内部，参见图6，extent被分割成不连续的数据段，则分别对剩余有效数据段重新建立extent索引。

所述ZNS存储模块203用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

优选地，所述隔离区域包括第一隔离区域和第二隔离区域；则，所述ZNS存储模块203用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类，具体包括：根据所述顺序配置信息，将每一隔离区域的数据分区种类均配置为顺序分区类型；或，根据所述常规配置信息，将每一隔离区域的数据分区种类均配置为常规分区类型；或，根据所述混合配置信息，将所述第一隔离区域的数据分区种类配置为顺序分区类型，并将所述第二隔离区域的数据分区种类配置为常规分区类型。

优选地，所述数据存储系统102设置有垃圾数据回收机制。

示例性的，在垃圾回收或索引空间不足时，会发生extent合并，参见图7，待回收的分区在数据迁移过程中，间接实现了碎片整理、空间整合，并重新释放了索引结构。文件的每次更新都会修改元数据，对于频繁修改的文件，设置了基于LRU策略的inode缓存，通过缓存累计元数据更新，提高了文件更新效率。此外，缓存会定期写回热点数据的inode块，作为数据恢复、垃圾回收的校验节点。

参见图2，是本发明提供的数据存储方法的一个实施例的流程示意图，该方法包括步骤S1至S2，具体如下：

S1，所述异构文件模块接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；

S2，所述ZNS存储模块根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

综上，本发明具有以下有益效果：

在存储模块划分了多个隔离区域，并支持用户发出指令对隔离区域进行相应配置以适应不同用户的需求，在隔离区域内部还进一步分离了顺序写数据和随机写数据，此外还配置了垃圾数据回收机制，从而增强了在多用户场景下的数据读写性能、提高了数据存储的空间利用率以及实现良好的系统满载持续性能。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种数据存储系统，其特征在于，包括应用模块、异构文件模块和ZNS存储模块，所述ZNS存储模块设置若干个隔离区域；

所述异构文件模块用于接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；

所述ZNS存储模块用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

2.如权利要求1所述的数据存储系统，其特征在于，所述写请求信息包括顺序写请求信息、随机写请求信息或混合请求信息，所述存储空间配置信息包括顺序配置信息、常规配置信息或混合配置信息；

则，所述异构文件模块用于接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息，具体包括：

当所述写请求信息为所述顺序写请求信息时，向所述ZNS存储模块发送所述顺序配置信息；

当所述写请求信息为所述随机写请求信息时，向所述ZNS存储模块发送所述常规配置信息；

当所述写请求信息为所述混合请求信息时，向所述ZNS存储模块发送所述混合配置信息。

3.如权利要求2所述的数据存储系统，其特征在于，所述隔离区域包括第一隔离区域和第二隔离区域；

则，所述ZNS存储模块用于根据所述存储空间配置信息，配置每一隔离区域的数据分区种类，具体包括：

根据所述顺序配置信息，将每一隔离区域的数据分区种类均配置为顺序分区类型；

或，

根据所述常规配置信息，将每一隔离区域的数据分区种类均配置为常规分区类型；

或，

根据所述混合配置信息，将所述第一隔离区域的数据分区种类配置为顺序分区类型，并将所述第二隔离区域的数据分区种类配置为常规分区类型。

4.如权利要求1所述的数据存储系统，其特征在于，所述异构文件模块包括超级分区单元、目录分区单元和数据分区单元；

所述超级分区单元用于存储设备信息、隔离区域信息、目录地址信息和一致性检查点信息；

所述目录分区单元用于存储目录节点信息和目录数据。

5.如权利要求4所述的数据存储系统，其特征在于，所述超级分区单元设置有分区管理器；

所述分区管理器用于存储分区组信息、分区描述符信息、分区链表信息和分区地址表信息。

6.如权利要求4所述的数据存储系统，其特征在于，所述数据分区单元包括常规数据分区和顺序数据分区；其中，所述常规数据分区设置屏蔽底层映射机制，所述顺序数据分区设置顺序索引映射机制。

7.如权利要求1所述的数据存储系统，其特征在于，所述异构文件模块设置有文件异构管理机制。

8.如权利要求7所述的数据存储系统，其特征在于，所述文件异构管理机制包括顺序写文件异构管理机制和随机写文件异构管理机制。

9.如权利要求1所述的数据存储系统，其特征在于，所述数据存储系统设置有垃圾数据回收机制。

10.一种数据存储方法，应用于如权利要求1至9任一项所述的数据存储系统，其特征在于，包括如下步骤：

所述异构文件模块接收所述应用模块发送的用户指令信息，解析所述用户指令信息得到写请求信息，并根据所述写请求信息向所述ZNS存储模块发送存储空间配置信息；

所述ZNS存储模块根据所述存储空间配置信息，配置每一隔离区域的数据分区种类。

Images