CN109976947B - 一种面向混合内存的掉电恢复的方法和系统 - Google Patents

Abstract

本发明公布了一种面向混合内存的掉电恢复系统及掉电恢复方法，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢，通过数据来恢复索引，由此实现掉电恢复；混合内存包括以下模块：操作系统区、用户区、索引区、热数据区、元数据区和数据区；其中，操作系统区、用户区、索引区和热数据区存储于DRAM中；元数据区和数据区存储于NVM中。采用本发明技术方案，MemKV存储系统在满足快速地完成读写操作的同时，还满足快速且完整地完成掉电恢复，即能够同时满足高性能和高可靠性。

Description

一种面向混合内存的掉电恢复的方法和系统

技术领域

本发明涉及大数据技术领域，具体涉及一种面向混合内存的掉电恢复的方法和系统。

背景技术

随着大数据时代的到来，以Redis、Aerospike为代表的内存键值存储系统(Memorybased Key Value Storage system，简称MemKV)迎来了飞速的发展。MemKV为了获得极高的读写性能，将数据和索引全部存储在内存中，但由于传统的DRAM(Dynamic Random AccessMemory，动态随机存取存储器)内存是掉电易失的，MemKV的可靠性难以保证，不论是主动关机的掉电、还是意外灾难的掉电(以下统称掉电)，都会导致DRAM内存中的数据和索引全部丢失。

为了在高性能和高可靠之间取得平衡，现有的MemKV持久化技术主要有两种：其一是通过快照备份的方法，定期将DRAM内存中的数据和索引拷贝到外存，在掉电后，将外存中的数据和索引拷贝回到DRAM内存即完成恢复(恢复和重构为同义词)，其优点是恢复的过程简单，恢复速度很快，但是缺点在于快照备份耗时较长、影响正常读写操作，并且发生在快照备份之后、掉电之前的写入数据会丢失；其二是通过外存中的日志记录所有写操作，在掉电后，通过日志回放即完成恢复，虽然这种技术能恢复全部的数据和索引，但是恢复速度太慢，并且日志记录严重影响了正常读写操作的性能。正是由于上述缺陷，MemKV无法同时满足高性能和高可靠，只能让用户在高性能和高可靠之间权衡选择——要么放弃高可靠(不做持久化)，要么放弃高性能(做持久化)。

近年来，以PCM、3Dxpoint、STTRAM为代表的非易失性内存(Non-Volatile Memory，简称NVM)的问世，给MemKV持久化技术提供了全新的解决思路。一种直观的方法是采用NVM直接替代传统DRAM内存，将数据和索引全部存储在NVM中，但是与DRAM相比，NVM的成本太高，这种方法不切实际，并且现有的DRAM全部放弃不用，也是一种巨大的浪费。

综上，采用现有的快照备份技术，一旦掉电则索引和数据丢失，以备份来恢复索引和数据。采用日志记录技术，一旦掉电则索引和数据丢失，以日志来恢复索引和数据。而非易失性内存成本高，难以实际应用。因此，现有的MemKV持久化技术难以同时支持高性能(能够快速地完成读写操作)和高可靠性(能够快速且完整地完成掉电恢复)，使得MemKV技术的发展受到限制。

发明内容

为了克服上述现有技术的不足，本发明提供一种面向混合内存的掉电恢复系统及方法，是一种面向内存键值存储系统(MemKV)的持久化技术，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢，进而通过数据来恢复索引，在满足快速地完成读写操作的同时，还满足能够快速且完整地完成掉电恢复，即能够同时满足MemKV存储系统的高性能和高可靠性。

本发明提供的技术方案是：

一种面向混合内存的掉电恢复系统，由NVM和DRAM构成的混合内存包括以下模块：操作系统区、用户区、索引区、热数据区、元数据区和数据区；其中，操作系统区、用户区、索引区和热数据区置于(存储于)DRAM中；元数据区和数据区置于(存储于)NVM中；

所述元数据区为轻量级存储区域，用于在DRAM内容丢失的情况下，能够快速地将DRAM中的热数据区和索引区恢复出来；并记录操作时间，从而实现将系统恢复至任意指定时间的状态(时间的精度包括但不限于：日、小时、分钟、秒钟、毫秒等)；所述热数据区可支持多种恢复级别(根据长期的工程实践经验设置)；

具体地：

模块1：操作系统区。用于系统启动时将操作系统加载至内存中的预留区域。

模块2：用户区。用于操作系统的若干用户在内存中申请和释放内存资源。

模块3：索引区。索引的数据结构包括但不限于B+树索引、哈希索引。不论采用何种索引结构，都不影响本发明的掉电恢复。

模块4：热数据区。用于存储热数据(即最近被读取访问的数据)，其来源于NVM上的数据区，用于再次读取访问的快速完成。热数据区按序存储数据、循环覆盖。由于热数据区的空间有限，只有最近被访问的数据才是当前的热数据，在热数据区被写满之后，从热数据区的首部继续写入新的热数据，原来的数据则被覆盖，如此往复。

在恢复时，热数据区支持4种恢复级别：第一恢复级别(完全恢复)、第二恢复级别(快速恢复)、第三恢复级别(模糊恢复)、第四恢复级别(惰性恢复)。第一恢复级别是指逆序遍历模块5中的元数据区，依据元数据区记录的数据地址，将模块6数据区的数据逐个拷贝至热数据区，直至热数据区填满。第二恢复级别是指将模块5元数据区中的最后一个条目中的地址在模块6数据区中的相应数据拷贝至热数据区。第三恢复级别是以模块5元数据区中的最后一个条目中的地址为中心，在模块6数据区中将与热数据区同等尺寸的数据拷贝至热数据区。第四恢复级别是不对热数据区进行恢复，待系统运行过程中自然地产生热数据。自然产生的热数据来自于：在系统恢复后，用户对数据的读写访问。用户新产生的热数据存储在数据区。本发明的惰性恢复是指不恢复系统崩溃之前的热数据，而是让用户在使用过程中产生新的热数据。

模块5：元数据区。用于断电恢复，以条目的形式按序记录每一个文件的元数据，包括但不限于：起始地址、偏移长度、文件编号、操作时间等。当热数据区恢复数据时，通过元数据区的条目记录的元数据访问数据区的数据；

模块6：数据区。用于存储文件数据。主要支持4种文件操作：增、删、查、改。

增操作(写入一个文件)：首先将文件内容写入数据区，然后在元数据区记录一个条目，最后根据索引的数据结构类别将文件编号和地址的对应关系添加进入索引区。

查操作(读取一个文件)：首先在热数据区查找该文件数据，如果存在则直接读取，如果不存在则根据文件编号，在索引区查找该文件的地址，最后在数据区的相应地址读取该文件的内容。

删操作(删除一个文件)：首先在索引区查找该文件的地址，其次在数据区中将该地址的内容删掉，再次在元数据区中删除相应条目，再次在索引区删除该文件的文件编号和地址，最后在热数据区检查该文件是否存在，如果存在则删除。

改操作(先删除一个文件、再写入一个文件)：是上述操作的组合。

利用上述面向混合内存的掉电恢复系统，本发明还提供一种面向混合内存的掉电恢复方法，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢失，进而通过数据来恢复索引；包括以下步骤：

步骤1：触发恢复；触发包括用户主动触发和系统自动触发；

触发条件包括但不限于：用户主动触发、正常启动机器时自动触发、异常断电后启动机器是时自动触发。用户选择期望恢复的时间节点time和恢复级别x。

步骤2：恢复操作系统区。系统重启，索引区和热数据区的内容全部丢失，操作系统被自动加载至操作系统区。

步骤3：恢复元数据和数据区。顺序读取元数据区中的每一个条目，将操作时间晚于time的所有M条元数据及其在数据区中的数据全部删除。元数据区中剩余L条元数据。

步骤4：恢复索引区。由前至后顺序读取元数据区中的L条元数据，根据索引区的数据结构，将索引恢复。

步骤5：恢复热数据区。根据恢复级别x，对热数据区进行恢复。恢复方法详见模块4热数据区的不同级别恢复方式。

步骤6：恢复结束。系统移交给用户操作。

与现有技术相比，本发明的有益效果是：

采用本发明技术方案，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢，进而通过数据来恢复索引，能够同时支持高性能(能够快速地完成读写操作)和高可靠(能够快速且完整地完成掉电恢复)。

附图说明

图1为本发明系统组成模块的结构示意图。

图2为本发明提供的掉电恢复方法的流程框图。

图3为实施例1、2、3、4中NVM在掉电后的状态示意图。

图4为实施例1中热数据区的恢复示意图。

图5为实施例1中索引区的恢复示意图。

图6为实施例2中热数据区的恢复示意图。

图7为实施例2中索引区的恢复示意图。

图8为实施例3中热数据区的恢复示意图。

图9为实施例3中索引区的恢复示意图。

图10为实施例4中热数据区的恢复示意图。

图11为实施例4中索引区的恢复示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种面向混合内存的掉电恢复系统及方法，是一种面向内存键值存储系统(MemKV)的持久化技术，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢，进而通过数据来恢复索引。

以下通过技术方案的4个实施例做进一步详细描述。4个实施用例的共同场景：内存键值存储系统为某品牌商业存储系统。DRAM为3条金士顿32GB内存，NVM为1条英特尔128GB内存。操作系统区占用16GB的DRAM，用户区占用48GB的DRAM，热数据区占用18GB的DRAM，索引区占用14GB的DRAM，元数据区占用16GB的NVM，数据区占用112GB的NVM。元数据区每个条目包括：起始地址offset、偏移长度length、文件编号fileid、操作时间ctime。在掉电后，DRAM中存储的内容全部丢失，NVM中存储的内容全部保留。掉电恢复的过程，即为DRAM中索引和热数据的恢复过程。NVM在掉电后的状态如图3所示。

4个实施用例的情况如下表：

用例序号	索引方式	恢复级别	恢复的时间节点
				实施用例1	B+树索引	第一恢复级别	掉电时间
实施用例2	B+树索引	第二恢复级别	用户指定时间
				实施用例3	哈希索引	第三恢复级别	掉电时间
实施用例4	哈希索引	第四恢复级别	用户指定时间

实施用例1

在本实施用例中，索引采用B+树的结构来组织，所有的叶子节点和非叶子节点都是有序的，所有文件的编号及其地址存放在叶子节点中。系统默认恢复的时间节点为掉电时间。系统默认的恢复级别为第一恢复级别。

恢复流程如下：

(1)系统因异常断电而丢失DRAM中的所有内容。

(2)通电后，用户开机，操作系统被自动加载。

(3)由于恢复的时间节点为掉电时间，因此元数据区所有的条目被保留。

(4)顺序读取元数据区中的13条元数据，根据B+树索引的生成规则(本领域的公知常识)，重建索引区，恢复后的索引区如图5所示。

(5)恢复热数据区。

(5.1)读取第13条元数据，将NVM中起始地址为57GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.2)读取第12条元数据，将NVM中起始地址为56GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.3)读取第11条元数据，将NVM中起始地址为27GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.4)读取第10条元数据，将NVM中起始地址为84GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.5)读取第9条元数据，将NVM中起始地址为39GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.6)读取第8条元数据，将NVM中起始地址为58GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.7)读取第7条元数据，将NVM中起始地址为71GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.8)读取第6条元数据，将NVM中起始地址为36GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.9)读取第5条元数据，将NVM中起始地址为59GB，尺寸为10GB的数据拷贝至DRAM内存的热数据区。

(5.10)至此，热数据区已填满，热数据区恢复结束。图4数据区中的红色数据为被拷贝至热数据区的数据。

(6)本次恢复结束。

实施用例2

在本实施用例中，索引采用B+树的结构来组织，所有的叶子节点和非叶子节点都是有序的，所有文件的编号及其地址存放在叶子节点中。用户指定的恢复的时间节点为2018年12月10日。用户指定的恢复级别为第二恢复级别。

恢复流程如下：

(1)用户主动触发系统恢复，系统立即重启。

(2)随即，DRAM的全部丢失，操作系统被自动加载。

(3)元数据区第1-6条目被保留，第7-13条目被删除，第7-13条目在数据区中数据被删除。

(4)顺序读取元数据区中剩余的6条元数据，根据B+树索引的生成规则(本领域的公知常识)，重建索引区，恢复后的索引区如图7所示。

(5)恢复热数据区。

(5.1)读取第6条元数据，将NVM中起始地址为36GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.2)至此，热数据区恢复结束。图6数据区中的红色数据为被拷贝至热数据区的数据。

(6)本次恢复结束。

实施用例3

在本实施用例中，索引采用哈希结构来组织，所有文件的编号及其地址存放在指定的哈希桶中，哈希算法为除7求余数。系统默认恢复的时间节点为掉电时间。系统默认的恢复级别为第三恢复级别。

恢复流程如下：

(1)系统因异常断电而丢失DRAM中的所有内容。

(2)通电后，用户开机，操作系统被自动加载。

(3)由于恢复的时间节点为掉电时间，因此元数据区所有的条目被保留。

(4)顺序读取元数据区中的13条元数据，根据哈希索引的生成规则(本领域的公知常识)和用户指定的哈希算法，重建索引区，恢复后的索引区如图9所示。

(5)恢复热数据区。

(5.1)读取第13条元数据，将NVM中起始地址为57GB，尺寸为1GB的数据拷贝至DRAM内存的热数据区。

(5.2)以NVM中地址为57GB为中心，将前后的18GB数据均拷贝至DRAM内存的热数据区，具体包括：起始地址为56GB，尺寸为1GB的数据；起始地址为58GB，尺寸为1GB的数据；起始地址为49GB，尺寸为10GB的数据；起始地址为49GB，尺寸为5GB的数据。

(5.3)至此，热数据区恢复结束。图8数据区中的红色数据为被拷贝至热数据区的数据。

(6)本次恢复结束。

实施用例4

在本实施用例中，索引采用哈希结构来组织，所有文件的编号及其地址存放在指定的哈希桶中，哈希算法为除7求余数。用户指定的恢复的时间节点为2018年12月10日。用户指定的恢复级别为第四恢复级别。

恢复流程如下：

(1)用户主动触发系统恢复，系统立即重启。

(2)随即，DRAM的全部丢失，操作系统被自动加载。

(3)元数据区第1-6条目被保留，第7-13条目被删除，第7-13条目在数据区中数据被删除。

(4)顺序读取元数据区中剩余的6条元数据，根据哈希索引的生成规则(本领域的公知常识)和用户指定的哈希算法，重建索引区，恢复后的索引区如图11所示。

(5)不恢复热数据区，如图10所示，无红色数据。

(6)本次恢复结束。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种利用混合内存的掉电恢复系统，其特征是，系统内存采用由非易失性内存NVM和DRAM内存构成的混合内存；所述混合内存包括以下模块：操作系统区、用户区、索引区、热数据区、元数据区和数据区；其中，操作系统区、用户区、索引区和热数据区存储于DRAM中；元数据区和数据区存储于NVM中；

所述元数据区为轻量级存储区域，用于在DRAM内容丢失的情况下，快速地将DRAM中的热数据区和索引区恢复出来；并记录操作时间；从而实现将系统恢复至任意指定时间的状态；

所述操作系统区用于系统启动时将操作系统加载至系统内存中的预留区域；

所述用户区用于操作系统用户在内存中申请和释放内存资源；

所述索引区的索引数据结构包括B+树索引、哈希索引；

所述热数据区用于存储热数据，以便再次读取访问的快速完成；所述热数据指最近被读取访问的数据，来自存储于NVM中的数据区；热数据区按序存储数据并循环覆盖，即在热数据区被写满之后，从热数据区的首部继续写入新的热数据，原来的数据则被覆盖；

所述热数据区支持多种恢复级别，包括：完全恢复、快速恢复、模糊恢复和惰性恢复；即可采用不同级别的恢复方式将数据区的数据拷贝至热数据区；

所述元数据区用于热数据区断电恢复数据，采用条目的形式按序记录每一个文件的元数据；当热数据区恢复数据时，通过元数据区的条目记录的元数据访问数据区的数据；

所述数据区用于存储文件数据，并支持多种文件操作。

2.如权利要求1所述的利用混合内存的掉电恢复系统，其特征是，所述元数据区记录操作时间的精度包括：日、小时、分钟、秒钟、毫秒。

3.如权利要求1所述的利用混合内存的掉电恢复系统，其特征是，所述热数据区中的完全恢复的恢复级别，具体是逆序遍历元数据区，根据元数据区记录的数据地址，将数据区的相应数据逐个拷贝至热数据区，直至热数据区填满；

热数据区中的快速恢复的恢复级别，具体是将元数据区中的最后一个条目记录的地址指向的数据区中的相应数据拷贝至热数据区；

热数据区中的模糊恢复的恢复级别，具体是以元数据区中的最后一个条目记录的地址为中心，在数据区中将与热数据区同等尺寸的数据拷贝至热数据区；

热数据区中的惰性恢复的恢复级别，不对热数据区进行恢复。

4.如权利要求1所述的利用混合内存的掉电恢复系统，其特征是，所述元数据区记录文件的元数据，包括：文件起始地址、文件偏移长度、文件编号、文件操作时间。

5.如权利要求1所述的利用混合内存的掉电恢复系统，其特征是，所述数据区支持的文件操作包括：增操作、查操作、删操作、改操作。

6.如权利要求5所述的利用混合内存的掉电恢复系统，其特征是，增操作即写入一个文件，具体是：首先将文件内容写入数据区；然后在元数据区记录一个条目；最后根据索引的数据结构类别，将文件编号和地址的对应关系添加到索引区；

查操作即读取一个文件，具体是：首先在热数据区查找该文件数据；如果存在则直接读取；如果不存在则根据文件编号，在索引区查找该文件的地址；最后在数据区的相应地址读取该文件的内容；

删操作即删除一个文件，具体是：首先在索引区查找该文件的地址，其次在数据区中将该地址的内容删掉，再次在元数据区中删除相应条目，之后在索引区删除该文件的文件编号和地址，最后在热数据区检查该文件是否存在，如果存在则删除；

改操作即先删除一个文件、再写入一个文件。

7.一种利用混合内存的掉电恢复方法，其特征是，将MemKV存储系统的数据和索引存储于NVM和DRAM构成的混合内存，当掉电时，索引丢失，但数据不丢，通过数据来恢复索引，由此实现掉电恢复；混合内存包括以下模块：操作系统区、用户区、索引区、热数据区、元数据区和数据区；其中，操作系统区、用户区、索引区和热数据区存储于DRAM中；元数据区和数据区存储于NVM中；

掉电恢复方法包括以下步骤：

步骤1：触发恢复；触发包括用户主动触发和系统自动触发；设定数据恢复的时间节点为time，恢复级别为x；

步骤2：恢复操作系统区，过程包括：系统重启，索引区和热数据区的内容全部丢失，操作系统被自动加载至操作系统区；

步骤3：恢复元数据和数据区；包括如下过程：

顺序读取元数据区中的每一个条目，将操作时间晚于time的所有元数据及其在数据区中相应的数据全部删除；删除的数据条目数量记为M；元数据区中剩余元数据的条目数量记为L；

步骤4：恢复索引区：由前至后顺序读取元数据区中的L条元数据，根据索引区的数据结构，将索引恢复；

步骤5：恢复热数据区：根据恢复级别x，对热数据区进行恢复，即采用恢复级别x的恢复方式将数据区的数据拷贝至热数据区；恢复级别x为完全恢复、快速恢复、模糊恢复或惰性恢复；

步骤6：恢复结束，系统移交给用户操作。

8.如权利要求7所述的利用混合内存的掉电恢复方法，其特征是，恢复级别为完全恢复的恢复方式，具体是逆序遍历元数据区，根据元数据区记录的数据地址，将数据区的相应数据逐个拷贝至热数据区，直至热数据区填满；

恢复级别为快速恢复的恢复方式，具体是将元数据区中的最后一个条目记录的地址指向的数据区中的相应数据拷贝至热数据区；

恢复级别为模糊恢复的恢复方式，具体是以元数据区中的最后一个条目记录的地址为中心，在数据区中将与热数据区同等尺寸的数据拷贝至热数据区；

恢复级别为惰性恢复的恢复方式是不对热数据区进行恢复。

9.如权利要求7所述的利用混合内存的掉电恢复方法，其特征是，步骤1所述触发包括：用户主动触发、正常启动机器时自动触发、异常断电后启动机器时自动触发。

Images