CN103403679A - 易失性存储设备持久化过程中的数据更新方法及装置 - Google Patents

易失性存储设备持久化过程中的数据更新方法及装置 Download PDF

Info

Publication number
CN103403679A
CN103403679A CN2011800036277A CN201180003627A CN103403679A CN 103403679 A CN103403679 A CN 103403679A CN 2011800036277 A CN2011800036277 A CN 2011800036277A CN 201180003627 A CN201180003627 A CN 201180003627A CN 103403679 A CN103403679 A CN 103403679A
Authority
CN
China
Prior art keywords
data
persistence
volatile storage
data block
storage devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800036277A
Other languages
English (en)
Other versions
CN103403679B (zh
Inventor
岳银亮
张敬亮
王凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN103403679A publication Critical patent/CN103403679A/zh
Application granted granted Critical
Publication of CN103403679B publication Critical patent/CN103403679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种易失性存储设备持久化过程中的数据更新方法及装置。该方法包括：将易失性存储设备中快照数据周期性持久化到非易失性存储设备过程中，接收更新快照数据块中数据的写请求；将新数据写入所述快照数据块，并在日志文件中记录所述快照数据块中数据更新为所述新数据的操作日志。本发明在持久化过程中减少了对易失性存储设备中空间的占用，克服了易失性存储设备中空间的占用随更新操作的增加而线性增加的缺陷。

Description

技术领域 本发明实施例涉及计算机技术， 尤其涉及一种易失性存储设备持久化 过程中的数据更新方法及装置。 背景技术
持久化是一种将易失性存储设备中的数据保存到非易失性存储设备 中的一种数据保护技术。 易失性存储设备如随机存取存储器（Random Access Memory, 简称 RAM), 其存储的数据在掉电时会丟失； 非易失性存 储设备如磁盘（Hard Disk )或闪速存储器（ Flash Memory ) , 其存储的数 据在掉电时不会丟失。 已有的持久化方案有以下几种典型方案： 第一种方 案是将易失性存储设备中数据的每次更改均同步持久化到非易失性存储 设备， 该方案将极大降低系统的性能； 第二种方案是将易失性存储设备中 所有数据周期性持久化到非易失性存储设备，该方案在系统掉电时将丟失 自最近一次持久化之后所有新写入易失性存储设备的数据； 第三种方案是 将易失性存储设备中数据的每个更改均同时记录到日志文件中，该方案将 导致日志文件不断增大， 占用大量非易失性存储设备空间； 并且在系统掉 电时将回放日志文件中所有记录， 回放需较长时间。
综合上述已有持久化方案的优缺点基础上，出现了将周期性持久化与 记录持久化期间日志文件相结合的方案。该方案将易失性存储设备中所有 数据周期性持久化到非易失性存储设备， 并且将自最近一次持久化开始的 每个更改均同时记录到日志文件中，该方案的周期性持久化操作采用写时 拷贝 ( Copy on Write, COW ) 或重定向写 ( Redirect on Write, ROW ) 的快 照方式。 例如， 在当前持久化周期快照区指针指向易失性存储设备中数据 块 C, 也就是， 数据块 C被快照， 在当前持久化周期数据块 C中数据需要 保存到非易失性设备。 在持久化过程中， 如果应用程序需要更新数据块 C 被快照时数据块 C中的数据， 在 Copy on Write方案中， 先读取数据块 C 中原始数据， 将数据块 C 中原始数据写到新数据块 Z 中， 之后将新数据 写到数据块 C中， 并将指向数据块 C的快照区指针指向新数据块 z。 在 Redirect on Write方案中， 直接将新数据写到新数据块 Z, 将活动数据区 原来指向数据块 c的指针指向数据块 Z,快照区指向数据块 C的指针不变。
分析上述周期性持久化与记录持久化期间日志文件相结合的方案可 以看出， 快照数据持久化过程中， 采用写时拷贝或重定向写两个方案对未 持久化的快照数据块中数据进行更新时， 需要占用额外的空间存储易失性 存储设备被快照时该快照数据块中的数据， 因而易失性存储设备中空间的 占用随更新操作的增加而线性增加。 发明内容 本发明实施例提供一种易失性存储设备持久化过程中的数据更新方 法及装置， 用以解决现有周期性持久化与持久化间日志相结合的方法中， 易失性存储设备中空间的占用随更新操作的增加而线性增加的缺陷。
本发明实施例提供一种易失性存储设备持久化过程中的数据更新方 法， 包括：
将易失性存储设备中快照数据周期性持久化到非易失性存储设备过 程中， 接收更新快照数据块中数据的写请求； 所述快照数据块为当前持久 化周期内所述易失性存储设备中需要持久化到非易失性存储设备的数据 块；
将新数据写入所述快照数据块， 并在日志文件中记录所述快照数据块 中数据更新为所述新数据的操作日志。 本发明实施例提供一种易失性存储设备持久化过程中的数据更新装 置， 包括：
写请求接收模块， 用于将易失性存储设备中快照数据周期性持久化到 非易失性存储设备过程中， 接收更新快照数据块中数据的写请求； 所述快 照数据块为当前持久化周期内所述易失性存储设备中需要持久化到非易 失性存储设备的数据块；
更新模块， 用于将新数据写入所述快照数据块， 并在日志文件中记录 所述快照数据块中数据更新为所述新数据的操作日志。
本发明实施例提供的易失性存储设备持久化过程中的数据更新方法 及装置， 在持久化过程中， 对于快照数据块中数据的更新， 无论是已持久 化的快照数据块还是未持久化的快照数据块， 都直接将新数据写入该快照 数据块中， 不需要额外在易失性存储设备中开辟空间来保存易失性存储设 备被快照时未持久化的快照数据块中的数据。 因此， 在持久化过程中减少 了对易失性存储设备中空间的占用， 克服了易失性存储设备中空间的占用 随更新操作的增加而线性增加的缺陷。 附图说明 图 1为本发明实施例提供的一种易失性存储设备持久化过程中的数据 更新方法流程图；
图 2为本发明实施例提供的另一种易失性存储设备持久化过程中的数 据更新方法流程图；
图 3为本发明实施例提供的内存中数据块的树形结构示意图； 图 4为本发明实施例提供的持久化时刻示意图；
图 5为本发明提供的一种易失性存储设备持久化过程中的数据更新装 置实施例一结构示意图；
图 6为本发明提供的一种易失性存储设备持久化过程中的数据更新装 置实施例二结构示意图。 具体实施方式
图 1为本发明实施例提供的一种易失性存储设备持久化过程中的数据 更新方法流程图。 如图 1所示， 本实施例提供的方法包括：
步骤 1 1 :将易失性存储设备中快照数据周期性持久化到非易失性存储 设备过程中， 接收更新快照数据块中数据的写请求。
快照数据块为当前持久化周期内易失性存储设备中需要同步到非易 失性存储设备的数据块。
步骤 12: 将新数据写入所述快照数据块， 并在日志文件中记录所述快 照数据块中数据更新为所述新数据的日志。
将易失性存储设备中快照数据周期性持久化到非易失性存储设备过 程中， 接收更新快照数据块中数据的写请求时， 对于已持久化的快照数据 块， 也就是已对其中数据持久化过的快照数据块， 直接将新数据写入该快 照数据块中， 覆盖该快照数据块中旧数据， 并在日志文件中记录所述快照 数据块中数据更新为新数据的日志。 由于在更新该快照数据块中数据之 前， 已同步过该快照数据块中数据， 不需要在易失性存储设备中保留该快 照数据块中旧数据。 如果易失性存储设备掉电， 可通过日志文件恢复该快 照数据块中数据。
将易失性存储设备中快照数据周期性持久化到非易失性存储设备过 程中， 接收更新快照数据块中数据的写请求时， 如果该快照数据块为还未 持久化的快照数据块， 该快照数据块中在此次更新之前的旧数据不需要同 步到非易失性存储设备， 因此， 当前持久化周期易失性存储设备被快照时 该快照数据块中的数据也不需要同步到非易失性存储设备， 因而不需要在 易失性存储设备中保留易失性存储设备被快照时未持久化的快照数据块 中的数据， 不需要额外在易失性存储设备中开辟空间来保存易失性存储设 备被快照时未持久化的快照数据块中的数据。 因此， 对于未持久化的快照 数据块，也直接将新数据写入该快照数据块，覆盖该快照数据块中旧数据， 并在日志文件中记录所述快照数据块中数据更新为新数据的日志。 另夕卜， 不论是持久化过程中易失性存储设备掉电还是持久化结束后易失性存储 设备掉电， 均可通过日志文件恢复该快照数据块中数据。 因此， 在易失性 存储设备中不保存未持久化的快照数据块被快照时保存的数据， 不会对系 统产生影响。
本发明实施例提供的易失性存储设备持久化过程中的数据更新方法， 在持久化过程中， 对于快照数据块中数据的更新， 无论是已持久化的快照 数据块还是未持久化的快照数据块， 都直接将新数据写入该快照数据块 中， 不需要额外在易失性存储设备中开辟空间来保存易失性存储设备被快 照时未持久化的快照数据块中的数据。 因此， 在持久化过程中减少了对易 失性存储设备中空间的占用， 克服了易失性存储设备中空间的占用随更新 操作的增加而线性增加的缺陷。
进一步， 如图 2所示， 为提高易失性存储设备在持久化正常结束后掉 电时数据恢复效率， 本发明实施例在日志文件中记录所述快照数据块中数 据更新为所述新数据的操作日志之后还包括以下步骤： 步骤 13a: 若所述快照数据块中数据未持久化到所述非易失性存储设 备， 将所述快照数据块的操作日志标识为持久化前更新。 例如标识为 R, 以表示此次更新发生在该快照数据块持久化之前。
步骤 13b: 若快照数据块中数据已持久化到所述非易失性存储设备， 将所述快照数据块的操作日志标识为持久化后更新。 例如标识为 L, 以表 示此次更新发生在该快照数据块持久化之后。
步骤 14:在将易失性存储设备中快照数据持久化到非易失性存储设备 的周期结束后， 删除日志文件中标识为持久化前更新的操作日志， 使日志 文件更新为精简日志文件。
日志文件中标识为持久化前更新的操作日志， 记录的是持久化过程中 对未持久化的快照数据块中数据的更新， 在持久化正常结束后， 该些快照 数据块已持久化到非易失性存储设备中， 该些快照数据块持久化到非易失 性存储设备之前所存储的且在持久化过程中产生的旧数据没有持久化到 非易失性存储设备， 在数据恢复时这些中间版本的旧数据没有必要恢复， 因此， 没有必要保留在持久化过程中产生的有关该些快照数据块持久化到 非易失性存储设备之前的操作日志。 在持久化正常结束后， 如果易失性存 储设备掉电， 通过回放精简日志文件可将该些数据块中数据快速恢复为持 久化结束时刻的数据， 从而提高易失性存储设备掉电后数据恢复效率。 例 如， T ( i+1 ) ，时刻为当前持久化周期开始时刻， T(i+1)时刻为当前持久化 周期结束时刻， T(i+2)，时刻为下一持久化周期开始时刻。 在 T(i+1)，时刻快 照数据块 C中存储的数据为 CO, 在当前持久化周期开始后且在快照数据 块 C未持久化到非易失性存储设备之前， 对数据块 C中进行了如下更新， C0— C1 , C1— C2, C2→C3。 在当前持久化周期结束后， 数据块 C中 C3 被持久化到非易失性存储设备， 在 T ( i+1 ) ，时刻开始后产生的日志文件 中删除以下更新的操作日志： C0— C1 , C1— C2, C2— C3 , 成为 T ( i+1 ) ， 时刻开始后产生的精简日志文件。 在当前持久化周期结束之后且在下一持 久化周期开始之前， 即在 T(i+1) 时刻和 T(i+2)，时刻之间， 数据块 C中数 据由 C3更新为 C4, 此后易失性存储设备掉电， 利用 T(i+1)时刻产生的非 易失性存储设备数据文件， 回放 T ( i+1 ) ，时刻开始后产生的精简日志文 件和 T(i+1)时刻开始后产生的日志文件可将数据块 C中数据恢复为 C4。 在回放 T ( i+1 ) ，时刻开始后产生的精简日志文件时， 没有回放以下更新 过程： C0— C1 , C1— C2, C2— C3 , 从而提高了易失性存储设备在持久化 正常结束后掉电时数据恢复效率。
易失性存储设备掉电后的数据恢复方法如下： 在将易失性存储设备中 快照数据持久化到非易失性存储设备的过程中， 若易失性存储设备掉电， 根据上一持久化周期结束时刻的非易失性存储设备数据文件、 上一持久化 周期结束时刻的精简日志文件、 自上一持久化周期结束至当前持久化周期 开始产生的日志文件和当前持久化周期开始后产生的日志文件， 恢复所述 易失性存储设备中数据。 在将易失性存储设备中快照数据持久化到非易失 性存储设备的周期结束后， 若易失性存储设备掉电， 根据上一持久化周期 结束时刻的非易失性存储设备数据文件、 上一持久化周期结束时刻的精简 曰志文件和上一持久化周期结束后产生的日志文件， 恢复所述易失性存储 设备中数据。
易失性存储设备中数据块可以树形结构组织也可以线性结构组织。 内 存为典型的易失性存储设备， 磁盘为典型的非易失性存储设备。 下面以将 内存中数据持久化到磁盘为例， 结合图 3和图 4说明易失性存储设备持久 化过程中的数据更新方法和系统掉电后数据恢复方法。 图 3为本发明实施 例提供的内存中数据块的树形结构示意图。 如图 3所示， 树中一个节点表 述一个数据块， 节点之间的关系即为数据块之间的关系。 在数据块 A1 中 写入数据后， 还将更新操作记录在日志文件中。 图 4为本发明实施例提供 的持久化时刻示意图。
如图 4所示， T(i)时刻为第 i次持久化结束时刻， T(i+1)，时刻为第 i+1 次持久化开始时刻， T(i+1) 时刻为第 i+1次持久化结束时刻。 第 i次持久 化结束后， 磁盘上的文件为 V(i)和 Log(i)L。 其中 V(i)表示第 i次持久化结 束后在磁盘上产生的数据文件， Log(i)L表示第 i次持久化结束后在磁盘上 产生的日志文件。 V(i)与 Log(i)L结合可表示一个快照版本。 自 T(i)时刻开 始， 即第 i次持久化结束后， 建立日志文件 Log(i+l), 用于记录自 T(i)时 刻对内存树中节点数据更新操作的操作日志。
T(i+1)'时刻， 系统满足持久化条件开始持久化。 例如， T(i+1)'时刻距 离 T(i)时刻的时间间隔达到了预设阈值， 或者， 到 T(i+1)，时刻内存中被更 新的数据占数据总量的比例已经达到了预设阈值， 系统开始持久化。 持久 化过程中， 按照深度优先遍历的原则， 顺次将图 3中所有节点中数据持久 化到磁盘。 数据持久化以节点为基本单位， 某节点持久化到磁盘过程中， 对内存树加全局锁， 如有节点更新操作， 则进入等待队列。 待当前节点持 久化完毕， 持久化操作释放锁， 内存树更新操作获取锁， 暂停持久化后续 节点， 对内存树节点进行更新操作。
T(i+1)，时刻 , 系统开始持久化， 创建一个新的日志文件 Log(i+l)LR, 用于记录持久化期间自 T(i+1)，时刻对内存树更新操作的操作日志。 V(i+1) 表示第 i+1 次持久化结束后在磁盘上产生的数据文件。 日志文件 Log(i+ 1 )LR 中的日志格式为： 日志标识符 +操作命令 +节点 Key+节点 Value 0 例如， 系统持久化期间， 被更新的节点 B1为未持久化的快照数据 块，对节点 B1更新后，记录的操作日志格式为： R+P+节点 B1+节点 Value。 其中， R为操作日志标识符， 表示此次更新发生在节点 B1持久化之前； P 为操作命令， 节点 Value为节点 B1 中更新后的数据。 又例如， 系统持久 化期间， 被更新的节点 A1为已持久化的快照数据块， 对节点 A1更新后， 记录的操作日志格式为： L+P+节点 B1+节点 Value; 其中， L为操作日志 标识符， 表示此次更新发生在节点 A1持久化之后。 如果持久化过程正常 结束， 则将日志文件 Log(i+l)LR中标识符为 R的操作日志删除， 可通过 将标识符 R更改为 C来实现。系统掉电重启后回放日志文件重建内存树结 构时， 直接跳过标识符为 C的操作日志即可。 日志文件 Log(i+l)LR删除 标识符为 R的操作日志后形成的精简日志文件为 Log(i+l)L。
如果持久化过程中系统掉电，例如在 T(i+1)，时刻和 T(i+1)时刻之间的 某一时刻系统掉电， 系统重启后重建内存树的步骤如下： 第一步， 利用 V(i)重建内存树； 第二步， 回放日志文件 Log(i)L; 第三步， 回放日志文件 Log(i+l)L; 第四步， 回放日志文件 Log(i+l)LR。 如果持久化完成后系统 掉电， 例如在 T(i+ 1 )时刻和 T(i+2)，时刻之间的某一时刻系统掉电， 重启后 重建内存树的步骤如下： 第一步， 利用 V(i+1)重建内存树； 第二步， 回放 曰志文件 Log(i+l)L; 第三步， 回放曰志文件 Log(i+2)。 其中， Log(i+2) 曰 志文件为在 T(i+1)时刻新增的日志文件， 用于记录自 T(i+1)时刻对内存树 更新的操作日志。 图 5为本发明提供的一种易失性存储设备持久化过程中的数据更新装 置实施例一结构示意图。 如图 5所示， 本实施例提供的装置包括： 写请求 接收模块 51和更新模块 52。
写请求接收模块 51 ,用于将易失性存储设备中快照数据周期性持久化 到非易失性存储设备过程中， 接收更新快照数据块中数据的写请求。 所述 快照数据块为当前持久化周期内所述易失性存储设备中需要持久化到非 易失性存储设备的数据块。
更新模块 52 , 用于将新数据写入所述快照数据块， 并在日志文件中记 录所述快照数据块中数据更新为所述新数据的操作日志。
上述各模块实现的功能可参见图 1对应实施例中描述，在此不再赘述。 本发明实施例提供的易失性存储设备持久化过程中的数据更新装置， 在持久化过程中， 对于快照数据块中数据的更新， 无论是已持久化的快照 数据块还是未持久化的快照数据块， 都直接将新数据写入该快照数据块 中， 不需要额外在易失性存储设备中开辟空间来保存易失性存储设备被快 照时未持久化的快照数据块中的数据。 因此， 在持久化过程中减少了对易 失性存储设备中空间的占用， 克服了易失性存储设备中空间的占用随更新 操作的增加而线性增加的缺陷。
进一步， 为提高易失性存储设备在持久化正常结束后掉电时数据恢复 效率， 如图 6所示， 在图 5的基础上本实施例还可包括： 日志标识模块 53 和日志删除模块 54。
日志标识模块 53 ,用于若所述快照数据块中数据未持久化到所述非易 失性存储设备， 将所述快照数据块的操作日志标识为持久化前更新； 若快 照数据块中数据已持久化到所述非易失性存储设备， 将所述快照数据块的 操作日志标识为持久化后更新。
日志删除模块 54 ,用于删除所述日志文件中标识为持久化前更新的操 作曰志， 使日志文件更新为精简日志文件。
日志文件中标识为持久化前更新的操作日志， 记录的是持久化过程中 对未持久化的快照数据块中数据的更新， 在持久化正常结束后， 该些快照 数据块已持久化到非易失性存储设备中， 该些快照数据块持久化到非易失 性存储设备之前所存储的且在持久化过程中产生的旧数据没有持久化到 非易失性存储设备， 在数据恢复时这些中间版本的旧数据没有必要恢复， 因此， 没有必要保留在持久化过程中产生的有关该些快照数据块持久化到 非易失性存储设备之前的操作日志。 在持久化正常结束后， 如果易失性存 储设备掉电， 通过回放精简日志文件可将该些数据块中数据快速恢复为持 久化结束时刻的数据， 从而提高易失性存储设备掉电后数据恢复效率。
进一步， 在图 6的基础上本实施例还可包括：
第一恢复模块， 用于根据上一持久化周期结束时刻的非易失性存储设 备数据文件、 上一持久化周期结束时刻的精简日志文件、 自上一持久化周 期结束至当前持久化周期开始产生的日志文件和当前持久化周期开始后 产生的日志文件， 恢复所述易失性存储设备中数据。
第二恢复模块， 用于根据上一持久化周期结束时刻的非易失性存储设 备数据文件、 上一持久化周期结束时刻的精简日志文件和上一持久化周期 结束后产生的日志文件， 恢复所述易失性存储设备中数据。
上述各模块实现的功能可参见图 2对应实施例中描述，在此不再赘述。 本实施例提高了易失性存储设备在持久化正常结束后掉电时数据恢 复效率。
本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成， 前述的程序可以存储于一计算机 可读取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程 序代码的介质。
最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (1)

  1. 权 利 要 求 书
    1、 一种易失性存储设备持久化过程中的数据更新方法， 其特征在于， 包括：
    将易失性存储设备中快照数据周期性持久化到非易失性存储设备过 程中， 接收更新快照数据块中数据的写请求； 所述快照数据块为当前持久 化周期内所述易失性存储设备中需要持久化到非易失性存储设备的数据 块；
    将新数据写入所述快照数据块， 并在日志文件中记录所述快照数据块 中数据更新为所述新数据的操作日志。
    2、 根据权利要求 1 所述方法， 其特征在于， 所述在日志文件中记录 所述快照数据块中数据更新为所述新数据的操作日志之后还包括：
    若所述快照数据块中数据未持久化到所述非易失性存储设备， 将所述 快照数据块的操作日志标识为持久化前更新；
    若快照数据块中数据已持久化到所述非易失性存储设备， 将所述快照 数据块的操作日志标识为持久化后更新。
    3、 根据权利要求 2所述方法， 其特征在于， 在将易失性存储设备中 快照数据持久化到非易失性存储设备的周期结束后还包括：
    删除所述日志文件中标识为持久化前更新的操作日志， 使日志文件更 新为精简日志文件。
    4、 根据权利要求 3 所述方法， 其特征在于， 在所述将易失性存储设 备中快照数据持久化到非易失性存储设备的过程中， 若所述易失性存储设 备掉电， 所述方法还包括：
    根据上一持久化周期结束时刻的非易失性存储设备数据文件、 上一持 久化周期结束时刻的精简日志文件、 自上一持久化周期结束至当前持久化 周期开始产生的日志文件和当前持久化周期开始后产生的日志文件， 恢复 所述易失性存储设备中数据。
    5、 根据权利要求 3或 4所述方法， 其特征在于， 在所述将易失性存 储设备中快照数据持久化到非易失性存储设备的周期结束后， 若所述易失 性存储设备掉电， 所述方法还包括：
    根据上一持久化周期结束时刻的非易失性存储设备数据文件、 上一持 久化周期结束时刻的精简日志文件和上一持久化周期结束后产生的日志 文件， 恢复所述易失性存储设备中数据。
    6、 一种易失性存储设备持久化过程中的数据更新装置， 其特征在于， 包括：
    写请求接收模块， 用于将易失性存储设备中快照数据周期性持久化到 非易失性存储设备过程中， 接收更新快照数据块中数据的写请求； 所述快 照数据块为当前持久化周期内所述易失性存储设备中需要持久化到非易 失性存储设备的数据块；
    更新模块， 用于将新数据写入所述快照数据块， 并在日志文件中记录 所述快照数据块中数据更新为所述新数据的操作日志。
    7、 根据权利要求 6所述的装置， 其特征在于， 还包括：
    日志标识模块， 用于若所述快照数据块中数据未持久化到所述非易失 性存储设备， 将所述快照数据块的操作日志标识为持久化前更新； 若快照 数据块中数据已持久化到所述非易失性存储设备， 将所述快照数据块的操 作日志标识为持久化后更新。
    8、 根据权利要求 7所述的装置， 其特征在于， 还包括：
    日志删除模块， 用于删除所述日志文件中标识为持久化前更新的操作 曰志， 使日志文件更新为精简日志文件。
    9、 根据权利要求 8所述的装置， 其特征在于， 还包括：
    第一恢复模块， 用于根据上一持久化周期结束时刻的非易失性存储设 备数据文件、 上一持久化周期结束时刻的精简日志文件、 自上一持久化周 期结束至当前持久化周期开始产生的日志文件和当前持久化周期开始后 产生的日志文件， 恢复所述易失性存储设备中数据。
    10、 根据权利要求 8或 9所述的装置， 其特征在于， 还包括： 第二恢复模块， 用于根据上一持久化周期结束时刻的非易失性存储设 备数据文件、 上一持久化周期结束时刻的精简日志文件和上一持久化周期 结束后产生的日志文件， 恢复所述易失性存储设备中数据。
CN201180003627.7A 2011-12-31 2011-12-31 易失性存储设备持久化过程中的数据更新方法及装置 Active CN103403679B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/085165 WO2013097229A1 (zh) 2011-12-31 2011-12-31 易失性存储设备持久化过程中的数据更新方法及装置

Publications (2)

Publication Number Publication Date
CN103403679A true CN103403679A (zh) 2013-11-20
CN103403679B CN103403679B (zh) 2016-08-31

Family

ID=48696284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003627.7A Active CN103403679B (zh) 2011-12-31 2011-12-31 易失性存储设备持久化过程中的数据更新方法及装置

Country Status (2)

Country Link
CN (1) CN103403679B (zh)
WO (1) WO2013097229A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557937A (zh) * 2018-12-07 2019-04-02 江西洪都航空工业集团有限责任公司 一种飞行模拟器数据多周期存储和回放方法
CN109684338A (zh) * 2018-11-20 2019-04-26 深圳花儿数据技术有限公司 一种存储系统的数据更新方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655146A (zh) * 2004-02-12 2005-08-17 国际商业机器公司 用于文件系统快照持久性的方法和装置
CN101876949A (zh) * 2009-11-30 2010-11-03 威盛电子股份有限公司 数据储存系统与方法
US20110072226A1 (en) * 2009-09-22 2011-03-24 Emc Corporation Snapshotting of a performance storage system in a system for performance improvement of a capacity optimized storage system
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655146A (zh) * 2004-02-12 2005-08-17 国际商业机器公司 用于文件系统快照持久性的方法和装置
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法
US20110072226A1 (en) * 2009-09-22 2011-03-24 Emc Corporation Snapshotting of a performance storage system in a system for performance improvement of a capacity optimized storage system
CN101876949A (zh) * 2009-11-30 2010-11-03 威盛电子股份有限公司 数据储存系统与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684338A (zh) * 2018-11-20 2019-04-26 深圳花儿数据技术有限公司 一种存储系统的数据更新方法
CN109557937A (zh) * 2018-12-07 2019-04-02 江西洪都航空工业集团有限责任公司 一种飞行模拟器数据多周期存储和回放方法
CN109557937B (zh) * 2018-12-07 2021-07-09 江西洪都航空工业集团有限责任公司 一种飞行模拟器数据多周期存储和回放方法

Also Published As

Publication number Publication date
CN103403679B (zh) 2016-08-31
WO2013097229A1 (zh) 2013-07-04

Similar Documents

Publication Publication Date Title
US20100185807A1 (en) Data storage processing method, data searching method and devices thereof
CN105706061B (zh) 使用非易失性存储器的崩溃恢复
CN106815275B (zh) 一种通过备用数据库实现主备数据库同步的方法与设备
CN103577121A (zh) 一种基于nand flash的高可靠线性文件存取方法
US20180239674A1 (en) Backing Up Metadata
CZ217397A3 (cs) Způsob zpracování informací a zařízení k jeho provádění
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN102053879A (zh) 基于falsh的自恢复实时文件系统
CN102483714A (zh) 恢复索引页
US20180121364A1 (en) Storage tier with compressed forward map
CN108334277B (zh) 一种日志写入及同步方法、装置、系统、计算机存储介质
US20140156603A1 (en) Method and an apparatus for splitting and recovering data in a power system
CN103270499A (zh) 日志存储方法及系统
CN108763531A (zh) 一种mdvr文件存储系统及其运行方法
JP5065203B2 (ja) データのフォーマットを変換する装置及び方法
CN110795042A (zh) 一种全闪存储系统元数据写缓存刷盘方法及相关组件
CN105260139B (zh) 一种磁盘管理方法以及系统
CN107506311B (zh) 一种固态硬盘的ftl表的刷写方法及装置
CN113377292A (zh) 一种单机存储引擎
CN106055279A (zh) 管理固态硬盘的地址映射表的方法、装置及固态硬盘
CN103403679A (zh) 易失性存储设备持久化过程中的数据更新方法及装置
CN105353986A (zh) 一种车载dvr裸盘存储文件系统
CN105139870B (zh) 一种光盘的实时刻录方法及装置
CN112988880B (zh) 数据同步方法、装置、电子设备及计算机存储介质
CN112882859A (zh) 一种虚拟机合成备份方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220208

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right