CN108197218B - 一种ssd关键日志继承的方法 - Google Patents

一种ssd关键日志继承的方法 Download PDF

Info

Publication number
CN108197218B
CN108197218B CN201711463615.8A CN201711463615A CN108197218B CN 108197218 B CN108197218 B CN 108197218B CN 201711463615 A CN201711463615 A CN 201711463615A CN 108197218 B CN108197218 B CN 108197218B
Authority
CN
China
Prior art keywords
log
logs
key
block
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711463615.8A
Other languages
English (en)
Other versions
CN108197218A (zh
Inventor
刘水涛
王雯
彭鹏
姜黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Goke Microelectronics Co Ltd
Original Assignee
Hunan Goke Microelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Goke Microelectronics Co Ltd filed Critical Hunan Goke Microelectronics Co Ltd
Priority to CN201711463615.8A priority Critical patent/CN108197218B/zh
Publication of CN108197218A publication Critical patent/CN108197218A/zh
Application granted granted Critical
Publication of CN108197218B publication Critical patent/CN108197218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及SSD固态硬盘应用技术领域，具体涉及一种SSD关键日志继承的方法。现有的日志存放方式会导致日志丢失，很多关键的过程信息丢失，导致有的问题分析很困难。本申请提供一种SSD关键日志继承的方法，所述方法包括：将目标日志定义为关键日志，在下刷日志块中标记为关键日志块，所有等级日志块中标记为正常日志块，进行下刷；对关键日志块和正常日志块进行分级，关键日志为高优先级，正常日志为所有优先级；当日志块记录满时，优先回收存放时间最早的所有优先级日志。日志读取会将所有等级日志与关键日志分别读上来，解析时先解析所有等级日志，然后解析关键日志，关键日志按照时间戳位置填补所有等级日志丢失的条目。

Description

一种SSD关键日志继承的方法
技术领域
本申请涉及SSD固态硬盘应用技术领域，具体涉及一种SSD关键日志继承的方法。
背景技术
日志主要是记录SSD系统运行过程中的过程信息，包括正常与异常日志，用于辅助分析SSD功能实现及执行情况，更关键的是帮助问题定位等，通过日志信息快速定位到出现问题的模块及场景，提高版本迭代效率及版本质量；由于SSD容量要求，NAND Flash 只留有一小部分空间来存放日志，这部分区域循环使用，日志从头往后记，记录快满的时候将头部的一部分日志擦除用来存放接下来要下刷的新日志。因为容量及性能要求，日志不可能不停的大量下刷，所以目前的做法是将日志分等级，按照关键程度进行等级划分，SSD可以设置需要存放的日志等级；日志必须要满足一定的条件才能下刷到Flash 中，尽量少打断系统的正常业务，减少性能波动。
目前是将SSD内部分一部分Block，将这部分Block作为整个日志存储池，日志存储池循环利用，所有等级日志依次写入日志存储池，存储池写满后，将存储池中最开始记录的日志Block擦除来记录新日志，以达到循环利用的目的。还有是将整个日志区域分为A、B两个乒乓日志存储池，都用来存放日志，A与B区域都以R-Block(Raid-Block)，当A区域写满后就将B区域的数据擦除，将新日志写到B区域，B区域写满后将A区域数据擦除来存放新的日志，不同等级的日志统一下刷。
日志存储池循环利用的时候，会将之前的存放的日志擦除用来存放新的日志，这样就会导致之前的日志丢失；而将整个日志区域分为A、B两个乒乓日志存储池的话，当其中一个区域日志写满后会将另外一个区域的日志擦除用来存放新的日志，这样就会导致其中一个区域的日志全部丢失。日志丢失使得很多关键的过程信息丢失，就会导致有的问题分析很困难。
发明内容
本发明的目的是为了解决日志存储池循环利用的时候，会将之前的存放的日志擦除用来存放新的日志，这样就会导致之前的日志丢失；而将整个日志区域分为A、B两个乒乓日志存储池的话，当其中一个区域日志写满后会将另外一个区域的日志擦除用来存放新的日志，这样就会导致其中一个区域的日志全部丢失，因为很多关键的过程信息丢失，就会导致有的问题分析很困难的问题。
为此，本发明实施例提供了如下技术方案：一种SSD关键日志继承的方法，所述方法包括以下步骤：
步骤1：将目标日志定义为关键日志，并在下刷日志块中标记为关键日志块，所有等级日志块中标记为正常日志块，进行下刷；
步骤2：对关键日志块和正常日志块进行分级，关键日志为高优先级，正常日志为所有优先级；
步骤3：当日志块记录满时，优先回收存放时间最早的所有优先级日志。
可选地，所述步骤1中的所有等级日志包括目标日志和一般日志。
可选地，步骤1中的下刷方式包括同时下刷或者采用不同的下刷条件将日志分别下刷到块中并标记为对应的日志块。
可选地，所述下刷条件包括日志条目数或者日志容量大小。
可选地，步骤1当整个日志区域分为A、B两个存储池时，当区域A日志记满时，将A区域的关键日志继承转存到区域B中，将目标日志标记为关键日志块，系统新产生的日志按照原来的下刷方式继续下刷。
可选地，所述步骤3中当高优先级日志块记录满时，优先回收最早的高优先级日志块。
可选地，所述步骤3中回收后的日志块用于存放新的高优先级日志或者新的所有优先级日志。
本发明实施例提供的技术方案包括以下有益效果：本申请通过对关键日志进行重复存放，将所有等级日志放置于不同的Block，并进行标记，针对方案一当日志写满的时候，优先回收Normal Log Block，将更早时间的Normal Log Block擦除来存放新的日志Critical Log Block暂不进行回收，直到所有日志块都变成Critical Log Block才进行Critical Log Block回收，回收也按照时间顺序来做。区域切换时继承关键日志的方式将关键日志继承保存下来；关键日志与所有等级日志分别下刷，关键日志与所有等级日志满足不同的条件进行下刷，无备电SSD掉电时优先下刷关键日志，区域切换的时候按照Block标记查找关键日志块，先继承下来，再记录分别记录新的关键日志与所有等级日志；日志读取会将所有等级日志与关键日志分别读上来，解析时先解析所有等级日志，然后解析关键日志，关键日志按照时间戳位置填补所有等级日志丢失的条目。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请中现有的存储池循环利用原理示意图；
图2为本申请中现有的日志下刷流程原理示意图；
图3为本申请中现有的A日志区域写满后日志下刷到B日志区域存放原理示意图；
图4为本发明实施例中高优先级日志重复下刷原理示意图；
图5为本发明实施例中日志存储池记满情况下的日志分布示意图；
图6为本发明实施例中第二种高优先级日志重复下刷原理示意图；
图7为本发明实施例中日志区域切换下刷方式原理示意图。
具体实施方式
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
SSD(Solid State Disk)：固态硬盘；
NAND-Flash：Flash存储器；
Block：块，NAND Flash最小擦除单位；
Critical Log Block：关键日志块；
Normal Log Block：正常日志块；
R-Block(Raid-Block)：以Block为单位组成的冗余阵列，具有数据冗余校验功能，可以进行Block级别的数据恢复，具有R-Block功能的SSD内部数据回收搬移以R-Block 为单位进行。
下面通过实施例，并结合附图，对本申请的技术方案作进一步具体的说明。
参见图4～7，为本发明实施例提供的一种SSD关键日志继承的方法，所述方法包括以下步骤：
步骤1：将目标日志定义为关键日志，在下刷日志块中标记为关键日志块，所有等级日志块中标记为正常日志块，进行下刷；
步骤2：对关键日志块和正常日志块进行分级，关键日志为高优先级，正常日志为所有优先级；
步骤3：当日志块记录满时，优先回收存放时间最早的所有优先级日志。
可选地，所述步骤1中的所有等级日志包括目标日志和一般日志。
可选地，步骤1中的下刷方式包括同时下刷或者采用不同的下刷条件将日志分别下刷到块中并标记为对应的日志块。
可选地，所述下刷条件包括日志条目数或者日志容量大小。
可选地，步骤1当整个日志区域分为A、B两个存储池时，当区域A日志记满时，将A区域的关键日志继承转存到区域B中，将目标日志标记为关键日志块，系统新产生的日志按照原来的下刷方式继续下刷。
可选地，所述步骤3中当高优先级日志块记录满时，优先回收最早的高优先级日志块。
可选地，所述步骤3中回收后的日志块用于存放新的高优先级日志或者新的所有优先级日志。
本申请是在目前主流方案的基础上增加SSD关键日志(高优先级日志)重复下刷及继承的方法，通过重复存放的方式达到关键日志备份的目的，见图4与图6中，Level1与Level2日志定义为关键日志，下刷日志Block中并标记为Critical Log Block，所有等级日志Block中标记为Normal Log Block，可以选择同时下刷，也可以采用不同的下刷条件将日志分别下刷到Block中并标记为对应的日志块。
如图4与图5增加高优先级日志下刷流程，高优先级日志分布于存储池中非连续的位置，当日志块记录满时，优先回收时间最早的Normal Log Block，回收后用来存放高优先级日志或所有优先级日志，随着时间的推移，高优先级日志块会逐渐增多，当高优先级日志块记录快满的时候，也启动高优先级日志块的回收，优先回收更早时间的高优先级日志块，回收后用来记录新的高优先级日志或所有优先级日志；
该优先回收的方法有：
1、通过块上日志的时间戳来识别写入的时间，写入时间越早，优先级越高；
2、通过块的相应位置关系来识别优先级，位置越靠前(块号越小)优先级越高。
如图6与图7增加高优先级日志下刷流程，如果区域A日志记满，则需要将A区域的关键日志继承转存到区域B中，同样标记为关键日志块，系统新产生的日志按照原来的下刷方式继续下刷，这样关键日志就不会丢失，随着时间的推移，高优先级日志块会逐渐增多，当高优先级日志块记录快满的时候，也启动高优先级日志块的回收，优先回收更早时间的高优先级日志块，回收后用来记录新的高优先级日志或所有优先级日志。
本申请通过对关键日志进行重复存放，将所有等级日志放置于不同的Block，并进行标记，针对方案一当日志写满的时候，优先回收Normal Log Block，将更早时间的NormalLog Block擦除来存放新的日志Critical Log Block暂不进行回收，直到所有日志块都变成 Critical Log Block才进行Critical Log Block回收，回收也按照时间顺序来做。区域切换时继承关键日志的方式将关键日志继承保存下来；关键日志与所有等级日志分别下刷，关键日志与所有等级日志满足不同的条件进行下刷，无备电SSD掉电时优先下刷关键日志，区域切换的时候按照Block标记查找关键日志块，先继承下来，再记录分别记录新的关键日志与所有等级日志；日志读取会将所有等级日志与关键日志分别读上来，解析时先解析所有等级日志，然后解析关键日志，关键日志按照时间戳位置填补所有等级日志丢失的条目。
以上所述仅是本发明实施例的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (2)

1.一种SSD关键日志继承的方法，其特征在于，所述方法包括以下步骤：
步骤1：将目标日志定义为关键日志，并在下刷日志块中标记为关键日志块，所有等级日志块中标记为正常日志块，进行下刷；
步骤2：对关键日志块和正常日志块进行分级，关键日志块为高优先级，正常日志块为所有优先级；
步骤3：当日志块记录满时，优先回收存放时间最早的所有优先级日志；
所述步骤3中当高优先级日志块记录满时，优先回收最早的高优先级日志块；
步骤1中的下刷方式包括同时下刷或者采用不同的下刷条件将日志分别下刷到日志块中并标记为对应的日志块；
所述下刷条件包括日志条目数或者日志容量大小；
步骤1当整个日志区域分为A、B两个存储池时，当A存储池日志记满时，将A存储池的关键日志继承转存到B存储池中，将关键日志标记为关键日志块，系统新产生的日志按照原来的下刷方式继续下刷。
2.如权利要求1所述的方法，其特征在于，所述步骤3中回收后的日志块用于存放新的高优先级日志或者新的所有优先级日志。
CN201711463615.8A 2017-12-28 2017-12-28 一种ssd关键日志继承的方法 Active CN108197218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711463615.8A CN108197218B (zh) 2017-12-28 2017-12-28 一种ssd关键日志继承的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711463615.8A CN108197218B (zh) 2017-12-28 2017-12-28 一种ssd关键日志继承的方法

Publications (2)

Publication Number Publication Date
CN108197218A CN108197218A (zh) 2018-06-22
CN108197218B true CN108197218B (zh) 2021-11-12

Family

ID=62585127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711463615.8A Active CN108197218B (zh) 2017-12-28 2017-12-28 一种ssd关键日志继承的方法

Country Status (1)

Country Link
CN (1) CN108197218B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796996A (zh) * 2020-07-03 2020-10-20 深圳大普微电子科技有限公司 一种固态硬盘日志处理方法、固态硬盘和电子设备
CN112256649A (zh) * 2020-09-24 2021-01-22 南阳柯丽尔科技有限公司 一种医学文件的存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515246A (zh) * 2008-12-29 2009-08-26 卡斯柯信号有限公司 Its自动列车监控系统的多级日志消息处理方法
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
WO2012116117A2 (en) * 2011-02-22 2012-08-30 Sandisk Enterprise Ip Llc Storage management and acceleration of storage media in clusters
CN103377160A (zh) * 2012-04-16 2013-10-30 马维尔国际有限公司 用于传输物理层日志的方法和设备
CN106293541A (zh) * 2016-08-19 2017-01-04 浪潮(北京)电子信息产业有限公司 一种存储系统的日志管理方法和系统
CN107515827A (zh) * 2017-08-21 2017-12-26 湖南国科微电子股份有限公司 Pcie ssd自定义日志的存储方法、装置及ssd

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028201B2 (en) * 2008-05-09 2011-09-27 International Business Machines Corporation Leveled logging data automation for virtual tape server applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571827A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 保存日志的方法和日志系统
CN101515246A (zh) * 2008-12-29 2009-08-26 卡斯柯信号有限公司 Its自动列车监控系统的多级日志消息处理方法
WO2012116117A2 (en) * 2011-02-22 2012-08-30 Sandisk Enterprise Ip Llc Storage management and acceleration of storage media in clusters
CN103377160A (zh) * 2012-04-16 2013-10-30 马维尔国际有限公司 用于传输物理层日志的方法和设备
CN106293541A (zh) * 2016-08-19 2017-01-04 浪潮(北京)电子信息产业有限公司 一种存储系统的日志管理方法和系统
CN107515827A (zh) * 2017-08-21 2017-12-26 湖南国科微电子股份有限公司 Pcie ssd自定义日志的存储方法、装置及ssd

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种固态盘存储阵列的设计与实现;李祥楠;《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》;20160915(第09期);第[1]-[6]章 *

Also Published As

Publication number Publication date
CN108197218A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
KR100906519B1 (ko) 비-휘발성 메모리 시스템에서 사용불가능한 블록을관리하기 위한 방법 및 장치
CN102081577B (zh) 对Flash存储器的数据存储结构进行数据操作的方法
CN102890656B (zh) 提高flash使用寿命的方法
CN101446921B (zh) 一种Flash存储器的动态存储方法
CN107818269B (zh) 一种基于Flash的文件保存方法及系统
US20070124552A1 (en) Memory control method for restoring data in a cache memory
CN109508148B (zh) 一种元数据重建方法、装置和计算机可读存储介质
CN101354681A (zh) 存储器系统、非易失性存储器的磨损均衡方法及装置
US9785438B1 (en) Media cache cleaning based on workload
US8650436B2 (en) Systems and methods for recovering information from NAND gates array memory systems
CN110674056B (zh) 一种垃圾回收方法及装置
KR20140133427A (ko) 플래시 메모리에 저장된 데이터를 관리하는 방법 및 관련 메모리 장치 및 제어기
CN108197218B (zh) 一种ssd关键日志继承的方法
CN106354662A (zh) 一种nand flash数据存储方法
CN103226965A (zh) 基于时间位图的音视频数据存取方法
CN110134645B (zh) 文件系统存储管理方法、读取方法、管理装置和读取装置
CN109669889B (zh) 一种轻量型Nor Flash闪存控制方法和装置
CN116088770B (zh) 数据管理方法及装置、系统、电子设备、存储介质
CN115599578A (zh) 一种存储器及其控制方法与存储系统
CN102385610A (zh) 数字硬盘录像机录像文件保存与数据恢复的方法及其系统
US20160124650A1 (en) Data Storage Device and Flash Memory Control Method
KR101258589B1 (ko) 저널링 파일 시스템에 따라 데이터를 기록한 정보저장매체,저널링 파일 시스템을 이용해서 데이터를 기록/복구하는방법 및 장치
JP4634404B2 (ja) 不揮発性メモリ、そのためのデータ有効性を判断する装置及び方法
CN116185563B (zh) 一种基于车规级微控制器数据闪存的软件模拟算法
WO2019136969A1 (zh) 一种实体位置映到逻辑映像位置的高效能方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant