CN116775579A - 一种日志管理方法、系统、存储介质及设备 - Google Patents

一种日志管理方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN116775579A
CN116775579A CN202310748017.4A CN202310748017A CN116775579A CN 116775579 A CN116775579 A CN 116775579A CN 202310748017 A CN202310748017 A CN 202310748017A CN 116775579 A CN116775579 A CN 116775579A
Authority
CN
China
Prior art keywords
interval
log data
metadata
log
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310748017.4A
Other languages
English (en)
Inventor
刘国华
王萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310748017.4A priority Critical patent/CN116775579A/zh
Publication of CN116775579A publication Critical patent/CN116775579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种日志管理方法、系统、存储介质及设备，方法包括：将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。本发明实现了高效管理日志数据和元数据，避免了具有依赖关系的元数据和日志数据保存在不同的介质上导致一个器件出问题另一个就受到影响的问题，并且能够实现日志模块在上下电场景中数据的记录和恢复功能。

Description

一种日志管理方法、系统、存储介质及设备
技术领域
本发明涉及日志技术领域，尤其涉及一种日志管理方法、系统、存储介质及设备。
背景技术
在当今SSD(Solid State Disk，固态硬盘)系统应用中，日志是一个重要的功能模块。功能设计良好的日志模块可以方便用户和开发人员更好的对SSD产品进行高效的维护和开发。业界一般较为普遍的日志模块所使用的存储器件包括NAND FLASH(NAND闪存，一种非易失闪存)和NOR FLASH(一种非易失闪存)。
在NOR FLASH保存元数据的场景下，日志原始数据和元数据被分别保存到了不同的介质上，造成了两个模块单元的依赖关系。当NOR FLASH器件出现异常无法访问时，会导致日志模块的原始数据无法访问。
在NAND FLASH保存元数据的场景下，每下刷一次日志原始数据，都需要同步下刷一次元数据。由于NAND FLASH的介质属性，保存元数据时需要按照页大小对齐的方式来保存。一个物理页大小一般为4KB或者16KB，而元数据实际大小一般不超过100字节，这样一来，形成了事实上的写放大效应；同时，由于日志下刷时需要分别保存一次原始数据和元数据，过程存在两个步骤，当在异常断电等特殊场景下，有可能会出现无法保证两个步骤的原子性的问题，从而导致持久化保存的元数据和原始数据出现不匹配的问题。
发明内容
有鉴于此，本发明的目的在于提出一种日志管理方法、系统、存储介质及设备，用以解决现有技术中具有依赖关系的元数据和日志数据保存在不同的介质上，导致一个器件出问题另一个就受到影响，并且同步下刷浪费物理页，另外断电时再恢复可能导致元数据和日志数据匹配混乱的问题。
基于上述目的，本发明提供了一种日志管理方法，包括以下步骤：
将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；
启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。
在一些实施例中，系统具有两个缓存器。
在一些实施例中，方法还包括：
响应于第一缓存器的所有第一区间已满，使用第二缓存器的每个第一区间缓存日志数据；以及
使用第二缓存器的每个第二区间缓存对应的元数据。
在一些实施例中，每个缓存区域的大小与闪存中物理页的大小相同，缓存器的大小为物理页大小的整数倍。
在一些实施例中，方法还包括：
将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中。
在一些实施例中，将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中包括：
将每个缓存区域的日志数据和对应的元数据按照缓存顺序存储至对应的物理页中。
在一些实施例中，方法还包括：
在存储过程中为每个第二区间的元数据分别添加标号，得到多个标号，多个标号的值逐渐增大；
响应于系统重新上电，扫描闪存中的每个物理页，以查找每个物理页中的元数据；
将查找到的元数据的标号值进行比较，以确定标号值最大的元数据；
基于标号值最大的元数据所对应的日志数据确定系统上次下电时的最新日志数据；
基于最新日志数据进行日志恢复。
本发明的另一方面，还提供了一种日志管理系统，包括：
划分模块，配置用于将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
第一缓存模块，配置用于将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
第二缓存模块，配置用于响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；以及
下刷模块，配置用于启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。
本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果：
本发明的日志管理方法，通过将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间，并将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间，并在当前日志数据占满第一区间时，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间，并启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据，从而通过将日志数据和元数据统一打包在缓存中下刷的方式，实现了对日志数据和元数据的高效管理，避免了具有依赖关系的元数据和日志数据保存在不同的介质上导致一个器件出问题另一个就受到影响的问题，并且能够实现日志模块在上下电场景中数据的记录和恢复功能，在减少模块间的耦合和对系统资源占用的同时，增强了日志模块的健壮性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的日志管理方法的示意图；
图2为根据本发明实施例提供的缓存管理的流程示意图；
图3为根据本发明实施例提供的日志管理系统的示意图；
图4为根据本发明实施例提供的实现日志管理方法的计算机可读存储介质的示意图；
图5为根据本发明实施例提供的执行日志管理方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种日志管理方法的实施例。图1示出的是本发明提供的日志管理方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
步骤S10、将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
步骤S20、将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
步骤S30、响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；
步骤S40、启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。
本发明实施例的日志管理方法，通过将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间，并将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间，并在当前日志数据占满第一区间时，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间，并启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据，从而通过将日志数据和元数据统一打包在缓存中下刷的方式，实现了对日志数据和元数据的高效管理，避免了具有依赖关系的元数据和日志数据保存在不同的介质上导致一个器件出问题另一个就受到影响的问题，并且能够实现日志模块在上下电场景中数据的记录和恢复功能，在减少模块间的耦合和对系统资源占用的同时，增强了日志模块的健壮性。
在一些实施例中，系统具有两个缓存器。
本发明实施例中，通过使用两个缓存器进行切换，能够在保证日志数据顺利缓存不中断的情况下，节省硬件资源。
在一些实施例中，方法还包括：响应于第一缓存器的所有第一区间已满，使用第二缓存器的每个第一区间缓存日志数据；以及使用第二缓存器的每个第二区间缓存对应的元数据。
图2为根据本发明实施例提供的缓存管理的流程示意图。如图2所示，本实施例通过使用两个缓存器对系统运行过程中产生的日志数据进行缓存。两个缓存器可以通过乒乓的方式来实现数据的不间断记录，当一块缓存器使用满后启动下刷流程，同时切换到另一块缓存器来实现数据的不间断缓存功能。
缓存器为DDR缓存器(Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
在一些实施例中，每个缓存区域的大小与闪存中物理页的大小相同，缓存器的大小为物理页大小的整数倍。
在一些实施例中，方法还包括：将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中。
本实施例中，闪存为NAND FLASH(NAND闪存，一种非易失闪存)。每一个缓存器的大小为NAND FLASH物理页大小(4KB或者16KB)的整数倍。每个物理页(Page)上保存的数据分为两部分：原始数据和元数据。假设元数据大小为N字节，NAND FLASH物理页大小为16KB，则缓存上面从起始位置到(16KB-N)的这一块区域保存的是日志原始数据，后面[N,16KB]的区域保存的是日志元数据。解决了具有依赖关系的元数据和日志数据保存在不同的介质上，导致同步下刷浪费物理页的问题。
在一些实施例中，将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中包括：将每个缓存区域的日志数据和对应的元数据按照缓存顺序存储至对应的物理页中。
本实施例中，当系统产生的日志数据量达到了(16KB-N)时，认为缓存数据已满，此时将对应最后一笔日志数据时刻的元数据拷贝到当前缓存的[N,16KB]区域，并启动缓存区域下刷。通过按照缓存顺序将日志数据和对应的元数据存储至对应的物理页，有利于维持数据存储秩序。
在一些实施例中，方法还包括：在存储过程中为每个第二区间的元数据分别添加标号，得到多个标号，多个标号的值逐渐增大；响应于系统重新上电，扫描闪存中的每个物理页，以查找每个物理页中的元数据；将查找到的元数据的标号值进行比较，以确定标号值最大的元数据；基于标号值最大的元数据所对应的日志数据确定系统上次下电时的最新日志数据；基于最新日志数据进行日志恢复。
目前，在SSD(Solid State Disk，固态硬盘)的应用场景中，正常或异常掉电后日志信息的恢复是一个需要着重考虑的基本场景，良好设计的日志模块需要在重新上电后支持上次上电周期内日志数据的恢复和导出，以及上次下电前日志数据在存储介质记录的末尾位置，从而确认本次上电周期日志数据记录的起始位置。一般会通过日志模块元数据的管理功能来实现以上两个需求。所谓的日志元数据指的是维护当前日志模块所用NAND资源实时状态信息的数据，包括使用的Block(块)信息，日志的头尾信息等。因此，要进行日志恢复，就需要知道上次下电前末尾位置的日志数据。
本实施例中，使用在时间顺序上递增的标号来标识每一笔元数据的新旧关系。在下次上电流程中恢复日志模块数据时，扫描预分配给日志模块的所有NAND Block资源，对每一个预分配的Block(一个Block包括多个Page)，扫描其上面每一个Page(物理页)的最后N个字节，通过这种方式获取出每一笔元数据。通过比较标号值的方式找到最后一笔元数据，即为上次下电时系统日志模块的最终状态，这样就能恢复出日志模块的日志数据和元数据，从而也能确定本次上电周期日志模块能使用的闪存资源信息。
本发明实施例的第二个方面，还提供了一种日志管理系统。图3示出的是本发明提供的日志管理系统的实施例的示意图。如图3所示，一种日志管理系统包括：划分模块10，配置用于将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；第一缓存模块20，配置用于将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；第二缓存模块30，配置用于响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；以及下刷模块40，配置用于启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。
本发明的日志管理系统，通过将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间，并将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间，并在当前日志数据占满第一区间时，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间，并启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据，从而通过将日志数据和元数据统一打包在缓存中下刷的方式，实现了高效管理日志数据和元数据，避免了具有依赖关系的元数据和日志数据保存在不同的介质上导致一个器件出问题另一个就受到影响的问题，并且能够实现日志模块在上下电场景中数据的记录和恢复功能，在减少模块间的耦合和对系统资源占用的同时，增强了日志模块的健壮性。
在一些实施例中，系统具有两个缓存器。
在一些实施例中，系统还包括缓存器切换模块，配置用于响应于第一缓存器的所有第一区间已满，使用第二缓存器的每个第一区间缓存日志数据；以及使用第二缓存器的每个第二区间缓存对应的元数据。
本实施例通过使用两个缓存器(DDR缓存器，Double Data Rate SDRAM，双倍速率同步动态随机存储器)对系统运行过程中产生的日志数据进行缓存。两个缓存器可以通过乒乓的方式来实现数据的不间断记录，当一块缓存器使用满后启动下刷流程，同时切换到另一块缓存器来实现数据的不间断缓存功能。
在一些实施例中，每个缓存区域的大小与闪存中物理页的大小相同，缓存器的大小为物理页大小的整数倍。
在一些实施例中，系统还包括存储模块，配置用于将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中。
每一个缓存器的大小为物理页大小(4KB或者16KB)的整数倍。每个物理页(Page)上保存的数据分为两部分：原始数据和元数据。假设元数据大小为N字节，物理页大小为16KB，则缓存上面从起始位置到(16KB-N)的这一块区域保存的是日志原始数据，后面[N,16KB]的区域保存的是日志元数据。解决了具有依赖关系的元数据和日志数据保存在不同的介质上，导致同步下刷浪费物理页的问题。
在一些实施例中，存储模块进一步配置用于将每个缓存区域的日志数据和对应的元数据按照缓存顺序存储至对应的物理页中。
本实施例中，当系统产生的日志数据量达到了(16KB-N)时，认为缓存数据已满，此时将对应最后一笔日志数据时刻的元数据拷贝到当前缓存的[N,16KB]区域，并启动缓存区域下刷。通过按照缓存顺序将日志数据和对应的元数据存储至对应的物理页，有利于维持数据存储秩序。
在一些实施例中，系统还包括日志恢复模块，配置用于在存储过程中为每个第二区间的元数据分别添加标号，得到多个标号，多个标号的值逐渐增大；响应于系统重新上电，扫描闪存中的每个物理页，以查找每个物理页中的元数据；将查找到的元数据的标号值进行比较，以确定标号值最大的元数据；基于标号值最大的元数据所对应的日志数据确定系统上次下电时的最新日志数据；基于最新日志数据进行日志恢复。
本实施例中，使用在时间顺序上递增的标号来标识每一笔元数据的新旧关系。在下次上电流程中恢复日志模块数据时，扫描预分配给日志模块的所有NAND Block资源，对每一个预分配的Block(一个Block包括多个Page)，扫描其上面每一个Page(物理页)的最后N个字节，通过这种方式获取出每一笔元数据。通过比较标号值的方式找到最后一笔元数据，即为上次下电时系统日志模块的最终状态，这样就能恢复出日志模块的日志数据和元数据，从而也能确定本次上电周期日志模块能使用的闪存资源信息。
本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图4示出了根据本发明实施例提供的实现日志管理方法的计算机可读存储介质的示意图。如图4所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现如下步骤：
将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
将系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
响应于当前日志数据占满第一区间，将当前日志数据对应的元数据缓存至当前缓存区域的第二区间；
启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存系统运行产生的下一日志数据。
在一些实施例中，系统具有两个缓存器。
在一些实施例中，步骤还包括：响应于第一缓存器的所有第一区间已满，使用第二缓存器的每个第一区间缓存日志数据；以及使用第二缓存器的每个第二区间缓存对应的元数据。
在一些实施例中，每个缓存区域的大小与闪存中物理页的大小相同，缓存器的大小为物理页大小的整数倍。
在一些实施例中，步骤还包括：将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中。
在一些实施例中，将每个缓存区域的日志数据和对应的元数据存储至对应的物理页中包括：将每个缓存区域的日志数据和对应的元数据按照缓存顺序存储至对应的物理页中。
在一些实施例中，步骤还包括：在存储过程中为每个第二区间的元数据分别添加标号，得到多个标号，多个标号的值逐渐增大；响应于系统重新上电，扫描闪存中的每个物理页，以查找每个物理页中的元数据；将查找到的元数据的标号值进行比较，以确定标号值最大的元数据；基于标号值最大的元数据所对应的日志数据确定系统上次下电时的最新日志数据；基于最新日志数据进行日志恢复。
应当理解，在相互不冲突的情况下，以上针对根据本发明的日志管理方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的日志管理系统和存储介质。
本发明实施例的第四个方面，还提供了一种计算机设备，包括如图5所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图5所示，为本发明提供的执行日志管理方法的计算机设备的一个实施例的硬件结构示意图。以如图5所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与日志管理系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的日志管理方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储日志管理方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的日志管理方法。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种日志管理方法，其特征在于，包括以下步骤：
将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
将所述系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
响应于所述当前日志数据占满所述第一区间，将所述当前日志数据对应的元数据缓存至所述当前缓存区域的第二区间；
启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存所述系统运行产生的下一日志数据。
2.根据权利要求1所述的方法，其特征在于，所述系统具有两个所述缓存器。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于第一缓存器的所有第一区间已满，使用第二缓存器的每个第一区间缓存日志数据；以及
使用所述第二缓存器的每个第二区间缓存对应的元数据。
4.根据权利要求1所述的方法，其特征在于，所述每个缓存区域的大小与闪存中物理页的大小相同，所述缓存器的大小为所述物理页大小的整数倍。
5.根据权利要求4所述的方法，其特征在于，还包括：
将所述每个缓存区域的日志数据和对应的元数据存储至对应的物理页中。
6.根据权利要求5所述的方法，其特征在于，将所述每个缓存区域的日志数据和对应的元数据存储至对应的物理页中包括：
将所述每个缓存区域的日志数据和对应的元数据按照缓存顺序存储至对应的物理页中。
7.根据权利要求6所述的方法，其特征在于，还包括：
在存储过程中为每个第二区间的元数据分别添加标号，得到多个标号，所述多个标号的值逐渐增大；
响应于所述系统重新上电，扫描所述闪存中的每个物理页，以查找所述每个物理页中的元数据；
将查找到的元数据的标号值进行比较，以确定标号值最大的元数据；
基于所述标号值最大的元数据所对应的日志数据确定所述系统上次下电时的最新日志数据；
基于所述最新日志数据进行日志恢复。
8.一种日志管理系统，其特征在于，包括：
划分模块，配置用于将固态硬盘系统的缓存器分为多个缓存区域，并将每个缓存区域划分为第一区间和第二区间；
第一缓存模块，配置用于将所述系统运行产生的当前日志数据缓存至当前缓存区域的第一区间；
第二缓存模块，配置用于响应于所述当前日志数据占满所述第一区间，将所述当前日志数据对应的元数据缓存至所述当前缓存区域的第二区间；以及
下刷模块，配置用于启动缓存区域下刷操作，以使下一缓存区域的第一区间用于缓存所述系统运行产生的下一日志数据。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
CN202310748017.4A 2023-06-25 2023-06-25 一种日志管理方法、系统、存储介质及设备 Pending CN116775579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310748017.4A CN116775579A (zh) 2023-06-25 2023-06-25 一种日志管理方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310748017.4A CN116775579A (zh) 2023-06-25 2023-06-25 一种日志管理方法、系统、存储介质及设备

Publications (1)

Publication Number Publication Date
CN116775579A true CN116775579A (zh) 2023-09-19

Family

ID=88005956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310748017.4A Pending CN116775579A (zh) 2023-06-25 2023-06-25 一种日志管理方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN116775579A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118245461A (zh) * 2024-05-28 2024-06-25 山东云海国创云计算装备产业创新中心有限公司 一种日志处理方法、计算机程序产品、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118245461A (zh) * 2024-05-28 2024-06-25 山东云海国创云计算装备产业创新中心有限公司 一种日志处理方法、计算机程序产品、设备及介质

Similar Documents

Publication Publication Date Title
JP6316974B2 (ja) フラッシュメモリ圧縮
CN112631521B (zh) 一种控制缓存池水位的方法、系统、设备及介质
US20150378888A1 (en) Controller, flash memory apparatus, and method for writing data into flash memory apparatus
EP3287910A1 (en) Data backup method and data processing system
CN116775579A (zh) 一种日志管理方法、系统、存储介质及设备
CN111381779B (zh) 数据处理方法、装置、设备及存储介质
WO2014188528A1 (ja) メモリ装置、計算機システム及びメモリ装置の制御方法
CN104462225A (zh) 一种数据读取的方法、装置及系统
TWI493446B (zh) 記憶體管理方法及記憶體管理裝置
JP6167646B2 (ja) 情報処理装置、制御回路、制御プログラム、および制御方法
CN109683983B (zh) 一种镜像文件的生成及加载方法、设备
CN108762670B (zh) 一种ssd固件中数据块的管理方法、系统及装置
US20140258247A1 (en) Electronic apparatus for data access and data access method therefor
CN112799595A (zh) 数据处理方法、设备及存储介质
CN111857574A (zh) 一种写请求数据压缩方法、系统、终端及存储介质
CN103514140B (zh) 用于实现可重构系统中配置信息多发射的重构控制器
US20170046074A1 (en) Adaptive Data Compression for Data Storage in a Memory Device
CN107423425B (zh) 一种对k/v格式的数据快速存储和查询方法
CN116225334A (zh) 一种冷热数据存储方法、装置以及介质
CN113626089B (zh) 一种基于bios系统的数据操作方法、系统、介质及设备
CN108717395B (zh) 一种降低动态块映射信息占用内存的方法及装置
CN116027968A (zh) 闪存块读取次数压缩方法、装置、计算机设备及存储介质
CN107273188B (zh) 一种虚拟机中央处理单元cpu绑定方法及装置
CN111090633A (zh) 一种分布式文件系统的小文件聚合方法、装置及设备
CN113971006B (zh) 一种基于硬盘的数据写入方法、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination