CN115878580A - 一种日志管理方法及装置 - Google Patents

Abstract

一种日志管理方法及装置，涉及数据存储领域。该日志管理方法包括：首先，存储设备获取文件请求；其次，存储设备依据该文件请求记录语义日志，该语义日志为文件的元数据的操作记录，语义日志用于支持实现上述文件的元数据的多种增值服务；最后，存储设备在记录语义日志之后生成文件请求的响应请求。存储设备针对元数据的一次变化过程，仅需进行一次文件操作以生成语义日志，减少了文件系统所需的OPS，提高了文件系统的处理性能；由于该语义日志为文件的元数据的操作记录，且该语义日志支持实现元数据的多种增值服务，这减少了日志发布过程所需生成日志的次数，降低了日志发布所需的处理资源，提高了日志管理的效率。

Description

一种日志管理方法及装置

技术领域

本申请涉及数据存储领域，尤其涉及一种日志管理方法及装置。

背景技术

文件系统中的文件具有数据和元数据，元数据输入/输出(input/output，IO)操作会延伸出很多基于元数据的增值服务。通常，存储设备每增加一个与元数据相应的增值服务，都会单独记录一个元数据的变化日志(log)，该日志可以用于实现相应的增值服务。然而，由于存储设备会记录每种增值服务所需的日志，导致存储设备的文件系统所需的每秒操作次数(operations per second，OPS)较大，存储设备的数据访问性能受到影响。

发明内容

本申请提供一种日志管理方法及装置，解决了存储设备记录每种增值服务所需的日志导致的OPS较大，导致存储设备的数据访问性能降低的问题。

为达到上述目的，本申请采用如下技术方案。

第一方面，本申请提供了一种日志管理方法，该日志管理方法由存储设备执行，或者该方法可应用于可以支持存储设备实现该方法的存储系统，例如该存储系统包括芯片系统，该日志管理方法包括：首先，存储设备获取文件请求；其次，存储设备依据该文件请求记录语义日志，该语义日志包括文件的元数据的操作记录，该语义日志用于支持实现上述文件的元数据的多种增值服务；最后，存储设备在记录所述语义日志之后生成所述文件请求的响应请求。

在日志发布过程中，存储设备记录文件请求对应的语义日志，由于该语义日志为文件的元数据的操作记录，且该语义日志支持实现上述文件的元数据的多种增值服务，因此，存储设备无需生成每种元数据增值服务对应的日志，如配额日志(quotaLog)、目录日志(cataLog)或快照差异日志(Snapshot Difference Log)等，这减少了日志发布过程所需生成日志的次数，降低了日志发布所需的处理资源，提高了日志管理的效率。

换言之，由于在日志发布过程中，存储设备针对元数据的一次变化过程，仅需进行一次文件操作(operation)以生成语义日志，这减少了日志发布过程中文件系统所需的OPS，提高了文件系统的处理性能。

在一种可选的实现方式中，存储设备包括支持追加型写入的日志库。存储设备还可以将语义日志写入日志库。在日志发布过程中，由于日志库仅需记录一份语义日志，且该语义日志指示了文件的元数据的操作记录，也就是说，在本实施例提供的日志管理方法中，日志库仅需存储一份记录有文件的元数据的操作记录的语义日志，避免了存储每种增值服务所需的日志(如quotaLog、cataLog和快照差异日志等)，减少了日志管理所需的存储资源，降低了存储设备的消耗。

在另一种可选的实现方式中，日志管理方法还包括：存储设备从语义日志中获取元数据的操作记录的副本，使用操作记录的副本实现多种增值服务中的一种增值服务。在一种可选的实现方式中，文件的元数据的增值服务包括：配额、目录搜索和快照差异处理中至少一种。存储设备可以依据日志库存储的一份语义日志实现多种元数据增值服务，避免存储设备保存每种元数据增值服务所需的日志，减少了存储设备的存储资源消耗；且多种元数据增值服务都是依据同一份语义日志实现的，保证了多种元数据增值服务的数据一致性。

在另一种可选的实现方式中，存储设备从语义日志中获取元数据的操作记录的副本，包括：存储设备接收订阅信息，并依据订阅信息从日志库中获取元数据的操作记录的副本。其中，该订阅信息指示日志库中新增有语义日志。例如，存储设备可以监听日志库中是否具有新增语义日志，并在日志库中具有新增语义日志的情况下，利用日志库中新增的语义日志实现元数据的增值服务。由于存储设备无需预读取语义日志，由存储设备中消费该语义日志的进程读取该语义日志，减少了语义日志所需传输的次数，减少了语义日志传输所需的时间，提高了日志消费过程的效率。

在另一种可选的实现方式中，存储设备获取文件请求，包括：存储设备获取客户端的操作信息，并依据操作信息发布文件请求。其中，操作信息指示新增文件、删除文件或设置文件属性中至少一种。

第二方面，本申请提供一种日志管理装置，有益效果可以参见第一方面中任一方面的描述，此处不再赘述。所述日志管理装置具有实现上述第一方面中任一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，该日志管理装置可应用于存储设备，或者该日志管理装置可应用于可以支持存储设备实现该方法的存储系统，例如该存储系统包括芯片系统，该日志管理装置包括：获取单元，用于获取文件请求；日志发布单元，用于依据文件请求记录语义日志；语义日志包括文件的元数据的操作记录，语义日志用于支持实现文件的元数据的多种增值服务；处理单元，用于在记录语义日志之后生成文件请求的响应请求。

在一种可选的实现方式中，该日志管理装置还包括：读取单元，用于从语义日志中获取元数据的操作记录的副本；消费单元，用于使用操作记录的副本实现多种增值服务中的一种增值服务。

在另一种可选的实现方式中，文件的元数据的增值服务包括：配额、目录搜索和快照差异处理中至少一种。

在另一种可选的实现方式中，存储设备包括支持追加型写入的日志库，处理单元还用于将语义日志写入日志库。

在另一种可选的实现方式中，处理单元具体用于：接收订阅信息，并依据订阅信息从日志库中获取元数据的操作记录的副本；订阅信息指示日志库中新增有语义日志。

在另一种可选的实现方式中，获取单元，具体用于：获取客户端的操作信息，并依据操作信息发布文件请求；操作信息指示新增文件、删除文件或设置文件属性中至少一种。

第三方面，本申请提供一种存储设备，包括存储器和处理器，存储器用于存储计算机指令，当处理器从存储器中调用并运行计算机指令时，实现第一方面和第一方面中任一种可能实现方式的日志管理方法的操作步骤。

第四方面，本申请提供一种计算机可读存储介质，存储介质中存储有计算机程序或指令，当计算机程序或指令被处理器或通信设备执行时，实现第一方面和第一方面中任一种可能实现方式的日志管理方法的操作步骤。

第五方面，本申请提供一种计算机程序产品，当计算机程序产品在计算机或服务器等通信设备上运行时，使得计算机或服务器执行第一方面和第一方面中任一种可能实现方式的日志管理方法的操作步骤。

第六方面，本申请提供一种日志系统，该日志系统包括存储设备和至少一个客户端。首先，存储设备获取客户端的文件请求；其次，存储设备依据该文件请求记录语义日志，该语义日志包括文件的元数据的操作记录，语义日志用于支持实现上述文件的元数据的多种增值服务；最后，存储设备在记录语义日志之后生成文件请求的响应请求。

存储设备将文件请求对应的语义日志写入日志库，由于该语义日志为文件的元数据的操作记录，且该语义日志支持实现上述文件的元数据的一种或多种增值服务，因此，存储设备无需生成每种元数据增值服务对应的日志，如配额日志、目录日志或快照差异日志等，这减少了日志发布过程所需生成日志的次数，降低了日志发布所需的处理资源，提高了日志管理的效率。换言之，存储设备针对元数据的一次变化过程，仅需进行一次文件操作(operation)以生成语义日志，这减少了日志发布过程中文件系统所需的OPS，提高了文件系统的处理性能。

本申请提供的日志系统可以实现第一方面和第一方面中任一种可能实现方式的日志管理方法的操作步骤，有益效果可以参见第一方面中任一方面的描述，此处不再赘述。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

图1为本申请提供的一种存储系统的结构示意图；

图2为本申请提供的一种文件系统的示意图；

图3为本申请提供的一种日志管理方法的流程图一；

图4为本申请提供的一种日志管理方法的流程图二；

图5为本申请提供的一种日志管理装置的结构示意图。

具体实施方式

本申请说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍。

图1为本申请提供的一种存储系统的结构示意图，该存储系统包括：一个或多个主机(如图1所示出的主机100)，以及存储设备120。

在图1所示的应用场景中，用户通过应用程序来存取数据。运行这些应用程序的计算机可以被称为“主机”。主机可以是物理机，也可以是虚拟机(virtual machine，VM)。物理主机包括但不限于桌面电脑、服务器、笔记本电脑以及移动设备。

在一种可选的实现方式中，该主机可以运行在存储设备120上。

值得注意的是，在一些情形中，上述的主机(host)也可以称为客户端(client)。

在一种可能的示例中，主机通过网络访问存储设备120以存取数据，例如，该网络可以包括交换机110。

在另一种可能的示例中，主机也可以通过有线连接与存储设备120通信，例如，通用串行总线(universal serial bus，USB)或快捷外围组件互连(peripheral componentinterconnect express，PCIe)高速总线等。

本申请提供的数据管理方法可以是由存储设备120执行的，例如，该存储设备120可以是集中式存储系统或分布式存储系统。

图1所示的存储设备120可以是一个集中式存储系统。集中式存储系统的特点是有一个统一的入口，所有从外部设备来的数据都要经过这个入口，这个入口就是集中式存储系统的引擎121。引擎121是集中式存储系统中最为核心的部件，许多存储系统的高级功能都在其中实现。

如图1所示，引擎121中可以有一个或多个控制器，图1以引擎121包含一个控制器为例予以说明。在一种可能的示例中，若引擎121具有多个控制器，任意两个控制器之间可以具有镜像通道，实现任意两个控制器互为备份的功能，从而避免硬件故障导致整个存储设备120的不可用。

引擎121还包含前端接口1211和后端接口1214，其中前端接口1211用于与主机通信，从而为主机提供存储服务。而后端接口1214用于与硬盘通信，以扩充存储设备120的容量。通过后端接口1214，引擎121可以连接更多的硬盘，从而形成一个非常大的存储资源池。

在硬件上，如图1所示，控制器至少包括处理器1212、内存1213。处理器1212是一个中央处理器(central processing unit，CPU)，用于处理来自存储设备120外部(服务器或者其他存储系统)的数据访问请求，也用于处理存储设备120内部生成的请求。本申请的实施例中的处理器还可以是神经处理器(Neural processing unit，NPU)或图形处理器(Graphic processing unit，GPU)，或其它通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

示例性的，处理器1212通过前端端口1211接收主机发送的写数据请求时，会将这些写数据请求中的数据暂时保存在内存1213中。当内存1213中的数据总量达到一定阈值时，处理器1212通过后端端口将内存1213中存储的数据发送给机械硬盘(hard diskdrive，HDD)1211、机械硬盘1222、固态硬盘(solid state drive，SSD)1223或其他硬盘1224中至少一个硬盘进行持久化存储。在一种示例中，该其他硬盘1224可以是HDD，SSD，叠瓦式磁记录(shingled magneting recording，SMR)磁盘，或支持分区命名空间(zonednamespace，ZNS)的SSD，或其他存储器，如持久化存储器(persistent memory，PMEM)等。

内存1213是指与处理器直接交换数据的内部存储器，它可以随时读写数据，而且速度很快，作为操作系统或其他正在运行中的程序的临时数据存储器。内存包括至少两种存储器，例如内存既可以是随机存取存储器，也可以是只读存储器(Read Only Memory，ROM)。举例来说，随机存取存储器是DRAM，或者SCM。DRAM是一种半导体存储器，与大部分随机存取存储器(Random Access Memory，RAM)一样，属于一种易失性存储器(volatilememory)设备。然而，DRAM和SCM在本实施例中只是示例性的说明，内存还可以包括其他随机存取存储器，例如静态随机存取存储器(Static Random Access Memory，SRAM)等。而对于只读存储器，举例来说，可以是可编程只读存储器(Programmable Read Only Memory，PROM)、可抹除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)等。另外，内存1213还可以是双列直插式存储器模块或双线存储器模块(Dual In-line MemoryModule，简称DIMM)，即由动态随机存取存储器(DRAM)组成的模块，还可以是SSD。实际应用中，控制器中可配置多个内存1213，以及不同类型的内存1213。本实施例不对内存1213的数量和类型进行限定。此外，可对内存1213进行配置使其具有保电功能。保电功能是指系统发生掉电又重新上电时，内存1213中存储的数据也不会丢失。具有保电功能的内存被称为非易失性存储器。

内存1213中存储有软件程序，处理器1212运行内存1213中的软件程序可实现对硬盘的管理。例如将硬盘抽象化为存储资源池，并将存储资源池以逻辑单元号(logical unitnumber，LUN)的形式提供给服务器使用等。这里的LUN其实就是在服务器上看到的硬盘。

示例性的，上述的内存1213也可以是其他存储器，该存储器可以用于存储一组计算机指令；当处理器1212执行该组计算机指令时，可以实现本发明实施例提供的数据管理方法和存储空间管理方法。例如，该其他存储器可以是但不限于易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、PROM、EPROM、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是RAM，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM、DRAM、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

另外，图1中只示出了一个引擎121，然而在实际应用中，存储系统中可包含两个或两个以上引擎121，多个引擎121之间做冗余或者负载均衡。

作为一种可选的实现方式，在图1所示出的该存储系统中，引擎121可以不具有硬盘槽位，硬盘需要放置在硬盘框中，后端接口1214与硬盘框通信。后端接口1214以适配卡的形态存在于引擎121中，一个引擎121上可以同时使用两个或两个以上后端接口1214来连接多个硬盘框。或者，适配卡也可以集成在主板上，此时适配卡可通过PCIe总线与处理器1212通信。

硬盘框包括控制单元和若干个硬盘。控制单元可具有多种形态。一种情况下，硬盘框属于智能盘框，如控制单元包括CPU和内存。CPU用于执行地址转换以及读写数据等操作。内存用于临时存储将要写入硬盘的数据，或者从硬盘读取出来将要发送给控制器的数据。另一种情况下，控制单元是一个可编程的电子部件，例如数据处理单元(data processingunit，DPU)。DPU具有CPU的通用性和可编程性，但更具有专用性，可以在网络数据包，存储请求或分析请求上高效运行。DPU通过较大程度的并行性(需要处理大量请求)与CPU区别开来。可选的，这里的DPU也可以替换成图形处理单元(graphics processing unit，GPU)、嵌入式神经网络处理器(neural-network processing units，NPU)等处理芯片。通常情况下，控制单元的数量可以是一个，也可以是两个或两个以上。控制单元的功能可以卸载到网卡硬盘框中的网卡上。换言之，在该种实施方式中，硬盘框内部不具有控制单元，而是由网卡来完成数据读写、地址转换以及其他计算功能。此时，网卡是一个智能网卡。它可以包含CPU和内存。CPU用于执行地址转换以及读写数据等操作。内存用于临时存储将要写入硬盘的数据，或者从硬盘读取出来将要发送给控制器的数据。也可以是一个可编程的电子部件，例如DPU。硬盘框中的网卡和硬盘之间没有归属关系，网卡可访问该硬盘框中任意一个硬盘(如图1所示出的机械硬盘1221、机械硬盘1222、固态硬盘1223和其他硬盘1224)，因此在存储空间不足时扩展硬盘会较为便捷。

按照引擎与硬盘框之间通信协议的类型，硬盘框可能是串行连接的小型计算机系统接口(serial attached small computer system interface，SAS)的硬盘框，也可能是NVMe(non-volatile memory express)硬盘框以及其他类型的硬盘框。SAS硬盘框，采用SAS3.0协议，每个框支持25块SAS硬盘。引擎通过板载SAS接口或者SAS接口模块与硬盘框连接。NVMe硬盘框，更像一个完整的计算机系统，NVMe硬盘插在NVMe硬盘框内。NVMe硬盘框再通过远程直接数据存取(remote direct memory access，RDMA)端口与引擎连接。

另外，图1所示的存储设备120还可以是分布式存储系统，该分布式存储系统包括计算节点集群和存储节点集群，计算节点集群包括一个或多个计算节点，各个计算节点之间可以相互通信。计算节点可以是服务器、台式计算机或者存储阵列的控制器等。在硬件上，计算节点可以包括处理器、内存和网卡等。其中，处理器是一个CPU，用于处理来自计算节点外部的数据访问请求，或者计算节点内部生成的请求。示例性的，处理器接收用户发送的写数据请求时，会将这些写数据请求中的数据暂时保存在内存中。当内存中的数据总量达到一定阈值时，处理器将内存中存储的数据发送给存储节点进行持久化存储。除此之外，处理器还用于数据进行计算或处理，例如元数据管理、重复数据删除、数据压缩、虚拟化存储空间以及地址转换等。

示例的，分布式存储系统可以是通过网络附加存储(Network Attached Storage，NAS)技术实现的，NAS是指基于互联网协议(Internet Protocol，IP)网络、通过文件级的数据访问和共享提供存储资源的网络存储架构。在NAS场景中，对服务器/主机而言，NAS是一个外部设备，NAS用于为分布式存储系统中的服务器/主机提供文件级存储空间。

可选的，一些集中式存储系统本身也是文件服务器，可以为服务器提供共享文件服务。示例的，图1所示出的控制器上可以部署有一个文件系统，如图2所示，图2为本申请提供的一种文件系统的示意图，文件系统是一个结构化的数据文件存储和组织形式。

在计算机中，所有的数据都是0和1，存储在硬件介质上的一连串的01组合对计算机来说完全无法去分辨以及管理。因此计算机用“文件”这个概念对这些数据进行组织，用于同一用途的数据，按照不同应用程序要求的结构方式组成不同类型的文件。通常用不同的后缀来指代不同的类型，然后计算机给每个文件起一个方便理解记忆的名字。而当文件很多的时候，计算机按照某种划分方式给这些文件(如图2所示出的灰色方块)分组，每一组文件放在同一个目录(或者叫文件夹，如图2所示出的黑色方块)里面。而且目录下面除了文件还可以有下一级目录(称之为子目录或者子文件夹)，所有的文件、目录形成一个树状结构。这个树状结构有一个专用的名字：文件系统(File System)。文件系统有很多类型，常见的有Windows的FAT/FAT32/NTFS，Linux的EXT2/EXT3/EXT4/XFS/BtrFS等。为了方便查找，从根节点开始逐级目录往下，一直到文件本身，把这些目录、子目录、文件的名字用特殊的字符(例如Windows/DOS用“\”，类Unix系统用“/”)拼接起来，这样的一串字符称之为文件路径，例如Linux中的“/etc/systemd/system.conf”或者Windows中的“C:\Windows\System32\taskmgr.exe”。路径是访问某个具体的文件的唯一标识。例如，Windows下的D:\data\file.exe就是一个文件的路径，它表示D分区下的data目录下的file.exe文件。

文件系统是建立在块设备上面的，文件系统不但记录文件路径，还记录哪些块组成一个文件，哪些块记录的是目录/子目录信息。不同的文件系统有不同的组织结构。为了方便管理，硬盘这样的块设备通常可以划分为多个逻辑块设备，也就是硬盘分区(Partition)。反过来，单个介质的容量、性能有限，可以通过某些技术手段把多个物理块设备组合成一个逻辑块设备，例如各种级别的独立磁盘冗余数组(redundant array ofindependent disks，RAID)，磁盘簇(Just a Bundle Of Disks，JBOD)等。文件系统也可以建立在这些逻辑块设备之上。无论如何，应用服务器应用并不需要关心所要访问的文件位于底层的块设备的具体位置，只需要该文件的文件名/标识符(identifier，ID)发送给文件系统，由文件系统根据所述文件名/ID查询出文件路径即可。

比较常见的文件访问协议是网络文件系统(Network File System，NFS)、文件共享协议(Common Internet of File System，CIFS)或者服务器消息块(Server MessageBlock，SMB)协议等，本实施例不对此进行任何限定。

另外，在整个计算机中，存储介质包括CPU L1 cache、CPU L2 cache、CPU L3cache、RAM、SSD/Flash、融合计算(Fusion Compute，FC)/SAS盘、SATA盘等。这些存储介质各自有不同的速度、容量、价格。访问速度越快的存储介质，其容量也越小，价格越高。如果所有数据都能够存储在CPU cache中，那么代码执行的速度将会达到最快，计算结果的存储也会达到最快，但是这是不可能的，外部庞大的数据量面对容量只有几兆字节的CPU cache是不可能容得下的，只能再增加一层外部存储介质，即RAM。CPU cache以及RAM都是作为一种缓存形式而存在的，处于缓存中的数据是暂时存在的，一旦掉电，其中数据将会丢失，所以需要将其写入一个在外部供电的情况下也可以永久保存数据的存储介质(如硬盘)中。

而硬盘也有很多种类型，每种类型的硬盘其性能也不同。例如，SSD的数据存储速度就高于传统的机械硬盘。如果将访问频繁并且性能要求又较高的数据放置在性高的硬盘中，而将原先存储在高性能的硬盘中的那些不被经常访问或者性能要求也不高的数据都移动到低性能的硬盘中，就可以物尽其用。

例如，文件级的分级存储可以配置多种策略，比如根据文件的关联应用程序、目录、用户、组、调用方式、大小、访问频度等各种五花八门的属性来作为分类条件和触发条件，以任何卷或者目录为迁移目标进行迁移。而块级别的分级存储，通常时根据整个LUN或者LUN中某个或某些数据块(block)的访问频率进行整个LUN或者其中部分block的迁移。

下面将结合附图对本申请实施例的实施方式进行详细描述。

图3为本申请提供的一种日志管理方法的流程图一，其中，日志管理的过程包括日志发布过程和日志订阅过程，日志管理的功能可以由图1所示出的存储设备实现。

在日志发布过程中，发布节点31和元数据节点32的功能可以由图1所示出的存储设备120中控制器实现。

发布节点31可以用于接收客户端/主机的操作信息，并依据该操作信息生成文件系统的文件操作请求。

元数据节点32用于管理文件系统的命名空间(namespace)，例如，该namespace可以是由支持分区命名空间(zoned namespace，ZNS)的SSD提供的。该ZNS SSD将一个namespace的逻辑地址空间切分成一个个的区域zone。Zone的基本操作包括读(read)、追加写(append write)、空间管理(zone management)和获取日志页面(get log page)等。另外，在每一个zone中，数据是顺序写入的。所述第一区域和所述第二区域为所述命名空间中的区域zone。SSD包含控制器和存储介质，存储介质可以是闪存Flash。控制器用于执行对SSD的数据访问。

元数据节点32还可以将所有的文件和文件的元数据保存在一个文件系统树中。示例的，文件和文件的元数据也可以在硬盘上保存成以下形式：命名空间镜像(namespaceimage)及修改日志(edit log)。

值得注意的是，在一种可能的实现方式中，发布节点31和元数据节点32的功能可以集成在一个节点上，如日志发布节点，该日志发布节点可以实现上述发布节点31和元数据节点32的功能。

在另一种可能的实现方式中，发布节点31和元数据节点32的功能还可以设置在更多节点上，该更多节点可以实现上述发布节点31和元数据节点32的功能。

日志库33的存储功能可以由存储设备120中内存1213或硬盘实现，如机械硬盘1221、机械硬盘1222、固态硬盘1223或其他硬盘1224。日志库33用于存储文件的元数据的语义日志，该语义日志用于指示该文件的元数据的操作记录。

例如，日志库33可以是指存储设备120中支持追加型写入的存储空间。日志库33以追加型写入的方式保存日志或数据，可以避免日志的序列出现紊乱，提高日志的一致性，提高存储设备保存数据的准确性。

在一种可选的实现方式中，在存储设备120为分布式存储系统的情况下，日志库33的存储功能也可以由一个或多个存储节点实现的。

在日志订阅过程中，订阅节点34和消费节点35的功能可以由图1所示出的存储设备120中控制器实现。

订阅节点34可以用于订阅日志库33中所存储的语义日志。

消费节点35可以用于依据上述的语义日志实现文件的增值服务，该增值服务可以包括，但不限于：文件配额、目录搜索、快照或空间释放等功能。

值得注意的是，在一种可能的实现方式中，订阅节点34和消费节点35的功能可以集成在一个节点上，如日志订阅节点，该日志订阅节点可以实现上述订阅节点34和消费节点35的功能。

在另一种可能的实现方式中，订阅节点34和消费节点35的功能还可以设置在更多节点上，该更多节点可以实现上述订阅节点34和消费节点35的功能。

上述的节点可以是指硬件处理器，也可以是指部署在存储设备120中控制器上的虚拟机(virtual machine，VM)或者容器(container)。

下面基于图3所示出的发布节点31、元数据节点32、日志库33、订阅节点34和消费节点，对本实施例提供的日志管理方法进行说明，本实施例提供的日志管理方法包括以下步骤。

S310，发布节点31发布文件请求。

该文件请求为对文件进行操作的请求，例如，该文件请求用于指示元数据节点32修改文件的元数据(matadata)。

值得注意的是，文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据(业务数据)，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息(如inode)等等。在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。客户端/主机需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。

示例的，文件的元数据用于描述文件中数据属性(property)的信息，元数据又称中介数据或中继数据。例如，文件中数据的属性可以包括，但不限于：文件中数据所占用的存储空间、文件的名称(文件名)、文件的存储位置(如目录)，或文件所包括的子文件信息等。另外，元数据可以用于支持如指示存储位置、历史数据、资源查找、文件记录等功能。

另外，元数据是一种电子式目录，为了达到编制该目录的目的，存储设备可以描述并收藏文件的数据的内容或特色，进而达成协助数据检索的目的。

在第一种可选的示例中，该文件请求是创建(creat)文件的请求，如，该创建(creat)文件的请求指示存储设备新增一个或多个文件，并记录该新增的文件的元数据。

在第二种可选的示例中，该文件请求是删除(delete)文件的请求，如，该删除(delete)文件的请求指示存储设备删除一个或多个文件包括的数据(如业务数据)，并删除该文件的元数据。

在第三种可选的示例中，该文件请求是设置(setattr)文件属性的请求，如，该设置(setattr)文件属性的请求指示存储设备修改一个或多个文件的属性(文件的元数据)。

上述三种示例仅为本实施例提供的文件请求的可能的实现方式，文件请求还可以指示存储设备实现更多类型的文件操作。

在一种可能的情形中，上述的文件请求可以是发布节点31依据客户端/主机的操作信息生成的，例如，发布节点31获取到操作信息后，依据该操作信息生成文件请求。该操作信息可以是通过鼠标或键盘等输入设备获取的信息，还可以是通过麦克风等语音设备获取的语音信息，也可以是通过摄像头和处理器等设备获取的手势信息等。

S320，元数据节点32依据文件请求将语义日志写入日志库33。

其中，该语义日志包括与该文件请求对应的文件的元数据操作记录。

作为一种可选的实现方式中，上述的S320具体包括以下的步骤：首先，元数据节点32接收来自发布节点31的文件请求；其次，元数据节点32依据该文件请求修改文件请求指示的文件的元数据；最后，元数据节点32记录该文件的元数据的语义日志，并将该语义日志写入日志库33。另外，元数据节点32在记录上述的语义日志之后，还可以生成该文件请求的响应请求，如该响应请求指示

示例的，当文件系统的客户端/主机进行文件写操作时，元数据节点32将该文件写操作记录在修改日志中(edit log)。如，该edit log可以是上述的语义日志。

一种可能的具体示例中，元数据节点32在内存中保存了文件系统的元数据信息，并在记录了修改日志后，元数据节点修改该内存中的数据结构。另外，元数据节点32在每次的文件写操作成功之前，还可以将修改日志都会同步(sync)到文件系统。其中，元数据节点32记录修改日志的过程可以是将该修改日志写入日志库33中。

如此，在日志发布过程中，存储设备将文件请求对应的语义日志写入日志库，由于该语义日志为文件请求对应的文件的元数据操作记录，且该语义日志支持实现文件的元数据的一种或多种增值服务，因此，存储设备无需生成每种元数据增值服务对应的日志，如配额日志(quotaLog)、目录日志(cataLog)或快照差异日志(Snapshot Difference Log)等，这减少了日志发布过程所需生成日志的次数，降低了日志发布所需的处理资源，提高了日志管理的效率。

换言之，由于在日志发布过程中，存储设备针对元数据的一次变化过程，仅需进行一次文件操作(operation)以生成语义日志，这减少了日志发布过程中文件系统所需的OPS，提高了文件系统的处理性能。

另外，在通常技术中，quotaLog、cataLog和快照差异日志之间具有部分信息重复，造成多种元数据增值服务存在数据冗余，导致存储设备的存储资源被占用。

相比之下，本实施例提供的日志管理方法，在日志发布过程中，由于日志库仅需记录一份语义日志，且该语义日志为文件请求对应的文件的元数据操作记录，且该语义日志支持实现文件的元数据的一种或多种增值服务，因此，存储设备或客户端可以利用该语义日志实现quotaLog、cataLog和快照差异日志等的功能。也就是说，在本实施例提供的日志管理方法中，日志库仅需存储一份记录有文件的元数据的操作记录的语义日志，避免了存储每种增值服务所需的日志(如quotaLog、cataLog和快照差异日志等)，减少了日志管理所需的存储资源，降低了存储设备的消耗。

在一种可能的情形中，在元数据节点32将语义日志写入日志库33之后，元数据节点32还可以向发布节点31返回写入成功响应，该发布节点31可以依据该写入成功响应确定文件请求所指示的操作记录已经作为语义日志写入日志库，避免发布节点31重复的执行该文件请求所指示的操作，导致元数据节点32产生多份相同的语义日志，节省了存储设备的存储资源，减少了日志管理所需的OPS，提高了存储设备的日志管理性能。

作为一种可选的实现方式，存储设备中可以存储有文件系统的命名空间镜像(file system image，fsimage)文件，fsimage文件是指元数据节点32中元数据的检查点(checkpoint)，fsimage文件是一种序列化的格式，并不能够在硬盘上直接修改。同数据的机制相似，当元数据节点32执行文件的元数据操作失败时，则元数据节点32可以将最新的checkpoint中元数据从fsimage文件加载到存储设备的内存中，然后逐一重新执行元数据操作并记录语义日志。

在一种可能的情形中，存储设备中还可以部署有从元数据节点(secondarynamenode)，该从元数据节点用于辅助元数据节点32将内存中的元数据加载到硬盘上。值得注意的是，从元数据节点并不是元数据节点32出现问题时候的备用节点，从元数据节点和元数据节点负责不同的业务，例如，从元数据节点可以周期性将元数据节点32的fsimage文件和语义日志合并，以防语义日志文件过大。

具体的：首先，从元数据节点通知元数据节点32生成新的日志文件(语义日志)，以后的语义日志都写到该新的日志文件中；其次，从元数据节点利用“http get”指令从元数据节点获得fsimage文件及旧的日志文件；之后，从元数据节点将fsimage文件加载到内存中，并执行旧的日志文件中的操作，然后生成新的fsimage文件；再之后，从元数据节点利用“http post”指令将新的fsimage文件传回元数据节点；最后，元数据节点32可以将旧的fsimage文件及旧的日志文件，替换为新的fsimage文件和新的日志文件(第一步生成的)。

如此，由于元数据节点32中的fsimage文件保存了最新的checkpoint的元数据信息，语义日志文件也重新开始，日志库33无需存储多个指示同一条操作记录的语义日志，这降低了日志库33存储语义日志所需的存储资源，减少了语义日志所需的存储空间，提高了日志管理性能。

本实施例提供的日志管理方法中，当日志库33中已经存储有语义日志，还可以利用该语义日志实现元数据的增值服务，请继续参见图3，本实施例提供的日志管理方法还包括以下步骤。

S330，订阅节点34从日志库33读取语义日志。

在一种可能的示例中，订阅节点34读取日志库33中在一定时长内的语义日志。

例如，该时长可以是预设的，如1秒、1分钟、1小时、或1天等。

又如，该时长还可以是依据语义日志的文件大小确定的。如日志库33中每新增有100兆字节(mega bytes，MB)的语义日志，订阅节点34读取一次日志库33中所新增的该语义日志。

S340，消费节点35消费该订阅节点34读取的语义日志。

上述的“消费”是指利用该语义日志实现元数据的增值服务。

在一种可选的实现方式中，读取和消费语义日志的过程具体包括以下内容：从语义日志中获取对应的元数据的操作记录的副本，并使用该操作记录的副本实现多种增值服务中的一种增值服务。

例如，消费节点35可以利用该语义日志实现quotaLog的功能，quotaLog可以用于为文件系统配额，配额是指确定文件系统中目录上最多能创建的文件数量和写入数据量。在客户端/主机创建的文件数量或写入该目录的数据量大于设定的门限时，对客户端/主机的文件创建和数据写入过程进行限制。

又如，消费节点35可以利用该语义日志实现cataLog的功能，cataLog可以用于对文件系统包括的目录进行检索，例如统计文件系统中目录和文件的操作次数，该操作次数通常会体现文件的热度，文件的热度可以用于数据迁移，如把热的文件迁移到性能高的存储介质，把冷的文件迁移到冷的存储介质。

又如，消费节点35可以利用该语义日志实现快照差异日志的功能，快照差异日志用于记录两个快照间的数据差异，如在数据的增量备份的过程中，存储设备可以利用该快照差异日志快速备份。

上述的quotaLog、cataLog和快照差异日志仅为本实施例提供的元数据增值服务的日志实现方式，不应理解为对本申请的限定。在另一些可能的情形中，消费节点35还可以利用日志库33所存储的语义日志实现其他的元数据增值服务，如用户的文件及目录的热点分析、根据文件和目录的热度信息做数据分级、用户的文件系统的空间统计或删除大文件后台的空间释放(free space)等。

在本发明实施例提供的日志管理方法中，存储设备可以依据日志库存储的一份语义日志实现多种元数据增值服务，避免存储设备保存每种元数据增值服务所需的日志，减少了存储设备的存储资源消耗；且多种元数据增值服务都是依据同一份语义日志实现的，保证了多种元数据增值服务的数据一致性。

值得注意的是，图3所示出的日志订阅过程是以订阅节点34读取语义日志为例进行说明的，在一种可选的实现方式中，如图4所示，图4为本申请提供的一种日志管理方法的流程图二，图4是基于图3所示出的日志库33、订阅节点34和消费节点35，提供的另一种日志订阅过程的实现方式，图4所示出的日志订阅过程包括以下步骤S410～S440。

S410，订阅节点34向消费节点35通知日志库33中的语义日志已更新。

示例的，订阅节点34中可以部署一个事件监听(watch)进程，该事件监听进程用于监听日志库33中是否具有新增的语义日志。

例如，在订阅节点34中的事件监听进程确定日志库33中具有新增的语义日志的情况下，订阅节点34可以将该事件通知给消费节点35，如订阅节点34可以向消费节点发送一个订阅信息，该订阅信息指示日志库33中新增有语义日志；进而，消费节点35依据该订阅信息从日志库33中读取新增的语义日志，并执行该新增的语义日志对应的元数据的增值服务。

这里以图4所示出的元数据的增值服务包括配额服务、目录搜索服务和快照服务为例进行说明，如图4所示，日志订阅过程还包括以下步骤。

S420，消费节点35中配额服务从读取日志库33中的语义日志并消费该语义日志。

其中，“配额服务消费语义日志”是指配额服务从日志库33中读取该语义日志，并利用该语义日志实现quotaLog的功能，其具体实现可以参考上述S340的相关阐述，此处不予赘述。

S430，消费节点35中目录服务从读取日志库33中的语义日志并消费该语义日志。

其中，“目录搜索服务消费语义日志”是指配目录服务从日志库33中读取该语义日志，并利用该语义日志实现cataLog的功能，如上述S340的相关阐述。

在一种可能的情形中，cataLog可以包括以下一种或多种类型。

第一种类型，程序集目录日志(Assembly catalog)：表示从程序集中搜索部件的目录。

第二种类型，指定路径目录日志(Directory catalog)：表示从文件系统的指定路径中，搜索程序集，从而搜索部件。

第三种类型，指定类型目录日志(Type catalog)：表示从指定的类型集合中，去搜索相应的部件。

第四种类型，聚合目录日志(Aggregate catalog)：可以添加上面三种类型的目录日志，从而进行多方面的部件搜索。

值得注意的是，上述四种类型的cataLog仅为本实施例提供的示例，在一些可能的情形中，cataLog还可以是由用户根据使用需求进行定义的目录搜索日志，本申请对此不予限定。

S440，消费节点35中快照服务从读取日志库33中的语义日志并消费该语义日志。

其中，“快照服务消费语义日志”是指配快照服务从日志库33中读取该语义日志，并利用该语义日志实现快照差异日志的功能，其具体实现可以参考上述S340的相关阐述，此处不予赘述。

如此，本实施例提供的日志管理方法中，订阅节点34可以监听日志库33中是否具有新增语义日志，并在日志库33中具有新增语义日志的情况下，订阅节点34向消费节点35通知该事件，以便消费节点35利用日志库33中新增的语义日志实现元数据的增值服务。由于订阅节点34无需读取语义日志，由消费节点35从日志库35中读取该语义日志，减少了语义日志所需传输的次数，减少了语义日志传输所需的时间，提高了日志消费过程的效率。

另外，若消费节点35需同时实现元数据的多种增值服务，可以仅从日志库33中读取一次语义日志，并由不同的增值服务来利用该语义日志实现相应的功能。也就是说，语义日志从日志库33写入到消费节点35可以仅读取一次，这减少了传输语义日志所需的数据读写操作，提高了日志消费的效率。

值得注意的是，由于元数据的多种增值服务使用同一份语义日志，因此，该多种增值服务的数据流具有一致性，提高了日志管理的准确性。

在一些示例中，消费节点35还可以利用日志库33中的语义日志，对存储设备中文件的元数据进行趋势预测，以便获取存储设备中文件的元数据的变化规律，该变化规律可以作为后续的文件系统管理的参考信息。

可以理解的是，为了实现上述实施例中功能，存储设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。

图5为本申请提供的一种日志管理装置的结构示意图。该日志管理装置500可以用于实现上述方法实施例中各节点的功能，因此也能实现上述方法实施例所具备的有益效果。在本申请的实施例中，该日志管理装置500可以是如图1所示的存储设备120。

如图5所示，该日志管理装置500包括获取单元510，日志发布单元520，存储单元530，读取单元540和消费单元550，该日志管理装置500用于实现上述图3～图4中所示的方法实施例中各节点和日志库的功能。

当日志管理装置500用于实现图3所示的方法实施例时：获取单元510用于执行S310；日志发布单元520和存储单元530用于执行S320，读取单元540用于执行S330，消费单元550用于执行S340。

当日志管理装置500用于实现图3所示的方法实施例时：读取单元540和消费单元550用于协同实现S410～S440。

有关上述获取单元510，日志发布单元520，存储单元530，读取单元540和消费单元550更详细的描述可以直接参考图3～图4所示的方法实施例中相关描述直接得到，这里不加赘述。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系；在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。此外，对于单数形式“a”，“an”和“the”出现的元素(element)，除非上下文另有明确规定，否则其不意味着“一个或仅一个”，而是意味着“一个或多于一个”。例如，“a device”意味着对一个或多个这样的device。再者，至少一个(atleast one of).......”意味着后续关联对象中的一个或任意组合，例如“A、B和C中的至少一个”包括A，B，C，AB，AC，BC，或ABC。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。

Claims (14)

1.一种日志管理方法，其特征在于，所述方法由存储设备执行，所述方法包括：

获取文件请求；

依据所述文件请求记录语义日志；所述语义日志包括文件的元数据的操作记录，所述语义日志用于支持实现所述所述文件的元数据的多种增值服务；

在记录所述语义日志之后生成所述文件请求的响应请求。

2.根据权利要求1所述的方法，其特征在于，在生成所述响应请求之后，所述方法还包括：

从所述语义日志中获取所述元数据的操作记录的副本，使用所述操作记录的副本实现所述多种增值服务中的一种增值服务。

3.根据权利要求1或2所述的方法，其特征在于，所述文件的元数据的增值服务包括：配额、目录搜索和快照差异处理中至少一种。

4.根据权利要求2所述的方法，其特征在于，所述存储设备包括支持追加型写入的日志库，所述方法还包括：

将所述语义日志写入所述日志库。

5.根据权利要求4所述的方法，其特征在于，从所述语义日志中获取所述元数据的操作记录的副本，包括：

接收订阅信息，所述订阅信息指示所述日志库中新增有所述语义日志；

依据所述订阅信息从所述日志库中获取所述元数据的操作记录的副本。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取文件请求，包括：

获取客户端的操作信息，所述操作信息指示新增文件、删除文件或设置文件属性中至少一种；

依据所述操作信息发布所述文件请求。

7.一种日志管理装置，其特征在于，所述日志管理装置应用于存储设备，所述日志管理装置包括：

获取单元，用于获取文件请求；

日志发布单元，用于依据所述文件请求记录语义日志；所述语义日志包括文件的元数据的操作记录，所述语义日志用于支持实现所述所述文件的元数据的多种增值服务；

处理单元，用于在记录所述语义日志之后生成所述文件请求的响应请求。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

读取单元，用于从所述语义日志中获取所述元数据的操作记录的副本；

消费单元，用于使用所述操作记录的副本实现所述多种增值服务中的一种增值服务。

9.根据权利要求7或8所述的装置，其特征在于，所述文件的元数据的增值服务包括：配额、目录搜索和快照差异处理中至少一种。

10.根据权利要求8所述的装置，其特征在于，所述存储设备包括支持追加型写入的日志库，所述处理单元还用于将所述语义日志写入所述日志库。

11.根据权利要求10所述的装置，其特征在于，所述处理单元具体用于：接收订阅信息，并依据所述订阅信息从所述日志库中获取所述元数据的操作记录的副本；所述订阅信息指示所述日志库中新增有所述语义日志。

12.根据权利要求7-11中任一项所述的装置，其特征在于，所述获取单元，具体用于：获取客户端的操作信息，并依据所述操作信息发布所述文件请求；所述操作信息指示新增文件、删除文件或设置文件属性中至少一种。

13.一种存储设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机指令，当所述处理器执行该计算机指令时，以使所述存储设备执行权利要求1至6中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被处理器或存储设备执行时，实现如权利要求1至6中任一项所述的方法。

Images