CN112463724A - 一种轻量级文件系统的数据处理方法和系统 - Google Patents

Abstract

本发明公开了一种轻量级文件系统的数据处理方法和系统，数据处理方法包括：将文件系统布局方式设置为磁盘头部存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部以及尾部存储超级块备份信息；当文件中的数据写入磁盘时，通过算法计算出数据和元数据的校验值信息；将文件系统加载流程设置为先计算超级块存储位置，其次读取超级块信息，最后加载磁盘中元数据信息；根据元数据中信息设置文件系统中文件的写、创建、删除、读方法；本发明能够支持并发的文件的元数据更新，同时增加对超级块的备份，每个文件的元数据和数据的数据校验信息，避免磁盘静默而导致的数据不一致风险。

Description

一种轻量级文件系统的数据处理方法和系统

技术领域

本发明涉及存储云计算领域，特别是涉及一种轻量级文件系统的数据处理方法和系统。

背景技术

单机存储引擎主要用于解决如何在SSD、HDD或NVMe等物理存储设备上快速高效的组织数据、索引数据和存储数据，同时为上层存储系统提供易用的存储接口。另外，在存储引擎中需要考虑如何提供优越的性能，同时在物理设备掉电或故障时如何保证数据恢复和数据一致性。

Ceph中Bluefs组件为一个轻量级文件系统，它实现了一个轻量级的日志管理模块，记录所有元数据更改的操作，但是它没有实现Posix标准接口，不支持对文件的覆盖写操作只支持追加写，没有本地文件系统的树形层次结构，只有扁平的目录到文件的映射关系；另外，其仅提供扁平化的目录和文件的映射关系，没有提供深层的目录管理；若磁盘静默则会导致的数据不一致，若磁盘损坏则磁盘中的数据无法恢复。

发明内容

本发明主要解决的技术问题是提供一种轻量级文件系统的数据处理方法和系统，能够支持并发的文件的元数据更新，同时增加对超级块的备份，每个文件的元数据和数据的数据校验信息，避免磁盘静默而导致的数据不一致风险。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种轻量级文件系统的数据处理方法，包括：

将文件系统布局方式设置为将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；

当文件中的数据写入磁盘时，通过算法计算出数据和元数据的校验值信息，并将数据和元数据的校验值信息写入磁盘头部对应数据校验值、元数据校验值信息位置处；

将文件系统加载流程设置为计算超级块存储位置、读取并判断超级块信息，根据超级块信息判断系统格式化是否成功，若成功，则同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息；

根据元数据中信息设置文件系统中文件的写、创建、删除、读方法。

进一步，所述超级块中存储唯一标识、版本号以及空间大小；

所述唯一标识校验磁盘是否格式化，若文件系统中存在所述唯一标识，则磁盘格式化完成；

根据所述版本号确定磁盘的管理方式；

所述空间大小为数据的磁盘占用空间大小；

所述元数据中包含索引号、文件占用空间大小、文件名称、修改时间、文件在磁盘存储的起始地址和结束地址以及磁盘中数据删除字段；

所述索引号是文件的唯一标识；

所述算法为CRC算法，所述数据和元数据校验值信息存储容量为512字节。

进一步，所述计算超级块存储位置包括：

根据文件系统数据布局方式计算超级块在磁盘的存储位置，读取超级块中信息；

所述根据超级块信息判断系统格式化是否成功包括：

根据超级块信息中是否存在唯一标识，判断文件系统是否格式化成功；

若超级块中存在唯一标识则文件系统格式化成功。

进一步，所述加载磁盘中元数据信息包括：

首先判断磁盘的空间大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载元数据；

然后根据元数据的预定格式，读取磁盘中数据的校验值信息判断数据是否完整，若不完整，则标记文件数据损坏，并将文件数据删除，删除后将从磁盘中读取的所有元数据信息，记录到内存中。

进一步，所述根据元数据中信息设置文件系统中文件的写方法包括写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息；

所述根据元数据中信息设置文件系统中文件的创建方法包括创建文件时，根据当前元数据中的索引号，分配新的索引号作为文件的唯一标识，根据文件写入数据长度，更新数据长度，并更新元数据信息中名称和修改时间。

进一步，所述创建文件或写入信息过程中，当出现故障或写入失败时，元数据更新失败，并标记为数据写入失败，保证写入数据的一致性。

进一步，所述根据元数据中信息设置文件系统中文件的删除方法包括标记文件对应的元数据中的数据删除字段为0；当数据误删除后，根据数据删除字段恢复数据；

所述根据元数据中信息设置文件系统中文件的读方法包括所述文件系统加载流程完成后，根据内存中记录的文件元数据判断元数据中磁盘存储的起始地址和结束地址，在起始地址和结束地址处读取数据；读取完成后，校验数据的元数据信息是否一致，若不一致，则不将数据返回起始地址和结束地址。

一种轻量级文件系统，包括：布局模块、备份模块、校验模块、加载流程模块、文件操作模块；所述布局模块将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；所述备份模块将所述磁盘头部中超级块信息进行备份，并存储至磁盘中部存储空间以及磁盘尾部存储空间；所述检验模块通过算法计算数据和元数据的校验值信息并存储至所述磁盘头部存储空间数据校验值和元数据校验值中；所述加载流程模块通过超级块中信息进行判断所述系统是否格式化成功，若所述系统格式化成功，则同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息；所述文件操作模块根据元数据中信息执行文件系统中文件的写、创建、删除、读方法。

进一步，所述加载流程模块包括判断模块、加载元数据模块；

所述判断模块线找到磁盘中超级块存储位置，读取并判断超级块信息，若超级块信息中存在唯一标识则文件系统格式化成功并将格式化成功信息发送至所述校验超级块信息模块；

所述加载元数据模块判断磁盘的空间大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载元数据；

然后根据元数据的预定格式，读取磁盘中数据的校验值信息判断数据是否完整，若不完整，则标记文件数据损坏，并将文件数据删除，删除后将从磁盘中读取的所有元数据信息，记录到内存中。

进一步，所述文件操作模块包括执行写文件方法模块、执行创建文件方法模块、执行删除文件方法模块、执行读文件方法模块；

所述执行写文件方法模块在写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息；

所述执行创建文件方法模块在创建文件时，根据当前元数据中的索引号，分配新的索引号作为文件的唯一标识，根据文件写入数据长度，更新数据长度，并更新元数据信息中名称和修改时间；

所述执行删除文件方法模块标记文件对应的元数据中的数据删除字段为0；当数据误删除后，根据数据删除字段恢复数据；

所述执行读文件方法模块所述加载流程模块运行完成后，根据内存中记录的文件元数据判断元数据中磁盘存储的起始地址和结束地址，在起始地址和结束地址处读取数据；读取完成后，校验数据的元数据信息是否一致，若不一致，则不将数据返回起始地址和结束地址。

本发明的有益效果是：本发明支持并发的文件的元数据更新，同时增加对超级块的备份，每个文件的元数据和数据的数据校验信息，避免磁盘静默而导致的数据不一致风险；改进后的文件系统不仅在性能方面有很大提升，同时数据可靠性有很大增强。

附图说明

图1是本发明一种轻量级文件系统的数据处理方法一较佳实施例的流程图；

图2是本发明一种轻量级文件系统的数据处理方法数据布局图；

图3是本发明一种轻量级文件系统架构图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1至图3，本发明实施例包括：

见图1，一种轻量级文件系统的数据处理方法，包括：

见图2，将文件系统布局方式设置为将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；

当文件中的数据写入磁盘时，通过算法计算出数据和元数据的校验值信息，并将数据和元数据的校验值信息写入磁盘头部对应数据校验值、元数据校验值信息位置处；

将文件系统加载流程设置为计算超级块存储位置、读取超级块信息以及加载磁盘中元数据信息；

根据元数据中信息设置文件系统中文件的新的写、创建、删除、读方法。

所述超级块中存储所述文件系统唯一标识、Version以及Block Size。

所述唯一标识可以用来以校验之前是否格式化过，若文件系统中存在所述唯一标识，可以选择直接跳过不进行格式化。

所述Version为文件系统的版本号，根据不同的文件系统的版本号确定不同的磁盘管理方式。

所述Block Size为最小的数据分配单位，为数据的磁盘占用空间大小，所述空间大小为1M、4M、8M、64M、128M。

所述元数据，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，所述元数据大小为4KB，所述元数据中包含inode，索引号，文件的唯一标识；size，文件大小；name，文件名称；mtime，修改时间；extents，文件的在磁盘存储的起始地址offset和结束地址length；deleted，标记是否删除。

所述对文件中元数据和数据进行校验包括通过CRC算法，计算数据和元数据的校验值信息，校验值信息最大为512字节。

CRC算法是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术，主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理来作错误侦测的。

所述文件系统加载流程包括：

根据文件系统数据布局方式计算超级块在磁盘的存储位置，读取超级块相关信息；

根据超级块中相关信息中是否存在唯一标识，判断文件系统是否格式化成功；

若超级块中存在唯一标识则文件系统格式化成功，同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息。

所述加载元数据信息为首先根据所述Block Size，判断磁盘的大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载。

读取并加载元数据后，根据元数据的预定格式，读取校验值信息判断数据是否完整，若不完整，则标记该文件数据损坏，并将其删除；将读取的所有元数据信息，记录到内存中。

所述设置文件系统创建方法包括创建文件时，根据当前元数据中的inode号，分配新的inode作为唯一标识，根据写入数据长度，更新size，名称和修改时间等元数据信息。

所述设置文件系统写方法包括写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息。

当所述创建文件或写入信息过程中，当出现故障或写入失败时，由于元数据更新失败，可以标记为数据写失败，保证写入数据的一致性。

所述设置文件系统读方法包括所述文件系统加载流程完成后，根据内存中记录的文件元数据判断其在磁盘的存储extent位置，在相应位置读取数据；读取完成后，校验数据的元数据信息是否一致，不一致，则不将数据信息返回起始地址和结束地址。

所述设置文件系统删除方法包括标记文件对应的元数据中的deleted字段为0；可支持当数据误删除后的数据恢复。

见图3，一种轻量级文件系统，包括：布局模块、备份模块、校验模块、加载流程模块、文件操作模块；

所述布局模块将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；

所述备份模块将所述磁盘头部中超级块信息进行备份，并存储至磁盘中部存储空间以及磁盘尾部存储空间；

所述检验模块通过算法计算数据和元数据的校验值信息并存储至所述磁盘头部存储空间数据校验值和元数据校验值中；

所述加载流程模块通过超级块中信息进行判断所述系统是否格式化成功，若所述系统格式化成功，则同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息；所述加载流程模块包括判断模块、加载元数据模块；

所述判断模块线找到磁盘中超级块存储位置，读取并判断超级块信息，若超级块信息中存在唯一标识则文件系统格式化成功并将格式化成功信息发送至所述校验超级块信息模块；

所述加载元数据模块判断磁盘的空间大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载元数据；

然后根据元数据的预定格式，读取磁盘中数据的校验值信息判断数据是否完整，若不完整，则标记文件数据损坏，并将文件数据删除，删除后将从磁盘中读取的所有元数据信息，记录到内存中。

所述文件操作模块根据元数据中信息执行文件系统中文件的写、创建、删除、读方法；

所述文件操作模块包括执行写文件方法模块、执行创建文件方法模块、执行删除文件方法模块、执行读文件方法模块；

所述执行写文件方法模块在写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息；

所述执行创建文件方法模块在创建文件时，根据当前元数据中的索引号，分配新的索引号作为文件的唯一标识，根据文件写入数据长度，更新数据长度，并更新元数据信息中名称和修改时间；

所述执行删除文件方法模块标记文件对应的元数据中的数据删除字段为0；当数据误删除后，根据数据删除字段恢复数据；

所述执行读文件方法模块所述加载流程模块运行完成后，根据内存中记录的文件元数据判断元数据中磁盘存储的起始地址和结束地址，在起始地址和结束地址处读取数据；读取完成后，校验数据的元数据信息是否一致，若不一致，则不将数据返回起始地址和结束地址。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种轻量级文件系统的数据处理方法，其特征在于，包括：

将文件系统布局方式设置为将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；

当文件中的数据写入磁盘时，通过算法计算出数据和元数据的校验值信息，并将数据和元数据的校验值信息写入磁盘头部对应数据校验值、元数据校验值信息位置处；

将文件系统加载流程设置为计算超级块存储位置、读取并判断超级块信息，根据超级块信息判断系统格式化是否成功，若成功，则同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息；

根据元数据中信息设置文件系统中文件的写、创建、删除、读方法。

2.根据权利要求1所述的一种轻量级文件系统的数据处理方法，其特征在于：所述超级块中存储唯一标识、版本号以及空间大小；

所述唯一标识校验磁盘是否格式化，若文件系统中存在所述唯一标识，则磁盘格式化完成；

根据所述版本号确定磁盘的管理方式；

所述空间大小为数据的磁盘占用空间大小；

所述元数据中包含索引号、文件占用空间大小、文件名称、修改时间、文件在磁盘存储的起始地址和结束地址以及磁盘中数据删除字段；

所述索引号是文件的唯一标识；

所述算法为CRC算法，所述数据和元数据校验值信息存储容量为512字节。

3.根据权利要求1所述的一种轻量级文件系统的数据处理方法，其特征在于：所述计算超级块存储位置包括：

根据文件系统数据布局方式计算超级块在磁盘的存储位置，读取超级块中信息；

所述根据超级块信息判断系统格式化是否成功包括：

根据超级块信息中是否存在唯一标识，判断文件系统是否格式化成功；

若超级块中存在唯一标识则文件系统格式化成功。

4.根据权利要求3所述的一种轻量级文件系统的数据处理方法，其特征在于：所述加载磁盘中元数据信息包括：

首先判断磁盘的空间大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载元数据；

然后根据元数据的预定格式，读取磁盘中数据的校验值信息判断数据是否完整，若不完整，则标记文件数据损坏，并将文件数据删除，删除后将从磁盘中读取的所有元数据信息，记录到内存中。

5.根据权利要求1所述的一种轻量级文件系统的数据处理方法，其特征在于：

所述根据元数据中信息设置文件系统中文件的写方法包括写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息；

所述根据元数据中信息设置文件系统中文件的创建方法包括创建文件时，根据当前元数据中的索引号，分配新的索引号作为文件的唯一标识，根据文件写入数据长度，更新数据长度，并更新元数据信息中名称和修改时间。

6.根据权利要求5所述的一种轻量级文件系统的数据处理方法，其特征在于：

所述创建文件或写入信息过程中，当出现故障或写入失败时，元数据更新失败，并标记为数据写入失败，保证写入数据的一致性。

7.根据权利要求5所述的一种轻量级文件系统的数据处理方法，其特征在于：

所述根据元数据中信息设置文件系统中文件的删除方法包括标记文件对应的元数据中的数据删除字段为0；当数据误删除后，根据数据删除字段恢复数据；

所述根据元数据中信息设置文件系统中文件的读方法包括所述文件系统加载流程完成后，根据内存中记录的文件元数据判断元数据中磁盘存储的起始地址和结束地址，在起始地址和结束地址处读取数据；读取完成后，校验数据的元数据信息是否一致，若不一致，则不将数据返回起始地址和结束地址。

8.一种轻量级文件系统，其特征在于，包括：布局模块、备份模块、校验模块、加载流程模块、文件操作模块；所述布局模块将磁盘中存储空间分为三部分，磁盘头部存储空间、磁盘中部存储空间以及磁盘尾部存储空间；所述磁盘头部存储空间存储标签、超级块、文件数据、元数据、数据校验值、元数据校验值信息，磁盘中部存储空间以及磁盘尾部存储空间存储超级块备份信息；所述备份模块将所述磁盘头部中超级块信息进行备份，并存储至磁盘中部存储空间以及磁盘尾部存储空间；所述检验模块通过算法计算数据和元数据的校验值信息并存储至所述磁盘头部存储空间数据校验值和元数据校验值中；所述加载流程模块通过超级块中信息进行判断所述系统是否格式化成功，若所述系统格式化成功，则同时校验磁盘中所有的超级块数据是否一致，若一致，则加载磁盘中元数据信息；所述文件操作模块根据元数据中信息执行文件系统中文件的写、创建、删除、读方法。

9.根据权利要求8所述的一种轻量级文件系统，其特征在于：所述加载流程模块包括判断模块、加载元数据模块；

所述判断模块线找到磁盘中超级块存储位置，读取并判断超级块信息，若超级块信息中存在唯一标识则文件系统格式化成功并将格式化成功信息发送至所述校验超级块信息模块；

所述加载元数据模块判断磁盘的空间大小，遍历文件系统中所有磁盘中存储元数据区域，从磁盘读取并加载元数据；

然后根据元数据的预定格式，读取磁盘中数据的校验值信息判断数据是否完整，若不完整，则标记文件数据损坏，并将文件数据删除，删除后将从磁盘中读取的所有元数据信息，记录到内存中。

10.根据权利要求8所述的一种轻量级文件系统，其特征在于：所述文件操作模块包括执行写文件方法模块、执行创建文件方法模块、执行删除文件方法模块、执行读文件方法模块；

所述执行写文件方法模块在写入信息时，先写入数据信息，数据写入完成后，更新元数据信息和校验值信息；

所述执行创建文件方法模块在创建文件时，根据当前元数据中的索引号，分配新的索引号作为文件的唯一标识，根据文件写入数据长度，更新数据长度，并更新元数据信息中名称和修改时间；

所述执行删除文件方法模块标记文件对应的元数据中的数据删除字段为0；当数据误删除后，根据数据删除字段恢复数据；

所述执行读文件方法模块所述加载流程模块运行完成后，根据内存中记录的文件元数据判断元数据中磁盘存储的起始地址和结束地址，在起始地址和结束地址处读取数据；读取完成后，校验数据的元数据信息是否一致，若不一致，则不将数据返回起始地址和结束地址。

Images