CN112162950B - 基于文件系统的数据处理方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于文件系统的数据处理方法、装置和计算机设备；其中，所述方法通过在内存区设置哈希表和管理表，哈希表用于存储关键字和指针的第一映射关系，管理表用于存储与当前指针呈第二映射关系的数据描述字段；磁盘区用于存储数据描述字段和与数据描述字段呈第三映射关系的数据。基于调整后的文件系统的架构，根据请求记录是否包含关键字对请求记录采用不同的处理策略，实现可以同时支持带key数据和不带key数据的查找方式，且支持随机数据的访问，另外，通过内存中管理表中的数据描述字段映射至磁盘区中的数据，可以提高数据的查询效率。

Description

基于文件系统的数据处理方法、装置和计算机设备

技术领域

本申请涉及文件管理系统领域，特别是涉及一种基于文件系统的数据处理方法、装置和计算机设备。

背景技术

物联网(Internet of Things，IoT)是通过各类信息感知设备将物品与互联网相联，让所有能够被独立寻址的普通物理对象可以实现信息交换，最终达到智能化识别、定位、跟踪、监控和管理的目的。在物联网行业，数据存储作为重要的一部分，数据的交互几乎成为了人们的终极诉求，因此对数据的存储方式要求越来越高。

目前，数据存储的实现方式众多，例如基于关系数据库存储方式和基于key-value数据库存储方式。但是，基于关系数据库存储方式关系由于数据库在嵌入式系统中比较占资源，因此在很多资源比较紧缺的系统中不是很适用；另外，key-value数据库比较局限，通常只支持基于key的数据查找方式，不支持随机数据访问，且key-value通常是直接基于flash数据存储，查询速度较慢。

发明内容

本申请提供一种基于文件系统的数据处理方法、装置和计算机设备，以至少解决相关技术中的数据存储方式只支持基于关键字的数据查找方式，且不支持随机数据访问的问题。

第一方面，本申请实施例提供了一种基于文件系统的数据处理方法，所述文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；所述方法包括：

获取请求记录并识别所述请求记录是否包括关键字；

若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；

若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，所述若识别到所述记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

若识别到所述请求记录包括关键字，则根据所述关键字和所述第一映射关系，得到所述关键字对应的指针；

根据所述指针和所述第二映射关系，得到数据描述字段；

根据所述数据描述字段和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

若未识别到所述请求记录包括关键字，则根据所述请求记录的当前有效指针和所述第二映射关系，查找得到管理表中对应的数据描述字段；

根据所述请求数据描述字段和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，所述请求记录包括：读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

根据请求记录的关键字，在所述哈希表中查找对应的指针；

若在所述哈希表中找到对应的指针，则将所述指针指示的数据描述字段置为无效，在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据；

若在所述哈希表中未找到对应的指针，则在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段，在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

在其中一些实施例中，在对所述请求记录处理后，所述方法还包括：

检测所述磁盘内的无效数据；

若所述无效数据的数量达到预设阈值，则对所述无效数据进行合并处理。

第二方面，本申请实施例提供了一种基于文件系统的数据处理装置，所述文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；所述装置包括：

获取模块，用于获取请求记录并识别所述请求记录是否包括关键字；

第一处理模块，用于若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；

第二处理模块，用于若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于文件系统的数据处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于文件系统的数据处理方法。

相比于相关技术，本申请实施例提供的基于文件系统的数据处理方法、装置和计算机设备，在文件系统设置内存区和磁盘区，所述内存区设置有哈希表和管理表，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；通过获取请求记录并识别所述请求记录是否包括关键字；若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理，解决了相关技术中的数据存储方式只支持基于关键字的数据查找方式，且不支持随机数据访问的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为一个实施例中提供的文件系统的结构示意图；

图2为一个实施例中提供的基于文件系统的数据处理方法的流程图；

图3为一个实施例中提供的基于文件系统的数据处理装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请描述的各种技术可应用于文件系统中，如图1所示，文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据。

文件系统的整体架构如图1所示，第一区域为磁盘区，用于存放数据库文件，数据库文件包括数据描述字段(Metadata)和数据(Rawdata)，即图1中所示的Metadata、Rawdata在同一个数据库文件中存储，在文件头部划分一块固定的区域存储Metadata信息。具体地，Metadata区域存储magic、version、crc、max_len、rcd info等数据描述字段，其中Rcd info包括is_valid、key、offset、data len、crc等信息，无关键字(key)记录key字段赋值0。Rawdata文件区存放原始数据，Rawdata根据Rcd info中的索引连续顺序存储，当新增一条记录时，偏移到数据库文件尾部，插入所需大小的数据长度；当修改一条记录时，原记录对应的Rcd info信息置为无效，将需要修改的数据插入到文件尾部。

第二区域为内存区，用于存放数据结构表。具体地，数据结构表包括哈希表(Hashtable)和管理表(Mem table)。其中，Hash table存放关键字(key)相关数据索引，索引到Mem table中的数据描述字段，如果请求记录为有key记录，则存在该哈希表，否则不存在对应的该条请求记录的哈希表。Mem table用于映射文件Metadata区域的数据，根据此表找到Rawdata区域中记录所在的位置，进行记录数据的读、写等操作。

具体地，用户数据库操作可以先写入到内存区，再Flush到磁盘区，Metadata区域为整个区域Flush写入，Rawdata对索引到的指定偏移位置的数据长度进行Flush写入。

图2为一个实施例提供的基于文件系统的数据处理方法，如图2所示，基于文件系统的数据处理方法包括步骤210至步骤230；其中：

步骤210，获取请求记录并识别所述请求记录是否包括关键字。

所述请求记录包括：读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据。在接收到请求记录时，首先识别请求记录是否包括关键字，根据是否包括关键字确定对请求记录的处理方式。以下均以请求记录为读取磁盘中的数据为例进行说明。

一条请求记录可以理解为一个键值对。其中，关键字可以是这个请求记录的名称，键值是为这个请求记录所赋予的内容，内容可以理解为读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据；若是存储数据，则内容还包括待存储的数据。传统的Key-value数据库就是一种以键值对存储数据的一种数据库，每个键都会对应一个唯一的值，通过键可以快速查找到对应的值。

步骤220，若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，若识别到所述请求记录包括关键字，则根据所述关键字和第一映射关系，得到所述关键字对应的指针；根据所述指针和所述第二映射关系，得到数据描述字段；根据所述数据描述字段和所述第三映射关系，对所述请求记录进行处理。

具体地，第一映射关系存储在哈希表中，哈希表一般由一到多个哈希子表组成，哈希子表中的一个地址空间称为一个桶，每一个桶由多个分片组成，每一个分片中可以存储一个关键字key。每个哈希子表可以对应一种哈希函数，将关键字输入至哈希函数，输出的结果即是对应哈希子表中存储该关键字的地址指针，该指针指向管理表Mem table中的某个Rcd info字段。需要说明的是，哈希表可以预先设置，并在操作过程中不断更新。管理表中存储有与当前指针呈第二映射关系的数据描述字段，通过当前的指针找到管理表中的数据描述字段后，根据Rcd info中的offset和data len字段可以在数据库文件Rawdata区域读取到相应的数据。

步骤230，若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，若未识别到所述请求记录包括关键字，则根据所述请求记录的当前有效指针和所述第二映射关系，查找得到管理表中对应的数据描述字段；根据所述数据描述字段和所述第三映射关系，对所述请求记录进行处理。

所有类型记录都支持随机读取记录，数据结构中保存了当前有效指针，当前有效指针指向Mem table中的某个Rcd info字段，根据当前有效指针读取Mem table中的对应Rcd info字段，然后根据Rcd info中的offset和data len字段去数据库文件Rawdata区域读取到相应的数据。

需要说明的是，当前有效指针在进行记录seek、delete及write操作时会改变。例如seek第N条，该指针指向第N条有效记录；delete操作后，如果delete的是当前有效记录指针所指的记录，则该指针指向下一条有效记录；write操作后当前有效记录指针所指的记录是非法值，则指向当前write的一条记录。

与现有技术相比，本申请提供的基于文件系统的数据处理方法，通过在内存区设置哈希表和管理表，哈希表用于存储关键字和指针的第一映射关系，管理表用于存储与所述指针呈第二映射关系的数据描述字段；磁盘区用于存储数据描述字段和与数据描述字段呈第三映射关系的数据。在接收到外部请求时，首先识别请求记录是否包括关键字，若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对请求记录进行处理；若未识别到所述请求记录包括关键字，则通过第二映射关系和第三映射关系，对请求记录进行处理。上述方法基于调整后的文件系统的架构，根据请求记录是否包含关键字采用不同的处理策略，可以实现同时支持带key的数据和不带key的数据的查找方式，且支持随机数据的访问；另外，通过内存中管理表中的数据描述字段映射至磁盘区中的数据，不会占用内存较多的资源，还可以提高数据的查询效率。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

根据请求记录的关键字，在所述哈希表中查找对应的指针；

若在所述哈希表中找到对应的指针，则将所述指针指示的数据描述字段置为无效，在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据；

若在所述哈希表中未找到对应的指针，则在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

具体地，若识别到请求记录包括key，则可以首先根据key在Hash table中查找对应的Rcd info指针。如果在Hash table中找到对应的Rcd info指针，则在Mem table中将该Rcd info置为无效，增加新的Rcd info字段，并在数据库文件尾部写入新的记录数据，删除老的Rcd info对应的哈希值，增加新的Rcd info对应的哈希值，并更新Mem table中的其他字段，然后Flush到数据库文件，并定时更新数据库备份文件。如果未找到对应的Rcd info指针，则在Mem table中增加新的Rcd info字段，在数据库文件尾部写入新的记录数据，增加新的Rcd info哈希值，更新Mem table中的其他字段，然后Flush到数据库文件，并定时更新数据库备份文件。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段，在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

具体地，若未识别到请求记录包括key，则在Mem table中增加新的Rcd info，在数据库文件尾部写入新的记录数据，更新Mem table其他字段，然后Flush到数据库文件，并定时更新数据库备份文件。

在其中一些实施例中，请求记录为删除磁盘区中的数据，若请求记录包括key，则根据key在Hash table中找到对应的Rcd info指针，在Mem table中该Rcd info置为无效，删除老的Rcd info哈希值，更新Mem table其他字段，然后Flush到数据库文件，并定时更新数据库备份文件。若请求记录不包括key，则根据Mem table的当前记录指针，该Rcd info置为无效，更新Mem table其他字段，然后Flush到数据库文件，并定时更新数据库备份文件。

在其中一些实施例中，在对所述请求记录处理后，所述方法还包括：

检测所述磁盘内的无效数据；

若所述无效数据的数量达到预设阈值，则对所述无效数据进行合并处理。

由于数据库文件每次进行写操作都是从文件尾部进行数据插入，删除操作导致的无效数据越来越多，致使数据库文件空间不足，所以需要对无效数据进行数据合并处理。

预设阈值可以是无效数据的数量大于1/3总的数据量，并且在记录数大于最大支持记录数的1/2时，则认为无效数据较多，需要进行数据合并，此时启动数据合并流程。这里大于1/3就进行文件重组，而不是到写到文件最大长度再进行合并的原因是：可能存在多个数据库，申请的总的文件长度大于系统可利用的文件长度，需要共用有限的存储空间。可以理解的是，在其他实施例中，预设阈值也可以是无效数据的数量大于1/4总的数据量或1/2总的数据量，具体数值本实施例不作限制，可以根据实际情况设置。

另外，当由于空间不足写入文件失败，或当记录写入时由于可写记录不足写入失败，也可以启动数据合并流程。本申请采用的数据合并处理过程包括如下步骤：

(1)创建临时Metadata，从原Metadata拷贝数据；

(2)数据库文件中的Rawdata有效数据拷贝到缓存，Rcd_info字段拷贝到临时Metadata；

(3)关闭数据库文件，以w方式打开，清空原文件数据；

(4)从缓存拷回Rawdata到数据库文件，并写入临时的Metadata到数据库文件；

(5)更新Metadata和Hash table。

在其中一些实施例中，还提供了针对数据掉电保护及数据恢复的方法。包括数据备份、数据准确性校验和数据出错处理。具体如下：

(1)数据备份

在每次执行数据写入或删除操作时，需要对数据库文件进行备份至备份数据库文件。备份以异步的方式进行，定时预设时间，例如2分钟或3分钟后进行完整的数据库文件备份。因为嵌入式系统中有些文件系统如jffs2文件系统是同步文件系统，即实时写入磁盘区，在数据文件较大时写入较慢，所以需要在额外的任务中进行异步备份，从而可以有效防止数据丢失。

(2)数据准确性检验

上电后对数据库文件的Metadata区域进行数据一致性校验，并且对各条记录进行循环冗余校验码(Cyclic Redundancy Check，CRC)校验，如果失败，则从备份数据库文件还原数据。

(3)数据出错处理

如果从备份数据库文件恢复后的数据也校验错误，则应用可根据不同业务数据从云端进行数据恢复处理，如：联动数据出错，可以删除数据库文件，重新从云端全量拉取联动数据；设备列表出错，可以从云端进行故障恢复。

在其中一些实施例中，还提供了数据库扩容和缩容方法。

其中，针对数据扩容和缩容最大支持数据长度以及数据扩容最大支持记录数的要求如下：

针对数据扩容和缩容最大支持数据长度，在系统上电，初始化数据库表时，如果文件最大支持长度需要变大或者变小，则需要对数据库文件Metadata区中的max len字段进行修改；另外，当文件最大长度需要变小时，需要控制变小的长度不得小于当前Rawdata数据所占文件长度。

针对数据扩容最大支持记录数，在记录写操作过程中如果出现记录数量不够，且没有数据合并的空间时，则需要增加记录数量。例如可以定义最大支持记录数为原记录支持数量的两倍，然后调整Metadata区域的长度，再走数据合并流程。通过上述方法，可以实现动态扩容和缩容，以及动态增加记录数。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本实施例还提供了一种基于文件系统的数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在一个实施例中，如图3所示，提供了一种基于文件系统的数据处理装置，所述文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；包括：获取模块310、第一处理模块320和第二处理模块330，其中：

获取模块310，用于获取请求记录并识别所述请求记录是否包括关键字；

第一处理模块320，用于若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；

第二处理模块330，用于若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理。

上述装置基于调整后的文件系统的架构，根据请求记录是否包含关键字采用不同的处理策略，可以同时支持带key的数据和不带key的数据的查找方式，且支持随机数据的访问，另外，通过内存中管理表中的数据描述字段映射至磁盘区中的数据，可以提高数据的查询效率。

在其中一些实施例中，第一处理模块320还用于：若识别到所述请求记录包括关键字，则根据所述关键字和所述第一映射关系，得到所述关键字对应的指针；根据所述指针和所述第二映射关系，得到数据描述字段；根据所述数据描述字段和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，第二处理模块330还用于：若未识别到所述请求记录包括关键字，则根据所述请求记录的当前有效指针和所述第二映射关系，查找得到管理表中对应的数据描述字段；根据所述请求数据描述字段和所述第三映射关系，对所述请求记录进行处理。

在其中一些实施例中，所述请求记录包括：读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且识别到所述请求记录包括关键字，第一处理模块320还用于：根据请求记录的关键字，在所述哈希表中查找对应的指针；若在所述哈希表中找到对应的指针，则将所述指针指示的数据描述字段置为无效，在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据；若在所述哈希表中未找到对应的指针，则在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

在其中一些实施例中，若所述请求记录为向磁盘区存储数据且未识别到所述请求记录包括关键字，第二处理模块330还用于：在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段，在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

在其中一些实施例中，所述装置还包括合并处理模块(图中未示出)，用于检测所述磁盘内的无效数据；若所述无效数据的数量达到预设阈值，则对所述无效数据进行合并处理。

关于基于文件系统的数据处理装置的具体限定可以参见上文中对于基于文件系统的数据处理方法的限定，在此不再赘述。上述基于文件系统的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

另外，结合图2描述的本申请实施例基于文件系统的数据处理方法可以由计算机设备来实现。图4为根据本申请实施例的计算机设备的硬件结构示意图。

计算机设备可以包括处理器41以及存储有计算机程序指令的存储器42。

具体地，上述处理器41可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器42可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器42可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器42可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器42可在数据处理装置的内部或外部。在特定实施例中，存储器42是非易失性(Non-Volatile)存储器。在特定实施例中，存储器42包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器42可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器42所执行的可能的计算机程序指令。

处理器41通过读取并执行存储器42中存储的计算机程序指令，以实现上述实施例中的任意一种基于文件系统的数据处理方法。

在其中一些实施例中，计算机设备还可包括通信接口43和总线40。其中，如图4所示，处理器41、存储器42、通信接口43通过总线40连接并完成相互间的通信。

通信接口43用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口43还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线40包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线40包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线40可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线40可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该计算机设备可以基于获取到的程序指令，执行本申请实施例中的基于文件系统的数据处理方法，从而实现结合图2描述的基于文件系统的数据处理方法。

另外，结合上述实施例中的基于文件系统的数据处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于文件系统的数据处理方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于文件系统的数据处理方法，其特征在于，所述文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；所述方法包括：

获取请求记录并识别所述请求记录是否包括关键字；所述请求记录包括：读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据；

若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；

若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理；

若所述请求记录为向磁盘区存储数据且识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

根据请求记录的关键字，在所述哈希表中查找对应的指针；

若在所述哈希表中找到对应的指针，则将所述指针指示的数据描述字段置为无效，在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据；

若在所述哈希表中未找到对应的指针，则在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

2.根据权利要求1所述的方法，其特征在于，所述若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

若识别到所述请求记录包括关键字，则根据所述关键字和所述第一映射关系，得到所述关键字对应的指针；

根据所述指针和所述第二映射关系，得到数据描述字段；

根据所述数据描述字段和所述第三映射关系，对所述请求记录进行处理。

3.根据权利要求1所述的方法，其特征在于，若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

若未识别到所述请求记录包括关键字，则根据所述请求记录的当前有效指针和所述第二映射关系，查找得到管理表中对应的数据描述字段；

根据所述请求数据描述字段和所述第三映射关系，对所述请求记录进行处理。

4.根据权利要求1所述的方法，其特征在于，若所述请求记录为向磁盘区存储数据且未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段，在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

5.根据权利要求1所述的方法，其特征在于，在对所述请求记录处理后，所述方法还包括：

检测所述磁盘内的无效数据；

若所述无效数据的数量达到预设阈值，则对所述无效数据进行合并处理。

6.一种基于文件系统的数据处理装置，其特征在于，所述文件系统包括内存区和磁盘区，所述内存区设置有哈希表和管理表，其中，所述哈希表用于存储关键字和指针的第一映射关系，所述管理表用于存储与当前指针呈第二映射关系的数据描述字段；所述磁盘区用于存储所述数据描述字段和与所述数据描述字段呈第三映射关系的数据；所述装置包括：

获取模块，用于获取请求记录并识别所述请求记录是否包括关键字；所述请求记录包括：读取磁盘区中的数据、向磁盘区存储数据和删除磁盘区中的数据；

第一处理模块，用于若识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理；

第二处理模块，用于若未识别到所述请求记录包括关键字，则通过所述第二映射关系和所述第三映射关系，对所述请求记录进行处理；

所述第一处理模块还用于，若所述请求记录为向磁盘区存储数据且识别到所述请求记录包括关键字，则通过所述第一映射关系、第二映射关系和所述第三映射关系，对所述请求记录进行处理包括：

根据请求记录的关键字，在所述哈希表中查找对应的指针；

若在所述哈希表中找到对应的指针，则将所述指针指示的数据描述字段置为无效，在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据；

若在所述哈希表中未找到对应的指针，则在所述管理表写入所述请求记录对应的数据描述字段并更新管理表中的其他字段和哈希表，以及在所述磁盘区写入所述请求记录对应的数据描述字段和数据。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images