CN107967122A - 一种块设备的数据写入方法、装置及介质 - Google Patents

Abstract

本发明公开了一种块设备的数据写入方法、装置及介质，该方法的步骤包括：获取待写入的数据以及数据的数据总量；在块设备中申请容量符合数据总量的存储空间，并将数据分块写入至存储空间；生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备。本方法在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，数据在存储到块设备前无需再写入到日志中，进而减少了对块设备使用寿命的影响。本方法降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。此外，本发明还提供一种块设备的数据写入装置及介质，有益效果如上所述。

Description

一种块设备的数据写入方法、装置及介质

技术领域

本发明涉及数据存储领域，特别是涉及一种块设备的数据写入方法、装置及介质。

背景技术

随着大数据时代的到来，数据的附加价值逐渐增加，对数据进行安全可靠的存储被越来越多的企业所重视。

当前最为主流的数据存储方式为采用分布式存储系统，最终将数据写入到块设备中以实现数据的安全存储，当下最常见的方式是使用xfs、ext4等常规文件系统。但是上述文件系统在新数据到来时，需要先将数据写入日志，进而在一段时间后再将数据由日志写入数据文件并存储至块设备中，因此数据存储到块设备前需要经过日志与数据文件之间的I/O操作，造成写放大现象，影响块设备的使用寿命，此外由于每次的I/O操作都会占用系统的可用资源，进而将增加系统的整体开销，影响了整体的性能。

由此可见，提供一种块设备的数据写入方法，以减少对块设备使用寿命的影响，并且降低数据写入所造成的系统整体开销，以保证系统整体的性能，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种块设备的数据写入方法、装置及介质，以减少对块设备使用寿命的影响，并且降低数据写入所造成的系统整体开销，以保证系统整体的性能。

为解决上述技术问题，本发明提供一种块设备的数据写入方法，包括：

获取待写入的数据以及数据的数据总量；

在块设备中申请容量符合数据总量的存储空间，并将数据分块写入至存储空间；

生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备。

优选的，在块设备中申请容量符合数据总量的存储空间前，该方法进一步包括：

构建B+树，并通过B+树记录块设备中的可用空间；

相应的，在块设备中申请容量符合数据总量的存储空间具体为：

根据B+树中选取可用空间，以在块设备中申请存储空间。

优选的，生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，具体为：

在内存中生成地址偏移以及属性信息。

优选的，在生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库前，该方法进一步包括：

通过在块设备中读取超级块信息以对MiniFS文件系统进行初始化。

优选的，在将地址偏移以及属性信息写入键值数据库后，该方法进一步包括：

将MiniFS文件系统的操作内容记录为工作日志。

优选的，键值数据库具体包括：

LevelDB以及RocksDB。

此外，本发明还提供一种块设备的数据写入装置，包括：

获取计算模块，用于获取待写入的数据以及数据的数据总量；

块设备写入模块，用于在块设备中申请容量符合数据总量的存储空间，并将数据分块写入至存储空间；

数据库写入模块，用于生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备。

优选的，该装置进一步包括：

B+树构建模块，用于构建B+树，并通过B+树记录块设备中的可用空间。

此外，本发明还提供一种块设备的数据写入装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述的块设备的数据写入方法的步骤。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的块设备的数据写入方法的步骤。

本发明所提供的块设备的数据写入方法，在获取到待写入的数据后，计算该数据的数据总量，进而在块设备中申请与该数据总量相符的存储空间并直接将数据写入该存储空间，之后再通过对该数据的相关参数进行生成，并采用MiniFS文件系统写入键值数据库中以进行存储，以便于后续对数据进行读取时使用。可见，本方法在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，写入数据时直接在块设备中申请存储空间并将数据写入，因此数据在存储到块设备前无需再写入到日志中，进而避免了写放大的情况出现，减少了对块设备使用寿命的影响。此外，由于本方法减少了数据写入块设备时的I/O操作次数，因此降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。此外，本发明还提供一种块设备的数据写入装置及介质，有益效果如上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种块设备的数据写入方法的流程图；

图2为本发明实施例提供的另一种块设备的数据写入方法的流程图；

图3为本发明实施例提供的一种块设备的数据写入装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种块设备的数据写入方法，以减少对块设备使用寿命的影响，并且降低数据写入所造成的系统整体开销，以保证系统整体的性能。本发明的另一核心是提供一种块设备的数据写入装置及介质。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

实施例一

图1为本发明实施例提供的一种块设备的数据写入方法的流程图。请参考图1，块设备的数据写入方法的具体步骤包括：

步骤S10：获取待写入的数据以及数据的数据总量。

需要说明的是，由于需要将数据写入块设备中，因此需要预先得知数据的总量，进而在后续步骤中由块设备开辟相应的存储空间以进行数据的存储。

步骤S11：在块设备中申请容量符合数据总量的存储空间，并将数据分块写入至存储空间。

可以理解的是，本步骤是在块设备中申请与待写入数据的总量相符的存储空间，进而将数据直接写入存储空间中以实现数据存储至块设备。需要说明的是，本文中所指的块设备是能够将数据存储在固定大小的数据块中的设备，每个块均有自身的地址，磁盘是最常见的块设备。当然，块设备可以根据用户的实际需要而定，在此不做具体限定。

步骤S12：生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备。

需要说明的是，本步骤中所指的MiniFS文件系统是仅具有数据目录创建、数据读写以及数据删除等基本操作的文件系统，因此其较为精简并且不具有既定的工作机制，进而MiniFS文件系统的可开发性更高，基于MiniFS文件系统的工作机制设计能够更加灵活。另外，本步骤中所指的键值数据库通常都是专门为了大数据和高性能而开发的，它们只需要简单的文件接口就可以运行，因此键值数据库能够由仅具有基础功能的MiniFS文件系统控制，由于键值数据库去除了关系型数据库中几乎用不到的功能，因此相较于关系型数据库具有更高的执行性能。

在本步骤中，当数据被存储到块设备后，生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备，以便于后续对数据的读取。地址偏移用于表征数据所在的具体存储空间地址，数据的相关参数可以包括数据名称、数据大小以及数据类型等，用于描述写入块设备的数据的细节信息。地址偏移具体可以用于记录数据的偏移量以及偏移长度，进而将地址偏移写入键值数据库具体为将所述数据的偏移量以及偏移长度计入键值数据库，偏移量作为key，偏移长度作为value存入键值数据库，进而再使用MiniFS键值数据库中的数据内容存入块设备的专用位置。

在后续读取数据时，可以通过MiniFS文件系统读取键值数据库所存储的各个数据在块设备中的地址，进而在目标地址中获取所需要的数据，并且根据属性信息获取所需数据的细节信息。

本发明所提供的块设备的数据写入方法，在获取到待写入的数据后，计算该数据的数据总量，进而在块设备中申请与该数据总量相符的存储空间并直接将数据写入该存储空间，之后再通过对该数据的相关参数进行生成，并采用MiniFS文件系统写入键值数据库中以进行存储，以便于后续对数据进行读取时使用。可见，本方法在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，写入数据时直接在块设备中申请存储空间并将数据写入，因此数据在存储到块设备前无需再写入到日志中，进而避免了写放大的情况出现，减少了对块设备使用寿命的影响。此外，由于本方法减少了数据写入块设备时的I/O操作次数，因此降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。

实施例二

图2为本发明实施例提供的另一种块设备的数据写入方法的流程图。图2中步骤S10及S12与图1相同，在此不再赘述。

如图2所示，作为一种优选的实施方式，在块设备中申请容量符合数据总量的存储空间前，该方法进一步包括：

步骤S20：构建B+树，并通过B+树记录块设备中的可用空间。

相应的，步骤S11具体为：

步骤S21：根据B+树中选取可用空间，以在块设备中申请存储空间。

需要说明的是，由于对于B+树中数据的遍历效率更高，因此采用B+树对块设备的可用空间进行记录能够更加快速的遍历到块设备的可用空间，进而也提高了数据的整体写入效率。在使用B+树记录块设备的可用空间时，可以将B+树的每个叶子节点分别对应块设备的一个数据块，每一个数据块中均有1位的二进制数据表示当前数据块是否空闲，例如1为有数据，0为空闲。此外，用户需要预设对于B+树的遍历方式，以该遍历方式遍历的叶子节点顺序表征块设备中各数据块的可用于否。当然，上述只是B+树在本方案中的某一种使用方式，在此不做具体限定。相应的，在数据写入块设备前先根据B+树选取块设备的可用空间，进而在块设备中申请符合数据存储要求的存储空间以存储数据。

此外，作为一种优选的实施方式，生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，具体为：

在内存中生成地址偏移以及属性信息。

可以理解的是，由于内存与处理器之间的工作频率最为接近，因此通过在内存中生成地址偏移以及属性信息能够实现处理器与内存之间的高效交互，进而提高地址偏移以及属性信息的生成效率，并且存在于内存的地址偏移以及属性信息也能够更加高效的被访问以及使用。

如图2所示，作为一种优选的实施方式，在生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库前，该方法进一步包括：

步骤S22：通过在块设备中读取超级块信息以对MiniFS文件系统进行初始化。

需要说明的是，每个安装的文件系统都有对应的超级块信息，超级块信息用于记录文件系统特有的属性，用于对文件系统进行初始化，将超级块信息存储在块设备中能够最大程度上保证文件系统的正常初始化以及工作。在实际使用中，可以将超级块信息存储在块设备的固定位置，例如块设备存储地址的8k位置，或其它便于对超级块信息进行获取以及使用的位置，在此不做具体限定。

此外，作为一种优选的实施方式，在将地址偏移以及属性信息写入键值数据库后，该方法进一步包括：

将MiniFS文件系统的操作内容记录为工作日志。

可以理解的是，将MiniFS文件系统的操作内容记录为工作日志能够便于用户在MiniFS文件系统出现故障时能够根据工作日志所记录的内容了解分析故障原因，为用户对MiniFS文件系统的故障修复以及后续优化提供了有力的支持。

此外，作为一种优选的实施方式，键值数据库具体包括：

LevelDB以及RocksDB。

由于LevelDB以及RocksDB均具有良好的设计，因此能够支持十亿级别的数据量，并且在海量数据的情况下依旧具有较高的性能，因此适合在企业中的大数据环境下使用。

实施例三

在上文中对于块设备的数据写入方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的块设备的数据写入装置，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种块设备的数据写入装置结构图。本发明实施例提供的块设备的数据写入装置，具体包括：

获取计算模块10，用于获取待写入的数据以及数据的数据总量。

块设备写入模块11，用于在块设备中申请容量符合数据总量的存储空间，并将数据分块写入至存储空间。

数据库写入模块12，用于生成数据在存储空间内的地址偏移以及数据的属性信息以写入键值数据库，并通过MiniFS文件系统将地址偏移以及属性信息写入块设备。

本发明所提供的块设备的数据写入装置，在获取到待写入的数据后，计算该数据的数据总量，进而在块设备中申请与该数据总量相符的存储空间并直接将数据写入该存储空间，之后再通过对该数据的相关参数进行生成，并采用MiniFS文件系统写入键值数据库中以进行存储，以便于后续对数据进行读取时使用。可见，本装置在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，写入数据时直接在块设备中申请存储空间并将数据写入，因此数据在存储到块设备前无需再写入到日志中，进而避免了写放大的情况出现，减少了对块设备使用寿命的影响。此外，由于本装置减少了数据写入块设备时的I/O操作次数，因此降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。

在实施例三的基础上，该装置还包括：

B+树构建模块，用于构建B+树，并通过B+树记录块设备中的可用空间。

实施例四

本发明还提供一种块设备的数据写入装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述的块设备的数据写入方法的步骤。

本发明所提供的块设备的数据写入装置，在获取到待写入的数据后，计算该数据的数据总量，进而在块设备中申请与该数据总量相符的存储空间并直接将数据写入该存储空间，之后再通过对该数据的相关参数进行生成，并采用MiniFS文件系统写入键值数据库中以进行存储，以便于后续对数据进行读取时使用。可见，本装置在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，写入数据时直接在块设备中申请存储空间并将数据写入，因此数据在存储到块设备前无需再写入到日志中，进而避免了写放大的情况出现，减少了对块设备使用寿命的影响。此外，由于本装置减少了数据写入块设备时的I/O操作次数，因此降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的块设备的数据写入方法的步骤。

本发明所提供的块设备的数据写入的计算机可读存储介质，在获取到待写入的数据后，计算该数据的数据总量，进而在块设备中申请与该数据总量相符的存储空间并直接将数据写入该存储空间，之后再通过对该数据的相关参数进行生成，并采用MiniFS文件系统写入键值数据库中以进行存储，以便于后续对数据进行读取时使用。可见，本计算机可读存储介质在仅具有文件系统基本功能的MiniFS文件系统的基础上进行数据写入机制的进一步完善，写入数据时直接在块设备中申请存储空间并将数据写入，因此数据在存储到块设备前无需再写入到日志中，进而避免了写放大的情况出现，减少了对块设备使用寿命的影响。此外，由于本计算机可读存储介质减少了数据写入块设备时的I/O操作次数，因此降低了数据写入时所造成的系统整体开销，保证了系统整体的性能。

以上对本发明所提供的一种块设备的数据写入方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种块设备的数据写入方法，其特征在于，包括：

获取待写入的数据以及所述数据的数据总量；

在块设备中申请容量符合所述数据总量的存储空间，并将所述数据分块写入至所述存储空间；

生成所述数据在所述存储空间内的地址偏移以及所述数据的属性信息以写入键值数据库，并通过所述MiniFS文件系统将所述地址偏移以及所述属性信息写入所述块设备。

2.根据权利要求1所述的方法，其特征在于，在块设备中申请容量符合所述数据总量的存储空间前，该方法进一步包括：

构建B+树，并通过所述B+树记录所述块设备中的可用空间；

相应的，所述在块设备中申请容量符合所述数据总量的存储空间具体为：

根据B+树中选取所述可用空间，以在所述块设备中申请所述存储空间。

3.根据权利要求1所述的方法，其特征在于，所述生成所述数据在所述存储空间内的地址偏移以及所述数据的属性信息以写入键值数据库，具体为：

在内存中生成所述地址偏移以及所述属性信息。

4.根据权利要求1所述的方法，其特征在于，在所述生成所述数据在所述存储空间内的地址偏移以及所述数据的属性信息以写入键值数据库前，该方法进一步包括：

通过在所述块设备中读取超级块信息以对所述MiniFS文件系统进行初始化。

5.根据权利要求1所述的方法，其特征在于，在所述将所述地址偏移以及所述属性信息写入键值数据库后，该方法进一步包括：

将所述MiniFS文件系统的操作内容记录为工作日志。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述键值数据库具体包括：

LevelDB以及RocksDB。

7.一种块设备的数据写入装置，其特征在于，包括：

获取计算模块，用于获取待写入的数据以及所述数据的数据总量；

块设备写入模块，用于在块设备中申请容量符合所述数据总量的存储空间，并将所述数据分块写入至所述存储空间；

数据库写入模块，用于生成所述数据在所述存储空间内的地址偏移以及所述数据的属性信息以写入键值数据库，并通过所述MiniFS文件系统将所述地址偏移以及所述属性信息写入所述块设备。

8.根据权利要求7所述的装置，其特征在于，该装置进一步包括：

B+树构建模块，用于构建B+树，并通过所述B+树记录所述块设备中的可用空间。

9.一种块设备的数据写入装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的块设备的数据写入方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的块设备的数据写入方法的步骤。