CN112214468B

CN112214468B - 一种分布式存储系统小文件加速方法、装置、设备及介质

Info

Publication number: CN112214468B
Application number: CN202011114095.1A
Authority: CN
Inventors: 李成杰
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2020-10-18
Filing date: 2020-10-18
Publication date: 2023-01-06
Anticipated expiration: 2040-10-18
Also published as: CN112214468A

Abstract

本发明公开了一种分布式存储系统小文件加速方法，包括：将硬盘划分为预设大小的超级块、键值数据区以及数据区；根据超级块记录的信息确定键值数据区以及数据区的位置信息；根据位置信息获取键值数据区的键值数据并根据键值数据以及位置信息计算硬盘的空闲空间，以构建硬盘的空闲空间列表；响应于接收到写入数据的请求，根据写入的数据文件的文件大小在空闲空间列表里获取待存储位置的信息；根据待存储位置的信息将数据文件写入数据区的对应存储位置。本发明还公开了一种相应的装置、设备以及介质。本发明使随机访问的耗时均衡，从而加速了小文件的处理。

Description

一种分布式存储系统小文件加速方法、装置、设备及介质

技术领域

本发明涉及存储技术领域，更具体地，特别是指一种分布式存储系统小文件加速方法、装置、设备及介质。

背景技术

随着云计算、大数据技术的飞速发展，全球数据量呈爆炸式增长，这为分布式文件系统带来了新的发展机遇与挑战，从高性能计算到数据中心，从数据共享到互联网应用，分布式文件系统已渗透到数据应用的各个方面。当前多数分布式文件系统是针对大规模大数据文件的处理，小文件的存储优化相对缺乏。而随着社会化网络、移动通信和个人终端的发展，小文件在存储系统中所占的比例越来越高。因此，小文件的访问优化问题是当前分布式文件系统亟需解决的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种分布式存储系统小文件的一种加速方法和装置。

基于上述目的，本发明一方面提供了一种分布式存储系统小文件加速方法，该方法包括：

将硬盘划分为预设大小的超级块、键值数据区以及数据区；

根据所述超级块记录的信息确定所述键值数据区以及所述数据区的位置信息；

根据所述位置信息获取所述键值数据区的键值数据并根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表；

响应于接收到写入数据的请求，根据写入的数据文件的文件大小在所述空闲空间列表里获取待存储位置的信息；

根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置。

在一些实施例中，所述根据所述位置信息将所述数据文件写入所述数据区的对应存储位置还包括：

根据所述待存储位置的信息确定所述待存储位置的偏移值，根据所述偏移值将所述数据文件写入所述数据区的所述对应存储位置。

在一些实施例中，所述方法还包括：

根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值，将所述key值和所述value值存储至所述键值数据区。

在一些实施例中，所述根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值还包括：

将所述数据文件的所述文件名做hash处理，根据经过所述hash处理后的所述文件名配置所述key值，根据所述偏移值、所述文件大小以及经过所述hash处理后的所述文件名配置所述value值。

在一些实施例中，所述方法还包括：

响应于接收到读取数据的请求，对待读取的数据文件的文件名做所述 hash处理，根据经过所述hash处理后的所述待读取的数据文件的文件名在所述键值数据区中获取对应的value值。

在一些实施例中，所述方法还包括：

响应于根据所述待读取的数据文件的文件名在所述键值数据区中找到对应的value值，根据所述对应的value值确定所述待读取的数据文件对应的偏移值和长度，根据所述对应的偏移值和长度在所述数据区中获取所述待读取的数据文件。

在一些实施例中，根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表，还包括：

将所述键值数据读取至内存，根据所述键值数据及所述位置信息计算所述数据区当前多个空闲空间的偏移值和长度；

根据所述当前多个空闲空间的偏移值和长度在所述内存中构建所述硬盘的所述空闲空间列表。

本发明实施例的另一方面，还提供了一种分布式存储系统小文件加速装置，该装置包括：

划分模块，所述划分模块配置为将硬盘划分为预设大小的超级块、键值数据区以及数据区；

确定模块，所述确定模块配置为根据所述超级块记录的信息确定所述键值数据区以及所述数据区的位置信息；

构建模块，所述构建模块配置为根据所述位置信息获取所述键值数据区的键值数据并根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表；

获取模块，所述获取模块配置为响应于接收到写入数据的请求，根据写入的数据文件的文件大小在所述空闲空间列表里获取待存储位置的信息；

写入模块，所述写入模块配置为根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一分布式存储系统小文件加速方法的步骤。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种分布式存储系统小文件加速方法的步骤。

本发明至少具有以下有益技术效果：本发明将业务相关的小文件场景提出一种高效解决方案，提高了小文件处理性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1示出了根据本发明的分布式存储系统小文件加速方法的实施例的示意性框图；

图2示出了根据本发明的分布式存储系统小文件加速装置的实施例的示意性框图；

图3为本发明的实施例提供的计算机设备的结构示意图；

图4为本发明的实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”和“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种分布式存储系统小文件加速方法的实施例。图1示出的是根据本发明的分布式存储系统小文件加速方法的实施例的示意性框图，如图1所示的实施例中，该方法至少包括如下步骤：

S1、将硬盘划分为预设大小的超级块、键值数据区以及数据区；

S2、根据所述超级块记录的信息确定所述键值数据区以及所述数据区的位置信息；

S3、根据所述位置信息获取所述键值数据区的键值数据并根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表；

S4、响应于接收到写入数据的请求，根据写入的数据文件的文件大小在所述空闲空间列表里获取待存储位置的信息；

S5、根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置。

在本发明的一些实施例中，提供了一种基于SSD的适用于小文件的文件系统，将SSD划分为4K的超级块、0.2％空间大小的kv(Key-value，键值)数据区以及数据区。本发明将小文件使用SSD存放，通过创建4K超级块、kv数据区和数据区对SSD直接管理，减少了文件读写协议栈，使随机访问的耗时均衡，从而加速小文件的处理，加快了处理速度。

在本发明的一些实施例中，本发明限定使用SSD存储，并使用基于kv 数据区的文件系统，使任意小文件的访问耗时均衡，达到加速小文件处理的目的。具体实施方式如下：初始化，首先读取4K的超级块，根据超级块确定kv数据区的起始位置和大小以及数据区的启动位置；构建SSD的空闲空间列表；数据写入过程，根据文件大小，在空闲空间列表里查找合适的起始位置，也即offset(偏移值)，然后根据起始位置将待写入的数据写入数据区从offset起始的位置，将文件名hash处理后作为key值，offset+length+ 文件名作为value值存入kv数据区。

根据本发明的分布式存储系统小文件加速方法的一些实施方式，根据位置信息将数据文件写入数据区的对应存储位置还包括：

根据待存储位置的信息确定待存储位置的偏移值，根据偏移值将数据文件写入数据区的对应存储位置。

在本发明的一些实施例中，数据写入过程，根据文件大小，在空闲空间列表里查找合适的位置offset(偏移值)，将文件信息写入offset起始的数据区。

根据本发明的分布式存储系统小文件加速方法的一些实施方式，方法还包括：

根据数据文件的文件名配置key值，根据偏移值、文件大小以及文件名配置value值，将key值和value值存储至键值数据区。

在本发明的一些实施例中，根据文件名配置key值，offset+length+文件名作为value值存入kv数据区。

将数据文件的文件名做hash处理，根据经过hash处理后的文件名配置 key值，根据偏移值、文件大小以及经过hash处理后的文件名配置value值。

在本发明的一些实施例中，将文件名hash处理后作为key值， offset+length+文件名作为value值存入kv数据区。

响应于接收到读取数据的请求，对读取的数据文件的文件名做hash处理，根据经过hash处理后的文件名在键值数据区中获取对应的value值。

在本发明的一些实施例中，数据读取过程，首先对文件名hash，再从 kv数据区读出对应的value值(offset，length，文件名)。

响应于根据文件名在键值数据区中找到对应的value值，根据value值获取待读取的数据文件的偏移值和长度，根据所述对应的偏移值和长度在所述数据区中获取所述待读取的数据文件。

在本发明的一些实施例中，首先对文件名hash，再从kv数据区读出对应的数据(offset，length，文件名)。如果文件名不匹配，则查找下一个 hash表项，如果hash表查找完没找到则返回无此文件，如果文件名匹配，根据(offset，length)在数据区读取指定数据返回，读取完成。

需要说明的是，不同的文件名hash处理后得到的key值可能相同，也即一个key值对应多个value值，因此需要判断value值中的文件名是否与待读取的数据文件的文件名匹配，如果不匹配则查找下一个value值。

根据本发明的分布式存储系统小文件加速方法的一些实施方式，根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表，还包括：

将所述键值数据区中的所述键值数据读取至内存，根据所述键值数据及所述键值数据的所述位置信息计算所述数据区当前多个空闲空间的偏移值和长度；

具体的，根据键值数据区中的value值(包括offset+length)即可得到当前数据区已被使用的空间，然后根据位置信息又可得到数据区的起始位置，这样可以计算出数据区还未被使用的多个空闲空间的offset和length，将多个空闲空间的offset和length构成空闲空间列表，然后当进行数据文件的写入时，首先根据数据文件的大小与空闲空间列表中的记录的空闲空间的length比较，选择合适的空闲空间后，根据对应的offset将待写入的数据文件写入数据区对应的位置。同时更新键值数据区以及空闲空间列表。

在本发明的一些实施例中，读取kv数据到内存，构建SSD的空闲空间列表。

本发明实施例的另一方面，提出了一种分布式存储系统小文件加速装置的实施例。图2示出的是根据本发明的分布式存储系统小文件加速装置的实施例的示意性框图，如图2所示，该装置101包括：

划分模块11，所述划分模块11配置为将硬盘划分为预设大小的超级块、键值数据区以及数据区；

确定模块12，所述确定模块12配置为根据所述超级块记录的信息确定所述键值数据区以及所述数据区的位置信息；

构建模块13，所述构建模块13配置为根据所述位置信息获取所述键值数据区的键值数据并根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表；

获取模块14，所述获取模块14配置为响应于接收到写入数据的请求，根据写入的数据文件的文件大小在所述空闲空间列表里获取待存储位置的信息；

写入模块15，所述写入模块15配置为根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置。

基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种计算机设备501，包括：

至少一个处理器520；以及

存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种分布式存储系统小文件加速方法的步骤。

基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601 存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种分布式存储系统小文件加速方法的步骤。

同样地，本领域技术人员应当理解，以上针对根据本发明的分布式存储系统小文件加速方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的装置。为了本公开的简洁起见，在此不再重复阐述。

需要特别指出的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，分布式存储系统小文件加速方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM) 等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和 /或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种分布式存储系统小文件加速方法，其特征在于，所述方法包括：

将硬盘划分为预设大小的超级块、键值数据区以及数据区；

根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置；

所述根据所述位置信息将所述数据文件写入所述数据区的对应存储位置还包括：

根据所述待存储位置的信息确定所述待存储位置的偏移值，根据所述偏移值将所述数据文件写入所述数据区的所述对应存储位置；

根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值，将所述key值和所述value值存储至所述键值数据区；

所述根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值还包括：

将所述数据文件的所述文件名做hash处理，根据经过所述hash处理后的所述文件名配置所述key值，根据所述偏移值、所述文件大小以及经过所述hash处理后的所述文件名配置所述value值；

响应于接收到读取数据的请求，对待读取的数据文件的文件名做所述hash处理，根据经过所述hash处理后的所述待读取的数据文件的文件名在所述键值数据区中获取对应的value值；

2.根据权利要求1所述的分布式存储系统小文件加速方法，其特征在于，根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表，还包括：

3.一种分布式存储系统小文件加速装置，其特征在于，所述装置包括：

写入模块，所述写入模块配置为根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置；

所述写入模块还配置为：

其中，所述根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值还包括：

4.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-2任意一项所述的方法的步骤。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-2任意一项所述的方法的步骤。