CN111190867A

CN111190867A - 一种用于文件存储的存储分层系统

Info

Publication number: CN111190867A
Application number: CN201911380269.6A
Authority: CN
Inventors: 龚立义; 邓篪
Original assignee: Baike Data Technology Shenzhen Co ltd
Current assignee: Baike Data Technology Shenzhen Co ltd
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2020-05-22

Abstract

本发明涉及文件存储技术领域，且公开了一种用于文件存储的存储分层系统，包括以下步骤，与客户端通信并接收所述客户端发送的文件，获知从客户端接收的所述文件的数据量，将所述数据量与预定参考值进行比较并根据所述数据量动态地为所述文件分配存储空间。该用于文件存储的存储分层系统，通过减少文件系统中存储空间的浪费，以及减少文件系统中的磁盘碎片，降低磁头在读取文件时的移动次数，提高文件系统中作为文件存储载体的磁盘的可用性，将外部存储的LUN映射到目标存储中，并将映射的LUN作为目标存储的本地磁盘，可以直接通过目标存储进行访问，因此利用目标存储就可以管理外部存储，方便了对存储的管理。

Description

一种用于文件存储的存储分层系统

技术领域

本发明涉及文件存储技术领域，具体为一种用于文件存储的存储分层系统。

背景技术

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上，数据存储要命名，这种命名要反映信息特征的组成含义，数据流反映了系统中流动的数据，表现出动态数据的特征，数据存储反映系统中静止的数据，表现出静态数据的特征。

目前，主流的文件系统有GFS和HDFS这两种，文件的数据量为多少，都一律划分成大小固定的区块，然后再将之存储，但是，如果文件的数据量小于区块的大小，则上述技术方案将会浪费很多存储空间，但是，这种技术方案会产生非常多的磁盘碎片，即，文件会存储在很多磁盘碎片上，在读取文件时，磁头的移动次数会大幅增加，使得文件的读取速度变慢，同时磁盘也容易发生故障，磁盘的可用性降低，故而提出一种用于文件存储的存储分层系统来解决上述所提出的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种用于文件存储的存储分层系统，具备能减少文件系统中存储空间的浪费，减少文件系统中磁盘碎片优点，解决了这种技术方案会产生非常多的磁盘碎片，即，文件会存储在很多磁盘碎片上，在读取文件时，磁头的移动次数会大幅增加，使得文件的读取速度变慢，同时磁盘也容易发生故障，磁盘的可用性降低的问题。

(二)技术方案

为实现上述能减少文件系统中存储空间的浪费，减少文件系统中磁盘碎片目的，本发明提供如下技术方案：一种用于文件存储的存储分层系统，包括以下步骤：

1)与客户端通信并接收所述客户端发送的文件，获知从客户端接收的所述文件的数据量，将所述数据量与预定参考值进行比较并根据所述数据量动态地为所述文件分配存储空间，提供可供分配的所述存储空间并将所述文件存储到所述存储空间中，预定参考值至少包括第一参考值和第二参考值，所述第一参考值和所述第二参考值均为与所述存储空间的容量相关的数值，所述第一参考值等于所述第二参考值的预定整数的倍数；

2)获知所述文件的所述数据量，将所述数据量与第一参考值和第二参考值进行比较并生成比较结果，根据所述比较结果为所述文件分配所述存储空间，所述存储空间以所述第一参考值和所述第二参考值为单位，判断在所述文件的接收过程中所述数据量是否增加，并在所述数据量增加了的情况下获知所述文件的数据增加量，以及在为所述文件分配存储空间的过程中根据所述数据增加量对所述数据量进行更新；

3)若所述比较结果为所述数据量按个位数向上取整后的值等于所述第一参考值的第一整数倍与所述第二参考值的第二整数倍之和，所述第二整数小于所述预定整数，为所述文件分配第一整数个第一区块和一个第二区块，所述第一-区块的容量等于所述第一参考值，所述第二区块的容量等于所述第二参考值的第二整数倍，若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的第三整数倍，所述第三整数小于所述预定整数，为所述文件分配一个第三区块，所述第三区块的容量等于所述第二参考值的第三整数倍，若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的一倍，为所述文件分配一个第四区块，所述第四区块的容量等于所述第二参考值的一倍；

4)将外部存储的LUN映射到目标存储的Initiator端，利用所述外部存储的Target端口与所述目标存储的Initiator端建立连接，利用所述目标存储的Initiator端将所述外部存储的LUN合并为所述目标存储的本地磁盘，通过所述本地磁盘对所述外部存储进行管理。

优选的，所述将外部存储的LUN映射到目标存储的Initiator端，包括在外部存储的Target端新建主机组，将目标存储添加至所述主机组中，将所述外部存储的LUN映射到所述目标存储的Initiator端。

优选的，所述将外部存储的LUN映射到目标存储的Initiator端之后，还包括将所述外部存储的Target端口设置为候选状态，所述目标存储的Initiator端查找为所述候选状态的Target端口，并将所述Target端口添加至所述目标存储的Initiator端。

优选的，所述利用目标存储的Initiator端将外部存储的LUN合并为目标存储的本地磁盘，包括将所述外部存储的LUN合并到所述目标存储的Initiator端的RAID，并进行高级特性处理。

优选的，所述将外部存储的LUN映射到目标存储的Initiator端之前，还包括设置目标存储的Initiator端支持目标协议，所述目标协议包括ISCSI协议、FC协议和FCoE协议。

(三)有益效果

与现有技术相比，本发明提供了一种用于文件存储的存储分层系统，具备以下有益效果：

1、该用于文件存储的存储分层系统，通过减少文件系统中存储空间的浪费，以及减少文件系统中的磁盘碎片，降低磁头在读取文件时的移动次数，提高文件系统中作为文件存储载体的磁盘的可用性，为解决上述技术问题，本发明的技术方案为获知文件系统要存储的文件的数据量，根据该数据量按照一定的方式为要存储的文件划分区块，即，存储空间，该方式为把文件的数据量向上取整，即，可以是按个位数、十位数、小数点后的十分位等等方式向上取整，然后将取整后的数据量优先按照较大的区块来划分，直到剩余的数据量不能继续按照较大的区块来划分为止，而剩余的数据量则作为另一个区块，因此，可以提高文件系统中作为文件存储载体的磁盘的使用效率，此外，由于将文件的数据量向上取整再将文件划分区块，因此可以减少磁盘碎片，从而可以提高文件系统中作为文件存储载体的磁盘的使用寿命。

2、该用于文件存储的存储分层系统，通过将外部存储的LUN映射到目标存储中，并将映射的LUN作为目标存储的本地磁盘，其中外部存储与目标存储建立有连接，当客户端访问外部存储时，可以直接通过目标存储进行访问，也就是利用合并为目标存储本地磁盘的LUN进行访问，其中访问时数据的传输通过外部存储与目标存储的连接进行，因此，当外部存储合并为目标存储时，外部存储就是目标存储的本地磁盘，因此避免了不同存储的不兼容性，同时由于外部存储合并为了目标存储的本地存储，因此利用目标存储就可以管理外部存储，方便了对存储的管理。

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

存储(厂商A)为所发明的存储设备，该设备能够将厂商B和厂商C进行接管和虚拟化，并将后两者所映射的LUN虛拟化为本地磁盘，经过内部一系列高级特性的处理，再统一映射给主机客户端使用。这--切都是对主机客户端透明的，即客户端可以无差别地使用这些LUN而不需要知道这些LUN是来自于存储A的还是存储B或C的，实现这种外部存储虚拟化功能，需要增加存储后端initiator模块的功能，使其不单单对本地磁盘进行管理，还具备接收target映射过来的LUN的功能，大致实现流程如下:

1)Target端(即外部存储)新建主机组，将存储A添加到主机组中，并映射LUN；

2)Initiator端(即本发明所设计的存储设备)去探测候选targetISCSI端口；

3)Initiator端将上一步所探测到的端口添加到本地并发起ISCSI连接建立申请；

4)Target端接受连接建立申请，正式建立ISCSI连接；

5)Initiator端接管映射过来的LUN，并合并到RAID，-起进行高级特性的处理。

需要说明的是，本实施例的方案还可以应用于FC协议、FCoE协议等，在这些协议领域，存储设备的整体架构不改变，只需要在initiator端增加对相应协议的支持即可。

实施例二：

本发明的文件存储管理模块包括数据量获知模块、比较模块和分配模块，数据量获知模块电性连接比较模块和通信模块，分配模块电性连接比较模块、存储模块和通信模块，其中，数据量获知模块用于获知文件的数据量，数据量获知模块可以通过对从客户端接收的请求信息进行解析来获知文件的数据量，比较模块用于将数据量与第一参考值和第二参考值进行比较并生成比较结果，分配模块用于根据比较结果为文件分配存储空间，存储空间可以以第一参考值和第二参考值为单位，若比较结果为数据量按个位数向上取整后的值等于第一参考值的第一整数倍与第二参考值的第二整数倍之和，第二整数小于该预定整数，分配模块还用于为文件分配第一整数个第一区块和一个第二区块，第一区块的容量等于第一参考值，第二区块的容量等于第二参考值的第二整数倍，这种情况为文件的数据量大于第一区块的容量(第一参考值)的情况，本发明的文件系统将所接收的文件优先地按照第一区块来划分，在剩余数据量不能划分为第一区块时再按照该剩余数据量来划分第二区块，在上述将文件划分为第一区块和第二区块的过程中将文件存储到存储模块中，若比较结果为数据量按个位数向，上取整后的值等于第二参考值的第三整数倍，第三整数小于预定整数，分配模块还用于为文件分配一个第三区块，第三区块的容量等于第二参考值的第三整数倍，这种情况为文件的数据量小于第一区块的容量(第一参考值)的情况，本发明的文件系统将所接收的文件按照其数据量按个位数向上取整后的值来划分第三区块，在上述将文件划分成第三区块的过程中将文件存储到存储模块中，若比较结果为数据量按个位数向上取整后的值等于第二参考值的一倍，分配模块还用于为文件分配一个第四区块，第四区块的容量等于第二参考值的一倍，这种情况为文件的数据量小于第二区块的容量(第二参考值)的情况，本发明的文件系统将所接收的文件按照第二参考值来划分区块，作为第四区块，在上述将文件划分为第四区块的过程中将文件存储到存储模块中。

因此，上述技术方案可以兼顾文件系统中作为存储文件的载体的磁盘的使用效率和使用寿命。

本发明的有益效果是：该用于文件存储的存储分层系统，通过减少文件系统中存储空间的浪费，以及减少文件系统中的磁盘碎片，降低磁头在读取文件时的移动次数，提高文件系统中作为文件存储载体的磁盘的可用性，为解决上述技术问题，本发明的技术方案为获知文件系统要存储的文件的数据量，根据该数据量按照一定的方式为要存储的文件划分区块，即，存储空间，该方式为把文件的数据量向上取整，即，可以是按个位数、十位数、小数点后的十分位等等方式向上取整，然后将取整后的数据量优先按照较大的区块来划分，直到剩余的数据量不能继续按照较大的区块来划分为止，而剩余的数据量则作为另一个区块，因此，可以提高文件系统中作为文件存储载体的磁盘的使用效率，此外，由于将文件的数据量向上取整再将文件划分区块，因此可以减少磁盘碎片，从而可以提高文件系统中作为文件存储载体的磁盘的使用寿命，通过将外部存储的LUN映射到目标存储中，并将映射的LUN作为目标存储的本地磁盘，其中外部存储与目标存储建立有连接，当客户端访问外部存储时，可以直接通过目标存储进行访问，也就是利用合并为目标存储本地磁盘的LUN进行访问，其中访问时数据的传输通过外部存储与目标存储的连接进行，因此，当外部存储合并为目标存储时，外部存储就是目标存储的本地磁盘，因此避免了不同存储的不兼容性，同时由于外部存储合并为了目标存储的本地存储，因此利用目标存储就可以管理外部存储，方便了对存储的管理。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种用于文件存储的存储分层系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于文件存储的存储分层系统，其特征在于：所述将外部存储的LUN映射到目标存储的Initiator端，包括在外部存储的Target端新建主机组，将目标存储添加至所述主机组中，将所述外部存储的LUN映射到所述目标存储的Initiator端。

3.根据权利要求1所述的一种用于文件存储的存储分层系统，其特征在于：所述将外部存储的LUN映射到目标存储的Initiator端之后，还包括将所述外部存储的Target端口设置为候选状态，所述目标存储的Initiator端查找为所述候选状态的Target端口，并将所述Target端口添加至所述目标存储的Initiator端。

4.根据权利要求1所述的一种用于文件存储的存储分层系统，其特征在于：所述利用目标存储的Initiator端将外部存储的LUN合并为目标存储的本地磁盘，包括将所述外部存储的LUN合并到所述目标存储的Initiator端的RAID，并进行高级特性处理。

5.根据权利要求1至4所述的一种用于文件存储的存储分层系统，其特征在于：所述将外部存储的LUN映射到目标存储的Initiator端之前，还包括设置目标存储的Initiator端支持目标协议，所述目标协议包括ISCSI协议、FC协议和FCoE协议。