CN106980647B - 一种分布式文件系统数据分布方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统数据分布方法，包括：将文件进行对象化处理，得到该文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。本发明还公开了一种分布式文件系统数据分布装置。本发明实现了分布式文件存储容量、价格、扩容及硬件厂商的限制问题。

Description

一种分布式文件系统数据分布方法及装置

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种分布式文件系统数据分布方法及装置。

背景技术

在信息爆炸的时代人类获取的数据成指数倍的增长，通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，其缺陷在于其容量的大小、容量增长的速度、数据备份、数据安全等方面的表现随着时代的发展逐步的放大。分布式文件系统可以有效解决数据的存储和管理难题，即将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，由众多的x86硬件平台节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。解决了现有技术传统存储容量、价格、扩容及硬件厂商的限制等关键问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种分布式文件系统数据分布方法，旨在解决传统存储容量小、价格高、扩容复杂及其硬件厂商限制等一系列的问题。

本发明提供的一种分布式文件系统数据分布方法，包括：

将文件进行对象化处理，得到该文件的对象文件；

运用文件分布算法计算所述对象文件的对象ID；

将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。

优选地，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：

将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。

优选地，所述方法，还包括：

接收协议客户端发送的控制监管命令，控制协议客户端通过监管节点检测系统节点的健康状态。

优选地，所述方法，还包括：

通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。

优选地，所述方法，还包括：

在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

此外，为实现上述目的，本发明还提供一种分布式文件系统数据分布装置，包括：

转化模块，用于将文件进行对象化处理，得到该文件的对象文件；

计算模块，用于运用文件分布算法计算所述对象文件的对象ID；

操作模块，用于将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。

优选地，所述装置还包括：

存储模块，用于将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。

优选地，还包括：

接收模块，用于接收协议客户端发送的控制监管命令；

控制模块，用于控制协议客户端通过监管节点检测系统节点的健康状态。

优选地，所述装置还包括：

检测模块，用于通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。

优选地，所述装置还包括：

处理模块，用于在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

本发明通过将文件进行对象化处理，得到该文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。实现了分布式文件存储容量、价格、扩容及硬件厂商的限制等一系列问题。

附图说明

图1为本发明分布式文件系统数据分布方法的第一实施例的流程示意图；

图2为分布式文件系统文件存储的相关的步骤；

图3为本发明分布式文件系统数据分布方法的第二实施例的流程示意图；

图4为本发明分布式文件系统数据分布方法的第三实施例的流程示意图；

图5为本发明分布式文件系统数据分布方法的第一实施例的功能模块示意图；

图6为本发明分布式文件系统数据分布装置的第二实施例的功能模块示意图；

图7为本发明分布式文件系统数据分布装置的第三实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于上述问题，本发明提供一种分布式文件系统数据分布方法。

参照图1，图1为本发明分布式文件系统数据分布方法的第一实施例的流程示意图。

在一实施例中，所述方法包括：

步骤S10，将文件进行对象化处理，得到所述文件的对象文件；

获取需进行存储的文件，所述获取需存储的文件，所述需存储的文件来自有文件存储需求的电子终端或与电子终端关联的其他电子设备；待获取到需进行存储的文件后，将文件进行对象化处理；所述文件对象化处理，根据当前已设置的对象处理方式，对文件进行对象化处理；所述对象化，是主体向客体的转化，具体操作方式与当前已设置的文件对象化方式有关。文件经过对象化处理后，得到所述文件的对象文件。

步骤S20，运用文件分布算法计算所述对象文件的对象ID；

通过文件分布算法，以所述获取到的有存储需求的文件经过对象化后得到的对象文件为参数进行计算，得到一个随机且唯一的对象ID，所述对象ID与所述对象文件为一对一的关系，且所述对象ID是基于对象文件才生成的，与对象文件具有同一性。所述文件分布算法，为一种随机的文件分布算法，用以生成对象文件的对象ID。

步骤S30，将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。

将对象文件通过对象ID映射至对象存储列表，即将对象文件保存至对象存储列表，以对象ID为标识在对象存储列表中显示。待对象文件存储完成后，以当前对象存储列表的位置，确认对象文件对应的OSD存储区域。所述对象存储列表对应OSD存储的不同区域，即一个OSD存储区域拥有多个对象存储列表，对象存储列表根据预设顺序排列后，对应至OSD的存储区域，所述OSD存储对应的对象存储列表的预设顺序，根据当前OSD存储区域的相关功能进行设置，即在OSD存储区域设置当前OSD对应的对象存储列表；对象存储列表相当于OSD存储区域的目录，根据对象存储列表设定的范围，以确认该对象存储列表中存储的对象文件在OSD存储区域的范围。可查看图2，图2为分布式文件系统文件存储的相关的步骤。

进一步的，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：

将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。

通过对象ID将所述对象文件存储到对象存储列表后，根据当前对象存储列表位于的OSD存储区域，将存储于该对象存储列表的对象文件继续存储于OSD存储区域中保存，保存至OSD存储区域的对象文件以对象存储列表中映射的对象ID为标识进行。即对象文件及对象ID的映射关系保存至对象存储列表中。

本实施例通过将有存储需求的文件进行对象化后，使用该对象文件对应的唯一对象ID存储于对象存储列表后，通过该对象存储列表位于OSD存储区域的位置，将对象文件存储至OSD对应存储位置中，并将该对象文件及对象ID的映射关系保存于对象存储列表，以目录的形式展现，便于后期该对象文件的读取、定位及备份操作。降低了文件存储时所占用的容量，继而减低存储成本并提高了OSD存储区域的数据存储使用率。

参照图3，图3为本发明分布式文件系统数据分布方法的第二实施例的流程示意图。基于上述方法的第一实施例，所述方法，还包括：

步骤S40，接收协议客户端发送的控制监管命令，控制协议客户端通过监管节点检测分布式文件系统节点的健康状态，所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程。

与分布式文件系统所在终端或直接与分布式文件系统进行关联的协议客户端，预设周期内发起对当前分布式文件系统的控制监管命令，用以检查当前分布式文件系统节点的健康状态。待所述分布式系统接收到控制监管命令后，根据所述监管命令内容，控制所述分布式文件系统的监控功能，对应检查分布式文件系统的的节点健康状态。所述分布式文件系统节点，包括文件对象化存储至OSD存储区域的各个操作步骤都称之为分布式文件系统节点。即所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程。

步骤S50，通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。

根据接收到的协议客户端的控制监管命令，使对应协议客户端通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态，所述监管节点系统挂载访问接口，为在分布式系统中预留的访问接口，用以监管当前分布式文件节点的健康状态。所述数据健康状态，包括分布式文件系统中已存储的数据有效性、OSD存储容量、分布式文件系统的数据保存至OSD操作节点等，具体的详细系统满意度节点、满意度内容及处理方式等，根据当前分布式文件系统相关的功能设置。

参照图4，图4为本发明分布式文件系统数据分布方法的第三实施例的流程示意图。基于上述方法的第一实施例，所述方法，还包括：

步骤S60，在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

所述分布式文件系统数据分布方法中，通过自文件来源获取到的文件，进行对象化处理等操作后保存至对应OSD存储区域，即文件写入操作；之后，已存储自OSD存储区域的文件内容，并且，所述已存储至OSD存储区域的文件内容；此种操作方式的发起，皆通过协议客户端的相关功能进行发起。

其具体流程为，若当前有写入文件需求，于协议客户端的写入文件功能中控制进行文件写入操作，即发起写入文件指令，待分布式文件系统中接收到所述文件写入操作指令时，根据指令相关内容获取对应文件，并将所述文件进行对象化处理后得到对象文件，获取到所述对象文件的对象ID，之后，通过该对象ID将对象文件映射至对象存储列表中保存，根据该对象存储列表于对应的OSD存储区域，将对象文件保存至OSD存储区域，并将该对象文件与对象ID的映射关系保存至对象存储列表，以目录形式保存；

若当前有读取文件需求，于协议客户端的读取文件功能中控制进行文件读取操作，即发起文件读取指令，待分布式文件接收到读取文件指令时，根据所述文件读取指令的相关内容，于对象存储列表中读取对应的对象ID内容，并根据读取到的对象ID对应的映射关系，定位至对象文件存储位置，之后，读取该对象文件的内容。

其中，使用当前协议客户端发起文件读取及写入指令，前提为当前协议客户端为当前分布式系统文件承认并正常连接的终端，所述连接方式，为分布式文件系统设计的连接方式，或者为现有技术的无线连接、有线连接方式，在此不多赘述。

上述第一至第三实施例的分布式文件系统数据分布方法的执行主体可以为有分布式文件系统安装条件的电子终端或与该电子终端进行关联的其他电子终端。更进一步地，其协议客户端为满足相关操作功能的电子终端，其中，该满足分布式文件系统安装条件的电子终端或与该终端关联的其他电子终端可以包括但不限于笔记本电脑、一体机等电子终端。所述协议客户端包括但不限于手机、pad、笔记本电脑等。

本发明进一步提供一种分布式文件系统数据分布装置。

参照图5，图5为本发明分布式文件系统数据分布装置的第一实施例的功能模块示意图。

在一实施例中，所述装置包括：转化模块10、计算模块20、操作模块30及存储模块40。

转化模块10，用于将文件进行对象化处理，得到所述文件的对象文件；

获取需进行存储的文件，所述获取需存储的文件，所述需存储的文件来自有文件存储需求的电子终端或与电子终端关联的其他电子设备；待获取到需进行存储的文件后，将文件进行对象化处理；所述文件对象化处理，根据当前已设置的对象处理方式，对文件进行对象化处理；所述对象化，是主体向客体的转化，具体操作方式与当前已设置的文件对象化方式有关。文件经过对象化处理后，得到所述文件的对象文件。

计算模块20，用于运用文件分布算法计算所述对象文件的对象ID；

通过文件分布算法，以所述获取到的有存储需求的文件经过对象化后得到的对象文件为参数进行计算，得到一个随机且唯一的对象ID，所述对象ID与所述对象文件为一对一的关系，且所述对象ID是基于对象文件才生成的，与对象文件具有同一性。所述文件分布算法，为一种随机的文件分布算法，用以生成对象文件的对象ID。

操作模块30，用于将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。

将对象文件通过对象ID映射至对象存储列表，即将对象文件保存至对象存储列表，以对象ID为标识在对象存储列表中显示。待对象文件存储完成后，以当前对象存储列表的位置，确认对象文件对应的OSD存储区域。所述对象存储列表对应OSD存储的不同区域，即一个OSD存储区域拥有多个对象存储列表，对象存储列表根据预设顺序排列后，对应至OSD的存储区域，所述OSD存储对应的对象存储列表的预设顺序，根据当前OSD存储区域的相关功能进行设置，即在OSD存储区域设置当前OSD对应的对象存储列表；对象存储列表相当于OSD存储区域的目录，根据对象存储列表设定的范围，以确认该对象存储列表中存储的对象文件在OSD存储区域的范围。可查看图2，图2为分布式文件系统文件存储的相关的步骤。

进一步的，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：

存储模块40，用于将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。

通过对象ID将所述对象文件存储到对象存储列表后，根据当前对象存储列表位于的OSD存储区域，将存储于该对象存储列表的对象文件继续存储于OSD存储区域中保存，保存至OSD存储区域的对象文件以对象存储列表中映射的对象ID为标识进行。即对象文件及对象ID的映射关系保存至对象存储列表中。

本实施例通过将有存储需求的文件进行对象化后，使用该对象文件对应的唯一对象ID存储于对象存储列表后，通过该对象存储列表位于OSD存储区域的位置，将对象文件存储至OSD对应存储位置中，并将该对象文件及对象ID的映射关系保存于对象存储列表，以目录的形式展现，便于后期该对象文件的读取、定位及备份操作。降低了文件存储时所占用的容量，继而减低存储成本并提高了OSD存储区域的数据存储使用率。

参照图6，图6为本发明分布式文件系统数据分布装置的第二实施例的功能模块示意图。所述装置还包括接收模块50、控制模块60、检测模块70。

接收模块50，用于接收协议客户端发送的控制监管命令；

与分布式文件系统所在终端或直接与分布式文件系统进行关联的协议客户端，预设周期内发起对当前分布式文件系统的控制监管命令，用以检查当前分布式文件系统节点的健康状态。当所述协议客户端发起控制监管命令后，所述分布式系统接收控制监管命令。

控制模块60，用于控制协议客户端通过监管节点检测系统节点的健康状态。

根据所述监管命令内容，控制所述分布式文件系统的监控功能，对应检查分布式文件系统的的节点健康状态。所述分布式文件系统节点，包括文件对象化存储至OSD存储区域的各个操作步骤都称之为分布式文件系统节点。即所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程。

检测模块70，用于通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。

根据接收到的协议客户端的控制监管命令，使对应协议客户端通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态，所述监管节点系统挂载访问接口，为在分布式系统中预留的访问接口，用以监管当前分布式文件节点的健康状态。所述数据健康状态，包括分布式文件系统中已存储的数据有效性、OSD存储容量、分布式文件系统的数据保存至OSD操作节点等，具体的详细系统满意度节点、满意度内容及处理方式等，根据当前分布式文件系统相关的功能设置。

参照图7，图7为本发明分布式文件系统数据分布装置的第三实施例的功能模块示意图。所述装置还包括处理模块80。

处理模块80，用于在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

所述分布式文件系统数据分布方法中，通过自文件来源获取到的文件，进行对象化处理等操作后保存至对应OSD存储区域，即文件写入操作；之后，已存储自OSD存储区域的文件内容，并且，所述已存储至OSD存储区域的文件内容；此种操作方式的发起，皆通过协议客户端的相关功能进行发起。

其具体流程为，若当前有写入文件需求，于协议客户端的写入文件功能中控制进行文件写入操作，即发起写入文件指令，待分布式文件系统中接收到所述文件写入操作指令时，根据指令相关内容获取对应文件，并将所述文件进行对象化处理后得到对象文件，获取到所述对象文件的对象ID，之后，通过该对象ID将对象文件映射至对象存储列表中保存，根据该对象存储列表于对应的OSD存储区域，将对象文件保存至OSD存储区域，并将该对象文件与对象ID的映射关系保存至对象存储列表，以目录形式保存；

若当前有读取文件需求，于协议客户端的读取文件功能中控制进行文件读取操作，即发起文件读取指令，待分布式文件接收到读取文件指令时，根据所述文件读取指令的相关内容，于对象存储列表中读取对应的对象ID内容，并根据读取到的对象ID对应的映射关系，定位至对象文件存储位置，之后，读取该对象文件的内容。

其中，使用当前协议客户端发起文件读取及写入指令，前提为当前协议客户端为当前分布式系统文件承认并正常连接的终端，所述连接方式，为分布式文件系统设计的连接方式，或者为现有技术的无线连接、有线连接方式，在此不多赘述。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种分布式文件系统数据分布方法，其特征在于，所述方法包括以下步骤：

将获取到的文件进行对象化处理，得到所述文件的对象文件；

以所述对象文件为参数，通过文件分布算法计算所述对象文件的对象ID，所述对象ID基于对象文件生成，与所述对象文件具有同一性；

将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域，其中，所述OSD存储区域设置有对象存储列表，以及所述对象存储列表对应的OSD存储区域范围，所述OSD存储区域包括多个对象存储列表；

将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表；

其中，所述方法还包括：

接收协议客户端发送的控制监管命令，控制协议客户端通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态以确定所述分布式文件系统节点的健康状态，所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程，所述数据健康状态包括数据有效性及OSD存储容量。

2.如权利要求1所述的分布式文件系统数据分布方法，其特征在于，所述方法，还包括：

在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

3.一种分布式文件系统数据分布装置，其特征在于，包括：

转化模块，用于将获取到的文件进行对象化处理，得到所述文件的对象文件；

计算模块，用于以所述对象文件为参数，通过运用文件分布算法计算所述对象文件的对象ID；

操作模块，用于将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域；

存储模块，用于将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表；

接收模块，用于接收协议客户端发送的控制监管命令；

控制模块，用于控制协议客户端通过监管节点检测系统节点的健康状态，所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程；

检测模块，用于通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。

4.如权利要求3所述的分布式文件系统数据分布装置，其特征在于，所述装置还包括：

处理模块，用于在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。

Images