CN109739434A - 文件读取地址获取方法、文件读取方法和终端设备 - Google Patents

Abstract

本发明适用于数据存储技术领域，提供了一种文件读取地址获取方法、文件读取方法和终端设备，其中，所述获取文件读取地址的方法包括：接收客户端发送的文件读取请求，并提取文件读取请求中的数据块信息；根据数据块信息检索对应的存储节点，生成读取地址信息。本发明实施例提供的获取文件读取地址及读取文件的方法和终端设备，通过管理节点检索分布式存储系统中存储有数据块的存储节点，将检索得到的存储节点列表从而生成读取地址信息。由于管理节点仅仅执行地址检索的工作，而不必执行耗时的数据提取和数据块合并等工作，从而大幅降低了管理节点的工作量，避免客户端访问延时，解决了现有技术中分布式文件系统存在的访问延时较长的问题。

Description

文件读取地址获取方法、文件读取方法和终端设备

技术领域

本发明属于数据存储技术领域，尤其涉及一种文件读取地址获取方法、文件读取方法和终端设备。

背景技术

随着单位存储空间价格的不断降低，人们开始倾向于把更多的数据保存起来，以期在未来的某个时刻可以用更先进的数据分析工具从中挖掘价值。但是从古到今的存储介质都不能解决数据安全及持久保存的问题，因此，要在脆弱的存储介质上建立持久存储，需要使用对应的策略与技术。当前无论是个人还是公司，数据量持续增长，数据存储问题日益突出。一般企业采用集中式存储，利用磁盘镜像来提高有限的数据可靠性，但能提供的容量有限。还有一些企业采用NAS(Network Attached Storage网络附属存储，简称NAS)和SAN(千兆位速率的网络，简称SAN，它依托光纤通道为服务器和存储设备之间的连接提供更高的吞吐能力，支持更远的距离和更可靠的连通)技术进行数据存储，但NAS和SAN存储技术的开销较大，即使企业能承受一次投入，也无法承受持续的容量扩充和系统平滑升级所不断产生的费用。同时，NAS和SAN存储技术的维护难度大，需要咨询或聘请专业人员维护。分布式存储的出现，在一定程度上解决了上述问题。

但传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求。例如，对于一般的分布式存储架构HDFS(Hadoop Distributed File System分布式文件系统，简称HDFS)，由于HDFS的大吞吐量数据是以一定延时为代价设计的，使得HDFS不太适合于那些要求低延时，例如，延时不高于数十毫秒的应用程序。

发明内容

有鉴于此，本发明实施例提供了一种文件读取地址获取方法、文件读取方法和终端设备，以解决现有技术中分布式文件系统存在的访问延时较长的问题。

根据第一方面，本发明实施例提供了一种文件读取地址获取方法，包括：接收客户端发送的文件读取请求，并提取所述文件读取请求中的数据块信息；根据所述数据块信息检索对应的存储节点，生成读取地址信息。

本发明实施例提供的文件读取地址获取方法，通过管理节点逐一检索分布式存储系统中存储有需要读取的各个数据块的存储节点，将检索得到的存储节点列表从而生成读取地址信息。由于管理节点仅仅执行地址检索的工作，而不必执行耗时的数据提取和数据块合并等工作，从而大幅降低了管理节点的工作量，避免客户端访问延时，解决了现有技术中分布式文件系统存在的访问延时较长的问题。

结合第一方面，在第一方面第一实施方式中，在所述接收客户端发送的文件读取请求之前，所述文件读取方法还包括：获取请求时间；判断所述请求时间是否大于预设时间阈值；当所述请求时间大于预设时间阈值时，转发所述文件读取请求。

本发明实施例提供的文件读取地址获取方法，同时设置多个管理节点，在针对某一管理节点的访问请求时间较长时，及时将对应的文件读取请求转发至其他管理节点处理，从而进一步降低了访问延时。

结合第一方面，在第一方面第二实施方式中，所述根据所述数据块信息检索对应的存储节点，生成读取地址信息，包括：判断存储节点发送的存储信息中是否包含所述数据块信息；当所述存储节点发送的存储信息中包含所述数据块信息时，记录所述存储节点；根据记录的所述存储节点生成读取地址信息。

本发明实施例提供的文件读取地址获取方法，从各个存储节点定期发送给管理节点的存储信息中逐一筛查是否包含需要读取的数据块信息，从而筛选出本次执行数据读取的具体存储节点，有利于提高数据读取的可靠性和效率。

根据第二方面，本发明实施例提供了一种文件读取方法，包括：接收管理节点发送的读取地址信息；所述读取地址信息为根据第一方面或第一方面任一实施方式所述的文件读取地址获取方法生成的读取地址信息；向所述读取地址信息中的任一存储节点发送待读取的数据块信息；接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块。

本发明实施例提供的文件读取方法，通过客户端和存储节点的交互完成数据读取，将分布式存储系统中的数据读取工作分配至不同节点，实现各个节点的协同处理，从而大幅降低了管理节点的工作量，避免客户端访问延时，解决了现有技术中分布式文件系统存在的访问延时较长的问题。

结合第二方面，在第二方面第一实施方式中，在所述接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块之后，所述文件读取方法还包括：判断所述数据块是否有效；当所述数据块无效时，重复执行所述向所述读取地址信息中的任一存储节点发送待读取的数据块信息；接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块的步骤，直至接收的所述数据块为有效数据块。

本发明实施例提供的文件读取方法，在接收存储节点发送的数据块之后，增设步骤对数据块的有效性进行检验，以筛选出不能识别的数据块，并针对无效数据块追加读取，从而提高数据读取的可靠性。

结合第二方面第一实施方式，在第二方面第二实施方式中，所述文件读取方法还包括：当所述数据块有效时，根据所述数据块合并生成对应的文件。

本发明实施例提供的文件读取方法，通过客户端利用有效数据块合并生成对应的文件，改变现有技术通过管理节点提取并合并数据块的数据处理方式。由于降低了管理节点的工作量，有利于提高分布式文件系统的访问效率。

根据第三方面，本发明实施例提供了一种文件读取地址获取装置，包括：第一输入单元，用于接收客户端发送的文件读取请求，并提取所述文件读取请求中的数据块信息；地址分配单元，用于根据所述数据块信息检索对应的存储节点，生成读取地址信息。

根据第四方面，本发明实施例提供了一种文件读取装置，包括：第二输入单元，用于接收管理节点发送的读取地址信息；所述读取地址信息为根据第一方面或第一方面任一实施方式所述的文件读取地址获取方法生成的读取地址信息；输出单元，用于向所述读取地址信息中的任一存储节点发送待读取的数据块信息；所述第二输入单元还用于接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块。

根据第五方面，本发明实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实施方式所述的文件读取地址获取方法的步骤，或者，所述处理器执行所述计算机程序时实现如第二方面或第二方面任一实施方式所述的文件读取方法的步骤。

根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实施方式所述的文件读取地址获取方法的步骤，或者，所述计算机程序被处理器执行时实现如第二方面或第二方面任一实施方式所述的文件读取方法的步骤。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的应用场景示意图；

图2是本发明实施例提供的文件读取地址获取方法的一个具体示例的流程图；

图3是本发明实施例提供的文件读取地址获取方法的另一个具体示例的流程图；

图4是本发明实施例提供的文件读取方法的一个具体示例的流程图；

图5是本发明实施例提供的文件读取方法的另一个具体示例的流程图；

图6是本发明实施例提供的文件读取地址获取装置的一个具体示例的结构示意图；

图7是本发明实施例提供的文件读取装置的一个具体示例的结构示意图；

图8是本发明实施例提供的终端设备的一个具体示例的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1是本发明实施例的应用场景示意图。在图1中，客户端100与管理节点200通信连接，客户端100首先发送文件操作请求(例如，文件写入请求、文件更新请求和文件读取请求等)；某一管理节点200受理文件操作请求后会对应筛选或查找可以为客户端100提供服务的存储节点300，并将筛选出的存储节点300的地址列表发送给客户端100；最后，由客户端100和对应的存储节点300协同工作，完成对文件的具体操作，例如，文件写入、文件更新和文件读取等。

在一些实施例中，如图2所示，管理节点200通过执行以下步骤，能够实现对文件读取地址的查找：

步骤S101：接收客户端发送的文件读取请求，并提取文件读取请求中的数据块信息。在一具体实施方式中，当客户端100需要读取某一文件时，客户端100可以首先确定组成该文件的若干个数据块；然后，客户端100可以根据上述数据块生成对应的文件读取请求，并向随机选择的一个管理节点200发送该文件读取请求。被客户端100随机选中的管理节点200如果恰好处于空闲状态，则可以由该管理节点200接收文件读取请求；但如果该管理节点200正在处理其他文件操作请求，为了避免对当前客户端100发送的文件读取请求造成延时，如图3所示，可以通过执行下面几个步骤实现转发文件读取请求，从而使得其他空闲的管理节点200能够及时接收该文件读取请求：

步骤S100：获取请求时间并判断请求时间是否大于预设时间阈值。实际应用中，预设时间阈值可以是一个较小的时间，例如几毫秒。当请求时间大于预设时间阈值时，执行步骤S100’；当请求时间小于或等于预设时间阈值时，执行步骤S101。

步骤S100’：转发文件读取请求。在其他管理节点200接收该文件读取请求之前，该其他管理节点200也可以执行步骤S100，从而确定其是否能够接收并处理该文件读取请求。通过设置多个管理节点200，对现有HDFS进行了改进，将单一主节点的结构改进为多主节点的结构，从而在客户端集中发起文件操作请求时，避免出现长时间延时，提高对文件存储和读取等各种操作的工作效率。

步骤S102：根据数据块信息检索对应的存储节点，生成读取地址信息。各个存储节点300定期向管理节点200反馈其存储的数据块列表。通过对各个存储节点300的数据块列表进行检索，能够筛选出存储有待读取的数据块信息的存储节点，进而根据筛选出的存储节点生成读取地址信息。在一具体实施方式中，如图3所示，可以通过以下几个子步骤实现步骤S102的过程：

步骤S1021：判断存储节点发送的存储信息中是否包含数据块信息。存储信息即各个存储节点300定期向管理节点200反馈的其存储的数据块列表。当存储节点300发送的存储信息中包含数据块信息时，执行步骤S1022；当存储节点300发送的存储信息中不包含数据块信息时，不执行任何操作。

步骤S1022：记录存储节点并根据记录的存储节点生成读取地址信息。

本发明实施例提供的文件读取地址获取方法，通过管理节点逐一检索分布式存储系统中存储有需要读取的各个数据块的存储节点，将检索得到的存储节点列表从而生成读取地址信息。由于管理节点仅仅执行地址检索的工作，而不必执行耗时的数据提取和数据块合并等工作，从而大幅降低了管理节点的工作量，避免客户端访问延时，解决了现有技术中分布式文件系统存在的访问延时较长的问题。

基于同一发明构思，本发明实施例还提供了一种文件读取方法，适用于客户端100，如图4所示，该文件更新方法可以包括以下步骤：

步骤S401：接收管理节点发送的读取地址信息。具体的，读取地址信息为根据图2或图3所示的文件读取地址获取方法生成的读取地址信息。

步骤S402：向读取地址信息中的任一存储节点发送待读取的数据块信息。由于在分布式存储系统中每个数据块需要同时存储在多个存储节点中，以备某存储节点故障时其存储的数据在其他存储节点可寻，使得在管理节点200发送的读取地址信息中，对于每个待读取的数据块，均列写了多个存储节点，客户端100可以随机向其中的任一存储节点提起数据块读取请求。

步骤S403：接收任一存储节点根据待读取的数据块信息发送的对应数据块。

可选的，如图5所示，在步骤S403之后可以增设以下步骤以识别存储节点300发送的数据块是否有效：

步骤S404：判断数据块是否有效。当数据块无效时，返回步骤S402，直至接收到有效的数据块。本发明实施例提供的文件读取方法，在接收存储节点发送的数据块之后，增设步骤对数据块的有效性进行检验，以筛选出不能识别的数据块，并针对无效数据块追加读取，从而提高数据读取的可靠性。当数据块有效时，执行步骤S405。

步骤S405：根据数据块合并生成对应的文件。通过客户端100利用有效数据块合并生成对应的文件，改变现有技术通过管理节点200提取并合并数据块的数据处理方式。由于降低了管理节点的工作量，有利于提高分布式文件系统的访问效率。

本发明实施例提供的文件读取方法，通过客户端和存储节点的交互完成数据读取，将分布式存储系统中的数据读取工作分配至不同节点，实现各个节点的协同处理，从而大幅降低了管理节点的工作量，避免客户端访问延时，解决了现有技术中分布式文件系统存在的访问延时较长的问题。

应理解，上述方法实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例还提供了一种文件读取地址获取装置，如图6所示，该文件读取地址获取装置可以包括：第一输入单元601和地址分配单元602。

其中，第一输入单元601用于接收客户端发送的文件读取请求，并提取文件读取请求中的数据块信息；其具体的工作过程可参见上述方法实施例中步骤S101所述.

地址分配单元602用于根据数据块信息检索对应的存储节点，生成读取地址信息；其具体的工作过程可参见上述方法实施例中步骤S102所述。

本发明实施例还提供了一种文件读取装置，如图7所示，该文件读取装置可以包括：第二输入单元701和输出单元702。

第二输入单元701用于接收管理节点发送的读取地址信息；其具体的工作过程可参见上述方法实施例中步骤S401所述。读取地址信息为根据图2或图3所示的文件读取地址获取方法生成的读取地址信息。

输出单元702用于向读取地址信息中的任一存储节点发送待读取的数据块信息；其具体的工作过程可参见上述方法实施例中步骤S402所述。

第二输入单元701还用于接收任一存储节点根据待读取的数据块信息发送的对应数据块；其具体的工作过程可参见上述方法实施例中步骤S403所述。

可选的，文件读取装置还可以包括判断单元703和合并单元704。在一具体实施方式中，判断单元703用于判断存储节点300发送的数据块是否有效，其具体的工作过程可参见上述方法实施例中步骤S404所述；合并单元704用于根据数据块合并生成对应的文件，其具体的工作过程可参见上述方法实施例中步骤S405所述。

本发明实施例还提供了一种终端设备，如图8所示，该终端设备可以包括处理器801和存储器802，其中处理器801和存储器802可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器801可以为中央处理器(Central Processing Unit，CPU)。处理器801还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器802作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的文件读取地址获取方法或文件读取方法对应的程序指令/模块(例如，图6所示的第一输入单元601和地址分配单元602，或图7所示的第二输入单元701和输出单元702)。处理器801通过运行存储在存储器802中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的文件读取方法或文件更新方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器801所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至处理器801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器802中，当被所述处理器801执行时，执行如图2至图5所示实施例中的文件读取地址获取方法或文件读取方法。

上述终端设备具体细节可以对应参阅图2至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文件读取地址获取方法，其特征在于，应用于管理节点，所述方法包括：

接收客户端发送的文件读取请求，并提取所述文件读取请求中的数据块信息；

根据所述数据块信息检索对应的存储节点，生成读取地址信息。

2.如权利要求1所述的文件读取地址获取方法，其特征在于，在所述接收客户端发送的文件读取请求之前，所述文件读取方法还包括：

获取请求时间；

判断所述请求时间是否大于预设时间阈值；

当所述请求时间大于预设时间阈值时，转发所述文件读取请求给其他管理节点。

3.如权利要求1所述的文件读取地址获取方法，其特征在于，所述根据所述数据块信息检索对应的存储节点，生成读取地址信息，包括：

判断存储节点发送的存储信息中是否包含所述数据块信息；

当所述存储节点发送的存储信息中包含所述数据块信息时，记录所述存储节点；

根据记录的所述存储节点生成读取地址信息。

4.一种文件读取方法，其特征在于，应用于客户端，所述方法包括：

接收管理节点发送的读取地址信息；所述读取地址信息为根据权利要求1至3中任一项所述的文件读取地址获取方法生成的读取地址信息；

向所述读取地址信息中的任一存储节点发送待读取的数据块信息；

接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块。

5.如权利要求4所述的文件读取方法，其特征在于，在所述接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块之后，所述文件读取方法还包括：

判断所述数据块是否有效；

当所述数据块无效时，重复执行所述向所述读取地址信息中的任一存储节点发送待读取的数据块信息，以及接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块的步骤，直至接收到的所述数据块为有效数据块。

6.如权利要求5所述的文件读取方法，其特征在于，所述文件读取方法还包括：

当所述数据块有效时，根据所述数据块合并生成对应的文件。

7.一种文件读取地址获取装置，其特征在于，包括：

第一输入单元，用于接收客户端发送的文件读取请求，并提取所述文件读取请求中的数据块信息；

地址分配单元，用于根据所述数据块信息检索对应的存储节点，生成读取地址信息。

8.一种文件读取装置，其特征在于，包括：

第二输入单元，用于接收管理节点发送的读取地址信息；所述读取地址信息为根据权利要求1至3中任一项所述的文件读取地址获取方法生成的读取地址信息；

输出单元，用于向所述读取地址信息中的任一存储节点发送待读取的数据块信息；

所述第二输入单元还用于接收所述任一存储节点根据所述待读取的数据块信息发送的对应数据块。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的文件读取地址获取方法的步骤，或者，所述处理器执行所述计算机程序时实现如权利要求4至6中任一项所述的文件读取方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的文件读取地址获取方法的步骤，或者，所述计算机程序被处理器执行时实现如权利要求4至6中任一项所述的文件读取方法的步骤。