CN105933376A - 一种数据操作方法，服务器及存储系统 - Google Patents

Abstract

一种数据操作方法，服务器及存储系统，涉及存储领域，能够保证Hadoop在功能支撑完全的前提下使用键值存储。该方法包括：名称节点模块接收HDFS客户端发送的操作请求消息，该操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；根据该操作请求消息中包括的该目标文件的文件名确定键key，并根据该key确定值value的存储空间的位置，该value为该目标文件的数据；根据该操作请求消息中的起始地址信息以及数据长度信息获取该目标数据在该存储空间中的目标块地址信息；向该HDFS客户端发送用于响应该操作请求消息的响应消息，该响应消息包括该目标块地址信息。

Description

一种数据操作方法，服务器及存储系统

技术领域

本发明涉及存储领域，尤其涉及一种数据操作方法，服务器及存储系统。

背景技术

现有技术中对大数据的处理采用基于Hadoop的平台。Hadoop是一个开源分布式计算平台，其核心包括HDFS(Hadoop Distributed Files System，Hadoop分布式文件系统)。

HDFS包括名字节点和数据节点，名字节点用于元数据的管理和处理，数据节点用于以文件形式存储数据。名字节点和数据节点可以是专用设备。也可以是运行在普通计算机上的软件，通常由一台专门的机器来运行名字节点软件，其他每台机器运行一个数据节点软件。一台机器上也可以运行多个数据节点软件。每台运行数据节点软件的机器具有本地的文件系统。HDFS是建立在多个机器文件系统上的一个逻辑上的文件系统，它的底层数据以数据块方式进行存储。数据节点将HDFS数据存储到本地的文件系统中，其中，数据节点并不知道HDFS文件的存在，它在本地文件系统中以单独的文件存储每一个HDFS文件的数据块。

键值(key-value)存储中，数据被称作值(value)，每个数据对应着一个唯一的标识(key)，根据唯一标识(key)可以直接定位到值(value)的位置，因此，键值存储不再有类似文件系统的目录层级结构，而是完全扁平化存储，这样，相比文件存储，键值存储更容易进行容量扩展，并且由于数据读写可以直通对象层，键值存储比目录结构的存储方式的读写效率也更高。

如何把Hadoop与键值存储这两种先进技术进行结合，是业界亟待解决的问题。但是，由于Hadoop的一些功能的实现直接依赖HDFS，例如，HBase(Hadoopdatabase，Hadoop的数据库)备份以及系统查询impala等，直接利用键值存储系统替换Hadoop中的HDFS，将导致Hadoop的功能支撑不全，因此，现有技术中还没有使用键值存储系统结合HDFS的完善方案。

发明内容

本发明的目的是提供一种数据操作方法，服务器及存储系统，能够保证Hadoop在功能支撑完全的前提下使用键值存储。

为了达到上述目的，本发明采用如下的技术方案：

第一方面，提供一种数据操作方法，所述方法应用于存储系统，所述存储系统包括名称节点模块，数据节点模块，以及键值KV存储设备；所述方法包括：名称节点模块接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。其中，该响应消息也是基于该ClientProtocol通信协议，并且，第一方面中，HDFS客户端接收到名称节点模块发送的该响应消息后，可以基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议将包括该目标地址信息的操作指令发送至数据节点模块，该数据节点模块可以根据该目标地址信息对目标数据进行该操作指令指示的操作。这样，名称节点模块与HDFS客户端之间、数据节点模块与HDFS客户端之间均是基于Hadoop平台的原生协议进行通信，从而保证了对Hadoop其他功能的支撑，在此前提下，由于HDFS文件的数据在底层做键值存储，从而提高了数据的读写效率以及容量扩展性。

在结合第一方面的第一种可能的实现方式中，所述根据所述操作请求消息中包括的所述目标文件的文件名确定键key，包括：根据所述文件名确定所述目标文件的索引节点inode编号；将所述inode编号作为所述key确定所述value的存储空间的位置。inode编号计算机识别文件的标识，在上述可能的实现方式中，一个HDFS文件的数据为KV存储设备中一个value，HDFS文件的inode编号为value的键key，根据键值存储的实现机制，所述名称节点模块通过key可以直接定位到value的位置。

结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息，包括：根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。所述块为KV存储设备中的物理存储单元，上述可能的实现方式中，名称节点在确定value的存储空间的位置后，根据起始地址信息和数据长度信息可确定待操作的目标数据位于该存储空间的哪些物理存储单元上。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，包括：将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。Hadoop平台中名称节点返回至HDFS客户端的响应消息包括目标数据在所属文件中的块地址信息，目标数据在文件中的块地址是逻辑地址，数据节点根据该逻辑块地址读取数据时，经过数据节点本地文件系统的层级结构最终获取到目标数据，在上述可能的实现方式中，所述名称节点模块将KV存储设备中的物理块地址信息返回至HDFS客户端，这样，数据节点模块在接收到HDFS客户端发送的包括该物理块地址信息的操作指令后，可以直接在KV存储设备中对所述目标数据进行操作，无需经过文件系统，从而提高了数据读写的效率。

在上述第一方面或者以上第一方面的任一种可能的实现方式中，该操作请求消息可以为读请求消息，也可以为写请求消息。

第二方面，提供一种数据操作方法，所述方法应用于存储系统，所述存储系统包括名称节点模块，数据节点模块，以及键值KV存储设备；所述方法包括：所述数据节点模块接收分布式文件系统HDFS客户端发送的操作指令，所述操作指令用于对目标文件中待操作的目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述KV存储设备中存储所述目标数据的块地址信息；根据所述块地址信息对所述目标数据进行所述操作指令指示的操作。

第三方面，提供一种名称节点模块，所述名称节点模块应用于存储系统，所述存储系统还包括数据节点模块以及键值KV存储设备；所述名称节点模块包括：接收单元，用于接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；确定单元，用于根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；获取单元，用于根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；发送单元，用于向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

在结合第三方面的第一种可能的实现方式中，所述确定单元具体用于：根据所述文件名确定所述目标文件的索引节点inode编号；将所述inode编号作为所述key确定所述value的存储空间的位置。

结合第三方面或者第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述获取单元具体用于：根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

结合第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述发送单元具体用于：将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

第四方面，提供一种数据节点模块，所述数据节点模块应用于存储系统，所述存储系统还包括名称节点模块以及键值KV存储设备；所述数据节点模块包括：接收单元，用于接收分布式文件系统HDFS客户端发送的操作指令，所述操作指令用于对目标文件中待操作的目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述KV存储设备中存储所述目标数据的块地址信息；操作单元，用于根据所述块地址信息对所述目标数据进行所述操作指令指示的操作。

第五方面，提供一种服务器，所述服务器包括第三方面或者第三方面的任一项可能的实现方式所述的名称节点模块，和/或所述服务器包括第四方面所述的数据节点模块。

另一种实现方式，具体地，所述服务器包括：处理器、第一接口、第二接口和通信总线；所述处理器、所述第一接口和所述第二接口通过所述通信总线进行通信；所述第一接口用于与分布式文件系统HDFS客户端进行通信，所述第二接口用于与键值KV存储设备进行通信；所述服务器运行名称节点软件，所述服务器通过所述名称节点软件执行第一方面或者以上第一方面的任一种可能的实现方式所述的方法。可选地，所述的服务器还可以运行数据节点软件，所述服务器通过所述数据节点软件执行：接收所述HDFS客户端发送的操作指令，所述操作指令用于对所述目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述目标块地址信息；根据所述目标块地址信息对所述目标数据进行所述操作指令指示的操作。

第六方面，提供一种存储系统，所述存储系统包括第三方面或者以上第三方面的任一种可能的实现方式所述的名称节点模块，第四方面所述的数据节点模块，键值KV存储设备，所述名称节点模块与所述KV存储设备相连，所述数据节点模块与所述KV存储设备相连。

在结合第六方面的第一种可能的实现方式中，所述名称节点模块与所述数据节点模块部署在同一服务器上。

第七方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任一可能的实现方式中的方法的指令。

第八方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第二方面中的方法的指令。

本发明在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种HDFS架构的示意图；

图2为本发明实施例提供的一种数据操作的方法的流程示意图；

图3为本发明实施例提供的一种数据读取方法的流程示意图；

图4为本发明实施例提供的文件到KV存储设备中的物理存储单元的映射示意图；

图5为本发明实施例提供的一种名称节点模块的结构示意图；

图6为本发明实施例提供的一种数据节点模块的结构示意图；

图7为本发明实施例提供的一种服务器的结构示意图；

图8为本发明实施例提供的另一种服务器的结构示意图；

图9为本发明实施例提供的一种存储系统的结构示意图。

具体实施方式

为了使本领域的技术人员更容易理解本发明实施例对现有技术进行的改进，下面首先对现有技术中的方案进行简单介绍。

图1为一种HDFS架构的示意图，如图所示，该HDFS架构包括HDFS客户端，名称节点，数据节点1，数据节点2，其中，客户端分别与名称节点以及数据节点1相连，数据节点1与数据节点2相连。其中，名称节点运行有HDFS文件系统，每个数据节点运行有本地文件系统。

基于图1所示的HDFS架构说明数据的写入流程：HDFS客户端向名称节点发送写请求消息，该写请求消息包括文件名、起始地址信息和数据长度信息，该名称节点在接收到该写请求消息后，首先确定文件是否存在，若不存在，则在名称节点运行的文件系统中创建一个新的文件，并在创建成功后，该文件划分成固定大小的多个数据块(block)，并为每个数据块分配数据节点，其中，数据节点将划分后的每个数据块作为本地文件系统中的一个文件进行存储，同一数据块可有多个副本存储在不同数据节点上；若存在，则该名称节点根据该起始地址信息和该数据长度信息可确定待写入的数据将要写入的数据块的列表，该数据块列表包括每个数据块的编号，待写入的数据在每个数据块的偏移量以及长度，该HDFS客户端获取到该数据块列表后，可发送写入指令至数据节点，将待写入的数据写入数据节点。

数据读取流程如下：HDFS客户端向名称节点发送写请求消息，该写请求消息包括文件名、起始地址信息和数据长度信息，该名称节点在接收到该写请求消息后，向该HDFS客户端返回待读取的数据的数据块列表，该HDFS客户端接收到待读取的数据的数据块列表后，发送读取指令从数据节点中读取该数据。

值得说明的是，上述HDFS架构中，名称节点向HDFS客户端提供的接口为RPC(Remote Procedure Call Protocol，远程过程调用协议)接口，数据节点向HDFS客户端提供的接口也是RPC接口，并且，HDFS客户端与名称节点之间的通信协议为ClientProtocol协议，客户端与数据节点之间的通信协议为ClientDatanodeProtocol协议。

本发明实施例提供一种数据操作方法，该方法应用于存储系统，该存储系统包括名称节点模块，数据节点模块，以及KV(key-value，键值)存储设备，如图2所示，该方法包括：

S201、名称节点模块接收HDFS客户端发送的操作请求消息。

其中，该操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对该目标数据进行操作；该操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议。

该名称节点模块向HDFS客户端提供RPC接口，该名称节点模块基于该RPC接口接收该HDFS客户端发送的该操作请求消息。

该操作请求消息可以是对该目标数据进行写操作的写请求消息，用于请求将该目标数据写入目标文件中的指定位置，也可以是对该目标数据进行读操作的读请求消息，用于从目标文件的指定位置读取该目标数据。

S202、该名称节点模块根据该操作请求消息中包括的目标文件的文件名确定键key，并根据该key确定值value的存储空间的位置，该value为该目标文件的数据。

值得说明的是，KV存储设备中存储的一个文件的数据被称作一个value，每个value对应着一个唯一的标识(key)，根据唯一标识(key)可以直接定位到value的存储空间的位置。例如，在KV存储设备中定义一个大的有序结构数组HashValue[m]，m为整数，每个HashValue即为一个存储空间，如HashValue[0]，HashValue[1]，每个存储空间用于存储一个文件的数据(value)。并且构造一个哈希函数ChangeToHashValue(key)，将每个value的唯一标识key转换为HashValue[m]中的某个下标值x，然后将每个文件的数据放进HashValue[x]中去，再次需要对文件中的数据进行操作时，根据该文件的key使用哈希函数ChangeToHashValue(key)计算即可得到这个下标值，由此确定该文件的数据的存储空间的位置。

可选地，本发明实施例可以将该目标文件的文件名对应的索引节点inode编号作为该目标文件的数据(value)的key，在此种情况下，上述步骤S202具体包括：根据该文件名确定该目标文件的inode编号，以该inode编号作为key确定value的存储空间的位置。

该名称节点包括目录项列表，每个目录项由两部分组成：所包含文件的文件名，以及该文件名对应的inode编号，因此，该名称节点模块通过查询该目录项列表即可确定该目标文件的文件名对应的inode编号。值得说明的是，文件系统内部不使用文件名，而使用inode编号来识别文件。文件系统中，在对某一文件的数据进行操作时，需要找到该文件的文件名对应的inode编号，其次，通过inode编号获取inode信息，最后根据inode信息，找到文件数据所在的block。

由上可知，inode编号为文件系统中文件的标识，在本发明实施例的一种可选的实现方式中，将inode编号作为文件数据(value)的key，用于唯一标识该value。

S203、该名称节点模块根据该操作请求消息中的起始地址信息以及数据长度信息获取目标数据在该存储空间中的目标块地址信息。

具体地，该名称节点模块根据该起始地址信息以及该数据长度信息，获取该目标数据在该存储空间中占用的每个块的编号，以及在每个该块中的块偏移量和块长度。

值得说明的是，HDFS文件系统向HDFS客户端呈现的文件的地址是连续的，也就是说，HDFS客户端感知到的文件是连续存储的。而文件的数据(value)在KV存储设备的存储空间中分块进行存储，每个块为一个物理存储单元，每个物理存储单元都存在一个指针，用于指向下一个单元，该目标块地址信息即该目标数据在该存储空间中占用的每个物理存储单元的位置信息。

S204、该名称节点模块向该HDFS客户端发送用于响应该操作请求消息的响应消息，该响应消息包括该目标块地址信息。

该操作请求消息可以是HDFS客户端调用名称节点模块的getblocklocation接口传入的消息，该接口传入的参数为该目标文件的文件名、该目标数据在该目标文件中的起始地址、以及该目标数据的长度，该接口要求返回的参数为该目标数据在HDFS文件系统中占用的每个逻辑块的编号，以及在每个逻辑块中的逻辑块偏移量和逻辑块长度。

在本发明实施例中，该名称节点模块可以将该目标数据在该存储空间中的块的编号作为该逻辑块的编号，将该块偏移量作为该逻辑块偏移量，将该块长度作为该逻辑块长度返回至该HDFS客户端。

S205、该数据节点模块接收该HDFS客户端发送的操作指令，该操作指令包括该目标块地址信息。

其中，该操作指令用于对目标文件中待操作的目标数据进行操作；该操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议。

S206、该数据节点模块根据该块地址信息对该目标数据进行该操作指令指示的操作。

在该操作指令为写操作指令的情况下，该数据节点模块将该目标数据写入该目标块地址信息指定的位置，在该操作指令为读操作指令的情况下，该数据节点模块从该目标块地址信息指定的位置读取该目标数据。

采用上述方法，名称节点模块与HDFS客户端之间基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议进行通信，数据节点模块基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议进行通信，保证了对Hadoop其他功能的支撑，在此前提下，由于HDFS文件的数据在底层做键值存储，从而提高了数据的读写效率以及容量扩展性。

为了使本领域的普通技术人员更容易理解本发明提供的技术方案，下面对操作请求消息为读请求消息的情况进行举例说明。

示例地，若HDFS客户端需要读取文件名为“第一文件”的文件中起始地址为100M(兆)，数据长度为128M的目标数据，则在本发明实施例中，数据读取的方法如图3所示，包括：

S301、名称节点模块接收该HDFS客户端发送的读请求消息，该读请求消息包括文件名，起始地址信息以及数据长度信息。

该文件名即为“第一文件”，该起始地址信息为100M，数据长度信息为128M。

S302、该名称节点模块根据该文件名确定该文件的inode编号。

S303、该名称节点模块根据该inode编号(key)计算该文件的数据(value)的存储空间的位置。

步骤S302和步骤S303可参照上述对步骤S202的描述，此处不再赘述。

S304、该名称节点模块在KV存储设备中的该存储空间中获取该目标数据的目标块地址信息。

KV存储设备中每个块的大小可根据用户需求设定，若KV存储设备中每个块的大小均为64M，则如图4所示，第一文件中起始地址为100M、数据长度为128M的目标数据在该存储空间中占用块1，块2和块3，其中，在块1中的偏移量为36M，长度为28M，在块2中的偏移量为0，长度为64M，在块3中的偏移量为0，长度为36M。

因此，该目标块地址信息可以是如下表所示的列表信息：

S305、该名称节点模块将包括该目标块地址信息的响应消息发送至该HDFS客户端。

其中，该响应协议基于Hadoop平台中HDFS客户端与名称节点之间的ClientProtocol通信协议。可参照上述对步骤S204的描述，此处不再赘述。

在原生Hadoop平台中，名称节点向HDFS客户端返回的响应消息包括目标数据在HDFS文件系统中的块地址信息，该块地址信息包括编号，偏移量以及长度，但是HDFS并不感知名称节点返回的块地址信息是逻辑地址还是物理地址，因此，本发明实施例可以将KV存储设备的存储空间中的物理存储单元的地址信息返回至该HDFS客户端。

S306、该数据节点模块接收HDFS客户端发送的读指令，该读指令包括该目标块地址信息。

该操作指令基于Hadoop平台中HDFS客户端与数据节点之间的ClientDatanodeProtocol通信协议。

S307、该数据节点模块根据该目标块地址信息从该KV存储设备中读取该目标数据。

S308、该数据节点模块将该目标数据发送至该HDFS客户端。

采用上述方法，对于HDFS客户端来说，下层做数据存储的仍然是HDFS文件系统，保证了对Hadoop其他功能的支撑，并且，在HDFS客户端不感知的情况下，将文件的数据在底层做键值存储，数据的读取无需经过文件系统复杂的层级机构，提高了读取的效率，键值存储的扁平化存储结构也提高了容量的可扩展性。

本发明实施例还提供一种名称节点模块50，该名称节点模块50应用于存储系统，所述存储系统还包括数据节点模块以及键值KV存储设备，该名称节点模块50用于实施上述方法实施例中的相应步骤，如图5所示，该名称节点模块50包括：

接收单元51，用于接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；

确定单元52，用于根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；

获取单元53，用于根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；

发送单元54，用于向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

采用上述名称节点模块50。该名称节点模块50与HDFS客户端之间基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议进行通信，在未改变上层通信接口的情况下，也就是说，该名称节点对HDFS客户端仍然呈现HDFS文件系统，并将HDFS文件的数据在底层做键值存储，提高了数据的读写效率以及容量扩展性。

可选地，所述确定单元52具体用于：根据所述文件名确定所述目标文件的索引节点inode编号；将所述inode编号作为所述key确定所述value的存储空间的位置。

可选地，所述获取单元53具体用于：根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

可选地，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述发送单元54具体用于：将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

值得说明的是，以上对名称节点模块进行的单元划分，仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，将上述确定单元52与上述获取单元53划分为一个处理单元。并且，上述各功能单元的物理实现也可能有多种实现方式。

另外，所属本领域的技术人员应该清楚地了解到，为描述的方便和简洁，上述描述的名称节点模块的各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种数据节点模块60，该数据节点模块应用于存储系统，所述存储系统还包括名称节点模块以及键值KV存储设备，该数据节点模块60用于实施上述方法实施例中相应的步骤，该数据节点模块60包括：

接收单元61，用于接收分布式文件系统HDFS客户端发送的操作指令，所述操作指令用于对目标文件中待操作的目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述KV存储设备中存储所述目标数据的块地址信息；

操作单元62，用于根据所述块地址信息对所述目标数据进行所述操作指令指示的操作。

采用上述数据节点模块60，该数据节点模块60基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议进行通信，在未改变上层通信接口的情况下，在KV存储设备中对数据做键值存储，提高了数据的读写效率以及容量扩展性。

所属本领域的技术人员应该清楚地了解到，为描述的方便和简洁，上述描述的名称节点模块的各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种服务器，如图7所示，该服务器包括图5所示的名称节点模块50和/或图6所示的数据节点模块60，具体参照上述对图5和图6的描述，此处不再赘述。也就是说，名称节点模块与数据节点模块可以灵活部署在计算机上。

本发明实施例还提供另一种服务器80，如图8所示，该服务器80包括：

处理器81、第一接口82、第二接口83和通信总线84；所述处理器81、所述第一接口82和所述第二接口83通过所述通信总线84进行通信；所述第一接口82用于与分布式文件系统HDFS客户端进行通信，所述第二接口83用于与键值KV存储设备进行通信；所述服务器运行名称节点软件，所述服务器通过所述名称节点软件执行一下操作：

接收HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；

根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；

根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；

向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

可选地，所述根据所述操作请求消息中包括的所述目标文件的文件名确定键key，包括：根据所述文件名确定所述目标文件的索引节点inode编号；将所述inode编号作为所述key确定所述value的存储空间的位置。

可选地，所述根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息，包括：根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

可选地，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，包括：将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

在本发明实施例的一种可能的实现方式中，所述服务器80还可以运行数据节点软件，所述服务器80通过所述数据节点软件执行：接收所述HDFS客户端发送的操作指令，所述操作指令用于对所述目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述目标块地址信息；根据所述目标块地址信息对所述目标数据进行所述操作指令指示的操作。

该服务器80还可能包括其他器件，例如存储介质，用于存储程序指令，图8中未一一示出。并且，所属本领域的技术人员应该了解到，处理器81执行的操作可能是由其他器件的配合共同完成的，为了方便描述，本发明实施例中统一描述为处理器81执行数据整理的操作。

本发明实施例中的处理器81可以是CPU(Center Processing Unit，中央处理单元)。另外，为节省CPU的计算资源，处理器81也可以是FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或其他硬件，或者，处理器81还可以是CPU和FPGA或其他硬件，则FPGA或其他硬件与CPU分别执行本发明实施例中的部分操作。

本发明实施例还提供一种存储系统90，如图9所示，该存储系统90包括：

名称节点模块50，数据节点模块60，KV存储设备91，所述名称节点模块50与所述KV存储设备91相连，所述数据节点模块60与所述KV存储设备91相连。

具体地，如图9所示，该名称节点模块50与HDFS客户端相连，该数据节点模块60与该HDFS客户端进行相连，名称节点模块50包括INTF_Namenode接口，用于向HDFS客户端提供RPC接口，名称节点模块50可以通过该RPC接口接收HDFS客户端发送的元数据处理或管理的命令，数据节点模块60包括INTF_Datanode接口，用于向客户端提供RPC接口，数据节点模块60通过该RPC接口接收客户端发送的数据处理命令。该KV存储设备91为名称节点模块50和数据节点模块60提供标准的key-value形式的接口INTF_KV。

该名称节点模块50具体可参照上述对图5的具体描述，该数据节点模块60具体可参照上述对图5的具体描述，此处不再赘述。

在本发明实施例的一种可能的实现方式中，该名称节点模块50和该数据节点模块60可以同时部署在同一服务器上，也可以分别部署在不同服务器上。

另外，值得说明的是，图9所示的存储系统90中仅包括一个名称节点模块以及一个数据节点模块，在具体实施时，存储系统中包括的数据节点模块的数量以及名称节点模块的数据可以根据实际需求设定，在具有多个名称节点模块以及多个数据节点模块的情况下，HDFS客户端在需要连接名称节点模块时，可以先通过DNS(Domain Name System，域名系统)轮询方式，获取到一个名称节点模块的地址，对于名称节点模块返回的多个数据节点模块的地址，该HDFS客户端可以选择距离最近的数据节点模块进行连接。

在本申请所提供的几个实施例中，应该理解到，所公开的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储数据的介质。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种数据操作方法，其特征在于，所述方法应用于存储系统，所述存储系统包括名称节点模块，数据节点模块，以及键值KV存储设备；所述方法包括：

名称节点模块接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；

根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；

根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；

向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述操作请求消息中包括的所述目标文件的文件名确定键key，包括：

根据所述文件名确定所述目标文件的索引节点inode编号；

将所述inode编号作为所述key确定所述value的存储空间的位置。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息，包括：

根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

4.根据权利要求3所述的方法，其特征在于，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，包括：

将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

5.一种数据操作方法，其特征在于，所述方法应用于存储系统，所述存储系统包括名称节点模块，数据节点模块，以及键值KV存储设备；所述方法包括：

所述数据节点模块接收分布式文件系统HDFS客户端发送的操作指令，所述操作指令用于对目标文件中待操作的目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述KV存储设备中存储所述目标数据的块地址信息；

根据所述块地址信息对所述目标数据进行所述操作指令指示的操作。

6.一种名称节点模块，其特征在于，所述名称节点模块应用于存储系统，所述存储系统还包括数据节点模块以及键值KV存储设备；所述名称节点模块包括：

接收单元，用于接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；

确定单元，用于根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；

获取单元，用于根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；

发送单元，用于向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

7.根据权利要求6所述的名称节点模块，其特征在于，所述确定单元具体用于：

根据所述文件名确定所述目标文件的索引节点inode编号；

将所述inode编号作为所述key确定所述value的存储空间的位置。

8.根据权利要求6或7所述的名称节点模块，其特征在于，所述获取单元具体用于：

根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

9.根据权利要求8所述的名称节点模块，其特征在于，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述发送单元具体用于：

将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

10.一种数据节点模块，其特征在于，所述数据节点模块应用于存储系统，所述存储系统还包括名称节点模块以及键值KV存储设备；所述数据节点模块包括：

接收单元，用于接收分布式文件系统HDFS客户端发送的操作指令，所述操作指令用于对目标文件中待操作的目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述KV存储设备中存储所述目标数据的块地址信息；

操作单元，用于根据所述块地址信息对所述目标数据进行所述操作指令指示的操作。

11.一种服务器，其特征在于，所述服务器包括如权利要求6-9任一项所述的名称节点模块，和/或如权利要求10所述的数据节点模块。

12.一种服务器，其特征在于，所述服务器包括：处理器、第一接口、第二接口和通信总线；所述处理器、所述第一接口和所述第二接口通过所述通信总线进行通信；所述第一接口用于与分布式文件系统HDFS客户端进行通信，所述第二接口用于与键值KV存储设备进行通信；

所述服务器运行名称节点软件，所述服务器通过所述名称节点软件执行：

接收分布式文件系统HDFS客户端发送的操作请求消息，所述操作请求消息是用于请求获取目标文件中待操作的目标数据的在HDFS中的块地址信息，以对所述目标数据进行操作；所述操作请求消息基于Hadoop平台中名称节点与HDFS客户端之间的ClientProtocol通信协议；

根据所述操作请求消息中包括的所述目标文件的文件名确定键key，并根据所述key确定值value的存储空间的位置，所述value为所述目标文件的数据；

根据所述操作请求消息中的起始地址信息以及数据长度信息获取所述目标数据在所述存储空间中的目标块地址信息；

向所述HDFS客户端发送用于响应所述操作请求消息的响应消息，所述响应消息包括所述目标块地址信息。

13.根据权利要求12所述的服务器，其特征在于，所述服务器通过所述名称节点软件执行：

根据所述文件名确定所述目标文件的索引节点inode编号；

将所述inode编号作为所述key确定所述value的存储空间的位置。

14.根据权利要求12或13所述的服务器，其特征在于，所述服务器通过所述名称节点软件执行：

根据所述起始地址信息以及所述数据长度信息，获取所述目标数据在所述存储空间中占用的每个块的编号，以及在每个所述块中的块偏移量和块长度。

15.根据权利要求14所述的服务器，其特征在于，所述目标数据在HDFS中的块地址信息包括所述目标数据在HDFS中占用的每个逻辑块的编号，以及在每个所述逻辑块中的逻辑块偏移量和逻辑块长度；所述服务器通过所述名称节点软件执行：

将所述块的编号作为所述逻辑块的编号，将所述块偏移量作为所述逻辑块偏移量，将所述块长度作为所述逻辑块长度发送至所述HDFS客户端。

16.根据权利要求12至15任一项所述的服务器，其特征在于，所述服务器运行数据节点软件，所述服务器通过所述数据节点软件执行：

接收所述HDFS客户端发送的操作指令，所述操作指令用于对所述目标数据进行操作；所述操作指令基于Hadoop平台中数据节点与HDFS客户端之间的ClientDatanodeProtocol通信协议；所述操作指令包括所述目标块地址信息；

根据所述目标块地址信息对所述目标数据进行所述操作指令指示的操作。

17.一种存储系统，其特征在于，所述存储系统包括如权利要求6至9所述的名称节点模块，如权利要求10所述的数据节点模块，键值KV存储设备，所述名称节点模块与所述KV存储设备相连，所述数据节点模块与所述KV存储设备相连。

18.根据权利要求17所述的存储系统，其特征在于，所述名称节点模块与所述数据节点模块部署在同一服务器上。