CN105867846A - 一种数据处理方法、服务器及系统 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、服务器及系统，该方法包括：接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。本发明实施例能够降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

Description

一种数据处理方法、服务器及系统

技术领域

本发明涉及分布式存储技术领域，更具体的说，特别涉及一种数据处理方法、服务器及系统。

背景技术

分布式存储系统是云存储系统中的重要组成部分，其可以通过数据复制方式来实现高可靠性，数据复制方式是指将数据拷贝到多个节点上的方式；并且出于一致性考虑，对数据的读写操作只有在多数节点上完成操作后方视为操作成功。虽然弱一致性对上述操作成功的确定放宽了条件，但是并没有减少对分布式存储系统的读写请求，因此无论是针对磁盘I/O(Input/Output，输入/输出)还是网络I/O，目前的分布式存储系统在单位时间内只能支持有限的一定数目的读写请求。

然而终端常会要求对分布式存储系统所存储的数据进行处理，在分布式存储系统单位时间仅支持有限的一定数目的读写请求的情况下，如何降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能，成为了本领域技术人员需要考虑的问题。

发明内容

有鉴于此，本发明提供一种数据处理方法、服务器及系统，以降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

为了达到上述目的，本发明提供如下技术方案：

一种数据处理方法，包括：

接收终端发送的对目标数据的处理请求；

查找本地是否缓存有所述目标数据；

若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；

根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。

可选的，所述方法还包括：

接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；

将所述文件块内容数据写入对应的分布式文件内容存储系统，并在本地的第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在本地的第二存储装置中缓存所述文件块元信息。

可选的，所述目标数据包括目标文件块元信息；所述查找本地是否缓存有所述目标数据包括：

查找本地的第二存储装置中是否缓存有目标文件块元信息；

所述若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据包括：

若所述第二存储装置未缓存有所述目标文件块元信息，则向分布式元信息存储系统请求所述目标文件块元信息，并将请求的目标文件块元信息缓存在所述第二存储装置中。

可选的，所述在本地的第一存储装置中缓存所述文件块内容数据包括：

将文件块内容数据缓存在所述第一存储装置中，并在所述第二存储装置中建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。

可选的，所述索引记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

可选的，所述目标数据包括目标文件块内容数据；所述若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据包括：

若所述第一存储装置中未缓存有所述目标文件块内容数据，获得所述目标文件块内容数据对应的目标文件块元信息；所述目标文件块元信息记录有第一信息，所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置；

根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据。

可选的，所述目标文件块元信息包括键信息和值信息，所述值信息至少包含所述第一信息；

所述获得所述目标文件块内容数据对应的目标文件块元信息包括：

确定所述目标文件块内容数据的键信息，根据所述键信息确定所述第二存储装置中缓存的对应的目标文件块元信息。

可选的，所述将所述文件块内容数据写入对应的分布式文件内容存储系统包括：

将连续接收的多个文件块内容数据打包成内容容器，以所述内容容器为单位将文件块内容数据写入分布式文件内容存储系统中。

可选的，所述第一信息包括：目标文件块内容数据的数据大小，目标文件块内容数据所对应的内容容器的容器标识，及目标文件块内容数据在所对应的内容容器中的起始地址；

所述根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据包括：

请求所述分布式文件内容存储系统从与所述容器标识相应的内容容器中，调取并反馈与所述起始地址及所述数据大小相应的文件块内容数据。

可选的，所述根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端包括：

根据目标文件块元信息，以所述目标文件块内容数据还原对应的目标文件内容，将所述目标文件内容反馈给所述终端。

本发明实施例还提供一种服务器，包括：通信模块，存储装置，和处理芯片；

所述处理芯片，用于通过所述通信模块接收终端发送的对目标数据的处理请求，查找所述存储装置中是否缓存有所述目标数据，并在所述存储装置未缓存有所述目标数据时，通过所述通信模块向存储所述目标数据的分布式存储系统请求所述目标数据，根据所述处理请求处理所述目标数据，并通过所述通信模块将处理结果反馈给所述终端。

可选的，所述存储装置包括：第一存储装置和第二存储装置；

所述处理芯片还用于，通过所述通信模块接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；将所述文件块内容数据写入对应的分布式文件内容存储系统，并在所述第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在所述第二存储装置中缓存所述文件块元信息。

可选的，所述处理芯片在所述第一存储装置中缓存所述文件块内容数据时，具体用于，将文件块内容数据缓存在所述第一存储装置中，并在所述第二存储装置内存建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。

可选的，所述索引记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

本发明实施例还提供一种数据处理系统，包括：终端，服务器，分布式存储系统；

其中，所述终端用于，向所述服务器发送对目标数据的处理请求，及接收所述服务器反馈的处理结果；

所述服务器，用于接收所述接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端；

所述分布式存储系统，用于存储目标数据。

基于上述技术方案，本发明实施例提供的数据处理方法包括：接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。可以看出，在终端请求对目标数据进行处理时，服务器可先判断本地缓存中是否有目标数据，仅在本地未缓存有目标数据时，才向分布式存储系统请求所述目标数据，而在本地缓存有目标数据时，则可直接调取所缓存的目标数据进行处理，达到减少对分布式存储系统的读取请求，缓解分布式存储系统的读取压力的目的。本发明实施例提供的数据处理方法，能够降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据处理系统的结构框图；

图2为本发明实施例提供的数据处理方法的流程图；

图3为本发明实施例提供的存储文件块内容数据及文件块元信息的方法流程图；

图4为本发明实施例提供的存储文件块内容数据及文件块元信息的另一方法流程图；

图5为文件命名示意图；

图6为本发明实施例提供的数据处理方法的另一流程图；

图7为本发明实施例提供的数据处理方法的再一流程图；

图8为本发明实施例提供的服务器的结构框图；

图9为本发明实施例提供的服务器的另一结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的数据处理系统的结构框图，本发明实施例提供的数据处理方法可基于图1所示系统实施，参照图1，本发明实施例提供的数据处理系统可以包括：终端1，服务器2，及分布式存储系统3；

终端1可以为用户侧的手机、平板电脑、笔记本电脑等用户设备；

服务器2可以为网络侧的具有数据能力的设备，在本发明实施例中服务器2可基于终端1的数据处理请求，对请求处理的相应数据(本发明实施例称为目标数据)进行处理；

目标数据可能在服务器的本地缓存，也可能存储在分布式存储系统3中；因此服务器在接收数据处理请求后，可判断本地是否缓存有目标数据，在判断结果为是时，直接从缓存中调取目标数据进行处理，在判断结果为否时，才向存储目标数据的分布式存储系统请求该目标数据，并对请求到的目标数据进行处理。

基于图1所示数据处理系统，下面对应用于服务器侧的数据处理方法进行介绍。

图2为本发明实施例提供的数据处理方法的流程图，该方法可应用于服务器，参照图2，该方法可以包括：

步骤S100、接收终端发送的对目标数据的处理请求；

目标数据为本发明实施例待被处理的数据，可根据所述处理请求中携带的目标数据标识确定；本发明实施例中的数据主要分为两类：文件块内容数据和文件块元信息；

文件块是对文件内容进行分块实现的(诸如固定块或者可变块等)，文件块内容数据可以是相应文件块的具体内容；文件块元信息可以描述相应的文件块，如文件块元信息可以描述相应的文件块的长度，存储位置等；

相应的，目标数据如目标文件块内容数据和/或目标文件块元信息。

步骤S110、查找本地是否缓存有所述目标数据；

客户端可预先通过服务器将数据存储在分布式存储系统中，但为在后续客户端请求处理数据时，减小对分布式存储系统的读取请求，缓解分布式存储系统的读取压力，因此服务器可将客户端上传的希望在分布式存储系统中存储的数据也在本地进行缓存；

可选的，由于服务器本地缓存具有一定的容量大小限制，因此当服务器缓存的数据容量超过该容量大小限制时，服务器中的旧缓存数据将被删除，从而释放缓存空间给新数据使用；比如使用LRU(Least recentlyuse，近期最少使用算法)的缓存替换策略，将最近最少使用的缓存数据删除，以释放缓存空间给新数据使用；

基于此，服务器本地不一定缓存有目标数据。

步骤S120、若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；

当服务器本地未缓存有目标数据时，服务器可向存储目标数据的分布式存储系统，请求该目标数据，以便后续对请求到的目标数据进行处理；

可选的，若本地缓存有目标数据，则可直接调取本地缓存的所述目标数据，以便后续对所调取的目标数据进行处理；

可选的，所请求到的目标数据由于被用户使用，因此可在本地缓存，以便近期用户请求相同的该目标数据时，能够从本地缓存中调取。

步骤S130、根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。

本发明实施例提供的数据处理方法包括：接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。可以看出，在终端请求对目标数据进行处理时，服务器可先判断本地缓存中是否有目标数据，仅在本地未缓存有目标数据时，才向分布式存储系统请求所述目标数据，而在本地缓存有目标数据时，则可直接调取所缓存的目标数据进行处理，达到减少对分布式存储系统的读取请求，缓解分布式存储系统的读取压力的目的。本发明实施例提供的数据处理方法，能够降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

需要注意的是，现有技术中分布式存储系统是以文件级别进行数据的读写操作，同时，为了提升用户体检、节省带宽和减少存储需求，分布式存储系统往往会引入去重功能，去重功能即是去除文件中重复的内容；文件内容的去重是基于文件块实现(文件块是对文件内容进行分块实现的，诸如固定块或者可变块等)；通常情况下，细粒度的文件块有助于提升去重效果，但是相比于文件级别的数据的读写操作，文件块级别的数据读写操作将使得分布式存储系统的访问压力提升数倍；因此现有技术中分布式存储系统具有较大的访问压力；

基于此，本发明实施例可对文件块内容数据和文件块元信息在服务器本地进行区分存储，并设置文件块内容数据对应的分布式存储系统(称为分布式文件内容存储系统)，和文件块元信息对应的分别式存储系统(称为分布式元信息存储系统)，以区分存储文件块内容数据和文件块元信息；

相应的，本发明实施例的数据类型可以分为：文件块内容数据，和文件块元信息；服务器可预先对终端上传的文件块内容数据及文件块元信息进行区分存储，并区分写入对应的分布式存储系统中进行存储；

图3示出了本发明实施例提供的存储文件块内容数据及文件块元信息的方法流程图，参照图3，该方法可以包括：

步骤S200、接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；

文件块元信息可描述相应的文件块，因此文件块元信息可对相应的文件块内容数据的长度，保存的位置等进行描述。

步骤S210、将所述文件块内容数据写入对应的分布式文件内容存储系统，并在本地的第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在本地的第二存储装置中缓存所述文件块元信息。

可选的，文件块元信息的大小通常不超过256字节，且文件块元信息被频繁访问，因此本发明实施例可在内存中缓存所述文件块元信息，相应的，第二存储装置可以认为是内存；

而对于数据量较大的文件块内容数据，由于缓存的命中率取决于缓存所能容纳的条目的数目，因此用有限的内存做缓存会比较低效，鉴于此，本发明实施例可设计一个针对文件块内容数据的两级缓存机制；可选的，本发明实施例可将文件块内容数据缓存在本地磁盘，并同时在内存中建立相应索引，通过索引指示各文件块内容数据在本地磁盘中的对应存储位置，以发挥内存和磁盘各自的优势；相应的，第一存储装置可以认为是本地磁盘；

可选的，图4示出了本发明实施例提供的存储文件块内容数据及文件块元信息的另一方法流程图，参照图4，该方法可以包括：

步骤S300、接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；

步骤S310、将所述文件块内容数据写入对应的分布式文件内容存储系统，并将文件块内容数据缓存在所述第一存储装置中，及在所述第二存储装置中建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置；同时，将所述文件块元信息写入对应的分布式元信息存储系统，并在本地的第二存储装置中缓存所述文件块元信息。

可选的，本发明实施例可将文件块内容数据写入对应的分布式存储系统(分布式文件内容存储系统)中，并在本地磁盘中缓存文件块内容数据，及在内存中建立相应索引，以该索引指示各文件块内容数据在本地磁盘中的对应存储位置；同时，将文件块元信息写入对应的分布式存储系统(分布式元信息存储系统)，并在内存中缓存所述文件块元信息。

与现有技术相比，本发明实施例提升了文件块元信息的访问速度及缓存命中的条目，可减少跨网络访问所带来的分布式存储系统网络和磁盘延迟，以及分布式存储系统的读一致性导致的额外延迟；

同时，可实现服务器的磁盘I/O的充分利用，现有技术中服务器仅触发较少的磁盘I/O，磁盘资源基本闲置，而本发明实施例在磁盘中引入对文件块内容数据的缓存，可在不影响服务器的去重功能的计算能力的前提下，合理使用服务器的磁盘I/O；

由于服务器的本地磁盘可缓存文件块内容数据，因此对于本地缓存命中的文件块内容数据，可直接读取服务器本地磁盘上的文件块内容数据，提升了对于文件块内容数据的访问速度，避免了跨网络访问分布式文件内容存储系统所带来的延迟；

采用分设的分布式文件内容存储系统和分布式元信息存储系统，可缓解分布式存储系统统一存储文件块内容数据和文件块元信息所带来的压力。

如果所请求的是目标数据包含目标文件块元信息，则本发明实施例获取文件块元信息的方式可以为：查找本地的第二存储装置中是否缓存有目标文件块元信息；若所述第二存储装置未缓存有所述目标文件块元信息，则向分布式元信息存储系统请求所述目标文件块元信息，并将请求的目标文件块元信息缓存在所述第二存储装置中；

可选的，若所述第二存储装置缓存有所述目标文件块元信息，则可直接调取缓存的目标文件块元信息；

可选的，处理目标数据可以是将目标文件块元信息反馈给终端。

可选的，在本发明实施例中，文件块元信息可以键值对的形式存在，文件块元信息可以包括键信息和值信息；其中键信息可以为文件块的哈希值，值信息为文件块的元信息(记录有文件块的长度，保存的位置等)。

本发明实施例对于文件块内容数据采用二级缓存的方式，相应的在第二存储装置(如内存)中建立的索引可以记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名(相应的，键信息为文件块的哈希值)，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置(如硬盘)中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

需要说明的是，如果将所有缓存的文件块内容数据存放于一个目录下，那将导致本地文件系统(如EXT-4，XFS等)的性能下降；因此本发明实施例提出两级或多级目录方式(即本发明实施例可以具有至少两个目录)，进而将所有缓存的文件块内容数据均衡的分散到这些目录中；理想情况下，每个目录里所存放的文件块内容数据的数目应大致相同；

为了实现此目标，本发明实施例利用哈希函数的均衡性，采用文件内容的SHA-1哈希值(160-bit)来命名文件块内容数据，得到文件块内容数据的文件名(SHA-1哈希值与文件块内容数据的键信息相对应)，再根据本地缓存所设定的容量大小限制,选取文件名二进制前缀的N位作为该文件块内容数据的目录名；

如图5示例，如果本地缓存的容量大小限制为2^20(可以缓存的文件数目，即文件块内容数据的数目)，N的值为6，那么可创建2^6＝64个二级文件夹，文件夹名依次为000000，000001，…，111111。对于某个名为000010xxxx…xxx的文件，则根据其二进制前缀的首6位，决定此文件(文件块内容数据)将存放在目录000010下；

依据哈希函数的均衡性，理想情况下，每个二级文件夹下所存放的文件数据将为2^14个，具体的N值可根据本地缓存的容量大小限制值，和特定本地文件系统(如EXT-4，XFS等)的性能来确定；为了能够快速确定某个文件块内容数据是否存在于本地文件系统中，避免较慢的操作系统级别的文件名解析，本发明实施例可在内存里维护一个数据结构(即所述索引)，该数据结构同时负责实现特定的缓存替换算法。需要指出的是，采用以上的二级缓存机制所带来的内存开销可以忽略；例如，如果本地缓存的大小为2^20，通常内存开销不超过64MB。

可选的，目标数据中可以包含目标文件块内容数据，且目标文件块内容数据可基于相应的目标文件块元信息确定；

相应的，图6示出了本发明实施例提供的数据处理方法的另一流程图，参照图6，该方法可以包括：

步骤S400、接收终端发送的对目标数据的处理请求；所述目标数据包括目标文件块内容数据；

步骤S410、查找第一存储装置中是否缓存有目标文件块内容数据；

步骤S420、若所述第一存储装置中未缓存有所述目标文件块内容数据，获得所述目标文件块内容数据对应的目标文件块元信息；所述目标文件块元信息记录有第一信息，所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置；

步骤S430、根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据；

可选的，请求到的目标文件块内容数据可缓存，以使得后续在处理该目标文件块内容数据时，可减少从文件内容存储系统中请求的可能性。

步骤S440、根据所述处理请求处理所述目标文件块内容数据，并将处理结果反馈给所述终端。

处理目标文件块内容数据可以是还原出相应的目标文件内容。

可选的，目标文件块元信息可以包括键信息和值信息，所述值信息至少包含所述第一信息；第一信息可以是值信息中与目标文件块内容数据的存储位置相应的信息；而键信息可实现目标文件块元信息与相应目标文件块内容数据的匹配；

可选的，获得所述目标文件块内容数据对应的目标文件块元信息的方式可以是：获取第二存储装置中缓存的对应的目标文件块元信息，或，在第二存储装置中未缓存目标文件块元信息时，向分布式元信息存储系统请求目标文件块元信息；

如果第二存储装置中缓存有目标文件块元信息，则本发明实施例可基于目标文件块内容数据的键信息，实现相应目标文件块元信息的获取。

可选的，图7示出了本发明实施例提供的数据处理方法的再一流程图，参照图7，该方法可以包括：

步骤S500、接收终端发送的对目标数据的处理请求；所述目标数据包括目标文件块内容数据；

步骤S510、查找第一存储装置中是否缓存有目标文件块内容数据；

步骤S520、若所述第一存储装置中未缓存有所述目标文件块内容数据，确定所述目标文件块内容数据的键信息，根据所述键信息确定第二存储装置中缓存的对应的目标文件块元信息；

可选的，本发明实施例可通过目标文件块内容数据的键信息，从第二存储装置中匹配到键信息相应的目标文件块元信息。

步骤S530、从目标文件块元信息的值信息中提取第一信息，所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置；

步骤S540、根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据；

可选的，请求到的目标文件块内容数据可缓存。

步骤S550、根据所述处理请求处理所述目标文件块内容数据，并将处理结果反馈给所述终端。

可选的，在第二存储装置中未缓存目标文件块元信息时，本发明实施例可基于目标文件块内容数据的键信息，从分布式元信息存储系统请求键信息相应的目标文件块元信息。

可选的，在查找第一存储装置中是否缓存有目标文件块内容数据时，本发明实施例可基于处理请求中携带的目标文件块内容数据的标识(如文件名)，通过索引判断第一存储装置中是否缓存有目标文件块内容数据；如通过索引判断第一存储装置中是否缓存有与目标文件块内容数据的文件名相应的文件块内容数据。

可选的，本发明实施例在将文件块内容数据写入对应的分布式文件内容存储系统时，可将接收到的多个粒度较小的文件块内容数据，打包成较大粒度的内容容器.以内容容器为单位发起对分布式文件内容存储系统的写请求；

相应的，将所述文件块内容数据写入对应的分布式文件内容存储系统的过程可以包括：将连续接收的多个文件块内容数据打包成内容容器，以所述内容容器为单位将文件块内容数据写入分布式文件内容存储系统中。

相应的，本发明实施例中，第一信息具体可以记录有：目标文件块内容数据的数据大小，目标文件块内容数据所对应的内容容器的容器标识，及目标文件块内容数据在所对应的内容容器中的起始地址；

对应的，在根据所述第一信息，向所述分布式文件内容存储系统请求目标文件块内容数据时，本发明实施例可请求所述分布式文件内容存储系统从与所述容器标识相应的内容容器中，调取并反馈与所述起始地址及所述数据大小相应的文件块内容数据。

相应的，在得到目标文件块内容数据后，本发明实施例根据所述处理请求处理所述目标数据的过程可以为：根据目标文件块元信息，以所述目标文件块内容数据还原对应的目标文件内容；相应的，后续可将所述目标文件内容反馈给所述终端。

本发明实施例提供的数据处理方法的应用过程可以如下，具体分为文件上传阶段，和文件请求阶段；

文件上传阶段：

终端连续上传多个文件块内容数据到服务器；

服务器将连续接收的多个文件块内容数据打包成内容容器，并写入分布式文件内容存储系统；并将打包后的多个文件块内容数据写入本地磁盘中，并在内存中建立索引；

同时，服务器可将接收到的每个文件块元信息写入分布式元信息存储系统，并在内存中缓存文件块元信息。

文件请求阶段：

一、终端向服务器发送查询目标文件块元信息的请求；

服务器如果在内存中未查找到该目标文件块元信息，则发起对分布式元信息存储系统的读请求.将读取的目标文件块元信息写入本地内存,并反馈给终端；

服务器如果在内存中查找到目标文件块元信息，则可直接从内存中调取目标文件块元信息并反馈给终端。

二、终端向服务器发起读取目标文件块内容数据的请求；

服务器如果通过索引，确定本地磁盘中未存在目标文件块内容数据，则发起一个对分布式内容数据存储系统的读请求，将读取的目标文件块内容数据写入本地磁盘，并在内存建立索引；进而再根据相应的目标文件块元信息，以目标文件块内容数据还原相应文件块的内容，并反馈给终端；

服务器如果通过索引，确定本地磁盘中存在目标文件块内容数据，则可直接读取目标文件块内容数据，再根据相应的目标文件块元信息，以目标文件块内容数据还原相应文件块的内容，并反馈给终端。

本发明实施例提供的数据处理方法，能够降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

下面对本发明实施例提供的服务器进行介绍，下文描述的服务器可与上文描述的数据处理方法相互对应参照。

图8为本发明实施例提供的服务器的结构框图，参照图8，该服务器可以包括：通信模块10，存储装置20，和处理芯片30；

其中，所述处理芯片，用于通过所述通信模块接收终端发送的对目标数据的处理请求，查找所述存储装置中是否缓存有所述目标数据，并在所述存储装置未缓存有所述目标数据时，通过所述通信模块向存储所述目标数据的分布式存储系统请求所述目标数据，根据所述处理请求处理所述目标数据，并通过所述通信模块将处理结果反馈给所述终端。

可选的，如图9所示，第一存储装置20可以包括：第一存储装置21和第二存储装置22；相应的，分布式存储系统可以包括：存储文件块内容数据的分布式文件内容存储系统，存储文件块元信息的分布式元信息存储系统；

相应的，所述处理芯片还用于，通过所述通信模块接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；将所述文件块内容数据写入对应的分布式文件内容存储系统，并在所述第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在所述第二存储装置中缓存所述文件块元信息。

若所述目标数据包括目标文件块元信息；则处理芯片在查找本地是否缓存有所述目标数据时，具体可用于，查找本地的第二存储装置中是否缓存有目标文件块元信息；

相应的，处理芯片在向存储所述目标数据的分布式存储系统请求所述目标数据时，具体可用于，若所述第二存储装置未缓存有所述目标文件块元信息，则通过所述通信模块向分布式元信息存储系统请求所述目标文件块元信息，并将请求的目标文件块元信息缓存在所述第二存储装置中。

可选的，处理芯片在本地的第一存储装置中缓存所述文件块内容数据时，具体可用于，将文件块内容数据缓存在所述第一存储装置中，并在所述第二存储装置中建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。

可选的，所述索引记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

可选的，若所述目标数据包括目标文件块内容数据；则处理芯片在向存储所述目标数据的分布式存储系统请求所述目标数据时，具体可用于：

若所述第一存储装置中未缓存有所述目标文件块内容数据，获得所述目标文件块内容数据对应的目标文件块元信息；所述目标文件块元信息记录有第一信息，所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置；

根据所述第一信息，通过所述通信模块向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据。

可选的，所述目标文件块元信息包括键信息和值信息，所述值信息至少包含所述第一信息；

相应的，处理芯片在获得所述目标文件块内容数据对应的目标文件块元信息时，具体可用于，确定所述目标文件块内容数据的键信息，根据所述键信息确定所述第二存储装置中缓存的对应的目标文件块元信息。

可选的，处理芯片在将所述文件块内容数据写入对应的分布式文件内容存储系统时，具体可用于，将连续接收的多个文件块内容数据打包成内容容器，以所述内容容器为单位将文件块内容数据写入分布式文件内容存储系统中。

可选的，所述第一信息可记录：目标文件块内容数据的数据大小，目标文件块内容数据所对应的内容容器的容器标识，及目标文件块内容数据在所对应的内容容器中的起始地址；

相应的，处理芯片在根据所述第一信息，向所述分布式文件内容存储系统请求目标文件块内容数据时，具体可用于，请求所述分布式文件内容存储系统从与所述容器标识相应的内容容器中，调取并反馈与所述起始地址及所述数据大小相应的文件块内容数据。

可选的，处理芯片在根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端时，具体可用于，根据目标文件块元信息，以所述目标文件块内容数据还原对应的目标文件内容，将所述目标文件内容反馈给所述终端。

本发明实施例提供的服务器能够降低分布式存储系统的读取压力，为保障分布式存储系统的性能提供可能。

本发明实施例还提供一种数据处理系统，其结构如图1所示，包括：终端，服务器，分布式存储系统；

其中，所述终端用于，向所述服务器发送对目标数据的处理请求，及接收所述服务器反馈的处理结果；

所述服务器，用于接收所述接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端；

所述分布式存储系统，用于存储目标数据。

可选的，若数据的类型分为文件块内容数据及文件块元信息，则服务器可以具有第一存储装置和第二存储装置，第一存储装置用于缓存文件块内容数据，第二存储装置用于缓存文件块元信息，且第二存储装置中可建立索引，索引指示有各文件块内容数据在第一存储装置中的对应存储位置；

可选的，分布式存储系统可以包括：存储文件块内容数据的分布式文件内容存储系统，及存储文件块元信息的分布式元信息存储系统。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据处理方法及服务器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

接收终端发送的对目标数据的处理请求；

查找本地是否缓存有所述目标数据；

若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；

根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端。

2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；

将所述文件块内容数据写入对应的分布式文件内容存储系统，并在本地的第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在本地的第二存储装置中缓存所述文件块元信息。

3.根据权利要求2所述的数据处理方法，其特征在于，所述目标数据包括目标文件块元信息；所述查找本地是否缓存有所述目标数据包括：

查找本地的第二存储装置中是否缓存有目标文件块元信息；

所述若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据包括：

若所述第二存储装置未缓存有所述目标文件块元信息，则向分布式元信息存储系统请求所述目标文件块元信息，并将请求的目标文件块元信息缓存在所述第二存储装置中。

4.根据权利要求2所述的数据处理方法，其特征在于，所述在本地的第一存储装置中缓存所述文件块内容数据包括：

将文件块内容数据缓存在所述第一存储装置中，并在所述第二存储装置中建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。

5.根据权利要求4所述的数据处理方法，其特征在于，所述索引记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

6.根据权利要求4所述的数据处理方法，其特征在于，所述目标数据包括目标文件块内容数据；所述若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据包括：

若所述第一存储装置中未缓存有所述目标文件块内容数据，获得所述目标文件块内容数据对应的目标文件块元信息；所述目标文件块元信息记录有第一信息，所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置；

根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据。

7.根据权利要求6所述的数据处理方法，其特征在于，所述目标文件块元信息包括键信息和值信息，所述值信息至少包含所述第一信息；

所述获得所述目标文件块内容数据对应的目标文件块元信息包括：

确定所述目标文件块内容数据的键信息，根据所述键信息确定所述第二存储装置中缓存的对应的目标文件块元信息。

8.根据权利要求6所述的数据处理方法，其特征在于，所述将所述文件块内容数据写入对应的分布式文件内容存储系统包括：

将连续接收的多个文件块内容数据打包成内容容器，以所述内容容器为单位将文件块内容数据写入分布式文件内容存储系统中。

9.根据权利要求8所述的数据处理方法，其特征在于，所述第一信息包括：目标文件块内容数据的数据大小，目标文件块内容数据所对应的内容容器的容器标识，及目标文件块内容数据在所对应的内容容器中的起始地址；

所述根据所述第一信息，向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据包括：

请求所述分布式文件内容存储系统从与所述容器标识相应的内容容器中，调取并反馈与所述起始地址及所述数据大小相应的文件块内容数据。

10.根据权利要求6所述的数据处理方法，其特征在于，所述根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端包括：

根据目标文件块元信息，以所述目标文件块内容数据还原对应的目标文件内容，将所述目标文件内容反馈给所述终端。

11.一种服务器，其特征在于，包括：通信模块，存储装置，和处理芯片；

所述处理芯片，用于通过所述通信模块接收终端发送的对目标数据的处理请求，查找所述存储装置中是否缓存有所述目标数据，并在所述存储装置未缓存有所述目标数据时，通过所述通信模块向存储所述目标数据的分布式存储系统请求所述目标数据，根据所述处理请求处理所述目标数据，并通过所述通信模块将处理结果反馈给所述终端。

12.根据权利要求11所述的服务器，其特征在于，所述存储装置包括：第一存储装置和第二存储装置；

所述处理芯片还用于，通过所述通信模块接收终端上传的文件块内容数据及文件块元信息，一个文件块元信息对应至少一个文件块内容数据；将所述文件块内容数据写入对应的分布式文件内容存储系统，并在所述第一存储装置中缓存所述文件块内容数据；及将所述文件块元信息写入对应的分布式元信息存储系统，并在所述第二存储装置中缓存所述文件块元信息。

13.根据权利要求12所述的服务器，其特征在于，所述处理芯片在所述第一存储装置中缓存所述文件块内容数据时，具体用于，将文件块内容数据缓存在所述第一存储装置中，并在所述第二存储装置内存建立相应索引，所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。

14.根据权利要求13所述的服务器，其特征在于，所述索引记录有文件块内容数据的文件名及目录名；所述文件名以文件块内容数据的键信息命名，所述目录名以所述文件名对应的二进制前缀的N位字符命名；

其中，文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中，所述第一存储装置根据至少一个目录名划分有至少一个存储区域，一个目录名对应至少一个存储区域。

15.一种数据处理系统，其特征在于，包括：终端，服务器，分布式存储系统；

其中，所述终端用于，向所述服务器发送对目标数据的处理请求，及接收所述服务器反馈的处理结果；

所述服务器，用于接收所述接收终端发送的对目标数据的处理请求；查找本地是否缓存有所述目标数据；若本地未缓存有所述目标数据，则向存储所述目标数据的分布式存储系统请求所述目标数据；根据所述处理请求处理所述目标数据，并将处理结果反馈给所述终端；

所述分布式存储系统，用于存储目标数据。