CN113312316B - 数据处理方法及装置 - Google Patents

Abstract

本说明书实施例提供了数据处理方法及装置，其中，所述方法应用于分布式文件系统，所述系统包括数据处理模块、文件管理模块和元数据模块，其中，所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块；所述元数据模块确定存储所述目标数据的目标存储节点。

Description

数据处理方法及装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

在大规模分布式文件系统支持离线作业时，数据计算过程会有多个节点进行计算，然后生成中间文件，这个中间文件的生成过程中会对NameSpaceServer(在分布式文件系统中负责文件系统的目录树管理工作的模块)产生压力；此外，多个节点生成的每一个文件都有一部分会被其他多个节点使用，而多个节点使用时，就存在打开操作，同样会对NameSpaceServer造成压力，而压力非常的大的情况下，会对整个集群的稳定性造成威胁。

发明内容

有鉴于此，本说明书施例提供了计算机技术领域，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括数据处理模块、文件管理模块和元数据模块，其中，

所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；

所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块；

所述元数据模块确定存储所述目标数据的目标存储节点，并通过所述目标存储节点对所述目标数据进行存储。

根据本说明书实施例的第二方面，提供了一种数据处理装置，包括数据处理模块、文件管理模块和元数据模块，其中，

所述数据处理模块，被配置为：接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；

所述文件管理模块，被配置为：基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块；

所述元数据模块，被配置为：确定存储所述目标数据的目标存储节点，并通过所述目标存储节点对所述目标数据进行存储。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。

本说明书一个实施例实现了一种数据处理方法，包括数据处理模块、文件管理模块和元数据模块，其中，所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块；所述元数据模块确定存储所述目标数据的目标存储节点。具体的，所述数据处理方法中在进行目标数据存储时，可以从文件管理模块获取到元数据模块，基于元数据模块确定存储节点，后续可以基于该存储节点实现目标数据存储，减少文件管理模块与存储节点的交互，可以极大的减少对NSS的压力，并且通过元数据模块确定的存储节点实现目标数据存储时，可以实现目标数据的统一管理，隔离性良好，不会再局限于单台机器热点问题，数据存储会分配的更加均衡，能够利用上所有的存储节点的网络和硬盘带宽。

附图说明

图1是本说明书一个实施例提供的Map端和Reduce端的中间文件的存储示意图；

图2是本说明书一个实施例提供的一种数据处理方法的流程图；

图3是本说明书一个实施例提供的一种数据处理方法的处理过程示意图；

图4是本说明书一个实施例提供的一种数据处理装置的结构示意图；

图5是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

RootServer：简称RS，在分布式文件系统中负责调度、管控集群中所有节点的角色。

MetaServer：简称MS，在分布式文件系统负责管理文件的INode信息，以及负责数据的安全性。

NameSpaceServer：简称NSS，在分布式文件系统中负责文件系统的目录树管理工作。

RGServer：简称RG，在分布式文件系统负责数据复制以及垃圾回收工作。

ChunkServer：简称CS，在分布式文件系统中负责数据存储的工作，类似于hdfs（分布式文件系统）的data node（数据存储节点）。

计算节点：在离线计算时，有些ChunkServer上需要启动计算进程，这种机器称为计算节点。

存储节点：节点只负责存储的节点，这种存储节点不会有计算任务进程。

Job Worker：简称JW，在计算节点上启动的进行计算的进程就叫Job Worker。

垃圾回收：在分布式文件系统内部存在垃圾回收，一种场景是当有存储节点短期下线又回来的情况，由于在下线机器进行了数据复制，所以当这个节点回来时，就会有些数据变成了垃圾，需要删除掉。另外一种场景是计算任务在进行计算过程中由于数据量大，不能够全部放到内存中，这时会将中间文件（shuffle file）写到分布式文件系统上，当计算任务完成后，这些中间文件就不再需要了，也是一种垃圾，需要回收掉。

水平扩展：在集群中任何节点都不会成为在项目合理使用时，成为性能瓶颈。

PartitionTable：集群中记录MetaServer管理的数据单元路由信息。

FileGroup：一个文件的组集合，在离线作业中，通常是一个作业会生成一个FileGroup，而这个FileGroup下可能会包含成多个TempFile。

TempFile：用于解决项目使用的临时文件内存不足的问题，主要应用在离线作业的中间文件中。每一个TempFile都属于一个唯一的FileGroup，而且TempFile有自己的IndexName，也就是说TempFile是由FileGroup和IndexName两部分组成。

实际应用中，可以通过将中间文件写到本地磁盘的方式来解决中间shuffle会对元数据节点(即NSS)造成大压力的问题。即具体实施时，通过将中间文件写到本地磁盘的方式，使得中间文件记录在其自身，在中间文件信息完全不记录在NSS上的情况下，会极大的减轻NSS的压力。

参见图1，图1示出了根据本说明书一个实施例提供的Map端和Reduce端的中间文件的存储示意图。

具体的，对于Map端的中间文件，Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS（分布式文件系统）。

参见图1，每个Map端的输出会先写到内存缓冲区中，当缓冲区写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘（disk），这个过程叫做溢出（spill）。

在spill写入磁盘之前，数据会先进行两次排序，首先根据数据所属的分区(partition)进行排序，然后每个partition中的数据再按key来排序。partition的目是将记录划分到不同的Reducer上去，以期望能够达到负载均衡，后续的Reducer就会根据partition来读取自己对应的数据。接着运行组合器(combiner)，combiner的本质也是一个Reducer，其目的是对将要写入到磁盘上的文件先进行一次处理，这样写入到磁盘的数据量就会减少。最后将数据写到本地磁盘，产生spill文件(spill文件保存在{mapred.local.dir}指定的目录中，Map任务结束后就会被删除)。

最后，每个Map任务可能产生多个spill文件，在每个Map任务完成前，会通过多路归并算法将这些spill文件归并成一个文件。至此，Map端的shuffle过程就结束了。

根据图1可知，Reduce端的shuffle包括三个阶段：拷贝（copy）、排序/合并（sort/merge）和缩小（reduce）。

首先要将Map端产生的输出文件拷贝到Reduce端，在Map端进行partition的时候，实际上就相当于指定了每个Reducer要处理的数据(partition就对应了Reducer)，所以Reducer在拷贝数据的时候只需拷贝（copy）与自己对应的partition中的数据即可。每个Reducer会处理一个或者多个partition，但需要先将自己对应的partition中的数据从每个Map的输出结果中拷贝过来。

接下来就是排序（sort）阶段，也成为合并（merge）阶段，因为这个阶段的主要工作是执行了归并排序。从Map端拷贝到Reduce端的数据都是有序的，所以很适合归并排序。最终在Reduce端生成一个较大的文件作为Reduce的输入。

最后就是Reduce过程了，在这个过程中产生了最终的输出结果（即中间文件），并将其写到HDFS上。

但是，采用上述将中间文件写入到本地磁盘的方案会存在在本地磁盘上存在IO（数据读写）竞争的问题，多个作业同时运行时会造成不同作业间的IO竞争，会出现低优先级作业抢占高优先级作业的IO问题；并且作业的中间文件数据量受限于单盘/单机的容量，还不能够容忍单机故障转移。

在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

参见图2，图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，其中，所述数据处理方法应用于分布式文件系统，所述系统包括数据处理模块、文件管理模块和元数据模块，具体包括以下步骤。

步骤202：所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求。

其中，文件管理模块可以理解为上述的RS以及NSS，数据处理模块可以理解为上述的JW，元数据模块可以理解为上述的MS。

数据处理请求包括但不限于数据写入请求、数据读取请求以及数据计算请求等。为了便于理解，本说明书实施例仅以数据处理请求为数据计算请求为例，对数据处理方法进行详细说明。以订单数据为例，该数据计算请求可以理解为计算一个月内订单数据的分布情况，如A地的订单数量以及B地的订单数量等。

具体的，所述数据处理模块接收客户端发送的数据处理请求之后，还包括：

所述数据处理模块中的数据处理节点调用所述分布式文件系统的应用程序接口，以在所述文件管理模块创建与所述数据处理节点对应的文件组；

所述文件管理模块创建与所述数据处理节点对应的文件组，并为所述文件组分配对应的数据分区，且将所述文件组与所述数据分区之间的映射关系发送至部署有所述元数据模块的存储节点。

实际应用中，数据处理模块在接收客户端发送的数据处理请求之后，数据处理模块中的数据处理节点会调用分布式文件系统的应用程序接口（如API）到文件管理模块上，创建与每个数据处理节点对应的文件组（如FileGroup）；而在文件管理模块在创建FileGroup时，会为每个FileGroup分配一定数量的数据分区（如partition）。

具体的，文件管理模块包括文件节点模块RS和文件目录模块NSS。具体实施时，数据处理模块在接收客户端发送的数据处理请求之后，数据处理模块中的数据处理节点会调用分布式文件系统的应用程序接口（如API）到文件目录模块NSS上，创建与每个数据处理节点对应的文件组（如FileGroup）；而在文件目录模块NSS在创建FileGroup时，会为每个FileGroup分配一定数量的数据分区（如partition）。

实际应用中，为了减轻文件管理模块的压力，还可以将文件组与其对应的数据分区之间的映射关系存储到分布式文件系统的部署有元数据服务的各个数据节点（存储节点）的内存中，后续使用的时候，可以从分布式文件系统的任意一个部署有元数据服务的数据节点的内存中获取该映射关系，从而确定文件组对应的数据分区。

而在从分布式文件系统的部署有元数据服务的各个数据节点的内存中，获取文件组与其对应的数据分区之间的映射关系的情况下，所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件之后，还包括：

所述文件管理模块向所述数据处理模块发送针对所述中间文件的创建完成指令；

所述数据处理模块在接收到所述创建完成指令后，从所述文件管理模块或者从所述部署有所述元数据模块的存储节点，获取所述文件组与其对应的数据分区之间的映射关系，并基于所述文件组与其对应的数据分区之间的映射关系确定所述中间文件对应的元数据模块。

本说明书实施例中，在数据处理模块接收客户端发送的数据处理请求之后，数据处理模块中的数据处理节点预先在文件管理模块创建对应的文件组，以及确定每个文件组对应的数据分区；以便在后续对数据处理请求产生的目标数据进行存储时，处理数据处理请求的数据处理节点可以基于文件组对应的数据分区，快速的确定出存储目标数据的目标存储节点的元数据服务。

具体的，所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求，包括：

所述数据处理模块接收客户端发送的数据处理请求，基于所述数据处理请求确定处理所述数据处理请求的数据处理节点；

所述数据处理模块的所述数据处理节点基于所述数据处理请求获取并处理初始数据生成目标数据，并向所述文件管理模块发送文件创建请求。

以数据处理节点为JW为例，在数据处理模块接收客户端发送的数据处理请求的情况下，数据处理节点JW的数据处理方式如下所述：

数据处理模块的数据中心节点（以下简称JM，JobMaster）接收数据处理请求，数据中心节点JM根据该数据处理请求从数据库中获取与数据处理请求对应的待处理数据（如一个月的订单数据），然后基于待处理数据的数据量确定处理该数据处理请求的数据处理节点（以下简称JW），即要选择哪几个数据处理节点JW对该数据处理请求进行处理，最后将该数据处理请求以及待处理数据分别发送至对应的数据处理节点JW上进行进行数据处理，每个数据处理节点JW在进行数据处理时会生成中间文件（目标数据），而在生成中间文件的同时向文件管理模块发送文件创建请求。

本说明书实施例中，通过分布式计算的方式，将数据处理请求分发到不同的数据处理节点进行数据处理，可以极大的提升数据处理速率，降低后续的数据存储时间。

步骤204：所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块。

具体实施时，在数据处理节点对数据处理请求进行处理，产生目标数据时，为了将目标数据进行存储，数据处理节点会调用分布式文件系统的应用程序接口在文件管理模块中，创建与发送数据处理请求的客户端对应的中间文件，以实现后续通过该中间文件对目标数据进行合理存储，具体实现方式如下所述：

所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块，包括：

所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理节点对应的文件组下创建中间文件，其中，所述中间文件与所述客户端标识存在对应关系；

所述文件管理模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并基于预设算法以及所述文件组对应的数据分区确定所述中间文件对应的元数据模块。

具体的，文件管理模块在接收数据处理节点发送的文件创建请求之后，基于该文件创建请求中携带的客户端标识，在与该数据处理节点对应的文件组下创建、与该客户端标识对应的中间文件。即该客户端以后的所有数据处理产生的目标数据均会存储在该中间文件下。

在中间文件创建之后，文件管理模块确定与该数据处理节点的文件组对应的数据分区，基于预设算法以及文件组对应的数据分区确定该中间文件对应的元数据模块。

沿用上例，当需要写数据时，数据处理节点JW会调用分布式文件系统的应用程序接口，在该数据处理节点JW对应的文件组（如FileGroup）下面创建，与该客户端标识对应的、该客户端唯一的中间文件（如TempFile）。然后该分布式文件系统会从文件管理模块或者其他存储有文件组与数据分区之间映射关系的数据节点中，获取文件组与数据分区之间的映射关系列表，基于预设算法以及该文件组对应的数据分区，计算该中间文件对应的元数据模块。其中，预设算法可以根据实际应用进行设置，例如采用哈希算法等。

此外，文件管理模块的文件节点模块中存储有数据分区与元数据模块的映射关系，实际在进行中间文件的元数据模块的确定时，是需要从文件节点模块或者其他存储有数据分区与元数据模块之间映射关系的数据节点中获取数据分区与元数据模块的映射列表，以此来计算出中间文件对应的元数据模块。具体实现方式如下所述：

所述文件管理模块包括文件节点模块和文件目录模块；

相应地，所述文件管理模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并基于预设算法以及所述文件组对应的数据分区确定所述中间文件对应的元数据模块，包括：

所述文件目录模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并从所述文件节点模块获取数据分区与元数据模块之间的关联关系的映射表，基于预设算法以及所述映射表确定所述中间文件对应的元数据模块。

实际应用中，文件节点模块会预先维护一个数据分区与元数据模块之间的关联关系的映射表（如partition table），通过该partition table，可以确定每个数据分区对应哪些元数据模块，每个元数据模块也可以对应多个数据分区等。

本说明书实施例中，在通过文件目录模块或者其他数据节点中确定与文件组对应的数据分区后，可以从文件节点模块或者其他数据节点中，获取数据分区与元数据模块之间的关联关系的映射表；最后基于预设算法以及该映射表计算获得该中间文件对应的元数据模块，使得后续可以基于该元数据模块实现对目标数据的存储。

步骤206：所述元数据模块确定存储所述目标数据的目标存储节点。

具体的，所述元数据模块确定存储所述目标数据的目标存储节点，包括：

所述元数据模块获取所有部署元数据模块的存储节点，并基于所述存储节点的属性信息确定存储所述目标数据的目标存储节点。

其中，存储节点的属性信息包括但不限于存储节点的当前负载量，历史负载量等等。

元数据模块获取所有部署有元数据模块的存储节点，并基于所有存储节点的属性信息确定存储所述目标数据的目标存储节点，后续可以通过该目标存储节点将所述目标数据进行存储。

具体的，所述方法，还包括：

所述目标存储节点对所述目标数据进行存储。

实际应用中，可以在指定的一部分存储节点CS上部署元数据服务MetaServer（元数据模块）专门用来处理TempFile相关请求，即数据处理过程中的中间文件存储请求，也就是说这部分MetaServer上只处理TempFile请求，这部分MetaServer可以完全部署在存储节点上，而且这些存储节点的元数据也可以直接写到这些部署有MetaServer的存储节点上。

每一个MetaServer都会看到所有部署有MetaServer的CS，这样可以让每一次目标数据存储都能利用上整个集群的io带宽以及存储空间，提高数据存储效率。

并且每一个MetaServer内部可能有0到n个partition，这样能够更好的支持扩容、缩容操作，而不用来改变partition数量。

比如10台机器负载10个分区，即每台机器负载一个分区，但是如果是某个机器出现损坏，这个时候损坏的机器对应的分区就需要有其他机器进行负载，不然损坏的机器对应的分区就无法进行服务。又比如扩展了100台机器，原来的10个分区的服务能力就不够了，这时就可以在每个机器上增加一个MetaServer，而每个MetaServer对应0到n个partition，这样就可以实现不用改变partition数量实现扩容和缩容。

此外，MetaServer自身管理所有部署有MS的存储节点，不需要向文件管理模块NSS上报存储节点的指标（Quota），减少对文件管理模块NSS的压力。

本说明书另一实施例中，所述通过所述目标存储节点对所述目标数据进行存储之后，还包括：

所述元数据模块扫描所有部署元数据模块的存储节点，在确定所述存储节点中存在异常存储节点的情况下，将所述异常存储节点中的数据备份至备份存储节点。

其中，备份存储节点可以理解为图3中的RG节点以及TRG节点。

具体的，元数据模块MetaServer会周期性的扫描（sniff）所有存储节点ChunkServer。比如某个存储节点重启，一种情况是存储节点主动上报重启后丢失的数据，还有一种是MetaServer主动去扫描所有的存储节点，向所有的存储节点索要上报数据，在确定某个存储节点出现异常（重启或者断网出现数据丢失）的情况下，将异常存储节点中的数据通过TMG备份到备份存储节点中，避免数据的丢失和损坏。

实际应用中，如果ChunkServer承受不住较多的轮的MetaServer sniff，可以将这部分的MetaServer的sniff频率降低，比如之前是每隔一分钟扫描一次，可以降低为每一小时扫描一次等，仅将MetaServer sniff作为垃圾数据回收使用即可。

并且文件节点模块RS对待这部分MetaServer进行特殊处理，不让文件目录模块NSS看到这部分MetaServer，防止正常的stream（数据流）写到这部分metaserver上。即文件节点模块维护数据分区与MetaServer之间的关联关系，文件目录模块NSS中无法看到MetaServer，在正常的数据流写入时，由于文件目录模块NSS中无法查询到MetaServer，就不会将其他数据写入到MetaServer中，仅会将中间文件进行写入。

此外，文件节点模块RS可以根据节点的数量对数据分区的数量进行增减，具体实现方式如下所述：

所述方法，还包括：

所述文件管理模块获取所有数据处理节点和所述存储节点，基于所述数据处理节点和所述存储节点的数量对所述数据分区的数量进行调整。

即文件节点模块RS会获取所有数据处理节点和存储节点，基于数据处理节点和存储节点的数量对数据分区的数量进行动态调整。

具体的，文件节点模块RS可以根据CS数量动态或者外部指定调度起来的partition个数，其中，CS数量可以理解为文件节点模块RS管理的所有节点的数量。

实际应用中，文件节点模块RS管理的节点数量越多，其数量的数据分区的数量也越多，而在管理的节点的数量减少的情况下，也可以相应的减少数据分区的数量，以保证到负载均衡。即partition支持扩容、合并，并且当集群缩容时，可以支持强缩容。

具体实施时，Temp MetaServer不放入原有的机器组中，不同的MetaServer启动的角色不同，负责的事情也不同，Temp MetaServe只是处理TempFile请求，而NormalMetaServer处理正常的非TempFile请求，这样也能提供更好的扩展性和隔离性。

本说明书另一实施例中，Temp MetaServer会定期向文件目录模块NSS询问是否所有的FileGroup都还存在的，如果不存在了，就开始进行删除，具体实现方式如下所述：

所述方法，还包括：

所述元数据模块基于预设时间间隔向所述文件管理模块发送针对所述文件组的获取请求；

所述文件管理模块在接收到所述获取请求后，在确定所述文件组不存在对应的数据处理节点的情况下，删除所述文件组。

其中，预设时间间隔可以根据实际需求进行设置，本说明书对此不作任何限定，例如预设时间间隔为1天或2天等。

具体的，每一个FileGroup都支持订阅，当没有用户订阅时，NSS会进行自行删除，不影响后续其他用户的使用。

例如NSS上维护了一个FileGroup，在进行数据存储时发现这个FileGroup已经有10个小时没有用户订阅了，NSS则会将其删除，同时将FileGroup下面的TempFile删除。

本说明书实施例提供的所述数据处理方法所述数据处理方法中在进行目标数据存储时，可以从文件管理模块获取到元数据模块，基于元数据模块确定存储节点实现目标数据存储，减少文件管理模块与存储节点的交互，可以极大的减少对NSS的压力，并且通过元数据模块实现目标数据存储时，可以实现目标数据的统一管理，隔离性良好，不会再局限于单台机器热点问题，数据存储会分配的更加均衡，能够利用上所有的存储节点的网络和硬盘带宽。

下述结合附图3，以本说明书提供的所述数据处理方法在数据存储的应用为例，对所述数据处理方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种数据处理方法的处理过程示意图。

图3中包括文件节点服务RS（文件节点模块）、文件目录服务NSS（文件目录模块）、元数据服务MS/TMS（元数据模块）、数据处理服务JW（数据处理模块）。

以本说明书实施例提供的数据处理方法应用在数据存储为例，对所述数据处理方法进行详细介绍。

步骤一：数据处理服务中的数据中心节点JM（JobMaster）接收客户端发送的数据计算请求，根据该数据计算请求从对应数据库中获取处理该数据计算请求需要的待处理数据。

步骤二：数据处理服务中的数据中心节点JM调用分布式文件系统的API到文件目录服务NSS上，创建与数据处理节点JW对应的FileGroup。

步骤三：文件目录服务NSS在创建数据处理节点JW对应的FileGroup时，会给FileGroup分配一定数量的partition，生成FileGroup与partition之间的映射表，并将该映射表分发至多个MS服务节点上，这些MS节点作为后续数据处理节点JW调用分布式文件系统API获取FileGroup与partition之间的映射表使用。

步骤四：数据中心节点JM根据该待处理数据的数据量将其分配到不同的数据处理节点JW上进行数据处理。

步骤五：数据处理节点JW对其分配的待处理数据进行处理，生成中间数据；在需要将中间数据进行存储时，数据处理节点JW调用分布式文件系统的API到MS上，在该数据处理节点JW对应的FileGroup下创建TempFile。

步骤六：分布式文件系统的API从文件目录服务NSS或者该分布式文件系统的任意一个MS节点上获取FileGroup与partition的映射表，以及从文件节点服务RS中获取partition与元数据服务MS/TMS的映射表，基于这两个映射表根据计算确定TempFile对应的元数据服务MS/TMS。

步骤七：与TempFile对应的元数据服务MS/TMS获取部署有元数据服务MS/TMS的所有存储节点的属性信息，基于该属性信息确定目标存储节点，通过该目标存储节点实现中间数据存储。

具体实施时，在计算节点CS中也部署有MetaServer，并且具有存储功能的情况下，也可以按照上述方式将除中间数据之外的其他数据，存储至计算节点CS。而图3中的RG以及TRG节点为备份节点，负责数据备份以及垃圾数据的回收。

本说明书实施例中，所述数据处理方法中所有的MetaServer都能够使用集群上所有的ChunkServer，整个集群的数据都会统一的经过ChunkServer来写到盘上，ChunkServer内部可以对不同优先级的作业进行不同的流控策略，即ChunkServer内部可以按照用户、优先级等信息进行数据处理；不会再局限于单台机器热点问题，数据会分配的更加均衡，能够利用上所有的ChunkServer的网络和硬盘带宽；项目还可以采用写多份的方案来解决容忍点击FailOver的情况。

与上述方法实施例相对应，本说明书还提供了所述数据处理装置实施例，图4示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图4所示，该系统包括数据处理模块402、文件管理模块404和元数据模块406，其中，

所述数据处理模块402，被配置为接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块404发送文件创建请求；

所述文件管理模块404，被配置为基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块402对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块406；

所述元数据模块406，被配置为确定存储所述目标数据的目标存储节点。

其中，所述数据处理装置可以理解为上述的分布式文件系统的一部分，包括数据处理模块402、文件管理模块404和元数据模块406。

可选地，所述数据处理模块402中的数据处理节点调用所述分布式文件系统的应用程序接口，以在所述文件管理模块创建与所述数据处理节点对应的文件组；

所述文件管理模块404创建与所述数据处理节点对应的文件组，并为所述文件组分配对应的数据分区，且将所述文件组与所述数据分区之间的映射关系发送至部署有所述元数据模块406的存储节点。

可选地，所述数据处理模块402接收客户端发送的数据处理请求，基于所述数据处理请求确定处理所述数据处理请求的数据处理节点；

所述数据处理模块402的所述数据处理节点基于所述数据处理请求获取并处理初始数据生成目标数据，并向所述文件管理模块404发送文件创建请求。

可选地，所述文件管理模块404基于所述文件创建请求中携带的客户端标识，在与所述数据处理节点对应的文件组下创建中间文件，其中，所述中间文件与所述客户端标识存在对应关系；

所述文件管理模块404基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并基于预设算法以及所述文件组对应的数据分区确定所述中间文件对应的元数据模块406。

可选地，所述文件管理模块404包括文件节点模块和文件目录模块；

相应地，所述文件目录模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并从所述文件节点模块获取数据分区与元数据模块之间的关联关系的映射表，基于预设算法以及所述映射表确定所述中间文件对应的元数据模块406。

可选地，所述元数据模块406获取所有部署元数据模块的存储节点，并基于所述存储节点的属性信息确定存储所述目标数据的目标存储节点。

可选地，所述元数据模块406扫描所有部署元数据模块的存储节点，在确定所述存储节点中存在异常存储节点的情况下，将所述异常存储节点中的数据备份至备份存储节点。

可选地，所述文件管理模块404获取所有数据处理节点和所述存储节点，基于所述数据处理节点和所述存储节点的数量对所述数据分区的数量进行调整。

可选地，所述元数据模块406基于预设时间间隔向所述文件管理模块404发送针对所述文件组的获取请求；

所述文件管理模块404在接收到所述获取请求后，在确定所述文件组不存在对应的数据处理节点的情况下，删除所述文件组。

可选地，所述装置，还包括：所述目标存储节点对所述目标数据进行存储。

本说明书实施例提供的所述数据处理装置中在进行目标数据存储时，可以从文件管理模块获取到元数据模块，基于元数据模块确定存储节点实现目标数据存储，减少文件管理模块与存储节点的交互，可以极大的减少对NSS的压力，并且通过元数据模块实现目标数据存储时，可以实现目标数据的统一管理，隔离性良好，不会再局限于单台机器热点问题，数据存储会分配的更加均衡，能够利用上所有的存储节点的网络和硬盘带宽。

上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。

计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。

在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

其中，处理器520用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种数据处理方法，应用于分布式文件系统，所述系统包括数据处理模块、文件管理模块和元数据模块，其中，

所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；

所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建与所述客户端标识对应的中间文件，并确定所述中间文件对应的元数据模块；

所述元数据模块确定存储所述目标数据的目标存储节点；

其中，所述数据处理模块接收客户端发送的数据处理请求之后，还包括：

所述数据处理模块中的数据处理节点调用所述分布式文件系统的应用程序接口，以在所述文件管理模块创建与所述数据处理节点对应的文件组；

所述文件管理模块创建与所述数据处理节点对应的文件组，并为所述文件组分配对应的数据分区，且将所述文件组与所述数据分区之间的映射关系发送至部署有所述元数据模块的存储节点。

2.根据权利要求1所述的数据处理方法，所述数据处理模块接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求，包括：

所述数据处理模块接收客户端发送的数据处理请求，基于所述数据处理请求确定处理所述数据处理请求的数据处理节点；

所述数据处理模块的所述数据处理节点基于所述数据处理请求获取并处理初始数据生成目标数据，并向所述文件管理模块发送文件创建请求。

3.根据权利要求2所述的数据处理方法，所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建中间文件，并确定所述中间文件对应的元数据模块，包括：

所述文件管理模块基于所述文件创建请求中携带的客户端标识，在与所述数据处理节点对应的文件组下创建中间文件，其中，所述中间文件与所述客户端标识存在对应关系；

所述文件管理模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并基于预设算法以及所述文件组对应的数据分区确定所述中间文件对应的元数据模块。

4.根据权利要求3所述的数据处理方法，所述文件管理模块包括文件节点模块和文件目录模块；

相应地，所述文件管理模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并基于预设算法以及所述文件组对应的数据分区确定所述中间文件对应的元数据模块，包括：

所述文件目录模块基于所述文件组与所述数据分区之间的映射关系确定与所述文件组对应的数据分区，并从所述文件节点模块获取数据分区与元数据模块之间的关联关系的映射表，基于预设算法以及所述映射表确定所述中间文件对应的元数据模块。

5.根据权利要求1所述的数据处理方法，所述元数据模块确定存储所述目标数据的目标存储节点，包括：

所述元数据模块获取所有部署元数据模块的存储节点，并基于所述存储节点的属性信息确定存储所述目标数据的目标存储节点。

6.根据权利要求1所述的数据处理方法，所述元数据模块确定存储所述目标数据的目标存储节点之后，还包括：

所述元数据模块扫描所有部署元数据模块的存储节点，在确定所述存储节点中存在异常存储节点的情况下，将所述异常存储节点中的数据备份至备份存储节点。

7.根据权利要求1所述的数据处理方法，还包括：

所述文件管理模块获取所有数据处理节点和所述存储节点，基于所述数据处理节点和所述存储节点的数量对所述数据分区的数量进行调整。

8.根据权利要求1所述的数据处理方法，还包括：

所述元数据模块基于预设时间间隔向所述文件管理模块发送针对所述文件组的获取请求；

所述文件管理模块在接收到所述获取请求后，在确定所述文件组不存在对应的数据处理节点的情况下，删除所述文件组。

9.根据权利要求5所述的数据处理方法，还包括：

所述目标存储节点对所述目标数据进行存储。

10.一种数据处理装置，包括数据处理模块、文件管理模块和元数据模块，其中，

所述数据处理模块，被配置为：接收客户端发送的数据处理请求，对基于所述数据处理请求获取的初始数据进行处理生成目标数据，并向所述文件管理模块发送文件创建请求；

所述文件管理模块，被配置为：创建与数据处理节点对应的文件组，并为所述文件组分配对应的数据分区，且将所述文件组与所述数据分区之间的映射关系发送至部署有所述元数据模块的存储节点；基于所述文件创建请求中携带的客户端标识，在与所述数据处理模块对应的文件组下创建与所述客户端标识对应的中间文件，并确定所述中间文件对应的元数据模块；

所述元数据模块，被配置为：确定存储所述目标数据的目标存储节点，并通过所述目标存储节点对所述目标数据进行存储；

所述数据处理模块还被配置为：所述数据处理模块的数据处理节点调用分布式文件系统的应用程序接口，以在所述文件管理模块创建与所述数据处理节点对应的文件组。

11.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-9任意一项所述数据处理方法的步骤。

12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-9任意一项所述数据处理方法的步骤。

Images