CN105610879A - 数据处理方法和装置 - Google Patents

Abstract

本发明实施例提供一种数据处理方法和装置。本发明数据处理方法，包括：接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取管理节点对网络中各数据存储节点进行区域划分的区域划分结果；根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。本发明实施例在接收到EC任务后各区域分别进行数据处理，进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理，发挥分布式并行处理的优点，充分利用了网络资源和计算资源。

Description

数据处理方法和装置

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据处理方法和装置。

背景技术

云计算、大数据所带来的海量数据，对越来越庞大的数据中心带来考验，软件定义基础设施(SoftwareDefineInfrastructure，简称SDI)将是未来数据中心的发展趋势。SDI规划了利用三维环状网络(3DTours)、三维网状网络(3DMesh)等网络拓扑来提升网络的性能和应用的性能，3DTorus和3DMesh是现在用的比较多的网络拓扑结构，其在平面的基础上，向三维空间扩展，节点的连接采用GE或IB网络，节点之间的消息传递、负载均衡有专有的算法，具有多路径、简单、对称、易扩展等特点。目前使用容删码(ErasureCode，简称EC)算法实现数据容错技术也已经规划在SDI中，在3DTours、3DMesh等网络拓扑下运行分布式文件系统或分布式存储软件，利用该EC算法来编码和解码数据。

EC算法的具体原理为，将n份原始数据，增加m份校验数据，并能通过n+m份中的任意n份数据，还原为原始数据。其包含了编码(Encoding)和解码(Decoding)两个过程，将原始的n份数据变为n+m份是编码，n+m份数据可分散存放在不同的位置，如果有任意小于m份的数据失效，仍然能通过剩下的数据还原出来，还原的过程叫解码。由此可见通过EC算法，只保留原始数据和校验数据，当数据丢失时候可以通过EC算法恢复原始数据，这样在保证数据存储的可靠性的同时大大的减少了存储资源，降低了企业存储成本。典型的EC算法有XOR、Reed-Solomon、Cauchy-Reed-Solomon等算法。EC算法实际上就是利用线性代数的矩阵相乘的原理，先根据原始数据的个数和校验数据的个数得到生成矩阵，使用生成矩阵乘以原始数据得到校验数据。恢复的过程即利用生成矩阵的逆矩阵乘以现有数据来得到丢失的数据。不管生成矩阵是范德蒙矩阵还是Cauchy矩阵或是优化过的矩阵，其核心都是矩阵的乘法。

然而，在3DTours、3DMesh等网络拓扑下运行分布式文件系统过程中，利用现有EC算法进行编码和解码数据，以保证数据存储的可靠性时，仍然不能有效利用网络资源，对于网络资源消耗比较大，因此如何在3DTours、3DMesh等网络拓扑下进一步提升EC算法的性能是如今亟待解决的一技术问题。

发明内容

本发明实施例提供一种数据处理方法和装置，以解决现有EC算法不能有效利用网络资源，对于网络资源消耗比较大的问题。

第一方面，本发明实施例提供一种数据处理方法，包括：

接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；

根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息；

根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

结合第一方面，在第一方面的第一种可能的实现方式中，若所述数据处理为生成效验数据处理；

所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，包括：

根据所述区域个数和所述生成矩阵获取多个生成子矩阵，所述生成子矩阵的个数与所述区域个数相同，且各生成子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；

利用各区域的效验子数据生成效验数据，并将所述效验数据存储于相应的数据存储节点中。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述获取其他区域的主数据存储节点生成的效验子数据之前，还包括：

向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

结合第一方面，在第一方面的第三种可能的实现方式中，若所述数据处理为恢复原始数据处理；

所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，包括：

根据丢失数据和所述生成矩阵获取恢复矩阵；

根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵，所述恢复子矩阵的个数和所述区域个数相同，且各恢复子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取其他区域的主数据存储节点生成的恢复子数据；

利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述获取其他区域的主数据存储节点生成的恢复子数据之前，还包括：

向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

结合第一方面的第一种至第四种任一种可能的实现方式，在第一方面的第五种可能的实现方式中，在根据所述区域划分结果进行数据处理之前，所述方法还包括：

根据所述各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。

第二方面，本发明实施例提供一种数据处理装置，包括：

接收模块，用于接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；

获取模块，用于根据所述原始数据个数和所述消息数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息；

处理模块，用于根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

结合第二方面，在第二方面的第一种可能的实现方式中，若所述数据处理为生成效验数据处理；

所述处理模块具体用于：

根据所述区域个数和所述生成矩阵获取多个生成子矩阵，所述生成子矩阵的个数与所述区域个数相同，且各生成子矩阵与各区域一一对应；

根据区域内的各数据存储节点的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；

利用各区域的效验子数据生成效验数据，并将所述效验数据存储于相应的数据存储节点中。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述处理模块还用于：向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

结合第二方面，在第二方面的第三种可能的实现方式中，若所述数据处理为恢复原始数据处理；

所述处理模块具体用于：

根据丢失数据和所述生成矩阵获取恢复矩阵；

根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵，所述恢复子矩阵的个数和所述区域个数相同，且各恢复子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取其他区域的主数据存储节点生成的恢复子数据；

利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述处理模块还用于：向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

结合第二方面的第一种至第四种任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述装置还包括：

确定模块，用于根据所述各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。

本发明实施例数据处理方法和装置，通过获取区域划分结果，根据区域划分结果进行生成效验数据处理或者恢复原始数据处理，由于现有技术的EC算法中，一个数据存储节点接收到EC任务后，会从其他数据存储节点获取所有数据后进行数据处理，由于网络中各数据存储节点的处理性能不同节点之间网络带宽不同，现有技术的方法会造成资源浪费，而本实施例在接收到EC任务后根据区域划分结果各区域分别进行数据处理，进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理，发挥分布式并行处理的优点，充分利用了网络资源和计算资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据处理方法实施例一的流程图；

图2为本发明数据处理方法实施例二的流程图；

图3为3DTorous组网的部分节点图；

图4为本发明数据处理装置实施例一的结构示意图；

图5为本发明数据处理装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明数据处理方法为在现有容删码(ErasureCode，简称EC)算法基础上进行改进而获取的一种优化EC算法。

图1为本发明数据处理方法实施例一的流程图，如图1所示，本实施例的方法可以包括：

步骤101、接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数。

步骤102、根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取管理节点对网络中各数据存储节点进行区域划分的区域划分结果，区域划分结果包括区域个数和各区域内的各数据存储节点的信息。

其中，区域划分结果是管理节点根据网络中各数据存储节点的数据处理性能或者各数据存储节点之间的网络带宽进行区域划分后获得的，具体可以根据一些预设规则或算法对各数据存储节点进行区域划分。具体的预设规则或算法可以根据需求进行灵活设置。在进行区域划分过程中可以将数据处理性能好或者数据存储节点之间网络带宽较大的数据存储节点划分为一类，将数据处理性能低或者数据存储节点之间网络带宽小的数据存储节点划分为一类，具体划分为几类也可以根据网络情况进行灵活设置。

各区域内的各数据存储节点信息可以具体包括各数据存储节点的位置信息、节点数据处理性能或者各数据存储节点与其他数据存储节点之间的网络带宽等信息。

步骤103、根据区域划分结果和生成矩阵对网络中各数据存储节点中的数据进行数据处理，数据处理包括生成效验数据处理和恢复原始数据处理。

具体的，将n份原始数据，增加m份效验数据，能通过n+m份中的任意n份数据还原为原始数据，其中生成效验数据处理即指生成m份效验数据的处理过程，恢复原始数据处理即指利用n+m份中任意n份数据还原原始数据的处理过程。

进一步的，在步骤103中若数据处理为生成效验数据处理；则根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，具体可以为，根据区域个数和生成矩阵获取多个生成子矩阵，生成子矩阵的个数与区域个数相同，且各生成子矩阵与各区域一一对应；根据区域内各数据存储节点的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；利用各区域的效验子数据生成效验数据，并将效验数据存储于相应的数据存储节点中。

需要说明的是，在生成效验数据处理过程中，具体是根据区域内的各数据存储节点中的原始数据和该区域的生成子矩阵获取该区域的效验子数据，而其他区域的主数据存储节点根据区域内的各数据存储节点中的原始数据和自身所在区域的生成子矩阵获取自身所在区域的效验子数据，本实施例的执行主体可以为网络中任意一个数据存储节点，数据存储节点获取各区域的效验子数据并生成效验数据。

可选的，在获取其他区域的主数据存储节点生成的效验子数据之前，还可以向其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

可选的，在步骤103中若数据处理为恢复原始数据处理；则根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，具体可以为，根据丢失数据和生成矩阵获取恢复矩阵，根据区域个数和恢复矩阵获取多个恢复子矩阵，恢复子矩阵的个数和区域个数相同，且各恢复子矩阵与各区域一一对应，根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取其他区域的主数据存储节点生成的恢复子数据，利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

需要说明的是，丢失数据即指网络中的数据存储节点中存储有原始数据和效验数据，而其中部分数据失效。利用该丢失数据和生成矩阵即可恢复出原始数据，而其中恢复矩阵的具体生成方式为，将生成矩阵中该丢失数据对应行删除，并生成删除对应行后的生成矩阵的逆矩阵，该删除对应行后的生成矩阵的逆矩阵即为恢复矩阵。

进一步的，获取其他区域的主数据存储节点生成的恢复子数据之前，还可以向其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

进一步的，在根据区域划分结果进行数据处理之前，还可以根据各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。

其中，其他区域的主数据存储节点，具体为区域划分结果中除进行本实施例的数据处理方法的数据存储节点所属区域外的其他各区域，在各区域中选取一数据存储节点作为该区域的主数据存储节点。

本实施例，通过获取区域划分结果，根据区域划分结果进行生成效验数据处理或者恢复原始数据处理，由于现有技术的EC算法中，一个数据存储节点接收到EC任务后，会从其他数据存储节点获取所有数据后进行数据处理，由于网络中各数据存储节点的处理性能不同节点之间网络带宽不同，现有技术的方法会造成资源浪费，而本实施例在接收到EC任务后根据区域划分结果各区域分别进行数据处理，进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理，发挥分布式并行处理的优点，充分利用了网络资源和计算资源。

下面采用几个具体的实施例，对图1所示方法实施例的技术方案进行详细说明。

图2为本发明数据处理方法实施例二的流程图，图3为3DTorous组网的部分节点图，本实施例将本发明数据处理方法具体应用于Hadoop分布式文件系统(HadoopDistributedFileSystem，简称HDFS)中，举例而言，一个文件A存储于如图3所示的3DTorous组网的部分节点中，该文件A的大小为512MB，HDFS的块大小为64MB，一共是8个块，分散的存储在1-8节点上，要求8个块生成2个效验块，一个效验块存放在9节点，一个存放在其他的节点，这里以4节点接收集群下发的EC任务做举例说明，如图2所示，本实施例的方法可以包括：

步骤201、对网络中的各节点进行区域划分。

可以通过现有一些诊断网络的方法对各节点计算能力或各节点之间的网络带宽、延迟情况进行诊断，对网络中的各节点进行区域划分，一个区域内的节点的计算能力或各节点之间的网络带宽、延迟情况相差不大，举例而言，图3中的1、2、3和4节点之间的网络带宽为1GE，而5、6、7和8节点之间的网络带宽为5GE，网络中每个节点的计算能力相同，那么通过区域划分，将1、2、3和4节点划分为一个区域R₁，5、6、7和8划分为另一个区域R₂。在实际应用中，划分的区域个数可根据实际情况决定，例如可以设定一个阈值，当节点之间的带宽超过另一节点之间的带宽X倍时可划分为另一个区域。

步骤202、获取生成矩阵，同时确定各区域的主节点。

具体的，由于本实施中的原始数据的个数为8，效验数据的个数为2，根据原始数据的个数和效验数据的个数获取生成矩阵H₁。同时，可以根据网络中各节点的位置信息确定各区域的主节点，具体的，例如，4节点接收集群下发的EC任务，则4节点为其所属区域的主节点，即4节点为区域R1的主节点，根据位置信息分析后，可知在R₂中8节点距离4节点较近，则选取8节点为区域R₂中的主节点。

$H_1\left[\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\\ 1& 1& 1& 1& 1& 1& 1& 1\\ 64& 32& 16& 8& 4& 2& 1& 1\end{array}\right]$

步骤203、根据区域划分结果进行生成效验数据处理。

具体的，由于进行区域划分后，将网络中的节点划分为两个区域，所以根据划分结果将生成矩阵H₁划分为两个生成子矩阵H₁₁和H₁₂。

$H_{11}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 1& 1& 1& 1\\ 64& 32& 16& 8\end{array}\right]H_{12}=\left[\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 1& 1& 1\\ 4& 2& 1& 1\end{array}\right]$

$H_{11}*\left[\begin{array}{c}{d}_1\\ d_2\\ d_3\\ d_4\end{array}\right]+H_{12}*\left[\begin{array}{c}{d}_5\\ d_6\\ d_7\\ d_8\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\\ d_3\\ d_4\\ 0\\ 0\\ 0\\ 0\\ p^{\′}\\ q^{\′}\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ d_5\\ d_6\\ d_7\\ d_8\\ p^{\′\′}\\ q^{\′\′}\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\\ d_3\\ d_4\\ d_5\\ d_6\\ d_7\\ d_8\\ p\\ q\end{array}\right]---\left(1\right)$

具体的，4节点从1至4节点读取固定长度(1MBBuffer)的数据利用H₁₁做矩阵乘法运算，即 $H_{11}*\left[\begin{array}{c}{d}_1\\ d_2\\ d_3\\ d_4\end{array}\right],$ 获取p′＝1*d₁+1*d₂+1*d₃+1*d₄，q′＝64*d₁+32*d₂+16*d₃+8*d₄。8节点从5至8节点读取固定长度(1MBBuffer)的数据利用H₁₂做矩阵乘法运算，即 $H_{12}*\left[\begin{array}{c}{d}_5\\ d_6\\ d_7\\ d_8\end{array}\right],$ 获取p″＝1*d₅+1*d₆+1*d₇+1*d₈，q″＝4*d₅+2*d₆+1*d₇+1*d₈。由于区域R₂中各节点之间的带宽是区域R₁中各节点之间的带宽的5倍，所以在8节点计算获取p″和q″时，4节点还未完成计算p′和q′，所以在8节点完成此次计算后将获取的计算结果存储于本地，等待4节点计算完成后从8节点处获取该计算结果，而与此同时，8节点完成一次计算后可以进行下一个计算，即读取A文件其余数据(或是执行其他文件的读取)进行计算，以提高计算效率。其中，可以理解的，在8节点或4节点每次完成计算后生成的计算结果都有相应的编号，以便存储和获取，比如本实施中A文件为512MB，8个数据块，依次读取8个数据块中的1MB的数据进行计算，则依顺序为每次计算结果编号，即计算结果的编号为1至64。

4节点生成计算结果后，根据生成的编号从8节点中获取相同编号的计算后的结果数据，即获取p＝p′+p″和q＝q′+q″。

步骤204、将计算结果写入相应节点中。

具体的，4节点将获取的p和q分别写入9节点和其它节点中。

上述步骤中所采用的编码方式为范德蒙编码，编码方式还可以使用柯西矩阵代替范德蒙行列式，从而使得生成矩阵变得更为简单，即把范德蒙矩阵转换为只有0、1元素的位矩阵，这样矩阵的乘法就变成了XOR运算，从而提高性能。

步骤205、根据区域划分结果进行恢复原始数据处理。

当网络中节点上存储的数据(原始数据和效验数据)有部分丢失时，需要进行恢复原始数据处理，具体的根据编码的生成矩阵删除对应的丢失行，根据线性代数的行列式转换得到该矩阵的逆矩阵，该逆矩阵即为恢复矩阵，对于解码恢复原始数据的过程与编码产生效验数据的过程是相通的，具体的，根据划分结果将恢复矩阵划分为恢复子矩阵，各区域的主节点(4和8节点)分别获取各区域的剩余数据(即原始数据和效验数据中除去丢失的数据)，利用各区域的恢复子矩阵，获取各区域对应的恢复子数据，最后由4节点根据各区域生成的恢复子数据获取原始数据，其原理都是GF域上的加法或XOR操作。

步骤206、将恢复的原始数据存储于对应的节点上。

本实施例，通过区域划分和矩阵拆分，将一个大任务(4节点进行EC算法)拆分为多个子任务(4节点和8节点同时进行EC算法)，各子任务分布式并行运行，利用本实施的方法可以有效减少数据的传输量和传输次数，进而提升EC算法的性能。

需要说明的是，在分布式存储和分布式文件系统里都可以利用本发明实施例的数据处理方法来提高系统的性能。另外，对于不是传统的走交换机的集中式组网方式，未来的3维以上的组网拓扑都可以利用本发明实施例的数据处理方法。本发明实施例的数据处理方法具有广泛的可应用性。

图4为本发明数据处理装置实施例一的结构示意图，如图4所示，本实施例的装置可以包括：接收模块11、获取模块12和处理模块13，其中，接收模块11用于接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数，获取模块12用于获根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息，处理模块13用于根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

可选的，若所述数据处理为生成效验数据处理；处理模块13具体用于：根据所述区域个数和所述生成矩阵获取多个生成子矩阵，所述生成子矩阵的个数与所述区域个数相同，且各生成子矩阵与各区域一一对应；根据区域内的各数据存储节点的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；利用各区域的效验子数据生成效验数据，并将所述效验数据存储于相应的数据存储节点中。

进一步的，处理模块13还用于向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

若所述数据处理为恢复原始数据处理；处理模块13具体用于：根据丢失数据和所述生成矩阵获取恢复矩阵；根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵，所述恢复子矩阵的个数和所述区域个数相同，且各恢复子矩阵与各区域一一对应；根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取所述其他区域的主数据存储节点生成的恢复子数据；利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

进一步的，处理模块13还用于：向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

本实施例的装置，可以用于执行图1和图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明数据处理装置实施例二的结构示意图，如图5所示，本实施例的装置在图4所示装置结构的基础上，进一步地，还可以包括：确定模块14，该确定模块14用于根据所述各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。

本实施例的装置，可以用于执行图1和图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；

根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息；

根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

2.根据权利要求1所述的方法，其特征在于，若所述数据处理为生成效验数据处理；

所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，包括：

根据所述区域个数和所述生成矩阵获取多个生成子矩阵，所述生成子矩阵的个数与所述区域个数相同，且各生成子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；

利用各区域的效验子数据生成效验数据，并将所述效验数据存储于相应的数据存储节点中。

3.根据权利要求2所述的方法，其特征在于，所述获取其他区域的主数据存储节点生成的效验子数据之前，还包括：

向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

4.根据权利要求1所述的方法，其特征在于，若所述数据处理为恢复原始数据处理；

所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，包括：

根据丢失数据和所述生成矩阵获取恢复矩阵；

根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵，所述恢复子矩阵的个数和所述区域个数相同，且各恢复子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取其他区域的主数据存储节点生成的恢复子数据；

利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

5.根据权利要求4所述的方法，其特征在于，所述获取其他区域的主数据存储节点生成的恢复子数据之前，还包括：

向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

6.根据权利要求2至5任一项所述的方法，其特征在于，在根据所述区域划分结果进行数据处理之前，所述方法还包括：

根据所述各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。

7.一种数据处理装置，其特征在于，包括：

接收模块，用于接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；

获取模块，用于根据所述原始数据个数和所述消息数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息；

处理模块，用于根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

8.根据权利要求7所述的装置，其特征在于，若所述数据处理为生成效验数据处理；

所述处理模块具体用于：

根据所述区域个数和所述生成矩阵获取多个生成子矩阵，所述生成子矩阵的个数与所述区域个数相同，且各生成子矩阵与各区域一一对应；

根据区域内的各数据存储节点的数据和所述区域的生成子矩阵获取效验子数据，并获取其他区域的主数据存储节点生成的效验子数据；

利用各区域的效验子数据生成效验数据，并将所述效验数据存储于相应的数据存储节点中。

9.根据权利要求8所述的装置，其特征在于，所述处理模块还用于：向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的生成子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的生成子矩阵获取效验子数据。

10.根据权利要求7所述的装置，其特征在于，若所述数据处理为恢复原始数据处理；

所述处理模块具体用于：

根据丢失数据和所述生成矩阵获取恢复矩阵；

根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵，所述恢复子矩阵的个数和所述区域个数相同，且各恢复子矩阵与各区域一一对应；

根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据，并获取其他区域的主数据存储节点生成的恢复子数据；

利用各区域的恢复子数据生成原始数据，并将所述原始数据存储于各原始数据所在数据存储节点中。

11.根据权利要求10所述的装置，其特征在于，所述处理模块还用于：向所述其他区域的主数据存储节点分别发送所述其他区域的主数据存储节点所属区域的恢复子矩阵，以使所述其他区域的主数据存储节点根据自身所属区域内的各数据存储节点中的数据和自身所属区域的恢复子矩阵获取恢复子数据。

12.根据权利要求8至11任一项所述的装置，其特征在于，所述装置还包括：

确定模块，用于根据所述各区域内的各数据存储节点的信息确定其他区域的主数据存储节点。