CN110708375A - 一种数据处理方法、装置及系统 - Google Patents

Abstract

本文公开了一种数据处理方法、装置及系统，应用于由来自多个云平台中的节点主机组成的数据处理系统中，包括：主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识；向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容；获取来自从节点主机根据数据处理内容获得的数据处理结果，并将数据处理结果通过数据访问接口返回给请求方。本申请由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

Description

一种数据处理方法、装置及系统

技术领域

本发明实施例涉及计算机技术领域，尤指一种数据处理方法、装置及系统。

背景技术

近年来，随着云计算概念的不断普及以及云计算技术的不断发展，越来越多的企业开始尝试云计算技术，然而如何真正落地云计算技术，云平台的对接是需要考虑的重要方面。

相关技术中，云平台的对接主要体现在管理层面的对接。

然而，管理层面的对接只是云平台表面层次的对接，无法实现平云台之间的真正对接。

发明内容

本申请提供了一种数据处理方法、装置及系统，能够实现云平台之间的真正对接。

本申请提供了一种数据处理方法，应用于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

主节点主机通过预先设置的数据访问接口获取来自所述数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；

所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识；

所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容；

所述主节点主机获取来自所述从节点主机根据所述数据处理内容获得的数据处理结果，并将所述数据处理结果通过所述数据访问接口返回给所述请求方。

所述数据处理包括：数据读取、数据写入和数据计算；

当所述数据处理为数据计算，所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之后，且所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容之前，还包括：

所述主节点主机获取与获得的从节点主机的标识对应的从节点主机的计算资源容量；

所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容，包括：

当与获得的从节点主机的标识对应的从节点主机的计算资源容量大于预设阈值时，所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

当所述与获得的从节点主机的标识对应的从节点主机的计算资源容量小于所述预设阈值时，还包括：

所述主节点主机获取所述待处理数据所属节点主机所在的目标地理位置；

所述主节点主机获取计算资源容量大于所述预设阈值且所在地理位置与所述目标地理位置最近的从节点主机的标识；

所述主节点主机向与重新获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

所述主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容，且所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之前，还包括：

所述主节点主机根据预先设置的请求方权限信息、所述待处理数据的所属目标文件的标识以及数据处理内容判断所述请求方是否具备请求权限；

所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识，包括：

当所述请求方具备所述请求权限，所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识。

本申请还提供了一种数据处理方法，应用于由来自多个云平台中的节点主机组成的数据处理系统中，包括；

从节点主机获取来自主节点主机的待处理数据的数据处理内容；

所述从节点主机根据所述数据处理内容，采用适配于所属云平台的存储协议对所述待处理数据进行处理，并生成数据处理结果；

所述从节点主机返回所述数据处理结果给所述主节点主机。

所述数据处理包括：数据读取、数据写入和数据计算；

当所述数据处理为数据计算时，所述从节点主机根据数据处理内容，采用适配于所属云平台的存储协议对待处理数据进行处理，并生成数据处理结果之前，还包括：

所述从节点主机获取来自主节点主机的所述待处理数据所属从节点主机的标识；

所述从节点主机从与获得的从节点主机的标识对应的从节点主机中获取所述待处理数据。

本申请还提供了一种主节点主机，位于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

第一获取模块，用于通过预先设置的数据访问接口获取来自所述数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；

第一处理模块，用于根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识；

第一发送模块，用于向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容；

所述第一处理模块，还用于获取来自所述从节点主机根据所述数据处理内容获得的数据处理结果，并将所述数据处理结果通过所述数据访问接口返回给所述请求方。

本申请还提供了一种从节点主机，位于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

第二获取模块，用于获取来自主节点主机的待处理数据的数据处理内容；

第二处理模块，用于根据所述数据处理内容，采用适配于所属云平台的存储协议对所述待处理数据进行处理，并生成数据处理结果；

第二发送模块，用于返回所述数据处理结果给所述主节点主机。

本申请还提供了一种数据处理系统，包括：一个如上所述的主节点主机和多个如上所述的从节点主机。

所述主节点主机由多个备用节点主机选举产生，当该主节点主机故障时，所述备用节点主机通过选举算法选举产生另外一个节点主机作为所述主节点主机。

与相关技术相比，本申请应用于由来自多个云平台中的节点主机组成的数据处理系统中，本申请包括：主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识；向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容；获取来自从节点主机根据数据处理内容获得的数据处理结果，并将数据处理结果通过数据访问接口返回给请求方。由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请实施例提供的另一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种主节点主机的结构示意图；

图4为本申请实施例提供的一种从节点主机的结构示意图；

图5为本申请实施例提供的一种数据处理系统的结构示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本申请实施例提供一种数据处理方法，应用于由来自多个云平台中的节点主机组成的数据处理系统中，如图1所示，包括：

步骤101、主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容。

在一种示例性实例中，数据访问接口是数据处理系统对于外部的一个统一访问接口。

在一种示例性实例中，待处理数据的所属目标文件的标识指的是将要处理的数据所在的文件的标识信息；待处理数据的数据处理内容指的是将要如何处理数据的处理内容信息。

步骤102、主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识。

在一种示例性实例中，文件的标识可以是文件的名称、ID号或是其他能够表示该文件的信息。

在一种示例性实例中，假设包括三个从节点主机，分别是从节点主机A、从节点主机B和从节点主机C，从节点主机A中所存储的文件包括：文件a1、文件a2和文件a3，从节点主机B中所存储的文件包括：文件b1、文件b2、文件b3，和文件b4，从节点主机C中所存储的文件包括：文件c1和文件c2，则从节点主机的标识与从节点主机中所存储文件的标识的对应关系可以如表1所示，

表1

步骤103、主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容。

步骤104、主节点主机获取来自从节点主机根据数据处理内容获得的数据处理结果，并将数据处理结果通过数据访问接口返回给请求方。

在一种示例性实例中，数据处理包括：数据读取、数据写入和数据计算。

在一种示例性实例中，当数据处理为数据读取时，数据处理内容为需要读取的数据的内容；当数据处理为数据写入时，数据处理内容为需要写入的数据的内容；当数据处理为数据计算时，数据处理内容为需要进行计算的数据的内容。

在一种示例性实例中，当数据处理为数据计算，主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之后，且主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容之前，还包括：

主节点主机获取与获得的从节点主机的标识对应的从节点主机的计算资源容量。

主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容，包括：

当与获得的从节点主机的标识对应的从节点主机的计算资源容量大于预设阈值时，主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容。

在一种示例性实例中，在进行数据计算时，尽可能实现计算本地化，即根据文件位置首先选择文件所在的从节点主机进行计算，而存储文件的从节点主机就是文件的所在位置。

在一种示例性实例中，当与获得的从节点主机的标识对应的从节点主机的计算资源容量小于预设阈值时，还包括：

首先、主节点主机获取待处理数据所属节点主机所在的目标地理位置。

在一种示例性实例中，待处理数据必定是属于某个文件的，因此待处理数据所属节点主机所在的目标地理位置指的就是待处理数据所述文件的所述节点主机所在的目标地理位置。

其次、主节点主机获取计算资源容量大于预设阈值且所在地理位置与目标地理位置最近的从节点主机的标识。

最后、主节点主机向与重新获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

在一种示例性实例中，在进行数据计算时，如果无法实现计算本地化，那就选择近距离的从节点主机进行计算。

在一种示例性实例中，主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容，且主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之前，还包括：

主节点主机根据预先设置的请求方权限信息、待处理数据的所属目标文件的标识以及数据处理内容判断请求方是否具备请求权限。

在一种示例性实例中，请求方的权限信息包括：请求方能够请求的文件的标识以及能够进行数据处理的内容。

主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识，包括：

当请求方具备请求权限，主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识。

在一种示例性实例中，当请求方不具备请求权限，主节点主机向请求方发送拒绝请求信息。

本申请实施例提供的数据处理方法，由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

本申请实施例还提供一种数据处理方法，应用于由来自多个云平台中的节点主机组成的数据处理系统中，如图2所示，包括：

步骤201、从节点主机获取来自主节点主机的待处理数据的数据处理内容。

步骤202、从节点主机根据数据处理内容，采用适配于所属云平台的存储协议对待处理数据进行处理，并生成数据处理结果。

在一种示例性实例中，适配于所属云平台的存储协议即是能够解析云平台的协议。

步骤203、从节点主机返回数据处理结果给主节点主机。

在一种示例性实例中，数据读取、数据写入和数据计算。

在一种示例性实例中，当数据处理为数据计算时，从节点主机根据数据处理内容，采用适配于所属云平台的存储协议对待处理数据进行处理，并生成数据处理结果之前，还包括：

首先、从节点主机获取来自主节点主机的待处理数据所属从节点主机的标识。

其次、从节点主机从与获得的从节点主机的标识对应的从节点主机中获取待处理数据。

在一种示例性实例中，当数据处理为数据读取时，从节点主机根据数据读取内容，采用适配于所属云平台的存储协议对待读取数据进行处理，并生成数据读取结果；当数据处理为数据写入时，从节点主机根据数据写入内容，采用适配于所属云平台的存储协议对待写入数据进行处理，并生成数据写入结果，即写入成功或写入失败；当数据处理为数据计算时，从节点主机根据数据计算内容，采用适配于所属云平台的存储协议对待计算数据进行读取，然后进行计算以生成数据计算结果。

本申请实施例提供的数据处理方法，由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

本申请实施例还提供一种主节点主机，如图3所示，该主节点主机3包括：

第一获取模块31，用于通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容。

第一处理模块32，用于根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识。

第一发送模块33，用于向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容。

第一处理模块32，还用于获取来自从节点主机根据数据处理内容获得的数据处理结果，并将数据处理结果通过数据访问接口返回给请求方。

在一种示例性实例中，数据处理包括：数据读取、数据写入和数据计算。

在一种示例性实例中，当数据处理为数据计算，第一获取模块31还用于获取与获得的从节点主机的标识对应的从节点主机的计算资源容量；第一发送模块33具体用于当与获得的从节点主机的标识对应的从节点主机的计算资源容量大于预设阈值时，向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容。

在一种示例性实例中，当与获得的从节点主机的标识对应的从节点主机的计算资源容量小于预设阈值时，第一获取模块31还用于获取待处理数据所属节点主机所在的目标地理位置；第一获取模块31还用于获取计算资源容量大于预设阈值且所在地理位置与目标地理位置最近的从节点主机的标识；第一发送模块33还用于向与重新获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

在一种示例性实例中，第一处理模块32还用于根据预先设置的请求方权限信息、待处理数据的所属目标文件的标识以及数据处理内容判断请求方是否具备请求权限；第一获取模块31具体用于当请求方具备请求权限，根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识。

本申请实施例提供的主节点主机，由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

在实际应用中，所述第一获取模块31、第一处理模块32和第一发送模块33均由位于主节点主机中的中央处理器(Central Processing Unit，CPU)、微处理器(MicroProcessor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。

本申请实施例还提供了一种从节点主机，位于由来自多个云平台中的节点主机组成的数据处理系统中，如图4所示，该从节点主机包括：

第二获取模块41，用于获取来自主节点主机的待处理数据的数据处理内容。

第二处理模块42，用于根据数据处理内容，采用适配于所属云平台的存储协议对待处理数据进行处理，并生成数据处理结果。

第二发送模块43，用于返回数据处理结果给主节点主机。

在一种示例性实例中，数据处理包括：数据读取、数据写入和数据计算。

在一种示例性实例中，第二获取模块41还用于获取来自主节点主机的待处理数据所属从节点主机的标识；第二获取模块41还用于从与获得的从节点主机的标识对应的从节点主机中获取待处理数据。

本申请实施例提供的从节点主机，由于实现了针对多个平云台中数据的处理，因此实现了云平台之间的真正对接。

在实际应用中，所述第二获取模块41、第二处理模块42和第二发送模块43均由位于从节点主机中的CPU、MPU、DSP或FPGA等实现。

本申请实施例还提供一种数据处理装置，包括：处理器和存储器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一种所述的方法的处理。

本申请实施例还提供一种存储介质，存储介质上存储有计算机可执行命令，计算机可执行命令用于执行如上述任意一种的方法的处理。

本申请实施例还提供了一种数据处理系统，如图5所示，包括：如上述任一实施例描述的主节点主机51和多个如上述任一实施例描述的从节点主机52。

在一种示例性实例中，主节点主机由多个备用节点主机选举产生，当该主节点主机故障时，备用节点主机通过选举算法选举产生另外一个节点主机作为主节点主机。

本申请实施例还提供了一种数据处理系统，该系统包括：主节点(对应上述实施例中的主节点主机和备用节点主机)、统一访问文件系统层(对应上述实例中的数据访问接口)、工作节点层(对应上述实施例中的从节点主机)。本申请实施例能够在数据存储、数据计算和服务编排上进行底层整合，具体来说：

1、数据存储整合：通过软件架构层面进行当前流行的云平台协议进行解析，如S3和Swift协议。平台需尽可能包含当前全部兼容的数据格式协议。在完成对接多种协议的基础上进行统一访问文件系统层架设，针对每类协议每个平台分访问路径进行系统挂载，并分利用服务缓存技术进行数据读写加速，来消除平台之间计算能力或网络波动带来的性能影响。在此基础上所有存储数据的读写均通过统一访问文件系统层进行访问，统一访问文件系统层统一管理数据挂载元数据并根据各平台接入账户进行权限控制，元数据中保存数据存储位置、数据读取权限等信息。通过服务层将此统一入口作为其他服务(如数据计算服务、数据落地服务)的终端挂载点进行访问，对外提供文件系统(FileSystem)应用程序接口(Application Programming Interface，API)供用户程序开发帮助。

整个系统采用分布式架构，利用多主节点(master)进行实现服务高可用，master节点分为活跃active节点(对应上述实施例中的主节点主机)和待命standby节点(对应上述实施例中的备用节点主机)两种模式。仅有一个active可对外提供服务。active master节点故障时，通过选举算法会从standby节点中选举一个成为active节点。主节点记录文件系统结构、修改日志等元数据。工作节点(worker)进行多协议适配并在各云平台中分别部署，向主节点汇报节点运行情况并根据云平台不同协议进行解析和节点挂载。数据读写均面向worker进行，从而消除底层云存储的差异性。并在worker端采用缓存技术进行访问加速，消除部分存储性能差异。在统一访问文件系统层将worker挂载的各个平台存储抽象为文件系统目录进行挂载。即完成对用户对底层系统的透明访问。在外部应用进行数据访问时，先进行操作系统连接，过程中完成master并访问元数据，master节点返回外部应用最佳的工作节点列表。外部应用直接连接返回的工作节点即可完成数据的读写访问。

2、数据计算整合：数据计算架构读取数据通过统一访问入口进行访问。实现了统一入口FileSystem API。进而可连接并读取文件系统元数据。在进行数据计算时，根据文件位置选择数据计算程序最佳节点进行启动，尽可能实现计算本地化(计算的数据在公有云存储则对应在公有云端启动数据计算程序进程)。

数据计算架构多分布式集群架构，采用多主节点(master)实现服务高可用，主节点主要负责整个集群资源管理和任务调度，并实现了与底层统一访问文件系统的接口互通。通过系统配置即可访问底层文件系统元数据，主要识别计算目标数据大小、访问权限、数据位置。在进行计算任务提交时，首先根据文件系统元数据确认权限是否正确准许访问，再根据数据位置和任务计算本地化原则确定优先任务节点列表。在根据当前节点资源使用情况(内存、中央处理器(central processing unit，CPU))进一确定任务节点优先级列表。任务执行时选择优先级最高节点执行，任务多次失败时再按优先级顺位进行执行节点转移进行任务重试。最终结果通过统一访问入口写会底层存储。

本申请实施例提供的数据处理系统，通过实现云平台无缝对接，可以做到以用户服务为对象进行整合。以云平台之间资源整合为基础，通过服务架构层面来消除云平台之间的资源差异性和复杂性，可以更方便的管理整合后的云平台服务。以服务对对象进行整合，与客户应用更贴近，也能降低操作复杂度，降低技术操作中误操作等风险。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种数据处理方法，其特征在于，应用于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

主节点主机通过预先设置的数据访问接口获取来自所述数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；

所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识；

所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容；

所述主节点主机获取来自所述从节点主机根据所述数据处理内容获得的数据处理结果，并将所述数据处理结果通过所述数据访问接口返回给所述请求方。

2.根据权利要求1所述的方法，其特征在于，所述数据处理包括：数据读取、数据写入和数据计算；

当所述数据处理为数据计算，所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之后，且所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容之前，还包括：

所述主节点主机获取与获得的从节点主机的标识对应的从节点主机的计算资源容量；

所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送待处理数据的数据处理内容，包括：

当与获得的从节点主机的标识对应的从节点主机的计算资源容量大于预设阈值时，所述主节点主机向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

3.根据权利要求2所述的方法，其特征在于，当所述与获得的从节点主机的标识对应的从节点主机的计算资源容量小于所述预设阈值时，还包括：

所述主节点主机获取所述待处理数据所属节点主机所在的目标地理位置；

所述主节点主机获取计算资源容量大于所述预设阈值且所在地理位置与所述目标地理位置最近的从节点主机的标识；

所述主节点主机向与重新获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容。

4.根据权利要求1所述的方法，其特征在于，所述主节点主机通过预先设置的数据访问接口获取来自数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容，且所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识之前，还包括：

所述主节点主机根据预先设置的请求方权限信息、所述待处理数据的所属目标文件的标识以及数据处理内容判断所述请求方是否具备请求权限；

所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与目标文件的标识对应的从节点主机的标识，包括：

当所述请求方具备所述请求权限，所述主节点主机根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识。

5.一种数据处理方法，其特征在于，应用于由来自多个云平台中的节点主机组成的数据处理系统中，包括；

从节点主机获取来自主节点主机的待处理数据的数据处理内容；

所述从节点主机根据所述数据处理内容，采用适配于所属云平台的存储协议对所述待处理数据进行处理，并生成数据处理结果；

所述从节点主机返回所述数据处理结果给所述主节点主机。

6.根据权利要求5所述的方法，其特征在于，所述数据处理包括：数据读取、数据写入和数据计算；

当所述数据处理为数据计算时，所述从节点主机根据数据处理内容，采用适配于所属云平台的存储协议对待处理数据进行处理，并生成数据处理结果之前，还包括：

所述从节点主机获取来自主节点主机的所述待处理数据所属从节点主机的标识；

所述从节点主机从与获得的从节点主机的标识对应的从节点主机中获取所述待处理数据。

7.一种主节点主机，其特征在于，位于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

第一获取模块，用于通过预先设置的数据访问接口获取来自所述数据处理系统外部请求方的待处理数据的所属目标文件的标识以及数据处理内容；

第一处理模块，用于根据预先存储的从节点主机的标识与从节点主机中所存储文件的标识的对应关系中获取与所述目标文件的标识对应的从节点主机的标识；

第一发送模块，用于向与获得的从节点主机的标识对应的从节点主机发送所述待处理数据的数据处理内容；

所述第一处理模块，还用于获取来自所述从节点主机根据所述数据处理内容获得的数据处理结果，并将所述数据处理结果通过所述数据访问接口返回给所述请求方。

8.一种从节点主机，其特征在于，位于由来自多个云平台中的节点主机组成的数据处理系统中，包括：

第二获取模块，用于获取来自主节点主机的待处理数据的数据处理内容；

第二处理模块，用于根据所述数据处理内容，采用适配于所属云平台的存储协议对所述待处理数据进行处理，并生成数据处理结果；

第二发送模块，用于返回所述数据处理结果给所述主节点主机。

9.一种数据处理系统，其特征在于，包括：一个如权利要7所述的主节点主机和多个如权利要求8所述的从节点主机。

10.根据根据权利9所述的系统，其特征在于，所述主节点主机由多个备用节点主机选举产生，当该主节点主机故障时，所述备用节点主机通过选举算法选举产生另外一个节点主机作为所述主节点主机。

Images