CN106155635A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置，涉及分布式计算技术领域。本发明可以采用多种处理器类型的计算节点混合构建分布式的计算系统,比如在整个计算系统中混合采用CPU处理器的计算节点、GPU处理器的计算节点等，然后对于用户的输入数据，根据其类型采用预置的相应类型的向量模板载入得到计算向量，而后在将计算向量拆分为计算子向量分配到各个计算节点进行计算之前，先将用户编辑的OP算子拆分为各个子算子的组合，判断各个子算子在计算时更适配哪种处理器类型的计算节点，然后再将数据发送至相应计算节点进行计算，本发明采用异构方式实现计算平台，并行使用不同处理器类型的计算节点，提高通用性、兼容性。

Description

一种数据处理方法和装置

技术领域

本发明涉及分布式计算技术领域，具体涉及一种数据处理方法和装置。

背景技术

随着大数据分析研究成为热点，近年在工业界基于MPI的分布式内存计算平台再次引起重视。

针对海量大数据的分析处理，现在流行的分布式计算平台大体包含如下几种：hadoop中MapReduce计算，spark，流式计算(storm为代表)，基于mpi的内存计算。但大多数这些平台的硬件底层都采用CPU作为核心计算节点。采用底层都采用CPU计算节点的平台，可能产生由于CPU性能限制的问题导致运算速度较慢的问题。

另外，一些专业领域最近也推出了一些专用平台，但采用的计算节点也是单一模式，在CPU(Central Processing Unit，中央处理器)、GPU(GraphicProcessing Unit，图形处理器)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、DSP(digital signal processor，数字信号处理器)中选择其一，且只是在某一专业领域中发挥作用，对通用性、兼容性支持不足，一旦业务模式发生变化，这些专用计算平台往往不能使用或不能发挥出优势。

总之，采用单一的计算单元，对于不同的计算需求，不能充分发挥性能优势，还可能通用性、兼容性支持不足。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理装置和相应的一种数据处理方法。

依据本发明的一个方面，提供了一种数据处理方法，包括：

根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

将处理逻辑中对应所述计算向量拆分为各计算子向量；

获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，循环进入获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合以及选择相应处理器类型的计算节点进行计算的过程，直至计算结束。

优选的，还包括：如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

优选的，根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理包括：

将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

优选的，每个计算节点对计算子向量或者所述分量进行处理包括：

调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

优选的，还包括：预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

优选的，所述根据OP算子或者子算子的运行特征，选择适配OP算子或各子算子的运行特征的相应处理器类型的计算节点包括：

根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

优选的，还包括：提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

优选的，还包括：提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

优选的，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

优选的，在判断所述OP算子是否能够拆分为各个子算子的组合之后，还包括：

根据各子算子和/或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

优选的，还包括：

利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

优选的，还包括：各计算节点将计算过程日志输出到全局向量中；

进一步的，还包括：

提供全局向量查看接口，以接收用户对计算过程的查看操作。

依据本发明的另一个方面，提供了一种数据处理装置，包括：

模板向量处理模块，适于根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

计算向量分配模块，适于将处理逻辑中对应所述计算向量拆分为各计算子向量；

OP算子拆分模块，适于获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

子算子计算选择模块，适于如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

循环计算模块，适于根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入OP算子拆分模块，进行循环计算直至计算结束。

优选的，还包括：

OP算子计算选择模块，适于如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

优选的，所述子算子计算选择模块包括：

拆解分配模块，适于将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

优选的，每个计算节点包括：

接口调用模块，适于调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

优选的，还包括：

接口预置模块，适于预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

优选的，所述子算子计算选择模块或者OP算子计算选择模块包括：

处理器类型判断模块，适于根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

优选的，还包括：

OP算子编辑模块，适于提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

优选的，还包括：

子算子库编辑模块，适于提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

优选的，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

优选的，还包括：

节点直接选择模块，适于在判断所述OP算子是否能够拆分为各个子算子的组合之后，根据各子算子或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

优选的，还包括：

结果输出模块，适于利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

优选的，还包括：

全局监控模块，适于各计算节点将计算过程日志输出到全局向量中；

进一步的，还包括：

过程查看模块，适于提供全局向量查看接口，以接收用户对计算过程的查看操作。

根据本发明的一种数据处理方法可以在分布式高性能异构通用计算平台的底层采用异构的计算节点,即可以采用多种处理器类型的计算节点混合构建分布式的计算系统,比如在整个计算系统中混合采用CPU处理器的计算节点、GPU处理器的计算节点等，然后对于用户的输入数据，根据其类型采用预置的相应类型的向量模板载入得到计算向量，而后在将计算向量拆分为计算子向量分配到各个计算节点进行计算之前，先将用户编辑的OP算子拆分为各个子算子的组合，判断各个子算子在计算时更适配哪种处理器类型的计算节点，也即采用哪种处理器类型的计算节点计算更快，然后再将数据发送至相应计算节点进行计算。此解决了现有的基于MPI的分布式通用计算平台底层大部分采用单一处理器类型的计算节点，无法利用不同处理器的性能优点以提高计算速度，以及通用性弱的问题，取得了可以实现采用异构方式实现计算平台，对于一个应用的运算中同时发挥CPU和GPU等不同类型的处理器的计算优势，并行使用不同处理器类型的计算节点，加快整体运算速度，同时提高通用性、兼容性有益效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种数据处理方法的流程示意图；

图2示出了根据本发明一个实施例的一种数据处理方法的流程示意图；

图2A示出了根据本发明一个实施例的一种数据处理方法的执行逻辑示意图；

图3示出了根据本发明一个实施例的一种数据处理装置的结构示意图；

图4示出了根据本发明一个实施例的一种数据处理装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的核心思想之一在于：在实际应用中，不同处理器具有不同方面的计算性能优势，比如在浮点数运算、数据并行计算、图形图像处理等数值运算领域，GPU更具有优势；而CPU的主频更高、位宽更大，主要为串行指令而优化。从并行的角度来看，现代的多核CPU针对指令集并行(ILP)和任务并行(TLP)更具有优势，而GPU则对数据并行(DLP)更擅长。那么本发明在基于MPI(全称Message Passing Interface，是一个跨语言的通讯协议，支持点对点和广播。它是一个信息传递应用程序接口，包括协议和和语义说明)的分布式内存计算平台中，同时采用不同处理器类型的计算节点，针对不同的应用的输入数据，可以根据情况并行调用各种处理器类型的计算节点进行运算，充分利用不同处理器的优势，使整个计算平台的具备更强的通用性和兼容性，并且能充分发挥不同处理器类型的计算节点的优势。

实施例一

参照图1，其示出了本发明一种数据处理方法的流程示意图。具体可以包括：

步骤110，根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

在本发明实施例中，预先按照数据的不同类型，设置的构建各种类型的向量模板Vector。而后用户可以根据自己需要选择相应的向量模板输入数据。所述Vector包括：包括FixValueVector，SparseValueVector，SparseTextVector，VariableLenVector，Var，PVar，SparseMatrix等模板向量。其中，SparseValueVector表示数据稀疏的向量，对数据稀疏的输入数据使用；FixValueVector表示数据稠密的向量，可对数据稠密的输入数据使用；SparseTextVector表示字符串向量，可对字符串类型的输入数据使用；VariableLenVector表示数据可变长的向量，可对数据长度可变的输入数据使用；Var表示全局变量，可对在计算过程中全局使用的参数使用；PVar表示大数据量下的全局变量，可对在数据量较大的计算过程中全局使用的参数使用；SparseMatrix表示数据稀疏的矩阵，对以矩阵存在形式的输入数据使用，可以理解为一种特殊的向量。

在本发明实施例中对于输入数据key、value，直接以相应的向量模板进行装载。

那么对于用户设计的一个应用，其可以将其输入数据设计为采用相应的向量模板载入。

在本发明实施例中，对于各个Vector，提供了数据输入接口Emit。

在本发明实施例中，用户可预先编辑处理逻辑，该处理逻辑既对输入数据采用什么样Vector载入，然后用什么OP算子计算输入数据。还可定义输入数据和全局变量。比如用户采用稀疏类型的输入数据，并定义全局变量A，那么对于输入数据可以调用SparseValueVector的Emit接口载入该输入数据，同时调用Var的Emit接口载入全局变量。

步骤120，将处理逻辑中对应所述计算向量拆分为各计算子向量；

在基于MPI的分布式计算平台中，输入数据最终是要分散到多个计算节点中进行计算的，即需要将输入数据分为N块，然后分散到相应的N各计算节点中，由计算节点进行计算。那么对应输入数据的计算向量，则需要将计算向量分为多个计算子向量。

在本发明实施例中，对于每种类型的向量模板，设置了将计算向量拆分为多少份计算子向量的个数。那么对于前述获得的计算向量，则直接根据向量模板的规定的拆分个数N，将计算向量拆分为N个计算子向量。

当然，对于全局变量的计算向量，所述拆分可以理解为复制，即将全局变量的向量复制为N份计算子向量。

步骤130，获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

OP算子可以理解为一种算法，即一种计算过程。而各OP算子存在一些通用的子过程，即一个OP算子可以在内存计算层面进一步划分为多个子计算过程。在本发明实施例中，会预置子算子库，将各种OP算子通用的计算子过程，采用统一的方式进行编译存入子算子库中。可以理解，本发明在算法与具体的矩阵运算之间进一步封装了一些通用的方法，让其以API(Application Programming Interface,应用程序编程接口)形式存在，进一步为用户提供方便，使其可以更便利的使用本发明的计算平台。

在本发明实施例中，可以对C、C++等编程语言中的for、while、if等方法进行封装。

用户在编辑OP算子时可以直接调用这些子算子进行组合，当然用户在编辑OP算子时，可以不采用或者不全采用子算子库中的子算子。

优选的，还包括：

步骤132，提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

在本发明的计算平台中，为用户提供OP算子编辑接口，使用户在编辑OP算子时，可以直接通过OP算子编辑接口调用子算子库中的子算子去编辑OP算子。

在本发明实施例中，对于OP算子，可以根据子算子库去匹配OP算子中采用的子算子，比如匹配是否采用了for方法，或者其他方法，如果匹配上，则确认可以将所述OP算子能够拆分为各个子算子的组合。当然对于OP算子中未与子算子库匹配上的子算子，则识别其为例外子算子。

步骤140，如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

在本发明实施例中对于OP算子的拆分可以有多种方式：

比如直接将OP算子简单的拆分为在子算子库中各个子算子的组合。如果存在例外子算子，则拆分为各子算子+例外子算子的组合。比如子算子库有子算子A、B、C。而OP算子的整个算法包括了A-B-D，那么可将OP算子拆分为A，B，D的组合。又比如对于OP中循环子算子，可以将循环子算子分为多个循环子算子，比如OP算子包括方法for(int i＝0；i<10；i++)，for方法在子算子库中存在，匹配上后可以将上述方法for拆为5个方法for，如for(int i＝0；i<2；i++)，for(int i＝2；i<4；i++)，for(int i＝4；i<6；i++)，for(inti＝6；i<8i++)，for(int i＝8；i<10；i++)。

在拆分后，即可判断计算各个子算子时适配的效率最优的处理器类型。

优选的，根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理包括：

子步骤S142，将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

在本发明实施例中，对于OP算子，确认其可以拆分为N个子算子后，由于每个子算子计算的数据是OP算子对应的计算子向量中的一部分，则需要将该计算子向量进一步拆分，拆分为N个分量分别给每个子算子进行计算。

优选的，所述根据子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点包括：

子步骤S144，根据所述子算子的运算类型，和/或采用所述或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配各子算子的处理器类型，并根据判断结果选择相应计算节点。

在本发明实施例中，根据子算子计算的数据规模和子算子的运算类型，划分到不同的处理器类型的计算节点上运行。比如子算子进行的是整形运算，即子算子计算的数据类型为整形，且相应的计算数据的数据规模小于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点；如果是整形运算，且计算的数据规模大于等于阈值，则在GPU上运算更快，则选择GPU类型的计算节点。又比如，如果是浮点型运算，即子算子计算的数据类型为浮点型，且运算规模小于阈值，则GPU处理器效率更高，选择GPU类型的计算节点；如果是浮点型运算，且运算规模大于等于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点。其中，所述阈值可以为计算需要的内存大小，比如阈值为3G内存需求。

优选的，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

在本发明实施例中，上述计算平台可以采用多种处理器类型的计算节点，一般设置GPU类型计算节点+CPU类型计算节点，当然可以添加更多类型的计算节点。对于用户的输入数据和OP算子，可以选择运算效率最优的节点进行计算。

步骤150，根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，进入步骤130，如此循环直至计算结束。

在本发明实施例中，计算节点每次计算的计算结果，会根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中。那么对这些更新后的计算子向量会进行下一论的计算，该计算过程重复步骤130到140的过程。

优选的，还包括:

步骤152，如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

即OP算子本身不能匹配到子算子库任意的子算子，则可以把该OP算子进行整体评判，以判断调用该OP算子进行计算效率最高的处理器。

步骤154，根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，循环进入获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合以及选择相应处理器类型的计算节点进行计算的过程，直至计算结束。

在本发明实施例中，计算节点每次计算的计算结果，会更新到计算子向量中。那么对这些更新后的计算子向量会进行下一论的计算，该计算过程重复步骤130到152的过程。

优选的，在判断所述OP算子是否能够拆分为各个子算子的组合之后，还包括：

步骤156，根据各子算子和/或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

在本发明实施例中，用户可在用户逻辑中指定某些OP算子和/或者OP算子在哪个处理器类型的计算节点中进行计算。那么对于确定的OP算子或者子算子，可以调用类型指定接口，直接确定所述OP算子或者子算子所需的处理器类型的计算节点。

优选的，所述根据OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点包括：

子步骤S158，根据所述OP算子的运算类型，和/或采用所述OP算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

在本发明实施例中，根据OP算子计算的数据规模和OP算子的运算类型，划分到不同的处理器类型的计算节点上运行。比如OP算子进行的是整形运算，即OP算子计算的数据类型为整形，且相应的计算数据的数据规模小于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点；如果是整形运算，且计算的数据规模大于等于阈值，则在GPU上运算更快，则选择GPU类型的计算节点。又比如，如果是浮点型运算，即OP算子计算的数据类型为浮点型，且运算规模小于阈值，则GPU处理器效率更高，选择GPU类型的计算节点；如果是浮点型运算，且运算规模大于等于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点。其中，所述阈值可以为计算需要的内存大小，比如阈值为3G内存需求。

进一步的，优选的，还包括：

步骤170，利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

在本发明实施例中对于计算子向量，控制节点可以调用计算子向量的输出接口GetItr，然后利用遍历器从各个计算节点的输出接口，获取所有计算节点的计算结果，然后可以将所述计算子向量中的内容转换用户需求的格式进行输出，比如xml格式。

在本发明实施例中可以通过全局向量的GetItr接口获取全局向量结果。

优选的，每个计算节点对计算子向量或者所述分量进行处理包括：

子步骤S172，调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

优选的，还包括：

步骤180，预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

在本发明实施例中，可以预先设置各种类型的Map接口，对在调用OP算子或者子算子时依赖的数据来源的规定进行规定。

所述Map接口包括VectorMap，MatrixMap，GlobalMap，CrossMap，TaskMap,DirMap等Map接口。

其中，VectorMap定义为:对Vector的每行都调用map算子，每个结点只负责存储在本机的行；

MatrixMap定义为:对Matrix的每个元素都调用map算子，每个结点只负责存储在本机的元素；

GlobaMap定义为:每个结点都对全部数据调用map算子；

CrossMap定义为:每个结点和其它节点的所有数据调用map算子进行交叉计算；

TaskMap定义为:每个结点起多个线程对本机数据调用map算子进行计算；

DirMap定义为:每个结点起多个线程对指定目录下的文件调用map算子进行操作。

优选的，还包括：

步骤182，各计算节点将计算过程日志输出到全局向量中；

对于本发明实施例的各个计算节点，为了便于用户对计算过程的把控，本发明会将各个计算节点的计算过程日志写入全局向量中。控制节点再通过技术过程日志对数据进行全局统计。

进一步的，还包括：

步骤184，提供全局向量查看接口，用于接收用户对计算过程的查看。

基于上述全局向量，本发明还提供了全局向量查看接口，方便用户通过全局向量查看接口中计算过程，比如查看全局统计数据，以确定整个算法是否结束。

根据本发明的一种数据处理方法可以在分布式高性能异构通用计算平台的底层采用异构的计算节点,即可以采用多种处理器类型的计算节点混合构建分布式的计算系统,比如在整个计算系统中混合采用CPU处理器的计算节点、GPU处理器的计算节点等，然后对于用户的输入数据，根据其类型采用预置的相应类型的向量模板载入得到计算向量，而后在将计算向量拆分为计算子向量分配到各个计算节点进行计算之前，先将用户编辑的OP算子拆分为各个子算子的组合，判断各个子算子在计算时更适配哪种处理器类型的计算节点，也即采用哪种处理器类型的计算节点计算更快，然后再将数据发送至相应计算节点进行计算。此解决了现有的基于MPI的分布式通用计算平台底层大部分采用单一处理器类型的计算节点，无法利用不同处理器的性能优点以提高计算速度，以及通用性弱的问题，取得了可以实现采用异构方式实现计算平台，对于一个应用的运算中同时发挥CPU和GPU的优势，并行使用不同处理器类型的计算节点，加快整体运算速度，同时提高通用性、兼容性有益效果。本发明实施例设计了一种异构模式的分布式计算平台的数据处理过程，对于普适性大数据的计算进行了通用性拆解和数据流控制。对于并行计算中输入输出数据向量化、计算逻辑的回调、通信编程框架等进行了抽象，可以充分发挥不同类型计算单元(包含但不限于CPU、GPU、FPGA、DSP、ARM等)的优势从而加速计算。

实施例二

参照图2，其示出了本发明一种数据处理方法的流程示意图。具体可以包括：

步骤210，根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

步骤212，将处理逻辑中对应所述计算向量拆分为各计算子向量；

结合图2A，对本发明实施例进行描述，图2A是本发明计算逻辑架构模型。

在本发明实施例中用户首先会在应用代码逻辑侧编辑整个计算的用户逻辑，并编译输入数据。所述用户逻辑包括各个OP算子以及执行顺序，比如OP算子A—OP算子B-OP算子C。然后本发明实施例的计算平台加载所述用户逻辑，用户逻辑会加载到Map中，并通过输入接口Emit()读入输入数据，进入DVCE(设备底层)代码逻辑。在读入输入数据之后，会根据用户逻辑中指定的向量模板，载入所述输入数据得到计算向量，然后回根据该向量模板规定的拆分规则，将计算向量拆分为N份计算子向量，中以便后续并行计算。如图2A中，将输入数据得到的计算向量拆分为VectorA、VectorB、VectorC。

在本发明实施例中，用户可以通过Partitioner接口规定计算子向量数据如何分布。

步骤214，获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

然后根据去Map中获取当前需要执行的OP算子，比如前述OP算子A，然后判断对所述OP算子A，能否拆分为各个子算子的组合。

步骤216，如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点；

步骤218，将计算子向量拆分为分量输入到各子算子对应的计算节点，调用预定的Map接口，按Map接口对在调用子算子时依赖的数据来源的规定，获取数据以调用子算子对所述分量进行处理；

如图2A，对于左侧的VectorA、VectorB、VectorC，在相应的计算节点执行使，通过Map接口调用算子进行计算。

在本发明实施例中对于OP算子的拆分可以有多种方式：

比如直接将OP算子A简单的拆分为在子算子库中各个子算子的组合。如果存在例外子算子，则拆分为各子算子+例外子算子的组合。比如子算子库有子算子m、l、n。而OP算子的整个算法包括了m-l-n，那么可将OP算子拆分为m、l、n的组合。又比如对于OP中循环子算子，可以将循环子算子分为多个循环子算子，比如OP算子A包括方法for(int i＝0；i<10；i++)，for方法在子算子库中存在，匹配上后可以将上述方法for拆为5个方法for，如for(int i＝0；i<2；i++)，for(int i＝2；i<4；i++)，for(int i＝4；i<6；i++)，for(inti＝6；i<8i++)，for(int i＝8；i<10；i++)。

在拆分后，即可判断计算各个子算子时适配的效率最优的处理器类型。

优选的，根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理包括：

子步骤S2181，将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

在本发明实施例中，对于OP算子，确认其可以拆分为N个子算子后，由于每个子算子计算的数据是OP算子对应的计算子向量中的一部分，则需要将该计算子向量进一步拆分，拆分为N个分量分别给每个子算子进行计算。

优选的，所述根据子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点包括：

子步骤S2182，根据所述子算子的运算类型，和/或采用所述或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配各子算子的处理器类型，并根据判断结果选择相应计算节点。

在本发明实施例中，根据子算子计算的数据规模和子算子的运算类型，划分到不同的处理器类型的计算节点上运行。比如子算子进行的是整形运算，即子算子计算的数据类型为整形，且相应的计算数据的数据规模小于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点；如果是整形运算，且计算的数据规模大于等于阈值，则在GPU上运算更快，则选择GPU类型的计算节点。又比如，如果是浮点型运算，即子算子计算的数据类型为浮点型，且运算规模小于阈值，则GPU处理器效率更高，选择GPU类型的计算节点；如果是浮点型运算，且运算规模大于等于阈值，则在CPU处理器效率更高，则选择CPU类型的计算节点。其中，所述阈值可以为计算需要的内存大小，比如阈值为3G内存需求。

优选的，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

在本发明实施例中，上述计算平台可以采用多种处理器类型的计算节点，一般设置GPU类型计算节点+CPU类型计算节点，当然可以添加更多类型的计算节点。对于用户的输入数据和OP算子，可以选择运算效率最优的节点进行计算。

步骤220，根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入步骤214；

在本发明实施例中，如果各计算节点的计算结果的数据类型没变，则采用同样的Vector存储该轮的计算结果，得到图2A右侧的VectorA、VectorB、VectorC。如果数据类型变化，则Vector的类型会变化，采用相应类型的向量模板装载计算结果。

然后根据用户逻辑中的执行顺序，对前一轮计算结果的Vector，再采用OP算子B进行下一轮计算，即图中右侧的VectorA、VectorB、VectorC再次通过Map接口调用下一个执行顺序的OP算子进行下一轮计算。如此循环，直至结束。计算结束后，控制节点调用遍历接口，然后通过调用各Vector的输出接口Emit()，获取计算结果。

在本发明实施例中，用户可以通过operation接口规定了具体算法时如何对矩阵进行操作，即前述Map接口。

在本发明实施例中，每个计算节点在算法计算结束后，采用Reducer接口对计算子向量中相同key的数据进行计算，得到最终的输出结果。

步骤222，如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点；

步骤224，将计算子向量拆分到各子算子对应的计算节点，调用预定的Map接口，按Map接口对在调用OP算子时依赖的数据来源的规定，获取数据以调用OP算子对计算子向量进行处理；转入步骤220；

步骤222-步骤223与步骤216-步骤218类似，在此不再详述。

步骤226，利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

对于步骤220中各个计算子向量,其是在各个计算节点中,本发明可以调用遍历器,由遍历器通过遍历各个计算节点的计算子向量输出接口,获取计算结果。

优选的，在判断所述OP算子是否能够拆分为各个子算子的组合之后，还包括：

步骤156，根据各子算子和/或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

在本发明实施例中，用户可在用户逻辑中指定某些OP算子和/或者OP算子在哪个处理器类型的计算节点中进行计算。那么对于确定的OP算子或者子算子，可以调用类型指定接口，直接确定所述OP算子或者子算子所需的处理器类型的计算节点。

在上述计算过程中,各个节点之间的通信通过MPI接口进行通信。

根据本发明的一种数据处理方法可以在分布式高性能异构通用计算平台的底层采用异构的计算节点,即可以采用多种处理器类型的计算节点混合构建分布式的计算系统,比如在整个计算系统中混合采用CPU处理器的计算节点、GPU处理器的计算节点等，然后对于用户的输入数据，根据其类型采用预置的相应类型的向量模板载入得到计算向量，而后在将计算向量拆分为计算子向量分配到各个计算节点进行计算之前，先将用户编辑的OP算子拆分为各个子算子的组合，判断各个子算子在计算时更适配哪种处理器类型的计算节点，也即采用哪种处理器类型的计算节点计算更快，然后再将数据发送至相应计算节点进行计算。此解决了现有的基于MPI的分布式通用计算平台底层大部分采用单一处理器类型的计算节点，无法利用不同处理器的性能优点以提高计算速度，以及通用性弱的问题，取得了可以实现采用异构方式实现计算平台，对于一个应用的运算中同时发挥CPU和GPU的优势，并行使用不同处理器类型的计算节点，加快整体运算速度，同时提高通用性、兼容性有益效果。

实施例三

参照图3，其示出了本发明一种数据处理装置的结构示意图。具体可以包括：

模板向量处理模块310，适于根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

计算向量分配模块320，适于将处理逻辑中对应所述计算向量拆分为各计算子向量；

OP算子拆分模块330，适于获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

子算子计算选择模块340，适于如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

循环计算模块350，适于根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入OP算子拆分模块，进行循环计算直至计算结束。

优选的，还包括：

OP算子计算选择模块，适于如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

优选的，所述子算子计算选择模块包括：

拆解分配模块，适于将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

优选的，每个计算节点包括：

接口调用模块，适于调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

优选的，还包括：

接口预置模块，适于预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

优选的，所述子算子计算选择模块或者OP算子计算选择模块包括：

处理器类型判断模块，适于根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

优选的，还包括：

OP算子编辑模块，适于提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

优选的，还包括：

子算子库编辑模块，适于提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

优选的，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

优选的，还包括：

节点直接选择模块，适于在判断所述OP算子是否能够拆分为各个子算子的组合之后，根据各子算子或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

优选的，还包括：

结果输出模块，适于利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

优选的，还包括：

全局监控模块，适于各计算节点将计算过程日志输出到全局向量中；

进一步的，还包括：

过程查看模块，适于提供全局向量查看接口，以接收用户对计算过程的查看操作。

实施例四

参照图4，其示出了本发明一种数据处理装置的结构示意图。具体可以包括：

分配管理节点410、各个计算节点420；

所述分配管理节点410包括：

模板向量处理模块411，适于根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

计算向量分配模块412，适于将处理逻辑中对应所述计算向量拆分为各计算子向量；

OP算子拆分模块413，适于获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

子算子计算选择模块414，适于如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点；

OP算子计算选择模块415，适于如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点；

结果输出模块416，适于利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果；

所述计算节点420包括：

第一接口调用模块421，适于将计算子向量拆分为分量输入到各子算子对应的计算节点，调用预定的Map接口，按Map接口对在调用子算子时依赖的数据来源的规定，获取数据以调用子算子对所述分量进行处理，转入结果处理模块423；

第二接口调用模块422，适于将计算子向量拆分到各子算子对应的计算节点，调用预定的Map接口，按Map接口对在调用OP算子时依赖的数据来源的规定，获取数据以调用OP算子对计算子向量进行处理转入结果处理模块423。

结果处理模块423，适于根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入OP算子拆分模块413；

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的×××设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种数据处理方法，包括：

根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

将处理逻辑中对应所述计算向量拆分为各计算子向量；

获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，循环进入获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合以及选择相应处理器类型的计算节点进行计算的过程，直至计算结束。

A2、如A1所述的方法，还包括：

如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

A3、如A1所述的方法，根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理包括：

将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

A4、如A1或A2所述的方法，每个计算节点对计算子向量或者所述分量进行处理包括：

调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

A5、如A4所述的方法，还包括：

预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

A6、如A1或A2、A3其中之一所述的方法，所述根据OP算子或者子算子的运行特征，选择适配OP算子或各子算子的运行特征的相应处理器类型的计算节点包括：

根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

A7、如A1所述的方法，还包括：

提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

A8、如A1所述的方法，还包括：

提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

A9、如A1或A2所述的方法，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

A10、如A1或A2所述的方法，在判断所述OP算子是否能够拆分为各个子算子的组合之后，还包括：

根据各子算子和/或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

A11、如A10所述的方法，还包括：

利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

A12、如A1所述的方法，还包括：

各计算节点将计算过程日志输出到全局向量中；

进一步的，还包括：

提供全局向量查看接口，以接收用户对计算过程的查看操作。

本发明还公开了B13、一种数据处理装置，包括：

模板向量处理模块，适于根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

计算向量分配模块，适于将处理逻辑中对应所述计算向量拆分为各计算子向量；

OP算子拆分模块，适于获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

子算子计算选择模块，适于如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

循环计算模块，适于根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入OP算子拆分模块，进行循环计算直至计算结束。

B14、如B13所述的装置，还包括：

OP算子计算选择模块，适于如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

B15、如B13所述的装置，所述子算子计算选择模块包括：

拆解分配模块，适于将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

B16、如B13或B14所述的装置，每个计算节点包括：

接口调用模块，适于调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

B17、如B13所述的装置，还包括：

接口预置模块，适于预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

B18、如B13、B14、B15其中之一所述的装置，所述子算子计算选择模块或者OP算子计算选择模块包括：

处理器类型判断模块，适于根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

B19、如B13所述的装置，还包括：

OP算子编辑模块，适于提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

B20、如B13所述的装置，还包括：

子算子库编辑模块，适于提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

B21、如B13或B14述的装置，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

B22、如B13或B14所述的装置，还包括：

节点直接选择模块，适于在判断所述OP算子是否能够拆分为各个子算子的组合之后，根据各子算子或者OP算子的类型指定接口，直接确定相应处理器类型的计算节点，对计算子向量进行处理。

B23、如B13所述的装置，还包括：

结果输出模块，适于利用遍历器遍历各个输出接口，逐个遍历计算子向量的输出接口，获取所有计算节点的计算结果。

B24、如B13所述的装置，还包括：

全局监控模块，适于各计算节点将计算过程日志输出到全局向量中；

进一步的，还包括：过程查看模块，适于提供全局向量查看接口，以接收用户对计算过程的查看操作。

Claims (10)

1.一种数据处理方法，包括：

根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

将处理逻辑中对应所述计算向量拆分为各计算子向量；

获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，循环进入获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合以及选择相应处理器类型的计算节点进行计算的过程，直至计算结束。

2.如权利要求1所述的方法，其特征在于，还包括：

如果所述OP算子不能够拆分为各个子算子的组合，根据所述OP算子的运行特征，选择适配OP算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理。

3.如权利要求1所述的方法，其特征在于，根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理包括：

将所述OP算子对应的计算子向量，按各子算子的个数拆解为相应个数的分量，并将各分量输入与子算子相应的计算节点中以进行处理。

4.如权利要求1或2所述的方法，其特征在于，每个计算节点对计算子向量或者所述分量进行处理包括：

调用预定的Map接口，按Map接口对在调用OP算子或者子算子时依赖的数据来源的规定，获取数据以调用OP算子或者子算子对计算子向量或者所述分量进行处理。

5.如权利要求4所述的方法，其特征在于，还包括：

预置各种类型的Map接口，所述Map接口用于规定在调用OP算子或者子算子时依赖的数据来源。

6.如权利要求1或2、3其中之一所述的方法，其特征在于，所述根据OP算子或者子算子的运行特征，选择适配OP算子或各子算子的运行特征的相应处理器类型的计算节点包括：

根据所述OP算子或子算子的运算类型，和/或采用所述OP算子或子算子计算所述计算子向量或所述分量所需要的数据规模，判断适配OP算子或各子算子的处理器类型，并根据判断结果选择相应计算节点。

7.如权利要求1所述的方法，其特征在于，还包括：

提供OP算子编辑接口；所述OP算子接口用于接收用户根据子算子库编辑的OP算子。

8.如权利要求1所述的方法，其特征在于，还包括：

提供子算子库编辑接口；所述子算子库编辑接口用于接收用户编辑的子算子。

9.如权利要求1或2所述的方法，其特征在于，所述计算节点类型包括：

GPU类型计算节点、CPU类型计算节点、FPGA类型计算节点、DSP类型计算节点、ARM类型计算节点中至少两个。

10.一种数据处理装置，包括：

模板向量处理模块，适于根据输入数据的数据类型所对应的向量模板的输入接口，将输入数据载入所述向量模板得到计算向量；

计算向量分配模块，适于将处理逻辑中对应所述计算向量拆分为各计算子向量；

OP算子拆分模块，适于获取当前用于计算各个计算子向量的OP算子，根据预置的子算子库，判断所述OP算子是否能够拆分为各个子算子的组合；

子算子计算选择模块，适于如果所述OP算子能够拆分为各个子算子的组合，则将OP算子拆分为各个子算子的组合，并根据各子算子的运行特征，选择适配各子算子的运行特征的相应处理器类型的计算节点，对计算子向量进行处理；

循环计算模块，适于根据计算结果的数据类型，将计算结果写到相应向量模板的计算子向量中，转入OP算子拆分模块，进行循环计算直至计算结束。