CN111459474A - 一种模板化的数据处理方法及装置 - Google Patents

Abstract

本申请公开一种模板化的数据处理方法及装置。所述方法包括：确定包含待处理数据、以及框架标识的数据处理请求；获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

Description

一种模板化的数据处理方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种模板化的数据处理方法及装置。

背景技术

在大数据处理环境中，出于不同因素的考虑，可能会部署多种不同的大数据处理框架。比如，可以出于不同时限因素、或不同数据量因素的考虑，部署多种不同的大数据处理框架，或相同框架的不同版本。

然而在实际应用中，为了实现数据处理，则需要分别适配不同的大数据处理框架。在相关技术中，通常可以是为每种大数据处理框架分别适配对应的算子，在数据处理时，则可以根据大数据处理框架的不同，利用对应的算子实现数据处理，这里的算子可以表征数据处理方法。

可见，为了适配多种大数据处理框架而分别开发多种算子的做法，需要较高的开发维护成本。所以，在适配不同大数据处理框架而实现数据处理时，如何节约开发维护成本，从而提升开发维护效率，成为了亟待解决的问题。

发明内容

本申请实施例提供一种模板化的数据处理方法和装置，可以在适配不同大数据处理框架而实现数据处理时，节约开发维护成本，从而提升开发维护效率。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例采用下述技术方案：

一种模板化的数据处理方法，包括：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

一种模板化的数据处理装置，包括：确定单元、获取单元、生成单元、以及执行单元，其中，

所述确定单元，用于确定包含待处理数据、以及框架标识的数据处理请求；

所述获取单元，用于获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

所述生成单元，用于根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

所述执行单元，用于响应于所述数据处理请求，利用所述目标算子，对所述待处理数据执行数据处理。

一种电子设备，包括：

处理器；以及

被设置成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

由以上实施例提供的技术方案可见，可以先确定包含待处理数据、以及框架标识的数据处理请求，此后可以获取为该框架标识对应的大数据处理框架预设的、与其他框架相比具有特殊性的特殊处理逻辑，并根据获取到的特殊处理逻辑，结合预设的、包含通用处理逻辑的算子模板，生成适配于该大数据处理框架的目标算子。据此，则可以根据待处理数据，利用目标算子执行数据处理。

也即可以预先根据不同的大数据处理框架之间的通用处理逻辑、以及为特殊处理逻辑的预留空位，开发出算子模板。当出现数据处理请求后，则可以根据请求中的框架标识，获取为对应的大数据处理框架的特殊处理逻辑，并融合在算子模板中生成目标算子，从而可以利用目标算子，执行数据处理。

由于根据大数据处理框架之间的特性和共性，开发算子模板、以及对应各自框架的特殊处理逻辑，通过融合的方式得到可用的算子即可实现数据处理。相比于分别适配的方式，节省了一定的开发维护成本，从而提高了开发维护效率。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的模板化的数据处理方法的流程示意图；

图2为本申请实施例提供的模板化的数据处理方法的示意图；

图3为本申请实施例提供的模板化的数据处理装置的结构示意图；

图4为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请中各实施例提供的技术方案。

实施例1

本实施例提供一种模板化的数据处理方法，可以在适配不同大数据处理框架而实现数据处理时，节约开发维护成本，从而提升开发维护效率，假设该方法的执行主体可以是服务器。该方法的具体流程示意图如图1所示，包括：

步骤102：确定包含待处理数据、以及框架标识的数据处理请求。

在实际应用中，通常可以利用特定的数据处理方法，实现对待处理数据进行数据处理。这里的待处理数据就可以是指需要执行数据处理的数据，比如，在电子商务领域，待处理数据可以是多条交易记录，在金融领域，待处理数据可以是多条储蓄、借贷等业务记录。在大数据处理环境中，则可以利用大数据处理框架，实现对数据的分析、挖掘等处理。

框架标识可以是为大数据处理框架预先设置的标识，比如Hadoop(支持数据密集型分布式应用程序的开源软件框架)、Storm(分布式计算框架)、Spark(开源集群运算框架)，等大数据处理框架。可以分为别不同的大数据处理框架预设不同的标识，比如可以分别预设1、2、3等字符。

在实际应用中，还可能出现相同框架的多版本共存的情况，所以也可以为不同版本分别预设不同的标识，比如针对Hadoop而言，可以通过在框架标识1后，添加版本标识从而一并组成框架标识。具体比如，Hadoop可以有2.7.2、3.0.0、3.1.1等多个版本，则可以分别为不同的版本预设框架标识272、300、311等，并结合为Hadoop预设的框架标识1，就可以通过1272、1300、1311等标识不同版本的Hadoop框架。

在实际用中，可以通过接收的方式，确定出包含待处理数据、以及框架标识的数据处理请求，也可以通过获取的方式进行确定。比如工程人员可以将采集到的待处理数据、以及指定的框架标识，作为数据处理请求，发送给执行主体；当然，也可以由某个功能模块根据指令生成包含待处理数据、以及框架标识的数据处理请求，并由执行主体获取。

在实际应用中，待处理数据可以有不同的特征，比如数据量的特征、数据维度的特征，等。而不同的大数据处理框架也可以有不同的特征，比如适用于不同维度需求、适用于不同延迟需求、适用于不同的迭代需求等。可见，为满足不同的数据处理需求，则可以根据待处理数据的特征，为其选择对应的大数据处理框架。

所以在一种实施方式中，为了使确定出的大数据处理处理框架、能够适应于待处理数据的特征，从而满足数据处理的需求。本步骤可以包括：接收包含待处理数据、以及数据处理需求的数据处理请求；根据待处理数据特征、和不同大数据处理框架的特征，确定出匹配数据处理需求的大数据处理框架对应的框架标识。

具体地，数据处理需求可以是工程人员根据实际需求而确定的，比如时限需求、迭代需求、消耗处理资源需求，等，可以以此作为数据处理请求的一部分。执行主体可以先接收包含待处理数据、以及数据处理需求的数据处理请求，此后，可以对待处理数据、以及不同的大数据处理框架，分别执行特征提取，从而可以分别得到待处理数据的特征、以及不同大数据处理框架各自的特征。

据此，则可以根据待处理数据和大数据处理框架分别对应的特征，匹配接收到的数据处理请求。比如，当待处理数据为较多维度、且工程人员的数据处理需求为较高时限要求时，则可以查找出具有较高处理效率的大数据处理框架，从而匹配该数据处理需求。比如，由于Spark可以在内存中进行处理，所以通常有较快的处理速度，也就有较高的时限保障，从而可以满足该数据处理需求。

在实际应用中，为了降低工程人员的工作量，同时也能够确定出适合对待处理数据进行处理的大数数据处理框架，也可以根据待处理数据的特征、和大数据处理框架的特征，选出适合的待处理数据的框架。所以，在一种实施方式中，为了能够确定出适用对待处理数据进行处理的大数据处理框架，本步骤可以包括：接收包含待处理数据、以及多个候选框架标识的数据处理请求；根据待处理数据特征、和多个候选框架标识分别对应的大数据处理框架的特征，从该多个候选框架标识中确定出框架标识。

具体地，可以在数据处理请求中添加多个候选框架标识，这里的候选框架标识可以是工程人员根据候选需求添加的，也可以是生成请求的某个功能模块根据全部可用的大数据处理框架标识生成的。此后则可以类似于前文介绍，可以对待处理数据、以及每个候选框架标识对应的大数据处理框架，分别提取各自的特征，从而可以分别得到待处理数据特征、以及每个候选大数据处理框架的特征，这里，大数据处理框架的特征也可以包括运行框架对应服务器的负载状态等。此后，则可以将待处理数据特征，分别与每个候选大数据处理框架的特征进行匹配，当然也可以将每个候选大数据处理框架的特征，分别与待处理数据特征进行匹配。当满足预设的匹配关系时，则可以确定出框架标识。

比如，匹配关系可以包括待处理数据的某个特征与框架的某个特征满足预设的匹配关系。具体比如，可以预设多维度与高吞吐率作为一种匹配关系，数据类型为金融与框架具有高实时性也可以作为一种匹配关系，等。这种方式则可以减少人工干预，并为待处理数据确定出合适执行数据处理的大数据处理框架。

在实际应用中，为了满足不同的数据处理需求，在一种实施方式中，本步骤可以包括：接收包含待处理数据、数据处理需求、以及框架标识的数据处理请求。这里的数据处理需求，可以通过后续的数据处理步骤满足。而这里的数据处理需求则可以包括对数据进行预处理的需求，比如数据整理、或数据过滤等处理的需求。

步骤104：获取为该框架标识对应的大数据处理框架预设的特殊处理逻辑。

不同的大数据处理框框通常可以有不同的处理逻辑，比如Spark与Hadoop之间，便存在不同的处理逻辑，具体比如，Hadoop可以从HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)读取数据，通过MR(MapReduce，一种计算模型)将中间结果写入HDFS，然后再重新从HDFS读取数据进行MR，最终写入到HDFS中，这个过程涉及多次落盘操作，多次磁盘IO(Input Output，输入输出)；而Spark则可以是读取集群中的数据后，在内存中存储和运算，直到全部运算完毕后，再存储到集群中。

可见，不同的大数据处理框架之间，存在着不同的处理逻辑，且相同大数据处理框架的不同版本之间，也可能存在或大或小的处理逻辑区别。所以，本方法中，可以预先确定出大数据处理框架之间的相同点和不同点，以便可以为确定出不同的大数据处理框架中的特殊处理逻辑，这里的特殊处理逻辑，就可以是相比于其他大数据处理框架而言、具有特殊性的处理逻辑，具体就可以是独有的、且其他框架不可替代的处理逻辑。比如，一共有10个大数据处理框架，其中包含了不同的框架、以及相同框架的不同版本，那么某一个框架相对于其他9个框架而言，具有的独有的，且其他框架不可代替处理逻辑，就可以是这个框架的特殊处理逻辑。

在前述步骤中，已经确定出框架标识，那么本步骤就可以通过确定出的框架标识，获取到为框架标识对应的大数据处理框架而预设的特殊处理逻辑。

如图2所示，为本实施例提供的模板化的数据处理方法的示意图，可以先确定出包含待处理数据、和框架标识i的数据处理请求，此后，可以根据框架标识i，从预设的特殊处理逻辑集合中，查找到对应的大数据处理框架i、以及对应的特殊处理逻辑i。

这里的特殊处理逻辑集合，可以是为全部可用的大数据处理框架预先设置的，比如图2中，大数据处理框架1、2、3等、可以分别对应特殊处理逻辑1、2、3等、以及分别对应框架标识1、2、3等。所以，根据框架标识i，则可以获取到为框架标识i对应的大数据处理框架i而预设的特殊处理逻辑i。

步骤106：根据获取到的特殊处理逻辑，以及预设的算子模板，生成适配于该大数据处理框架的目标算子。

算子，可以是用于执行数据处理的方式，可以理解的，不同的数据处理方式可以对应不同的算子。本实施例中，为实现数据处理，可以预先设置算子模板，这里预设的算子模板中可以包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位。

具体地，在前文已经介绍，不同的大数据处理框架之间可以有相同点和不同点，所以大数据处理框架之间可以有特殊的、无可替代的处理逻辑，也可以有通用的处理逻辑。比如对待处理数据进行预处理时，不同的大数据处理框架可以有相同的预处理逻辑，这里的预处理就可以包括前文所述的数据整理、以及数据过滤等。

由于在算子模板中，可以有适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位，所以就可以根据前述步骤中，获取到的针对某个大数据处理框架的特殊处理逻辑，结合该算子模板，生成适配于该大数据处理框架的目标算子。

在实现方式上，算子模板可以由工程人员通过编写代码的方式生成。在编写的过程中，可以先确定出多个大数据处理框架中的通用处理逻辑、以及不同大数据处理框架各自独有的特殊处理逻辑。从而可以将通用处理逻辑编写进算子模板中，并将用于编写特殊处理逻辑的位置空出，以便本步骤可以将大数据处理框架对应的特殊处理逻辑，写入至算子模板中为特殊处理逻辑预留的空位上，从而生成适配于该大数据处理框架的目标算子。

在步骤102中已经介绍，可以接收包含待处理数据、数据处理需求、以及框架标识的数据处理请求。而这里的数据处理需求，可以是对数据进行预处理的需求，针对算子中的处理逻辑，就可以是针对通用处理逻辑的数据处理需求。比如，可以是对待处理数据进行数据整理、或数据过滤的不同预处理需求。而在实际应用中，针对不同的通用处理逻辑，则可以预设不同的算子模板。

需要说明的是，通用处理逻辑可以针对多个大数据处理框架、以及不同的数据处理操作分别进行预设的。比如针对不同的数据整理和数据过滤等预处理操作，可以设置不同的通用处理逻辑，然而这些不同的通用处理逻辑均可以用于指导不同的大数据框架来执行各自的特殊处理逻辑。

所以，为了满足不同的数据处理需求，在一种实施方式中，本步骤根据获取到的特殊处理逻辑，以及预设的算子模板，生成适配于该大数据处理框架的目标算子，可以包括：确定匹配数据处理需求的算子模板；根据获取到的特殊处理逻辑，以及确定出的算子模板，生成适配于该大数据处理框架的目标算子。

具体地，数据处理需求可以是针对通用处理逻辑而确定的不同处理需求，比如前文所举的数据过滤需求，数据整理需求，等。从而可以根据不同算子模板中的通用处理逻辑的各自特征，匹配该数据处理需求，并生成适配于大数据处理框架的目标算子。当然在实际应用中，数据处理需求，也可以是针对通用处理逻辑以及特殊处理逻辑而综合确定的。

如图2所示，算子模板中，可以包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位，该空位由图中的虚线表示。据此，则可以结合特殊处理逻辑i，生成适配于大数据处理框架i的目标算子。

步骤108：响应于确定出的数据处理请求，根据其中的待处理数据，利用生成的目标算子执行数据处理。

在前文已经介绍，根据特殊处理逻辑生成了适配于某个大数据处理框架的目标算子，那么本步骤便可以响应于确定出的数据处理请求，根据请求中的待处理数据，利用目标算子执行数据处理。

具体地，可以将目标算子中的通用处理逻辑、和特殊处理逻辑划分为两个操作单元。在此以Spark为例，这两个操作单元分别可以是etl(用于执行通用处理逻辑)与operator(用于执行特殊处理逻辑、或称核心处理逻辑)。其中，etl可以负责与前端交互，并对接收到的待处理数据进行处理，并且将要待处理数据的变量以特定的格式定义，按照预定的顺序发送给operator。而operator可以负责接收etl处理完成的数据，以特殊处理逻辑执行数据处理。

在这类算子中，可以以Job的形式区分各个处理逻辑，比如横连接、排序、汇总等，在etl与operator内了可以分别创建一个job，并且相互对应。例如etl的HorizonJoinJob可以对应operator中HorizonJoinOperator，当HorizonJoinOperator接收到HorizonJoinJob的数据后，可以执行数据处理。

由以上实施例提供的方法可见，可以先确定包含待处理数据、以及框架标识的数据处理请求，此后可以获取为该框架标识对应的大数据处理框架预设的、与其他框架相比具有特殊性的特殊处理逻辑，并根据获取到的特殊处理逻辑，结合预设的、包含通用处理逻辑的算子模板，生成适配于该大数据处理框架的目标算子。据此，则可以根据待处理数据，利用目标算子执行数据处理。

也即可以预先根据不同的大数据处理框架之间的通用处理逻辑、以及为特殊处理逻辑的预留空位，开发出算子模板。当出现数据处理请求后，则可以根据请求中的框架标识，获取为对应的大数据处理框架的特殊处理逻辑，并融合在算子模板中生成目标算子，从而可以利用目标算子，执行数据处理。

由于根据大数据处理框架之间的特性和共性，开发算子模板、以及对应各自框架的特殊处理逻辑，通过融合的方式得到可用的算子即可实现数据处理。相比于分别适配的方式，节省了一定的开发维护成本，从而提高了开发维护效率。

另外，由于通过算子模板结合特殊处理逻辑的方式，生成适配于不同大数据处理框架的目标算子，所以也就在一定程度上也便于对特殊处理逻辑进行修改，并且也在一定程度上提高了扩展性，当出现新的可用大数据处理框架时，若通用处理逻辑相同，则可以通过确定特殊处理逻辑、以及分配框架标识的方式，较为便利地适配新的大数据处理框架。

实施例2

基于相同的构思，本申请实施例2提供了一种模板化的数据处理装置，可以在适配不同大数据处理框架而实现数据处理时，节约开发维护成本，从而提升开发维护效率，假设该装置可以应用于服务器。该装置的结构示意图如图3所示，包括：确定单元202、获取单元204、生成单元206、以及执行单元208，其中，

确定单元202，可以用于确定包含待处理数据、以及框架标识的数据处理请求；

获取单元204，可以用于获取为框架标识对应的大数据处理框架预设的特殊处理逻辑，特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

生成单元206，可以用于根据特殊处理逻辑，以及预设的算子模板，生成适配于大数据处理框架的目标算子，预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

执行单元208，可以用于响应于数据处理请求，利用目标算子，对待处理数据执行数据处理。

在一种实施方式中，确定单元202，可以用于：

接收包含待处理数据、以及数据处理需求的数据处理请求；

根据待处理数据特征、和不同大数据处理框架的特征，确定出匹配数据处理需求的大数据处理框架对应的框架标识。

在一种实施方式中，确定单元202，可以用于：

接收包含待处理数据、以及多个候选框架标识的数据处理请求；

根据待处理数据特征、和多个候选框架标识分别对应的大数据处理框架的特征，从多个候选框架标识中确定出框架标识。

在一种实施方式中，确定单元202，可以用于：

接收包含待处理数据、数据处理需求、以及框架标识的数据处理请求；则

生成单元206，可以用于：

确定匹配数据处理需求的算子模板；

根据特殊处理逻辑，以及算子模板，生成适配于大数据处理框架的目标算子。

由以上实施例提供的装置可见，可以先确定包含待处理数据、以及框架标识的数据处理请求，此后可以获取为该框架标识对应的大数据处理框架预设的、与其他框架相比具有特殊性的特殊处理逻辑，并根据获取到的特殊处理逻辑，结合预设的、包含通用处理逻辑的算子模板，生成适配于该大数据处理框架的目标算子。据此，则可以根据待处理数据，利用目标算子执行数据处理。

也即可以预先根据不同的大数据处理框架之间的通用处理逻辑、以及为特殊处理逻辑的预留空位，开发出算子模板。当出现数据处理请求后，则可以根据请求中的框架标识，获取为对应的大数据处理框架的特殊处理逻辑，并融合在算子模板中生成目标算子，从而可以利用目标算子，执行数据处理。

由于根据大数据处理框架之间的特性和共性，开发算子模板、以及对应各自框架的特殊处理逻辑，通过融合的方式得到可用的算子即可实现数据处理。相比于分别适配的方式，节省了一定的开发维护成本，从而提高了开发维护效率。

图4是本申请的一个实施例电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成模板化的数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

上述如本申请图3所示实施例提供的模板化的数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图3所示实施例提供的模板化的数据处理装置在图4所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3所示实施例中模板化的数据处理装置执行的方法，并具体用于执行：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种模板化的数据处理方法，其特征在于，包括：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

2.如权利要求1所述的方法，其特征在于，确定包含待处理数据、以及框架标识的数据处理请求，包括：

接收包含待处理数据、以及数据处理需求的数据处理请求；

根据所述待处理数据特征、和不同大数据处理框架的特征，确定出匹配所述数据处理需求的大数据处理框架对应的框架标识。

3.如权利要求1所述的方法，其特征在于，确定包含待处理数据、以及框架标识的数据处理请求，包括：

接收包含待处理数据、以及多个候选框架标识的数据处理请求；

根据所述待处理数据特征、和所述多个候选框架标识分别对应的大数据处理框架的特征，从所述多个候选框架标识中确定出框架标识。

4.如权利要求1所述的方法，其特征在于，确定包含待处理数据、以及框架标识的数据处理请求，包括：

接收包含待处理数据、数据处理需求、以及框架标识的数据处理请求；则

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，包括：

确定匹配所述数据处理需求的算子模板；

根据所述特殊处理逻辑，以及所述算子模板，生成适配于所述大数据处理框架的目标算子。

5.一种模板化的数据处理装置，其特征在于，包括：确定单元、获取单元、生成单元、以及执行单元，其中，

所述确定单元，用于确定包含待处理数据、以及框架标识的数据处理请求；

所述获取单元，用于获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

所述生成单元，用于根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

所述执行单元，用于响应于所述数据处理请求，利用所述目标算子，对所述待处理数据执行数据处理。

6.如权利要求5所述的装置，其特征在于，所述确定单元，用于：

接收包含待处理数据、以及数据处理需求的数据处理请求；

根据所述待处理数据特征、和不同大数据处理框架的特征，确定出匹配所述数据处理需求的大数据处理框架对应的框架标识。

7.如权利要求5所述的装置，其特征在于，所述确定单元，用于：

接收包含待处理数据、以及多个候选框架标识的数据处理请求；

根据所述待处理数据特征、和所述多个候选框架标识分别对应的大数据处理框架的特征，从所述多个候选框架标识中确定出框架标识。

8.如权利要求5所述的装置，其特征在于，所述确定单元，用于：

接收包含待处理数据、数据处理需求、以及框架标识的数据处理请求；则

所述生成单元，用于：

确定匹配所述数据处理需求的算子模板；

根据所述特殊处理逻辑，以及所述算子模板，生成适配于所述大数据处理框架的目标算子。

9.一种电子设备，包括：

处理器；以及

被设置成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

确定包含待处理数据、以及框架标识的数据处理请求；

获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；

根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；

响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理。

Images