CN111221839A - 数据处理方法、系统、电子设备和计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法，包括获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。本公开的另一方面还提供了一种数据处理系统、电子设备和计算机可读存储介质。

Description

数据处理方法、系统、电子设备和计算机可读存储介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、系统、电子设备和计算机可读存储介质。

背景技术

通过Hive等类SQL(Structured Query Language，结构化查询语言)技术，结合MapReduce大数据处理框架，再辅以任务调度系统及任务管理平台，构成了目前应用最多的大数据处理系统。在数据处理中，通常需要编写具体的SQL代码，经过Hive编译为MapReduce任务。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：难以通过SQL语言描述一些比较复杂的数据处理任务。

发明内容

有鉴于此，本公开提供了一种数据处理方法、系统、电子设备和计算机可读存储介质。

本公开的一个方面提供了一种数据处理方法，包括获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

根据本公开的实施例，所述方法还包括基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。

根据本公开的实施例，所述方法还包括根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据，根据所述配置数据指示的求值方式，确定需要调用的算法，基于所述算法，处理所述第一解析数据，获得处理数据，以及基于所述处理数据，生成目标数据。

根据本公开的实施例，所述方法还包括在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述基于所述算法，处理所述第一解析数据，获得处理数据包括，基于所述算法处理所述数据集合，获得处理数据。

根据本公开的实施例，所述方法还包括根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述基于所述算法处理所述数据集合，获得处理数据包括基于所述算法处理过滤后的数据集合，获得处理数据。

根据本公开的实施例，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述基于所述处理数据，获得目标数据包括，根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。

根据本公开的实施例，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述基于所述处理数据，获得目标数据还包括，解析所述处理数据，获得第二解析数据，以及根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。

根据本公开的实施例，所述方法还包括存储所述配置数据。

本公开的另一个方面提供了一种数据处理系统包括，获得模块用于获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成模块用于集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

根据本公开的实施例，所述系统还包括，获取模块用于基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。

根据本公开的实施例，所述系统还包括，第一解析模块用于根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据，第一确定模块用于根据所述配置数据指示的求值方式，确定需要调用的算法，处理模块用于基于所述算法，处理所述第一解析数据，获得处理数据，以及第一生成模块用于基于所述处理数据，生成目标数据。

根据本公开的实施例，所述系统还包括，第二生成模块用于在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述处理模块包括第一处理子模块，用于基于所述算法处理所述数据集合，获得处理数据。

根据本公开的实施例，所述系统还包括，过滤模块用于根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述第一处理子模块包括处理子单元，用于基于所述算法处理过滤后的数据集合，获得处理数据。

根据本公开的实施例，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述处理模块包括第二处理子模块，用于根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。

根据本公开的实施例，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述处理模块还包括，第二解析模块用于解析所述处理数据，获得第二解析数据，以及第二确定模块用于根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。

根据本公开的实施例，所述系统还包括，存储模块用于存储所述配置数据。

本公开的另一个方面提供了一种电子设备，包括一个或多个处理器，存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任意一项的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例，可以至少部分地解决SQL语言难以完成比较复杂的数据处理任务的问题，并因此可以实现方便处理比较复杂的数据处理任务的技术效果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1A示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构；

图1B示意性示出了根据本公开实施例的配置界面的示意图；

图2示意性示出了根据本公开实施例的数据处理方法的流程图；

图3示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图4示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图5示意性示出了根据本公开另一实施例的数据处理方法的流程图；

图6示意性示出了根据本公开的实施例的数据处理系统的框图；

图7示意性示出了根据本公开的实施例的数据处理系统的框图；

图8示意性示出了根据本公开的实施例的数据处理系统的框图；

图9示意性示出了根据本公开另一实施例的数据处理系统的框图；以及

图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种数据处理方法，包括获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

图1A示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1A所示，根据该实施例的系统架构100可以包括配置系统110、Hive 120、Mapreduce框架130、HDFS 140(Hadoop Distributed File System，Hadoop分布式文件系统)以及MYSQL 150。HDFS 140中的数据文件存储待处理数据以及处理待处理数据获得的目标数据。

根据本公开的实施例，配置系统110可以包括元数据管理模块111和任务配置模块112。元数据管理模块111进行数据库表的元数据配置，包括数据库信息、表的名称、存储方式、字段列表等。元数据管理模块111中的数据库表的元数据例如可以通过JDBC方式与Hive120中的元数据进行双向同步，例如将Hive 120中的表信息拉取到元数据管理模块，或者将元数据管理模块定义好的表元数据在Hive端完成表的自动创建。任务配置模块112可以向用户提供配置界面，并且配置界面生成的配置数据可以由MYSQL 150存储。

图1B示意性示出了根据本公开实施例的配置界面的示意图。

如图1B所示，在配置界面上可以包括任务编号、任务名称、任务描述三个基本信息，便于识别具体任务。

在配置界面上可以包括任务类型，在任务类型设置中，例如可以选择普通数据映射、拉链、快照、合并以及数据差异比较几种类型。在MapReduce处理中，会根据任务类型进行不同的处理。根据本公开的实施例，任务类型设置中还可以包括是否包含表关联以及是否包含聚合处理两个选项，同样对应不同的处理方式。

在配置界面上可以包括前置任务配置，通过前置任务配置当前任务所依赖的任务。扩展参数例如可以对应到Mapreduce的配置中的参数。

在Mapreduce处理过程内部逻辑，通过映射配置部分来具体配置。例如，映射类型可以选择是Map或者Reduce，输入元数据信息和输出元数据信息定义了任务的输入和输出数据的数据结构。如图1B所示，为了扩展需要，实现差异化处理，配置界面可以包括自定义Mapper实现类。根据本公开的实施例，配置界面可以包括Mapper别名输入框，以在存在多表关联的场景下，对输入表进行区分。根据本公开的实施例，配置界面可以包括用于控制表连接方式的选项，例如左连接、右连接等。根据本公开的实施例，配置界面可以包括字段映射，字段映射定义了从输入表到输出表的逐字段映射逻辑，映射方式包含了映射字段、固定值、字典映射、自定义脚本等。

用户在图1B所示的配置界面上输入配置信息，配置系统将配置信息转化成配置数据，生成任务配置文件，存储在HDFS中。Mapreduce从HDFS中读取任务配置文件，进行任务初始化。任务初始化例如包括根据输入及输出数据的数据结构初始化数据解析器及数据序列化程序，如果存在关联小数据量表则将关联表的数据文件全部读入内存，根据数据字段映射规则，分别初始化对应类型的数据求值器，根据数据过滤条件，初始化数据过滤器。其中，数据解析器和数据求值器可以是集成于Mapreduce中的算法。Mapreduce完成任务初始化后，从数据文件中读取待处理数据，执行数据处理任务并输出处理结果。

本公开实施例的系统架构，可以使不会编写Mapreduce任务的数据库人员方便地通过任务配置来实现SQL语言难以描述的任务的处理。

图2示意性示出了根据本公开实施例的数据处理方法的流程图。

如图2所示，该方法包括在操作S210～S220。

在操作S210，获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法。

在操作S220，集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

该方法将用非SQL语言编写的算法集成到分布式计算框架例如Mapreduce中，用户在使用分布式计算框架时能够基于所述算法处理数据库中的待处理数据，使得用户使用Mapreduce框架时不需要编写复杂的SQL语言。

根据本公开的实施例，在操作S210，非数据库语言例如可以是java，使用java编写的至少一个算法，例如可以是字典映射、数据表拉链、合并等。

根据本公开的实施例，在操作S220，例如可以是集成字典映射、数据表拉链、合并等算法到Mapreduce框架中，用户在使用Mapreduce框架时能够基于字典映射、数据表拉链、合并等算法处理数据库中的待处理数据。

图3示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图3所示，该方法在前述实施例的基础上还包括操作S310。

在操作S310，基于集成到所述分布式计算框架中的至少一个算法，获取配置界面。

该方法向用户提供了配置界面，通过配置界面获取配置信息，从而使分布式计算框架根据配置信息处理待处理数据，进一步提高了用户体验。

根据本公开的实施例，在操作S310，分布式计算框架例如可以是Mapreduce，配置界面例如可以是如图1B所示的配置界面。

根据本公开的实施例，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。例如，将用户在配置界面上填写的信息序列化为配置数据，存储在任务配置文件中，分布式计算框架读取任务配置文件中的配置数据，确定处理待处理数据需要的算法。

图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图4所示，该方法在前述实施例的基础上还包括操作S410～S430。

在操作S410，根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据。

在操作S420，根据所述配置数据指示的求值方式，确定需要调用的算法.

在操作S430，基于所述算法，处理所述第一解析数据，获得处理数据。

在操作S440，基于所述处理数据，生成目标数据。

根据本公开的实施例，在操作S410，例如基于图1B所示的配置界面生成的配置数据指示待处理数据的数据结构为数据表，通过集成在分布式计算框架中的数据解析器将该数据表解析，获得以字段名为键，字段值为值的集合。

根据本公开的实施例，在操作S420，求值方式例如可以是字典映射、映射字段、固定值或者自定义脚本等。映射字段表示将输入表的某个字段值赋给输出表的一个对应字段，固定值则表示目标字段的取值为扩展属性中输入的常量值，字典映射是本方案中定义的一种取值方式，是针对于取值范围为可枚举的情况，可以将一组枚举值映射到另一组枚举值。例如，将性别属性的枚举值由M，F映射为男，女。自定义脚本可以是对于更加复杂的情况，上面几种映射方式不能满足情况下的一种通用解决方案。脚本语言为Groovy，通过扩展属性来定义，支持Groovy所有语法，可以使用Java的静态类及方法，例如abs()，max()，本方案中也定义了一个更加丰富的函数库，支持多种数值计算、日期及字符串的相关处理，同时，上文提到的字典映射也可以作为扩展函数在脚本中使用。

根据本公开的实施例，在操作S430，例如，对第一解析数据进行字典映射，获得处理数据。

根据本公开的实施例，在操作S440，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述基于所述处理数据，获得目标数据包括根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。例如，在配置数据指示所述分布式计算框架执行Map计算的情况下，配置数据指示的目标数据的数据结构为数据表，若处理数据为文本文件，则将文本文件转化为数据表。

根据本公开的实施例，在操作S440，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述基于所述处理数据，获得目标数据还包括解析所述处理数据，获得第二解析数据，以及根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。例如，在配置数据指示所述分布式计算框架执行Reduce计算的情况下，解析Map输出的处理数据，获得第二解析数据，若配置数据指示的任务类型为拉链，则调用拉链计算方法处理第二解析数据，获得目标数据。根据本公开的实施例，例如处理第二解析数据后得到的数据的数据结构与目标数据结构不一致，则将文本文件转化成配置数据至少的目标数据的数据结构。

根据本公开的实施例，在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述基于所述算法，处理所述第一解析数据，获得处理数据包括基于所述算法处理所述数据集合，获得处理数据。该方法能够根据配置数据判断是否存在多个关联表，以对关联表进行针对性处理。例如，将多个关联表中的小数据量表读入内存，而大数据量表分批次读入内存，以提高内存的利用率。例如，企业ID-贷款表和企业ID-行业表为关联表，其中关联字段为企业ID，将小数据量表企业ID-行业表读入内存，根据关联字段企业ID查找对应企业的贷款，获得贷款的数据，获得企业-行业-贷款的数据集合。

根据本公开的实施例，根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述基于所述算法处理所述数据集合，获得处理数据包括：基于所述算法处理过滤后的数据集合，获得处理数据。例如，过滤规则可以是自定义的过滤脚本，将数据集合作为变量输入到过滤脚本中，若过滤脚本返回true说明数据符合要求，继续下面的处理，否则过滤掉该数据，处理下一条数据，达到数据过滤的目的。

图5示意性示出了根据本公开另一实施例的数据处理方法的流程图。

如图5所示，该方法包括操作S501～S519。

在操作S501，Map读取待处理数据文件。例如Map从HDFS中读取待处理数据文件。

在操作S502，根据表结构解析待处理数据文件。类似于执行参考图4描述的操作S410，根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据。

在操作S503，根据配置数据判断是否存在关联维度数据。若存在关联维度数据，执行操作S504。若不存在关联维度数据，执行操作S506。

在操作S504，读取维度数据文件。例如，企业ID-贷款表和企业ID-行业表为关联表，其中关联字段为企业ID，将小数据量表企业ID-行业表读入内存。

在操作S505，根据关联字段定位维度数据。例如，在操作S505描述的情景中，根据关联字段企业ID查找对应企业的贷款，获得贷款的数据，获得企业-行业-贷款的数据集合。

在操作S506，数据过滤器根据数据过滤脚本执行数据过滤。例如，过滤规则可以是自定义的过滤脚本，将数据集合作为变量输入到过滤脚本中，若过滤脚本返回true说明数据符合要求，继续下面的处理，否则过滤掉该数据，处理下一条数据，达到数据过滤的目的。

在操作S507，数据求值器根据配置的求值方式和相关参数进行数据转换求值。类似于执行参考图4描述的操作S430。数据求值器例如可以是字典映射、固定值等算法。

在操作S508，Map输出中间结果。

在操作S509，判断是否需要执行reduce运算。例如可以根据配置信息判断是否需要执行reduce运算。若需要执行，则执行操作S510。若不需要执行，则执行操作S519，将结果文件写入，结果文件中的数据的数据结构例如是配置信息指示的目标数据的数据结构。

在操作S510，解析reduce输入数据，reduce输入数据例如可以是经过map计算得到的文本文件，解析该文件文件。

在操作S511，例如根据配置数据判断任务类型，任务类型例如可以包括数据差异提取、数据拉链/合并、聚合求值和表连接。根据任务类型分别执行不同的算法操作，包括操作S512～S515。

在操作S516，重组结果集。

在操作S517，可以对结果集进一步地求值。

在操作S518，可以对结果集进行过滤。

在操作S519，例如可以通过Mapreduce提供的序列化器完成对结果数据集的序列化输出，任务完成后进行结果文件提交。

根据本公开的实施例，数据处理方法还可以包括存储配置数据，例如可以用户如图1A所示的MYSQL 150存储配置界面生成的配置数据。

图6示意性示出了根据本公开的实施例的数据处理系统600的框图。

如图6所示，数据处理系统600包括获得模块610和集成模块620。

获得模块610，例如执行上文参考图2描述的操作S210，用于获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法。

集成模块620，例如执行上文参考图2描述的操作S220，用于集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

图7示意性示出了根据本公开的实施例的数据处理系统700的框图。

如图7所示，数据处理系统700在前述实施例的基础上还包括获取模块710。

获取模块710，例如执行上文参考图3描述的操作S310，用于基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。

图8示意性示出了根据本公开的实施例的数据处理系统800的框图。

如图8所示，数据处理系统800在前述实施例的基础上还包括第一解析模块810、第一确定模块820、处理模块830以及第一生成模块840。

第一解析模块810，例如执行上文参考图4描述的操作S410，用于根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据。

第一确定模块820，例如执行上文参考图4描述的操作S420，用于根据所述配置数据指示的求值方式，确定需要调用的算法。

处理模块830，例如执行上文参考图4描述的操作S430，用于基于所述算法，处理所述第一解析数据，获得处理数据。

第一生成模块840，例如执行上文参考图4描述的操作S440，用于基于所述处理数据，生成目标数据。

根据本公开的实施例，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述处理模块包括第二处理子模块，用于根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。

根据本公开的实施例，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述处理模块还包括第二解析模块，用于解析所述处理数据，获得第二解析数据，以及第二确定模块，用于根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。

根据本公开的实施例，数据处理系统还包括第二生成模块，用于在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述处理模块包括第一处理子模块，用于基于所述算法处理所述数据集合，获得处理数据。

根据本公开的实施例，数据处理系统还包括过滤模块，用于根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述第一处理子模块包括处理子单元，用于基于所述算法处理过滤后的数据集合，获得处理数据。

根据本公开的实施例，数据处理系统还包括存储模块，用于存储所述配置数据。

图9示意性示出了根据本公开另一实施例的数据处理系统900的框图。

如图9所示，数据处理系统900在前述实施例的基础上还包括存储模块910。

存储模块910，用于存储所述配置数据。例如，如图1A所示的MYSQL 150用于存储所述配置数据。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如获得模块610、集成模块620、获取模块710、第一解析模块810、第一确定模块820、处理模块830、第一生成模块840、第二处理子模块、第一处理子模块、处理子单元、第二处理子模块、第二解析模块、第二确定模块以及存储模块910中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获得模块610、集成模块620、获取模块710、第一解析模块810、第一确定模块820、处理模块830、第一生成模块840、第二处理子模块、第一处理子模块、处理子单元、第二处理子模块、第二解析模块、第二确定模块以及存储模块910中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获得模块610、集成模块620、获取模块710、第一解析模块810、第一确定模块820、处理模块830、第一生成模块840、第二处理子模块、第一处理子模块、处理子单元、第二处理子模块、第二解析模块、第二确定模块以及存储模块910中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，根据本公开实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1003中，存储有系统1000操作所需的各种程序和数据。处理器1001、ROM1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM 1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (18)

1.一种数据处理方法，包括：

获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法；以及

集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

2.根据权利要求1所述的方法，还包括：

基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。

3.根据权利要求2所述的方法，还包括：

根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据；

根据所述配置数据指示的求值方式，确定需要调用的算法；

基于所述算法，处理所述第一解析数据，获得处理数据；以及

基于所述处理数据，生成目标数据。

4.根据权利要求3所述的方法，还包括：

在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，

所述基于所述算法，处理所述第一解析数据，获得处理数据包括：基于所述算法处理所述数据集合，获得处理数据。

5.根据权利要求4所述的方法，还包括：

根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，

所述基于所述算法处理所述数据集合，获得处理数据包括：基于所述算法处理过滤后的数据集合，获得处理数据。

6.根据权利要求2所述的方法，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述基于所述处理数据，获得目标数据包括：

根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。

7.根据权利要求2所述的方法，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述基于所述处理数据，获得目标数据还包括：

解析所述处理数据，获得第二解析数据；以及

根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。

8.根据权利要求2所述的方法，还包括：存储所述配置数据。

9.一种数据处理系统，包括：

获得模块，用于获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法；以及

集成模块，用于集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。

10.根据权利要求9所述的系统，还包括：

获取模块，用于基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。

11.根据权利要求10所述的系统，还包括：

第一解析模块，用于根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据；

第一确定模块，用于根据所述配置数据指示的求值方式，确定需要调用的算法；

处理模块，用于基于所述算法，处理所述第一解析数据，获得处理数据；以及

第一生成模块，用于基于所述处理数据，生成目标数据。

12.根据权利要求11所述的系统，还包括：

第二生成模块，用于在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，

所述处理模块包括：

第一处理子模块，用于基于所述算法处理所述数据集合，获得处理数据。

13.根据权利要求12所述的系统，还包括：过滤模块，用于根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，

所述第一处理子模块包括：

处理子单元，用于基于所述算法处理过滤后的数据集合，获得处理数据。

14.根据权利要求10所述的系统，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述处理模块包括：

第二处理子模块，用于根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。

15.根据权利要求10所述的系统，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述处理模块还包括：

第二解析模块，用于解析所述处理数据，获得第二解析数据；以及

第二确定模块，用于根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。

16.根据权利要求10所述的系统，还包括：存储模块，用于存储所述配置数据。

17.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1～8所述任意一项的方法。

18.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求1～8所述任意一项的方法。

Images