CN113504904A - 用户定义函数实现方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请适用于数据处理技术领域，提供了一种用户定义函数实现方法、装置、计算机设备和计算机可读存储介质。该方法包括：获取在可视化编辑组件上的UDF编辑操作以获取UDF文件信息；将UDF文件信息存储至数据库且和唯一文件标识关联；向集群发送目标任务，目标任务的参数包括唯一文件标识；参数用于指示集群在执行目标任务时，根据唯一文件标识从数据库获取UDF文件信息，且根据UDF文件信息生成UDF类，并加载到内存中运行。本申请省略了编译、打包、拷贝关联软件包等流程，开发过程中涉及Flink的部分较少，减少了开发者的学习成本，有利于快速开发和发布，节省时间。

Description

用户定义函数实现方法、装置、计算机设备和存储介质

技术领域

本申请属于数据处理技术领域，尤其涉及一种用户定义函数实现方法、装置、计算机设备和计算机可读存储介质。

背景技术

UDF(User-Defined Function，用户定义函数)，是在MySQL、Interbase、Firebird、Fluent中，根据用户实际应用的需要而自行开发的函数。基本用户定义函数是一类代码，对MYSQL服务器功能进行扩充，通过添加新函数，性质就像使用本地MYSQL函数abs()或concat()。

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。

Flink任务里面，通过注册用户定义函数(UDF)可以提供更贴合业务功能的实现，方便用户扩展SQL查询功能。目前，用户扩展UDF需要编写Java或者Scala等程序，然后打包，将打包好的程序与flink的jar软件包一起提交到集群中运行。

如果UDF程序出现问题，还需要重新进行编写、调试、打包、发布等一系列重复工作。通过这种方式开发UDF，需要经过大量的前序工作，极大地增加了开发工作量，并且用户需要有一定的Flink程序开发能力，学习成本也较高。同时，企业在使用实时计算技术时，需要培养很多的Flink程序员，对公司用人成本也有很大的负担，也增加了业务上线的开发时间。

发明内容

本申请实施例提供了一种用户定义函数实现方法、装置、计算机设备和计算机可读存储介质，UDF程序开发者可以通过可视化编辑组件编辑UDF文件信息，将UDF文件的唯一文件标识作为目标任务的参数提交到集群中运行，简化了UDF开发的流程。

第一方面，本申请实施例提供了一种用户定义函数实现方法，应用于终端设备，包括：

获取在可视化编辑组件上的UDF编辑操作；

根据所述UDF编辑操作，获取UDF文件信息；

将所述UDF文件信息存储至数据库，并将所述UDF文件信息和唯一文件标识关联；

向集群发送目标任务，所述目标任务的参数包括所述唯一文件标识；

其中，所述参数用于指示所述集群在执行所述目标任务时，根据所述唯一文件标识，从所述数据库获取所述UDF文件信息，且根据所述UDF文件信息生成UDF类后，将所述UDF类加载到内存中运行。

其中，所述UDF文件信息包括UDF的标量函数的参数、参数类型以及对所述参数进行处理的代码。获取在可视化编辑组件上的UDF编辑操作，包括：

在编辑页面上显示可视化编辑组件，所述可视化编辑组件包括选择类控件和文本类控件；

获取在所述可视化编辑组件上选择所述参数和所述参数类型的操作，以及编辑所述代码的操作。

进一步的，所述UDF文件信息还包括关联软件包信息；

获取在可视化编辑组件上的UDF编辑操作，还包括：

获取在所述可视化编辑组件上录入所述关联软件包信息的操作。

其中，向集群发送目标任务，包括：

将至少一个所述唯一文件标识与所述目标任务关联，以使所述唯一文件标识成为所述目标任务的参数；

向所述集群发送所述目标任务。

第二方面，本申请实施例提供了一种用户定义函数实现方法，应用于Flink集群，包括：

接收来自终端设备的目标任务，所述目标任务的参数包括与UDF文件信息关联的唯一文件标识，所述UDF文件信息为终端设备通过可视化编辑组件获取的UDF编辑操作获得、并存储至数据库中的信息；

根据所述唯一文件标识，从所述数据库获取所述UDF文件信息；

根据所述UDF文件信息生成UDF类，将所述UDF类加载到内存中运行。

其中，所述UDF文件信息包括UDF的标量函数的参数、参数类型以及对所述参数进行处理的代码；

相应的，根据所述UDF信息生成UDF类，包括：

通过代码生成器，生成UDF的注册函数和继承函数；

通过所述代码生成器，从所述UDF文件信息中获取标量函数的所述参数、所述参数类型和所述代码，生成所述标量函数；

根据所述标量函数、所述注册函数和所述继承函数，生成UDF类。

进一步的，所述UDF文件信息还包括关联软件包信息；

相应的，根据所述UDF信息生成UDF类，包括：

通过代码生成器，生成UDF的注册函数和继承函数；

通过所述代码生成器，从所述UDF文件信息中获取标量函数的所述参数、所述参数类型和所述代码，生成所述标量函数；

从所述UDF文件信息中获取所述关联软件包信息；

根据所述关联软件包信息、所述标量函数、所述注册函数和所述继承函数，生成UDF类；

可以理解的是，将所述UDF类加载到内存中运行之后，还包括：

根据所述关联软件包信息获取关联软件包；

将所述关联软件包加载到内存中运行。

第三方面，本申请实施例提供了一种用户定义函数实现装置，包括：

编辑模块，用于获取在可视化编辑组件上的UDF编辑操作，并根据所述UDF编辑操作，获取UDF文件信息；

数据库模块，用于将所述UDF文件信息存储至数据库，并将所述UDF文件信息和唯一文件标识关联；

任务提交模块，用于向集群发送目标任务，所述目标任务的参数包括所述唯一文件标识；

其中，所述参数用于指示所述集群在执行所述目标任务时，根据所述唯一文件标识，从所述数据库获取所述UDF文件信息，根据所述UDF文件信息生成UDF类后，将所述UDF类加载到内存中运行。

第四方面，本申请实施例提供了一种用户定义函数实现装置，包括：

任务接收模块，用于接收终端设备发送的目标任务，所述目标任务的参数包括与UDF文件信息关联的唯一文件标识，所述UDF文件信息为终端设备通过可视化编辑组件获取的UDF编辑操作获得，并存储至所述数据库中；

信息获取模块，用于根据所述唯一文件标识，从所述数据库获取所述UDF文件信息；

任务执行模块，用于根据所述UDF文件信息生成UDF类，将所述UDF类加载到内存中运行。

第五方面，本申请实施例提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或者第二方面任一项所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或者第二方面任一项所述的方法。

第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得终端设备执行上述第一方面或者第二方面中任一项所述的方法。

可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是：开发者可通过可视化编辑组件对UDF文件信息进行可视化编辑，简单易学，只需编辑UDF文件的部分信息，无需完成整个UDF文件的编写；开发者将UDF文件信息对应的唯一文件标识作为目标任务的参数提交到集群，集群通过参数解析获取UDF文件信息后加载到内存运行，省略了编译、打包、拷贝关联软件包等流程，开发过程中涉及Flink原理的部分较少，减少了开发者的学习成本，有利于快速开发和发布，节省时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的用户定义函数实现方法的流程示意图；

图2是本申请另一实施例提供的用户定义函数实现方法的流程示意图；

图3是本申请一实施例提供的用户定义函数实现系统的结构示意图；

图4是本申请一实施例提供的用户定义函数实现装置的结构示意图；

图5是本申请一实施例提供的计算机设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的用户定义函数实现方法可以应用于大多数涉及SQL的开发平台，由一种用户定义函数实现装置来执行，该装置由软件和/或硬件组成，集成于计算机等终端设备中，本申请实施例对执行该方法的终端设备的具体类型不作任何限制。

图1是本实施例提供的用户定义函数实现方法的流程示意图。如图1所示，该用户定义函数实现方法包括如下步骤：

S11，终端设备获取在可视化编辑组件上的UDF编辑操作。

UDF开发的主要部分是对标量函数的创建和方法定义，本实施例需要获取的UDF文件信息包括标量函数的参数、参数类型以及对参数进行处理的代码。具体的，UDF文件信息包括标量函数的输入参数、输入参数的参数类型、返回值和返回值的类型，以及对输入参数进行处理得到返回值的代码。

本实施例的开发平台提供网页形式的可视化编辑页面，开发者(用户)可以远程登录该开发平台进行UDF的在线编辑。可视化编辑页面向用户显示可视化编辑组件，获取在可视化编辑组件上的UDF编辑操作，包括：获取在所述可视化编辑组件上选择参数和参数类型的操作，以及编辑代码的操作。

可视化编辑组件包括选择类控件和文本类控件等，选择类控件用于供用户选择标量函数的参数和参数类型，文本类控件用于供用户编辑标量函数方法体中对参数进行处理的代码。

选择类控件为参数类型和参数命名提供了参考标准，有利于代码规范化，减少出错的可能，并且能增强可读性，有利于维护和扩展。

在其他实施例中，UDF文件信息还包括关联软件包信息；可视化编辑组件还用于供用户编辑关联软件包信息，关联软件包信息如软件包名称。关联软件包(如jar软件包)是UDF程序需要调用的软件包。JAR文件(Java ArchiveJava，归档)是以.jar为文件扩展名的一种软件包文件格式，通常用于聚合大量的Java类文件、相关的元数据和资源(文本、图片等)文件到一个文件中，以便开发Java平台应用软件或库。

现有技术中，关联jar软件包通常需要拷贝jar文件，取消关联jar软件包也需要手动删除已拷贝的jar文件，比较麻烦；本实施例中，开发者只需要选择需要使用的关联软件包，在UDF文件信息中记录该软件包名称即可。

本实施例中，可视化编辑组件的形式只是其中一种实现方式，还可以根据需求使用其他控件。例如，在其他实施例中，可视化编辑组件还可以是脚本编辑窗口，开发者可以按照脚本编辑的方式编辑eval方法的参数、参数类型和主要逻辑代码。脚本开发是相对简单易学的编程方式，可降低开发者的学习成本。

S12，终端设备根据UDF编辑操作，获取UDF文件信息。

本实施例通过步骤S11的UDF编辑操作，可获取UDF文件信息，UDF文件信息包括标量函数的参数、参数类型以及对参数进行处理的代码，必要时，还可包括关联软件包信息。

S13，终端设备将UDF文件信息存储至数据库，并在数据库中将UDF文件信息和唯一文件标识关联。

将UDF文件信息的各项内容对应数据表的不同字段，保存到数据库中，每一条UDF文件信息对应一个唯一文件标识。该唯一文件标识可根据预设的命名规则设定，也可随机生成或顺序生成，是数据表中的关键字段，用于区分不同的UDF。

作为一种可能的实现方式，还可以根据上述UDF文件信息，即根据输入参数、返回值及他们的类型定义标量函数，并将对输入参数进行处理得到返回值的代码作为标量函数的函数体，生成标量函数；将该标量函数作为UDF代码片段保存到数据表中，获得唯一的文件标识。

此外，数据表中除了保存UDF文件信息外，还可以增加一些字段以便使用和维护，例如名称和注释。

S14，终端设备向集群发送目标任务。

其中，目标任务的参数包括唯一文件标识。该参数用于指示集群在执行目标任务时，根据唯一文件标识从数据库获取UDF文件信息，且根据UDF文件信息生成UDF类后，将该UDF类加载到内存中运行。

以上是终端设备上UDF文件信息编写、存储并提交到集群的过程。相应的，一种用户定义函数实现方法，应用于集群，包括如下步骤：

S15，集群接收来自终端的目标任务。

集群接收目标任务的方式有两种，一种是预先初始化一个集群，该集群可接收所有的目标任务；另一种是为每个目标任务创建一个专用的集群，待任务完成后，释放集群占用的资源。

其中，目标任务的参数包括与UDF文件信息关联的唯一文件标识。

S16，集群根据唯一文件标识，从数据库获取UDF文件信息。

以该唯一文件标识作为索引，在数据库中查找与该唯一文件标识对应的UDF文件信息，读取到集群的存储器中。

S17，集群根据UDF文件信息生成UDF类，将UDF类加载到内存中运行。

在大多数场景下，UDF在使用之前是必须要注册的，需要调用TableEnvironment的registerFunction()方法来实现注册。UDF注册成功之后，会被插入TableEnvironment的function catalog，这样table API和SQL就能解析它了。因此，完整的UDF类包括注册部分、继承部分的代码以及标量函数部分。

具体的，根据UDF文件信息生成UDF类包括：通过代码生成器，生成UDF的注册函数和继承函数，或者获取预先编写的注册函数和继承函数；通过所述代码生成器，从UDF文件信息中获取标量函数的参数、参数类型和代码，生成标量函数；根据标量函数、注册函数和继承函数生成UDF类。若步骤S13中保存的是根据参数、参数类型和主要逻辑代码生成的标量函数的UDF代码片段，则将UDF代码片段与注册函数、继承函数组合成UDF类。

若步骤S11中录入了关联软件包信息，相应的，步骤S16中获取的UDF文件信息还包括关联软件包信息，UDF类中还应调用该关联软件包，在生成UDF类时，可根据关联软件包信息、标量函数、注册函数和继承函数，生成UDF类。

将UDF类加载到内存中运行，必要时，根据关联软件包信息，通过网络下载或读取本地存储等方式获取关联软件包，将关联软件包加载到内存中运行。

图2是本实施例提供的用户定义函数实现方法的流程示意图。在上述实施例的基础上，如图2所示，本实施例以Flink UDF开发为例，进行详细说明。

S21，终端设备获取在可视化编辑组件上的UDF编辑操作。

Flink UDF编程中，Scalar Functions标量函数是指返回一个值的函数，可实现将0、1或者多个标量值转化为一个新值。实现一个标量函数需要继承ScalarFunction接口，并且实现一个或者多个evaluation方法。标量函数的行为是通过evaluation方法来实现的，evaluation方法必须定义为public类型，命名为eval。

可视化编辑组件包括选择类控件和文本类控件等，选择类控件用于供用户选择eval方法的参数和参数类型，文本类控件用于供用户编辑eval方法中对参数进行处理的代码。

S22，终端设备根据UDF编辑操作，获取UDF文件信息。

为使eval方法可实现，通过上述UDF编辑操作可获取到的UDF文件信息包括：eval方法的输入参数、输入参数类型、返回值好、返回值类型，以及对输入参数进行处理得到返回值的代码。

evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。该步骤获取的UDF文件信息主要用于定义eval方法的入参列表、返回值及其数据类型，还包括eval方法的主要逻辑代码。

S23，终端设备将UDF文件信息存储至数据库，并在数据库中将UDF文件信息和唯一文件标识关联。

S24，终端设备将至少一个唯一文件标识与目标任务关联。

在Flink环境中，目标任务为Flink任务，在其他开发环境中，目标任务可以是其他待执行的任务类型。

Flink任务可能需要调用一个或多个UDF，需要将Flink任务用到的每个唯一文件标识与该Flink任务关联，以使唯一文件标识成为Flink任务的参数，才能在Flink任务上应用这些唯一文件标识对应的UDF文件信息。

S25，终端设备向Flink集群发送Flink任务。

S26，Flink集群接收来自终端设备的Flink任务。

S27，Flink集群根据唯一文件标识，从数据库获取UDF文件信息。

S28，Flink集群根据UDF文件信息生成UDF类，将UDF类加载到内存中运行。

具体的，根据UDF信息生成UDF类包括：通过代码生成器(例如Codegen工具等)，生成UDF类的注册函数和继承函数；并且从UDF文件信息中获取eval方法的参数、参数类型和代码，生成eval标量函数；将标量函数与注册函数、继承函数组合成UDF类，将UDF类加载到内存中运行。

特殊情况下，对于Scala的Table API，不需要注册UDF，则在生成UDF类时，可省略注册函数。

可以理解的是，将UDF文件信息加载到内存中运行还包括：从UDF文件信息中获取关联软件包信息；根据关联软件包信息，通过网络或读取本地存储等方式获取关联软件包；可根据关联软件包信息、标量函数、注册函数和继承函数，生成UDF类，并将关联软件包加载到内存中运行。

本实施例中开发者可通过可视化编辑组件对UDF文件信息进行可视化编辑，简单易学，只需编辑UDF文件的部分信息，无需完成整个UDF文件的编写；开发者将UDF文件信息对应的标识作为Flink任务的参数提交到Flink集群，Flink集群通过参数解析获取UDF文件信息后加载到内存运行，省略了编译、打包、拷贝关联软件包等流程，开发过程中涉及Flink原理的部分较少，减少了开发者的学习成本，有利于快速开发和发布，节省时间。

在上述实施例的基础上，若需要对UDF进行修改，则通过UDF文件信息对应的唯一文件标识从数据库中查找并读取该UDF文件信息，UDF文件信息的各项内容将被对应显示在可视化编辑组件上，开发者对其进行修改后重新保存到数据库中。对UDF进行修改后，调用该UDF的目标任务需要重新提交到集群中，集群加载最近的UDF类到内存中运行即可。

作为一种可能的实现方式，若对UDF文件信息的修改导致删除了关联软件包，则在执行目标任务时，集群将不会获取该被删除的关联软件包，无需用户在集群上进行删除操作。

本实施例中，UDF的开发和发布不需要经过编译、打包、拷贝关联软件包等流程，对UDF的修改也无需再经历这些流程，使得UDF的实现十分便捷。

在其他实施例中，步骤S11的开发平台还提供IDE远程调试模块，通过IDE远程调试提供对标量函数的主要逻辑代码的在线调试功能。在线调试仅对上述主要逻辑代码进行调试，获取用户输入的输入参数的值，执行所述主要逻辑代码并输出返回值，若用户验证所述返回值有误，还可通过设置断点逐步调试。开发者通过登录网页的形式对UDF进行在线编辑，IDE在线调试区别于本地调试工具，开发者使用的终端设备无需安装开发调试软件，便于开发者随时随地对UDF进行维护。

对应于上文实施例所述的用户定义函数实现方法，图3示出了本申请实施例提供的用户定义函数实现系统的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图3，该用户定义函数实现系统3包括终端设备31和集群设备32，终端设备31与集群设备32通信连接。

终端设备31用于实现UDF文件信息编写、存储并提交任务到集群设备32的过程，如上述方法实施例中步骤S11～S14或者步骤S21～S25所述。

集群设备32用于实现任务接收、UDF文件信息读取和任务执行的过程，如上述方法实施例中步骤S15～S17或者步骤S26～S28所述。

终端设备和集群设备可以是各种形式的计算机设备，包括但不限于台式电脑、笔记本电脑、服务器或云计算平台等，可以理解的是，还应包括配套的输入输出装置及通信线路和装置等。本申请实施例对计算机设备的形式不做具体限定。

为实现上述的用户定义函数实现方法，本申请实施例还提供了用户定义函数实现装置，图4是本实施例提供的用户定义函数实现装置的结构示意图，如图4所示，包括第一用户定义函数实现装置310和第二用户定义函数实现装置320，第一用户定义函数实现装置310与第二用户定义函数实现装置320通信连接。

第一用户定义函数实现装置310集成于终端设备中，包括：

编辑模块311，用于获取在可视化编辑组件上的UDF编辑操作，并根据UDF编辑操作，获取UDF文件信息.

数据库模块312，用于将UDF文件信息存储至数据库，并将UDF文件信息和唯一文件标识关联。

任务提交模块313，用于向集群发送目标任务，目标任务的参数包括唯一文件标识。

该参数用于指示集群在执行目标任务时，根据唯一文件标识，从数据库获取UDF文件信息，根据UDF文件信息生成UDF类后，将UDF类加载到内存中运行。

其中，数据库模块312与其他模块可以处于同一终端设备上，也可处于不同终端设备上，并且与编辑模块311、任务提交模块313通过网络连接。

第二用户定义函数实现装置320集成于集群设备中，包括：

任务接收模块321，用于接收终端设备发送的目标任务，目标任务的参数包括与UDF文件信息关联的唯一文件标识，UDF文件信息为终端设备通过可视化编辑组件获取的UDF编辑操作获得，并存储至数据库中；

信息获取模块322，用于根据唯一文件标识，从数据库获取UDF文件信息；

任务执行模块323，用于根据UDF文件信息生成UDF类，将UDF类加载到内存中运行。

需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5为本申请一实施例提供的计算机设备的结构示意图。如图5所示，该实施例的计算机设备4包括：至少一个处理器40(图5中仅示出一个)、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个方法实施例中的步骤。

所述计算机设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，图5仅仅是计算机设备4的举例，并不构成对计算机设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41在一些实施例中可以是所述计算机设备4内部存储单元，例如硬盘或内存，也可以是外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/计算机设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用户定义函数实现方法，其特征在于，包括：

获取在可视化编辑组件上的UDF编辑操作；

根据所述UDF编辑操作，获取UDF文件信息；

将所述UDF文件信息存储至数据库，并在所述数据库中将所述UDF文件信息和唯一文件标识关联；

向集群发送目标任务，所述目标任务的参数包括所述唯一文件标识；

其中，所述参数用于指示所述集群在执行所述目标任务时，根据所述唯一文件标识，从所述数据库获取所述UDF文件信息，且根据所述UDF文件信息生成UDF类后，将所述UDF类加载到内存中运行。

2.如权利要求1所述的用户定义函数实现方法，其特征在于，所述UDF文件信息包括UDF的标量函数的参数、参数类型以及对所述参数进行处理的代码；获取在可视化编辑组件上的UDF编辑操作，包括：

在编辑页面上显示可视化编辑组件，所述可视化编辑组件包括选择类控件和文本类控件；

获取在所述可视化编辑组件上选择所述参数和所述参数类型的操作，以及编辑所述代码的操作。

3.如权利要求2所述的用户定义函数实现方法，其特征在于，所述UDF文件信息还包括关联软件包信息；

获取在可视化编辑组件上的UDF编辑操作，还包括：

获取在所述可视化编辑组件上录入所述关联软件包信息的操作。

4.一种用户定义函数实现方法，其特征在于，包括：

接收来自终端设备的目标任务，所述目标任务的参数包括与UDF文件信息关联的唯一文件标识，所述UDF文件信息为终端设备通过可视化编辑组件获取的UDF编辑操作获得、并存储至数据库中的信息；

根据所述唯一文件标识，从所述数据库获取所述UDF文件信息；

根据所述UDF文件信息生成UDF类，将所述UDF类加载到内存中运行。

5.如权利要求4所述的用户定义函数实现方法，其特征在于，所述UDF文件信息包括UDF的标量函数的参数、参数类型以及对所述参数进行处理的代码；

根据所述UDF信息生成UDF类，包括：

通过代码生成器，生成UDF的注册函数和继承函数；

通过所述代码生成器，从所述UDF文件信息中获取标量函数的所述参数、所述参数类型和所述代码，生成所述标量函数；

根据所述标量函数、所述注册函数和所述继承函数，生成UDF类。

6.如权利要求5所述的用户定义函数实现方法，其特征在于，所述UDF文件信息还包括关联软件包信息；

根据所述UDF信息生成UDF类，包括：

通过代码生成器，生成UDF的注册函数和继承函数；

通过所述代码生成器，从所述UDF文件信息中获取标量函数的所述参数、所述参数类型和所述代码，生成所述标量函数；

从所述UDF文件信息中获取所述关联软件包信息；

根据所述关联软件包信息、所述标量函数、所述注册函数和所述继承函数，生成UDF类；

将所述UDF类加载到内存中运行之后，还包括：

根据所述关联软件包信息获取关联软件包；

将所述关联软件包加载到内存中运行。

7.一种用户定义函数实现装置，其特征在于，包括：

编辑模块，用于获取在可视化编辑组件上的UDF编辑操作，并根据所述UDF编辑操作，获取UDF文件信息；

数据库模块，用于将所述UDF文件信息存储至数据库，并在所述数据库中将所述UDF文件信息和唯一文件标识关联；

任务提交模块，用于向集群发送目标任务，所述目标任务的参数包括所述唯一文件标识；

其中，所述参数用于指示所述集群在执行所述目标任务时，根据所述唯一文件标识，从所述数据库获取所述UDF文件信息，根据所述UDF文件信息生成UDF类后，将所述UDF类加载到内存中运行。

8.一种用户定义函数实现装置，其特征在于，包括：

任务接收模块，用于接收终端设备发送的目标任务，所述目标任务的参数包括与UDF文件信息关联的唯一文件标识，所述UDF文件信息为终端设备通过可视化编辑组件获取的UDF编辑操作获得，并存储至数据库中；

信息获取模块，用于根据所述唯一文件标识，从所述数据库获取所述UDF文件信息；

任务执行模块，用于根据所述UDF文件信息生成UDF类，将所述UDF类加载到内存中运行。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3的任一项所述的方法，或者实现如权利要求4至6任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3的任一项所述的方法，或者实现如权利要求4至6任一项所述的方法。

Images