CN115202851A - 数据任务执行系统及数据任务执行方法 - Google Patents

Abstract

本申请实施例提供一种数据任务执行系统及数据任务执行方法，将数据存储系统和计算处理系统分开来，数据存储系统对数据信息进行存储和传递，计算处理系统进行数据分析处理，由于解耦合，数据存储系统和计算处理系统各自可以独立进行运维，两者互不影响，使得整个系统能够以更小的修改量维持运作；同时，在数据存储的过程中依靠标识这一数据信息，而非数据本身，从而节约了时间和存储空间。

Description

数据任务执行系统及数据任务执行方法

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据任务执行系统及一种数据任务执行方法。

背景技术

数据库是“按照数据结构来组织、存储和管理数据的仓库”，根据业务需求，其往往涉及到从数据库中提取数据进行多种计算的操作。相关技术中一般采用将计算数据和计算方法配置在一个模块中的模型来完成这些操作。然而，由于数据库信息和计算方法经常有更新的需求，因此，该模型就需要时时更新，这在开发方面会带来很大难度。

发明内容

本申请实施例的目的在于提供一种数据任务执行系统及数据任务执行方法，以解决相关技术中融合数据和计算方法的模型存在着需要极大的修改量来维持运作的问题。

第一方面，本申请实施例提供的一种数据任务执行系统，包括数据存储系统和计算处理系统，所述数据存储系统针对数据源的每个单位配置唯一对应的标识，所述计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法；

其中：

所述数据存储系统被配置为：在接收到所述计算处理系统输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统；

所述计算处理系统被配置为：通过用户指定的流水线模块对所述数据存储系统提交的数据进行处理，得到计算结果。

在上述实现过程中，将数据存储系统和计算处理系统分开来，数据存储系统对数据信息进行存储和传递，计算处理系统进行数据分析处理，由于解耦合，数据存储系统和计算处理系统各自可以独立进行运维，两者互不影响，使得整个系统能够以更小的修改量维持运作；同时，在数据存储的过程中依靠标识这一数据信息，而非数据本身，从而节约了时间和存储空间。

进一步地，在一些实施例中，所述数据存储系统提供至少一个交互接口，所述数据存储系统具体被配置为：

接收用户或所述计算处理系统调用所述交互接口输入的标识。

在上述实现过程中，数据存储系统对外提供接口，使得用户可以随时通过接口调用的方式来进行配置或数据查询，从而方便用户操作，同时计算处理系统也可以通过调用数据存储系统提供的接口来获取需要的数据。

进一步地，在一些实施例中，所述数据存储系统还被配置为：根据用户调用所述交互接口输入的标识，执行数据源操作；所述数据源操作包括以下至少一项：添加数据源信息、删除数据源信息、查看数据源信息、更新数据源信息；不同交互接口对应不同数据源操作。

在上述实现过程中，数据存储系统通过接口的方式进行数据源操作，实现独立的添加和删除等功能。

进一步地，在一些实施例中，所述数据存储系统具体被配置为：根据用户调用所述交互接口输入的数据源链接或者数据源文件，添加对应的数据源。

在上述实现过程中，提供一种添加数据源的解决方案。

进一步地，在一些实施例中，所述数据存储系统还被配置为：根据用户调用所述交互接口输入的标识，查询所述标识对应的数据的目标信息；所述目标信息包括以下至少一项：数据结构类别、数据类型、数据源类型和链接、上一层级的数据结构类别。

在上述实现过程中，数据存储系统根据用户输入的标识进行具体单位的查询，提升用户的使用体验。

进一步地，在一些实施例中，所述数据存储系统通过所述目标标识获取到的数据是目标数据的连接信息；所述计算处理系统具体被配置为：基于所述数据存储系统提交的数据获取对应的目标数据，通过用户指定的流水线模块对所述目标数据进行处理，得到计算结果。

在上述实现过程中，数据存储系统获取目标数据的连接信息并提交给计算处理系统，由计算处理系统通过该连接信息获取对应的目标数据来处理，相较于直接传输目标数据来说，降低了传输时间。

进一步地，在一些实施例中，所述计算处理系统加载至少一个数据库；所述计算处理系统还被配置为：将所述计算结果存储至所述计算处理系统的数据库中。

在上述实现过程中，系统自动存储计算结果，方便后续的查询调用。

进一步地，在一些实施例中，所述计算处理系统提供一个交互接口，所述计算处理系统具体被配置为：

接收到所述用户调用所述交互接口传递的结果查询请求时，从所述数据库中调取对应的计算结果，并通过所述交互接口反馈给所述用户。

在上述实现过程中，计算处理系统对外提供一个接口，使得用户可以随时通过接口调用的方式来进行计算结果的查询，方便用户操作。

进一步地，在一些实施例中，所述计算处理系统中，不同模式的流水线模块处理得到的计算结果具有不同的返回格式；所述返回格式包括以下任意一种：数据型、图表型、对比型。

在上述实现过程中，流水线模块的模式多样化，丰富计算处理系统的功能。

第二方面，本申请实施例提供的一种数据任务执行方法，包括：

数据存储系统在接收到计算处理系统输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统；所述数据存储系统针对数据源的每个单位配置唯一对应的标识；

所述计算处理系统通过用户指定的流水线模块对所述数据存储系统提交的数据进行处理，得到计算结果；所述计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第二方面任一项所述的方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第二方面任一项所述的方法。

本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据任务执行系统的示意图；

图2为本申请实施例提供的一种解耦合数据任务执行系统的整体架构的示意图；

图3为本申请实施例提供的一种数据任务执行方法的流程图；

图4为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如背景技术记载，相关技术中融合数据和计算方法的模型存在着需要极大的修改量来维持运作的问题。基于此，本申请实施例提供一种数据任务执行系统，以解决这一问题。

接下来对本申请实施例进行介绍：

如图1所示，图1是本申请实施例提供的一种数据任务执行系统的示意图，所述数据任务执行系统包括数据存储系统11和计算处理系统12，所述数据存储系统11针对数据源的每个单位配置唯一对应的标识，所述计算处理系统12包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法；其中：所述数据存储系统11被配置为：在接收到所述计算处理系统12输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统12；所述计算处理系统12被配置为：通过用户指定的流水线模块对所述数据存储系统11提交的数据进行处理，得到计算结果。

本实施例的数据任务执行系统可以应用于数据洞察分析平台。该数据洞察分析平台可以是一种支持多种数据源、面向开放式业务场景的数据可视化与增强分析平台，其可以满足用户，如数据分析师、开发工程师等对数据的分析需求。当然，本实施例的数据任务执行系统也可以应用于需要数据和计算方法相融合的其他项目。本申请对此不作限制。

上述的数据存储系统可以是负责对数据信息进行存储和传递的系统。该数据存储系统中加载有至少一个数据源。数据源是提供某种所需要数据的器件或原始媒体，一般是指数据库应用程序所使用的数据库或者数据库服务器。其中，该数据源的类型可以包括以下至少一种：PostgreSQL（一种特性非常齐全的自由软件的对象-关系型数据库管理系统）、hive（基于Hadoop构建的一套数据仓库分析系统）、MySQL（一种关系型数据库管理系统）、MongoDB（一种基于分布式文件存储的数据库）、CSV（逗号分割值，存储表格数据的常用文件格式）。当然，在其他实施例中，该数据存储系统还可以支持其他类型的数据源。在本实施例中，该数据存储系统针对数据源的每个单位配置唯一对应的标识。该标识可以是指UUID（Universally Unique Identifier，通用唯一识别码），UUID的目的是让分布式系统中的所有元素都能有唯一的辨识信息。具体地，该数据存储系统可以提供一个用于生成UUID的API（Application Programming Interface，应用程序编程接口），通过该API可以使用一定的算法来生成UUID，可选地，数据源各个层级下的每个单位所对应的UUID可以是基于生成时间、计数器等数据计算生成的。

在一些实施例中，该数据存储系统可以提供至少一个交互接口，该数据存储系统具体被配置为：接收用户或计算处理系统调用该交互接口传递的指令或标识。也就是说，该数据存储系统对外提供接口，使得用户可以随时通过接口调用的方式来进行配置或数据查询，从而方便用户操作，同时计算处理系统也可以通过调用数据存储系统提供的接口来获取需要的数据。

进一步地，在一些实施例中，该数据存储系统可以被配置为：根据用户调用该交互接口输入的标识，执行数据源操作；该数据源操作包括以下至少一项：添加数据源信息、删除数据源信息、查看数据源信息、更新数据源信息。这里的数据源信息可以是指数据源中数据的连接信息，其形式可以是URL（Uniform Resource Locator，统一资源定位符），通过该数据源信息可以访问相应数据库，从而获取到相应的数据。数据存储系统提供的不同交互接口可以对应不同数据源操作，例如，当用户调用对应于删除数据源信息这一数据源操作的交互接口输入某个数据表对应的标识时，该数据存储系统执行删除该数据表的操作；同样地，添加数据源信息、查看数据源信息、更新数据源信息等数据源操作也可以基于相对应的交互接口来进行。如此，数据存储系统可以实现独立的新增、删除、查询、更新的功能。

在一些实施例中，该数据存储系统可以被配置为：根据用户调用该交互接口输入的数据源链接或者数据源文件，添加对应的数据源。也就是说，数据存储系统添加数据源的方式可以是通过数据源链接进行添加的，也可以是上传数据源文件的方式，这里的数据源链接是指从一个网页指向一个数据源的连接关系，可以适用于各种类型的数据源；这里的数据源文件是指记录数据源信息的文件，主要适用于CSV这一类型的数据源。该数据存储系统可以根据用户输入的指令中携带的数据源链接或者数据源文件，添加对应的数据源。数据源添加完成后，该数据存储系统会自动进行加载，并且会给每个数据源以DataSource（数据源），DataSet（数据集），Table（数据表），Column（数据列）的格式进行存储，并给每一个层级下的各个单位自动配置独特的UUID来进行识别。

在另外一些实施例中，该数据存储系统可以被配置为：根据用户调用所述交互接口输入的标识，查询该标识对应的数据的目标信息；该目标信息包括以下至少一项：数据结构类别、数据类型、数据源类型和链接、上一层级的数据结构类别。也就是说，该数据存储系统可以根据标识进行具体单位的查询。这里的数据结构类别可以是指数据库中用来存储数据的对象类型，其可以包括Column、Table等。即，该数据存储系统可以根据标识查询数据源、数据集、数据表、数据列各个层级的信息。例如，当用户输入某个数据列信息的UUID时，该数据存储系统可以返回该数据列名称、该数据列类型、该数据列信息所在的数据表名称、该数据列信息所对应的数据集名称、该数据列信息所对应的数据源类型、数据源ID以及数据源URL等。这里的数据类型可以包括int（整数）类型、string（字符串）类型等。这样，用户输入某一UUID，即可查询到所需要的信息。当然，在其他实施例中，该数据存储系统还可以通过UUID查找到该类别下的具体属性结构，或者，也可以根据自定义的方式调出所需要的所有的表和列的信息等。需要说明的是，用户查询标识对应的数据的目标信息时所调用的接口，与计算处理系统通过目标标识从数据存储系统中获取对应的数据时所调用的接口，可以是同一个接口，也可以是不同的接口。

需要说明的是，数据存储系统通过目标标识获取到的数据可以是计算处理系统需要的数据，即目标数据，也可以是目标数据的连接信息。当数据存储系统通过目标标识获取到的数据是目标数据的连接信息时，计算处理系统可以基于数据存储系统提交的数据获取对应的目标数据，通过用户指定的流水线模块对该目标数据进行处理，得到计算结果。也就是说，数据存储系统可以不读取目标数据，而是通过UUID获取指向目标数据的URL，这样，计算处理系统通过访问该URL，可以读取到该目标数据，进而对该目标数据进行处理。如此，相比较于由数据存储系统读取目标数据再传输给计算处理系统的方案来说，减少了传输的数据量，从而减少了传输时间，提升了处理效率。

上述的计算处理系统可以是负责数据分析处理的系统。该计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，该计算执行单元内封装有计算方法。也就是说，在本实施例中，计算方法会被拆分成算子，每一个算子会接收不同的输入格式，如DataFrame（二维数据结构）、Series（一维数据结构）等，并完成特定的计算功能。计算方法以算子的形式被封装在计算执行单元中，而计算执行单元的调度模式以流水线模块来进行封装。可选地，该计算处理系统可以是使用Dagster构建得到的。Dagster是一种数据编排工具，具有优雅的编程模型、增量可扩展能力以及方便易用的开发界面。通过Dagster构建计算处理系统时，流水线模块对应pipeline，即一个数据流水线，而计算执行单元对应solid，即一个算子。Pipeline封装好后，在Dagster中以任务调度的方式进行数据的提交，处理并获得计算结果。

也就是说，在处理过程中，计算处理系统首先调用数据存储系统提供的接口，通过UUID获取具体的数据，再将提取到的数据以任务的方式提交给Dagster进行处理，在Dagster中数据通过pipeline进行处理，在经过pipeline所包括的每一个solid后，得出计算结果。当然，在其他实施例中，该计算处理系统也可以使用其他的编排工具进行构建，本申请对此不作限制。

在一些实施例中，该计算处理系统加载至少一个数据库；该计算处理系统可以被配置为：将计算结果存储至计算处理系统的数据库中。也就是说，计算处理系统同样可以加载数据源，用以存放计算结果等信息。例如，计算处理系统在得到计算结果后，可以将该计算结果自动存储在本地PostgreSQL数据库中，以便后续的查询调用。

进一步地，在一些实施例中，该计算处理系统可以提供一个交互接口，该计算处理系统具体被配置为：接收到用户调用该交互接口传递的结果查询请求时，从所述数据库中调取对应的计算结果，并通过该交互接口反馈给该用户。也就是说，该计算处理系统也可以对外提供一个接口，使得用户可以随时通过接口调用的方式来进行计算结果的查询。当然，该计算处理系统还可以提供其他的接口，分别用于任务的提交、终止和删除，以及任务状态的查询等功能。如此，方便用户操作。

另外，在一些实施例中，该计算处理系统中，不同模式的流水线模块处理得到的计算结果具有不同的返回格式；所述返回格式包括以下任意一种：数据型、图表型、对比型。也就是说，Pipeline的模式可以是多样的，根据返回格式可以划分为数据型、图表型、对比型等，这样，在使用过程中用户可以对计算结果的返回格式进行指定，计算处理系统采取对应模式的流水线模块对数据进行处理，使得最终得到的计算结果满足指定的返回格式。同时，Pipeline的模式也可以根据提交的数据进行进一步划分，可以分为表的提交和列的提交，不论是表还是列都会有单独提交和批量提交两种，根据这几个分类进行的每个组合都会称为一个新的pipeline，比如单表数据型、多列对比型等等。其中，返回格式以及流水线模块等的指定，可以是用户在调用计算处理系统提供的接口提交任务时，对该接口的参数进行设置而实现的。如此，丰富了计算处理系统的功能。

本申请实施例中，将数据存储系统和计算处理系统分开来，数据存储系统对数据信息进行存储和传递，计算处理系统进行数据分析处理，由于解耦合，数据存储系统和计算处理系统各自可以独立进行运维，两者互不影响，使得整个系统能够以更小的修改量维持运作；同时，在数据存储的过程中依靠标识这一数据信息，而非数据本身，从而节约了时间和存储空间。

为了对本申请的方案做更为详细的说明，接下来介绍一具体实施例：

如图2所示，图2是本申请实施例提供的一种解耦合数据任务执行系统的整体架构的示意图，该解耦合数据任务执行系统21包括数据存储系统22和计算处理系统23，其中：

数据存储系统22支持的数据源的类型有多种，通过数据源链接或数据源文件添加完成数据源后，数据存储系统22自动加载数据源，并给每个数据源以DataSource，DataSet，Table，Column的格式进行存储，并给每一个层级下的各个单位自动配置独特的UUID来进行识别。数据存储系统22具有添加信息221、删除信息222、查询信息223等功能，具体地，数据存储系统22可以通过接口的方式进行添加数据源信息、删除数据源信息、查看数据源信息、更新数据源信息等操作，同时也可以根据UUID进行具体单位的查询，如输入某一UUID可以查到具体的数据结构类别、数据类型、对应的数据源类型和链接，以及它对应的上一层级的类别名称等，此外还可以通过UUID查找到该类别下的具体树形结构，或者根据自定义的方式调出所需要的所有的表和列的信息等；

计算处理系统23借助Dagster这一外部库进行计算方法的融合，首先计算方法会被拆分为算子，每一个算子会接收不同的输入格式，并完成特定的计算功能。计算方法会以算子的形式被封装在solid232中，一个solid232就是一个算子；solid232的调度模式会以pipeline231来进行封装。Pipeline的模式比较多样，根据返回格式划分可分为数据型和图表型还有两两对比型等等，如果根据提交的数据进行划分，可分为表的提交和列的提交，不论是表还是列都会有单独提交和批量提交两种，根据这几个分类进行的每种组合都会成为一个新的pipeline231，比如单表数据型，多列两两对比型等等。Pipeline231封装好后在Dagster中以任务调度的方式进行数据的提交，处理并获得计算结果。用户可以随时通过接口调用的方式来进行结果的查询，任务的提交、终止和删除，任务状态的查询等。

该解耦合数据任务执行系统21的一次使用过程中，用户先输入数据列或数据表的UUID，再选择pipeline231的模式，如单列数据型提交，调整其他参数限制返回格式即可成功调用接口；在处理过程中计算处理系统23调用数据存储系统22的接口，通过该UUID获取具体的数据，再将提取到的数据以任务的方式提交给Dagster进行处理，在Dagster中数据先通过选取的pipeline231进行处理，在经过每一个solid232得到计算结果后，计算处理系统23将该计算结果自动存储在本地PostgreSQL数据库中，用户可以通过计算处理系统23提供的接口来调取该计算结果。

由上可见，该系统至少具有以下效果：在数据存储系统中，依靠存储数据信息而非数据本身的机制节约了很多时间以及存储空间，数据库的添加和删除可以很方便地通过外部接口进行，无需对内部基础架构进行修改，极大地减少了更新业务代码的成本。在计算处理系统中，借用外部库进行计算方法的融合，把计算处理的过程进行简化，极大地提高了计算效率和代码的简化度。

与前述系统的实施例相对应，本申请还提供数据任务执行方法的实施例：

如图3所示，图3是本申请实施例提供的一种数据任务执行方法的流程图，所述方法包括：

在步骤301、数据存储系统在接收到计算处理系统输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统；所述数据存储系统针对数据源的每个单位配置唯一对应的标识；

在步骤302、所述计算处理系统通过用户指定的流水线模块对所述数据存储系统提交的数据进行处理，得到计算结果；所述计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法。

上述方法中各个步骤的实现过程具体详见上述系统中对应的描述，在此不再赘述。

本申请还提供一种电子设备，请参见图4，图4为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器410、通信接口420、存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口420用于与其他节点设备进行信令或数据的通信。处理器410可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器410可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器410也可以是任何常规的处理器等。

存储器430可以是，但不限于，随机存取存储器（RAM，Random Access Memory），只读存储器（ROM，Read Only Memory），可编程只读存储器（PROM ，Programmable Read-OnlyMemory），可擦除只读存储器（EPROM ，Erasable Programmable Read-Only Memory），电可擦除只读存储器（EEPROM ，Electric Erasable Programmable Read-Only Memory）等。存储器430中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器410执行时，电子设备可以执行上述图3方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

所述存储器430、存储控制器、处理器410、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线440实现电性连接。所述处理器410用于执行存储器430中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据任务执行系统，其特征在于，包括数据存储系统和计算处理系统，所述数据存储系统针对数据源的每个单位配置唯一对应的标识，所述计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法；

其中：

所述数据存储系统被配置为：在接收到所述计算处理系统输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统；

所述计算处理系统被配置为：通过用户指定的流水线模块对所述数据存储系统提交的数据进行处理，得到计算结果。

2.根据权利要求1所述的数据任务执行系统，其特征在于，所述数据存储系统提供至少一个交互接口，所述数据存储系统具体被配置为：

接收用户或所述计算处理系统调用所述交互接口输入的标识。

3.根据权利要求2所述的数据任务执行系统，其特征在于，所述数据存储系统还被配置为：根据用户调用所述交互接口输入的标识，执行数据源操作；所述数据源操作包括以下至少一项：添加数据源信息、删除数据源信息、查看数据源信息、更新数据源信息；不同交互接口对应不同数据源操作。

4.根据权利要求2所述的数据任务执行系统，其特征在于，所述数据存储系统具体被配置为：根据用户调用所述交互接口输入的数据源链接或者数据源文件，添加对应的数据源。

5.根据权利要求2所述的数据任务执行系统，其特征在于，所述数据存储系统还被配置为：根据用户调用所述交互接口输入的标识，查询所述标识对应的数据的目标信息；所述目标信息包括以下至少一项：数据结构类别、数据类型、数据源类型和链接、上一层级的数据结构类别。

6.根据权利要求1所述的数据任务执行系统，其特征在于，所述数据存储系统通过所述目标标识获取到的数据是目标数据的连接信息；所述计算处理系统具体被配置为：

基于所述数据存储系统提交的数据获取对应的目标数据，通过用户指定的流水线模块对所述目标数据进行处理，得到计算结果。

7.根据权利要求1所述的数据任务执行系统，其特征在于，所述计算处理系统加载至少一个数据库；所述计算处理系统还被配置为：将所述计算结果存储至所述计算处理系统的数据库中。

8.根据权利要求7所述的数据任务执行系统，其特征在于，所述计算处理系统提供一个交互接口，所述计算处理系统具体被配置为：

接收到所述用户调用所述交互接口传递的结果查询请求时，从所述数据库中调取对应的计算结果，并通过所述交互接口反馈给所述用户。

9.根据权利要求1所述的数据任务执行系统，其特征在于，所述计算处理系统中，不同模式的流水线模块处理得到的计算结果具有不同的返回格式；所述返回格式包括以下任意一种：数据型、图表型、对比型。

10.一种数据任务执行方法，其特征在于，包括：

数据存储系统在接收到计算处理系统输入的目标标识时，通过所述目标标识获取对应的数据，并将所述数据提交至所述计算处理系统；所述数据存储系统针对数据源的每个单位配置唯一对应的标识；

所述计算处理系统通过用户指定的流水线模块对所述数据存储系统提交的数据进行处理，得到计算结果；所述计算处理系统包括至少一个流水线模块，每个流水线模块包括至少一个计算执行单元，所述计算执行单元内封装有计算方法。

Images