CN111125451A - 数据生产加工方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了数据生产加工方法、装置、电子设备及存储介质，涉及数据生产领域。具体实现方案为：根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工。本申请实施例能够降低数据处理流程的成本，加强流程化、规范化的保障，方便管理、监控和维护。

Description

数据生产加工方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及数据生产领域。

背景技术

数据的抽取-转换-加载(ETL，Extract-Transform-Load)技术是一种常见的数据生产加工方式。ETL过程包含数据获取(结构化数据提取、外部引入、策略挖掘等)、数据格式转换、数据清洗、数据消歧义融合、数据入库等系列的操作。

现有的数据生产加工一般是由研发工程师(RD，Research and Development)通过自己编写程序来实现各个数据处理流程，再通过硬编码的方式将各个数据处理流程串连起来，并在各自的机器上运行。这种通过人工编程实现各个数据处理流程的方式需要较大的人力成本，缺少流程化、规范化的保障，并且难以管理、监控和维护。

发明内容

本申请实施例提出一种数据生产加工方法及装置，以解决上述技术问题中的至少一项。

第一方面，本申请实施例提出一种数据生产加工方法，包括：

根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

本申请实施例根据收到的数据处理流程的信息及依赖关系生成数据生产流，并将数据生产流转换为对应的数据生产代码，从而实现对数据进行生产加工，能够降低数据处理流程的成本，加强流程化、规范化的保障，方便管理、监控和维护。

在一种实施方式中，数据生产流采用有向无环图的形式表示；其中，有向无环图中的各个节点表示数据处理流程；

有向无环图中的各个有向边表示有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

本申请实施例采用有向无环图表示数据生产流，能够表示出较为复杂和类型丰富的数据生产流。

在一种实施方式中，依赖关系包括时间依赖和数据依赖中的至少一项。

本申请实施例采用时间依赖和数据依赖，能够表示出更多样的数据处理流程的依赖关系。

在一种实施方式中，根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

提供预先设置的数据处理策略；

响应于对数据处理策略的选择请求及对数据处理策略的参数设置，确定对应的数据处理流程。

本申请实施例可以为用户提供已经泛化好的组件，便于自动化、模块化处理。

在一种实施方式中，根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

接收数据处理流程所对应的脚本的地址信息；

根据地址信息提取数据处理流程所对应的脚本；

根据脚本，确定对应的数据处理流程。

对于不经常采用的数据处理策略，本申请实施例可以自由扩展任何用户需要的操作组件。

在一种实施方式中，确定对应的数据处理流程之后，还包括：

显示确定出的数据处理流程所对应的组件；

响应于对组件的拖拽操作、以及对各组件之间连接关系的输入操作，生成组件对应的数据处理流程所对应的节点，以及与节点连接的有向边。

本申请实施例可以响应用户对数据处理流程对应组件的拖拽操作及连接关系的输入操作，便于用户构建数据生产流。

在一种实施方式中，还包括：运行数据生产代码，以对数据进行生产加工。

在一种实施方式中，还包括：显示有向无环图；

在数据生产代码的运行过程中，在有向无环图上显示各数据处理流程的运行阶段。

本申请实施例在运行过程中显示各数据处理流程的运行阶段，能够直观地显示运行状态。

在一种实施方式中，还包括：

响应于对数据处理流程的信息和/或依赖关系的修改指令，对数据处理流程和/或依赖关系进行更新；

根据更新后的数据处理流程和/或依赖关系，对数据生产流进行迭代。

本申请实施例支持对数据处理流程的信息或依赖关系的修改，便于对数据生产流进行迭代。

在一种实施方式中，还包括：

记录数据生产流所对应的数据生产代码的运行数据；

分析运行数据；

将分析结果采用图表的形式显示。

本申请实施例可以对运行数据进行分析和统计，并显示分析和统计的结果，为用户对数据生产流的运行分析提供基本数据。

第二方面，本申请实施例提出一种数据生产加工装置，包括：

生成模块，用于根据多个数据处理流程的信息及各个数据处理流程对的依赖关系，生成包含多个数据处理流程的数据生产流；

转换模块，用于将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

在一种实施方式中，数据生产流采用有向无环图的形式表示；其中，有向无环图中的各个节点表示一个数据处理流程；

有向无环图中的各个有向边表示有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

在一种实施方式中，依赖关系包括时间依赖和数据依赖中的至少一项。

在一种实施方式中，还包括：

第一数据处理流程确定模块，用于提供预先设置的数据处理策略；响应于对数据处理策略的选择请求及对数据处理策略的参数设置，确定对应的数据处理流程。

在一种实施方式中，还包括：

第二数据处理流程确定模块，用于接收数据处理流程所对应的脚本的地址信息；根据地址信息提取数据处理流程所对应的脚本；根据脚本，确定对应的数据处理流程。

第三方面，本申请实施例提出一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中任一项的方法。

第四方面，本申请实施例提出一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行第一方面中任一的方法。

上述申请中的一个实施例具有如下优点或有益效果：本申请实施例能够降低数据处理流程的成本，加强流程化、规范化的保障，方便管理、监控和维护。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例的一种数据生产加工方法实现流程图一；

图2为本申请实施例的一种有向无环图的示意图；

图3为本申请实施例的一种数据生产加工方法实现流程图二；

图4为本申请实施例的一种平台的用户界面示意图；

图5为本申请实施例的一种平台的任务信息填写界面示意图；

图6为本申请实施例的一种数据生产加工方法实现流程图三；

图7为本申请实施例的一种对应数据生产流的有向无环图的显示界面示意图；

图8为本申请实施例的一种DAG的状态转换机制示意图；

图9为本申请实施例的一种数据生产加工方法中，运行统计及分析过程示意图；

图10A为本申请实施例的一种数据生产加工方法中的运行分析甘特图示意图；

图10B为本申请实施例的一种数据生产加工方法中的运行分析任务运行耗时图示意图；

图10C为本申请实施例的一种数据生产加工方法中的运行分析任务落地时间图示意图；

图10D为本申请实施例的一种数据生产加工方法中的运行分析实例运行统计图示意图；

图11为本申请实施例的一种数据生产加工装置结构示意图一；

图12为本申请实施例的一种数据生产加工装置结构示意图二；

图13为用来实现本申请实施例的数据生产加工的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例提出一种数据生产加工方法，如图1为本申请实施例的一种数据生产加工方法实现流程图一，包括：

步骤S101：根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

步骤S102：将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

本申请实施例可以采用数据生产加工平台(以下简称平台)执行上述方法。

在一种可能的实施方式中，将一个完整的数据生产流采用有向无环图(DAG，Directed Acyclic Graph)的形式表示。有向无环图是指无回路的有向图，其具有多个节点及多个有向边；有向边从一个节点指向另一个节点。在图论中，如果一个有向图无法某个节点出发经过若干条边回到该点，则这个图就是一个有向无环图。

本申请实施例可以将数据生产流采用有向无环图的形式表示；一个数据生产流包括多个数据处理流程；其中，

有向无环图中的各个节点表示一个数据处理流程；

有向无环图中的各个有向边表示该有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

上述依赖关系可以包括时间依赖和数据依赖中的至少一项。

图2为本申请实施例的一种有向无环图的示意图。图2中包含了3个节点，分别表示3个数据处理流程，即：数据处理流程A、数据处理流程B和数据处理流程C。以下分别将表示数据处理流程A、数据处理流程B和数据处理流程C的3个节点简称为节点A、节点B和节点C。

如图2所示，由节点A到节点C存在一条有向边，该有向边的前一个节点为节点A、后一个节点为节点C；由节点B到节点C存在另一条有向边，该有向边的前一个节点为节点B、后一个节点为节点C。这两条有向边表示数据处理流程C对数据处理流程A和数据处理流程B均存在依赖关系，可以包括时间依赖和数据依赖。

具体地，时间依赖可以指数据处理流程C需要依赖数据处理流程A和数据处理流程B都运行完才可以开始执行；数据依赖可以指数据处理流程C需要依赖数据处理流程A和数据处理流程B产生的数据作为其输入数据。

在一种可能的实施方式中，本申请实施例可以对一般的数据处理流程进行抽象或泛化，得到常用的数据处理策略；并在平台中内置常用的数据处理策略(或称为预先设置的数据处理策略)，每个预先设置的数据处理策略可以以组件的形式封装。这样，用户在使用时可以选择所需的预先设置的数据处理策略，并设置相关的参数，即可由平台自动生成对应的数据处理流程。

图3为本申请实施例的一种数据生产加工方法实现流程图二，如图3所示，在上述步骤S101之前，本申请实施例还可以包括：

步骤S301：提供预先设置的数据处理策略；

步骤S302：响应于对数据处理策略的选择请求及对数据处理策略的参数设置，确定对应的数据处理流程。

图4为本申请实施例的一种平台的用户界面示意图。在图4所示的用户界面中，左侧显示封装有预先设置的数据处理策略的组件，包括封装有数据抽取策略的组件、封装有属性对齐策略的组件、封装有数据清洗策略的组件、封装有实体消歧策略的组件、封装有属性择优策略的组件、封装有示例任务策略的组件等。用户可以点击所需的组件，用户的点击操作可以认为是对该组件所封装的数据处理策略的选择请求。之后，用户还可以填写该数据处理策略的相关参数，即对该数据处理策略进行参数设置。响应于对数据处理策略的选择请求及对数据处理策略的参数设置，平台即可以确定对应的数据处理流程，即执行上述步骤S302。

对于没有被抽象或泛化出的数据处理策略，本申请实施例可以自由扩展用户需要的操作组件，提供通用脚本策略节点。具体地，本申请实施例提出的平台可提供任务信息填写界面，由用户在该任务信息填写界面中填写按照平台规范编写的脚本地址，该脚本对应用户自行设计的数据处理流程。图5为本申请实施例的一种平台的任务信息填写界面示意图。该界面可供用户填写数据处理流程的基本配置信息，包括数据处理流程所对应的脚本的地址信息、是否有输出、所需参数、任务名称等信息。后续地，平台可以根据用户填写的信息确定对应的数据处理流程。如图3所示，在上述步骤S101之前，本申请实施例还可以包括：

步骤S303：接收数据处理流程所对应的脚本的地址信息；

步骤S304：根据地址信息提取数据处理流程所对应的脚本；

步骤S305：根据脚本，确定对应的数据处理流程。

在一种可能的实施方式中，上述确定对应的数据处理流程之后，还可以包括：显示确定出的数据处理流程所对应的组件；响应于对组件的拖拽操作、以及对各组件之间连接关系的输入操作，生成组件对应的数据处理流程所对应的节点，以及与节点连接的有向边。

图6为本申请实施例的一种数据生产加工方法实现流程图三，如图6所示，上述步骤S102之后还可以包括：

步骤S603：运行数据生产代码，以对数据进行生产加工。

在一种可能的实施方式中，还可以包括：

步骤S604：显示有向无环图；在数据生产代码的运行过程中，在有向无环图上显示各数据处理流程的运行阶段。

步骤S605：响应于对数据处理流程的信息和/或对依赖关系的修改指令，对数据处理流程和/或依赖关系进行更新；

步骤S606：根据更新后的数据处理流程和/或依赖关系，对数据生产流进行迭代。

以下结合平台提供的界面示意图，详细介绍上述过程。

对于通过上述两种方式确定出的数据处理流程，本申请实施例可以显示该数据处理流程对应的组件。例如，图4所示的用户界面的右侧部分可以作为工作流绘制区，在工作流绘制区可以显示确定出的数据处理流程对应的组件，并且平台支持对组件的拖拽操作、以及对各组件之间连接关系的输入操作。响应于前述操作，平台可以确定组件对应的数据处理流程所对应的节点，以及与节点连接的有向边，从而最终形成数据处理流程所构成的数据生产流对应的有向无环图。

图7为本申请实施例的一种对应数据生产流的有向无环图的显示界面示意图。在图7中，两条横向的虚线可以将整个界面划分为三个部分。最下部分显示了一个完整的有向无环图。该有向无环图中的每个节点表示一个数据处理流程、每个有向边表示其后一个节点对应的数据处理流程对其前一个节点对应的数据处理流程的依赖关系，整个有向无环图表示一个数据生产流。平台可以根据用户绘制的数据生产流的有向无环图自动生成可以运行的数据生产代码(或称DAG代码)，并按照数据处理流程的依赖关系执行数据生产代码。进一步地，平台可以支持对数据生产代码例行运行，例如按照固定的周期重复运行数据生产代码。

图7的最上部分显示对数据生产流的操作控件，包括运行、断点重启、修改例行周期和编辑DAG图。响应于对“运行”控件的点击操作，平台可以开始启动对数据生产代码的执行；响应于对“断点重启”控件的点击操作，平台可以从出现运行错误的断点开始，启动对数据生产代码的执行；响应于对“修改例行周期”控件的点击操作，平台可以按照用户的设置对数据生产代码的重复执行周期进行修改；响应于对“编辑DAG图”控件的点击操作，平台可以返回至图4所示的用户界面，根据用户的操作重新编辑数据生产流的有向无环图。此外，本申请实施例还可以提供其他的控件，以供对数据生产流进行其他的操作控制。

图7的中间部分显示了数据生产流的各个数据处理流程的运行状态指示图标，包括未运行、运行中、运行完成、重试中、运行失败；在实际的界面中，图7中的各个运行状态指示图标可以采用不同的颜色显示。相应地，图7最下部分有向无环图中的各个节点可以在运行中呈现不同的颜色，以便使用户能够方便地看出运行节点所表示的数据处理流程所处运行阶段。例如，如果图7中间部分的“未运行”图标为灰色，并且图7最下部分的有向无环图中，“属性择优”节点的颜色为灰色，则可以看出该“属性择优”节点所表示的数据处理流程处于未运行状态。

为了方便用户在平台上快速迭代数据生产流，本申请实施例可以采用一整套DAG的状态转换机制。图8为本申请实施例的一种DAG的状态转换机制示意图。在图8中显示了数据生产流的几种运行状态，包括已创建、运行成功、例行调度、暂停、失败；通过点击相关按钮等操作，可以控制数据生产流在不同状态之间可以转换。

例如，在已创建/运行成功状态下，平台提供“开始”、“例行”两个按钮。通过点击“例行”按钮，可以修改数据生产代码(或称为DAG代码)及添加例行周期，将数据生产流转换为例行调度状态。通过点击“开始”按钮，可以将DAG代码改为非暂停状态，将数据生产流转换为运行中的状态。

又如，在例行调度状态下，平台的“例行”按钮改为“修改例行”按钮；“修改例行”按钮内有三个按钮，包括“取消例行”、“确认修改”及“取消编辑”。通过点击“取消例行”按钮，可以修改DAG代码以及将例行周期设置为空，将数据生产流转换为已创建/运行成功状态。通过点击“确认修改”或“取消例行”按钮，可以修改DAG代码中的例行周期。通过定时触发，数据生产流可以转换为运行中的状态。

又如，在运行中的状态下，如果运行成功，数据生产流转换为已创建/运行成功状态；如果运行失败，数据生产流转换为失败状态；如果点击“暂停”按钮，可以修改DAG代码、将例行周期设置为空、并将DAG代码改为暂停状态，数据生产流可以转换为暂停状态。

又如，在暂停状态下，如果点击“恢复”按钮，在有例行调度的情况下，可以修改DAG代码、恢复原先的例行调度周期、将DAG代码改为暂停状态，数据生产流可以转换为运行中的状态。

又如，在失败状态下，如果点击“断点重启”或“开始”状态，可以将DAG代码改为非暂停状态，数据生产流可以转换为运行中的状态。

以上介绍了几种数据生产流的状态转换示例，本申请实施例还可以有其他状态或状态转换的情况，本申请实施例对此不做限制。在数据生产流转换过程中，数据生产流的各个数据处理流程的状态也在随之发生转换。

在支持通用脚本策略运行的情况下，本申请实施例的平台可以按照以下方式解决数据依赖问题。

例如，在调用脚本时依次传入以下参数：

{args}{run_id}{input}；

-args表示在平台上填写的脚本执行参数，如果没有则不传；

-run_id表示工作流的运行ID；

-input表示当前脚本上游任务的输出会当作当前脚本的输入。

在本申请实施例中，数据生产流的每一次运行可以称为一个工作流。

除了上述运行过程之外，本申请实施例还可以对数据生产代码的运行进行统计及分析。图9为本申请实施例的一种数据生产加工方法中，运行统计及分析过程示意图，包括：

步骤S901：记录数据生产流所对应的数据生产代码的运行数据；

步骤S902：分析运行数据；

步骤S903：将分析结果采用图表的形式显示。

本申请实施例的平台可以提供甘特图、任务运行耗时图、任务落地时间图、实例运行统计图等，为用户进行数据生产流的运行分析提供基本数据。图10A至图10D分别为本申请实施例的一种数据生产加工方法中的运行分析示意图。

综上可见，本申请实施例提出的数据生产加工方法，使用平台化的方法加工数据，至少能够达到以下技术效果：

第一，生产成本降低。使用平台化的方式加工数据，可以采用外包人力加工数据，节省常规RD(研发工程师)人力用在更有意义和挑战性的问题上。

第二，规范化/流程化。规范化和流程化可以极大的避免数据生产出错，是生产出高质量数据的有力保障，平台通过规范的数据生产流程确保了生产数据的质量不低于策略脚本生产数据的质量。

第三，可视化操作。可以化操作大大降低了数据加工的成本，降低了数据加工的门槛，为使用外包加工数据提供了前提。

第四，易协作。使用平台化的方式加工数据方便将人力分散用于解决不同的子问题，方便不同角色之间协作。

第五，易例行/运维/监控/日志查询/实例追查:使用平台化的方式加工数据，无需脚本化调度策略，方便例行任务调度；同时集中化管理任务，方便监控、日志查询和实例追查，简化运维人力成本。

第六，方便规模化管理大量数据生产。目前数据Owner(所有者)管理数据的方式效率低下，平台化的方式可以集中化的管理大量的领域数据的日常维护。

第七，新的数据源引入。使用平台化的方式加工数据，在新站点加入时，无需对整个数据生产流做较大的改动就可以引入新的数据源。

第八，迭代效率高。当数据需要迭代加工时，只需要对整个平台生产流中对应的节点做修改，重新启动整个数据流即可更新数据，极大的提高了数据迭代效率。

本申请实施例还提出一种数据生产加工装置，图11为本申请实施例的一种数据生产加工装置结构示意图一，该数据生产加工装置1100包括：

生成模块1101，用于根据多个数据处理流程的信息及各个数据处理流程依赖关系，生成包含多个数据处理流程的数据生产流；

转换模块1102，用于将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

在一种可能的实施方式中，数据生产流采用有向无环图的形式表示；其中，有向无环图中的各个节点表示一个数据处理流程；有向无环图中的各个有向边表示有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

在一种可能的实施方式中，依赖关系包括时间依赖和数据依赖中的至少一项。

图12为本申请实施例的一种数据生产加工装置结构示意图二，如图12所示，该数据生产加工装置1200包括：

生成模块1101，用于根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

转换模块1102，用于将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

第一数据处理流程确定模块1203，用于提供预先设置的数据处理策略；响应于对数据处理策略的选择请求及对数据处理策略的参数设置，确定对应的数据处理流程。

第二数据处理流程确定模块1204，用于接收数据处理流程所对应的脚本的地址信息；根据地址信息提取数据处理流程所对应的脚本；根据脚本，确定对应的数据处理流程。

在一种可能的实施方式中，装置还包括：

显示及生成模块，用于显示确定出的数据处理流程所对应的组件；响应于对组件的拖拽操作、以及对各组件之间连接关系的输入操作，生成组件对应的数据处理流程所对应的节点，以及与节点连接的有向边。

运行模块，用于运行数据生产代码，以对数据进行生产加工。

运行阶段显示模块，用于显示有向无环图；在数据生产代码的运行过程中，在有向无环图上显示各数据处理流程的运行阶段。

迭代模块，用于响应于对数据处理流程的信息和/或依赖关系的修改指令，对数据处理流程和/或依赖关系进行更新；根据更新后的数据处理流程和/或依赖关系，对数据生产流进行迭代。

统计模块，用于记录数据生产流所对应的数据生产代码的运行数据；分析运行数据；将分析结果采用图表的形式显示。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图13所示，是根据本申请实施例的数据生产加工的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图13所示，该电子设备包括：一个或多个处理器1301、存储器1302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图13中以一个处理器1301为例。

存储器1302即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据生产加工的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据生产加工的方法。

存储器1302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据生产加工的方法对应的程序指令/模块(例如，附图10所示的生成模块1001和转换模块1002)。处理器1301通过运行存储在存储器1302中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据生产加工的方法。

存储器1302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据生产加工的电子设备的使用所创建的数据等。此外，存储器1302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1302可选包括相对于处理器1301远程设置的存储器，这些远程存储器可以通过网络连接至数据生产加工的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据生产加工的方法的电子设备还可以包括：输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可以通过总线或者其他方式连接，图13中以通过总线连接为例。

输入装置1303可接收输入的数字或字符信息，以及产生与数据生产加工的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode RayTube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide AreaNetwork，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种数据生产加工方法，其特征在于，包括：

根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工。

2.根据权利要求1所述的方法，其特征在于，

所述数据生产流采用有向无环图的形式表示；其中，

所述有向无环图中的各个节点表示所述数据处理流程；

所述有向无环图中的各个有向边表示所述有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

3.根据权利要求2所述的方法，其特征在于，所述依赖关系包括时间依赖和数据依赖中的至少一项。

4.根据权利要求2所述的方法，其特征在于，所述根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

提供预先设置的数据处理策略；

响应于对所述数据处理策略的选择请求及对所述数据处理策略的参数设置，确定对应的数据处理流程。

5.根据权利要求2所述的方法，其特征在于，所述根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

接收数据处理流程所对应的脚本的地址信息；

根据所述地址信息提取所述数据处理流程所对应的脚本；

根据所述脚本，确定对应的数据处理流程。

6.根据权利要求4或5所述的方法，其特征在于，所述确定对应的数据处理流程之后，还包括：

显示确定出的数据处理流程所对应的组件；

响应于对所述组件的拖拽操作、以及对各组件之间连接关系的输入操作，生成所述组件对应的数据处理流程所对应的节点，以及与所述节点连接的有向边。

7.根据权利要求2至5任一所述的方法，其特征在于，还包括：运行所述数据生产代码，以对数据进行生产加工。

8.根据权利要求7所述的方法，其特征在于，还包括：显示所述有向无环图；

在所述数据生产代码的运行过程中，在所述有向无环图上显示各所述数据处理流程的运行阶段。

9.根据权利要求1至5任一所述的方法，其特征在于，还包括：

响应于对所述数据处理流程的信息和/或所述依赖关系的修改指令，对所述数据处理流程和/或所述依赖关系进行更新；

根据更新后的所述数据处理流程和/或所述依赖关系，对所述数据生产流进行迭代。

10.根据权利要求7所述的方法，其特征在于，还包括：

记录所述数据生产流所对应的数据生产代码的运行数据；

分析所述运行数据；

将分析结果采用图表的形式显示。

11.一种数据生产加工装置，其特征在于，包括：

生成模块，用于根据多个数据处理流程的信息及各个所述数据处理流程对的依赖关系，生成包含多个数据处理流程的数据生产流；

转换模块，用于将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工。

12.根据权利要求11所述的装置，其特征在于，

所述数据生产流采用有向无环图的形式表示；其中，

所述有向无环图中的各个节点表示一个所述数据处理流程；

所述有向无环图中的各个有向边表示所述有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

13.根据权利要求12所述的装置，其特征在于，所述依赖关系包括时间依赖和数据依赖中的至少一项。

14.根据权利要求12所述的装置，其特征在于，还包括：

第一数据处理流程确定模块，用于提供预先设置的数据处理策略；响应于对所述数据处理策略的选择请求及对所述数据处理策略的参数设置，确定对应的数据处理流程。

15.根据权利要求12所述的装置，其特征在于，还包括：

第二数据处理流程确定模块，用于接收数据处理流程所对应的脚本的地址信息；根据所述地址信息提取所述数据处理流程所对应的脚本；根据所述脚本，确定对应的数据处理流程。

16.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。

Images