CN115291856A - 一种流程建立方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例提供了一种流程建立方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及大数据技术领域。该方法包括：确定多个处理单元，然后根据每个处理单元的功能、关联对象信息以及基本属性信息，生成相应的编辑属性界面；然后，针对多个目标单元的选择，确定由多个目标单元依序连接而得的目标流程，并根据输入的编辑参数配置每一目标单元；最后，根据目标流程包含的各目标单元、目标单元的排序和所配置的编辑参数生成与目标流程相应的可执行模块，并部署至目标服务器。本申请实施例提供的方案简化了繁琐的流程开发和部署的过程，提高了针对实时数据的处理效率。

Description

一种流程建立方法、装置以及电子设备

技术领域

本发明涉及大数据技术领域，具体而言，本发明涉及一种流程建立方法、装置、设备、介质及程序产品。

背景技术

目前，市面上的对于实时类数据的采集和处理流程的建立过程，很大程度上依赖于专业的代码开发。另外，实时类数据的采集和处理流程的开发还涉及到各类信息的配置，如：接入接出的信息配置，是否需要隔离环境的配置等，如何准确地进行信息配置不仅复杂而且耗时。因此，非专业人员很难介入到实时类处理的采集和处理流程的建立工作中。

可见，现有的实时类数据的采集和处理流程的建立，对建立者的专业度高求高、且耗时较长。

发明内容

本申请实施例的目的在于提供一种流程建立方法、装置、电子设备以及相关产品，以解决上述技术问题之一。为了实现该目的，本申请实施例提供了如下几个方案。

一方面，本发明实施例提供了一种流程建立方法，该方法包括：

依据待建立目标流程的类型，确定处理单元；处理单元包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元；针对各处理单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面；根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程；根据在各目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元；根据目标流程中包含的各目标单元、各目标单元的排序以及各目标单元的编辑参数生成与目标流程相应的可执行模块，并将可执行模块部署至目标服务器。

可选地，若目标流程为针对实时数据的目标采集流程，多个目标单元至少包括：

数据采集单元，数据采集单元用于确定实时数据的采集来源；数据存储单元；数据存储单元用于确定实时数据的存储信息。

可选地，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤，包括：

若目标单元为数据采集单元，依据采集功能、数据采集单元接入数据库的信息以及基本属性信息，确定编辑属性包括：名称、数据来源信息、数据库的连接属性以及数据表名称；生成包含编辑属性的编辑属性界面。

若目标单元为数据存储单元，依据数据存储功能、数据存储单元的类型、存储数据的服务器集群信息以及基本属性信息，确定编辑属性包括：名称、连接服务器集群的连接器属性、服务器集群的属性；生成包含编辑属性的编辑属性界面。

可选地，若目标流程为针对实时数据的目标处理流程，多个目标单元至少包括：

至少一个数据消费单元；各数据消费单元用于确定待处理的实时数据的来源信息；至少一个数据处理算子；各数据处理算子用于确定数据处理所需的计算资源信息；数据输出单元；各数据输出单元用于确定数据处理结果的存储信息。

可选地，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤，包括：

若目标单元为数据消费单元，依据消费功能、存储待消费实时数据的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储待消费实时数据的数据库的连接属性，以及基本属性信息；生成包含编辑属性的编辑属性界面。

若目标单元为数据处理算子，依据计算功能、算子资源类型以及基本属性信息，确定编辑属性包括：名称、算子资源的存储路径、版本和名称；生成包含编辑属性的编辑属性界面。

若目标单元为数据输出单元，依据输出功能、存储输出的处理结果的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储处理结果的数据库的连接属性；生成包含编辑属性的编辑属性界面。

可选地，多个目标单元还包括开始单元和结束单元；根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程，包括：

响应于第一选择操作，在编辑区域显示与第一选择操作相对应的数据采集单元、数据存储单元、开始单元和结束单元；响应于第二选择操作，将与第二选择操作相应的开始单元、数据采集单元、数据存储单元、结束单元依序进行串联，得到目标采集流程。

可选地，多个处理单元还包括开始单元和结束单元，根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程，包括：

响应于第三选择操作，在编辑区域显示与第三选择操作相应的至少一个数据消费单元、至少一个数据处理算子、数据输出单元、开始单元和结束单元。

响应于第四选择操作，将与第四选择操作相应的开始单元、至少一个数据消费单元、至少一个数据处理算子、数据输出单元以及结束单元依序串联以形成目标处理流程；其中，若多个目标单元包括至少两个数据消费单元，各数据消费单元并联。

另一方面，本发明实施例提供了一种流程建立装置，该装置包括：

第一确定模块，用于依据待建立目标流程的类型，确定处理单元；处理单元至少包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元。

生成模块，用于针对各处理单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面。

第二确定模块，用于根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程。

配置模块，用于根据在各目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元。

部署模块，用于根据目标流程中包含的各目标单元、各目标单元的排序以及各目标单元的编辑参数生成与目标流程相应的可执行模块，并将可执行模块部署至目标服务器。

再一方面，本发明实施例提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现本发明实施例所示方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所示方法的步骤。

本发明实施例还提供了一种计算机程序产品，该产品包括计算机程序，该计算机程序被处理器执行时实现本发明实施例所示方法的步骤。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供了一种流程建立方法，具体包括：依据待建立目标流程的类型，确定多个处理单元，如数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元；针对每一处理单元，依据处理单元的功能，关联对象信息以及基本属性信息，生成处理单元的编辑属性界面；响应于针对确定的处理单元中多个目标单元的选择操作，确定由多个目标单元依序连接而成的目标流程，并根据在每一处理单元的编辑属性界面中输入的编辑参数配置相应的目标单元。最后，响应于部署操作，根据目标流程中包含各目标单元、各目标单元的排序，以及各目标单元的编辑参数，生成目标流程的可执行模块，并将可执行模块部署至目标服务器。本申请实施例提供的方案是基于单元化的方式进行流程创建，并且在单元内部已经基于单元的具体功能进行了相应的代码部署，用户只需进行简单的单元选择、参数配置，即可实现流程创建和部署。因此，本申请实施例所示的方案简化繁琐的流程开发和部署的过程，使得非专职人员也有能力建立针对实时数据的采集和处理流程。

因此，本发明实施例所提供的方案简化了针对实时数据的相关流程的开发过程，可进一步提高实时数据的处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种流程建立方法的流程示意图；

图2a为本发明实施例提供的建立采集流程的场景示意图；

图2b为本发明实施例提供的建立处理流程的场景示意图；

图3为本发明实施例提供的一种流程建立装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本发明中的附图描述本发明的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本发明实施例的技术方案的示例性描述，对本发明实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

针对背景技术中所示的技术问题或需要改善的地方，本发明提出一种流程建立、装置、电子设备、计算机可读存储介质及计算机程序产品，该方案通过可视化的流程建立方式实现。

下面通过对几个示例性实施方式的描述，对本发明实施例的技术方案以及本发明的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

首先对本发明涉及的几个名词进行介绍和解释：

kafka集群：是一个分布式消息系统，该系统中包括多种角色，例如：消息生产者，发布消息到kafka集群的终端或服务；broker，kafka集群中的服务器，一个broker代表kafka集群的一个节点。topic，每个发布到kafka集群的消息的类别，不同类别的消息会去往不同的topic，topic就像一个消息队列，生产者根据消息的类别来写入相应类别的topic，而消费者则根据消息的类别来从中读取相应类别的消息。消费者为从kafka集群中消费消息的终端或者服务。关于kafka集群的其他具体详细信息可以参考现有技术，为了描述简便，在此不再赘述。

flink：一个面向流处理和批处理的分布式计算框架，既支持流处理，也支持批处理。该框架中提供了多种处理方式，该方式一般称作flink算子，不同的flink算子的功能是不同的。例如：flink-filter算子，用于对元素进行筛选；flink-reduce算子，用于对流数据先进行分组，然后进行归并操作；flink-connect算子，用于量将两个流纵向地连接起来。关于flink的其他具体详细信息可以参考现有技术，为了描述简便，在此不再赘述。

图1示出了本申请实施例提供的一种流程建立方法的流程示意图。可选地，该方法应用于任一电子设备，如计算机设备、服务器设备等。该方法包括如下步骤S110～S150。

S110，依据待建立目标流程的类型，确定处理单元。

可选地，响应于携带待建立目标流程的类型的启动操作，显示配置界面。在显示配置界面之前，确定处理单元。可选地，配置界面包括展示区域，处理单元显示于展示区域中。其中，处理单元包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元。

其中，目标流程为目标采集流程或者目标处理流程。

可选地，根据该待建立目标流程的类型显示配置界面，并在该配置界面的展示区域上提供与目标流程的实施过程相匹配的处理单元。如针对目标采集流程，至少显示：数据采集单元、数据存储单元。如针对目标处理流程，至少显示：数据消费单元、数据处理算子和数据输出单元。

其中，配置界面至少包括展示区域和编辑区域。其中，该展示区域用于展示开始单元、结束单元，以及各种需要配置参数的处理单元；编辑区域用于对处理单元进行各种编辑操作，例如，接收用户输入的选中、拖拽等操作对相应的处理单元进行选中、连接等操作。应当指出，配置界面还可以包括其他区域，对此本申请并不做限制。

S120，针对各处理单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面。

可选地，在显示配置界面之前，还包括依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面。配置界面还包括编辑界面。在选中任一处理单元之后，在编辑界面中显示该处理单元的编辑属性界面。

可选地，每个处理单元配置有唯一的标识、唯一的名称，唯一的图标。进一步地，在配置界面的相应位置显示每一处理单元对应的图标和名称。

可选地，确定的处理单元中还可以包括开始单元和结束单元。其中，开始单元可以配置开始标志，以标识目标流程的执行开始；结束单元可以配置结束标志，以标识目标流程执行完毕。

S130，根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程。

S140，根据在各目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元。

S150，根据目标流程中包含的各目标单元、各目标单元的排序以及各目标单元的编辑参数生成与目标流程相应的可执行模块，并将可执行模块部署至目标服务器。

其中，每个处理单元有配置对应的资源组件，该资源组件可以为一份代码指令集，该代码指令集提供一个或多个功能接口。用户通过选择处理单元并进行连接，即可得到由多份代码指令集组成的程序指令集。另外，通过对处理单元进行参数配置，即可完成对该程序指令集的配置，从而得到一份完整的程序指令集。进一步地，通过对该完整的程序指令集进行编译、链接操作，即可得到可执行模块。

本发明实施例提供了一种流程建立方法，具体包括：依据待建立目标流程的类型，确定多个处理单元，如数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元；针对每一处理单元，依据处理单元的功能，关联对象信息以及基本属性信息，生成处理单元的编辑属性界面；响应于针对确定的处理单元中多个目标单元的选择操作，确定由多个目标单元依序连接而成的目标流程，并根据在每一处理单元的编辑属性界面中输入的编辑参数配置相应的目标单元。最后，响应于部署操作，根据目标流程中包含各目标单元、各目标单元的排序，以及各目标单元的参数参数，生成目标流程的可执行模块，并将可执行模块部署至目标服务器。本申请实施例提供的方案是基于单元化的方式进行流程创建，并且在单元内部已经基于单元的具体功能进行了相应的代码部署，用户只需进行简单的单元选择、参数配置，即可实现流程创建和部署。因此，本申请实施例所示的方案简化繁琐的流程开发和部署的过程，使得非专职人员也有能力建立针对实时数据的采集和处理流程。

另外，专为某个流程所开发的处理单元，还可以应用在其他流程创建过程中，可提高处理单元的复用性。

因此，本发明实施例所提供的方案简化了针对实时数据的相关流程的开发过程，可进一步提高对实时数据的处理效率。

接下来将根据目标流程的具体类型进行分析。

在一个可选的实施例中，若目标流程为针对实时数据的目标采集流程，多个目标单元至少包括：

数据采集单元，数据采集单元用于确定实时数据的采集来源；数据存储单元；数据存储单元用于确定实时数据的存储信息。

可选地，若目标单元为数据采集单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤，包括：

依据采集功能、数据采集单元接入数据库的信息以及基本属性信息，确定编辑属性包括：名称、数据来源名称、数据库的连接属性以及数据表名称；生成包含编辑属性的编辑属性界面；

进一步地，配置该属采集单元时，配置参数包括：提供实时数据的数据库的标识、该数据库中schema的标识、该标识的schema中数据表的标识。

可选地，若目标单元为数据存储单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤，包括：

依据数据存储功能、数据存储单元的类型、存储数据的服务器集群信息以及基本属性信息，确定编辑属性包括：名称、连接服务器集群的连接器属性、服务器集群的属性；生成包含编辑属性的编辑属性界面。

进一步地，配置该数据存储单元时，以存储在kafka集群为例，配置参数包括：连接kafka集群时所使用的连接器的类型、连接器的地址、连接器的端口号，以及连接器的前缀名。

可选地，在编辑区域的指定位置，显示任一选中的处理单元的编辑属性界面，该编辑属性界面中包括选中的处理单元的属性，以及相应的属性配置栏。若接收到用户针对任一属性配置栏的输入操作，获取输入操作中携带的输入内容，填充该属性配置栏。其中，该输入操作包括但不限于：输入文字内容的操作，或者基于提供的多个选项输入的目标选项。其中，若该选中的处理单元为数据采集单元，则可以进一步地理解为根据输入的数据来源信息配置数据采集单元。另外，数据存储单元，以及下述实施例中的数据消费单元、数据处理算子、数据输出单元等处理单元的配置过程可以参考前述过程，在此不再赘述。

在一个可选的实施例中，若目标流程为目标采集流程，根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程，具体可以包括：

响应于第一选择操作，在编辑区域显示与第一选择操作相对应的数据采集单元、数据存储单元、开始单元和结束单元。

具体地，该第一选择操作可以包括：针对展示区域中数据采集单元、数据存储单元、开始单元和结束单元的选中操作以及拖拽操作；该拖拽操作具体可以包括：拖拽选中的数据接入单元、数据存储单元、开始单元和结束单元从展示区域至编辑区域中。

响应于第二选择操作，将与第二选择操作相应的开始单元、数据采集单元、数据存储单元、结束单元依序进行串联，得到目标采集流程。

具体而言，该第二选择操作以及针对于第二选择操作的响应过程可以包括：选中数据采集单元，并将数据采集单元的输入端与开始单元的输出端连接；选中数据存储单元，并将数据存储单元的输入端与数据采集单元的输出端连接；选中结束单元，并将结束单元的输入端与数据存储单元的输出端进行连接。最后，得到依次串联的多个处理单元，该串联的多个处理单元即为目标采集流程。

为了更清楚里理解该实施例所示的目标采集流程的建立过程，本申请实施例还提供了一个采集流程的创建示例，具体参见图2a。

本示例中，数据接入单元对应上述实施例中的数据采集单元，用于配置一些数据源信息。数据接入单元的属性配置框中展示了数据来源的具体信息，具体为：在标识为“mysql0924”的数据库中标识为“bdap”的schema其中的一个表，该表的标识为bdap_admin_notice。

本示例中，kafka连接器单元对应上述实施例中的数据存储单元，对应采集流程所需的连接器。连接器的类型有很多种，不同的连接器可以对接的数据库类型不同，即存储数据所使用的数据库不同。例如：canal连接器，可以将数据对接至mysql数据库；ogg连接器，可将数据对接至oracle数据库；kafkaconnect，可将数据对接至mysql数据库；debezium连接器，可以将数据对接至sqlserver数据库、postgreSQL数据库、mysql数据库等。kafka连接器单元的编辑属性界面展示了对接入的数据进一步进行存储的具体信息，具体为：使用debezium连接器将数据存储至kafka集群中，该kafka集群的地址为kafkanode01，该debezium连接器的地址和端口分别为localhoset和8088。

在一个可选的实施例中，若目标流程为针对实时数据的目标处理流程，多个目标单元至少包括：

至少一个数据消费单元；各数据消费单元用于确定待处理的实时数据的来源信息；

至少一个数据处理算子；各数据处理算子用于确定数据处理所需的计算资源信息；

数据输出单元；各数据输出单元用于确定数据处理结果的存储信息。

可选地，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤，包括：

若目标单元为数据消费单元，依据消费功能、存储待消费实时数据的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储待消费实时数据的数据库的连接属性，以及基本属性信息；生成包含编辑属性的编辑属性界面。

进一步地，配置该数据消费单元时，输入的配置参数可以包括：存储待消费实时数据的kafka集群的地址，待消费实时数据在kafka集群中broker的标识、topic标识；从kafka集群中获取待消费实时数据的初始位置；消费该实时数据的账号id。

若目标单元为数据处理算子，依据计算功能、算子资源类型以及基本属性信息，确定编辑属性包括：名称、算子资源的存储路径、版本和名称；生成包含编辑属性的编辑属性界面。

进一步地，配置每一数据处理算子时，如配置flink算子，配置参数包括：提供flink算子的资源名称，flink算子的版本，获取flink算子中类的全路径，以及其他信息。另外，还可以针对flink算子增加新的属性信息，并进行配置。

可选地，数据处理算子还可以包括flink-Flatmap算子，flinkfilter算子，flink-mapPartition，flink-reduce算子。

由于数据处理算子因算法不同而存在较多类型，终端上配置的算子也不能满足各种场景，因此，还可以基于新的算子类型创建数据处理算子，并配置到终端上。

其中，计算资源可以理解为执行具体计算任务的接口类。另外，计算资源可以有多项，因此可以配置多个接口类。

若目标单元为数据输出单元，依据输出功能、存储输出的处理结果的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储处理结果的数据库的连接属性；生成包含编辑属性的编辑属性界面。

进一步地，配置数据输出单元时，如采用kafka集群进行存储，则配置参数包括：kafka集群的地址、kafka集群中topic标识。

可选地，数据处理算子还可以包括flink-Flatmap算子，flinkfilter算子，flink-mapPartition，flink-reduce算子。

在一个可选的实施例中，若目标流程为目标处理流程，多个处理单元还包括开始单元和结束单元，根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程，包括：

响应于第三选择操作，在编辑区域显示与第三选择操作相应的至少一个数据消费单元、至少一个数据处理算子、数据输出单元、开始单元和结束单元。

可选地，该第三选择操作可以包括针对展示区域中至少一个数据消费单元、至少一个数据处理算子、数据输出单元、开始单元和结束单元的选中操作以及拖拽操作；其中，该拖拽操作具体可以包括拖拽上述选中的处理单元至编辑区域中。

响应于第四选择操作，将与第四选择操作相应的开始单元、至少一个数据消费单元、至少一个数据处理算子、数据输出单元以及结束单元依序串联以形成目标处理流程。

可选地，该第四选择操作以及针对第四选择操作的响应过程可以包括：选中数据消费单元，并将该数据消费单元的输入端与开始单元的输出端连接；选中一个数据处理算子，将该数据处理算子的输入端与数据消费单元的输出端相连接，若存在其他的数据处理算子，将所有的数据处理算子依序连接；选中数据输出单元，将该数据输出单元的输入端与最后一个数据处理算子的输出端进行连接；选中结束模块，将结束模块的输入端与数据输出单元的输出端进行连接。

其中，若该多个目标单元包括至少两个数据消费单元，各数据消费单元并联。

为了更清楚里理解该实施例所示的目标处理流程的建立过程，本申请实施例还提供了一个具体的处理流程的创建示例，具体参见图2b。

本示例中，topic单元对应上述实施例中的数据消费单元，表示待消费数据的来源。topic单元的属性配置框中展示了待消费实时数据的来源信息，具体为：在kafka集群的topic标识的数据中，获取待消费实时数据；其中，该待消费实时数据存储于kafka集群中标识为“bu1”kafkabroker(即服务器)中，从处于第一个位置的数据开始获取待消费实时数据。

本示例中，flink算子单元对应该实施例中的数据处理算子，用于根据提供的处理类进行数据处理。flink算子类型众多，例如：flink-filter算子、flink-mapPartition算子、flink-reduce算子。flink算子单元的属性配置框中展示了flink算子所对应的接口类，具体为：资源名称为flink-resource的资源，该资源的版本为第3版，该资源中用于进行数据处理的类的完整路径为com.gientech.flink.SourceProcess。

本示例中，sink单元对应该实施例中的数据输出单元，用于存储处理结果。Sink单元的类型也有多种，例如：kafka-sink(需配置kafka服务器地址，以及topic)，DataSourceSink(存储于关系型数据库，需配置服务器地址)等。

在一个可选的实施例中，根据目标流程中包含的各目标单元、各目标单元的排序以及各目标单元的编辑参数生成与目标流程相应的可执行模块，并将可执行模块部署至目标服务器，具体可以包括：

获取每个目标单元相应的代码指令集；将每个单元相应的代码指令集按照连接的顺序进行拼接；根据每一目标单元的编辑参数配置相应的代码指令集；最后，得到目标流程相应的程序指令集，基于该程序指令集进行编译、链接操作，得到目标流程相应的可执行模块。最后，将该可执行模块部署至目标服务器中。

在一个可选的实施例中，在编辑属性界面中还包括保存控件，和/或，重置控件，和/或，新增控件。

可选地，若接收到针对保存控件的触发操作，保存输入的多个配置参数；若接收到针对重置控件的触发操作，清空所有的配置参数；若接收到针对新增控件的触发操作，添加新的属性配置栏。

在一个使用场景中，存在一种架构，该架构包括前端和后端，本申请实施例所示的方法应用于该架构的前端相应的终端。其中，该终端上包括多种UI开发包，用于支持可视化的创建过程。该后端提供了多层的服务，以支持建立的目标流程的部署和运行。在接收到部署指令之后，根据目标流程生成jar包，将该jar包发送给目标服务器或者flink集群执行。

本场景中，创建实时数据的采集流程可以参考如下六步：

第一步：初始化配置界面。终端接收到用户输入的启动操作之后，启动用于配置采集流程的配置界面。

第二步：流程创建。终端根据用户输入的选中和拖拽操作确定由多个目标单元构成的采集流程，并进一步地根据用户输入的配置信息配置每一目标单元，得到可部署的采集流程。

第三步，流程发布申请。终端向上述架构中的后台服务发送发布申请。

第四步，流程发布审批。审核人员通过后台进行发布审批。若审批结果为可以发布，终端接收到审批通过消息。

第五步，部署执行。终端接收到审批通过消息之后，根据采集流程生成相应的可执行模块，并部署至目标服务器。

第六步，执行监控。在目标服务器基于可执行模块采集实时数据的过程中，后台相应的终端对该过程实施监控。

本场景中，创建实时数据的处理流程可以参考如下六步：

第一步：初始化处理流程。终端接收到用户输入的启动操作之后，启动一个用于配置处理流程的配置界面。

第二步：流程创建。终端根据用户输入的选中和拖拽操作确定由多个目标单元构成的处理流程，并进一步地根据用户输入的配置信息配置每一目标单元，得到可部署的处理流程。另外，配置信息可以包括待消费实时数据的来源信息，针对待消费实时数据的处理逻辑配置，针对处理结果的输出配置。

第三步，流程发布申请。终端向上述架构中的后台服务发送发布申请。

第四步，流程发布审批。审核人员通过后台进行发布审批。若审批结果为可以发布，终端接收到审批通过消息。

第五步，生成可执行模块。终端接收到审批通过消息之后，将根据上述处理流程生成可执行模块(如：打包的一个文件)并发送给flink集群。

第六步，执行监控。在flink集群基于可执行模块执行针对实时数据的处理任务的过程中，后台相应的终端对该过程实施监控。

图3示出了本申请实施例提供的一种实时数据的流程建立装置的结构示意图。如图3所示，该装置300包括如下模块。

第一确定模块310，用于依据待建立目标流程的类型，确定处理单元；处理单元包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元。

生成模块320，用于针对各处理单元，依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面；

第二确定模块330，用于根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程。

配置模块340，用于根据在各目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元。

部署模块350，用于根据目标流程中包含的各目标单元、各目标单元的排序以及各目标单元的编辑参数生成与目标流程相应的可执行模块，并将可执行模块部署至目标服务器。

可选地，若目标流程为针对实时数据的目标采集流程，多个目标单元至少包括：

数据采集单元，数据采集单元用于确定实时数据的采集来源；数据存储单元；数据存储单元用于确定实时数据的存储信息。

可选地，生成模块320在依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤中，具体用于：

若目标单元为数据采集单元，依据采集功能、数据采集单元接入数据库的信息以及基本属性信息，确定编辑属性包括：名称、数据来源信息、数据库的连接属性以及数据表名称；生成包含编辑属性的编辑属性界面。

若目标单元为数据存储单元，依据数据存储功能、数据存储单元的类型、存储数据的服务器集群信息以及基本属性信息，确定编辑属性包括：名称、连接服务器集群的连接器属性、服务器集群的属性；生成包含编辑属性的编辑属性界面。

可选地，若目标流程为针对实时数据的目标处理流程，多个目标单元至少包括：

至少一个数据消费单元；各数据消费单元用于确定待处理的实时数据的来源信息；至少一个数据处理算子；各数据处理算子用于确定数据处理所需的计算资源信息；数据输出单元；各数据输出单元用于确定数据处理结果的存储信息。

可选地，生成模块320在依据处理单元的功能、关联对象信息以及基本属性信息，生成处理单元的编辑属性界面的步骤中，具体用于：

若目标单元为数据消费单元，依据消费功能、存储待消费实时数据的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储待消费实时数据的数据库的连接属性，以及基本属性信息；生成包含编辑属性的编辑属性界面。

若目标单元为数据处理算子，依据计算功能、算子资源类型以及基本属性信息，确定编辑属性包括：名称、算子资源的存储路径、版本和名称；生成包含编辑属性的编辑属性界面。

若目标单元为数据输出单元，依据输出功能、存储输出的处理结果的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储处理结果的数据库的连接属性；生成包含编辑属性的编辑属性界面。

可选地，多个目标单元还包括开始单元和结束单元；第二确定单元330根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程中，具体用于：

响应于第一选择操作，在编辑区域显示与第一选择操作相对应的数据采集单元、数据存储单元、开始单元和结束单元；响应于第二选择操作，将与第二选择操作相应的开始单元、数据采集单元、数据存储单元、结束单元依序进行串联，得到目标采集流程。

可选地，多个处理单元还包括开始单元和结束单元，第二确定单元330在根据针对确定的处理单元中多个目标单元的选择操作确定由多个目标单元依序连接而成的目标流程中，具体用于：

响应于第三选择操作，在编辑区域显示与第三选择操作相应的至少一个数据消费单元、至少一个数据处理算子、数据输出单元、开始单元和结束单元。

响应于第四选择操作，将与第四选择操作相应的开始单元、至少一个数据消费单元、至少一个数据处理算子、数据输出单元以及结束单元依序串联以形成目标处理流程；其中，若多个目标单元包括至少两个数据消费单元，各数据消费单元并联。

本发明实施例还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行该计算机程序时可实现前述方法实施例的步骤及相应内容。

本发明实施例还提供了一种电子设备的可能的实现方式，如图4所示，图4所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器4003用于存储执行本发明实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。

其中，电子设备包括但不限于：大型计算机设备。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本发明实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本发明实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本发明实施例对此不限制。

以上所述仅是本发明部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的方案技术构思的前提下，采用基于本发明技术思想的其他类似实施手段，同样属于本发明实施例的保护范畴。

Claims (11)

1.一种流程建立方法，其特征在于，所述方法包括：

依据待建立目标流程的类型，确定处理单元；所述处理单元包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元；

针对各所述处理单元，依据所述处理单元的功能、关联对象信息以及基本属性信息，生成所述处理单元的编辑属性界面；

根据针对确定的处理单元中多个目标单元的选择操作确定由所述多个目标单元依序连接而成的所述目标流程；

根据在各所述目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元；

根据所述目标流程中包含的各所述目标单元、各所述目标单元的排序以及各所述目标单元的编辑参数生成与所述目标流程相应的可执行模块，并将所述可执行模块部署至目标服务器。

2.根据权利要求1所述的方法，其特征在于，若所述目标流程为针对实时数据的目标采集流程，所述多个目标单元至少包括：

数据采集单元；所述数据采集单元用于确定所述实时数据的采集来源；

数据存储单元；所述数据存储单元用于确定所述实时数据的存储信息。

3.根据权利要求2所述的方法，其特征在于，依据所述处理单元的功能、关联对象信息以及基本属性信息，生成所述处理单元的编辑属性界面的步骤，包括：

若目标单元为数据采集单元，依据采集功能、所述数据采集单元接入数据库的信息以及基本属性信息，确定编辑属性包括：名称、数据来源信息、数据库的连接属性以及数据表名称；生成包含所述编辑属性的编辑属性界面；

若目标单元为数据存储单元，依据数据存储功能、数据存储单元的类型、存储数据的服务器集群信息以及基本属性信息，确定编辑属性包括：名称、连接所述服务器集群的连接器属性、服务器集群的属性；生成包含所述编辑属性的编辑属性界面。

4.根据权利要求1所述的方法，其特征在于，若所述目标流程为针对实时数据的目标处理流程，所述多个目标单元至少包括：

至少一个数据消费单元；各所述数据消费单元用于确定待处理的实时数据的来源信息；

至少一个数据处理算子；各所述数据处理算子用于确定数据处理所需的计算资源信息；

数据输出单元；各所述数据输出单元用于确定数据处理结果的存储信息。

5.根据权利要求4所述的方法，其特征在于，依据所述处理单元的功能、关联对象信息以及基本属性信息，生成所述处理单元的编辑属性界面的步骤，包括：

若所述目标单元为数据消费单元，依据消费功能、存储待消费实时数据的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储所述待消费实时数据的数据库的连接属性，以及基本属性信息；生成包含所述编辑属性的编辑属性界面；

若所述目标单元为数据处理算子，依据计算功能、算子资源类型以及基本属性信息，确定编辑属性包括：名称、所述算子资源的存储路径、版本和名称；生成包含所述编辑属性的编辑属性界面；

若所述目标单元为数据输出单元，依据输出功能、存储所述输出的处理结果的数据库的信息以及基本属性信息，确定编辑属性包括：名称、存储所述处理结果的数据库的连接属性；生成包含所述编辑属性的编辑属性界面。

6.根据权利要求2或者3所述的方法，其特征在于，所述多个目标单元还包括开始单元和结束单元；根据针对确定的处理单元中多个目标单元的选择操作确定由所述多个目标单元依序连接而成的目标流程，包括：

响应于第一选择操作，在编辑区域显示与所述第一选择操作相对应的所述数据采集单元、所述数据存储单元、所述开始单元和所述结束单元；

响应于第二选择操作，将与所述第二选择操作相应的开始单元、数据采集单元、数据存储单元、结束单元依序进行串联，得到所述目标采集流程。

7.根据权利要求4或5所述的方法，其特征在于，所述多个处理单元还包括开始单元和结束单元，所述根据针对确定的处理单元中多个目标单元的选择操作确定由所述多个目标单元依序连接而成的目标流程，包括：

响应于第三选择操作，在编辑区域显示与所述第三选择操作相应的所述至少一个数据消费单元、所述至少一个数据处理算子、数据输出单元、所述开始单元和所述结束单元；

响应于第四选择操作，将与所述第四选择操作相应的所述开始单元、所述至少一个数据消费单元、所述至少一个数据处理算子、数据输出单元以及所述结束单元依序串联以形成所述目标处理流程；其中，若所述多个目标单元包括至少两个数据消费单元，各数据消费单元并联。

8.一种流程建立装置，其特征在于，所述装置包括：

第一确定模块，用于依据待建立目标流程的类型，确定处理单元；所述处理单元包括：数据采集单元、数据存储单元、数据消费单元、数据处理算子和数据输出单元；

生成模块，用于针对各所述处理单元，依据所述处理单元的功能、关联对象信息以及基本属性信息，生成所述处理单元的编辑属性界面；

第二确定模块，用于根据针对确定的处理单元中多个目标单元的选择操作确定由所述多个目标单元依序连接而成的目标流程；

配置模块，用于根据在各所述目标单元的编辑属性界面中输入的编辑参数配置相应的目标单元；

部署模块，用于根据所述目标流程中包含的各所述目标单元、各所述目标单元的排序以及各所述目标单元的编辑参数生成与所述目标流程相应的可执行模块，并将所述可执行模块部署至目标服务器。

9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

Images