CN113641420A - 基于Flink的工作流引擎实现方法、系统、设备及存储介质 - Google Patents
基于Flink的工作流引擎实现方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113641420A CN113641420A CN202110936381.4A CN202110936381A CN113641420A CN 113641420 A CN113641420 A CN 113641420A CN 202110936381 A CN202110936381 A CN 202110936381A CN 113641420 A CN113641420 A CN 113641420A
- Authority
- CN
- China
- Prior art keywords
- application
- flink
- workflow
- trigger
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000011144 upstream manufacturing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000011084 recovery Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Flink的工作流引擎实现方法、系统、设备及存储介质，上述方法包括：工作流创建步骤：创建以第一个节点为tr i gger应用，其余节点为act i on应用的工作流，并配置tr i gger应用的触发条件与act i on应用需执行的操作；工作流配置读取步骤：将kafka作为数据管道，通过f l i nk job实现tr i gger应用与act i on应用的业务逻辑。本发明是分布式的，支持高可用；支持自动容错，快速恢复；且各个模块之间是解耦的，非常灵活。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于Flink的工作流引擎实现方法、系统、设备及存储介质。
背景技术
工作流就是将一条信息根据角色、分工、条件不同进行固定的向上传递，数据是按照固定的流向进行传输，一级一级传递下去。通常这种操作自己本身也可以通过逻辑来实现，但是复杂度很高。而且不方便维护。所以通常都采用第三方引擎框架来实现，出了引擎本身简化了操作以外。更重要的是维护起来很方便。
目前常见技术为通过java实现的Activity工作流引擎，Activity实现方法包括：绘制BPMN图；配置节点信息；将设计的流程部署到数据库中；启动流程实例，执行任务；结束。但Activity工作流引擎存在以下缺点：任务失败后，不能自动容灾，同时也无法快速恢复；另外操作起来也十分繁琐。
发明内容
本发明针对上述的Activity工作流引擎存在不能自动容灾以及操作繁琐的技术问题，提出一种基于Flink的工作流引擎实现方法、系统、设备及存储介质。
第一方面，本申请实施例提供了一种基于Flink的工作流引擎实现方法，包括：
工作流创建步骤：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
工作流配置读取步骤：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
上述基于Flink的工作流引擎实现方法，其中，每一个所述flink job均绑定一个特定的topic，通过所述topic消费上游节点传入的数据。
上述基于Flink的工作流引擎实现方法，其中，所述工作流配置读取步骤包括：
trigger job实现步骤：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的所述topic中；
action job实现步骤：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
上述基于Flink的工作流引擎实现方法，其中，所述trigger job实现步骤中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。
上述基于Flink的工作流引擎实现方法，其中，所述action job实现步骤还包括：根据所述Action应用的不同，定义时间窗口以实现业务逻辑。
第二方面，本申请实施例提供了一种基于Flink的工作流引擎实现系统系统，包括：
工作流创建单元：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
工作流配置读取单元：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
上述基于Flink的工作流引擎实现系统，其中，所述工作流配置读取单元包括：
trigger job实现模块：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的topic中；
action job实现模块：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
上述基于Flink的工作流引擎实现系统，其中，所述trigger job实现模块中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于Flink的工作流引擎实现方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于Flink的工作流引擎实现方法。
与现有技术相比，本发明的优点和积极效果在于：
1、本发明是分布式的，支持高可用。当服务节点因某些原因宕机时，可以在备用节点继续提供服务。
2、本发明支持自动容错，快速恢复。当某一个流程挂掉时，可以自动重启。
3、各个模块之间是解耦的，非常灵活。提升了数据能力的灵活性。
附图说明
图1为本发明提供的一种基于Flink的工作流引擎实现方法的步骤示意图；
图2为本发明提供的一种基于Flink的工作流引擎实现方法一实施例流程示意图；
图3为本发明提供的一种基于Flink的工作流引擎实现系统的框架图；
图4为根据本申请实施例的计算机设备的框架图。
其中，附图标记为：
1、工作流创建单元；2、工作流配置读取单元；21、trigger job实现模块；22、action job实现模块；81、处理器；82、存储器；83、通信接口；80、总线。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
本发明提出一种基于Flink实现工作流引擎的方法，通过用户在前端创建工作流，使用flink job读取工作流的配置，每一个flink job实现一个应用(trigger/action)的业务逻辑。每个flink之间使用kafka作为数据管道，能够将多个不同job对接，任意组合，顺序执行，非常灵活。
本发明所用的技术是Flink和kafka。
Flink：flink是一种流式的计算引擎，可以对有限数据流和无限数据流做有状态或者无状态的计算。flink的编码框架主要分为三部分，source(数据源)、operation(操作)和sink(输出)。
Kafka：Kafka是分布式的发布—订阅消息系统。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。
-Topic是Kafka数据写入操作的基本单元。
-Producer:消息和数据的生产者，向Kafka的一个topic发布消息。
-Consumer:消息和数据的消费者，订阅topic并处理其发布的消息。
实施例一：
图1为本发明提供的一种基于Flink的工作流引擎实现方法的步骤示意图。如图1所示，本实施例揭示了一种基于Flink的工作流引擎实现方法(以下简称“方法”)的具体实施方式。
具体而言，本实施例所揭示的方法主要包括以下步骤：
步骤S1：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
步骤S2：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
具体而言，每一个flink job实现一个应用(trigger/action)的业务逻辑。每个flink之间使用kafka作为数据管道，每一个所述flink job均绑定一个特定的topic，通过所述topic消费上游节点传入的数据。
其中，步骤S2具体包括以下内容：
每一个trigger应用都有一个特定的数据源，数据源有的需要实现，有的开箱即用。例如，定时任务的trigger应用的数据源需要手动实现，每秒产出一条带有当前时间戳的消息，然后定义一个timer数据源，每隔一段时间发送一条消息，用于在job中触发定时任务。
通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的所述topic中；
action应用的数据源包括来自上游节点输出的以当前节点名称命名的topic的kafka数据源、用于触发同步工作流配置的timer数据源以及其他接入的数据源，当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
具体而言，还可以根据所述Action应用的不同，定义时间窗口以实现业务逻辑。比如定时任务的下游节点可能需要在时间窗口内缓存数据，用于在收到上游消息出发窗口计算时作为计算依据。
以下，请参照图2。图2为本发明提供的一种基于Flink的工作流引擎实现方法一实施例流程示意图，结合图2，具体说明本方法的应用流程如下：
1、用户在前端创建工作流，第一个节点必须是trigger应用，后面的是action应用，配置trigger应用的触发条件，和action应用执行的操作。
2、使用flink job读取工作流的配置。每一个flink job实现一个应用(trigger/action)的业务逻辑。每个flink之间使用kafka作为数据管道，每一个flink job都绑定一个特定的topic。并从这个topic消费其上游传入的数据。
2.1 trigger job的实现
数据源：
1.每一个trigger应用都有一个特定的数据源，数据源有的需要实现，有的开箱即用。例如，定时任务的trigger应用的数据源需要手动实现，每秒产出一条带有当前时间戳的消息，然后定义一个timer数据源，每隔一段时间发送一条消息，用于在job中触发定时任务(需要定时同步用户创建工作流的配置，因为用户可能做修改工作流，或者删除等操作)。
job：
1.flink job将绑定data数据源和timer数据源，获取当前应用的最新配置，将配置存储在state中，用于每个消息到来时，处理业务逻辑的依据。
2.当消息到来时，读取state中的配置并完成相应的业务逻辑，将业务逻辑的结果数据produce到下一个节点的topic中，这个topic的名字来自用户工作流配置里，每一个topic的名字都是固定的，不同应用的数据源不一样。
2.2 action job的实现
数据源：
1.以当前节点名称命名的topic的kafka数据源(这个数据源中的数据来自上游节点的输出)。
2.timer数据源(用于触发同步工作流配置)。
3.还有其他接入的数据源，根据不同的业务逻辑需要接入不同的数据源或者自定义数据源。
job：
1.和trigger job一样，需要union timer数据源同步工作流配置。
2.这里根据不同的应用，可能需要定义时间窗口实现业务逻辑，比如定时任务的下游节点可能需要在时间窗口内缓存数据，用于在收到上游消息出发窗口计算时作为计算依据。
3.将当前节点的输出和上游节点的输出合并成一条消息，produce给下游节点。如果没有下游节点，则整个工作流结束。
上述实施例提供的一种基于Flink实现工作流引擎，能够将多个不同job对接，任意组合，顺序执行，非常灵活，也可以将kafka替换成其他的消息中间件。
实施例二：
结合实施例一所揭示的一种基于Flink的工作流引擎实现方法，本实施例揭示了一种基于Flink的工作流引擎实现系统(以下简称“系统”)的具体实施示例。
参照图3所示，所述系统包括：
工作流创建单元1：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
工作流配置读取单元2：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
具体而言，所述工作流配置读取单元2包括：
trigger job实现模块21：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的topic中；在triggerjob实现模块21中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。
action job实现模块22：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
本实施例所揭示的一种基于Flink的工作流引擎实现系统与实施例一所揭示的一种基于Flink的工作流引擎实现方法中其余相同部分的技术方案，请参照实施例一所述，在此不再赘述。
实施例三：
结合图4所示，本实施例揭示了一种计算机设备的一种具体实施方式。计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于Flink的工作流引擎实现方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图4所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于Flink的工作流引擎实现方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于Flink的工作流引擎实现方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本发明是分布式的，支持高可用。当服务节点因某些原因宕机时，可以在备用节点继续提供服务。本发明支持自动容错，快速恢复。当某一个流程挂掉时，可以自动重启。各个模块之间是解耦的，非常灵活。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于Flink的工作流引擎实现方法，其特征在于，包括：
工作流创建步骤：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
工作流配置读取步骤：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
2.根据权利要求1所述的基于Flink的工作流引擎实现方法，其特征在于，每一个所述flink job均绑定一个特定的topic，通过所述topic消费上游节点传入的数据。
3.根据权利要求2所述的基于Flink的工作流引擎实现方法，其特征在于，所述工作流配置读取步骤包括：
trigger job实现步骤：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的所述topic中；
action job实现步骤：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
4.根据权利要求3所述的基于Flink的工作流引擎实现方法，其特征在于，所述triggerjob实现步骤中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。
5.根据权利要求3所述的基于Flink的工作流引擎实现方法，其特征在于，所述actionjob实现步骤还包括：根据所述Action应用的不同，定义时间窗口以实现业务逻辑。
6.一种基于Flink的工作流引擎实现系统，其特征在于，包括：
工作流创建单元：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；
工作流配置读取单元：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。
7.根据权利要求6所述的基于Flink的工作流引擎实现系统，其特征在于，所述工作流配置读取单元包括：
trigger job实现模块：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的topic中；
action job实现模块：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。
8.根据权利要求7所述的基于Flink的工作流引擎实现方法，其特征在于，所述triggerjob实现模块中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于Flink的工作流引擎实现方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的基于Flink的工作流引擎实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936381.4A CN113641420B (zh) | 2021-08-16 | 基于Flink的工作流引擎实现方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936381.4A CN113641420B (zh) | 2021-08-16 | 基于Flink的工作流引擎实现方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113641420A true CN113641420A (zh) | 2021-11-12 |
| CN113641420B CN113641420B (zh) | 2024-07-05 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220530A (zh) * | 2021-05-14 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 数据质量监控方法及平台 |
| CN113254350A (zh) * | 2021-06-23 | 2021-08-13 | 深信服科技股份有限公司 | 一种Flink作业测试方法、装置、设备及存储介质 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220530A (zh) * | 2021-05-14 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 数据质量监控方法及平台 |
| CN113254350A (zh) * | 2021-06-23 | 2021-08-13 | 深信服科技股份有限公司 | 一种Flink作业测试方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 阿里云: "如何定义一个工作流", HTTPS://HELP.ALIYUN.COM/DOCUMENT_DETAIL/127413.HTML, pages 1 - 7 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12019652B2 (en) | Method and device for synchronizing node data | |
| WO2016206600A1 (zh) | 一种信息流数据的处理方法和装置 | |
| CN109308170B (zh) | 一种数据处理方法及装置 | |
| WO2023103419A1 (zh) | 基于消息队列的5g消息批量发送方法、装置及电子设备 | |
| CN110442481B (zh) | 业务处理方法、业务组件容器及电子设备 | |
| EP4030314A1 (en) | Blockchain-based data processing method, apparatus and device, and readable storage medium | |
| EP4198861A1 (en) | Information processing method and apparatus for blockchain network, and device and storage medium | |
| US20200204688A1 (en) | Picture book sharing method and apparatus and system using the same | |
| US8265095B2 (en) | Resource management finite state machine for handling resource management tasks separate from a protocol finite state machine | |
| CN112953757A (zh) | 数据分发方法、系统和计算机设备 | |
| CN112559857A (zh) | 基于Redis的人群包应用方法、系统、电子设备及存储介质 | |
| CN113434312A (zh) | 数据血缘关系处理方法及装置 | |
| US20150067066A1 (en) | Provisioning Communication Services using Proxy Server in a Cloud | |
| CN111782473A (zh) | 分布式日志数据处理方法、装置及系统 | |
| CN108259595A (zh) | 一种服务间异步调用的方法及系统 | |
| CN109636460B (zh) | 一种业务处理方法、装置、设备及存储介质 | |
| CN113672488A (zh) | 日志文本处理方法及装置 | |
| CN112825525B (zh) | 用于处理事务的方法和装置 | |
| CN112270572A (zh) | 自动化营销方法、系统、电子设备及计算机可读存储介质 | |
| CN113641420A (zh) | 基于Flink的工作流引擎实现方法、系统、设备及存储介质 | |
| CN112486468A (zh) | 基于spark内核的任务执行方法、系统和计算机设备 | |
| CN109067864B (zh) | 通知消息推送方法、装置及电子设备 | |
| CN113535420A (zh) | 一种消息处理方法和装置 | |
| CN111913807A (zh) | 一种基于多个存储区域的事件处理方法、系统及装置 | |
| US20230188619A1 (en) | Methods and systems for event management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |