CN117289924A - 一种基于Flink的可视化任务编排系统和方法 - Google Patents
一种基于Flink的可视化任务编排系统和方法 Download PDFInfo
- Publication number
- CN117289924A CN117289924A CN202311330586.3A CN202311330586A CN117289924A CN 117289924 A CN117289924 A CN 117289924A CN 202311330586 A CN202311330586 A CN 202311330586A CN 117289924 A CN117289924 A CN 117289924A
- Authority
- CN
- China
- Prior art keywords
- task
- user
- tasks
- plug
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000011161 development Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 7
- 239000003054 catalyst Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000012938 design process Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 10
- 230000010354 integration Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于Flink的可视化任务编排系统和方法，它提供了直观的操作界面，用户可以通过拖拽和连接任务节点来创建和配置任务流程，无需编写复杂的代码。系统支持任务调度和监控功能，用户可以设置任务的调度规则，并实时监控任务的状态和性能指标。此外，系统还支持多数据源和目的地集成，用户可以方便地处理不同数据源和目的地之间的数据流转。系统具有可扩展性和可维护性，支持任务模板的创建和复用，同时还支持开发自定义的计算组件，以满足不同的流式数据计算需求。本发明的优点是：简化任务编排流程、提高任务开发效率。
Description
技术领域
本发明涉及大数据实时计算技术领域，特别涉及一种基于Flink的可视化任务编排系统和方法。
背景技术
Flink是一个开源的流处理框架，具有强大的功能和灵活性，用于在无边界和有边界数据流上进行有状态的计算。但是，Flink的任务编排过程对于用户来说非常复杂和繁琐。用户需要了解Flink的底层架构和开发方法并开发相应Flink程序，这对于不熟悉Flink的用户来说可能很困难，同时可维护性和灵活性也不高。
发明内容
本发明针对现有技术的缺陷，提供了一种基于Flink的可视化任务编排系统和方法。使用图形化界面来帮助用户编排Flink任务。用户可以通过拖放节点来创建任务图，并通过配置节点来指定任务的参数。该系统还提供任务监控功能，帮助用户实时监控任务的运行状态。
为了实现以上发明目的，本发明采取的技术方案如下：
一种可视化Flink任务编排系统，包括：
插件管理模块：该模块负责管理任务插件，用户可以按照系统规定的规则开发并上传任务插件，插件以jar格式存储。系统利用Java的SPI机制完成插件的动态加载，使得插件可以被系统识别和调用。
图形化界面模块：该模块提供图形化界面，用户可以通过此界面来编排Flink任务。用户可以选择已上传的插件，并将这些插件按照任务的逻辑依赖关系进行连接。编排完成后，任务的GAG图以json格式存储到数据库中。
环境配置模块：在任务设计过程中，用户可以配置任务的运行模式，包括批量模式和流式模式。不同的运行模式对应不同的Flink运行时环境配置。该模块负责管理和配置任务的运行模式和环境相关信息。
Catalog管理模块：该模块负责管理任务的Catalog。用户在任务设计过程中可以配置Catalog，用于减少数据源和目标源的配置。在Flink任务运行前，根据配置的Catalog进行注册，可以注册多种类型的Catalog，包括：Mysql、Oracle、PostgreSQL和ApachePaimon。
任务编排模块：任务编排模块负责将用户在图形化界面中编排的任务转换为Flink任务。它会解析图形化页面设计的DAG图，调用每个节点配置插件中的构建方法，并传入算子中配置的参数。在构建方法中，使用Flink Table API完成source、sink的注册以及过滤、聚合操作。
任务监控模块：任务监控模块负责监控Flink任务的运行状态，并将任务的运行状态实时显示在图形化界面上。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。
任务执行模块：该模块负责将转换完成的任务提交到远程的Flink环境中运行。根据用户配置的任务运行模式和环境配置，将任务提交给Flink集群运行，并监控任务的运行状态。
进一步地，所述插件管理模块包括以下组成部分：
插件仓库：插件仓库存储用户上传的插件,具体的存储方式选择数据库存储或本地文件系统存储；
插件管理器：插件管理器负责管理插件仓库中的插件，包括插件的上传、下载、删除和更新。
进一步地，所述图形化界面模块包括以下组成部分：
任务管理器：任务管理器负责创建任务，启动任务，删除任务，设置定时执行规则；
任务编辑器：任务编辑器负责用户编排Flink任务，包括配置任务类型、添加节点、连接节点和配置节点。
进一步地，所述任务编排模块包括以下组成部分：
任务解析器：任务解析器负责解析用户在图形化界面模块中编排的任务，并生成Flink任务的配置文件。
任务构建器：任务构建器负责根据Flink任务的配置文件构建Flink任务，并将任务远程提交到Flink集群执行任务计划。
本发明还公开了上述可视化Flink任务编排系统的运行方法，包括以下步骤：
1)开发和上传任务插件：在系统中，用户可以按照规定要求开发任务插件，并将插件以jar格式上传到系统中。插件管理模块负责管理和维护这些任务插件。
2)创建和编排任务：用户通过图形化界面模块可以创建任务，并进行可视化的编排。用户可以选择已上传的任务插件，并将这些插件按照任务的逻辑依赖关系进行连接。用户还可以配置任务的运行模式和环境相关信息。
3)转换和校验任务：任务编排模块负责将用户编排的任务转换成Flink任务。在转换的过程中，系统会对任务进行校验，包括任务插件的依赖关系、参数的合法性等。如果存在错误或不完整的配置，系统会提示用户进行修正。
4)提交和运行任务：转换完成的任务会被提交到远程的Flink环境中运行。任务执行模块负责将任务提交给Flink集群，并监控任务的运行状态。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。
5)监控和管理任务：任务监控模块负责监控任务的运行状态，并将任务的运行状态实时显示在图形化界面上。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。同时，用户还可以管理任务，包括任务的启动、停止、重启等操作。
与现有技术相比，本发明的优点在于：
1.易于使用：可视化Flink任务编排系统提供直观的图形界面，使用户能够通过拖拽和连接任务节点来创建和配置任务流程，无需编写复杂的代码。这降低了任务编排的门槛，使非技术人员也能够轻松上手。
2.可视化任务调度和监控：系统提供任务调度和监控功能，用户可以通过界面直接设置任务的调度规则，例如定时触发、依赖触发等。同时，系统实时监控任务的状态和性能指标，如执行时间、吞吐量等，方便用户了解任务的运行情况。
3.强大的任务调度能力：可视化Flink任务编排系统支持复杂的任务调度需求。用户可以通过系统提供的图形界面配置任务的依赖关系、并行度、资源分配等，灵活地调度任务的执行顺序和并发度，以满足实际业务需求。
4.多数据源和目的地集成：系统可以集成多种数据源和目的地，如Kafka、HDFS、MySQL等。用户可以通过图形界面配置任务的输入和输出，方便地处理不同数据源和目的地之间的数据流转。
5.可扩展性和可维护性：可视化Flink任务编排系统基于分布式架构设计，支持大规模任务的编排和执行。同时，系统提供任务管理、日志查看、错误处理等功能，方便用户对任务进行监控和维护。此外，系统支持任务模板的创建和复用，提高了任务的可扩展性和可维护性。
6.高效的任务开发：通过可视化编排，数据开发人员只需在图形界面上配置任务节点并将节点进行连接，就可以完成数据的计算。这大大节省了开发Flink任务的时间。
7.可扩展的插件支持：可视化Flink任务编排系统支持开发不同的插件，以满足不同的流式数据计算要求。用户可以开发自己的计算组件，实现不同的计算方法，从而提升系统的灵活性和功能扩展性。
附图说明
图1是本发明实施例可视化Flink任务编排系统结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，本发明提供一种可视化Flink任务编排系统，包括：
插件管理模块：该模块负责管理任务插件，用户可以按照系统规定的规则开发并上传任务插件，插件以jar格式存储。系统利用Java的SPI机制完成插件的动态加载，使得插件可以被系统识别和调用。
图形化界面模块：该模块提供图形化界面，用户可以通过此界面来编排Flink任务。用户可以选择已上传的插件，并将这些插件按照任务的逻辑依赖关系进行连接。编排完成后，任务的GAG图以json格式存储到数据库中。
环境配置模块：在任务设计过程中，用户可以配置任务的运行模式，包括批量模式和流式模式。不同的运行模式对应不同的Flink运行时环境配置。该模块负责管理和配置任务的运行模式和环境相关信息。
Catalog管理模块：该模块负责管理任务的Catalog。用户在任务设计过程中可以配置Catalog，用于减少数据源和目标源的配置。在Flink任务运行前，根据配置的Catalog进行注册，可以注册多种类型的Catalog，包括：Mysql、Oracle、PostgreSQL和ApachePaimon。
任务编排模块：任务编排模块负责将用户在图形化界面中编排的任务转换为Flink任务。它会解析图形化页面设计的DAG图，调用每个节点配置插件中的构建方法，并传入算子中配置的参数。在构建方法中，使用Flink Table API完成source、sink的注册以及过滤、聚合操作。
任务监控模块：任务监控模块负责监控Flink任务的运行状态，并将任务的运行状态实时显示在图形化界面上。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。
任务执行模块：该模块负责将转换完成的任务提交到远程的Flink环境中运行。根据用户配置的任务运行模式和环境配置，将任务提交给Flink集群运行，并监控任务的运行状态。
所述插件管理模块包括以下组成部分：
插件仓库：插件仓库存储用户上传的插件,具体的存储方式选择数据库存储或本地文件系统存储；
插件管理器：插件管理器负责管理插件仓库中的插件，包括插件的上传、下载、删除和更新。
所述图形化界面模块包括以下组成部分：
任务管理器：任务管理器负责创建任务，启动任务，删除任务，设置定时执行规则；
任务编辑器：任务编辑器负责用户编排Flink任务，包括配置任务类型、添加节点、连接节点和配置节点。
所述任务编排模块包括以下组成部分：
任务解析器：任务解析器负责解析用户在图形化界面模块中编排的任务，并生成Flink任务的配置文件。
任务构建器：任务构建器负责根据Flink任务的配置文件构建Flink任务，并将任务远程提交到Flink集群执行任务计划。
本发明还公开了上述可视化Flink任务编排系统的运行方法，包括以下步骤：
1)开发和上传任务插件：在系统中，用户可以按照规定要求开发任务插件，并将插件以jar格式上传到系统中。插件管理模块负责管理和维护这些任务插件。
2)创建和编排任务：用户通过图形化界面模块可以创建任务，并进行可视化的编排。用户可以选择已上传的任务插件，并将这些插件按照任务的逻辑依赖关系进行连接。用户还可以配置任务的运行模式和环境相关信息。
3)转换和校验任务：任务编排模块负责将用户编排的任务转换成Flink任务。在转换的过程中，系统会对任务进行校验，包括任务插件的依赖关系、参数的合法性等。如果存在错误或不完整的配置，系统会提示用户进行修正。
4)提交和运行任务：转换完成的任务会被提交到远程的Flink环境中运行。任务执行模块负责将任务提交给Flink集群，并监控任务的运行状态。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。
5)监控和管理任务：任务监控模块负责监控任务的运行状态，并将任务的运行状态实时显示在图形化界面上。用户可以实时查看任务的运行情况，包括任务的启动、运行中、完成等状态。同时，用户还可以管理任务，包括任务的启动、停止、重启等操作。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种可视化Flink任务编排系统，其特征在于，包括：
插件管理模块：该模块负责管理任务插件，用户能够按照系统规定的规则开发并上传任务插件，插件以jar格式存储；系统利用Java的SPI机制完成插件的动态加载，使得插件能够被系统识别和调用；
图形化界面模块：该模块提供图形化界面，用户能够通过此界面来编排Flink任务；用户能够选择已上传的插件，并将这些插件按照任务的逻辑依赖关系进行连接；编排完成后，任务的GAG图以json格式存储到数据库中；
环境配置模块：在任务设计过程中，用户能够配置任务的运行模式，包括批量模式和流式模式；不同的运行模式对应不同的Flink运行时环境配置；该模块负责管理和配置任务的运行模式和环境相关信息；
Catalog管理模块：该模块负责管理任务的Catalog；用户在任务设计过程中能够配置Catalog，用于减少数据源和目标源的配置；在Flink任务运行前，根据配置的Catalog进行注册，能够注册多种类型的Catalog，包括：Mysql、Oracle、PostgreSQL和Apache Paimon；
任务编排模块：任务编排模块负责将用户在图形化界面中编排的任务转换为Flink任务；它会解析图形化页面设计的DAG图，调用每个节点配置插件中的构建方法，并传入算子中配置的参数；在构建方法中，使用Flink Table API完成source、sink的注册以及过滤、聚合操作；
任务监控模块：任务监控模块负责监控Flink任务的运行状态，并将任务的运行状态实时显示在图形化界面上；用户能够实时查看任务的运行情况，包括任务的启动、运行中和完成；
任务执行模块：该模块负责将转换完成的任务提交到远程的Flink环境中运行；根据用户配置的任务运行模式和环境配置，将任务提交给Flink集群运行，并监控任务的运行状态。
2.根据权利要求1所述的一种可视化Flink任务编排系统，其特征在于：所述插件管理模块包括以下组成部分：
插件仓库：插件仓库存储用户上传的插件,具体的存储方式选择数据库存储或本地文件系统存储；
插件管理器：插件管理器负责管理插件仓库中的插件，包括插件的上传、下载、删除和更新。
3.根据权利要求1所述的一种可视化Flink任务编排系统，其特征在于：所述图形化界面模块包括以下组成部分：
任务管理器：任务管理器负责创建任务，启动任务，删除任务，设置定时执行规则；
任务编辑器：任务编辑器负责用户编排Flink任务，包括配置任务类型、添加节点、连接节点和配置节点。
4.根据权利要求1所述的一种可视化Flink任务编排系统，其特征在于：所述任务编排模块包括以下组成部分：
任务解析器：任务解析器负责解析用户在图形化界面模块中编排的任务，并生成Flink任务的配置文件；
任务构建器：任务构建器负责根据Flink任务的配置文件构建Flink任务，并将任务远程提交到Flink集群执行任务计划。
5.一种基于权利要求1至4其中一项所述的可视化Flink任务编排系统的运行方法，其特征在于，包括以下步骤：
1)开发和上传任务插件：在系统中，用户能够按照规定要求开发任务插件，并将插件以jar格式上传到系统中；插件管理模块负责管理和维护这些任务插件；
2)创建和编排任务：用户通过图形化界面模块能够创建任务，并进行可视化的编排；用户能够选择已上传的任务插件，并将这些插件按照任务的逻辑依赖关系进行连接；用户还能够配置任务的运行模式和环境相关信息；
3)转换和校验任务：任务编排模块负责将用户编排的任务转换成Flink任务；在转换的过程中，系统会对任务进行校验，包括任务插件的依赖关系、参数的合法性；如果存在错误或不完整的配置，系统会提示用户进行修正；
4)提交和运行任务：转换完成的任务会被提交到远程的Flink环境中运行；任务执行模块负责将任务提交给Flink集群，并监控任务的运行状态；用户能够实时查看任务的运行情况，包括任务的启动、运行中和完成状态；
5)监控和管理任务：任务监控模块负责监控任务的运行状态，并将任务的运行状态实时显示在图形化界面上；用户能够实时查看任务的运行情况，包括任务的启动、运行中和完成状态；同时，用户还能够管理任务，包括任务的启动、停止和重启操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330586.3A CN117289924A (zh) | 2023-10-13 | 2023-10-13 | 一种基于Flink的可视化任务编排系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330586.3A CN117289924A (zh) | 2023-10-13 | 2023-10-13 | 一种基于Flink的可视化任务编排系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117289924A true CN117289924A (zh) | 2023-12-26 |
Family
ID=89247905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311330586.3A Pending CN117289924A (zh) | 2023-10-13 | 2023-10-13 | 一种基于Flink的可视化任务编排系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117289924A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004055633A2 (en) * | 2002-12-12 | 2004-07-01 | Bea Systems, Inc. | System and method for software application development in a portal environment |
| US20160259626A1 (en) * | 2015-03-06 | 2016-09-08 | Saggezza Inc. | Systems and methods for generating data visualization applications |
| CN109815283A (zh) * | 2018-12-18 | 2019-05-28 | 中科曙光南京研究院有限公司 | 一种异构数据源可视化查询方法 |
| CN111352616A (zh) * | 2020-02-20 | 2020-06-30 | 苏宁云计算有限公司 | 实时计算可视化开发系统及其应用方法 |
| CN112328220A (zh) * | 2020-11-06 | 2021-02-05 | 江苏云坤信息科技有限公司 | 基于拖拽编排方式的流式数据处理系统及其处理方法 |
| CN112632082A (zh) * | 2020-12-30 | 2021-04-09 | 中国农业银行股份有限公司 | 一种创建Flink作业的方法及装置 |
| CN113254010A (zh) * | 2021-07-09 | 2021-08-13 | 广州光点信息科技有限公司 | 一种可视化dag工作流任务调度系统及其运行方法 |
| CN113590094A (zh) * | 2021-07-29 | 2021-11-02 | 国泰君安证券股份有限公司 | 基于Flink的一站式任务开发、部署、运维平台系统、方法、装置、存储器及存储介质 |
| CN113821538A (zh) * | 2021-08-27 | 2021-12-21 | 中通服公众信息产业股份有限公司 | 一种基于元数据的流式数据处理系统 |
| CN114579190A (zh) * | 2022-02-17 | 2022-06-03 | 中国科学院计算机网络信息中心 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
| WO2022135478A1 (zh) * | 2020-12-25 | 2022-06-30 | 第四范式（北京）技术有限公司 | 任务的编排方法和编排装置 |
| CN115599524A (zh) * | 2022-10-27 | 2023-01-13 | 中国兵器工业计算机应用技术研究所（Cn） | 一种基于流数据和批数据协同调度处理的数据湖系统 |
| US11775334B1 (en) * | 2023-01-10 | 2023-10-03 | Fmr Llc | Provisioning and managing data orchestration platforms in a cloud computing environment |
-
2023
- 2023-10-13 CN CN202311330586.3A patent/CN117289924A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004055633A2 (en) * | 2002-12-12 | 2004-07-01 | Bea Systems, Inc. | System and method for software application development in a portal environment |
| US20160259626A1 (en) * | 2015-03-06 | 2016-09-08 | Saggezza Inc. | Systems and methods for generating data visualization applications |
| CN109815283A (zh) * | 2018-12-18 | 2019-05-28 | 中科曙光南京研究院有限公司 | 一种异构数据源可视化查询方法 |
| CN111352616A (zh) * | 2020-02-20 | 2020-06-30 | 苏宁云计算有限公司 | 实时计算可视化开发系统及其应用方法 |
| CN112328220A (zh) * | 2020-11-06 | 2021-02-05 | 江苏云坤信息科技有限公司 | 基于拖拽编排方式的流式数据处理系统及其处理方法 |
| WO2022135478A1 (zh) * | 2020-12-25 | 2022-06-30 | 第四范式（北京）技术有限公司 | 任务的编排方法和编排装置 |
| CN112632082A (zh) * | 2020-12-30 | 2021-04-09 | 中国农业银行股份有限公司 | 一种创建Flink作业的方法及装置 |
| CN113254010A (zh) * | 2021-07-09 | 2021-08-13 | 广州光点信息科技有限公司 | 一种可视化dag工作流任务调度系统及其运行方法 |
| CN113590094A (zh) * | 2021-07-29 | 2021-11-02 | 国泰君安证券股份有限公司 | 基于Flink的一站式任务开发、部署、运维平台系统、方法、装置、存储器及存储介质 |
| CN113821538A (zh) * | 2021-08-27 | 2021-12-21 | 中通服公众信息产业股份有限公司 | 一种基于元数据的流式数据处理系统 |
| CN114579190A (zh) * | 2022-02-17 | 2022-06-03 | 中国科学院计算机网络信息中心 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
| CN115599524A (zh) * | 2022-10-27 | 2023-01-13 | 中国兵器工业计算机应用技术研究所（Cn） | 一种基于流数据和批数据协同调度处理的数据湖系统 |
| US11775334B1 (en) * | 2023-01-10 | 2023-10-03 | Fmr Llc | Provisioning and managing data orchestration platforms in a cloud computing environment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108037973B (zh) | 一种与数据处理工具交互的数据流建模和处理系统 | |
| US9111037B1 (en) | Method and apparatus to enable mainframe computer testing for software testing management platform | |
| US10929771B2 (en) | Multimodal, small and big data, machine tearing systems and processes | |
| US20200125344A1 (en) | Persistent context for reusable pipeline components | |
| US20120324454A1 (en) | Control Flow Graph Driven Operating System | |
| US10296296B2 (en) | Integrated development environment for analytic authoring | |
| US11651272B2 (en) | Machine-learning-facilitated conversion of database systems | |
| US10459774B2 (en) | Self-aware and self-registering software and analytics platform components | |
| CN111797157B (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| US9667715B2 (en) | Method for controlling changes in a computer system | |
| US20140123114A1 (en) | Framework for integration and execution standardization (fiesta) | |
| Eichelberger et al. | Experiences with the model-based generation of big data pipelines | |
| US9690617B2 (en) | Adjustment of a task execution plan at runtime | |
| US9395977B2 (en) | Locating program code units after software refactoring | |
| CN112114816B (zh) | 一种分布式编译系统和方法 | |
| CN117289924A (zh) | 一种基于Flink的可视化任务编排系统和方法 | |
| US20160299946A1 (en) | Usage and Symptom Oriented SQL Statement Optimization | |
| WO2022253165A1 (zh) | 调度方法、系统、服务器和计算机可读存储介质 | |
| US20230236828A1 (en) | Build-independent software framework for creating custom adapters | |
| US11573777B2 (en) | Method and apparatus for enabling autonomous acceleration of dataflow AI applications | |
| KR102046622B1 (ko) | 워크플로우 기반 소프트웨어 서비스 시스템 및 이 시스템의 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램 | |
| CN114675948A (zh) | 一种dag数据模型动态调度方法及系统 | |
| CN112183982A (zh) | 一种工作流程创建方法、装置、计算机设备及存储介质 | |
| CN117806654B (zh) | 一种基于Tekton的自定义云原生DevOps流水线系统及方法 | |
| US20240242076A1 (en) | Method and device for testing deep learning model and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |