CN116048533B - 一种运行Flink任务解决依赖隔离的实现方法及系统 - Google Patents

一种运行Flink任务解决依赖隔离的实现方法及系统 Download PDF

Info

Publication number
CN116048533B
CN116048533B CN202310344226.2A CN202310344226A CN116048533B CN 116048533 B CN116048533 B CN 116048533B CN 202310344226 A CN202310344226 A CN 202310344226A CN 116048533 B CN116048533 B CN 116048533B
Authority
CN
China
Prior art keywords
task
history
jar
flink
dependency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310344226.2A
Other languages
English (en)
Other versions
CN116048533A (zh
Inventor
郑舒俊
原攀峰
陈廷梁
陈廷权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuxin Network Co ltd
Original Assignee
Zhejiang Shuxin Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuxin Network Co ltd filed Critical Zhejiang Shuxin Network Co ltd
Priority to CN202310344226.2A priority Critical patent/CN116048533B/zh
Publication of CN116048533A publication Critical patent/CN116048533A/zh
Application granted granted Critical
Publication of CN116048533B publication Critical patent/CN116048533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/43—Checking; Contextual analysis
    • G06F8/433—Dependency analysis; Data or control flow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种运行Flink任务解决依赖隔离的实现方法，属于大数据技术实时计算领域；该方法包括：上传依赖jar包；获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；获取Flink任务；根据Flink任务，生成Flink任务的依赖唯一值；将Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配。本发明还提供一种运行Flink任务解决依赖隔离的系统。本发明解决了Flink不同任务之间依赖隔离，并大大提高了资源的利用率。

Description

一种运行Flink任务解决依赖隔离的实现方法及系统
技术领域
本发明涉及大数据技术实时计算领域，具体涉及一种运行Flink任务解决依赖隔离的实现方法及系统。
背景技术
Flink作为一个高吞吐、低延迟的分布式流/批一体的计算引擎，在大数据技术领域有着广泛的应用。
Flink目前支持 Session，Per-Job和Application三种运行模式，其中session模式和其它两种模式有着不同的集群生命周期和资源隔离。
Flink在运行不同的任务时一般会需要依赖不同的jar包，包括各种connector、自定义udf和第三方依赖。另外，由于Flink版本升级较快，经常会遇到不同任务或同一个任务需要依赖不同Flink版本的jar包。那么，为了避免不同依赖导致jar包冲突，就需要实现任务的资源隔离。
现在比较常用的解决资源隔离的方式是任务启动的时候，提前把 Flink lib目录上传到 HDFS 上面，任务启动的时候指定yarn.provided.lib.dirs参数为hdfs地址，然后设置child-first的加载策略来解决类加载冲突。这种方式实现资源隔离目前存在如下2个问题：
1、每次新增任务，如果依赖不同jar，需要单独将所有jar提前上传到hdfs，不同的任务需要配置属于自身的hdfs地址，无法做到共用同一份公共资源，会造成集群资源的浪费。
2、Flink Session模式启动的时候会提前加载所有的jar，任务提交到session集群上，只能依赖session启动时候加载的jar包，无法做到动态添加依赖。
发明内容
本发明的目的在于提供一种运行Flink任务解决依赖隔离的实现方法及系统，用于提高资源的利用率。
为解决上述技术问题，本发明提供一种运行Flink任务解决依赖隔离的实现方法，包括以下步骤：
上传依赖jar包；
获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
获取Flink任务；
根据Flink任务，生成Flink任务的依赖唯一值；
将Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
若匹配成功，则下载相应的历史jar包集合；
若匹配失败，则根据Flink任务，下载相应的依赖jar包。
优选地，获取Flink任务，具体包括以下步骤：
用户新建Flink任务并上传用户jar包。
优选地，根据Flink任务，下载相应的依赖jar包，具体包括以下步骤：
根据Flink任务，将相应的上传的依赖jar包和上传的用户jar包共同打包，生成集合包；
用户下载相应的集合包。
优选地，用户下载相应的集合包之后，还包括以下步骤：
将该集合包作为历史集合包加入历史数据。
优选地，所述Flink任务包括用户jar包和待下载依赖jar包。
优选地，根据Flink任务，生成Flink任务的依赖唯一值，具体包括以下步骤：
对Flink任务的用户jar包和待下载依赖jar包先按照名称排序，再将所有名称组合在一起拼接成一个字符串，通过hash算法生成一个hash值作为依赖唯一值。
优选地，所述名称排序为ASCII码排序。
优选地，所述hash算法为BKDR Hash算法。
优选地，所述依赖jar包包括数据源连接connector、自定义函数udf和其它jar。
本发明还提供一种运行Flink任务解决依赖隔离的系统，包括：
上传模块，用于上传依赖jar包；
历史数据获取模块，用于获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
Flink任务获取模块，用于获取Flink任务；
依赖唯一值生成模块，用于根据Flink任务，生成Flink任务的依赖唯一值；
匹配模块，用于Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
第一下载模块，用于下载相应的历史jar包集合；
第二下载模块，用于根据Flink任务，下载相应的依赖jar包。
与现有技术相比，本发明的有益效果为：
1、解决了Flink不同任务之间依赖隔离，特别是session模式的任务，也可以做到动态的添加依赖。
2、大大提高了资源的利用率，相同的依赖jar只下载一次，相同的用户jar包只打包一次，实现重复利用。公共jar包统一管理，不同任务只需一份，无需针对每个任务单独隔离。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1是本发明一种运行Flink任务解决依赖隔离的实现方法的流程示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种运行Flink任务解决依赖隔离的实现方法，包括以下步骤：
上传依赖jar包；
获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
获取Flink任务；
根据Flink任务，生成Flink任务的依赖唯一值；
将Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
若匹配成功，则下载相应的历史jar包集合；
若匹配失败，则根据Flink任务，下载相应的依赖jar包。
优选地，获取Flink任务，具体包括以下步骤：
用户新建Flink任务并上传用户jar包。
优选地，根据Flink任务，下载相应的依赖jar包，具体包括以下步骤：
根据Flink任务，将相应的上传的依赖jar包和上传的用户jar包共同打包，生成集合包；
用户下载相应的集合包。
优选地，用户下载相应的集合包之后，还包括以下步骤：
将该集合包作为历史集合包加入历史数据。
优选地，所述Flink任务包括用户jar包和待下载依赖jar包。
优选地，根据Flink任务，生成Flink任务的依赖唯一值，具体包括以下步骤：
对Flink任务的用户jar包和待下载依赖jar包先按照名称排序，再将所有名称组合在一起拼接成一个字符串，通过hash算法生成一个hash值作为依赖唯一值。
优选地，所述名称排序为ASCII码排序。
优选地，所述hash算法为BKDR Hash算法。
优选地，所述依赖jar包包括数据源连接connector、自定义函数udf和其它jar。
本发明还提供一种运行Flink任务解决依赖隔离的系统，包括：
上传模块，用于上传依赖jar包；
历史数据获取模块，用于获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
Flink任务获取模块，用于获取Flink任务；
依赖唯一值生成模块，用于根据Flink任务，生成Flink任务的依赖唯一值；
匹配模块，用于Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
第一下载模块，用于下载相应的历史jar包集合；
第二下载模块，用于根据Flink任务，下载相应的依赖jar包。
为了更好的说明本发明的技术效果，本发明提供如下具体实施例说明上述技术流程：
实施例1、一种运行Flink任务解决依赖隔离的实现方法：
本发明针对目前Flink不同任务运行依赖不同资源，提供一种实现方式，不仅可以有效解决依赖隔离，还具备任务添加依赖的便捷性和高效的资源利用率。并且，很好地解决了目前Flink Session任务无法动态添加依赖jar包的问题。
其采用的技术方案如下：
技术方案设计3个主要的接口服务，来实现执行不同Flink任务隔离不同的资源，分别是：依赖管理器-DenpendencyManager、打包执行器-PackageExecutor、任务执行器-TaskExecutor。
DenpendencyManager：负责管理用户上传的Connector、udf和第三方依赖jar包。
PackageExecutor：负责将任务执行的用户jar包和所有依赖jar包都一起打包成一个jar包集合，名字叫做shadeUserJar（集合包）。
TaskExecutor：负责执行Flink任务，将Flink的3种运行模式都统一成一种运行逻辑。
具体实现步骤如下：
1）、用户在界面添加任务依赖，任务依赖添加有两种形式，可以上传jar包，也可以添加依赖描述（比如maven、gradle、stb等）。依赖描述必须包含三个数据：groupId（组织唯一标识符）、artifactId（项目唯一标识符）、version（项目版本号）。
如果上传的是jar包，DenpendencyManager会将jar包上传到MinIO存储集群作为依赖jar包，其中上传的依赖jar包的名称也必须符合groupId-artifactId-version统一规范；
如果是依赖描述，DenpendencyManager会采用Apache Ivy技术自动将根据依赖描述，先从Ivy仓库中下载相应的jar包，再上传到MinIO存储集群作为依赖jar包，依赖jar包的名称也是按照groupId-artifactId-version的格式来命名。
这里的Ivy仓库作为下载依赖jar包的地址，可以是公网仓库，也可以是自己搭建的内网仓库。而MinIO是内网配置的统一对象存储集群。其中，任务所依赖的jar包本身也可能会依赖其它jar包，Apache Ivy技术可以实现将依赖包所依赖的jar包一并从 Ivy仓库下载下来。
用户添加依赖十分便利，可以手动上传也可以直接指定依赖的描述信息，支持各种形式的描述（maven、gradle、stb等）。
2）、用户新建Flink任务的时候，需要用户上传任务运行的用户jar包，该用户jar包也会上传到MinIO存储集群。
如果该任务需要依赖其它jar包，用户可以自由选择步骤1中配置的依赖jar包，依赖jar包可能有connector（数据源连接）、udf（自定义函数）和其它依赖。运行任务的时候，PackageExecutor会调用DenpendencyManager的方法，根据Flink任务的配置信息，去MinIO存储集群下载该任务相关的用户jar包和依赖jar包。此时，PackageExecutor会根据jar包的名称来判断是否已经存在，已存在的jar包不会重复下载。
3）、PackageExecutor对任务的用户jar包和依赖jar包先按照名称排序（ASCII码排序），再将所有名称组合在一起拼接成一个字符串，通过“hash算法”生成一个hash值：taskJarHash；
taskJarHash可以作为该任务依赖唯一值，只要该值相同就认为任务是同一个任务。
上面所说的“hash算法”可以使用BKDR Hash算法，该算法可使Hash冲突的概率小于十万分之一，冲突可忽略不计。
4）、PackageExecutor使用maven-shade-plugin技术将步骤3中下载下来的用户jar包和依赖jar包（包括connector、udf和其它jar）一起打包，打包成一个shadeUserJar（包含依赖的用户jar包），并以步骤3生成的taskJarHash作为最终的shadeUserJar的名称。DenpendencyManager会将生成的shadeUserJar上传到MinIO存储集群，每次打包前会先判断MinIO存储集群上是否存在该名称（taskJarHash）的shadeUserJar，如果存在就可以复用，避免重复打包。
5）、用户手动执行任务或者任务被调度执行，TaskExecutor负责将任务提交到集群执行。任务执行设置参数yarn.provided.lib.dirs为hdfs上的目录，该目录保存的jar包为任务之间公共的依赖，如果flink版本相同，指向相同的目录即可。
执行的jar包为步骤4中PackageExecutor打包出来的shadeUserJar，该jar包实现了依赖隔离。设置参数classloader.resolve-order为child-first的类加载策略来实现用户类优先加载，避免代码兼容性问题。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块、模组或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元、模组或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的方法中限定的上述功能。需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种运行Flink任务解决依赖隔离的实现方法，其特征在于，包括以下步骤：
上传依赖jar包；
获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
获取Flink任务；
根据Flink任务，生成Flink任务的依赖唯一值；
将Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
若匹配成功，则下载相应的历史jar包集合；
若匹配失败，则根据Flink任务，下载相应的依赖jar包。
2.根据权利要求1所述的运行Flink任务解决依赖隔离的实现方法，其特征在于，获取Flink任务，具体包括以下步骤：
用户新建Flink任务并上传用户jar包。
3.根据权利要求2所述的运行Flink任务解决依赖隔离的实现方法，其特征在于，根据Flink任务，下载相应的依赖jar包，具体包括以下步骤：
根据Flink任务，将相应的上传的依赖jar包和上传的用户jar包共同打包，生成集合包；
用户下载相应的集合包。
4.根据权利要求3所述的运行Flink任务解决依赖隔离的实现方法，其特征在于，用户下载相应的集合包之后，还包括以下步骤：
将该集合包作为历史集合包加入历史数据。
5.根据权利要求1所述的运行Flink任务解决依赖隔离的实现方法，其特征在于：
所述Flink任务包括用户jar包和待下载依赖jar包。
6.根据权利要求5所述的运行Flink任务解决依赖隔离的实现方法，其特征在于，根据Flink任务，生成Flink任务的依赖唯一值，具体包括以下步骤：
对Flink任务的用户jar包和待下载依赖jar包先按照名称排序，再将所有名称组合在一起拼接成一个字符串，通过hash算法生成一个hash值作为依赖唯一值。
7.根据权利要求6所述的运行Flink任务解决依赖隔离的实现方法，其特征在于：
所述名称排序为ASCII码排序。
8.根据权利要求6所述的运行Flink任务解决依赖隔离的实现方法，其特征在于：
所述hash算法为BKDR Hash算法。
9.根据权利要求1所述的运行Flink任务解决依赖隔离的实现方法，其特征在于：
所述依赖jar包包括数据源连接connector、自定义函数udf和其它jar。
10.一种运行Flink任务解决依赖隔离的系统，用于实现如权利要求1-9任一所述的运行Flink任务解决依赖隔离的实现方法，其特征在于，包括：
上传模块，用于上传依赖jar包；
历史数据获取模块，用于获取历史数据；所述历史数据包括若干历史集合包；所述历史集合包包括历史jar包集合和历史依赖唯一值；
Flink任务获取模块，用于获取Flink任务；
依赖唯一值生成模块，用于根据Flink任务，生成Flink任务的依赖唯一值；
匹配模块，用于Flink任务的依赖唯一值与历史数据中的各个历史集合包的历史依赖唯一值进行匹配；
第一下载模块，用于下载相应的历史jar包集合；
第二下载模块，用于根据Flink任务，下载相应的依赖jar包。
CN202310344226.2A 2023-04-03 2023-04-03 一种运行Flink任务解决依赖隔离的实现方法及系统 Active CN116048533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310344226.2A CN116048533B (zh) 2023-04-03 2023-04-03 一种运行Flink任务解决依赖隔离的实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310344226.2A CN116048533B (zh) 2023-04-03 2023-04-03 一种运行Flink任务解决依赖隔离的实现方法及系统

Publications (2)

Publication Number Publication Date
CN116048533A CN116048533A (zh) 2023-05-02
CN116048533B true CN116048533B (zh) 2023-07-25

Family

ID=86131696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310344226.2A Active CN116048533B (zh) 2023-04-03 2023-04-03 一种运行Flink任务解决依赖隔离的实现方法及系统

Country Status (1)

Country Link
CN (1) CN116048533B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117519774A (zh) * 2023-11-01 2024-02-06 广州市玄武无线科技股份有限公司 一种flink的打包方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739523A (zh) * 2019-01-03 2019-05-10 Oppo广东移动通信有限公司 应用程序打包方法、装置、存储介质及终端
CN111142928A (zh) * 2019-12-05 2020-05-12 福建天泉教育科技有限公司 一种前端项目自动构建的方法及终端
CN113031972A (zh) * 2020-12-02 2021-06-25 杭州玳数科技有限公司 一种云原生场景下flink流计算依赖文件与镜像解耦方法
CN114489833A (zh) * 2021-12-31 2022-05-13 武汉达梦数据库股份有限公司 一种在应用程序中提交flink作业到yarn集群的实现方法与装置
CN115237435A (zh) * 2022-08-09 2022-10-25 杭州玳数科技有限公司 一种将PyFlink任务部署到yarn集群的方法
CN115562686A (zh) * 2022-10-10 2023-01-03 北京中海闻达信息技术有限公司 一种SpringBoot项目轻量级打包方法、系统、终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739523A (zh) * 2019-01-03 2019-05-10 Oppo广东移动通信有限公司 应用程序打包方法、装置、存储介质及终端
CN111142928A (zh) * 2019-12-05 2020-05-12 福建天泉教育科技有限公司 一种前端项目自动构建的方法及终端
CN113031972A (zh) * 2020-12-02 2021-06-25 杭州玳数科技有限公司 一种云原生场景下flink流计算依赖文件与镜像解耦方法
CN114489833A (zh) * 2021-12-31 2022-05-13 武汉达梦数据库股份有限公司 一种在应用程序中提交flink作业到yarn集群的实现方法与装置
CN115237435A (zh) * 2022-08-09 2022-10-25 杭州玳数科技有限公司 一种将PyFlink任务部署到yarn集群的方法
CN115562686A (zh) * 2022-10-10 2023-01-03 北京中海闻达信息技术有限公司 一种SpringBoot项目轻量级打包方法、系统、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Flink实时计算的自动化流控制算法;樊春美;朱建生;单杏花;杨立鹏;李雯;;计算机技术与发展(第08期);全文 *

Also Published As

Publication number Publication date
CN116048533A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US11875173B2 (en) Execution of auxiliary functions in an on-demand network code execution system
US10949237B2 (en) Operating system customization in an on-demand network code execution system
US9038059B2 (en) Automatically targeting application modules to individual machines and application framework runtimes instances
CA2962633C (en) Programmatic event detection and message generation for requests to execute program code
US9672053B2 (en) Service request processing
US10613853B2 (en) Updating software components through online stores
US9128793B2 (en) Method, system and server for downloading installation package
CN116048533B (zh) 一种运行Flink任务解决依赖隔离的实现方法及系统
CN109375933B (zh) 一种客户端升级的方法及设备
CN110543324B (zh) 一种应用程序的插件增量更新方法及装置
WO2014183447A1 (en) Method, system and sever for downloading installation package
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN112769706B (zh) 组件化路由方法及系统
CN114296835B (zh) 应用程序的启动方法和装置
CN113010377B (zh) 一种作业的运行日志的采集方法及装置
CN115562686A (zh) 一种SpringBoot项目轻量级打包方法、系统、终端及存储介质
CN112148333B (zh) 区块链服务器固件更新系统
CN111857736B (zh) 云计算产品的生成方法、装置、设备及存储介质
CN112559079A (zh) 数据源连接驱动自适应加载方法、装置及电子设备
US20230315541A1 (en) Tightly coupled parallel applications on a serverless computing system
CN111338651B (zh) 下载资源提供方法及装置、资源下载方法及装置
US20240220305A1 (en) Execution of auxiliary functions in an on-demand network code execution system
CN115113900A (zh) 编译项目文件的更新方法、装置、存储介质及电子装置
CN117762434A (zh) 原生应用打包方法、装置、电子设备及存储介质
CN115756549A (zh) 一种大数据中台数据的下载方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Implementation Method and System for Solving Dependency Isolation by Running Flink Tasks

Effective date of registration: 20230905

Granted publication date: 20230725

Pledgee: Zhejiang Hangzhou Yuhang Rural Commercial Bank Co.,Ltd. Science and Technology City Branch

Pledgor: Zhejiang Shuxin Network Co.,Ltd.

Registration number: Y2023980055324

PE01 Entry into force of the registration of the contract for pledge of patent right