CN116893860A - 一种将Chunjun同步任务中不同版本数据源进行隔离的方法 - Google Patents

一种将Chunjun同步任务中不同版本数据源进行隔离的方法 Download PDF

Info

Publication number
CN116893860A
CN116893860A CN202310897279.7A CN202310897279A CN116893860A CN 116893860 A CN116893860 A CN 116893860A CN 202310897279 A CN202310897279 A CN 202310897279A CN 116893860 A CN116893860 A CN 116893860A
Authority
CN
China
Prior art keywords
chunjun
jar
connector
different versions
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310897279.7A
Other languages
English (en)
Other versions
CN116893860B (zh
Inventor
李志强
徐进挺
陈吉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Daishu Technology Co ltd
Original Assignee
Hangzhou Daishu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Daishu Technology Co ltd filed Critical Hangzhou Daishu Technology Co ltd
Priority to CN202310897279.7A priority Critical patent/CN116893860B/zh
Publication of CN116893860A publication Critical patent/CN116893860A/zh
Application granted granted Critical
Publication of CN116893860B publication Critical patent/CN116893860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种将Chunjun同步任务中不同版本数据源进行隔离的方法，涉及数据处理技术领域，包括以下步骤：启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中；提交任务到FlinkSession时确定任务用到的所有Container中Connector Jar包的URL路径，并将每个URL路径转换为对应项目结构下的相对路径；运行任务时提取每个Connector Jar包名中包含的插件名称，并基于各个插件名称和相对路径构建JobManager和TaskManager的类加载器体系。本申请基于Flink计算框架构建新类加载器体系，实现了多数据源的版本兼容性，使以前在不同版本相同数据源的任务同时运行成为可能，同时还降低了开发门槛，降低了开发Connector过程中不断通过Maven Shade Plugin解决类冲突的时间成本，大大提高了开发效率。

Description

一种将Chunjun同步任务中不同版本数据源进行隔离的方法
技术领域
本申请涉及数据处理技术领域，尤其涉及一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
背景技术
Apache Flink(简称Flink)是一个框架和分布式处理引擎，用于无界和有界数据流的有状态计算，运行在Yarn或者K8S上，可以读写各种数据源，这些数据源都是以Connector的形式定义的，Chunjun则基于Flink已有插件自定义扩展了很多Connector,目前支持70+种不同的数据源的读写，其任务本质是启动Flink的相关任务。
Chunjun虽然支持众多的数据源，但同时会因为不同版本的数据源在同一个任务中运行而导致版本兼容问题。
发明内容
本申请提供的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，旨在解决现有技术中不同版本的数据源在同一个任务运行时造成的版本兼容问题。
为实现上述目的，本申请采用以下技术方案：
一种将Chunjun同步任务中不同版本数据源进行隔离的方法，应用于客户端，包括以下步骤：
启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中；
提交任务到所述FlinkSession时确定所述任务用到的所有Container中Connector Jar包的URL路径，并将每个所述URL路径转换为对应项目结构下的相对路径；
运行所述任务时提取每个所述Connector Jar包名中包含的插件名称，并基于各个所述插件名称和所述相对路径构建JobManager和TaskManager的类加载器体系。
作为优选，所述启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中，包括：
获取Connector目录,根据所述Connector目录确定Chunjun中所有Connector的Jar包；
启动FlinkSession，并将所有Jar包上传到Yarn中以将所述所有Jar包分发到各个NodeManager的Container中。
作为优选，在将所有Jar包上传到Yarn中之前还包括将Yarn的本地资源类型设置为FILE以便将所有Jar包存储在Yarn的分布式缓存中。
作为优选，所述确定所述任务用到的所有Container中Connector Jar包的URL路径，并将每个所述URL路径转换为对应项目结构下的相对路径，包括：
生成JobGraph，并根据所述JobGraph的classpaths属性确定所述任务用到的所有Container中Connector Jar包的URL路径；
去掉每个所述URL路径中包含的本地路径，得到其对应项目结构下的相对路径。
作为优选，所述提取每个所述Connector Jar包名中包含的插件名称，并基于各个所述插件名称和所述相对路径构建JobManager和TaskManager的类加载器体系，包括：
提取每个所述Connector Jar包名中包含的插件名称，并将各个所述插件名称分别作为各个子类加载器的唯一标识；
拼接具有同一父类的所有子类加载器的唯一标识得到各个父类加载器的唯一标识；
根据所述子、父类加载器和所述相对路径构建JobManager和TaskManager的类加载器体系。
作为优选，所述根据所述子、父类加载器和所述相对路径构建JobManager和TaskManager的类加载器体系，包括：
将YarnContainer的路径分别与各个所述相对路径进行拼接得到所述YarnContainer下面的各个绝对路径。
作为优选，其特征在于，所述方法还包括：去掉Flink原生配置classloader.parent-first-patterns.default中的org.apache.hadoop包以避免hadoop包在所述类加载器体系中通过双亲委派的方式向上查找hadoop相关类。
作为优选，所述方法还包括：重写loadClass方法来确定加载类，于所述加载类与任一插件类加载器的包名相匹配时，使用所述插件类加载器进行加载。
一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述中任一项所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
本发明具有如下有益效果：
本申请基于Flink计算框架构建新类加载器体系，实现了多数据源的版本兼容性，使以前在不同版本相同数据源的任务同时运行成为可能，且相比maven的shaded解决方案，更灵活、通用、高效，同时还降低了开发门槛，降低了开发Connector过程中不断通过mavenshade方式解决类冲突的时间成本，大大提高了开发效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种将Chunjun同步任务中不同版本数据源进行隔离的方法的第一流程图；
图2是本申请提供的一种将Chunjun同步任务中不同版本数据源进行隔离的方法的第二流程图；
图3是本申请提供的一种将Chunjun同步任务中不同版本数据源进行隔离的方法的第三流程图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的权利要求书和说明书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式，此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。
如图1所示，本申请一实施例提供一种将Chunjun同步任务中不同版本数据源进行隔离的方法，包括以下步骤：
S110、启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中；
S120、提交任务到所述FlinkSession时确定所述任务用到的所有Container中Connector Jar包的URL路径，并将每个所述URL路径转换为对应项目结构下的相对路径；
S130、运行所述任务时提取每个所述Connector Jar包名中包含的插件名称，并基于各个所述插件名称和所述相对路径构建JobManager和TaskManager的类加载器体系。
在本实施例中，可将整个过程分为三部分，分别是启动FlinkSession模式时客户端的处理、提交任务到FlinkSession时客户端的处理和任务在FlinkSession运行时客户端的处理，下面分别对这三部分进行说明。
第一部分即启动FlinkSession模式时客户端将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中，其目的是把在Yarn上运行的Flink任务需要的ConnectorJar包进行缓存，具体包括以下步骤：
获取Connector目录,根据所述Connector目录确定Chunjun中所有Connector的Jar包；
启动FlinkSession，并将所有Jar包上传到Yarn中以将所述所有Jar包分发到各个NodeManager的Container中。
示例性地，通过平台把Connector的目录传给启动会话控制Session的客户端后，客户端在该目录下找到所有Connector的Jar包，在启动FlinkSession时，客户端会将找到的所有Jar包提交到Yarn中，在此之前，用户会将Yarn的本地资源类型设置为FILE，因为当其本地资源类型为FILE时，根据Yarn的特性可以控制Jar作为普通资源文件上传到其分布式缓存HDFS中，同时不放到Yarn应用的AppClasspath下面,也就是所有的Jar包都不放到类加载器的ucp里面，如果都放到AppClasspath下面，根据Java类加载器的双亲委派机制可知，AppClasspath下面的Jar对所有应用都是可见的，会导致无法用类加载器隔离Jar包，同时Yarn会分发上传的Jar包到每一个NodeManager下面的Container中。
第二部分即提交任务到FlinkSession时客户端先确定该任务用到的所有Container中Connector Jar包的URL路径，再将每个URL路径转换为项目结构下的根路径，其目的是找到本次任务源端和目标端所需要的ConnectorJar URL，并将ConnectorJar URL处理为相对Chunjun项目结构下的相对路径，为后续运行时构建Yarn Container下面的绝对路径做准备，具体包括以下步骤：
生成JobGraph，并根据所述JobGraph的classpaths属性确定所述任务用到的所有Container中Connector Jar包的URL路径；
去掉每个所述URL路径中包含的本地路径，得到其对应项目结构下的相对路径。
示例性地，提交任务到FlinkSession时客户端会生成JobGraph，JobGraph具有classpaths属性，该属性里面就是本次任务用到的所有Container中Connector Jar包的URL路径，因为classpaths属性里面的Connector Jar包的URL路径即使在JobManager或者TaskManager运行也还是客户端的路径，需要去掉其每个URL路径中包含的本地路径，从而将该路径转换为对应项目结构下的相对路径，例如，JobGraph的classpaths属性中某一Connector Jar包的URL路径为file:/root/app/Chunjun-dist/connector/mysql/xxx.Jar,首先通过应用程序传入的配置参数删除其中包含的本地路径/root/app/Chunjun-dist，然后把该URL路径替换为file:/connector/msyql/xxx.Jar即得到其在对应项目结构下的相对路径。
第三部分即在FlinkSession运行该任务时客户端会提取每个Connector Jar包名中包含的插件名称，并基于各个插件名称和相对路径构建JobManager和TaskManager的类加载器体系，其目的是把各个Connector Jar包的绝对路径添加到各自对应的类加载器的classpath中，具体包括以下步骤：
提取每个所述Connector Jar包名中包含的插件名称，并将各个所述插件名称分别作为各个子类加载器的唯一标识；
拼接具有同一父类的所有子类加载器的唯一标识得到各个父类加载器的唯一标识；
根据所述子、父类加载器和所述相对路径构建JobManager和TaskManager的类加载器体系。
示例性地，先构建ChildFirstCacheClassloader类加载器，Chunjun中的每个Connecotr Jar包都有固定的命名规则即“Chunjun+connector+连接器名+分支名”，其中的连接器名即为插件名称，例如mysqlconnector名为Chunjun-connector-mysql-release_1.12_5.3.x.Jar，把Jar包名用”-”切分后，数组第三个元素就是插件名称，本例中为mysql，首先设置子类加载器为PluginClassloader，插件名称mysql是某一子类加载器的唯一标识Key，其中，PluginClassloader为ChildFirstCacheClassloader的一个实例对象，将父类加载器设置为JobClassLoader，JobClassLoader也是ChildFirstCacheClassloader的一个实例对象，当该父类加载器有两个子加载器时，该父类加载器的唯一标识就是其两个子加载器唯一标识的拼接，如其两个子加载器的唯一标识分别为mysql和hdfs，则它的唯一标识就是mysql和hdfs通过下划线拼接后得到的结果mysql_hdfs，然后将YarnContainer的路径分别与Connecotr Jar包的URL路径经处理后得到的相对路径进行拼接就将构建ChildFistCacheClassloader时使用的Jar URL转换成了YarnContainer下面的绝对路径，最后，根据自定义的子、父类加载器和拼接得到的绝对路径即可构建出JobManager和TaskManager的类加载器体系，如图3所示，该类加载器体系中除去ChildFirstCacheClassloader类加载器，还包括了App ClassLoader加载器、ExtClassLoader加载器和BootStrap ClassLoader加载器，这部分为现有技术，在此不作赘述。
在ChildFirstCacheClassloader类加载器中会控制公用的flink和java等相关类向上查找，即去掉Flink原生配置classloader.parent-first-patterns.default中的org.apache.hadoop包，避免hadoop包在类加载器体系中通过双亲委派的方式向上查找hadoop相关的类，去掉org.apache.hadoop包后，这个配置中的所有包就为"classloader.parent-first-patterns.default":"java.；scala.；org.apache.flink.；com.esotericsoftware.kryo；javax.annotation.；org.xml；javax.xm l；org.apache.xerces；org.w3c；org.rocksdb.；org.slf4j；org.apache.log4j；ch.qos.logback"，这些包名在JobClassLoader里面会让匹配到的全类名直接用双亲委派的方式向上找需要加载的类；同时ChildFirstCacheClassloader类加载器里面还会控制插件相关的类加载器先加载，即先在PluginClassloader类加载器中加载，如果找不到，再去JobClassLoader类加载器中加载，优选地，其通过重写loadClass方法来确定加载类，当加载类与任一插件类加载器的包名相匹配时，就用对应的插件类加载器进行加载，因为Chunjun插件里面所有的插件都有统一的包名com.dtstack.Chunjun.connector.xxx,例如mysql插件，所有的类都在com.dtstack.Chunjun.connector.mysql包里面。
本申请基于Flink计算框架，提供一种通过类加载器将Chunjun同步任务中不同版本数据源进行隔离的方法，使同步任务可以应用到更广泛的场景,例如hadoop 2.x同步到hadoop 3.x的情况，且相比maven的shaded解决方案，更灵活、通用、高效，同时还降低了开发门槛，降低了开发Connector过程中不断通过mavenshade方式解决类冲突的时间成本，大大提高了开发效率。
本申请一实施例还提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请一实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，并由输入接口和输出接口完成数据的I/O接口传输，以完成本发明,一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器、处理器,本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入器、网络接入设备、总线等。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等,进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备,存储器用于存储计算机程序以及计算机设备所需的其他程序和数据,存储器还可以用于暂时地存储在输出器，而前述的存储介质包括U盘、移动硬盘、只读存储器ROM、随机存储器RAM、碟盘或光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，应用于客户端，包括以下步骤：
启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中；
提交任务到所述FlinkSession时确定所述任务用到的所有Container中ConnectorJar包的URL路径，并将每个所述URL路径转换为对应项目结构下的相对路径；
运行所述任务时提取每个所述Connector Jar包名中包含的插件名称，并基于各个所述插件名称和所述相对路径构建JobManager和TaskManager的类加载器体系。
2.根据权利要求1所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述启动FlinkSession，并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中，包括：
获取Connector目录,根据所述Connector目录确定Chunjun中所有Connector的Jar包；
启动FlinkSession，并将所有Jar包上传到Yarn中以将所述所有Jar包分发到各个NodeManager的Container中。
3.根据权利要求2所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，在将所有Jar包上传到Yarn中之前还包括将Yarn的本地资源类型设置为FILE以便将所有Jar包存储在Yarn的分布式缓存中。
4.根据权利要求2所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述确定所述任务用到的所有Container中Connector Jar包的URL路径，并将每个所述URL路径转换为对应项目结构下的相对路径，包括：
生成JobGraph，并根据所述JobGraph的classpaths属性确定所述任务用到的所有Container中Connector Jar包的URL路径；
去掉每个所述URL路径中包含的本地路径，得到其对应项目结构下的相对路径。
5.根据权利要求1所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述提取每个所述Connector Jar包名中包含的插件名称，并基于各个所述插件名称和所述相对路径构建JobManager和TaskManager的类加载器体系，包括：
提取每个所述Connector Jar包名中包含的插件名称，并将各个所述插件名称分别作为各个子类加载器的唯一标识；
拼接具有同一父类的所有子类加载器的唯一标识得到各个父类加载器的唯一标识；
根据所述子、父类加载器和所述相对路径构建JobManager和TaskManager的类加载器体系。
6.根据权利要求5所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述根据所述子、父类加载器和所述相对路径构建JobManager和TaskManager的类加载器体系，包括：
将YarnContainer的路径分别与各个所述相对路径进行拼接得到所述YarnContainer下面的各个绝对路径。
7.根据权利要求6所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述方法还包括：去掉Flink原生配置classloader.parent-first-patterns.default中的org.apache.hadoop包以避免hadoop包在所述类加载器体系中通过双亲委派的方式向上查找hadoop相关类。
8.根据权利要求1所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法，其特征在于，所述方法还包括：重写loadClass方法来确定加载类，于所述加载类与任一插件类加载器的包名相匹配时，使用所述插件类加载器进行加载。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～8中任一项所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1～8中任一项所述的一种将Chunjun同步任务中不同版本数据源进行隔离的方法。
CN202310897279.7A 2023-07-20 2023-07-20 一种将Chunjun同步任务中不同版本数据源进行隔离的方法 Active CN116893860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310897279.7A CN116893860B (zh) 2023-07-20 2023-07-20 一种将Chunjun同步任务中不同版本数据源进行隔离的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310897279.7A CN116893860B (zh) 2023-07-20 2023-07-20 一种将Chunjun同步任务中不同版本数据源进行隔离的方法

Publications (2)

Publication Number Publication Date
CN116893860A true CN116893860A (zh) 2023-10-17
CN116893860B CN116893860B (zh) 2024-05-10

Family

ID=88309730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310897279.7A Active CN116893860B (zh) 2023-07-20 2023-07-20 一种将Chunjun同步任务中不同版本数据源进行隔离的方法

Country Status (1)

Country Link
CN (1) CN116893860B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415435B1 (en) * 1999-03-18 2002-07-02 International Business Machines Corporation Method and apparatus for determining compatibility of parent classes in an object oriented environment using versioning
CN113254106A (zh) * 2021-06-23 2021-08-13 中国平安人寿保险股份有限公司 基于Flink的任务执行方法、装置、计算机设备及存储介质
CN113918238A (zh) * 2021-09-27 2022-01-11 中盈优创资讯科技有限公司 一种基于Flink的异构数据源同步方法及装置
CN115686662A (zh) * 2022-09-08 2023-02-03 中国建设银行股份有限公司 网状类加载架构、服务调用方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415435B1 (en) * 1999-03-18 2002-07-02 International Business Machines Corporation Method and apparatus for determining compatibility of parent classes in an object oriented environment using versioning
CN113254106A (zh) * 2021-06-23 2021-08-13 中国平安人寿保险股份有限公司 基于Flink的任务执行方法、装置、计算机设备及存储介质
CN113918238A (zh) * 2021-09-27 2022-01-11 中盈优创资讯科技有限公司 一种基于Flink的异构数据源同步方法及装置
CN115686662A (zh) * 2022-09-08 2023-02-03 中国建设银行股份有限公司 网状类加载架构、服务调用方法及装置

Also Published As

Publication number Publication date
CN116893860B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
US9898278B2 (en) Release and management of composite applications on PaaS
Loope Managing infrastructure with puppet
US20170262266A1 (en) Orchestrating the lifecycle of multiple-target applications
CN107766052B (zh) 一种构建容器镜像的方法和装置
US10534695B2 (en) Systems and methods for initializing test environments
CN112769706B (zh) 组件化路由方法及系统
CN110928545B (zh) 组件分发方法、单页应用的开发方法、装置及存储介质
CN115237435A (zh) 一种将PyFlink任务部署到yarn集群的方法
CN114706658A (zh) 一种容器镜像数据处理方法、装置、设备及介质
CN115525396A (zh) 基于云原生的应用管理方法及装置
US8095625B2 (en) Directory server plug-in call ordering
CN113608800A (zh) 项目启动方法、装置、电子设备及存储介质
CN116893860B (zh) 一种将Chunjun同步任务中不同版本数据源进行隔离的方法
CN110955415A (zh) 一种投影多平台服务适配的方法
CN109375946B (zh) 一种管理节点包管理器的组件包的方法及系统
CN110782040A (zh) 一种pytorch任务训练方法、装置、设备及介质
CN115687715A (zh) 项目目录下载方法及相关装置
CN115756520A (zh) 一种分布式集群中的FlinkSQL部署方法及装置
CN112114871B (zh) 一种代码共享方法、装置、服务器、终端及介质
US20170083306A1 (en) Download of a package of code
CN110474954B (zh) 基于区块链的文件分享方法、装置、计算机设备及可读存储介质
US8656419B2 (en) Dynamic distributed evaluator
US11017032B1 (en) Document recovery utilizing serialized data
CN114880276A (zh) 分布式集群管理方法、装置、存储介质及电子设备
WO2022057698A1 (en) Efficient bulk loading multiple rows or partitions for single target table

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant