CN112307128A - 一种基于分布式的异构数据同步系统及方法 - Google Patents

一种基于分布式的异构数据同步系统及方法 Download PDF

Info

Publication number
CN112307128A
CN112307128A CN202011352733.3A CN202011352733A CN112307128A CN 112307128 A CN112307128 A CN 112307128A CN 202011352733 A CN202011352733 A CN 202011352733A CN 112307128 A CN112307128 A CN 112307128A
Authority
CN
China
Prior art keywords
node module
data synchronization
module
execution
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011352733.3A
Other languages
English (en)
Other versions
CN112307128B (zh
Inventor
周祖君
韦建福
阳琦
卢思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Asean Information Harbor Co ltd
Original Assignee
China Asean Information Harbor Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Asean Information Harbor Co ltd filed Critical China Asean Information Harbor Co ltd
Priority to CN202011352733.3A priority Critical patent/CN112307128B/zh
Publication of CN112307128A publication Critical patent/CN112307128A/zh
Application granted granted Critical
Publication of CN112307128B publication Critical patent/CN112307128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及通信技术领域，尤其是一种基于分布式的异构数据同步系统，包括管理节点模块，其用于主流的关系型及非关系型的数据库的配置，并使所述数据库作为基础数据源；所述管理节点模块与执行节点模块进行通信，以使所述管理节点模块通过AppKey对不同的所述执行节点模块进行区分，且具有相同AppKey的执行节点模块构成执行节点集群，每一所述执行节点模块具有一个任务管理线程池；所述管理节点模块根据所述基础数据源所配置的任务，并定期对所述执行节点模块发起调度请求，以执行异构数据同步任务。本发明还公开了一种基于分布式的异构数据同步方法，本发明可自定义异构数据同步的任务周期，而且能够进行集群式部署，提高任务的执行效率。

Description

一种基于分布式的异构数据同步系统及方法
技术领域
本发明涉及通信技术领域，尤其是一种基于分布式的异构数据同步系统及方法。
背景技术
随着互联网行业的不断发展，每天会产生海量的数据，对数据的转换、传输、存储的操作越来越频繁，而且用户量越来越大、系统和数据也变得越来越大。由于系统过大会带来各种问题，所以系统微服务化也随之兴起。将系统及其数据都进行了拆分，同时也带来了异构数据同步的需求，面对复杂的数据抽取场景，专业的ETL工具得到了广泛的应用。
目前，传统的ETL工具多应用于离线场景，无法实时的对数据进行处理，需要工作人员多次操作，降低工作效率。而且单机版的进程一般不支持集群部署，容易导致了单节点的任务堆积，资源利用率较低。
发明内容
为了解决上述问题，本发明提供一种基于分布式的异构数据同步系统及方法，可自定义异构数据同步的任务周期，而且能够进行集群式部署，提高任务的执行效率。
为了实现上述目的，本发明采用的技术方案为：
一种基于分布式的异构数据同步系统，包括，
管理节点模块，其用于主流的关系型及非关系型的数据库的配置，并使所述数据库作为基础数据源；
所述管理节点模块与执行节点模块进行通信，以使所述管理节点模块通过AppKey对不同的所述执行节点模块进行区分，且具有相同AppKey的执行节点模块构成执行节点集群，每一所述执行节点模块具有一个任务管理线程池。
所述管理节点模块根据所述基础数据源所配置的任务，并定期通过RPC调用模型对所述执行节点模块发起调度请求，以调度远程的所述执行节点模块执行异构数据同步任务。
进一步地，所述管理节点模块定期将所述执行节点模块的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，所述管理节点模块在到达设定的任务执行时间点时，通过并发线程执行异构数据同步任务和监控统计该所述执行节点模块。
进一步地，所述管理节点模块通过数据同步模块进行异构数据同步任务。
进一步地，所述管理节点模块通过HTTP API和RPC调用模型与所述执行节点模块通信。
进一步地，所述数据同步模块通过将所述基础数据源的读写抽象处理为读写插件，以进行异构数据同步任务，所述数据同步模块进行异构数据同步任务的步骤为：
A1、所述数据同步模块通过读插件读取所述基础数据源，以使所述基础数据源的原始数据转换为Java内置类型；
A2、所述数据同步模块将步骤2获得的数据在通道Channel中经过处理后，通过写插件写入到目标数据源中，以进行数据异构；
A3、所述数据同步模块对目标数据源根据不同的源端切分策略，将异构数据任务切分成多个Task后，通过Scheduler容器将拆分的Task重新组合成TaskGroup，所述TaskGroup并发运行分配所有Task，以完成异构数据同步。
进一步地，所述管理节点模块执行异构数据同步任务结束后，所述管理节点模块获取所述执行节点模块的回调服务API，以使所述管理节点模块获得异构数据同步任务的结果统计及机器的资源情况。
进一步地，所述管理节点模块通过Keepalived+Nginx设置可视化界面，以对异构数据同步任务的结果统计及机器的资源情况进行展示。
进一步地，所述执行节点模块为内嵌服务器，且所述述执行节点模块的默认端口为9000。
一种基于分布式的异构数据同步方法，包括下述步骤：
S1、所述管理节点模块获得所述执行节点模块定期发出的心跳请求，以使所述执行节点模块向所述管理节点模块注册自身的IP和端口；
S2、所述管理节点模块定期将所述执行节点模块的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，所述管理节点模块在到达设定的任务执行时间点时，通过并发线程的方式从所述数据库中获取触发器和所述执行节点模块信息，以对所述执行节点模块发起调度；
S3、所述管理节点模块对所述执行节点模块发起调度请求时，按顺序选择节点集群内的一个所述执行节点模块所发出的心跳进行检测；
S4、当所有所述执行节点均为非存活状态，执行步骤S3，所述管理节点模块默认重新发起重试，如果重试结束后还未找到存活所述执行节点模块，则报告异构数据同步任务失败；
S5、当所述执行节点为存活状态，所述管理节点模块向所述执行节点模块发送调度请求，所述执行节点模块接收到请求后，以并发线程的方式执行异构数据同步任务，并通过回调API服务向所述管理节点模块上报执行结果。
进一步地，在所述步骤S1中，所述执行节点模块的注册失效时间为3倍的心跳周期。
本发明的有益效果是：
1.执行节点模块通过AppKey区分，构成不同的执行节点集群，具备高可用特性，而且集群化的执行节点部署支持快速横向扩展和灰度升级，极大提高了任务的吞吐量和系统的稳定性，任务分发的均衡策略则有效避免了单节点的任务堆积，提高了资源的利用率。管理节点模块定期通过RPC调用模型对执行节点模块发起调度请求，利用分布式调度技术，将离线任务转变为在线实时任务，采用RPC调用模型使异构数据同步由单进程单任务优化为多线程多任务，极大提高了任务的执行效率；通过定期发起调度请求，可自定义任务同步周期，以及实现增量同步效果，从而避免人工的多次操作，提升工作效率。
2.数据同步模块通过将基础数据源的读写抽象处理为读写插件，以使所有原始数据都会被转换为Java内置类型即Long、Double、String、Date、Boolean、Bytes，充分利用Java语言系统无关的特性，实现了一次编译多处运行。数据同步模块根据不同的源端切分策略，将异构任务切分成多个Task，再通过Scheduler容器将拆分的Task重新组合成TaskGroup，TaskGroup并发运行分配好的所有Task，从而实现了工作单元由单进程单任务转变为多线程多任务，极大提高了任务的执行效率。
3.本发明通过B/S架构的统一可视化管理平台，并利用Keepalived+Nginx实现高可用，以对集群内执行节点进行管理，通过灵活的调度配置，实现各节点的实时数据异构任务，并提供实时的任务统计和资源监控。
附图说明
图1是本发明一较佳实施方式的基于分布式的异构数据同步系统的结构示意图。
图2是本发明一较佳实施方式的基于分布式的异构数据同步方法的过程示意图。
图中，1-管理节点模块，2-执行节点模块，3-交换机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请同时参见图1至图2，本发明一较佳实施方式的基于分布式的异构数据同步系统，包括管理节点模块1。
管理节点模块1，其用于主流的关系型及非关系型的数据库的配置，并使数据库作为基础数据源。
管理节点模块1与执行节点模块2进行通信，以使管理节点模块1通过AppKey对不同的执行节点模块2进行区分，且具有相同AppKey的执行节点模块2构成执行节点集群，每一执行节点模块2具有一个任务管理线程池。
本实施例的执行节点模块2通过AppKey区分，构成不同的执行节点集群，具备高可用特性，而且集群化的执行节点部署支持快速横向扩展和灰度升级，极大提高了任务的吞吐量和系统的稳定性，任务分发的均衡策略则有效避免了单节点的任务堆积，提高了资源的利用率。
管理节点模块1根据基础数据源所配置的任务，并定期通过RPC调用模型对执行节点模块2发起调度请求，以调度远程执行节点模块2执行异构数据同步任务。
管理节点模块1定期通过RPC调用模型对执行节点模块2发起调度请求，利用分布式调度技术，将离线任务转变为在线实时任务，采用RPC调用模型使异构数据同步由单进程单任务优化为多线程多任务，极大提高了任务的执行效率；通过定期发起调度请求，可自定义任务同步周期，以及实现增量同步效果，从而避免人工的多次操作，提升工作效率。
本实施例中，管理节点模块1定期将执行节点模块2的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，管理节点模块1在到达设定的任务执行时间点时，通过并发线程执行异构数据同步任务和监控统计该执行节点模块2，而且能够实现多个任务执行的支持。
管理节点模块1通过数据同步模块进行异构数据同步任务，本实施例的数据同步模块设于执行节点模块22中。数据同步模块通过将基础数据源的读写抽象处理为读写插件，以进行异构数据同步任务。
数据同步模块进行异构数据同步任务根据ReadPlugin->Channel->WritePlugin的过程，其具体步骤为：
A1、数据同步模块通过读插件读取基础数据源，以使基础数据源的原始数据转换为Java内置类型；
A2、数据同步模块将步骤2获得的数据在通道Channel中经过处理后，通过写插件写入到目标数据源中，以进行数据异构；在通道Channel中，步骤2获得的数据需要经过缓冲、流控、并发、转换等处理后通过写插件写入到目标数据源。
A3、数据同步模块对目标数据源根据不同的源端切分策略，将异构数据任务切分成多个Task后，通过Scheduler容器将拆分的Task重新组合成TaskGroup，TaskGroup并发运行分配所有Task，以完成异构数据同步。
本实施例的数据同步模块通过将基础数据源的读写抽象处理为读写插件，以使所有原始数据都会被转换为Java内置类型即Long、Double、String、Date、Boolean、Bytes，充分利用Java语言系统无关的特性，实现了一次编译多处运行。
数据同步模块根据不同的源端切分策略，将异构任务切分成多个Task，再通过Scheduler容器将拆分的Task重新组合成TaskGroup，TaskGroup并发运行分配好的所有Task，从而实现了工作单元由单进程单任务转变为多线程多任务，极大提高了任务的执行效率。
管理节点模块1执行异构数据同步任务结束后，管理节点模块1获取执行节点模块2的回调服务API，以使管理节点模块1获得异构数据同步任务的结果统计及机器的资源情况。
管理节点模块1通过Keepalived+Nginx设置可视化界面，以对异构数据同步任务的结果统计及机器的资源情况进行展示。
本实施例通过B/S架构的统一可视化管理平台，并利用Keepalived+Nginx实现高可用，以对集群内执行节点进行管理，通过灵活的调度配置，实现各节点的实时数据异构任务，并提供实时的任务统计和资源监控。
本实施例的执行节点模块2为内嵌服务器，且执行节点模块2的默认端口为9000。
优选地，管理节点模块1通过HTTP API和RPC调用模型与执行节点模块2通信。本实施例的HTTP API和RPC调用模型设于交换机33中，以实现管理节点模块1与执行节点模块2的通信。
一种基于分布式的异构数据同步方法，包括下述步骤：
S1、管理节点模块1获得执行节点模块2定期发出的心跳请求，以使执行节点模块2向管理节点模块1注册自身的IP和端口。其中，执行节点模块2的注册失效时间为3倍的心跳周期。
S2、管理节点模块1定期将执行节点模块2的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，管理节点模块1在到达设定的任务执行时间点时，通过并发线程的方式从数据库中获取触发器和执行节点模块2信息，以对执行节点模块2发起调度。
S3、管理节点模块1对执行节点模块2发起调度请求时，按顺序选择节点集群内的一个执行节点模块2所发出的心跳进行检测；
S4、当所有执行节点均为非存活状态，执行步骤S3，管理节点模块1默认重新发起重试，如果重试结束后还未找到存活执行节点模块2，则报告异构数据同步任务失败；
S5、当执行节点为存活状态，管理节点模块1向执行节点模块2发送调度请求，执行节点模块2接收到请求后，以并发线程的方式执行异构数据同步任务，并通过回调API服务向管理节点模块1上报执行结果。
在步骤S3-步骤S4中，任务的默认路由策略是故障转移，即管理节点模块1每次发起调度请求时，会按顺序对集群的执行节点模块2发出心跳检测，第一个检测为存活状态的执行节点模块2将被选中并向其发送调度请求；若第一个检测为非存活状态的执行节点模块2，管理节点模块1对执行节点模块2重新发起调度请求，并检测执行节点模块2所发出的心跳，以再次判断执行节点的状态。

Claims (10)

1.一种基于分布式的异构数据同步系统，其特征在于，包括，
管理节点模块，其用于主流的关系型及非关系型的数据库的配置，并使所述数据库作为基础数据源；
所述管理节点模块与执行节点模块进行通信，以使所述管理节点模块通过AppKey对不同的所述执行节点模块进行区分，且具有相同AppKey的所述执行节点模块构成执行节点集群，每一所述执行节点模块具有一个任务管理线程池；
所述管理节点模块根据所述基础数据源所配置的任务，并定期通过RPC调用模型对所述执行节点模块发起调度请求，以调度远程的所述执行节点模块执行异构数据同步任务。
2.根据权利要求1所述的一种基于分布式的异构数据同步系统，其特征在于：所述管理节点模块定期将所述执行节点模块的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，所述管理节点模块在到达设定的任务执行时间点时，通过并发线程执行异构数据同步任务和监控统计该所述执行节点模块。
3.根据权利要求2所述的一种基于分布式的异构数据同步系统，其特征在于：所述管理节点模块通过数据同步模块进行异构数据同步任务。
4.根据权利要求3所述的一种基于分布式的异构数据同步系统，其特征在于：所述数据同步模块通过将所述基础数据源的读写抽象处理为读写插件，以进行异构数据同步任务，所述数据同步模块进行异构数据同步任务的步骤为：
A1、所述数据同步模块通过读插件读取所述基础数据源，以使所述基础数据源的原始数据转换为Java内置类型；
A2、所述数据同步模块将步骤2获得的数据在通道Channel中经过处理后，通过写插件写入到目标数据源中，以进行数据异构；
A3、所述数据同步模块对目标数据源根据不同的源端切分策略，将异构数据任务切分成多个Task后，通过Scheduler容器将拆分的Task重新组合成TaskGroup，所述TaskGroup并发运行分配所有Task，以完成异构数据同步。
5.根据权利要求1所述的一种基于分布式的异构数据同步系统，其特征在于：所述管理节点模块执行异构数据同步任务结束后，所述管理节点模块获取所述执行节点模块的回调服务API，以使所述管理节点模块获得异构数据同步任务的结果统计及机器的资源情况。
6.根据权利要求5所述的一种基于分布式的异构数据同步系统，其特征在于：所述管理节点模块通过Keepalived+Nginx设置可视化界面，以对异构数据同步任务的结果统计及机器的资源情况进行展示。
7.根据权利要求1所述的一种基于分布式的异构数据同步系统，其特征在于：所述执行节点模块为内嵌服务器，且所述执行节点模块的默认端口为9000。
8.根据权利要求1所述的一种基于分布式的异构数据同步系统，其特征在于：所述管理节点模块通过HTTP API和RPC调用模型与所述执行节点模块通信。
9.一种基于分布式的异构数据同步方法，其特征在于：包括下述步骤：
S1、所述管理节点模块获得所述执行节点模块定期发出的心跳请求，以使所述执行节点模块向所述管理节点模块注册自身的IP和端口；
S2、所述管理节点模块定期将所述执行节点模块的任务管理线程池中已启用的任务加入到Scheduler容器的可配置线程池，所述管理节点模块在任务执行时间点时，通过并发线程的方式从所述数据库中获取触发器和所述执行节点模块信息，以对所述执行节点模块发起调度；
S3、所述管理节点模块对所述执行节点模块发起调度请求时，按顺序选择节点集群内的一个所述执行节点模块所发出的心跳进行检测；
S4、当所有所述执行节点均为非存活状态，执行步骤S3，所述管理节点模块默认重新发起重试，如果重试结束后还未找到存活所述执行节点模块，则报告异构数据同步任务失败；
S5、当所述执行节点为存活状态，所述管理节点模块向所述执行节点模块发送调度请求，所述执行节点模块接收到请求后，以并发线程的方式执行异构数据同步任务，并通过回调API服务向所述管理节点模块上报执行结果。
10.根据权利要求9所述的一种基于分布式的异构数据同步方法，其特征在于：在所述步骤S1中，所述执行节点模块的注册失效时间为3倍的心跳周期。
CN202011352733.3A 2020-11-26 2020-11-26 一种基于分布式的异构数据同步系统及方法 Active CN112307128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011352733.3A CN112307128B (zh) 2020-11-26 2020-11-26 一种基于分布式的异构数据同步系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011352733.3A CN112307128B (zh) 2020-11-26 2020-11-26 一种基于分布式的异构数据同步系统及方法

Publications (2)

Publication Number Publication Date
CN112307128A true CN112307128A (zh) 2021-02-02
CN112307128B CN112307128B (zh) 2024-07-16

Family

ID=74487680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011352733.3A Active CN112307128B (zh) 2020-11-26 2020-11-26 一种基于分布式的异构数据同步系统及方法

Country Status (1)

Country Link
CN (1) CN112307128B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050060806A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 메시징을 이용한 이질형 정보 자원 통합 멀티데이터베이스 시스템 및 그 전역 동시성 제어 방법
US20150067135A1 (en) * 2013-08-22 2015-03-05 Inspur Electronic Information Industry Co., Ltd Member-oriented hybrid cloud operating system architecture and communication method thereof
CN106777164A (zh) * 2016-12-20 2017-05-31 东软集团股份有限公司 一种数据迁移集群及数据迁移方法
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
CN109962936A (zh) * 2017-12-14 2019-07-02 网宿科技股份有限公司 异构数据同步方法及系统
CN110162571A (zh) * 2019-04-26 2019-08-23 厦门市美亚柏科信息股份有限公司 一种异构数据库之间数据同步的系统、方法、存储介质
CN110347742A (zh) * 2019-07-19 2019-10-18 浪潮卓数大数据产业发展有限公司 一种基于分布式架构的多源异构数据融合执行引擎
CN110909076A (zh) * 2019-10-31 2020-03-24 北京浪潮数据技术有限公司 一种存储集群数据同步方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050060806A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 메시징을 이용한 이질형 정보 자원 통합 멀티데이터베이스 시스템 및 그 전역 동시성 제어 방법
US20150067135A1 (en) * 2013-08-22 2015-03-05 Inspur Electronic Information Industry Co., Ltd Member-oriented hybrid cloud operating system architecture and communication method thereof
CN106777164A (zh) * 2016-12-20 2017-05-31 东软集团股份有限公司 一种数据迁移集群及数据迁移方法
CN109962936A (zh) * 2017-12-14 2019-07-02 网宿科技股份有限公司 异构数据同步方法及系统
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
CN110162571A (zh) * 2019-04-26 2019-08-23 厦门市美亚柏科信息股份有限公司 一种异构数据库之间数据同步的系统、方法、存储介质
CN110347742A (zh) * 2019-07-19 2019-10-18 浪潮卓数大数据产业发展有限公司 一种基于分布式架构的多源异构数据融合执行引擎
CN110909076A (zh) * 2019-10-31 2020-03-24 北京浪潮数据技术有限公司 一种存储集群数据同步方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112307128B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
CN108400992B (zh) 一种流式通信数据协议解析软件框架实现系统及方法
CN107038071B (zh) 一种基于数据流预测的Storm任务伸缩调度算法
CN111694888A (zh) 基于微服务架构的分布式etl数据交换系统及方法
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
CN107846295A (zh) 微服务配置装置及方法
CN109284312A (zh) 一种异构数据库变更实时通知方法
CN106790706B (zh) 一种数据资源优化的方法、平台及系统
CN101707399A (zh) 电能信息采集方法及系统
CN115061809B (zh) 基于安卓的rpa多任务调度方法及系统
CN108874623A (zh) 分布式集群性能监控方法、装置、设备、系统及存储介质
WO2016045367A1 (zh) 一种多数据源数据融合的方法及装置
CN102457578A (zh) 一种基于事件机制的分布式网络监控方法
CN110704465A (zh) 一种处理业务工单表的方法、装置及存储介质
CN105069029B (zh) 一种实时etl系统及方法
Wang et al. FLOWPROPHET: Generic and accurate traffic prediction for data-parallel cluster computing
CN103678425A (zh) 多系统的集成分析
CN115146000A (zh) 一种数据库数据同步方法、装置、电子设备及存储介质
CN113515363A (zh) 面向异型任务高并发的多层次数据处理系统动态调度平台
CN112307128A (zh) 一种基于分布式的异构数据同步系统及方法
CN117633116A (zh) 数据同步方法、装置、电子设备及存储介质
CN109032809A (zh) 基于遥感影像存储位置的异构并行调度系统
CN110489221B (zh) 一种自动化任务数量动态调整计算资源的方法及系统
CN110377411B (zh) 一种面向分布式云的工作流任务调度方法和系统
CN105426440B (zh) 一种基于数据库的异构型数据批量同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant