CN112000722A - 一种实时异构源数据同步系统及同步方法 - Google Patents
一种实时异构源数据同步系统及同步方法 Download PDFInfo
- Publication number
- CN112000722A CN112000722A CN202010825146.5A CN202010825146A CN112000722A CN 112000722 A CN112000722 A CN 112000722A CN 202010825146 A CN202010825146 A CN 202010825146A CN 112000722 A CN112000722 A CN 112000722A
- Authority
- CN
- China
- Prior art keywords
- task
- tasks
- data synchronization
- real
- executor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000737 periodic effect Effects 0.000 claims abstract description 7
- 238000013515 script Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种实时异构源数据同步系统及同步方法，属于数据处理技术领域。该实时异构源数据同步系统，包括：后台管理服务器，后台管理服务器用于接收用户任务请求，并对任务进行操作；任务分发器，任务分发器用于根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；执行器，执行器包括任务生成器和任务执行器。本发明还提供一种基于上述系统的实时异构源数据同步方法。
Description
技术领域
本发明属于数据处理技术领域，尤其是涉及一种实时异构源数据同步系统及同步方法。
背景技术
随着企业产品线的增加，各个产品线团队对于底层存储的要求也不尽相同，有的团队可能倾向于数据查询，有的团队倾向于数据分析，有的团队兼而有之，但是产品应用服务不是数据孤岛，需要与外界服务进行数据交互。一种方式是通过接口服务交互，一种方式是消息中间件方式。接口服务方式交互优点是实现简单，但是存在调用延迟，级联失败及强耦合等问题。消息中间件方式可以避免接口调用方式存在的问题，但是存在每个应用服务均需要发布数据到消息中间件及消费数据。
发明内容
本发明旨在解决上述技术问题，提供一种实时异构源数据同步系统及同步方法。
为了达到上述目的，本发明采用如下技术方案：
一种实时异构源数据同步系统，包括：后台管理服务器，所述后台管理服务器用于接收用户任务请求，并对任务进行运行操作、继续运行操作、终止操作、重新运行操作；任务分发器，所述任务分发器用于根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；执行器，所述执行器包括任务生成器和任务执行器，所述任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行。
作为优选，所述执行器包括一个任务生成器和若干任务执行器，所述任务生成器与所述若干任务执行器连接。
作为优选，所述实时异构源数据同步系统还包括同步程序引擎和若干计算引擎，所述同步程序引擎用于探测已发布生效的数据同步任务，并根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业，所述计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
一种实时异构源数据同步方法，包括以下步骤：
S1. 后台管理服务器接收用户任务请求；
S2. 任务分发器根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；
S3. 执行器中的任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行；
S4. 执行器中的任务执行器执行任务。
作为优选，所述实时异构源数据同步方法还包括数据同步任务执行方法，包括以下步骤：
a1. 同步程序引擎探测已发布生效的数据同步任务；
a2. 同步程序引擎根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业；
a3. 计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
作为优选，所述数据同步策略包括资源策略和执行策略，所述资源策略是指用户根据任务数据量情况评估计算任务硬件资源，进行配置，指定同步任务具体CPU/内存，基于任务指定配置，启动计算引擎作业；所述执行策略是指用户根据业务需求及同步源及目标设定对应的数据同步策略。
采用上述技术方案后，本发明具有如下优点：
本发明的实时异构源数据同步系统及同步方法能够解决数据交互的接口服务方式交互存在调用延迟，级联失败及强耦合的问题；消息中间件方式存在每个应用服务均需要发布数据到消息中间件及消费数据的问题，本同步系统及同步方法能够打通各个产品线数据通道，建立高速传输服务。本发明可以从数据库、分布式文件系统、消息中间件、接口系统增量抽取数据，在管道中做数据转化，过滤及字段补全，然后写入到数据库、分布式文件系统、消息中间件等数据源中。
附图说明
图1为本发明的一种实时异构源数据同步系统的结构示意图；
图2为本发明中任务生成器的操作步骤流程图；
图中：
1-后台管理服务器；2-任务分发器；3-执行器。
具体实施方式
以下结合附图及具体实施例，对本发明作进一步的详细说明。
如图1-2所示，一种实时异构源数据同步系统，包括：后台管理服务器1，所述后台管理服务器1用于接收用户任务请求，并对任务进行运行操作、继续运行操作、终止操作、重新运行操作；任务分发器2，所述任务分发器2用于根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器3调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；执行器3，所述执行器3包括任务生成器和任务执行器，所述任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行。
所述执行器3包括一个任务生成器和若干任务执行器，所述任务生成器与所述若干任务执行器连接。所述实时异构源数据同步系统还包括同步程序引擎和若干计算引擎，所述同步程序引擎用于探测已发布生效的数据同步任务，并根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业，所述计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
一种实时异构源数据同步方法，包括以下步骤：
S1. 后台管理服务器1接收用户任务请求；
S2. 任务分发器2根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器3调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；
S3. 执行器3中的任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行；
S4. 执行器3中的任务执行器执行任务。
所述实时异构源数据同步方法还包括数据同步任务执行方法，包括以下步骤：
a1. 同步程序引擎探测已发布生效的数据同步任务；
a2. 同步程序引擎根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业；
a3. 计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
所述数据同步策略包括资源策略和执行策略，所述资源策略是指用户根据任务数据量情况评估计算任务硬件资源，进行配置，指定同步任务具体CPU/内存，基于任务指定配置，启动计算引擎作业；所述执行策略是指用户根据业务需求及同步源及目标设定对应的数据同步策略。
本发明的实时异构源数据同步系统及同步方法能够解决数据交互的接口服务方式交互存在调用延迟，级联失败及强耦合的问题；消息中间件方式存在每个应用服务均需要发布数据到消息中间件及消费数据的问题，本同步系统及同步方法能够打通各个产品线数据通道，建立高速传输服务。本发明可以从数据库、分布式文件系统、消息中间件、接口系统增量抽取数据，在管道中做数据转化，过滤及字段补全，然后写入到数据库、分布式文件系统、消息中间件等数据源中。
除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。
Claims (6)
1.一种实时异构源数据同步系统，其特征在于，包括：
后台管理服务器（1），所述后台管理服务器（1）用于接收用户任务请求，并对任务进行运行操作、继续运行操作、终止操作、重新运行操作；
任务分发器（2），所述任务分发器（2）用于根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器（3）调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；
执行器（3），所述执行器（3）包括任务生成器和任务执行器，所述任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行。
2.如权利要求1所述的实时异构源数据同步系统，其特征在于，所述执行器（3）包括一个任务生成器和若干任务执行器，所述任务生成器与所述若干任务执行器连接。
3.如权利要求1或2所述的实时异构源数据同步系统，其特征在于，所述实时异构源数据同步系统还包括同步程序引擎和若干计算引擎，所述同步程序引擎用于探测已发布生效的数据同步任务，并根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业，所述计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
4.一种实时异构源数据同步方法，其特征在于，包括以下步骤：
S1. 后台管理服务器（1）接收用户任务请求；
S2. 任务分发器（2）根据任务类型及调度周期分发任务，如果是实时任务或周期性任务，直接写入数据库，等待执行器（3）调度，如果是调试脚本，则分发到调试服务模块，启动调试模式，如果是定时任务，则分发到调度平台，等待调度平台调度；
S3. 执行器（3）中的任务生成器依次进行以下操作：事件轮询、构建有向无环图、进行任务切分、生成每个阶段任务集合、提交到任务执行器中执行；
S4. 执行器（3）中的任务执行器执行任务。
5.如权利要求4所述的实时异构源数据同步方法，其特征在于，所述实时异构源数据同步方法还包括数据同步任务执行方法，包括以下步骤：
a1. 同步程序引擎探测已发布生效的数据同步任务；
a2. 同步程序引擎根据生效任务配置的数据同步资源策略，启动对应的计算引擎作业；
a3. 计算引擎基于数据同步策略执行数据同步任务，将数据从源写入到目标源。
6.如权利要求5所述的实时异构源数据同步方法，其特征在于，所述数据同步策略包括资源策略和执行策略，所述资源策略是指用户根据任务数据量情况评估计算任务硬件资源，进行配置，指定同步任务具体CPU/内存，基于任务指定配置，启动计算引擎作业；所述执行策略是指用户根据业务需求及同步源及目标设定对应的数据同步策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825146.5A CN112000722A (zh) | 2020-08-17 | 2020-08-17 | 一种实时异构源数据同步系统及同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825146.5A CN112000722A (zh) | 2020-08-17 | 2020-08-17 | 一种实时异构源数据同步系统及同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112000722A true CN112000722A (zh) | 2020-11-27 |
Family
ID=73472520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010825146.5A Pending CN112000722A (zh) | 2020-08-17 | 2020-08-17 | 一种实时异构源数据同步系统及同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112000722A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063502A (zh) * | 2011-01-06 | 2011-05-18 | 天津神舟通用数据技术有限公司 | 实现异构数据库数据同步的方法 |
| CN104407922A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种异步批处理调度方法及系统 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| CN110647387A (zh) * | 2019-08-29 | 2020-01-03 | 武汉天喻教育科技有限公司 | 一种教育云大数据任务调度方法与系统 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
-
2020
- 2020-08-17 CN CN202010825146.5A patent/CN112000722A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063502A (zh) * | 2011-01-06 | 2011-05-18 | 天津神舟通用数据技术有限公司 | 实现异构数据库数据同步的方法 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| CN104407922A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种异步批处理调度方法及系统 |
| CN110647387A (zh) * | 2019-08-29 | 2020-01-03 | 武汉天喻教育科技有限公司 | 一种教育云大数据任务调度方法与系统 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Maas et al. | Taurus: A holistic language runtime system for coordinating distributed managed-language applications | |
| CN101097527B (zh) | 一种应用进程的流程调度方法及系统 | |
| US8392920B2 (en) | Parallel query engine with dynamic number of workers | |
| CN102592198B (zh) | 一种支持组合业务的工作流引擎 | |
| CN112445598B (zh) | 一种基于quartz的任务调度方法、装置、电子设备以及介质 | |
| CN112905339B (zh) | 任务调度执行方法、装置及系统 | |
| CN101477524A (zh) | 基于物化视图的系统性能优化方法及系统 | |
| CN101464810A (zh) | 服务程序处理方法及服务器 | |
| Miao et al. | Spotserve: Serving generative large language models on preemptible instances | |
| CN103716397A (zh) | 一种面向服务仿真时钟推进方法 | |
| Lam et al. | Evaluation of concurrency control strategies for mixed soft real-time database systems | |
| CN111158875B (zh) | 基于多模块的多任务处理方法、装置及系统 | |
| CN112328410B (zh) | 远程过程调用的实现方法、装置、设备及存储介质 | |
| CN113641472A (zh) | 分布式应用的异转同实现方法及装置 | |
| CN112000722A (zh) | 一种实时异构源数据同步系统及同步方法 | |
| CN109062624A (zh) | 一种用于汽车电子控制单元中断唤醒的处理方法 | |
| CN101005420A (zh) | 一种综合接入设备的嵌入式系统跨平台实现方法 | |
| Chiba et al. | A distributed real-time operating system with location-transparent system calls for task management and inter-task synchronization | |
| US8473954B2 (en) | Executing operations via asynchronous programming model | |
| CN111679859A (zh) | 一种面向i/o密集型高性能应用的自动化并行mpi-i/o加速方法 | |
| CN110275771B (zh) | 一种业务处理方法、物联网计费基础设施系统及存储介质 | |
| Zhou et al. | Response time analysis for tasks with fixed preemption points under global scheduling | |
| CN110990035B (zh) | 一种基于Git的链式软件升级方法 | |
| CN113220436A (zh) | 一种分布式环境下的通用批量作业执行方法及装置 | |
| CN102915257A (zh) | 基于torque的并行检查点执行方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201127 |