CN105426440A - 一种基于数据库的异构型数据批量同步方法 - Google Patents
一种基于数据库的异构型数据批量同步方法 Download PDFInfo
- Publication number
- CN105426440A CN105426440A CN201510749519.4A CN201510749519A CN105426440A CN 105426440 A CN105426440 A CN 105426440A CN 201510749519 A CN201510749519 A CN 201510749519A CN 105426440 A CN105426440 A CN 105426440A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- sub
- job
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于数据库的异构型数据批量同步方法，其特征在于，在系统计算资源有限的情况下，充分利用数据库管理软件的自身技术与接口，原子化实现异构类型数据同步单元，借助操作先来先服务调度算法(FCFS)执行批量并行同步，本发明的有益效果是：本发明是在信息系统计算资源有限的情况下，充分利用数据库管理软件的自身技术，利用操作系统先来先服务调度算法(FCFS)，实现异构类型数据的批量并行同步方式。本发明是利用数据库自身的Database？link机制，升级JOB作业管理机制，实现动态批量的管理元子级的异构类型的数据同步过程执行数据同步，保证整个异构数据类型系统的数据一致性和完整性。
Description
技术领域
本发明属信息系统构建方法，尤其是一种基于数据库的异构型数据批量同步方法。
技术背景
随着信息化建设程度不断提升，各业务领域系统之间要求实现数据共享，消除信息孤单，以到达信息数据的最大化应用，统一构成分布式部署的综合系统，不同子系统之间数据结构各异，要保证子系统间数据的一致性和正确性，实现同构数据的批量同步成为了综合系统建设的技术。
成熟的ETL工具，更多的关注与数据同步过程，能够快速有效的实现数据同步的图形定制化配置，多线程同步的管理机制，但是不能嵌入数据所在的平台本身，通过分析系统前后台任务执行所需的资源利用率，实现系统自身资源利用率的平衡，而本发明正好是这一缺陷的补充。
在综合系统计算资源投入有限的情况下，充分的利用数据库管理软件自身技术机制，实现异构数据大批量的高效同步，满足综合系统应用的需求，能有效减少系统技术的复杂度，同时也具有非常良好的经济效益。
发明内容
本发明的目的正是为了克服上述现有技术存在的缺陷而提供一种基于数据库的异构型数据批量同步方法，本发明方法是在信息系统计算资源有限的情况下，充分利用数据库管理软件的自身技术，利用操作系统先来先服务调度算法(FCFS)，实现异构类型数据的批量并行同步方式。
本发明方法是通过如下技术方案来实现的：
一种基于数据库的异构型数据批量同步方法，其特征在于，在系统计算资源有限的情况下，充分利用数据库管理软件的自身技术与接口，原子化实现异构类型数据同步单元，借助操作先来先服务调度算法(FCFS)执行批量并行同步，主要采用以下步骤和技术、算法实现：
(1)、建立子系统底层数据库之间的连接
建立网络链路，实现子系统数据库服务器之间的通信链路；利用数据库Databaselink技术，实现数据库之间相互访问连接；在此通过数据库权限的授予和限制，实现子系统内私有数据和公有数据的安全保护。
(2)、封装元子级的数据转换同步过程
结合子系统间异构数据同步的需求，按照数据转换同步的业务逻辑，封装出用于异构数据转换同步的最小元子级(Metadata)的同步存储过程；最小元子级同步过程需要充分的考虑异构数据对应的差异，利用数据库自身的临时表与缓存机制，降低内存的压力；按照数据库数据存储的原理，设计最小步骤的转换过程与转化的算法，提高数据同步过程中增、删、改、查等操作的性能，从而达到整体提高同步性能的目的。
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制，和数据库运行状态监控技术，采用先进先出的作业调度算法，建立同步作业调度控制过程；实现调度过程能够实时的根据数据库运行的状态和资源利用率，动态的设置负责执行元子同步过程的JOB数量，从而保证系统前端应用的应用性能，亦保证异构数据批量高效的同步，达到重复利用数据库硬件资源的目的；异构数据批量同步的控制流程：
步骤一：创建用于任务调度分配的主JOB，采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制，通过分析系统的资源的利用率，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率；此步骤中为了能够在后面的执行过程中有限的监管数据同步过程，在此处还需加入数据同步监督管理逻辑，用于监控数据库软硬件负载情况，及元子的同步过程运行的详细信息。
步骤二：按照异构数据同步需求及数据规模设计元子同步过程，元子同步过程之间要消除前后的依赖，保证能够并发运行而不影响数据同步的目标。并将元子同步过程，注册进入调度列表中；
步骤三：主JOB按照设计好的调度机制，启动创建子JOB，执行最小元子同步过程。按照同步频率的需求，调整循环同步的周期，从而实现异构型数据的高效同步；
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤，将元子同步过程注册进入调度控制过程，完成调度控制过程对元子同步过程的动态管理和执行。元子同步过程的执行，并不一定完全按照既定的逻辑执行，而是由主JOB根据当前的系统资源利用率相关信息动态分配，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率。
(5)监管异构数据同步过程
本阶段加入独立于同步过程的分析控制逻辑，通过分析“作业任务调度控制过程”记录系统运行数据、及元子的同步过程运行的详细数据，明确的指导调整数据库系统配置参数，结合系统服务应用的时间周期规律，及时的调整子过程调度的频率、数量、资源配额等参数，实现同步过程最高效的同步，同时不影响系统前端服务运用的效率与并发量。
本发明的有益效果是：本发明是在信息系统计算资源有限的情况下，充分利用数据库管理软件的自身技术，利用操作系统先来先服务调度算法(FCFS)，实现异构类型数据的批量并行同步方式。本发明是利用数据库自身的Databaselink机制，升级JOB作业管理机制，实现动态批量的管理元子级的异构类型的数据同步过程执行数据同步，保证整个异构数据类型系统的数据一致性和完整性。
附图说明
图1为本发明异构数据批量同步的控制流程图；
图2为JOB控制调度作业执行效果图。
具体实施方式
见图1，图2，一种基于数据库的异构型数据批量同步方法，本发明特征在于，通过采用以下技术和算法实现：
(1)、建立子系统底层数据库之间的连接
建立网络链路，实现子系统数据库服务器之间的通信链路；利用数据库Databaselink技术，实现数据库之间相互访问连接；在此通过数据库权限的授予和限制，实现子系统内私有数据和公有数据的安全保护；
(2)、封装元子级的数据转换同步过程
结合子系统间异构数据同步的需求，按照数据转换同步的业务逻辑，封装出用于异构数据转换同步的最小单元的存储过程；元子级同步过程需要充分的考虑异构数据对应的差异，和转化的算法优化，提高数据同步过程中增删改查等操作的性能；
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制，和数据库运行状态监控技术，采用先进先出的作业调度算法，建立同步作业调度控制过程；实现调度过程能够实时的根据数据库运行的状态和资源利用率，动态的设置负责执行元子同步过程的JOB数量，从而保证系统前端应用的应用性能，亦保证异构数据批量高效的同步，达到重复利用数据库硬件资源的目的；异构数据批量同步的控制流程：
步骤一：创建用于任务调度分配的主JOB，采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制，通过分析系统的资源的利用率，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率；
步骤二：按照异构数据同步需求及数据规模设计元子同步过程，元子同步过程之间要消除前后的依赖，保证能够并发运行而不影响数据同步的目标。并将元子同步过程，注册进入调度列表中；
步骤三：主JOB按照设计好的调度机制，启动创建子job，执行元子同步过程。按照同步频率的需求，调整循环同步的周期，从而实现异构型数据的高效同步；
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤，将元子同步过程注册进入调度控制过程，完成调度控制过程对元子同步过程的动态管理和执行。元子同步过程的执行，并不一定完全按照既定的逻辑执行，而是由主JOB根据当前的系统资源利用率相关信息动态分配，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率。
Claims (1)
1.一种基于数据库的异构型数据批量同步方法，其特征在于，在系统计算资源有限的情况下，充分利用数据库管理软件的自身技术与接口，原子化实现异构类型数据同步单元，借助操作先来先服务调度算法(FCFS)执行批量并行同步，主要采用以下步骤和技术、算法实现：
(1)、建立子系统底层数据库之间的连接
建立网络链路，实现子系统数据库服务器之间的通信链路；利用数据库Databaselink技术，实现数据库之间相互访问连接；在此通过数据库权限的授予和限制，实现子系统内私有数据和公有数据的安全保护；
(2)、封装元子级的数据转换同步过程
结合子系统间异构数据同步的需求，按照数据转换同步的业务逻辑，封装出用于异构数据转换同步的最小元子级(Metadata)的同步存储过程；最小元子级同步过程需要充分的考虑异构数据对应的差异，利用数据库自身的临时表与缓存机制，降低内存的压力；按照数据库数据存储的原理，设计最小步骤的转换过程与转化的算法，提高数据同步过程中增、删、改、查等操作的性能，从而达到整体提高同步性能的目的；
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制，和数据库运行状态监控技术，采用先进先出的作业调度算法，建立同步作业调度控制过程；实现调度过程能够实时的根据数据库运行的状态和资源利用率，动态的设置负责执行元子同步过程的JOB数量，从而保证系统前端应用的应用性能，亦保证异构数据批量高效的同步，达到重复利用数据库硬件资源的目的；异构数据批量同步的控制流程：
步骤一：创建用于任务调度分配的主JOB，采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制，通过分析系统的资源的利用率，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率；此步骤中为了能够在后面的执行过程中有限的监管数据同步过程，在此处还需加入数据同步监督管理逻辑，用于监控数据库软硬件负载情况，及元子的同步过程运行的详细信息；
步骤二：按照异构数据同步需求及数据规模设计元子同步过程，元子同步过程之间要消除前后的依赖，保证能够并发运行而不影响数据同步的目标，并将元子同步过程，注册进入调度列表中；
步骤三：主JOB按照设计好的调度机制，启动创建子JOB，执行最小元子同步过程，按照同步频率的需求，调整循环同步的周期，从而实现异构型数据的高效同步；
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤，将元子同步过程注册进入调度控制过程，完成调度控制过程对元子同步过程的动态管理和执行，元子同步过程的执行，并不一定完全按照既定的逻辑执行，而是由主JOB根据当前的系统资源利用率相关信息动态分配，达到控制子JOB数量和执行频率的目的，从而充分提高同步作业的整体效率；
(5)监管异构数据同步过程
本阶段加入独立于同步过程的分析控制逻辑，通过分析“作业任务调度控制过程”记录系统运行数据、及元子的同步过程运行的详细数据，明确的指导调整数据库系统配置参数，结合系统服务应用的时间周期规律，及时的调整子过程调度的频率、资源配额等参数，实现同步过程最高效的同步，同时不影响系统前端服务运用的效率与并发量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510749519.4A CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510749519.4A CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105426440A true CN105426440A (zh) | 2016-03-23 |
| CN105426440B CN105426440B (zh) | 2018-07-27 |
Family
ID=55504652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510749519.4A Active CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105426440B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770038A (zh) * | 2016-08-22 | 2018-03-06 | 平安科技（深圳）有限公司 | 消息发送方法和装置 |
| CN110187869A (zh) * | 2019-05-14 | 2019-08-30 | 上海直真君智科技有限公司 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060190500A1 (en) * | 2005-02-22 | 2006-08-24 | Microsoft Corporation | Synchronization with derived metadata |
| CN1878166A (zh) * | 2005-06-07 | 2006-12-13 | 联想(北京)有限公司 | 异构数据源同步方法及其设备 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
| CN103617176A (zh) * | 2013-11-04 | 2014-03-05 | 广东电子工业研究院有限公司 | 一种实现多源异构数据资源自动同步的方法 |
-
2015
- 2015-11-06 CN CN201510749519.4A patent/CN105426440B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060190500A1 (en) * | 2005-02-22 | 2006-08-24 | Microsoft Corporation | Synchronization with derived metadata |
| CN1878166A (zh) * | 2005-06-07 | 2006-12-13 | 联想(北京)有限公司 | 异构数据源同步方法及其设备 |
| CN103617176A (zh) * | 2013-11-04 | 2014-03-05 | 广东电子工业研究院有限公司 | 一种实现多源异构数据资源自动同步的方法 |
| CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770038A (zh) * | 2016-08-22 | 2018-03-06 | 平安科技（深圳）有限公司 | 消息发送方法和装置 |
| CN107770038B (zh) * | 2016-08-22 | 2020-01-21 | 平安科技（深圳）有限公司 | 消息发送方法和装置 |
| CN110187869A (zh) * | 2019-05-14 | 2019-08-30 | 上海直真君智科技有限公司 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
| CN110187869B (zh) * | 2019-05-14 | 2020-09-01 | 上海直真君智科技有限公司 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105426440B (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10191529B2 (en) | Real-time data management for a power grid | |
| CN104915407A (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
| CN109189589A (zh) | 一种分布式大数据计算引擎及架构方法 | |
| CN109670199B (zh) | 一种高效的电网拓扑分析方法及装置 | |
| CN108400992B (zh) | 一种流式通信数据协议解析软件框架实现系统及方法 | |
| CN100573457C (zh) | 一种金融数据实现etl加工的方法和系统 | |
| CN103944769A (zh) | 基于rpc协议的集群资源统一管理系统 | |
| CN104050042A (zh) | Etl作业的资源分配方法及装置 | |
| CN112445598B (zh) | 一种基于quartz的任务调度方法、装置、电子设备以及介质 | |
| CN111327692A (zh) | 模型训练方法、装置及集群系统 | |
| CN103873534A (zh) | 一种应用集群迁移方法及装置 | |
| CN115374102A (zh) | 数据处理方法及系统 | |
| WO2015047302A1 (en) | Processing a hybrid flow associated with a service class | |
| Bedini et al. | Modeling performance of a parallel streaming engine: bridging theory and costs | |
| CN109936471A (zh) | 一种多集群的资源分配方法和装置 | |
| CN105426440A (zh) | 一种基于数据库的异构型数据批量同步方法 | |
| CN104410511A (zh) | 一种服务器管理方法及系统 | |
| Amoretti et al. | Efficient autonomic cloud computing using online discrete event simulation | |
| Theeten et al. | Towards the optimization of a parallel streaming engine for telco applications | |
| CN112486666A (zh) | 一种模型驱动的参考架构方法及平台 | |
| CN110134533B (zh) | 一种可批量调度数据的系统及方法 | |
| Pham | A big data analytics framework for IoT applications in the cloud | |
| CN104484230A (zh) | 基于近数据计算原则的多卫星数据中心工作流调度算法 | |
| CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN103577424A (zh) | 分布式数据库视图的实现方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |