CN108334648A - 异构数据库间数据同步方法 - Google Patents
异构数据库间数据同步方法 Download PDFInfo
- Publication number
- CN108334648A CN108334648A CN201810382146.5A CN201810382146A CN108334648A CN 108334648 A CN108334648 A CN 108334648A CN 201810382146 A CN201810382146 A CN 201810382146A CN 108334648 A CN108334648 A CN 108334648A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- heterogeneous
- heterogeneous database
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了异构数据库间数据同步方法。涉及异构数据库数据同步领域。包括如下步骤：对数据操作类型设置；对数据作业流设置；对数据作业流任务设置；数据库间的数据自动配置；数据库间数据同步。本发明通过先分别对数据操作类型、数据作业流、数据作业流任务的设置然后系统自动对两异构数据库间参数配置，避免了每次异构数据库间数据同步均要手动配置参数，降低了异构数据库间数据同步时参数配置出错率，简化了异构数据库间数据同步时参数配置的流程，提高了异构数据库间数据同步时参数配置的效率。
Description
技术领域
本发明属于异构数据库数据同步技术领域，特别是涉及异构数据库间数据同步方法。
背景技术
异构数据库间的数据同步常采用以下方式：
发布服务器：发布服务器是提供数据以便同步到其他服务器的服务器。分发服务器：分发服务器是具体执行数据分发任务的服务器。订阅服务器：订阅服务器是接收同步数据的服务器。该方式进行异构数据库间的数据同步时每次都要对两异构数据库间手动参数配置。这导致异构数据库间的数据配置重复操作相同的参数设置，操作繁琐，而且每次均需要手动设置容易出错且效率不高。
本发明致力于发明一种异构数据库间数据同步方法，实现异构数据库间数据同步时参数的自动配置。
发明内容
本发明的目的在于提供异构数据库间数据同步方法，通过先分别对数据操作类型、数据作业流、数据作业流任务的设置然后系统自动对两异构数据库间参数配置，实现了异构数据库间数据同步时的参数自动配置，解决了现有的异构数据库间同步时每次均要手动设置两异构数据库参数导致参数设置容易出错且效率低的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为异构数据库间数据同步方法，包括如下步骤：
S000：对数据操作类型设置；
S001：对数据作业流设置；
S002：对数据作业流任务设置；
S003：数据库间的数据自动配置；
S004：数据库间数据同步。
优选地，S003中的数据库间的数据自动配置具体过程如下：
获取数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据；
根据数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据配置对应数据库参数。
优选地，所述数据作业单元支持的所述操作类型包括从ORACLE数据表到GP数据表的数据操作。
优选地，操作类型对应的参数包括数据库相关参数和HADOOP相关参数；所述数据库参数包括数据库名称、数据库用户名、数据库表名、SQL语句。
优选地，所述数据作业单元支持的所述操作类型还包括从ORACLE数据表到ORACLE数据表的数据操作。
优选地，所述数据库间的数据同步通过元数据文件和数据文件的形式同步。
优选地，所述元数据文件的格式为：表名+0x07+字段列表+0x07+字段类型列表+0x07+主键字段名+0x07+主键字段类型。
优选地，所述数据文件的形式为：行分隔符为0x08，每行数据格式：删除＝D+0x07+日志序号+0x07+主键值。
优选地，所述HADOOP相关参数的格式为：
<shell>shell脚本内容</shell>；
<pig>pig脚本内容</pig>；
文件路径；
文件名称；
文件是否分割状态。
本发明具有以下有益效果：
本发明通过先分别对数据操作类型、数据作业流、数据作业流任务的设置然后系统自动对两异构数据库间参数配置，避免了每次异构数据库间数据同步均要手动配置参数，降低了异构数据库间数据同步时参数配置出错率，简化了异构数据库间数据同步时参数配置的流程，提高了异构数据库间数据同步时参数配置的效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的异构数据库间数据同步方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为异构数据库间数据同步方法，包括如下步骤：
S000：对数据操作类型设置；
S001：对数据作业流设置；
S002：对数据作业流任务设置；
S003：数据库间的数据自动配置；
S004：数据库间数据同步。
其中，S003中的数据库间的数据自动配置具体过程如下：
获取数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据；
根据数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据配置对应数据库参数。
其中，数据作业单元支持的操作类型包括从ORACLE数据表到GP数据表的数据操作。
其中，操作类型对应的参数包括数据库相关参数和HADOOP相关参数；数据库参数包括数据库名称、数据库用户名、数据库表名、SQL语句。
其中，数据作业单元支持的操作类型还包括从ORACLE数据表到ORACLE数据表的数据操作。
其中，数据库间的数据同步通过元数据文件和数据文件的形式同步。
其中，元数据文件的格式为：表名+0x07+字段列表+0x07+字段类型列表+0x07+主键字段名+0x07+主键字段类型；
其中，字段列表＝字段1+0x1B+字段2+0x1B+...+字段n，n为正整数。
其中，字段类型列表＝字段1+0x1B+字段2+0x1B+...+字段n，n为正整数。
其中，主键字段名＝字段1+0x1B+字段2+0x1B+...+字段n，n为正整数。
其中，主键字段类型列表＝字段1+0x1B+字段2+0x1B+...+字段n，n为正整数。
其中，数据文件的形式为：行分隔符为0x08，每行数据格式：删除＝D+0x07+日志序号+0x07+主键值。
其中，新增＝I+0x07+日志序号+0x07+主键值+0x07+字段1值+0x1B+字段2值+0x1B+...+字段n值。
其中，修改＝U+0x07+日志序号+0x07+主键值+0x07+字段1值+0x1B+字段2值+0x1B+...+字段n值。
其中，字段空值时保存为：\N。
其中，HADOOP相关参数的格式为：
<shell>shell脚本内容</shell>；
<pig>pig脚本内容</pig>；
文件路径；
文件名称；
文件是否分割状态。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.异构数据库间数据同步方法，其特征在于，包括如下步骤：
S000：对数据操作类型设置；
S001：对数据作业流设置；
S002：对数据作业流任务设置；
S003：数据库间的数据自动配置；
S004：数据库间数据同步。
2.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，S003中的数据库间的数据自动配置具体过程如下：
获取数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据；
根据数据操作类型设置数据、获取数据作业流设置数据、获取数据作业流任务设置数据配置对应数据库参数。
3.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，所述数据作业单元支持的所述操作类型包括从ORACLE数据表到GP数据表的数据操作。
4.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，操作类型对应的参数包括数据库相关参数和HADOOP相关参数；所述数据库参数包括数据库名称、数据库用户名、数据库表名、SQL语句。
5.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，所述数据作业单元支持的所述操作类型还包括从ORACLE数据表到ORACLE数据表的数据操作。
6.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，所述数据库间的数据同步通过元数据文件和数据文件的形式同步。
7.根据权利要求1所述的异构数据库间数据同步方法，其特征在于，所述元数据文件的格式为：表名+0x07+字段列表+0x07+字段类型列表+0x07+主键字段名+0x07+主键字段类型。
8.根据权利要求1所述的异构数据库间的数据同步方法，其特征在于，所述数据文件的形式为：行分隔符为0x08，每行数据格式：删除＝D+0x07+日志序号+0x07+主键值。
9.根据权利要求1所述的异构数据库见的数据同步方法，其特征在于，所述HADOOP相关参数的格式为：
<shell>shell脚本内容</shell>；
<pig>pig脚本内容</pig>；
文件路径；
文件名称；
文件是否分割状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810382146.5A CN108334648A (zh) | 2018-04-14 | 2018-04-14 | 异构数据库间数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810382146.5A CN108334648A (zh) | 2018-04-14 | 2018-04-14 | 异构数据库间数据同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108334648A true CN108334648A (zh) | 2018-07-27 |
Family
ID=62934520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810382146.5A Pending CN108334648A (zh) | 2018-04-14 | 2018-04-14 | 异构数据库间数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334648A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143467A (zh) * | 2019-12-05 | 2020-05-12 | 贵州师范大学 | 一种实现分布式异构数据共享的云平台的数据共享方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630087A (zh) * | 2012-02-24 | 2012-08-08 | 中兴通讯股份有限公司 | 异构处理方法及装置 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| CN105005618A (zh) * | 2015-07-21 | 2015-10-28 | 杭州合众数据技术有限公司 | 一种异构数据库之间的数据同步方法及系统 |
| US20160292037A1 (en) * | 2015-03-31 | 2016-10-06 | Oracle International Corporation | Data recovery for a compute node in a heterogeneous database system |
-
2018
- 2018-04-14 CN CN201810382146.5A patent/CN108334648A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630087A (zh) * | 2012-02-24 | 2012-08-08 | 中兴通讯股份有限公司 | 异构处理方法及装置 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| US20160292037A1 (en) * | 2015-03-31 | 2016-10-06 | Oracle International Corporation | Data recovery for a compute node in a heterogeneous database system |
| CN105005618A (zh) * | 2015-07-21 | 2015-10-28 | 杭州合众数据技术有限公司 | 一种异构数据库之间的数据同步方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143467A (zh) * | 2019-12-05 | 2020-05-12 | 贵州师范大学 | 一种实现分布式异构数据共享的云平台的数据共享方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111176976B (zh) | 测试数据的生成方法和装置、存储介质及电子装置 | |
| CN103841196B (zh) | 一种基于多线程的文件上传系统及方法 | |
| CN109542865A (zh) | 分布式集群系统配置文件同步方法、装置、系统及介质 | |
| CN104091287B (zh) | 一种基于数据驱动的任务实现方法及装置 | |
| CN103916482A (zh) | 一种基于sqlite的数据同步传输方法 | |
| CN108737570A (zh) | 一种信息推送方法、装置及系统 | |
| CN107396199A (zh) | 弹幕数据展示方法及装置、计算机可读存储介质 | |
| CN105518641A (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
| CN108965003A (zh) | 一种分布式集群的部署方法、装置、系统及存储介质 | |
| CN102508886A (zh) | 一种基于xml的空间数据增量同步更新方法 | |
| CN112416969A (zh) | 分布式数据库中的并行任务调度系统 | |
| CN105847378A (zh) | 一种实现大数据同步的方法和系统 | |
| CN107784085B (zh) | 一种数据列表的导出方法及其终端 | |
| CN108334648A (zh) | 异构数据库间数据同步方法 | |
| CN108446371A (zh) | 数据回导方法、装置、计算机设备及存储介质 | |
| CN105338107A (zh) | 一种据点运营同步管理系统及方法 | |
| CN104731804B (zh) | 一种建立通用查询框架的方法及装置 | |
| CN103036668A (zh) | 一种基于命令行的机架式设备卡间配置同步方法 | |
| CN108184174A (zh) | 一种epon系统下自定义oam的方法 | |
| CN104598221A (zh) | Rtu设参方法 | |
| CN106487886A (zh) | 大数据信息发布系统及方法 | |
| CN104753891A (zh) | 一种xml报文解析方法及装置 | |
| CN112988879A (zh) | 访问数据库的方法、系统、装置、存储介质及处理器 | |
| CN110471968A (zh) | Etl任务的发布方法、装置、设备及存储介质 | |
| CN104933119A (zh) | 一种大数据管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180727 |
|
| WD01 | Invention patent application deemed withdrawn after publication |