CN104008172A - 一种数据交换方法 - Google Patents
一种数据交换方法 Download PDFInfo
- Publication number
- CN104008172A CN104008172A CN201410243947.5A CN201410243947A CN104008172A CN 104008172 A CN104008172 A CN 104008172A CN 201410243947 A CN201410243947 A CN 201410243947A CN 104008172 A CN104008172 A CN 104008172A
- Authority
- CN
- China
- Prior art keywords
- data
- configuration
- need
- source
- exchange
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据交换方法，本发明要解决的问题：1）数据同步方法问题，技术门槛高，需要专业的技能；占用服务器资源大，有些需要单服务器独部署；方法收费，有些项目的成本可能不允许；2）物化视图，对源系统数据库性能有些影响，增量抽取需要对源系统创建日志；抽取灵活性差，对抽数异常无法监控；通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎（提供数据层、应用层接口），调用抽数引擎（支持复杂的抽数处理规则），完成数据的交换、同步、汇总、清分。整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
Description
技术领域
本发明涉及计算机应用技术领域,具体地说是一种数据交换方法。
背景技术
随着经济社会的转型和信息技术的发展，数据库之间的数据交换越来越频繁，而市场上出现的一些抽取方法往往都是价格不菲，且要求技术门槛高，需要专业的技能；占用服务器资源大，有些需要单服务器独部署；因此基于项目成本的考虑，很多项目的数据抽取可能都是以各式各样的形式完成，显得复杂又零散。
轻量级数据交换方法即是针对以上问题提供的解决方法。用户通过简单的配置之后，可以根据自己的需要，定义好数据的抽取时间，即可实现数据抽取的统一管理，完成数据交换。此数据交换方法既节省用户学习抽取方法的时间，又可以很好、很快捷的完成数据交换，又节约了项目的成本。
发明内容
本发明的目的是提供一种数据交换方法。
本发明的目的是按以下方式实现的，通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎（提供数据层、应用层接口），调用抽数引擎（支持复杂的抽数处理规则），完成数据的交换、同步、汇总、清分。整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
具体步骤包括：
1）确认需要进行同步、抽取、汇总、清分的数据，确认好抽取的时间及抽取频度；
2）数据抽取配置阶段，其流程如下：
A：数据源配置，配置需要进行数据交换的数据源，并保证其连通性；
B：数据表配置，配置哪些具体的数据表需要进行交换，需要配置相应的源表与目标表，保证源表与目标表结构相同的情况下，配置源表与目标表的表名即可；
C：抽取组配置，配置哪些数据表做为同一组进行交换，即相同的抽取时间或抽取方式可放在同一组进行处理；
D:抽取机关配置，配置需要进行数据交换的机关，默认情况下对配置启用的机关进行数据交换；
E：抽取时间配置，配置要进行交换的数据表中是以哪些时间字段作为依据的，只有增量的情况下才需要配置该选项；
F：抽取方式配置，配置要进行交换的数据是以增量还是全量的形式进行，增量的情况下，如果配置了抽取时间则以时间进行增量，如果未配置抽取时间，则以机关进行增量；
3）数据交换，通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎，提供数据层、应用层接口，调用抽数引擎，完成数据的交换、同步、汇总、清分。整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
本发明的有益效果是：本发明要解决的问题：1）数据同步方法问题，技术门槛高，需要专业的技能；占用服务器资源大，有些需要单服务器独部署；方法收费，有些项目的成本可能不允许；2）物化视图，对源系统数据库性能有些影响，增量抽取需要对源系统创建日志；抽取灵活性差，对抽数异常无法监控；
通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎（提供数据层、应用层接口），调用抽数引擎（支持复杂的抽数处理规则），完成数据的交换、同步、汇总、清分。整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
附图说明
图1 是数据交换方法总体架构示意图；
图2 是数据交换方法总体流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明提供数据库之间的抽取、汇总、清分及不同系统间数据同步的一种轻量级的数据交换方法。 用户通过简单的配置之后，可以根据自己的需要，定义好数据的抽取时间，即可实现数据抽取的统一管理，完成数据交换。此数据交换方法既节省用户学习抽取方法的时间，又可以很好、很快捷的完成数据交换，又节约了项目的成本。
其实现步骤如下：
1）确认需要进行同步、抽取、汇总、清分的数据，确认好抽取的时间及抽取频度；
2）数据抽取配置阶段，其流程如下：
A：数据源配置，配置需要进行数据交换的数据源，并保证其连通性；
B：数据表配置，配置哪些具体的数据表需要进行交换，需要配置相应的源表与目标表；
C：抽取组配置，配置哪些数据表做为同一组进行交换，即相同的抽取时间或抽取方式可放在同一组进行处理；
D:抽取机关配置，配置需要进行数据交换的机关，默认情况下对配置启用的机关进行数据交换；
E：抽取时间配置，配置要进行交换的数据表中是以哪些时间字段作为依据的，只有增量的情况下才需要配置该选项；
F：抽取方式配置，配置要进行交换的数据是以增量还是全量的形式进行，增量的情况下，如果配置了抽取时间则以时间进行增量，如果未配置抽取时间，则以机关进行增量；
3）数据交换，通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎（提供数据层、应用层接口），调用抽数引擎（支持复杂的抽数处理规则），完成数据的交换、同步、汇总、清分。整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种数据交换方法, 其特征在于具体步骤包括：
1）确认需要进行同步、抽取、汇总、清分的数据，确认好抽取的时间及抽取频度；
2）数据抽取配置阶段，其流程如下：
A：数据源配置，配置需要进行数据交换的数据源，并保证其连通性；
B：数据表配置，配置哪些具体的数据表需要进行交换，需要配置相应的源表与目标表，保证源表与目标表结构相同的情况下，配置源表与目标表的表名即可；
C：抽取组配置，配置哪些数据表做为同一组进行交换，即相同的抽取时间或抽取方式可放在同一组进行处理；
D:抽取机关配置，配置需要进行数据交换的机关，默认情况下对配置启用的机关进行数据交换；
E：抽取时间配置，配置要进行交换的数据表中是以哪些时间字段作为依据的，只有增量的情况下才需要配置该选项；
F：抽取方式配置，配置要进行交换的数据是以增量还是全量的形式进行，增量的情况下，如果配置了抽取时间则以时间进行增量，如果未配置抽取时间，则以机关进行增量；
3）数据交换，通过配置管理对数据源、抽数表对象及抽数规则进行配置定义，使用定时器引擎，提供数据层、应用层接口，调用抽数引擎，完成数据的交换、同步、汇总、清分，整个处理过程通过监控引擎进行记录，可在监控日志、异常预警、预警展示中对处理过程进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410243947.5A CN104008172A (zh) | 2014-06-04 | 2014-06-04 | 一种数据交换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410243947.5A CN104008172A (zh) | 2014-06-04 | 2014-06-04 | 一种数据交换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104008172A true CN104008172A (zh) | 2014-08-27 |
Family
ID=51368829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410243947.5A Pending CN104008172A (zh) | 2014-06-04 | 2014-06-04 | 一种数据交换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104008172A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598622A (zh) * | 2015-02-02 | 2015-05-06 | 浪潮软件股份有限公司 | 一种数据修改日志的实现方法和系统及应用服务器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177892A1 (en) * | 2007-01-19 | 2008-07-24 | International Business Machines Corporation | Method for service oriented data extraction transformation and load |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN103034703A (zh) * | 2012-12-10 | 2013-04-10 | 江西省电力公司信息通信分公司 | 基于规则配置的多系统间数据交换的方法 |
| CN103473360A (zh) * | 2013-09-26 | 2013-12-25 | 浪潮齐鲁软件产业有限公司 | 一种大数据智能抽取的管理方法 |
-
2014
- 2014-06-04 CN CN201410243947.5A patent/CN104008172A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177892A1 (en) * | 2007-01-19 | 2008-07-24 | International Business Machines Corporation | Method for service oriented data extraction transformation and load |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN103034703A (zh) * | 2012-12-10 | 2013-04-10 | 江西省电力公司信息通信分公司 | 基于规则配置的多系统间数据交换的方法 |
| CN103473360A (zh) * | 2013-09-26 | 2013-12-25 | 浪潮齐鲁软件产业有限公司 | 一种大数据智能抽取的管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 熊彩凤: "数据集成交换平台引擎的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598622A (zh) * | 2015-02-02 | 2015-05-06 | 浪潮软件股份有限公司 | 一种数据修改日志的实现方法和系统及应用服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699541B (zh) | 同步数据的方法、装置、数据传输组件及系统 | |
| CN109656934B (zh) | 基于日志解析的源端Oracle数据库DDL同步方法及设备 | |
| CN104636435B (zh) | 云终端录屏方法 | |
| CN107783975A (zh) | 分布式数据库同步处理的方法和装置 | |
| CN103970833B (zh) | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN105069142A (zh) | 数据增量抽取转换与分发系统及方法 | |
| CN103412893A (zh) | 一种日志收集系统及其收集方法 | |
| CN106528070A (zh) | 一种数据表生成方法及设备 | |
| CN104850611A (zh) | 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法 | |
| CN104991952B (zh) | 一种智能数据分发流程引擎及其同步数据的方法 | |
| Cook et al. | Efficient sampling of avian acoustic recordings: intermittent subsamples improve estimates of single species prevalence and total species richness | |
| CN103914307A (zh) | 一种基于可复用库的交互界面快速实现方法 | |
| CN103970533A (zh) | 屏幕录制的信息记录方法及装置 | |
| CN106886535A (zh) | 一种适配多种数据源的数据抽取方法和装置 | |
| WO2019223178A1 (zh) | 跨平台任务调度方法、系统、计算机设备和存储介质 | |
| CN106227862A (zh) | 基于分布式的电商数据整合方法 | |
| WO2016165544A1 (zh) | 一种实现分布式系统跨时域一致性方法及装置 | |
| CN103885756A (zh) | 智能终端的基础应用功能配置方法、实现方法和装置 | |
| CN101556586A (zh) | 一种自动采集数据的方法、系统和装置 | |
| CN110442651A (zh) | 一种基于kettle实现excel数据自动上传并触发调度的方法 | |
| US10331484B2 (en) | Distributed data platform resource allocator | |
| CN104008172A (zh) | 一种数据交换方法 | |
| JP6040894B2 (ja) | ログ生成装置、及びログ生成方法 | |
| CN108268498B (zh) | 批量爬虫任务的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140827 |
|
| WD01 | Invention patent application deemed withdrawn after publication |