CN102081656A - 一种跨平台异构数据库的数据采集与分发系统 - Google Patents
一种跨平台异构数据库的数据采集与分发系统 Download PDFInfo
- Publication number
- CN102081656A CN102081656A CN201110005397XA CN201110005397A CN102081656A CN 102081656 A CN102081656 A CN 102081656A CN 201110005397X A CN201110005397X A CN 201110005397XA CN 201110005397 A CN201110005397 A CN 201110005397A CN 102081656 A CN102081656 A CN 102081656A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- cross
- data source
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块、一个周期结构转换模块和一个数据生成模块，其中所述周期结构转换模块由循环的原始数据源提取模块、数据结构映射模块和返回目标数据源模块组成。利用本发明提供的跨平台异构数据库的数据采集与分发系统，可以实现对原有数据库的升级处理，同时还可以对形式不同的数据源进行迁移，把各个数据孤岛迁移到中心数据库中，对数据进行系统整合。
Description
技术领域
本发明涉及一种电子信息领域，尤其是涉及跨平台异构数据库的数据采集与分发系统。
背景技术
计算机网络是一个复杂的异构体系，Windows桌面系统、UNIX工作站、Linux系统、嵌入式终端，不同的应用环境要求不同的网络传输质量，网络规模的动态变化等等，这些构成了网络的异构性和复杂性。而在多数网络系统中，信息的实时获取是非常关键的问题，不同的源地址将信息发布出来，相应地，网络中对此感兴趣的节点获取该信息。尤其是在实时性要求和任务紧急的系统中，要能做到“在正确的时间、正确的地点获取正确的数据”，对系统的要求是非常高的。因此，异构的计算机网络是不可避免的，在复杂的网络环境中实现高效的网络通信，是分布式系统开发必须面对的问题。
由于历史原因，大多数企事业单位可能存在着不止一种数据库平台，每个业务系统都在各自的系统及数据安全边界内部孤立地运行着。如果需要进行业务数据的共享，就要用到异构数据库的数据采集与分发。即使是同一种数据库平台，一旦分布在不同的服务器上或者具有不同的安全边界，都需要对数据共享的实现手段做出合理的设计。
一般跨平台的数据采集与分发是指在不同的平台间，将源数据库中指定表的数据采集并分发到目的数据库指定的表中。通常实现跨平台数据的采集与分发主要有三种办法：采用数据库厂商提供的专业工具，自主开发迁移程序和采用手工迁移。这些方法虽专业工具功能比较全面，但价格较高，且使用面有限；自主开发的迁移程序一般只支持特定的数据库之间的采集与分发；手工迁移是前两种方法的有益补充，但效率较低，且对DBA要求较高。
发明内容
本发明解决的技术问题是提供一种通用的方法，使用与不同的数据库，支持各种跨平台的数据采集与分发的跨平台异构数据库的数据采集与分发系统。
本发明解决其技术问题所采取的技术方案是：一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块、一个周期结构转换模块和一个数据生成模块，其中所述周期结构转换模块由循环的原始数据源提取模块、数据结构映射模块和返回目标数据源模块组成。
读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，确定数据源的类型；指定数据表，以视图的形式表现出来；映射数据源的结构，定义其属性；通过筛选条件针对数据表、视图等对象详细列出某条记录。
原始数据源提取模块，通过选择原始数据源；根据数据配置、筛选条件准备数据；把数据表中所储存的结构数值转化成系统能够识别的JAVA对象。
数据结构映射模块，根据原始数据提取模块所准备的数据信息进行转换，主要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换。
返回目标数据源模块，通过对原始数据源的选择，根据数据配置、筛选条件进行保存数据，把原始数据源提取模块中已经映射好的JAVA对象储存到数据列表中。
周期结构转换模块作为整个系统的一个小循环，根据转换的数据进行保存，当生成目标数据后，系统会再次返回原始数据源提取模块，进行筛选。这三个模块构成一个小周期进行循环。
数据生成模块，通过周期结构转换模块内循环模块的转换，最终生成目标数据，进入目标数据库，数据转换完成。
采用上述结构后，可以实现跨平台异构数据库的数据采集与分发，同时数据的提供者可以根据自己的需求控制数据的范围、方式和程序代码的实现理念，符合企业在数据共享方面的现实安全考虑，具有良好的应用前景。
附图说明
图1是本发明的结构示意图；
图2是本发明的周期结构转换模块内部循环模块示意图。
图中：1、读取数据配置模块 2、周期结构转换模块 3、数据生成模块2-1、原始数据源提取模块 2-2、数据结构映射模块 2-3、返回目标数据源模块
具体实施方式
图1和图2所示一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块1、一个周期结构转换模块2和一个数据生成模块3，其中所述周期结构转换模块2由循环的原始数据源提取模块2-1、数据结构映射模块2-2和返回目标数据源模块2-3组成。
读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，大致分四部分来实现，首先定义不同数据源，确定数据源的信息；其次指定数据表，并用视图的方式展示出来；再次定义结构属性；最后筛选条件，针对对象详细列出某条记录。该模块是系统运行的前提，在此基础上，根据指定的数据源信息、属性进行数据的提取工作
原始数据源提取模块，通过选择原始数据源；根据数据配置、筛选条件准备数据；储存结构数值并转化为系统能够识别的对象把数据表中所储存的结构数值转化成系统能够识别的JAVA对象。
数据结构映射模块，根据原始数据源提取模块所准备的数据信息进行转换，主要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换，关键取决于读取数据配置模块中结构属性的定义。
返回目标数据源模块，通过对原始数据源的选择，根据数据配置、筛选条件进行保存数据，把原始数据源提取模块中已经映射好的JAVA对象储存到数据列表中。
周期结构转换模块作为整个系统的一个小循环，根据转换的数据进行保存，当生成目标数据后，系统会再次返回原始数据源提取模块，进行筛选。这三个模块构成一个小周期进行循环。
考虑到采集分发的数据量巨大，系统在这里进行了一个周期性的小循环设计，原始数据源提取模块、数据结构映射模块和返回目标数据源模块共同构成了周期结构转换系统部分，使数据可以根据要求分批次循环采集。所有数据全部采集并生成目标数据后，系统根据转换的数据进行保存，进入下一个循环的采集与分发。如果在采集分发过程中，产生错误或异常，系统会通过警告、提示发布出来，避免了盲目查找，有利于速度的提升。
数据生成模块，作为结束模块，是数据采集分发结束后对已经映射好的数据进行保存，使整个系统处于一个完整的状态。通过周期结构转换模块内循环模块的转换，最终生成目标数据，进入目标数据库，数据转换完成。
使用本发明进行数据采集与分发可以大大的减少数据运行中的速度，也在很大程度上弥补了传统数据采集的一些弊端，它适用于各种系统平台，这就为各种系统平台的信息交互提供了便利，不受限于同类产品或某一公司产品的制约。
Claims (6)
1.一种跨平台异构数据库的数据采集与分发系统，其特征是：包括依次顺序传递的一个读取数据配置模块(1)、一个周期结构转换模块(2)和一个数据生成模块(3)，其中所述周期结构转换模块(2)由循环的原始数据源提取模块(2-1)、数据结构映射模块(2-2)和返回目标数据源模块(2-3)组成。
2.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是：所述读取数据配置模块(1)为系统第一部分，根据系统要求定义不同数据源，确定数据源的类型；指定数据表，以视图的形式表现出来；映射数据源的结构，定义其属性；通过筛选条件针对数据表、视图等对象详细列出某条记录。
3.根据权利要去1所述的跨平台异构数据库的数据采集与分发系统，其特征是：所述原始数据源提取模块(2-1)，通过选择原始数据源；根据数据配置、筛选条件准备数据；把数据表中所储存的结构数值转化成系统能够识别的JAVA对象。
4.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是：所述数据结构映射模块(2-2)，根据原始数据源提供模块(2-1)所准备的数据信息进行转换，主要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换。
5.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是：所述返回目标数据源模块(2-3)，通过对原始数据源的选择，根据数据配置、筛选条件进行保存数据，把原始数据源提供模块(2-1)中已经映射好的JAVA对象储存到数据列表中。
6.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是：所述数据生成模块(3)通过周期结构转换模块(2)中三个循环模块的转换，最终生成目标数据，进入目标数据库，数据转换完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110005397XA CN102081656A (zh) | 2011-01-12 | 2011-01-12 | 一种跨平台异构数据库的数据采集与分发系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110005397XA CN102081656A (zh) | 2011-01-12 | 2011-01-12 | 一种跨平台异构数据库的数据采集与分发系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102081656A true CN102081656A (zh) | 2011-06-01 |
Family
ID=44087619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110005397XA Pending CN102081656A (zh) | 2011-01-12 | 2011-01-12 | 一种跨平台异构数据库的数据采集与分发系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102081656A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262662A (zh) * | 2011-07-22 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 实现异构平台下数据库数据迁移的系统、装置及方法 |
| CN102375912A (zh) * | 2011-10-25 | 2012-03-14 | 北京航空航天大学 | 一种不同工程软件系统间的数据集成装置及方法 |
| CN102722575A (zh) * | 2012-06-05 | 2012-10-10 | 河北世窗信息技术有限公司 | 一种多类型数据库连接池管理系统及管理方法 |
| CN102789491A (zh) * | 2012-07-03 | 2012-11-21 | 河海大学 | 一种可配置的数据订阅和发布系统及其方法 |
| CN103327090A (zh) * | 2013-06-14 | 2013-09-25 | 银联商务有限公司 | 一种数据分发方法及系统 |
| CN103593199A (zh) * | 2013-11-29 | 2014-02-19 | 迈普通信技术股份有限公司 | 数据转换的方法和系统 |
| CN103617585A (zh) * | 2013-11-06 | 2014-03-05 | 梧州学院 | 一种基于共享数据平台的数据处理方法 |
| CN105630964A (zh) * | 2015-12-25 | 2016-06-01 | 甘肃万维信息技术有限责任公司 | 一种数据交互分析系统 |
| CN106294402A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种异构数据源的数据搜索方法及其装置 |
| WO2017008598A1 (zh) * | 2015-07-10 | 2017-01-19 | 中兴通讯股份有限公司 | 大数据交换方法及装置 |
| CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
| CN111124805A (zh) * | 2019-11-25 | 2020-05-08 | 中国联合网络通信集团有限公司 | 数据采集方法、装置、设备及存储介质 |
| CN112487085A (zh) * | 2020-11-12 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 一种多平台数据映射方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060251073A1 (en) * | 2005-05-05 | 2006-11-09 | International Business Machines Corporation | Methods and apparatus for transferring data |
| CN101009002A (zh) * | 2007-02-06 | 2007-08-01 | 华为技术有限公司 | 在异构系统间实现数据共享的方法和系统 |
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
-
2011
- 2011-01-12 CN CN201110005397XA patent/CN102081656A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060251073A1 (en) * | 2005-05-05 | 2006-11-09 | International Business Machines Corporation | Methods and apparatus for transferring data |
| CN101009002A (zh) * | 2007-02-06 | 2007-08-01 | 华为技术有限公司 | 在异构系统间实现数据共享的方法和系统 |
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《绵阳师范学院学报》 20051031 李敏等 多异构数据库环境下的数据共享方案研究 第29-33页 1-10 第24卷, 第5期 * |
| 《重庆大学学报(自然科学版)》 20070831 潘大四等 一种匹配目的端模式的异构数据交换 第34-39页 1-6 第30卷, 第8期 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262662A (zh) * | 2011-07-22 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 实现异构平台下数据库数据迁移的系统、装置及方法 |
| CN102375912B (zh) * | 2011-10-25 | 2013-07-24 | 北京航空航天大学 | 一种不同工程软件系统间的数据集成装置及方法 |
| CN102375912A (zh) * | 2011-10-25 | 2012-03-14 | 北京航空航天大学 | 一种不同工程软件系统间的数据集成装置及方法 |
| CN102722575A (zh) * | 2012-06-05 | 2012-10-10 | 河北世窗信息技术有限公司 | 一种多类型数据库连接池管理系统及管理方法 |
| CN102789491B (zh) * | 2012-07-03 | 2016-03-16 | 河海大学 | 一种可配置的数据订阅和发布系统及其方法 |
| CN102789491A (zh) * | 2012-07-03 | 2012-11-21 | 河海大学 | 一种可配置的数据订阅和发布系统及其方法 |
| CN103327090A (zh) * | 2013-06-14 | 2013-09-25 | 银联商务有限公司 | 一种数据分发方法及系统 |
| CN103327090B (zh) * | 2013-06-14 | 2017-04-12 | 银联商务有限公司 | 一种数据分发方法及系统 |
| CN103617585A (zh) * | 2013-11-06 | 2014-03-05 | 梧州学院 | 一种基于共享数据平台的数据处理方法 |
| CN103593199A (zh) * | 2013-11-29 | 2014-02-19 | 迈普通信技术股份有限公司 | 数据转换的方法和系统 |
| CN103593199B (zh) * | 2013-11-29 | 2016-08-24 | 迈普通信技术股份有限公司 | 数据转换的方法和系统 |
| CN106294402A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种异构数据源的数据搜索方法及其装置 |
| WO2017008598A1 (zh) * | 2015-07-10 | 2017-01-19 | 中兴通讯股份有限公司 | 大数据交换方法及装置 |
| US10706062B2 (en) | 2015-07-10 | 2020-07-07 | Xi'an Zhongxing New Software Co., Ltd. | Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source |
| CN105630964A (zh) * | 2015-12-25 | 2016-06-01 | 甘肃万维信息技术有限责任公司 | 一种数据交互分析系统 |
| CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
| CN107045534B (zh) * | 2017-01-20 | 2018-06-05 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
| CN111124805A (zh) * | 2019-11-25 | 2020-05-08 | 中国联合网络通信集团有限公司 | 数据采集方法、装置、设备及存储介质 |
| CN112487085A (zh) * | 2020-11-12 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 一种多平台数据映射方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102081656A (zh) | 一种跨平台异构数据库的数据采集与分发系统 | |
| US9715536B2 (en) | Virtualization method for large-scale distributed heterogeneous data | |
| CN103430144A (zh) | 数据源分析 | |
| CN106528070B (zh) | 一种数据表生成方法及设备 | |
| CN105096083A (zh) | 一种用于仓库的信息系统 | |
| CN106529331A (zh) | 一种应用于PaaS平台的多租户数据隔离方案 | |
| CN101937463A (zh) | 一种用于工作流模型的表单自动生成方法 | |
| CN104115139A (zh) | 提供可配置工作流能力 | |
| CN101546325A (zh) | 基于soa的网格异构数据集成方法 | |
| US8589394B2 (en) | System and method for dynamically configuring a multi-model node table | |
| CN102917009B (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
| CN103020301A (zh) | 一种多维度数据查询和存储方法及系统 | |
| CN103218402A (zh) | 通用的数据库数据结构与数据迁移系统及其方法 | |
| CN105208090A (zh) | 一种基于Zookeeper实现Leader选举的方法 | |
| CN102004634A (zh) | 分层的业务管理系统 | |
| CN104756101A (zh) | 执行具有多个集合操作符的查询 | |
| CN102567330A (zh) | 异构数据库集成系统 | |
| CN105144209A (zh) | 用于支持多个企业管理商业合作伙伴以及相关联的资产的系统和方法 | |
| CN101493840A (zh) | 一种海量地震数据库的建立方法 | |
| CN110134511A (zh) | 一种OpenTSDB共享存储优化方法 | |
| CN112035468A (zh) | 基于内存计算、web可视化配置的多数据源ETL工具 | |
| CN102567335A (zh) | 基于异构数据库的业务系统 | |
| CN109241153A (zh) | 一种异构数据库集成接入方法 | |
| CN101295376A (zh) | 工单批量产生系统及方法 | |
| CN105160475A (zh) | 核电项目进度三维可视化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110601 |