CN101697166A - 一种加速异构平台数据整合的方法 - Google Patents
一种加速异构平台数据整合的方法 Download PDFInfo
- Publication number
- CN101697166A CN101697166A CN200910229621A CN200910229621A CN101697166A CN 101697166 A CN101697166 A CN 101697166A CN 200910229621 A CN200910229621 A CN 200910229621A CN 200910229621 A CN200910229621 A CN 200910229621A CN 101697166 A CN101697166 A CN 101697166A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- xml
- source
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010354 integration Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims description 3
- 239000012467 final product Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种加速异构平台数据整合的方法,属于一种数据整合的方法;将两个计算机系统内的数据库中的数据进行整合;包括源方、中间件方、目标方,两个计算机系统内的数据库提供数据的一方为源方,接收数据的一方为目标方,中间件方是指提供交换服务功能的一方;其中,源方负责提供源XML模式以及将关系型数据封装为源方XML数据交付给中间件方;目标方负责提供XML模式,按该模式接受XML数据并转换为关系数据写入目标库中;中间件方负责将源XML数据映射为目标XML数据并交付到目标方。本发明的一种加速异构平台数据整合的方法和现有技术相比,具有占用主机资源低、传输速度快、扩展性好,即插即用等优点。
Description
技术领域
本发明涉及一种数据整合的方法,具体地说是一种加速异构平台数据整合的方法。
背景技术
随着IT环境的越来越复杂,电信、银行等高端用户都会面临着拥有多种操作系统、不同数据库、异构网络及多个应用的部署、监控和管理的难题。如何解决这些“信息孤岛”,把他们结合成一个有机的协同工作的整体、真正实现企业跨平台分布式应用是现在高端客户不得不面临的一个问题。此外,由于系统数据量的不断累积以及人们对于IT环境提供的服务要求越来越苛刻,也迫切需要一些用户对现有的设备进行升级,而升级设备必要要面对数据迁移,如何快速进行数据整合,使现有服务当机时间最短,使客户的损失降到最低这也是服务商最关心的问题。
现有的异构平台数据整合方案中,基本上都是采用数据库软件自身携带的数据导入导出工具进行整合方法,这种方法存在很多不足,首先是性能比较差,从一个数据库导入另一个数据库都要经过数据源驱动这一层的转化;其次是灵活性比较低,受限于不同的数据库;最后对主机性能影响比较大,占用过多的主机资源。
发明内容
本发明的技术任务是提供一种基于双XML模式交换数据实现异构平台数据整合的一种加速异构平台数据整合的方法。
本发明的技术任务是按以下方式实现的,包括计算机系统,将两个计算机系统内的数据库中的数据进行整合;包括源方、中间件方、目标方,两个计算机系统内的数据库提供数据的一方为源方,接收数据的一方为目标方,中间件方是指提供交换服务功能的一方;其中,源方负责提供源XML模式以及将关系型数据封装为源方XML数据交付给中间件方;目标方负责提供XML模式,按该模式接受XML数据并转换为关系数据写入目标库中;中间件方负责将源XML数据映射为目标XML数据并交付到目标方;源方XML数据通过匹配规则转化为目标XML数据,匹配规则是由源XML模式和目标XML模式与中间件方交互生成的,并保存在中间件方,用于数据映射;整个流程中数据流经过模式转换、模式匹配、数据抽取、数据交换、数据写入处理。
首先由源方和目标方分别对各自的关系模式进行描述,构造源XML模式和目标XML模式;然后在源XML模式和目标XML模式之间建立规则来实现异构平台之间的数据转换;在数据转换的过程中源方将关系型数据库转换为源XML数据,然后按照匹配规则转换为符合目标方XML模式的数据,消除数据的异构性,交给目标方,目标方将目标XML数据转换成目标数据库数据入库。
具体流程为:
(1)、源方针对数据库中可以进行数据整合的数据关系表,提取关系模式信息,生成源XML模式,这一步是预先完成的,不依赖于任何具体的数据交换请求;
(2)、目标方根据需要获得数据的关系表建立目标XML模式;
(3)、目标方根据源方发布的XML模式确定需要的数据,提交目标XML模式,使中间件方的模式匹配服务指定源,目标XML模式间的匹配规则;
(4)、中间件方对上一步中的目标方指定的匹配规则进行分析处理,生成匹配规则文档,并为匹配规则文档、目标XML模式、源XML模式三者建立关联,其中匹配规则的生成主要是利用关系数据与XML数据之间的转换算法生成;
(5)、中间件方依据目标方指定的目标XML模式,对它所关联的源XML模式调用源方的数据抽取服务,获取源XML数据,根据与目标XML模式相关的匹配规则对源XML数据进行映射生成目标XML数据交付给目标方;
(6)、目标方将目标XML数据解析后写入数据库中;
(7)、当目标方再次提出相同需求的数据传输请求时,只要指定传输所使用的目标XML模式,执行(5)、(6)步即可。
XML(Extensible Markup Language)即可扩展标记语言,它是SGML(Standard Generalized Markup Language,标准通用标记语言)。XML是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具。扩展标记语言XML是一种简单的数据存储语言,使用一系列简单的标记描述数据,而这些标记可以用方便的方式建立,虽然XML占用的空间比二进制数据要占用更多的空间,但XML极其简单易于掌握和使用。
本发明的一种加速异构平台数据整合的方法具有以下优点:
1、使用基于双模XML交换的异构平台数据整合方案它能够很好的屏蔽掉异构平台数据迁移、升级所带来的硬件设备、操作系统、网络之间的差异性;
2、具有占用主机资源低、传输速度快、扩展性好,即插即用等优点;具体表现在采用XML作为中间件数据库它为各异构数据源提供了一个理想的缓冲,以XML作为中间转换格式屏蔽掉了双方的数据存储格式之间的差异;
3、XML本身自定义性和语义性强的特点可以解决当前关系型数据的定义、类型转换及完整性约束等方面的问题;
4、利用XML作为中间件交换数据库真正实现了数据源的“热插播”;因而,具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种加速异构平台数据整合的方法的原理框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种加速异构平台数据整合的方法作以下详细地说明。
实施例:
本发明的一种加速异构平台数据整合的方法,包括计算机系统,将两个计算机系统内的数据库中的数据进行整合;包括源方、中间件方、目标方,两个计算机系统内的数据库提供数据的一方为源方,接收数据的一方为目标方,中间件方是指提供交换服务功能的一方;其中,源方负责提供源XML模式以及将关系型数据封装为源方XML数据交付给中间件方;目标方负责提供XML模式,按该模式接受XML数据并转换为关系数据写入目标库中;中间件方负责将源XML数据映射为目标XML数据并交付到目标方;源方XML数据通过匹配规则转化为目标XML数据,匹配规则是由源XML模式和目标XML模式与中间件方交互生成的,并保存在中间件方,用于数据映射;整个流程中数据流经过模式转换、模式匹配、数据抽取、数据交换、数据写入处理。
首先由源方和目标方分别对各自的关系模式进行描述,构造源XML模式和目标XML模式;然后在源XML模式和目标XML模式之间建立规则来实现异构平台之间的数据转换;在数据转换的过程中源方将关系型数据库转换为源XML数据,然后按照匹配规则转换为符合目标方XML模式的数据,消除数据的异构性,交给目标方,目标方将目标XML数据转换成目标数据库数据入库。
具体流程为:
(1)、源方针对数据库中可以进行数据整合的数据关系表,提取关系模式信息,生成源XML模式,这一步是预先完成的,不依赖于任何具体的数据交换请求;
(2)、目标方根据需要获得数据的关系表建立目标XML模式;
(3)、目标方根据源方发布的XML模式确定需要的数据,提交目标XML模式,使中间件方的模式匹配服务指定源,目标XML模式间的匹配规则;
(4)、中间件方对上一步中的目标方指定的匹配规则进行分析处理,生成匹配规则文档,并为匹配规则文档、目标XML模式、源XML模式三者建立关联,其中匹配规则的生成主要是利用关系数据与XML数据之间的转换算法生成;
(5)、中间件方依据目标方指定的目标XML模式,对它所关联的源XML模式调用源方的数据抽取服务,获取源XML数据,根据与目标XML模式相关的匹配规则对源XML数据进行映射生成目标XML数据交付给目标方;
(6)、目标方将目标XML数据解析后写入数据库中;
(7)、当目标方再次提出相同需求的数据传输请求时,只要指定传输所使用的目标XML模式,执行(5)、(6)步即可。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (3)
1.一种加速异构平台数据整合的方法,包括计算机系统,其特征在于将两个计算机系统内的数据库中的数据进行整合;包括源方、中间件方、目标方,两个计算机系统内的数据库提供数据的一方为源方,接收数据的一方为目标方,中间件方是指提供交换服务功能的一方;其中,源方负责提供源XML模式以及将关系型数据封装为源方XML数据交付给中间件方;目标方负责提供XML模式,按该模式接受XML数据并转换为关系数据写入目标库中;中间件方负责将源XML数据映射为目标XML数据并交付到目标方;源方XML数据通过匹配规则转化为目标XML数据,匹配规则是由源XML模式和目标XML模式与中间件方交互生成的,并保存在中间件方,用于数据映射;整个流程中数据流经过模式转换、模式匹配、数据抽取、数据交换、数据写入处理。
2.根据权利要求1所述的一种加速异构平台数据整合的方法,其特征在于首先由源方和目标方分别对各自的关系模式进行描述,构造源XML模式和目标XML模式;然后在源XML模式和目标XML模式之间建立规则来实现异构平台之间的数据转换;在数据转换的过程中源方将关系型数据库转换为源XML数据,然后按照匹配规则转换为符合目标方XML模式的数据,消除数据的异构性,交给目标方,目标方将目标XML数据转换成目标数据库数据入库。
3.根据权利要求1所述的一种加速异构平台数据整合的方法,其特征在于具体流程为:
(1)、源方针对数据库中可以进行数据整合的数据关系表,提取关系模式信息,生成源XML模式,这一步是预先完成的,不依赖于任何具体的数据交换请求;
(2)、目标方根据需要获得数据的关系表建立目标XML模式;
(3)、目标方根据源方发布的XML模式确定需要的数据,提交目标XML模式,使中间件方的模式匹配服务指定源,目标XML模式间的匹配规则;
(4)、中间件方对上一步中的目标方指定的匹配规则进行分析处理,生成匹配规则文档,并为匹配规则文档、目标XML模式、源XML模式三者建立关联,其中匹配规则的生成主要是利用关系数据与XML数据之间的转换算法生成;
(5)、中间件方依据目标方指定的目标XML模式,对它所关联的源XML模式调用源方的数据抽取服务,获取源XML数据,根据与目标XML模式相关的匹配规则对源XML数据进行映射生成目标XML数据交付给目标方;
(6)、目标方将目标XML数据解析后写入数据库中;
(7)、当目标方再次提出相同需求的数据传输请求时,只要指定传输所使用的目标XML模式,执行(5)、(6)步即可。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102296216A CN101697166B (zh) | 2009-10-28 | 2009-10-28 | 一种加速异构平台数据整合的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102296216A CN101697166B (zh) | 2009-10-28 | 2009-10-28 | 一种加速异构平台数据整合的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101697166A true CN101697166A (zh) | 2010-04-21 |
CN101697166B CN101697166B (zh) | 2011-07-27 |
Family
ID=42142271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102296216A Active CN101697166B (zh) | 2009-10-28 | 2009-10-28 | 一种加速异构平台数据整合的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101697166B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012083679A1 (zh) * | 2011-07-13 | 2012-06-28 | 华为技术有限公司 | 一种数据迁移方法、数据迁移装置及数据迁移系统 |
CN102650996A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 确定数据库表之间的数据映射关系的方法和装置 |
CN102750358A (zh) * | 2012-06-12 | 2012-10-24 | 中国电力科学研究院 | 一种系统数据模型到cim模型的映射方法及系统 |
CN103309977A (zh) * | 2013-06-14 | 2013-09-18 | 广东电网公司电力科学研究院 | 异构数据资源整合的方法 |
CN104104738A (zh) * | 2014-08-06 | 2014-10-15 | 江苏瑞中数据股份有限公司 | 一种基于ftp的数据交换系统 |
CN104537103A (zh) * | 2015-01-12 | 2015-04-22 | 用友医疗卫生信息系统有限公司 | 数据处理方法和数据处理装置 |
CN105335412A (zh) * | 2014-07-31 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 用于数据转换、数据迁移的方法和装置 |
CN105550220A (zh) * | 2015-12-03 | 2016-05-04 | 浪潮通用软件有限公司 | 一种异构系统的取数的方法及装置 |
CN105677679A (zh) * | 2014-11-20 | 2016-06-15 | 航天信息股份有限公司 | 基于xml的异构数据系统之间的数据传输方法和系统 |
CN105763538A (zh) * | 2016-01-29 | 2016-07-13 | 广州达讯网络科技有限公司 | 一种银行业务网络数据交换方法及其系统 |
CN106709060A (zh) * | 2017-01-11 | 2017-05-24 | 中国铁塔股份有限公司 | 一种数据共享方法及系统 |
CN107025249A (zh) * | 2016-02-02 | 2017-08-08 | 上海格尔软件股份有限公司 | 一种快速支持多数据库同步开发的方法 |
CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
CN108920702A (zh) * | 2018-07-18 | 2018-11-30 | 四川师范大学 | 实现异构数据库同步在线交换和共享的方法 |
CN112925772A (zh) * | 2019-12-06 | 2021-06-08 | 北京沃东天骏信息技术有限公司 | 一种数据动态拆分方法和装置 |
CN115408329A (zh) * | 2022-08-26 | 2022-11-29 | 上海玫克生储能科技有限公司 | 即插即用型边缘计算终端硬件系统架构 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951442A (zh) * | 2017-02-15 | 2017-07-14 | 中国保险信息技术管理有限责任公司 | 一种异构数据库间的数据交互方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100401288C (zh) * | 2005-05-30 | 2008-07-09 | 北京慧讯信息技术有限公司 | 分布式数据源数据集成系统及方法 |
CN1904885A (zh) * | 2005-07-29 | 2007-01-31 | 北京航空航天大学 | 数据库适配器 |
CN100547591C (zh) * | 2006-11-24 | 2009-10-07 | 北京神舟航天软件技术有限公司 | 应用层调用基于关系数据库的数据库抽象层的方法 |
-
2009
- 2009-10-28 CN CN2009102296216A patent/CN101697166B/zh active Active
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102650996A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 确定数据库表之间的数据映射关系的方法和装置 |
CN102650996B (zh) * | 2011-02-28 | 2015-02-11 | 国际商业机器公司 | 确定数据库表之间的数据映射关系的方法和装置 |
WO2012083679A1 (zh) * | 2011-07-13 | 2012-06-28 | 华为技术有限公司 | 一种数据迁移方法、数据迁移装置及数据迁移系统 |
CN102750358A (zh) * | 2012-06-12 | 2012-10-24 | 中国电力科学研究院 | 一种系统数据模型到cim模型的映射方法及系统 |
CN103309977A (zh) * | 2013-06-14 | 2013-09-18 | 广东电网公司电力科学研究院 | 异构数据资源整合的方法 |
CN105335412A (zh) * | 2014-07-31 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 用于数据转换、数据迁移的方法和装置 |
CN105335412B (zh) * | 2014-07-31 | 2019-06-11 | 阿里巴巴集团控股有限公司 | 用于数据转换、数据迁移的方法和装置 |
CN104104738B (zh) * | 2014-08-06 | 2018-02-02 | 江苏瑞中数据股份有限公司 | 一种基于ftp的数据交换系统 |
CN104104738A (zh) * | 2014-08-06 | 2014-10-15 | 江苏瑞中数据股份有限公司 | 一种基于ftp的数据交换系统 |
CN105677679A (zh) * | 2014-11-20 | 2016-06-15 | 航天信息股份有限公司 | 基于xml的异构数据系统之间的数据传输方法和系统 |
CN104537103A (zh) * | 2015-01-12 | 2015-04-22 | 用友医疗卫生信息系统有限公司 | 数据处理方法和数据处理装置 |
CN104537103B (zh) * | 2015-01-12 | 2018-11-16 | 用友医疗卫生信息系统有限公司 | 数据处理方法和数据处理装置 |
CN105550220B (zh) * | 2015-12-03 | 2018-11-27 | 浪潮通用软件有限公司 | 一种异构系统的取数的方法及装置 |
CN105550220A (zh) * | 2015-12-03 | 2016-05-04 | 浪潮通用软件有限公司 | 一种异构系统的取数的方法及装置 |
CN105763538B (zh) * | 2016-01-29 | 2018-08-24 | 广州达讯网络科技有限公司 | 一种银行业务网络数据交换方法及其系统 |
CN105763538A (zh) * | 2016-01-29 | 2016-07-13 | 广州达讯网络科技有限公司 | 一种银行业务网络数据交换方法及其系统 |
CN107025249A (zh) * | 2016-02-02 | 2017-08-08 | 上海格尔软件股份有限公司 | 一种快速支持多数据库同步开发的方法 |
CN106709060A (zh) * | 2017-01-11 | 2017-05-24 | 中国铁塔股份有限公司 | 一种数据共享方法及系统 |
CN107045534A (zh) * | 2017-01-20 | 2017-08-15 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
CN107045534B (zh) * | 2017-01-20 | 2018-06-05 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
CN108920702A (zh) * | 2018-07-18 | 2018-11-30 | 四川师范大学 | 实现异构数据库同步在线交换和共享的方法 |
CN112925772A (zh) * | 2019-12-06 | 2021-06-08 | 北京沃东天骏信息技术有限公司 | 一种数据动态拆分方法和装置 |
CN115408329A (zh) * | 2022-08-26 | 2022-11-29 | 上海玫克生储能科技有限公司 | 即插即用型边缘计算终端硬件系统架构 |
CN115408329B (zh) * | 2022-08-26 | 2023-07-25 | 上海玫克生储能科技有限公司 | 即插即用型边缘计算终端硬件系统架构 |
Also Published As
Publication number | Publication date |
---|---|
CN101697166B (zh) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101697166B (zh) | 一种加速异构平台数据整合的方法 | |
CN102713904A (zh) | 利用可缩放的数据结构的方法和装置 | |
WO2021218144A1 (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN101295311B (zh) | 一种大规模发布订阅系统的语义匹配算法 | |
CN101354759A (zh) | 一种基于元模型的工作流流程定义转换的方法及系统 | |
US20200233904A1 (en) | Method and system for converting one type of data schema to another type of data schema | |
CN101443766A (zh) | 对二进制编码的xml数据的高效分段更新 | |
US20120173679A1 (en) | Adaptation method, adapter and adapter system for network service communication | |
CN101827302A (zh) | 多业务统一处理方法及统一业务平台 | |
CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
CN102262674A (zh) | 一种分布式内存数据库的数据同步方法及系统 | |
CN102750358A (zh) | 一种系统数据模型到cim模型的映射方法及系统 | |
CN103186455B (zh) | 页面自动化测试脚本生成方法及系统 | |
CN103947157A (zh) | M2m通信用装置及方法 | |
CN104468299A (zh) | 基于用户规则的企业服务总线系统 | |
CN115237853A (zh) | 数据查询的方法、装置、电子设备和存储介质 | |
CN113381870A (zh) | 报文处理方法和设备 | |
CN113626512A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
US20120084306A1 (en) | Systems, methods, and apparatus for accessing object representations of data sets | |
CN106856441A (zh) | Nfvo中的vim选择方法和装置 | |
CN1271812C (zh) | 无线设备同步系统及方法 | |
US7827132B2 (en) | Peer based event conversion | |
CN102999329A (zh) | 基于可扩展标记语言映射配置的活动目录接口开发方法 | |
CN107798139A (zh) | 一种基于cim/xml的主备数据异构方法 | |
CN111651758A (zh) | 一种运维审计系统关系型数据库结果集审计的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |