CN107656951B - 一种同步异构数据库系统中实时数据的方法 - Google Patents

一种同步异构数据库系统中实时数据的方法 Download PDF

Info

Publication number
CN107656951B
CN107656951B CN201611209343.4A CN201611209343A CN107656951B CN 107656951 B CN107656951 B CN 107656951B CN 201611209343 A CN201611209343 A CN 201611209343A CN 107656951 B CN107656951 B CN 107656951B
Authority
CN
China
Prior art keywords
data
real time
database
data source
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611209343.4A
Other languages
English (en)
Other versions
CN107656951A (zh
Inventor
林殷
吴方才
朱雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Star Map Co., Ltd.
Original Assignee
Geovis Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geovis Technology Beijing Co ltd filed Critical Geovis Technology Beijing Co ltd
Priority to CN201611209343.4A priority Critical patent/CN107656951B/zh
Publication of CN107656951A publication Critical patent/CN107656951A/zh
Application granted granted Critical
Publication of CN107656951B publication Critical patent/CN107656951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种同步异构数据库系统中实时数据的方法。该系统设计了一种集成数据层，为来自异构数据源的数据提供数据源之间的实时同步功能，以在异构数据源集成体系结构中保证了异构数据源实现实时同步，而不影响现有的异构数据源集成模式。

Description

一种同步异构数据库系统中实时数据的方法
【技术领域】
本发明属于知识管理与数据集成技术领域。
【背景技术】
随着大数据时代的到来和知识经济的深入发展，企业、研究所等研发和生产机构愈发重视对知识的管理，实施了许多信息化软件，并产生了大量的数据，分别存储于不同的数据库中。而相对独立、缺乏组织的知识难以发挥充分的价值，因此需要通过对异构数据库的集成将这些资源进行有效的整合。
这些数据库具有系统异构、结构异构等特点，称为异构数据库。常规的集成方法多采取定制的方式，对现有的异构数据库进行集成，且要求在集成之前，完成对这些数据库结构的读取工作，为后期构建检索语句提供基础，此步骤是实现集成方法的重要部分。而当用户提出新的需求时，则需要人工对平台进行维护和改进，是一个漫长而复杂的过程。当前也存在一些支持用户导入和管理数据库的集成方法，但是，这些集成方法只能够实现初步的集成，在集成检索中向用户返回最基本的检索字段，当用户对知识详细内容和结构有进一步需求时，往往采取自动获取数据库关联表的方式向用户返回一些可能相关的信息，而这些信息往往具有准确度低、缺乏组织等特点。
而在异构数据源的集成过程中，存在实时同步的要求，其是指某一节点发生数据变化时，立即更新到其它节点，已保证任何时间任何节点的数据均保持一致。对于异构数据源，其对于相同数据的数据结构、数据模式可能存在不一致现象，因此他们对于数据的同步并非简单的“转存”，这时就需要建立合理的机制来保证数据在异构数据源中的实时同步，而避免冲突。
因此，在本领域中，如何保证数据在异构数据源中的实时同步，而避免冲突是需要解决的技术问题。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种企业异构数据库智能集成的方法。
本发明采用的技术方案如下：
一种同步异构数据库系统中实时数据的方法，包括：所述异构数据库系统包括数据仓库、集成数据层和应用接口；
底层的各个异构数据源构成了系统的数据仓库；
集成数据层封装了异构数据库集成系统的业务逻辑；
各种应用程序和对应的访问接口构成了系统的应用接口；
集成数据层是实现异构数据库中数据转换的核心，目的是访问各个数据源，集成数据源信息，协调各数据源间信息；集成数据层在各局部数据提供的共享数据的基础之上建立一个全局的虚拟视图，并不存储实际的数据；
具体包括:元数据DB、元数据管理器、封装器、切换器、应用层访问统一接口、异构数据源归一化接口；
元数据DB用于储存各异构数据库的元数据库信息；
元数据管理器用于制定集成系统的全局模式与局部数据库的模式之间的转换规则；
切换器用于异构数据库的注册、公共模型的生成和全局查询请求的接收；
封装器用于实现数据位置和访问的透明，对异构的数据进行包装；
集成数据层对外提供了两个统一接口，即应用层访问统一接口和底层异构数据库访问接口；其功能是屏蔽各数据库的差异，提供数据的透明访问，使得使用者无需知道数据的数据源模式及具体的物理位置等信息，只需通过系统定义的与具体数据源无关的SQL语句进行访问；
当应用开始运行后，首先需要读取基础配置，该配置信息来源于元数据DB，包括储存各异构数据源的元数据库信息；
连接多个实时数据源，其中包括第一实时数据源和至少一个第二实时数据源，通过底层异构数据库访问接口捕获第二实时数据源中的数据模式变化，如果没有新的数据模式，按照指定的传输协议格式，进行数据格式变化；汇总所有第二实时数据源的数据，将其反映到第二实时数据源的全局模式中；连接第一实时数据源，根据第二实时数据源的全局模式，而由元数据管理器将第二实时数据源模式集成到第一实时数据源的全局模式上，根据集成结果将第二实时数据同步至第一实时数据源，将集成结果存储到数据缓存中。
优选地，如果有新的数据模式，则收集并集成所有的数据模式形成统一的第二实时数据源全局模式。
优选地，其中，切换器由三个组件构成，包括：异构数据注册模块、查询规划模块和结果合并过滤模块；异构数据注册模块的主要功能是：在共享数据注册阶段，负责公共模型的建立以及异构数据库的共享注册；查询规划模块的主要功能是：在数据集成阶段，将客户端提交的基于全局数据库的标准查询分解成针对各个异构数据库的子查询，并提交到相应的包装器；结果合并过滤模块的主要功能是：将各异构数据库查询返回的XML文档进行合并，形成完整统一的查询结果，反馈至客户端浏览器。
优选地，其中，封装器由智能更新模块、查询结果转换模块和数据库操作模块三个组件构成；智能更新模块采用spring框架的quartz任务定时的扫描由不同的异构数据库上传的XML描述文档，通过解析这些XML文档，实现数据自动更新；查询结果转换模块负责将SQL查询的结果转换为XML文档；数据库操作模块负责连接后台各个异构数据库，包括初始化数据库连接、分配连接、封装数据库基本操作、关闭连接的功能。
本发明的有益效果包括：在异构数据源集成体系结构中保证了异构数据源实现实时同步，而不影响现有的异构数据源集成模式。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明中异构数据库智能集成系统框架图；
图2是本发明方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，Web服务集成中间件系统体系自下而上包括数据仓库、集成数据层和应用接口。其中，底层的各个异构数据源构成了系统的数据仓库；集成数据层采用中间件技术，封装了异构数据库集成系统的业务逻辑；各种应用程序和对应的访问接口构成了系统的应用接口。
该系统采用B/S模式，构成了客户/服务器三层架构。采用这种设计有以下几种优势：安装升级方便；易扩展维护；可移植性强可靠性强；数据智能更新快。
集成数据层是实现异构数据库中数据转换的核心，目的是访问各个数据源，集成数据源信息，协调各数据源间信息。集成数据层在各局部数据提供的共享数据的基础之上建立一个全局的虚拟视图，并不存储实际的数据。具体包括:元数据DB、元数据管理器、封装器、切换器、应用层访问统一接口、异构数据源归一化接口，下面分别对各模块加以介绍。
元数据DB负责储存各异构数据库的元数据库信息。元数据库信息包括注册信息、连接信息URL、各元数据库用户与全局用户的匹配关系、模式映射信息、访问策略信息等。元数据DB支撑整个系统的运行。
元数据管理器负责制定集成系统的全局模式与局部数据库的模式之间的转换规则。
切换器负责异构数据库的注册、公共模型的生成和全局查询请求的接收。切换器由三个组件构成，包括：异构数据注册模块、查询规划模块和结果合并过滤模块。其中，异构数据注册模块的主要功能是：在共享数据注册阶段，负责公共模型的建立以及异构数据库的共享注册；查询规划模块的主要功能是：在数据集成阶段，将客户端提交的基于全局数据库的标准查询分解成针对各个异构数据库的子查询，并提交到相应的包装器；结果合并过滤模块的主要功能是：将各异构数据库查询返回的XML文档进行合并，形成完整统一的查询结果，反馈至客户端浏览器。
封装器的功能是实现数据位置和访问的透明，对异构的数据进行包装。封装器由智能更新模块、查询结果转换模块和数据库操作模块三个组件构成。智能更新模块采用spring框架的quartz任务定时的扫描由不同的异构数据库上传的XML描述文档，通过解析这些XML文档，实现数据自动更新，从而保证抽象数据表的有效性、实时性、智能性。查询结果转换模块负责将SQL查询的结果转换为XML文档。数据库操作模块负责连接后台各个异构数据库，包括初始化数据库连接、分配连接、封装数据库基本操作、关闭连接等功能。
集成数据层对外提供了两个统一接口，即应用层访问统一接口和底层异构数据库访问接口。其功能是屏蔽各数据库的差异，提供数据的透明访问，使得使用者无需知道数据的数据源模式及具体的物理位置等信息，只需通过系统定义的与具体数据源无关的SQL语句进行访问。
参见附图2，其是本发明一种企业异构数据库智能集成方法的流程图。
当应用开始运行后，首先需要读取基础配置，该配置信息来源于元数据DB，包括储存各异构数据源的元数据库信息；
连接多个实时数据源，其中包括第一实时数据源和至少一个第二实时数据源，通过底层异构数据库访问接口捕获第二实时数据源中的数据模式变化，如果没有新的数据模式，按照指定的传输协议格式，进行数据格式变化；汇总所有第二实时数据源的数据，将其反映到第二实时数据源的全局模式中；连接第一实时数据源，根据第二实时数据源的全局模式，而由元数据管理器将第二实时数据源模式集成到第一实时数据源的全局模式上，根据集成结果将第二实时数据同步至第一实时数据源，将集成结果存储到数据缓存中。
如果有新的数据模式，则收集并集成所有的数据模式形成统一的第二实时数据源全局模式。
通过上述方法，本发明的方案在异构数据源集成体系结构中保证了异构数据源实现实时同步，而不影响现有的异构数据源集成模式。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (1)

1.一种同步异构数据库系统中实时数据的方法，所述异构数据库系统包括：
数据仓库、集成数据层和应用接口；
底层的各个异构数据源构成了系统的数据仓库；
集成数据层封装了异构数据库集成系统的业务逻辑；
各种应用程序和对应的访问接口构成了系统的应用接口；
集成数据层是实现异构数据库中数据转换的核心，目的是访问各个数据源，集成数据源信息，协调各数据源间信息；集成数据层在各局部数据提供的共享数据的基础之上建立一个全局的虚拟视图，并不存储实际的数据；
具体包括:元数据DB、元数据管理器、封装器、切换器、应用层访问统一接口、异构数据源归一化接口；
元数据DB用于储存各异构数据库的元数据库信息；
元数据管理器用于制定集成系统的全局模式与局部数据库的模式之间的转换规则；
切换器用于异构数据库的注册、公共模型的生成和全局查询请求的接收；
封装器用于实现数据位置和访问的透明，对异构的数据进行包装；
集成数据层对外提供了两个统一接口，即应用层访问统一接口和底层异构数据库访问接口；其功能是屏蔽各数据库的差异，提供数据的透明访问，使得使用者无需知道数据的数据源模式及具体的物理位置信息，只需通过系统定义的与具体数据源无关的SQL语句进行访问；
当应用开始运行后，首先需要读取基础配置，该基础配置信息来源于元数据DB，包括储存各异构数据源的元数据库信息；
连接多个实时数据源，其中包括第一实时数据源和至少一个第二实时数据源，通过底层异构数据库访问接口捕获第二实时数据源中的数据模式变化，如果没有新的数据模式，按照指定的传输协议格式，进行数据格式变化；汇总所有第二实时数据源的数据，将其反映到第二实时数据源的全局模式中；连接第一实时数据源，根据第二实时数据源的全局模式，而由元数据管理器将第二实时数据源模式集成到第一实时数据源的全局模式上，根据集成结果将第二实时数据同步至第一实时数据源，将集成结果存储到数据缓存中；
如果有新的数据模式，则收集并集成所有的数据模式形成统一的第二实时数据源全局模式；
切换器由三个组件构成，包括：异构数据注册模块、查询规划模块和结果合并过滤模块；异构数据注册模块的主要功能是：在共享数据注册阶段，负责公共模型的建立以及异构数据库的共享注册；查询规划模块的主要功能是：在数据集成阶段，将客户端提交的基于全局数据库的标准查询分解成针对各个异构数据库的子查询，并提交到相应的包装器；结果合并过滤模块的主要功能是：将各异构数据库查询返回的XML文档进行合并，形成完整统一的查询结果，反馈至客户端浏览器；
封装器由智能更新模块、查询结果转换模块和数据库操作模块三个组件构成；智能更新模块采用spring框架的quartz任务定时的扫描由不同的异构数据库上传的XML描述文档，通过解析这些XML文档，实现数据自动更新；查询结果转换模块负责将SQL查询的结果转换为XML文档；数据库操作模块负责连接后台各个异构数据库，包括初始化数据库连接、分配连接、封装数据库基本操作、关闭连接的功能。
CN201611209343.4A 2016-12-23 2016-12-23 一种同步异构数据库系统中实时数据的方法 Active CN107656951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611209343.4A CN107656951B (zh) 2016-12-23 2016-12-23 一种同步异构数据库系统中实时数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611209343.4A CN107656951B (zh) 2016-12-23 2016-12-23 一种同步异构数据库系统中实时数据的方法

Publications (2)

Publication Number Publication Date
CN107656951A CN107656951A (zh) 2018-02-02
CN107656951B true CN107656951B (zh) 2018-11-23

Family

ID=61127535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611209343.4A Active CN107656951B (zh) 2016-12-23 2016-12-23 一种同步异构数据库系统中实时数据的方法

Country Status (1)

Country Link
CN (1) CN107656951B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491489A (zh) * 2018-03-14 2018-09-04 北京思特奇信息技术股份有限公司 一种基于多数据源的数据处理方法及系统
CN113553313B (zh) * 2018-07-10 2023-12-05 创新先进技术有限公司 一种数据迁移方法及系统、存储介质、电子设备
CN109828972B (zh) * 2019-01-18 2022-03-22 深圳易嘉恩科技有限公司 一种基于有向图结构的数据集成方法
CN110162559B (zh) * 2019-04-13 2020-07-10 山东公链信息科技有限公司 一种基于通用json同步和异步数据api接口调用的区块链处理方法
CN110851847B (zh) * 2019-11-08 2023-09-12 国家工业信息安全发展研究中心 一种异构数据处理系统、方法、装置和存储介质
CN111209932B (zh) * 2019-12-24 2022-03-22 中国电子科技集团公司第三十研究所 一种基于多数据源的可动态配置的用户信息引接方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
US20150169681A1 (en) * 2010-06-30 2015-06-18 Microsoft Corporation Dynamic asset monitoring and management using a continuous event processing platform
CN104866551A (zh) * 2015-05-13 2015-08-26 上海钢富电子商务有限公司 异构数据源实时同步系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169681A1 (en) * 2010-06-30 2015-06-18 Microsoft Corporation Dynamic asset monitoring and management using a continuous event processing platform
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
CN104866551A (zh) * 2015-05-13 2015-08-26 上海钢富电子商务有限公司 异构数据源实时同步系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Web服务异构数据库智能集成的研究;李龙凤 等;《科技视界》;20140329;第68-70、90页 *

Also Published As

Publication number Publication date
CN107656951A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107656951B (zh) 一种同步异构数据库系统中实时数据的方法
US10831753B2 (en) Query plan generation and execution in a relational database management system with a temporal-relational database
CN103617176B (zh) 一种实现多源异构数据资源自动同步的方法
US10116725B2 (en) Processing data retrieval requests in a graph projection of an application programming interfaces (API)
Deshpande et al. Cache-and-query for wide area sensor databases
CN103631870B (zh) 一种用于大规模分布式数据处理的系统及其方法
CN106844485A (zh) 一种企业异构数据库智能集成的系统及方法
US20170344605A1 (en) Optimizing write operations in object schema-based application programming interfaces (apis)
CN106372177B (zh) 支持混合数据类型的关联查询及模糊分组的查询扩展方法
CN108108456A (zh) 一种基于元数据的信息资源分布式查询方法
CN100594497C (zh) 一种实现网络查询缓存的系统和查询方法
CN110633186A (zh) 用于电力计量微服务架构的日志监控系统及实现方法
CN105335479B (zh) 一种基于sql的文本数据统计实现方法
CN104102710A (zh) 一种海量数据查询方法
WO2023087673A1 (zh) 一种层次数据检索方法、装置和设备
CN103970902A (zh) 一种大量数据情况下的可靠即时检索方法及系统
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
CN102402507B (zh) 一种soa多消息机制的异构数据集成系统和方法
CN110688397B (zh) 一种基于sql的分布式数据统一访问系统及方法
CN102999563A (zh) 基于资源描述框架的网络资源语义检索方法及系统
CN109947796B (zh) 一种分布式数据库系统查询中间结果集的缓存方法
CN107066546A (zh) 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN107977446A (zh) 一种基于数据分区的内存网格数据加载方法
CN109446358A (zh) 一种基于id缓存技术的图数据库加速装置和方法
US9836503B2 (en) Integrating linked data with relational data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Patentee after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Patentee before: Space Star Technology (Beijing) Co., Ltd.

CP03 Change of name, title or address