CN103092871A - 一种实现异构数据库的数据同步方法 - Google Patents
一种实现异构数据库的数据同步方法 Download PDFInfo
- Publication number
- CN103092871A CN103092871A CN2011103449381A CN201110344938A CN103092871A CN 103092871 A CN103092871 A CN 103092871A CN 2011103449381 A CN2011103449381 A CN 2011103449381A CN 201110344938 A CN201110344938 A CN 201110344938A CN 103092871 A CN103092871 A CN 103092871A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- heterogeneous database
- data synchronization
- technology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
一种实现异构数据库的数据同步方法：JMS具有Java语言的平台无关性，XML是一种扩展的标记语言，广泛应用于异构数据库的数据交换。
Description
技术领域
本发明涉及一种实现异构数据库的数据同步方法，特别涉及的是在JMS与XML技术的基础上提出一种异构数据库同步的方法并成功实现数据同步。
背景技术
目前，信息化建设正以前所未有的速度发展，各种各样的数据急剧膨胀。在这种大背景下，数据的传输、处理能力已经成为信息化程度的一个重要标志。由于各单位现在使用的软硬件平台、数据库系统不尽相同，当各单位之间需要进行数据交流时，其效率及准确性、及时性就会受到影响，对数据进行有效、安全的传输和处理成为一个重要的技术课题。如何高效、安全地保持各数据库间数据同步，实现企业中各部门之间信息资源共享即实现异构数据库的同步是现代企业应用系统中需要考虑的重要问题之一。
发明内容
基于上述问题，特此发明一种实现异构数据库的数据同步方法；异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。为了保持身份数据的一致性，数据中心中的身份数据与应用系统需要访问的身份库中用户身份信息之间必须同步更新。由于平台的差异性和数据库的多样性，普通的复制技术就显得乏力，需要一种具有可行的、通用的数据同步方法。基于JMS的数据同步方法是采用异步通信模式，屏蔽平台和底层通讯协议的差异性，满足异构数据库之间数据同步。当拥有授权的数据中心数据管理员或应用数据管理员通过数据管理更新或维护数据中心中身份数据时，数据管理程序首先向数据中心提交一个事务，要求个性数据中心的用户身份信息；同时定制一个XML格式的消息，把相关的个性信息以消息的方式提交给消息服务平台，要求身份库LDAP中的用户身份信息进行同步更新。消息平台处理消息数据，触发专用修改LDAP数据的同步程序来修改LDAP中的相关记录，达到数据的更新同步。同步软件采用的关键技术为Oracle高级复制技术。该技术能将Oracle数据库中的数据同步或异步拷贝到不同的数据库中。将数据复制到复制环境数据库的技术实体叫做物化视图。物化视图可以是只读的、可更新的或可写的.
该技术在不同Oracle数据库之间进行复制时可以同步，也可以异步。同步复制即复制数据在任何时间、任何复制节点均保持一致。异步复制即所有复制节点的数据在一定时间内是不同步的。如果复制环境中一个节点的复制数据发生了更新操作，这种改变将在不同的事务中被传播和应用到其他所有复制节点。这些不同的事务间可以间隔几秒、几分钟、几小时，也可以是几天之后。复制节点之间的数据临时是不同步的，但传播最终将保证所有复制节点间的数据一致。
(1)容灾系统使用异步可写物化视图方案应急系统要求容灾数据库的这些物化视图是可写的，这样才能保证系统的正常运行，但是又不要求这些变更数据同步至生产系统，因为现在的生产系统已经遭到破坏。可写的物化视图允许用户通过在这个可写的物化视图上进行插入、更新和删除行的操作，但是这些操作不会同样地插入、更新和删除主表或主实体化视图上的行。因此容灾数据库中应该使用这种可写的物化视图；同时容灾数据库的表结构、索引、存储结构应该与生产数据库保持一致，使用该同步软件中的普通初始同步方式来完全拷贝生产系统的表和索引定义。当灾难发生时，应该首先停止生产系统到容灾系统的同步软件，然后启动营业应急系统以保证继续营业；同时因为同步延时了几分钟(最长不超过5min)，所以有可能会丢失少量数据。部分丢失的数据需要通过营业补录的方式解决。
(2)数据仓库是使用异步只读物化视图的方案数据仓库只要求对读取生产的数据进行分析，因此数据仓库的这些物化视图是只读的就可以了。只读物化视图提供只读的访问表数据。这个表数据来源于一个主体站点或一个主物化视图站点，因此数据仓库中采用这种只读物化视图。另外，数据仓库在分析时一般需要扫描这些物化视图，需要建立与生产数据库不同的表和索引结构，如对表进行分区、建立数据分析需要的索引等。因此应该使用该同步软件中的分区初始同步和条件初始同步方式来建立合适的物化视图及索引。
Claims (2)
1.一种实现异构数据库的数据同步方法：该方法主要是利用JMS/X M L和MQSeries classes for Java消息机制进行同步实现。
2.根据权利要求1的实现异构数据库的数据同步方法，此方法采用的关键技术为Oracle高级复制技术。该技术能将Oracle数据库中的数据同步或异步拷贝到不同的数据库中。将数据复制到复制环境数据库的技术实体叫做物化视图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103449381A CN103092871A (zh) | 2011-11-01 | 2011-11-01 | 一种实现异构数据库的数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103449381A CN103092871A (zh) | 2011-11-01 | 2011-11-01 | 一种实现异构数据库的数据同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103092871A true CN103092871A (zh) | 2013-05-08 |
Family
ID=48205450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103449381A Pending CN103092871A (zh) | 2011-11-01 | 2011-11-01 | 一种实现异构数据库的数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103092871A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970833A (zh) * | 2014-04-02 | 2014-08-06 | 浙江大学 | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 |
| CN110659328A (zh) * | 2019-08-30 | 2020-01-07 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
| CN111984680A (zh) * | 2020-08-12 | 2020-11-24 | 北京海致网聚信息技术有限公司 | 基于Hive分区表实现物化视图性能优化的方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020174098A1 (en) * | 2001-05-04 | 2002-11-21 | Lasmsoft Corporation | Method and system for providing a dynamic and real-time exchange between heterogeneous database systems |
| CN101290570A (zh) * | 2007-04-17 | 2008-10-22 | 高丹 | 不同语言环境下异构数据库数据的统合中间件 |
-
2011
- 2011-11-01 CN CN2011103449381A patent/CN103092871A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020174098A1 (en) * | 2001-05-04 | 2002-11-21 | Lasmsoft Corporation | Method and system for providing a dynamic and real-time exchange between heterogeneous database systems |
| CN101290570A (zh) * | 2007-04-17 | 2008-10-22 | 高丹 | 不同语言环境下异构数据库数据的统合中间件 |
Non-Patent Citations (1)
| Title |
|---|
| 柴炜: "利用JMS、XML技术实现异构数据库的数据同步", 《信息科技》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970833A (zh) * | 2014-04-02 | 2014-08-06 | 浙江大学 | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 |
| CN103970833B (zh) * | 2014-04-02 | 2017-08-15 | 浙江大学 | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 |
| CN110659328A (zh) * | 2019-08-30 | 2020-01-07 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
| CN111984680A (zh) * | 2020-08-12 | 2020-11-24 | 北京海致网聚信息技术有限公司 | 基于Hive分区表实现物化视图性能优化的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10078681B2 (en) | Differentiated secondary index maintenance in log structured NoSQL data stores | |
| WO2019154394A1 (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
| CN103780638B (zh) | 数据同步方法及系统 | |
| US8825601B2 (en) | Logical data backup and rollback using incremental capture in a distributed database | |
| US9875266B2 (en) | Restoring database consistency integrity | |
| US7383293B2 (en) | Database backup system using data and user-defined routines replicators for maintaining a copy of database on a secondary server | |
| CN109101627A (zh) | 异构数据库同步方法及装置 | |
| US11442961B2 (en) | Active transaction list synchronization method and apparatus | |
| KR20210135477A (ko) | 데이터베이스 애플리케이션들을 블록체인 기술로 증강시키기 위한 시스템 및 방법 | |
| KR20200100173A (ko) | 데이터베이스 시스템 내의 데이터 복제 및 데이터 장애 조치 | |
| US10747776B2 (en) | Replication control using eventually consistent meta-data | |
| CN103970833A (zh) | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 | |
| CN105843702A (zh) | 一种用于数据备份的方法以及装置 | |
| CN106776121A (zh) | 一种数据灾备装置、系统及方法 | |
| CN109343979A (zh) | 一种配置管理方法及系统 | |
| CN110083306A (zh) | 一种分布式对象存储系统及存储方法 | |
| Dey et al. | Scalable distributed transactions across heterogeneous stores | |
| CN109783578A (zh) | 数据读取方法、装置、电子设备以及存储介质 | |
| CN103092871A (zh) | 一种实现异构数据库的数据同步方法 | |
| CN109859068B (zh) | 一种基于资源池技术的电网数据实时同步系统 | |
| US20120197994A1 (en) | Transactional cache versioning and storage in a distributed data grid | |
| CN110019527A (zh) | 从库读取方法、相关装置和设备 | |
| Frank | Countermeasures against consistency anomalies in distributed integrated databases with relaxed ACID properties | |
| Radi | Improved aggressive update propagation technique in cloud data storage | |
| CN111026764B (zh) | 一种数据存储方法、装置、电子产品及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130508 |
|
| WD01 | Invention patent application deemed withdrawn after publication |