CN103593420A - 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 - Google Patents
一种利用共享在线日志实现异构同平台的数据库集群搭建方法 Download PDFInfo
- Publication number
- CN103593420A CN103593420A CN201310530906.XA CN201310530906A CN103593420A CN 103593420 A CN103593420 A CN 103593420A CN 201310530906 A CN201310530906 A CN 201310530906A CN 103593420 A CN103593420 A CN 103593420A
- Authority
- CN
- China
- Prior art keywords
- cluster
- database
- daily record
- data
- online
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种利用共享在线日志实现异构同平台的数据库集群搭建方法,通过对每个单节点数据库的部署,并且把在线日志放于共享存储上实现多个节点的集群搭建,在多节点集群工作的时候,数据库会把数据的变化写到在线日志中,通过对在线日志的共享,实现多个节点集群高效运行,当在线日志满足一定条件之后,数据库会自动将已经写满的在线日志转存到归档日志中,并且集群通过对归档日志进行同步,从而实现整个集群模式的高效、高性能的运行,将数据库的在线日志放于共享的高速存储设备上以达到高速高效的数据库集群模式,能够快速实现集群环境的部署,也能实现集群环境的高效运作。
Description
技术领域
本发明涉及计算机应用技术领域,具体地说是一种利用共享在线日志实现异构同平台的数据库集群搭建方法。
背景技术
用来保存计算最终结果的数据库是整个信息系统的重要组成部分,技术也相对成熟。然而,对于所有数据库而言,除了记录正确的处理结果之外,也面临着一些挑战:如何提高处理速度,数据可用性、数据安全性和数据集可扩性。将多个数据库联在一起组成数据库集群来达到上述目标应该说是一个很自然的想法。
本文试图对当前主要的数据库集群用到的具体技术和市场上的主流产品进行分析并作点评,从而为读者提供一个数据库集群的评价参考。
下面讨论的数据库集群技术分属两类体系:基于数据库引擎的集群技术和基于数据库网关(中间件)的集群技术。提高磁盘速度:主要思想是提高磁盘的并发度。尽管实现方法各不相同,但是它们最后的目的都是提供一个逻辑数据库的存储映象。
系统为了提高磁盘访问速度,建立一个虚拟的涵盖所有数据“大”数据库,而不用去考虑数据的实际物理磁盘存放位置。 分散数据的存放:利用多个物理服务器来存放数据集的不同部分,使得不同的服务器进行并行计算成为可能。
ORACLE RAC是共享磁盘的体系结构,用户只需简单地增加一个服务器节点,RAC就能自动地将这节点加入到它的集群服务中去,RAC会自动地将数据分配到这节点上,并且会将接下来的数据库访问自动分布到合适的物理服务器上,而不用修改应用程序;UDB是非共享磁盘的体系结构,需要手工修改数据分区,MSCS和ASE也是同样情况。ICX是一种基于中间件的数据库集群技术,对客户端和数据库服务器都是透明的。可以用来集群几个数据库集群。
系统通过化整为零的策略,将数据表格分散到多个服务器或者每个服务器分管几个内容不同的表格,这样做的目的在于通过多服务器间并行运算以提高访问速度。
对称多处理器系统:
利用多处理机硬件技术来提高数据库的处理速度。所有基于数据库引擎的集群都支持这个技术。
将多CPU处理器进行合理调度,来同时处理不同的访问要求,但这种技术在数据库上的应用的实际收益是很有限的。
交易处理负载均衡:在保持数据集内容同步的前提下,将只读操作分布到多个独立的服务器上运行。因为绝大多数的数据库操作是浏览和查询,如果我们能拥有多个内容同步的数据库服务器,交易负载均衡就具有最大的潜力(可以远远大于上面叙述的最多达四个处理器的对称多处理器系统)来提高数据库的处理速度,同时会具有非常高的数据可用性。
所有基于数据库引擎的集群系统都只支持一个逻辑数据库映象和一个逻辑或物理的备份。这个备份的主要目的是预防数据灾难。因此,备份里的数据只能通过复制机制来更新,应用程序是不能直接更新它的。利用备份数据进行交易负载均衡只适用于一些非常有限的应用,例如报表统计、数据挖掘以及其它非关键业务的应用。
负载平衡算是一项“老”技术了。但将性能提高到最大也是集群设计所追求的终极目标。传统意义上,利用备份数据进行交易负载均衡只适用于一些非常有限的应用。
上述所有技术在实际部署系统的时候可以混合使用以达到最佳效果。
目前的数据库集群模式主要是分为两种:第一种是基于共享数据模式的实例冗余,例如oracle的RAC,第二种是基于共享日志模式的数据库冗余,例如oracle的dataguard。这两个方案有明显的优缺点,RAC的缺点是:在系统规划设计较差时性能甚至不如单节点;可能会增加软件成本(如果使用高配置的pc服务器,Oracle一般按照CPU个数收费)。Dataguard的缺点是:最大保护和最高可用模式,对于主数据库系统资源占用很高;最大性能模式在灾难发生时,有数据丢失;要求主数据库和备用数据库的操作系统和数据库版本一致。
相对于前两面的两种数据库集群方式做一个折中,将在线日志放于共享设备上既可以节约整个数据库集群的成本,又可以保证整个数据库集群的性能。
发明内容
本发明的目的是提供一种利用共享在线日志实现异构同平台的数据库集群搭建方法。
本发明的目的是按以下方式实现的,首先通过对每个单节点数据库的部署,并且把在线日志放于共享存储上,从而实现多个节点的集群搭建,在多节点集群工作的时候,数据库会把数据的变化写到在线日志中,通过对在线日志的共享,实现多个节点集群高效运行,当在线日志满足一定条件之后,数据库会自动将已经写满的在线日志转存到归档日志中,并且集群通过对归档日志进行同步,从而实现整个集群模式的高效、高性能的运行,将数据库的在线日志放于共享的高速存储设备上以达到高速高效的数据库集群模式,能够快速实现集群环境的部署,也能实现集群环境的高效运作,具体步骤如下:
主库和备库通过高速互连协议进行通信,快速的同步归档日志,另外把在线日志放于共享的高速存储上,以保证主库和备库同时对外提供服务,既做到数据库的高可用,也能做到数据库的高性能和负载均衡,而以最小的代价来实现数据库的集群。
本发明的有益效果是:由于信息化程度越来越高,数据库系统越来越复杂,数据量越来越大,业务类型也越来越多样化,如何实现数据库集群最高性能的发挥越来越成为很多IT从业的难题。由于目前主流的数据库集群解决方案有太多的限制条件,要求相同的数据库类型,或者成本和管理等众多条件限制,无法真正解决企业的数据库集群需求。本方法从主流数据库的成本和集群原理入手,利用了共享在线日志的思想,引入简化的集群模式,确保异构平台下数据库集群的高效运行。
附图说明
图1是基于数据库引擎的集群结构示意图;
图2是基于数据库网关(中间件)的集群结构示意图;
图3是异构同平台的数据库集群搭建流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
首先通过对每个单节点数据库的部署,并且把在线日志放于共享存储上,从而实现多个节点的集群搭建,在多节点集群工作的时候,数据库会把数据的变化写到在线日志中,通过对在线日志的共享,实现多个节点集群高效运行,当在线日志满足一定条件之后,数据库会自动将已经写满的在线日志转存到归档日志中,并且集群通过对归档日志进行同步,从而实现整个集群模式的高效、高性能的运行,将数据库的在线日志放于共享的高速存储设备上以达到高速高效的数据库集群模式,能够快速实现集群环境的部署,也能实现集群环境的高效运作,具体步骤如下:
主库和备库通过高速互连协议进行通信,快速的同步归档日志,另外把在线日志放于共享的高速存储上,以保证主库和备库同时对外提供服务,既做到数据库的高可用,也能做到数据库的高性能和负载均衡,而以最小的代价来实现数据库的集群。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (1)
1.一种利用共享在线日志实现异构同平台的数据库集群搭建方法, 其特征在于通过对每个单节点数据库的部署,并且把在线日志放于共享存储上实现多个节点的集群搭建,在多节点集群工作的时候,数据库会把数据的变化写到在线日志中,通过对在线日志的共享,实现多个节点集群高效运行,当在线日志满足一定条件之后,数据库会自动将已经写满的在线日志转存到归档日志中,并且集群通过对归档日志进行同步,从而实现整个集群模式的高效、高性能的运行,将数据库的在线日志放于共享的高速存储设备上以达到高速高效的数据库集群模式,能够快速实现集群环境的部署,也能实现集群环境的高效运作,具体步骤如下:
主库和备库通过高速互连协议进行通信,快速的同步归档日志,另外把在线日志放于共享的高速存储上,以保证主库和备库同时对外提供服务,既做到数据库的高可用,也能做到数据库的高性能和负载均衡,而以最小的代价来实现数据库的集群。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310530906.XA CN103593420A (zh) | 2013-11-01 | 2013-11-01 | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310530906.XA CN103593420A (zh) | 2013-11-01 | 2013-11-01 | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103593420A true CN103593420A (zh) | 2014-02-19 |
Family
ID=50083561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310530906.XA Pending CN103593420A (zh) | 2013-11-01 | 2013-11-01 | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103593420A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268274A (zh) * | 2014-10-14 | 2015-01-07 | 华为技术有限公司 | 一种记录数据库日志的方法、装置及系统 |
CN104408064A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种数据存储方法及装置 |
CN104809201A (zh) * | 2015-04-24 | 2015-07-29 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN104809200A (zh) * | 2015-04-24 | 2015-07-29 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN109828720A (zh) * | 2019-01-21 | 2019-05-31 | 上海达梦数据库有限公司 | 数据存储方法、装置、服务器和存储介质 |
CN110413225A (zh) * | 2019-06-28 | 2019-11-05 | 苏州浪潮智能科技有限公司 | 高可靠集群存储双活配置方法、系统、终端及存储介质 |
CN113297159A (zh) * | 2021-02-08 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据存储方法以及装置 |
CN114138750A (zh) * | 2021-12-03 | 2022-03-04 | 无锡星凝互动科技有限公司 | 一种基于ai咨询数据库集群搭建方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124348A1 (en) * | 2005-11-30 | 2007-05-31 | Oracle International Corporation | Database system configured for automatic failover with no data loss |
US20070198700A1 (en) * | 2005-11-30 | 2007-08-23 | Oracle International Corporation | Database system configured for automatic failover with user-limited data loss |
CN102761521A (zh) * | 2011-04-26 | 2012-10-31 | 上海格尔软件股份有限公司 | 云安全存储及共享服务平台 |
CN103198159A (zh) * | 2013-04-27 | 2013-07-10 | 国家计算机网络与信息安全管理中心 | 一种基于事务重做的异构集群多副本一致性维护方法 |
-
2013
- 2013-11-01 CN CN201310530906.XA patent/CN103593420A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124348A1 (en) * | 2005-11-30 | 2007-05-31 | Oracle International Corporation | Database system configured for automatic failover with no data loss |
US20070198700A1 (en) * | 2005-11-30 | 2007-08-23 | Oracle International Corporation | Database system configured for automatic failover with user-limited data loss |
CN102761521A (zh) * | 2011-04-26 | 2012-10-31 | 上海格尔软件股份有限公司 | 云安全存储及共享服务平台 |
CN103198159A (zh) * | 2013-04-27 | 2013-07-10 | 国家计算机网络与信息安全管理中心 | 一种基于事务重做的异构集群多副本一致性维护方法 |
Non-Patent Citations (5)
Title |
---|
IT火影: ""Oracle集群"", 《HTTP://BLOG.CSDN.NET/IT_HY/ARTICLE/DETAILS/8301161》 * |
关锦明等: ""Oracle data guard与Oracle Streams技术对比"", 《现代计算机》 * |
刘爽等: ""DATA GUARD数据容灾策略"", 《石油地球物理勘探》 * |
刘荣刚: ""Oracle集群系统共享存储配置"", 《电脑知识与技术》 * |
邵文凯: ""使用Oracle Data Guard实现高可用性系统"", 《科技创新月刊》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268274A (zh) * | 2014-10-14 | 2015-01-07 | 华为技术有限公司 | 一种记录数据库日志的方法、装置及系统 |
CN104408064A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种数据存储方法及装置 |
CN104809201A (zh) * | 2015-04-24 | 2015-07-29 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN104809200A (zh) * | 2015-04-24 | 2015-07-29 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN104809200B (zh) * | 2015-04-24 | 2018-11-16 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN104809201B (zh) * | 2015-04-24 | 2018-11-16 | 联动优势科技有限公司 | 一种数据库同步的方法和装置 |
CN109828720A (zh) * | 2019-01-21 | 2019-05-31 | 上海达梦数据库有限公司 | 数据存储方法、装置、服务器和存储介质 |
CN109828720B (zh) * | 2019-01-21 | 2022-06-03 | 上海达梦数据库有限公司 | 数据存储方法、装置、服务器和存储介质 |
CN110413225A (zh) * | 2019-06-28 | 2019-11-05 | 苏州浪潮智能科技有限公司 | 高可靠集群存储双活配置方法、系统、终端及存储介质 |
CN110413225B (zh) * | 2019-06-28 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 高可靠集群存储双活配置方法、系统、终端及存储介质 |
CN113297159A (zh) * | 2021-02-08 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据存储方法以及装置 |
CN113297159B (zh) * | 2021-02-08 | 2024-03-08 | 阿里巴巴集团控股有限公司 | 数据存储方法以及装置 |
CN114138750A (zh) * | 2021-12-03 | 2022-03-04 | 无锡星凝互动科技有限公司 | 一种基于ai咨询数据库集群搭建方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593420A (zh) | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 | |
US11182404B2 (en) | Data replication technique in database management system | |
Padhy et al. | RDBMS to NoSQL: reviewing some next-generation non-relational database’s | |
Baker et al. | Megastore: Providing scalable, highly available storage for interactive services. | |
CN103218175B (zh) | 多租户的云存储平台访问控制系统 | |
Lakshman et al. | Cassandra: a decentralized structured storage system | |
Han et al. | A novel solution of distributed memory nosql database for cloud computing | |
Tsai et al. | Scalable architectures for SaaS | |
CN100452046C (zh) | 一种海量文件的存储方法及系统 | |
JP2012504262A (ja) | 分散キャッシュ配置 | |
CN105320773A (zh) | 一种基于Hadoop平台的分布式重复数据删除系统和方法 | |
CN103873559A (zh) | 一种高速存储的数据库一体机 | |
CN102394923A (zh) | 一种基于n×n陈列结构的云系统平台 | |
CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
US20120158805A1 (en) | Non-disruptive data movement and node rebalancing in extreme oltp environments | |
CN103150304A (zh) | 云数据库系统 | |
US20210055885A1 (en) | Enhanced data access using composite data views | |
CN104484472A (zh) | 一种混合多种异构数据源的数据库集群及实现方法 | |
US11327676B1 (en) | Predictive data streaming in a virtual storage system | |
CN105516313A (zh) | 一种用于大数据的分布式存储系统 | |
Chandra et al. | A study on cloud database | |
CN102820998B (zh) | 实现面向办公应用的双机容错服务系统及其数据存储方法 | |
CN102693312A (zh) | 一种键值库数据存储中柔性事务管理方法 | |
US11256695B1 (en) | Hybrid query execution engine using transaction and analytical engines | |
CN115510024A (zh) | 一种实现大规模并行数据库高可用的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140219 |