CN107766518A - 将k‑db集群模式下各实例归档文件集中存放的方法 - Google Patents

将k‑db集群模式下各实例归档文件集中存放的方法 Download PDF

Info

Publication number
CN107766518A
CN107766518A CN201710999353.0A CN201710999353A CN107766518A CN 107766518 A CN107766518 A CN 107766518A CN 201710999353 A CN201710999353 A CN 201710999353A CN 107766518 A CN107766518 A CN 107766518A
Authority
CN
China
Prior art keywords
archive
log
file
dest
filing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710999353.0A
Other languages
English (en)
Inventor
马国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710999353.0A priority Critical patent/CN107766518A/zh
Publication of CN107766518A publication Critical patent/CN107766518A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种将K‑DB集群模式下各实例归档文件集中存放的方法,涉及归档文件安全存储领域,本发明K‑DB数据库使用LOG_ARCHIVE_DEST_n参数指定归档目录,对其增加include属性,该属性的作用是指定需要归档到本地的实例列表,在该参数列表中的所有实例产生的归档文件都会拷贝到本地目录中。对归档进程进行改造,使其能够根据LOG_ARCHIVE_DEST_n中include属性的值,将指定实例产生的归档拷贝到本地目录。可以实现归档文件的冗余存储,有效的保护了归档文件,并且降低了系统复杂度。

Description

将K-DB集群模式下各实例归档文件集中存放的方法
技术领域
本发明涉及归档文件安全存储技术,尤其涉及一种将K-DB集群模式下各实例归档文件集中存放的方法。
背景技术
K-DB数据库通过数据库参数LOG_ARCHIVE_DEST_n,可以设置本实例归档文件的归档目录为本地文件系统目录或共享目录。当设置成本地目录或共享目录后时,本实例生成的归档文件会由数据库归档进程拷贝到指定目录。在K-DB集群模式下,数据库由多个数据库实例组成,这些实例分布在不同的主机上,每个实例需要分别设置自己的归档目录,然后本实例产生的归档文件保存到本实例归档目录。在使用数据库备份软件备份时,备份软件需要能够读取所有实例产生的归档文件,所以集群模式下所有实例必须将归档目录设置到共享目录,在某个实例上能够访问到其它实例产生的归档文件。该共享目录可以是共享文件系统的目录或是数据库KAS磁盘组,共享文件系统可以使用GFS、HDFS等。GFS、HDFS等需要在主机上另外安装共享文件系统软件,这无疑增加了数据库软件环境的复杂度,并且共享文件系统软件BUG问题可能造成放在里面的归档文件无法读取。KAS是K-DB自己提供的一种磁盘管理系统,用于管理底层磁盘为数据库提供磁盘组存储数据文件或归档文件等,在使用时不能直接使用操作系统命令对其中的文件进行操作,所以如果KAS出现故障,可能造成其中的数据文件和归档文件等无法访问并丢失。数据库恢复时需要读取之前产生的归档文件将数据库恢复到最新状态或某个时间点,恢复时缺少任何一个归档文件数据库都将无法完成恢复,所以归档文件安全存储至关重要,使用共享文件系统和KAS存储归档文件都给数据库正常运行和恢复带来一定风险。
发明内容
为了使K-DB集群模式中在某个实例上备份数据库时能够访问到所有实例产生的归档文件,而且不使用共享文件系统和KAS,本发明提出了一种将K-DB集群模式下各实例归档文件集中存放的方法。不需要借助共享文件系统和KAS功能。通过对归档地址参数增加include属性,对归档进程进行改进使其能将include指定实例的归档文件拷贝到本地文件系统,实现将不同实例的归档文件集中存放的目的。如果每个实例的归档参数都通过include属性指定所有实例,那么每个实例上都会存储所有实例的归档文件,在任何一个实例上备份数据库都可以读取其它实例产生的归档文件。
K-DB数据库使用LOG_ARCHIVE_DEST_n参数指定归档目录,对其进行改造增加include属性,该属性的作用是指定需要归档到本实例列表,在该参数列表中的所有实例产生的归档文件都会拷贝到本地目录中。对归档进程进行改造,使其能够根据LOG_ARCHIVE_DEST_n中include属性的值,将指定实例产生的归档拷贝到本地目录。
归档进程监控include属性指定实例的REDO文件,当发现REDO写满后要归档时,将写满的REDO文件拷贝到指定目录形成归档文件,通过这种方式使得在集群中一个实例上就可以将其它实例产生的归档文件集中拷贝到本实例归档指定目录中;主要包括两个方面:1)LOG_ARCHIVE_DEST_n中include属性;2)归档进程功能改进。
1)LOG_ARCHIVE_DEST_n中include属性
数据库将归档文件产生到参数LOG_ARCHIVE_DEST_n指定的目录,该参数的值设置成如下:LOG_ARCHIVE_DEST_1='location=/usr/archive_log',其中location表示是本地目录,/usr/archive_log为设置的归档目录,按该种方法设置后本地的实例产生的档归文件会拷贝到/usr/archive_log目录中;
为LOG_ARCHIVE_DEST_n参数增加include属性,用来指定需要归档到本地目录的实例,改造后该参数设置如下: LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',其中 include=(ac0,ac1)指定了ac0和ac1两个实例,会将这两个实例产生的归档文件拷贝到/usr/archive_log目录集中存放。
2)归档进程功能改进
归档进程的作用是将实例新产生的归档文件拷贝到参数 LOG_ARCHIVE_DEST_n指定位置,
改造后, LOG_ARCHIVE_DEST_n参数设置了include属性并指定了其它实例,那么归档进程监控本实例及指定实例的归档,并将本实例及指定实例的归档文件拷贝到本机指定目录;
如果集群各实例的LOG_ARCHIVE_DEST_n参数不配置include属性,那么各实例还是对自己的归档文件进行归档。
本发明的有益效果是
本发明通过灵活方便的配置实现数据库集群中各实例归档文件的集中存储,数据库备份的时候可以方便的访问到所有实例产生的归档文件,另外通过在不同实例上配置归档参数可以实现归档文件的冗余存储,有效的保护了归档文件。使用本功能设计,归档文件的集中存储就不再需要借助共享文件系统软件和KAS,避免了由于使用共享文件系统软件和KAS存储归档文件给数据库运行带来的风险,并且降低了系统复杂度。
附图说明
图1是数据库归档文件生成的示意图;
图2是改造后归档示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
主要包括两个方面:1)LOG_ARCHIVE_DEST_n中include属性;2)归档进程功能改进。
1)、LOG_ARCHIVE_DEST_n中include属性
数据库将归档文件产生到参数LOG_ARCHIVE_DEST_n指定的目录,该参数的值一般设置成类似如下:LOG_ARCHIVE_DEST_1='location=/usr/archive_log',其中location表示是本地目录,/usr/archive_log为设置的归档目录,按该种方法设置后本实例产生的档归文件会拷贝到/usr/archive_log目录中。
为LOG_ARCHIVE_DEST_n参数增加include属性,用来指定需要归档到本地目录的实例,改造后该参数设置如下: LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',其中 include=(ac0,ac1)指定了ac0和ac1两个实例,会将这两个实例产生的归档文件拷贝到/usr/archive_log目录集中存放。比如在ac0实例中设置了上述参数,那么ac0和ac1两个实例产生的归档都会拷贝到ac0实例所在主机的/usr/archive_log目录下。
2)、归档进程功能改进
归档进程的作用是将实例新产生的归档文件拷贝到参数 LOG_ARCHIVE_DEST_n指定位置,下图所示为目前数据库归档文件生成的示意图:两台主机组成了K-DB集群,实例分别为ac0和ac1,通过连接共享存储实现数据库的共享。在存储中存放了数据库的REDO文件,集群中每个实例都会有自己的若干REDO组,平时每个实例只需要向属于自己的REDO组写入数据,当某个实例CRASH后,另一个实例会读取CRASH实例的REDO数据进行数据的自动恢复,所以数据库所有实例都可以读取其它实例的REDO文件。REDO文件被写满后,就由归档文件拷贝到指定目录形成归档文件。目前结构下,集群的每个实例都会产生自己的档归文件,并由本实例的归档进程拷贝到本机归档目录中。
改造后,LOG_ARCHIVE_DEST_n参数设置了include属性并指定了其它实例,那么归档进程监控本实例及指定实例的归档,并将本实例及指定实例的归档文件拷贝到本机指定目录。下图为改造后归档示意图,在实例ac0中设置归档参数为 LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',ac1实例不用设置归档参数。当实例ac0和ac1的REDO写满后,由实例ac0的归档进程将两个实例相应REDO文件拷贝到主机1的归档目录/usr/archive_log形成归档文件。由于实例ac1没有设置 LOG_ARCHIVE_DEST_1参数,所以ac1的归档进程不会生成归档文件。
以上数据库参数和归档进程的设计,可以方便的将集群模式下各实例的归档文件集中。参数可以灵活配置:如果集群各实例的LOG_ARCHIVE_DEST_n参数不配置include属性,那么各实例还是对自己的归档文件进行归档,这和以前的模式相同。如果实例ac0设置参数 LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',而ac1不用设置 LOG_ARCHIVE_DEST_1,那么ac0和ac1的归档文件会由ac0的归档进程拷贝到ac0所在主机的归档目录。如果实例ac1设置了参数 LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',而ac0不设置 LOG_ARCHIVE_DEST_1,那么ac0和ac1的归档文件会由ac1实例的归档进程拷贝到ac1所在主机的归档目录。如果实例ac0和ac1都设置参数 LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',那么ac0的归档进程会将实例ac0和ac1的归档文件拷贝到ac0主机的归档目录,同时ac1的归档进程也会将实例ac0和ac1的归档文件拷贝到ac1主机的归档目录,在这种情况下每个归档文件会有两份。
本发明的特点如下
(1)能够将K-DB数据库集群模式下各实例归档文件集中存放的功能设计。通过对归档地址参数LOG_ARCHIVE_DEST_n增加include属性以及对归档进程功能进行改进,能够实现在集群环境中一个实例上就可以将所有实例的归档文件集中拷贝存储到该实例指定目录,而且参数配置灵活方便,既可以将参数配置成这种归档集中存储,又可以将参数配置成实例各自归档的原模式。
(2)基于权利要求1的集群各实例归档文件集中存放的功能设计,
1)归档地址参数 LOG_ARCHIVE_DEST_n增加include属性,include可以通过include=(ac0,ac1)指定集群实例,其中所有实例的归档文件会集中到设置该参数的实例指定目录中,如果每个实例都这样设置LOG_ARCHIVE_DEST_n,那么每个实例都会存储其它实例的归档日志文件。
2)归档归程进行了改进,归档进程监控include属性指定实例的REDO文件,当发现REDO写满后要归档时,会将写满的REDO文件拷贝到本实例指定目录形成归档文件,通过这种方式使得在集群中一个实例上就可以将其它实例产生的归档文件集中拷贝到该实例归档指定目录中。
3)配置简单灵活方便,既可以将参数LOG_ARCHIVE_DEST_n配置成集群实例归档集中存储的模式,又可以将参数配置成实例各自归档的原模式。

Claims (5)

1.一种将K-DB集群模式下各实例归档文件集中存放的方法,其特征在于,
K-DB数据库使用LOG_ARCHIVE_DEST_n参数指定归档目录,对其增加include属性,该属性的作用是指定需要归档到本实例列表,在该参数列表中的所有实例产生的归档文件都会拷贝到本地目录中;对归档进程进行改造,使其能够根据LOG_ARCHIVE_DEST_n中include属性的值,将指定实例产生的归档拷贝到本地目录。
2.根据权利要求1所述的方法,其特征在于,
归档进程监控include属性指定实例的REDO文件,当发现REDO写满后要归档时,将写满的REDO文件拷贝到指定目录形成归档文件,通过这种方式使得在集群中一个实例上就可以将其它实例产生的归档文件集中拷贝到本实例归档指定目录中;主要包括两个方面:1)LOG_ARCHIVE_DEST_n中include属性;2)归档进程功能改进。
3.根据权利要求2所述的方法,其特征在于,
1)LOG_ARCHIVE_DEST_n中include属性
数据库将归档文件产生到参数LOG_ARCHIVE_DEST_n指定的目录,该参数的值设置成如下:LOG_ARCHIVE_DEST_1='location=/usr/archive_log',其中location表示是本地目录,/usr/archive_log为设置的归档目录,按该种方法设置后本地的实例产生的档归文件会拷贝到/usr/archive_log目录中;
2)为LOG_ARCHIVE_DEST_n参数增加include属性,用来指定需要归档到本地目录的实例,改造后该参数设置如下: LOG_ARCHIVE_DEST_1='location=/usr/archive_log,include=(ac0,ac1)',其中 include=(ac0,ac1)指定了ac0和ac1两个实例,会将这两个实例产生的归档文件拷贝到/usr/archive_log目录集中存放。
4.根据权利要求2所述的方法,其特征在于,
归档进程功能改进
归档进程的作用是将实例新产生的归档文件拷贝到参数 LOG_ARCHIVE_DEST_n指定位置,
改造后, LOG_ARCHIVE_DEST_n参数设置了include属性并指定了其它实例,那么归档进程监控本实例及指定实例的归档,并将本实例及指定实例的归档文件拷贝到本机指定目录。
5.根据权利要求2所述的方法,其特征在于,
如果集群各实例的LOG_ARCHIVE_DEST_n参数不配置include属性,那么各实例还是对自己的归档文件进行归档。
CN201710999353.0A 2017-10-24 2017-10-24 将k‑db集群模式下各实例归档文件集中存放的方法 Pending CN107766518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710999353.0A CN107766518A (zh) 2017-10-24 2017-10-24 将k‑db集群模式下各实例归档文件集中存放的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710999353.0A CN107766518A (zh) 2017-10-24 2017-10-24 将k‑db集群模式下各实例归档文件集中存放的方法

Publications (1)

Publication Number Publication Date
CN107766518A true CN107766518A (zh) 2018-03-06

Family

ID=61268511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710999353.0A Pending CN107766518A (zh) 2017-10-24 2017-10-24 将k‑db集群模式下各实例归档文件集中存放的方法

Country Status (1)

Country Link
CN (1) CN107766518A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499924A (zh) * 2008-01-31 2009-08-05 杭州美创科技有限公司 一种计算机生产系统在线割接方法
CN105095245A (zh) * 2014-05-04 2015-11-25 阿里巴巴集团控股有限公司 基于关联型数据库的归档日志同步方法及系统
US20160378799A1 (en) * 2014-03-12 2016-12-29 Cameron International Corporation Token-Based Data Management System and Method for a Network
CN106886539A (zh) * 2015-12-16 2017-06-23 泰康保险集团股份有限公司 数据归档系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499924A (zh) * 2008-01-31 2009-08-05 杭州美创科技有限公司 一种计算机生产系统在线割接方法
US20160378799A1 (en) * 2014-03-12 2016-12-29 Cameron International Corporation Token-Based Data Management System and Method for a Network
CN105095245A (zh) * 2014-05-04 2015-11-25 阿里巴巴集团控股有限公司 基于关联型数据库的归档日志同步方法及系统
CN106886539A (zh) * 2015-12-16 2017-06-23 泰康保险集团股份有限公司 数据归档系统及方法

Similar Documents

Publication Publication Date Title
DE112019002584T5 (de) Wechseln zwischen vermittlerdiensten für ein speichersystem
JP5918243B2 (ja) 分散型データベースにおいてインテグリティを管理するためのシステム及び方法
CN108052655B (zh) 数据写入及读取方法
CN103365743B (zh) 用于在计算环境中处理快照的方法和系统
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
DE112019005770T5 (de) Speicherverwaltung für ein cloudbasiertes Speichersystem
CN101577735B (zh) 一种接管故障元数据服务器的方法、装置及系统
EP2879040B1 (en) Data storage method, data storage apparatus, and storage device
DE112020003423T5 (de) Architektur von virtuellem speichersystem
CN106407040A (zh) 一种远程数据复制方法及系统
CN106227731B (zh) 一种数据处理方法、装置及分布式文件系统
US7702757B2 (en) Method, apparatus and program storage device for providing control to a networked storage architecture
US10387273B2 (en) Hierarchical fault tolerance in system storage
CN101986276B (zh) 文件存储方法、文件恢复方法、系统及服务器
CN105426427A (zh) 基于raid 0 存储的mpp 数据库集群副本实现方法
DE112016003998T5 (de) Technologien für das management eines reservierten hochleistungsspeicherbereichs eines solid-state-laufwerks
US20190332499A1 (en) Implementing snapshot sets for consistency groups of storage volumes
US20160217177A1 (en) Database system
JP2015528957A (ja) 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス
CN105955989A (zh) 一种云平台数据库主从服务器的建立方法
CN102629223A (zh) 一种数据修复方法及装置
DE112016004457T5 (de) Vervielfältigen von Daten in Datenspeichervorrichtungen eines Verknüpfungsvolumens
CN107766518A (zh) 将k‑db集群模式下各实例归档文件集中存放的方法
CN115470041A (zh) 一种数据灾备管理方法及装置
CN114860850A (zh) 一种分布式关系型大数据存储平台技术的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication