CN102708158B

CN102708158B - 一种PostgreSQL云存储归档调度系统

Info

Publication number: CN102708158B
Application number: CN201210121337.9A
Authority: CN
Inventors: 周正中
Original assignee: HANGZHOU FANYI TECHNOLOGY CO LTD
Current assignee: HANGZHOU FANYI TECHNOLOGY CO LTD
Priority date: 2012-04-23
Filing date: 2012-04-23
Publication date: 2014-03-12
Anticipated expiration: 2032-04-23
Also published as: CN102708158A

Abstract

本发明公开了一种PostgreSQL云存储归档调度系统。提供采用统一调度系统来满足云存储中多节点统监管的一种PostgreSQL云存储归档调度系统。网络监控模块分别与客户机PostgreSQL数据库模块、云存储代理服务器和调度模块连接，客户机PostgreSQL数据库模块与已备份到客户机上数据的指纹信息单元连接，云节点单元分别与调度模块和信息配置单元连接，调度模块分别与已备份数据库的指纹信息单元、云存储路径单元、已备份数据库与路径对应关系单元、日志文件归档开关状态单元和云存储路径优先级单元连接。本发明主要用于预写式日志文件PostgreSQL云存储归档调度技术中。

Description

一种PostgreSQL云存储归档调度系统

技术领域

本发明涉及云存储归档调度技术领域，尤其涉及一种预写式日志文件PostgreSQL云存储归档调度技术，具体涉一种PostgreSQL云存储归档调度系统。

背景技术

PostgreSQL提供了基于时间点的恢复（PITR）功能，通过PITR，PostgreSQL可以恢复到从基础备份时刻到最终状态时刻之间的任意时间点，这个功能的实现依赖于预写式日志文件（WAL）的连续性归档，以及数据库的基础备份。连续性归档是指不能遗漏任何一个预写式日志文件的备份。根据云存储PostgreSQL数据库对预写式日志文件归档调度的活跃程度， PostgreSQL数据库产生预写式日志文件(WAL)的频度各不相同，而且在PostgreSQL数据库上面承载的业务量的变化也会导致PostgreSQL据库产生预写式日志文件（WAL）的频度发生巨大变化。

传统的云存储PostgreSQL数据库预写式日志文件（WAL）归档为分散管理，即每个PostgreSQL数据库维护各自的归档操作，缺点是无法合理利用归档存储资源，要么被浪费要么不够用。归档的操作日志分散，不适合接入统一的监控系统，难以预估未来存储的需求。

传统的云存储PostgreSQL数据库预写式日志文件（WAL）归档，存储上存在着单点故障问题，在给PostgreSQL数据库分配归档存储空间的时，要么备份空间利用率低下，要么备份空间不够，WAL文件归档失败的概率较高，PostgreSQL WAL文件归档失败将导致该WAL文件无法循环使用，长久下去将导致目录溢出（PG_XLOG），数据库崩溃（PANIC SHUTDOWN）等。

传统的云存储PostgreSQL数据库预写式日志文件（WAL）归档存储存在扩展性差、收缩性差、不能合理利用互联网数据中心（IDC）的零散存储等缺点。

传统的云存储PostgreSQL数据库预写式日志文件（WAL）归档，在文件存储路径时，需要对归档文件路径进行重新配置变更，并要修改备份程序，非常容易出错，如果备份的节点数越多，那么对维护工作的压力就越大。并且数据库个数越多维护越复杂，更不方便控制历史版本。

传统的云存储PostgreSQL数据库预写式日志文件（WAL）归档，日志文件是记录在各自的数据库服务器上，如果需要还原WAL文件需要翻阅归档日志，文件型的归档日志检索麻烦，同时输出统一的归档统计报告比较复杂。

因此，对云存储PostgreSQL数据库预写式日志文件（WAL）归档，需要采用统一调度系统来满足云存储中多节点的统一管理，统一监控，归档存储冗余管理，归档存储可平滑扩缩管理。

中国专利公开号CN 102130959A ，公开日是2011年07月20日，名称为“一种实现云存储资源调度的系统及方法”的方案中公开了一种实现云存储资源调度的系统及方法。它包括多个存储服务器用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器;分布式缓存服务器用于保存各个存储服务器反馈的存储资源信息。不足之处是，这种云存储资源调度的系统及方法，难于对云存储中多节点进行统一管理和监控，难于对归档存储冗余进行管理，归档存储可平滑扩缩性差，不能克服单点故障，扩展性差、收缩性差、不能合理利用互联网数据中心的零散存储空间。

发明内容

本发明是为了解决现有云存储资源调度系统，存在对云存储中多节点没有进行统一管理和监控，归档存储冗余管理难，归档存储可平滑扩缩性差，不能克服单点故障，扩展性差，收缩性差，不能合理利用互联网数据中心的零散存储空间的这些不足，的提供一种采用统一调度系统来满足云存储中多节点的统一管理，统一监控，归档存储冗余管理简单，归档存储可平滑扩缩管理效果好一种PostgreSQL云存储归档调度系统。

为了实现上述目的，本发明采用以下技术方案：

一种PostgreSQL云存储归档调度系统，包括客户机PostgreSQL数据库模块、网络监控模块、云存储代理服务器、调度模块、已备份到客户机上数据的指纹信息单元、已备份数据库的指纹信息单元、云存储路径单元、已备份数据库与路径对应关系单元、日志文件归档开关状态单元、云存储路径优先级单元、云节点单元和信息配置单元，所述的网络监控模块分别与客户机PostgreSQL数据库模块、云存储代理服务器和调度模块连接，所述的客户机PostgreSQL数据库模块与已备份到客户机上数据的指纹信息单元连接，所述的云节点单元分别与调度模块和信息配置单元连接，所述的调度模块分别与已备份数据库的指纹信息单元、云存储路径单元、已备份数据库与路径对应关系单元、日志文件归档开关状态单元和云存储路径优先级单元连接。

本发明的PostgreSQL WAL文件归档云存储具备透明，冗余，可扩展，可缩小等特点。路径为云存储对外的最小单位，具有的属性包括ID、IP地址、端口、用户、路径、创建时间、修改时间、激活状态、容量。云存储中的路径可动态添加删除。

可以对单个PostgreSQL节点配置多条归档路径，因此大大降低了WAL文件归档失败的概率。

通过调整PostgreSQL数据库节点和云存储路径的映射关系来调整存储路径，映射关系包括如下属性：ID、数据库UUID、路径ID、优先级、激活状态、创建时间、修改时间、给PostgreSQL数据库添加节点、删除存储路径或修改路径映射属性。同时给PostgreSQL节点配置多条路径实现存储冗余，按照路径优先级进行归档尝试操作，一条路径归档成功则返回成功，不成功则进行下一条路径的归档尝试，直到最后一条配置的映射路径。并且每次修改都可以很方便的记录操作日志到数据库或日志文件中。

对PostgreSQL WAL文件归档日志记录统一管理，通过数据库统一存储归档日志，其中日志内容包括远程路径和本地路径两部分。

远程路径记录数据库通用唯一识别码（UUID）、文件全路径、WAL文件大小、创建时间、归档状态标记、删除标记、存储路径IP、存储路径端口、存储路径用户，

本地路径记录数据库UUID、文件全路径、WAL文件大小、创建时间、归档状态标记、删除标记。

本发明根据归档日志非常容易提供统一的归档统计报告，报告内容包括云存储中有多少个数据节点，总共有多少的存储空间，已使用多少空间，有多少个PostgreSQL数据库节点被管理；每周的报告包括每天使用的存储空间；异常的报告包括失败的归档记录的数据库ID，归档路径所在的IP，端口，用户，WAL文件的标准大小，创建时间以及全路径；本地报告包括数据库ID，WAL文件的标准大小，创建时间，归档状态以及全路径。

作为优选，还包括记录单元，所述的记录单元与调度模块连接。

作为优选，还包括本地存储路径单元，所述的调度模块与本地存储路径单元连接。

作为优选，还包括本地存储器，所述的本地存储器和网络监控模块连接。

作为优选，所述的云存储路径单元记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记、存储路径IP、存储路径端口、存储路径用户。

作为优选，所述的本地存储器记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记。

还包括网络日志审计单元，所述的网络日志审计单元与网络监控模块连接。

本发明能够达到如下效果：

1、本方案解决了PostgreSQL WAL文件归档日志记录统一管理的问题，通过数据库统一存储归档日志，其中日志内容包括远程路径和本地路径两部分，

2、对云存储中多节点进行统一管理和监控，易归档存储冗余管理，归档存储可平滑扩缩性效果管理好，能克服单点故障，扩展性好，收缩性强，能合理利用互联网数据中心的零散存储空间。

附图说明

图1是本发明的一种设计原理连接框图。

图2是本发明的一种流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种PostgreSQL云存储归档调度系统，如图1所示，包括客户机PostgreSQL数据库模块1、网络监控模块2、云存储代理服务器3、调度模块4、已备份到客户机上数据的指纹信息单元5、已备份数据库的指纹信息单元6、云存储路径单元7、本地存储路径单元8、已备份数据库与路径对应关系单元9、日志文件归档开关状态单元10、云存储路径优先级单元11、记录单元12、云节点单元13、信息配置单元14、本地存储器15和网络日志审计单元28

如图1所示，客户机PostgreSQL数据库模块1与已备份到客户机上数据的指纹信息单元5连接。云节点单元13分别与调度模块4和信息配置单元14连接。网络监控模块2分别与客户机PostgreSQL数据库模块1、云存储代理服务器3、调度模块4、本地存储器15和网络日志审计单元28连接。调度模块4分别与已备份数据库的指纹信息单元6、云存储路径单元7、本地存储路径单元8、已备份数据库与路径对应关系单元9、日志文件归档开关状态单元10、云存储路径优先级单元11和记录单元12连接。

云存储路径单元7记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记、存储路径IP、存储路径端口、存储路径用户。

本地存储器15记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记。

网络日志审计单元28与路由器、交换机等网络设备共同组网，对网络日志的采集、统计与分析，可以追溯网络使用行为，监视异常活动，为调度模块4合理的网络云存储规划提供数据信息依据。

调度模块4中存储了五个表,分别是数据库信息表、云代理数据库和云存储中路径的映射信息表、云节点信息表、记录预写式日志文件归档到云代理服务器表和记录预写式日志文件归档到本地服务器表。其中，

数据信息表记录了接入本系统PostgreSQL数据库的数据信息，这些数据库信息包括：IDC互联网数据中心、平台版本、数据库软件、数据库软件版本、数据库主机虚拟IP，数据库监听端口、归档开关、创建时间、修改时间、激活状态、别名。

云代理数据库和云存储中路径的映射信息表，其映射信息包括：ID、数据库UUID、路径ID、优先级、激活状态、创建时间、修改时间。

云节点信息表，包括：ID、IP地址、端口、用户,路径、创建时间、修改时间、激活状态、空间大小。

记录预写式日志文件归档到云代理服务器表，包括：数据库UUID、云存储节点IP、云存储节点端口、云存储节点用户、归档全路径、WAL文件大小、创建时间、备份是否成功状态、删除状态。

记录预写式日志文件归档到本地服务器表，包括：数据库UUID、归档全路径、WAL文件大小、创建时间、备份是否成功状态、删除状态。

云节点单元13可以是IDC互联网数据中心中有空闲空间的主机或者专门用来做云存储节点的主机，用于存储接入本系统的PostgreSQL 数据库的WAL预写式日志文件归档。

信息配置单元14对调度模块中的数据数信息表, 可以动态的添加或删除存储节点。

网络监控模块2的监控接口,利用网络监控工具将本系统云存储的程序安装在各云存储代理服务器3所在的主机上，PostgreSQL 云存储数据库的程序调用网络监控模块2的监控接口，获取各模块或单元的运行状态。

工作过程：如图1、图2所所示，开始16，网络监控模块2对调度模块4进行检查，检查调度数据库是否正常17。如果检查结果不正常，则写接口监控通信文件，然后退出18。如果检查结果正常，则调度模块4调用已备份数据库的指纹信息单元6，获取指纹信息或预存式日志文件大小20。接着，调度模块4调用云存储路径单元7和本地存储单元8后，生成本地相对路径和云存储相对路径19。然后判断调度模块4调度日志文件归档开关状态单元10。调度模块4调用已备份数据库与路径对应关系单元9中的归档文件的开关状态与生成本地相对路径和云存储相对路径19生成的归档文件开关状态进行比较，判断归档开关状态是否打开22。如果归档关闭、暂停或匹配不到指纹信息，则写接口监控通信文件，然后退出18。如果归档是开启的，则调度模块4调用云存储路径优先级单元11，计算归档文件的优先级，从而获得云存储路径及优先级25。调度模块4调用网络监控模块2所监控的所有云存储代理服务器3上的云节点单元13的优先级。按优先级从高到低进行归档26，如果还有云存储路径未尝试，那么就记录部分失败云路径日志文件27；如果所有云存储路径尝试完毕，那么就记录所有失败云路径日志文件23。并把记录有所有失败云路径日志文件存储到本地存储器15中，并写接口监控通信文件，然后退出18。如果按优先级从高到低进行归档26成功，则记录成功云日志归档文件24，并写接口监控通信文件，然后退出18。

上面结合附图描述了本发明的实施方式，但实现时不受上述实施例限制，本领域普通技术人员可以在所附权利要求的范围内做出各种变化或修改。

Claims

1.一种PostgreSQL云存储归档调度系统，其特征在于，包括客户机PostgreSQL数据库模块（1）、网络监控模块（2）、云存储代理服务器（3）、调度模块（4）、已备份到客户机上数据的指纹信息单元（5）、已备份数据库的指纹信息单元（6）、云存储路径单元（7）、已备份数据库与路径对应关系单元（9）、日志文件归档开关状态单元（10）、云存储路径优先级单元（11）、云节点单元（13）和信息配置单元（14），所述的网络监控模块（2）分别与客户机PostgreSQL数据库模块（1）、云存储代理服务器（3）和调度模块（4）连接，所述的客户机PostgreSQL数据库模块（1）与已备份到客户机上数据的指纹信息单元（5）连接，所述的云节点单元（13）分别与调度模块（4）和信息配置单元（14）连接，所述的调度模块（4）分别与已备份数据库的指纹信息单元（6）、云存储路径单元（7）、已备份数据库与路径对应关系单元（9）、日志文件归档开关状态单元（10）和云存储路径优先级单元（11）连接。

2.根据权利要求1所述的一种PostgreSQL云存储归档调度系统，其特征在于，还包括记录单元（12），所述的记录单元（12）与调度模块（4）连接。

3.根据权利要求2所述的一种PostgreSQL云存储归档调度系统，其特征在于，还包括本地存储路径单元（8），所述的调度模块（4）与本地存储路径单元（8）连接。

4.根据权利要求1或2或3所述的一种PostgreSQL云存储归档调度系统，其特征在于，还包括本地存储器（15），所述的本地存储器（15）和网络监控模块（2）连接。

5.根据权利要求1所述的一种PostgreSQL云存储归档调度系统，其特征在于，所述的云存储路径单元（7）记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记、存储路径IP、存储路径端口、存储路径用户。

6.根据权利要求4所述的一种PostgreSQL云存储归档调度系统，其特征在于，所述的本地存储器（15）记录数据库的通用唯一识别码、文件全路径、预写式日志文件大小、创建时间、归档状态标记、删除标记。

7.根据权利要求1所述的一种PostgreSQL云存储归档调度系统，其特征在于，还包括网络日志审计单元（28），所述的网络日志审计单元（28）与网络监控模块（2）连接。