CN104699807B

CN104699807B - 一种oracle数据表空间的自动监控扩容方法

Info

Publication number: CN104699807B
Application number: CN201510126260.8A
Authority: CN
Inventors: 程永新; 宋辉; 胡杰
Original assignee: Shanghai New Torch Network Information Technology Ltd By Share Ltd
Current assignee: Shanghai New Torch Network Information Technology Ltd By Share Ltd
Priority date: 2015-03-23
Filing date: 2015-03-23
Publication date: 2018-05-15
Anticipated expiration: 2035-03-23
Also published as: CN104699807A

Abstract

本发明公开了一种ORACLE数据表空间的自动监控扩容方法，包括如下步骤：a)预先为主机存储资源以及数据库表空间资源建立资源基线；b)定时收集主机存储资源以及数据库表空间资源使用情况，并将采集到的数据与资源基线进行对比；c)如果对比差值变化超出预定阀值，则通过基线趋势分析进行提前预警；d)当通过基线趋势分析发现表空间使用率已超过扩容阀值，则进行自动化扩容处理；e)根据采集到的数据更新资源基线。本发明通过预先为主机存储资源以及数据库表空间资源建立资源基线，并对数据库主机存储和表空间的使用情况进行对比监测，从而可以根据各类资源基线，计算月、日类同比环比增长趋势进行分析，达到自动预警及自动扩容。

Description

一种ORACLE数据表空间的自动监控扩容方法

技术领域

本发明涉及一种数据库监控处理方法，尤其涉及一种ORACLE数据表空间的自动监控扩容方法。

背景技术

长久以来，系统维护人员一直面临着数据库表空间使用率100％引发的故障，同时，由于故障检测的延后以及切换操作中很多需要手工完成，导致故障处理过程中对人的依赖性过大，故障处理时长取决于处理者的个人能力以及对系统环境的熟练程度；对于电信级核心BOSS系统，长时间故障给业务带来巨大的损失，同时也严重影响了客户对企业服务质量的感知。

在此情况下，在系统维护过程中，一般采取以下几种方案中的一种或者多种结合来或多或少的减少表空间引发的故障。现有技术中，主要有三种，流程如图1所示。

1)、Oracle Autoextend Tablespace

可以设置一个表空间按指定的量(incremental size)，当它达到其大小限制则自动扩展本身。如果没有启用自动扩展(autoextend)，那么在表空间达到临界或警告阈值时进行trace输出；临界和警告阈值相关参数可随时根据需求进行调整。

采用oracle autoextend文件管理模式。在表空间创建之初即打开数据文件autoextend属性，并设置每次扩展量(incremental size)；在表空间使用率达到100％或空闲空间无法满足业务要求时，oracle自动进行扩展(autoextend)，保证表空间的可用性。

2)、Oracle Enterprise Manager

企业管理器是Oracle数据库管理工具，它提供了一个图形用户界面(GUI)。企业管理器通过易于使用的界面提供了用于分布式数据库管理功能。可以通过使用 EnterpriseManager进行数据库相关的运维工作集中化管理。

采用部署Oracle Enterprise Manager(OEM)能够实时查询数据字典进行表空间、数据文件相关资源使用情况信息统计，当表空间使用率超过告警阀值，则进行红色预警，需人工干预处理。

3)、人工巡检处理

通过人工定期进行表空间、数据文件使用情况的巡检，并根据使用情况进行人工干预处理，保证业务连续性。

但是，针对海量数据库系统，如当前电信级别数据库系统，随着客户的增加，业务的增长以及时间的累积，系统单位时间在线交易数以及每笔交易的复杂度均有大规模的提升，这样也导致了数据库系统上的数据变更更为频繁，数据变动量的增加，也必然导致对海量数据管理要求的提升。因此对生产系统表空间预警，以及自动处理技术就显得尤为重要。现有技术存在以下缺点：

1)、维护可管理性差

在海量数据存储情况下，当启用Oracle autoextend时，表空间的整体可管理性降低，数据文件极易扩展到文件系统级别的隐患状态，引发故障。

2)、额外的性能开销

Oracle Enterprise Manager仅起到表空间、数据文件相关资源的监测作用，当表空间使用率100％时业务已然受到影响，不能避免故障的发生，且部署Oracle EnterpriseManager会产生额外的性能开销。

3)、依赖经验

通过手工扩展表空间对于数据库DBA的要求非常高。数据库DBA经验越丰富，则越能保证准确性。对于数据库表空间扩容变更是非常谨慎的，在RAC数据库，表空间扩容到非共享存储会引发重大故障。

由上可见，以上三种技术，由于其实现的机制，都存在同样的一个问题，发生问题时，需要人工介入分析并操作，这一系列的操作，即需要大量的时间，也需要具有丰富经验的工程师手工完成处理，在一定程度上故障处理的时间极大的依赖于工程师的个人能力以及对环境的熟悉程度。

发明内容

本发明所要解决的技术问题是提供一种ORACLE数据表空间的自动监控扩容方法，能够对数据库主机存储和表空间的使用情况进行综合监测和分析，并根据各类资源基线，计算月、日类同比环比增长趋势，达到自动预警并扩容的目的。

本发明为解决上述技术问题而采用的技术方案是提供一种ORACLE数据表空间的自动监控扩容方法，包括如下步骤：a)预先为主机存储资源以及数据库表空间资源建立资源基线；b)定时收集主机存储资源以及数据库表空间资源使用情况，并将采集到的数据与资源基线进行对比；c)如果对比差值变化超出预定阀值，则通过基线趋势分析进行提前预警；d)当通过基线趋势分析发现表空间使用率已超过扩容阀值，则进行自动化扩容处理；e)根据采集到的数据更新资源基线。

上述的ORACLE数据表空间的自动监控扩容方法，其中，所述主机存储资源包括磁盘阵列扩容/维护信息、链路光纤信息、文件系统信息以及ASM磁盘信息。

上述的ORACLE数据表空间的自动监控扩容方法，其中，当磁盘阵列的对比差值变化超出预定阀值时，所述步骤b)定时抓取底层物理磁盘信息和阵列冗余信息，所述步骤c)还包括对磁盘阵列的坏盘状态、磁盘冗余阵列状态和磁盘组状态进行检查，若有异常则进行磁盘预警。

上述的ORACLE数据表空间的自动监控扩容方法，其中，当文件系统信息的对比差值变化超出预定阀值时，所述步骤c)还包括对文件系统挂载点、文件节点数目和文件系统的空闲空间进行检查，若有异常则进行文件系统预警。

上述的ORACLE数据表空间的自动监控扩容方法，其中，当ASM磁盘信息的对比差值变化超出预定阀值时，所述步骤c)还包括对裸设备状态、ASM-DISK和DISKGROUP 进行检查，若有异常则进行ASM预警。

上述的ORACLE数据表空间的自动监控扩容方法，其中，所述数据库表空间资源包括表空间Read/Write属性信息、表空间关联数据文件信息以及表空间使用信息，当数据库表空间资源的对比差值变化超出预定阀值时，所述步骤c)还包括对表空间的Read/Write状态、表空间内的数据文件碎片以及表空间内的数据文件使用率进行检查，若有异常则进行数据库表空间预警。

上述的ORACLE数据表空间的自动监控扩容方法，其中，所述表空间关联数据文件包括UNDO文件、REDO文件、TEMP文件和归档文件。

上述的ORACLE数据表空间的自动监控扩容方法，其中，所述步骤a)通过配置定时任务，定时收集主机存储以及数据库表空间资源使用情况，并建立资源基线库，所述基线趋势分析根据各类资源基线按月、日变化计算同比环比增长平均值，所述表空间内的数据文件使用率预警值G计算过程如下：

G＝Sum1(F1,F2,F3,....Fn)/Sum2(S1,S2,S3,....Sn)*100-gr’；

其中，Sum1为该表空间所有数据文件总空闲空间，Fn为该表空间第N个数据文件；Sum2为该表空间所有数据文件总容量，Sn代表该表空间第N个数据文件，n，N 为整数，gr’为基线库中同比使用率；当所述表空间内的数据文件使用率预警值G 大于表空间使用率预警阀值时即根据表空间增长趋势性差值生成预警报文。

本发明对比现有技术有如下的有益效果：本发明提供的ORACLE数据表空间的自动监控扩容方法，通过预先为主机存储资源以及数据库表空间资源建立资源基线，并对数据库主机存储和表空间的使用情况进行对比监测，从而可以根据各类资源基线，计算月、日类同比环比增长趋势进行分析，达到自动预警以及自动扩容的目的。

附图说明

图1为现有ORACLE数据表空间的监控扩容流程示意图；

图2为本发明ORACLE数据表空间的自动监控扩容流程示意图；

图3为本发明ORACLE数据表空间的自动监控系统架构示意图；

图4为本发明ORACLE数据表空间的自动监控提前预警流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图2为本发明ORACLE数据表空间的自动监控扩容流程示意图。

请参见图2，本发明提供的ORACLE数据表空间的自动监控扩容方法包括如下步骤：

a)预先为主机存储资源以及数据库表空间资源建立资源基线；具体可通过配置定时任务，定时收集主机存储以及数据库表空间资源使用情况，并建立资源基线库，

b)定时收集主机存储资源以及数据库表空间资源使用情况，并将采集到的数据与资源基线进行对比；所述主机存储资源包括磁盘阵列扩容/维护信息、链路光纤信息、文件系统信息以及ASM磁盘信息；所述数据库表空间资源包括表空间Read/Write 属性信息、表空间关联数据文件信息以及表空间使用信息；

c)如果对比差值变化超出预定阀值，则通过基线趋势分析进行提前预警；所述基线趋势分析根据各类资源基线按月、日变化计算同比环比增长平均值；

d)当通过基线趋势分析发现表空间使用率已超过扩容阀值，则进行自动化扩容处理；

e)根据采集到的数据更新资源基线，为了保证资源基线的稳定性和准确性，避免异常数据干扰，可仅将性能变化未超出指定阀值(如正负偏离在1％以内)的采集数据，送到基线校正器，用于基线校正。

图3为本发明ORACLE数据表空间的自动监控系统架构示意图。

请继续参见图3，本发明提供的ORACLE数据表空间的自动监控扩容方案主要分为如下四层来实现：

一、初始化层：

该层主要负责任务的管理，主要有任务的创建、取消、更新、删除、查询和后台调度等操作。定义监控任务，可定义一次执行或多次循环执行，通过过滤核心资源，将关键信息加入列表，记录在信息采集库中。

二、信息采集层：

建立专门的基线库，用于存放存储资源和表空间资源基线。基线库中包含两大类：

1、第一类主机存储资源：

1)磁盘阵列：

通过初始化抓取底层物理磁盘信息、阵列冗余信息，并进行定期增量收集磁盘扩容/维护信息，做到对磁盘基线的实时维护。

2)链路光纤：

存储链路是沟通主机与存储设备的关键通道，一般采取FC进行系统建设，并采取冗余措施进行安全保障。通过定期收集链路信息对链路负载情况做到有效监控。

3)文件系统信息：

在采用文件系统的情况下，常需要动态根据文件系统类型进行监控文件系统free space，inode等使用情况，做到提前预警。需要注意ORACLE_BASE目录，当 ORACLE_BASE使用100％的情况下由于后台进程无法写出trc，极易引发故障。

4)ASM信息；

由于ASM由物理裸磁盘进行构建，需要额外注意磁盘多路径挂载情况；另外也需要监控ASMDISK，ASM-DISKGROUP，REDUNDANCY级别等ASM关键资源信息。

2、第二类表空间、数据文件资源：

1)Read/Write属性信息；

由于业务类型不同，通常为2类表空间，一类为只读表空间主要存储不发生变化的数据；另一类为读写表空间，数据常会根据业务情况进行动态变化。

2)表空间关联数据文件信息；

由于Oracle文件类型较多，如UNDO文件、REDO文件、TEMP文件、归档文件等；且表空间级别包含大量数据文件，对数据文件的压缩、自动扩展等关键属性进行监控。

3)表空间使用信息；

对表空间内的数据文件的碎片率，对象段的高水位，RecyleBin等关键资源使用情况进行监控。

三、数据分析层：

通过对存储磁盘、链路、文件系统、ASM设备、表空间等资源进行状态、趋势使用分析达到提前预警；提前预警具体过程如图4所示：

当磁盘阵列的对比差值变化超出预定阀值时，则对磁盘阵列的坏盘状态、磁盘冗余阵列状态和磁盘组状态进行检查，若有异常则进行磁盘预警；当文件系统信息的对比差值变化超出预定阀值时，则对文件系统挂载点、文件节点数目和文件系统的空闲空间进行检查，若有异常则进行文件系统预警；当ASM磁盘信息的对比差值变化超出预定阀值时，则对裸设备状态、ASM-DISK和DISKGROUP进行检查，若有异常则进行ASM预警。

举例表空间使用率预警的算法：

G＝Sum1(F1,F2,F3,....Fn)/Sum2(S1,S2,S3,....Sn)*100-gr’>fg

其中，Sum1为从DBA_FREE_SPACE中求该表空间所有数据文件总空闲空间，Fn 代表该表空间第N个数据文件；Sum2为从DBA_DATA_FILE中求该表空间所有数据文件总容量，Sn代表该表空间第N个数据文件。

gr’为基线库中同比使用率,fg为表空间使用率预警阀值；当G大于预警阀值时即根据表空间增长趋势性差值生成预警报文。

预警报文生成之后，通过短信、邮件等方式，将预警报文推送给维护人员，提醒和帮助维护人员迅速定位和解决问题，避免故障发生。

四、方案实施层：

当存储、表空间相关资源使用情况分析完毕后，方案实施层负责：

1)提前预警，当存储整列、文件系统、ASM、表空间等关键资源出现隐患时，能够做到提前性的预警。

2)趋势性扩容，系统根据各类资源基线，计算月、日类同比环比增长趋势，达到自动预警并扩容。

3)紧急扩容，当出现业务量骤增或批量活动时往往数据库短时间内产生大量交易数据，表空间需求大大增加，在这种情况下，系统能够紧急预警并扩容。

综上所述，本发明提供的ORACLE数据表空间的自动监控扩容方法，通过定期收集存储、数据库表空间信息建立基线库，并根据存储、表空间使用趋势关联、基线趋势分析达到提前预警，并根据增长趋势自动计算需求量进行自动扩容；在紧急情况下，系统自动进行紧急扩容无需人为干预，降低对工程师个人技术水平的依赖。具体优点如下：1)提出对数据库主机存储和表空间的使用情况进行综合监测和分析，根据存储以及表空间的使用情况进行自动化预警，大大提高预警及时性，避免低级故障发生。2)根据存储、表空间历史使用趋势计算未来增量需求，并自动化扩容表空间，无需人为干预。3)在紧急情况下，oracle系统能够自动紧急扩容，大大降低故障发生几率以及故障影响时间。4)本发明将所有的基线采集操作，预警，扩容均自动完成，降低了人工操作的复杂度和发生误操作的概率，同时极大的降低电信BOSS 级运维的人力物力需求。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种ORACLE数据表空间的自动监控扩容方法，其特征在于，包括如下步骤：

a)预先为主机存储资源以及数据库表空间资源建立资源基线；

b)定时收集主机存储资源以及数据库表空间资源使用情况，并将采集到的数据与资源基线进行对比；

c)如果对比差值变化超出预定阀值，则通过基线趋势分析进行提前预警；

e)根据采集到的数据更新资源基线；

所述数据库表空间资源包括表空间Read/Write属性信息、表空间关联数据文件信息以及表空间使用信息，当数据库表空间资源的对比差值变化超出预定阀值时，所述步骤c)还包括对表空间的Read/Write状态、表空间内的数据文件碎片以及表空间内的数据文件使用率进行检查，若有异常则进行数据库表空间预警；

所述表空间关联数据文件包括UNDO文件、REDO文件、TEMP文件和归档文件；

所述步骤a)通过配置定时任务，定时收集主机存储以及数据库表空间资源使用情况，并建立资源基线库，所述基线趋势分析根据各类资源基线按月、日变化计算同比环比增长平均值，所述表空间内的数据文件使用率预警值G计算过程如下：

G＝Sum1(F1,F2,F3,....Fn)/Sum2(S1,S2,S3,....Sn)*100-gr’；

其中，Sum1为该表空间所有数据文件总空闲空间，Fn为该表空间第N个数据文件；Sum2为该表空间所有数据文件总容量，Sn代表该表空间第N个数据文件，n，N为整数，gr’为基线库中同比使用率；

当所述表空间内的数据文件使用率预警值G大于表空间使用率预警阀值时即根据表空间增长趋势性差值生成预警报文。

2.如权利要求1所述的ORACLE数据表空间的自动监控扩容方法，其特征在于，所述主机存储资源包括磁盘阵列扩容/维护信息、链路光纤信息、文件系统信息以及ASM磁盘信息。

3.如权利要求2所述的ORACLE数据表空间的自动监控扩容方法，其特征在于，当磁盘阵列的对比差值变化超出预定阀值时，所述步骤b)定时抓取底层物理磁盘信息和阵列冗余信息，所述步骤c)还包括对磁盘阵列的坏盘状态、磁盘冗余阵列状态和磁盘组状态进行检查，若有异常则进行磁盘预警。

4.如权利要求2所述的ORACLE数据表空间的自动监控扩容方法，其特征在于，当文件系统信息的对比差值变化超出预定阀值时，所述步骤c)还包括对文件系统挂载点、文件节点数目和文件系统的空闲空间进行检查，若有异常则进行文件系统预警。

5.如权利要求2所述的ORACLE数据表空间的自动监控扩容方法，其特征在于，当ASM磁盘信息的对比差值变化超出预定阀值时，所述步骤c)还包括对裸设备状态、ASM-DISK和DISKGROUP进行检查，若有异常则进行ASM预警。