CN104636450A - 一种数据库表空间监控方法 - Google Patents
一种数据库表空间监控方法 Download PDFInfo
- Publication number
- CN104636450A CN104636450A CN201510039513.8A CN201510039513A CN104636450A CN 104636450 A CN104636450 A CN 104636450A CN 201510039513 A CN201510039513 A CN 201510039513A CN 104636450 A CN104636450 A CN 104636450A
- Authority
- CN
- China
- Prior art keywords
- table space
- days
- database table
- data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Alarm Systems (AREA)
Abstract
本发明公开了一种数据库表空间监控方法，包括如下步骤：预先设置数据库表空间的特定增长期和最少可使用天数警告阀值；定期采集每日表空间数据量使用情况；以最近一段时期作为采集周期，提取采集周期内每日数据增长量，计算每日增长量基准值；根据当前表空间剩余大小及每日增长量基准值计算剩余容量可用天数N1；判断剩余容量可用天数N1是否包含特定增长期，并调整剩余容量可使用天数；对剩余容量可使用天数达到警告阀值的表空间进行预警。本发明通过将数据库表空间增长分为正常业务数据增长期和特定增长期，能够准确地将表空间使用率信息自动转化为可使用天数，实现对当前各表空间每日业务数据增长量以及剩余容量可使用天数的有效评估。
Description
技术领域
本发明涉及一种数据监控方法，尤其涉及一种数据库表空间监控方法。
背景技术
随着电信运营商用户规模持续稳定增长和业务种类的不断增加，随之而来的是业务量的大量增长，而承载关键业务的省级中心核心业务系统数据库如营帐库、计费库等更是日益庞大。数据库数量不断增加，应用数据量的不断增长，数据库承载压力越来越大，如何有效掌控数据量增长情况，及时对表空间使用瓶颈作出响应，保障数据库系统稳定运行，成为数据库运维支撑的首要目标。现有的数据库表空间监控方案多为单纯的信息采集与展示，并将超过阀值的信息通知运维人员。
现有的数据库表空间监控方案关注的是信息本身，如“80％的表空间使用率”，运维人员获得信息后，通过分析解读，才能将信息转化为知识，如“这个表空间使用率为80％，还能使用5个小时”。信息本身是裸数据，没有好坏之分，只有形成了知识才能引导工作方向。目前的监控体系割裂了信息之间的关联性，没有对信息上下文之间的联系进行分析，缺少信息向知识自动转变的过程。同时运维人员成为了信息处理的终端，需高度持续关注每个库表空间使用率告警情况，对已达警告阀值的表空间及时扩容处理或数据清理等操作，如果处理不及时，将引发数据库严重故障，直接影响业务操作。具体缺点如下：
1、告警数量多
接到表空间使用率告警后，运维人员无法评估本次扩容操作对数据库表空间的可持续使用天数，为了使可用设备(文件系统或raw设备)在数据库各表空间上得到更合理的分配使用，只能根据经验简单的对达到警告阀值的表空间进行少量扩容操作，易造成表空间告警数量的增加，以及高频扩容操作。
2、运维效率差
运维人员将疲于持续关注众多库表空间使用情况，及处理频繁出现的表空间告警，并且表空间告警一旦处理不及时，数据库将产生严重故障影响业务操作，对BOSS业务系统数据库影响极有可能导致大量用户投诉。
3、资源规划不足
当用于表空间数据文件的文件系统或raw设备使用完毕后，需给数据库重新申请可用设备。由于缺乏对表空间每日数据增长量波动分析依据，运维人员只能简单的依据经验给数据库挂载一定数量的可用设备，可能导致可用设备的不合理分配。
显然，面对支撑系统业务数据量的高频增长，传统的基于信息的监控方法已无法满足精确运维的需要，因此，研究一种基于知识的表空间智能监控体系，实现信息自动向知识的转变，实现精确运维势在必行。
发明内容
本发明所要解决的技术问题是提供一种数据库表空间监控方法，能够将表空间使用率信息自动转化为可使用天数，实现对当前各表空间每日业务数据增长量以及剩余容量可使用天数的有效评估，从而便于运维人员进行资源申请及表空间扩容操作。
本发明为解决上述技术问题而采用的技术方案是提供一种数据库表空间监控方法，包括如下步骤：预先设置数据库表空间的特定增长期和最少可使用天数警告阀值；定期采集每日表空间数据量使用情况；以最近一段时期作为采集周期，提取采集周期内每日数据增长量，计算每日增长量基准值；根据当前表空间剩余大小及每日增长量基准值计算剩余容量可用天数N1；判断剩余容量可用天数N1是否包含特定增长期，并调整剩余容量可使用天数；对剩余容量可使用天数达到警告阀值的表空间进行预警。
上述的数据库表空间监控方法，其中，所述数据库表空间的特定增长期根据历史采集数据进行设置。
上述的数据库表空间监控方法，其中，所述数据库表空间的特定增长期为BOSS数据库每月出账期。
上述的数据库表空间监控方法，其中，所述定期采集的每日表空间数据量使用情况包括：表空间已用数据量大小、表空间使用率以及表空间剩余容量，并仅对表空间使用率达到预设阀值的表空间进行后续的监控预警处理。
上述的数据库表空间监控方法，其中，所述每日增长量基准值计算过程如下：对采集周期内的每日增长量异常值进行过滤后，以其均值作为每日增长量基准值。
上述的数据库表空间监控方法，其中，所述每日增长量异常值过滤过程如下：剔除每日数据增长量为负值的数据。
上述的数据库表空间监控方法，其中，所述剩余容量可使用天数的调整如下：假设剩余容量可用天数N1中被包含的特定增长期天数为Nspecial，从历史采集数据中提取上次Nspecial中增长数据量Tspecial，则修正可用天数为:(当前表空间剩余容量Tfree-被包含的特定增长期内数据增长量Tspecial)/每日增长量基准值Iday+被包含的特定增长期天数Nspecial。
本发明对比现有技术有如下的有益效果：本发明提供的数据库表空间监控方法，通过将数据库表空间增长分为正常业务数据增长期和特定增长期，根据当前表空间剩余大小及每日增长量基准值计算正常业务数据增长情况下的剩余容量可用天数N1，并对是否包含特定增长期进行调整，从而能够准确地将表空间使用率信息自动转化为可使用天数，实现对当前各表空间每日业务数据增长量以及剩余容量可使用天数的有效评估。
附图说明
图1为本发明数据库表空间监控系统架构示意图；
图2为本发明数据库表空间监控流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明数据库表空间监控系统架构示意图。
请参见图1，本发明表空间可用天数的预警系统主要涉及数据采集模块、数据分析模块、数据调整模块和预警处理模块。各模块具体说明如下：
配置管理模块：该模块主要实现对数据库表空间特定增长期的设定。如BOSS数据库每月出账期可设定为一个独立的特定增长期。对特定增长期间的数据量增长分析只根据上次该特定增长期的得历史采集数据分析获得。
数据采集模块：该模块主要实现对BOSS系统数据库表空间数据量监控数据的采集。在监控主机上部署定时采集程序，在周期范围内采集各库表空间使用情况监控指标，并将采集数据置入数据表加以保存。指标包括：
(1)已用数据量指标Tused。
指定周期内采集每个数据库的表空间已用数据量大小。
(2)空间使用率指标Pused。
指定周期内采集每个数据库在采集周期内的表空间使用率。
(3)剩余容量指标Tfree。
指定周期内采集每个数据库在采集周期内的表空间剩余容量。
数据分析模块：数据分析模块通过数据采集模块周期性获取表空间监控指标数据，选取空间使用率Pused超过一定阀值的表空间为目标表空间，分析最近一段时期内每日数据增长量，并过滤期间由于人工介入数据清理等因素造成的数据增长量异常值，以均值作为每日增长量基准值Iday，则：表空间预计可用天数N1＝当前表空间剩余容量Tfree/每日增长量基准值Iday。
数据调整模块：数据调整模块在数据分析模块基础上对可用天数进一步修正。如表空间初步预计可使用天数N1时间范围内包含或部分包含特定增长期天数Nspecial,根据上次特定增长期历史采集数据中提取该被包含的特定增长期内数据增长量为T special,则其修正后表空间预计可用天数N2＝(当前表空间剩余容量Tfree-被包含的特定增长期内数据增长量T special)/每日增长量基准值Iday+被包含的特定增长期天数Nspecial。
预警处理模块：通过短信接口对达到预设可用天数警告阀值的表空间使用情况进行短信预警。
图2为本发明数据库表空间监控流程示意图。
请继续参见图2，本发明提供的数据库表空间监控方法包括。
步骤S1：运维人员根据经验或者历史采集数据分析设定合理的特定增长期。如BOSS系统的每月出账期。
步骤S2：定期BOSS库非系统表空间数据量大小Tused、可用剩余空间Tfree及空间使用率Pused监控指标。
步骤S3：针对空间使用率超过一定阀值的目标表空间，在采集周期内提取指定时间段内的每日数据量数据。过滤变化最大的一部分数值视作异常增长数据，如每日数据量为负值，很可能就是dba进行数据清理操作等因素导致，对剩余每日数据增长量求其均值作为每日增长量的基准值Iday。
步骤S4：提取目标表空间空闲空间大小Tfree。
计算目标表空间可用天数N1＝当前空闲空间Tfree/每日增长数据量Iday。
步骤S5：判断步骤4目标表空间可用天数N1时间范围内是否包含或部分包含预设置的特定增长期，如包含则进入步骤S6，否则跳转步骤S7。
步骤S6：设被包含的特定增长期Nspecial，从历史采集数据中提取上次该部分特定增长期增长数据量Tspecial，则修正可用天数为:(当前表空间剩余容量Tfree-被包含的特定增长期内数据增长量Tspecial)/每日增长量基准值Iday+被包含的特定增长期天数Nspecial。
步骤S7：对剩余容量可用天数少于预设阀值的目标表空间，短信预警至运维人员处理。
综上所述，本发明，具体优点如下：1)减少人力成本：在电信行业,各种数据库系统上百套,表空间更是上千,如果按照原有的告警方式，让工作人员疲于检查确认,新的告警方式可以让工作人员很清晰的了解表空间各方面的情况。2)有效控制风险：在大数据环境下，有的数据量增长非常迅速，如果表空间不够,可能会直接影响业务,针对这种情况，空间估算，剩余空间使用天数的告警可以让工作人员快速作出相应对策。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
Claims (7)
1.一种数据库表空间监控方法，其特征在于，包括如下步骤：
预先设置数据库表空间的特定增长期和最少可使用天数警告阀值；
定期采集每日表空间数据量使用情况；
以最近一段时期作为采集周期，提取采集周期内每日数据增长量，计算每日增长量基准值；
根据当前表空间剩余大小及每日增长量基准值计算剩余容量可用天数N1；
判断剩余容量可用天数N1是否包含特定增长期，并调整剩余容量可使用天数；
对剩余容量可使用天数达到警告阀值的表空间进行预警。
2.如权利要求1所述的数据库表空间监控方法，其特征在于，所述数据库表空间的特定增长期根据历史采集数据进行设置。
3.如权利要求2所述的数据库表空间监控方法，其特征在于，所述数据库表空间的特定增长期为BOSS数据库每月出账期。
4.如权利要求1所述的数据库表空间监控方法，其特征在于，所述定期采集的每日表空间数据量使用情况包括：表空间已用数据量大小、表空间使用率以及表空间剩余容量，并仅对表空间使用率达到预设阀值的表空间进行后续的监控预警处理。
5.如权利要求1所述的数据库表空间监控方法，其特征在于，所述每日增长量基准值计算过程如下：对采集周期内的每日增长量异常值进行过滤后，以其均值作为每日增长量基准值。
6.如权利要求5所述的数据库表空间监控方法，其特征在于，所述每日增长量异常值过滤过程如下：剔除每日数据增长量为负值的数据。
7.如权利要求2所述的数据库表空间监控方法，其特征在于，所述剩余容量可使用天数的调整如下：假设剩余容量可用天数N1中被包含的特定增长期天数为Nspecial，从历史采集数据中提取上次Nspecial中增长数据量Tspecial，则修正可用天数为:(当前表空间剩余容量Tfree-被包含的特定增长期内数据增长量Tspecial)/每日增长量基准值Iday+被包含的特定增长期天数Nspecial。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510039513.8A CN104636450B (zh) | 2015-01-26 | 2015-01-26 | 一种数据库表空间监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510039513.8A CN104636450B (zh) | 2015-01-26 | 2015-01-26 | 一种数据库表空间监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104636450A true CN104636450A (zh) | 2015-05-20 |
| CN104636450B CN104636450B (zh) | 2018-01-19 |
Family
ID=53215196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510039513.8A Active CN104636450B (zh) | 2015-01-26 | 2015-01-26 | 一种数据库表空间监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104636450B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881477A (zh) * | 2015-06-03 | 2015-09-02 | 上海新炬网络信息技术有限公司 | 一种应用数据空间使用估算方法 |
| CN105095056A (zh) * | 2015-08-14 | 2015-11-25 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105094698A (zh) * | 2015-07-08 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种基于历史监测数据的磁盘容量预测方法 |
| CN105955662A (zh) * | 2016-04-22 | 2016-09-21 | 浪潮(北京)电子信息产业有限公司 | 一种k-db数据表空间的扩容方法与系统 |
| CN109165146A (zh) * | 2018-07-06 | 2019-01-08 | 平安科技（深圳）有限公司 | 表空间自动告警的方法及终端设备 |
| CN110134680A (zh) * | 2019-04-04 | 2019-08-16 | 平安科技（深圳）有限公司 | 空间监控方法、装置、计算机设备及存储介质 |
| CN110287082A (zh) * | 2019-07-02 | 2019-09-27 | 中国工商银行股份有限公司 | 数据库表空间容量监控方法及装置 |
| CN110941602A (zh) * | 2019-11-20 | 2020-03-31 | 中国建设银行股份有限公司 | 数据库的配置方法、装置、电子设备及存储介质 |
| CN111125056A (zh) * | 2019-12-05 | 2020-05-08 | 国家电网公司 | 一种信息系统数据库自动化运维系统及其运维方法 |
| CN111949503A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 数据库的管理方法、装置、计算设备和介质 |
| CN112783732A (zh) * | 2021-01-29 | 2021-05-11 | 中国农业银行股份有限公司 | 一种数据库表容量监控方法及装置 |
| CN112988743A (zh) * | 2021-02-25 | 2021-06-18 | 中国工商银行股份有限公司 | 数据表容量预警的方法、装置、系统和介质 |
| WO2024087617A1 (zh) * | 2022-10-27 | 2024-05-02 | 天地伟业技术有限公司 | 一种存储空间预测方法、装置及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070294206A1 (en) * | 2006-06-16 | 2007-12-20 | Microsoft Corporation Microsoft Patent Group | Predicting capacity consumption in a memory component |
| CN101541030A (zh) * | 2009-05-06 | 2009-09-23 | 华为技术有限公司 | 基于支持向量机的数据预测方法和设备 |
| CN103093285A (zh) * | 2013-01-22 | 2013-05-08 | 清华大学 | 基于人工神经网络的短期负荷预测方法 |
| CN103297623A (zh) * | 2013-05-21 | 2013-09-11 | 杭州远传通信技术有限公司 | 话务预测方法及装置 |
-
2015
- 2015-01-26 CN CN201510039513.8A patent/CN104636450B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070294206A1 (en) * | 2006-06-16 | 2007-12-20 | Microsoft Corporation Microsoft Patent Group | Predicting capacity consumption in a memory component |
| CN101541030A (zh) * | 2009-05-06 | 2009-09-23 | 华为技术有限公司 | 基于支持向量机的数据预测方法和设备 |
| CN103093285A (zh) * | 2013-01-22 | 2013-05-08 | 清华大学 | 基于人工神经网络的短期负荷预测方法 |
| CN103297623A (zh) * | 2013-05-21 | 2013-09-11 | 杭州远传通信技术有限公司 | 话务预测方法及装置 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881477A (zh) * | 2015-06-03 | 2015-09-02 | 上海新炬网络信息技术有限公司 | 一种应用数据空间使用估算方法 |
| CN104881477B (zh) * | 2015-06-03 | 2018-09-21 | 上海新炬网络信息技术股份有限公司 | 一种应用数据空间使用估算方法 |
| CN105094698A (zh) * | 2015-07-08 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种基于历史监测数据的磁盘容量预测方法 |
| CN105094698B (zh) * | 2015-07-08 | 2018-09-11 | 浪潮(北京)电子信息产业有限公司 | 一种基于历史监测数据的磁盘容量预测方法 |
| CN105095056A (zh) * | 2015-08-14 | 2015-11-25 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105095056B (zh) * | 2015-08-14 | 2018-01-12 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105955662A (zh) * | 2016-04-22 | 2016-09-21 | 浪潮(北京)电子信息产业有限公司 | 一种k-db数据表空间的扩容方法与系统 |
| WO2020006868A1 (zh) * | 2018-07-06 | 2020-01-09 | 平安科技（深圳）有限公司 | 表空间自动告警的方法、装置、终端设备及可读存储介质 |
| CN109165146B (zh) * | 2018-07-06 | 2021-08-17 | 平安科技（深圳）有限公司 | 表空间自动告警的方法及终端设备 |
| CN109165146A (zh) * | 2018-07-06 | 2019-01-08 | 平安科技（深圳）有限公司 | 表空间自动告警的方法及终端设备 |
| CN110134680A (zh) * | 2019-04-04 | 2019-08-16 | 平安科技（深圳）有限公司 | 空间监控方法、装置、计算机设备及存储介质 |
| CN110287082A (zh) * | 2019-07-02 | 2019-09-27 | 中国工商银行股份有限公司 | 数据库表空间容量监控方法及装置 |
| CN110941602B (zh) * | 2019-11-20 | 2023-05-12 | 建信金融科技有限责任公司 | 数据库的配置方法、装置、电子设备及存储介质 |
| CN110941602A (zh) * | 2019-11-20 | 2020-03-31 | 中国建设银行股份有限公司 | 数据库的配置方法、装置、电子设备及存储介质 |
| CN111125056A (zh) * | 2019-12-05 | 2020-05-08 | 国家电网公司 | 一种信息系统数据库自动化运维系统及其运维方法 |
| CN111949503A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 数据库的管理方法、装置、计算设备和介质 |
| CN111949503B (zh) * | 2020-08-14 | 2023-11-14 | 中国工商银行股份有限公司 | 数据库的管理方法、装置、计算设备和介质 |
| CN112783732A (zh) * | 2021-01-29 | 2021-05-11 | 中国农业银行股份有限公司 | 一种数据库表容量监控方法及装置 |
| CN112783732B (zh) * | 2021-01-29 | 2023-10-10 | 中国农业银行股份有限公司 | 一种数据库表容量监控方法及装置 |
| CN112988743A (zh) * | 2021-02-25 | 2021-06-18 | 中国工商银行股份有限公司 | 数据表容量预警的方法、装置、系统和介质 |
| CN112988743B (zh) * | 2021-02-25 | 2024-02-02 | 中国工商银行股份有限公司 | 数据表容量预警的方法、装置、系统和介质 |
| WO2024087617A1 (zh) * | 2022-10-27 | 2024-05-02 | 天地伟业技术有限公司 | 一种存储空间预测方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104636450B (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104636450A (zh) | 一种数据库表空间监控方法 | |
| CN103065228B (zh) | 停电监控评估预警方法及设备 | |
| CN104218676A (zh) | 电力调度自动化主站的智能告警系统和方法 | |
| CN104410163B (zh) | 一种基于电能管理系统的安全生产与节能方法 | |
| CN108964269A (zh) | 配电网运维与综合管理系统 | |
| CN112730938B (zh) | 一种基于用电采集大数据的窃电用户判断方法 | |
| CN103984726A (zh) | 一种数据库执行计划的局部修正方法 | |
| CN109492773A (zh) | 一种基于工业大数据的智能决策系统 | |
| CN103926891B (zh) | 移动通信机房基站动力环境设备监测系统及方法 | |
| CN110378510B (zh) | 一种基于时间序列和层次聚合的配网物资需求预测方法 | |
| CN103197623A (zh) | 一种流水线监控管理方法及装置 | |
| CN103177401A (zh) | 配电网故障检修停电方法 | |
| CN109995599A (zh) | 一种网络性能异常的智能告警方法 | |
| CN108037343A (zh) | 一种电压监测管理系统数据深化分析方法 | |
| CN113010595A (zh) | 一种电力能源数据分析与监控方法及系统 | |
| CN109086996A (zh) | 河流环境治理系统及方法 | |
| CN105721719A (zh) | 呼叫中心的故障检测系统及方法 | |
| CN115218962A (zh) | 一种基于大数据智慧化城市供水的数据收集检测系统 | |
| CN104391479B (zh) | 基于主轴功率监控的机床工作状态的自动统计方法及系统 | |
| CN106229978A (zh) | 台区低电压问题的预判方法及系统 | |
| CN101425940B (zh) | 一种告警处理的方法、装置及系统 | |
| CN104965501A (zh) | 一种生产车间智能管理系统 | |
| CN104502692A (zh) | 电量异动的检测方法及中央处理设备 | |
| CN106682741A (zh) | 一种设备的维保方法及装置 | |
| CN105512707A (zh) | 一种作业现场的监控系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Qingpu 201707 waiqingsong road Shanghai City, No. 588 Lane 7548 Building 1 R zone 1 room 113 Applicant after: Shanghai new torch network information technology Limited by Share Ltd Address before: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B Applicant before: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY CO., LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |