CN104102668A - 数据库性能自动分析和预警系统 - Google Patents

数据库性能自动分析和预警系统 Download PDF

Info

Publication number
CN104102668A
CN104102668A CN201310125628.XA CN201310125628A CN104102668A CN 104102668 A CN104102668 A CN 104102668A CN 201310125628 A CN201310125628 A CN 201310125628A CN 104102668 A CN104102668 A CN 104102668A
Authority
CN
China
Prior art keywords
performance
database
database performance
analysis
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310125628.XA
Other languages
English (en)
Inventor
袁晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201310125628.XA priority Critical patent/CN104102668A/zh
Publication of CN104102668A publication Critical patent/CN104102668A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

数据库性能的人工分析评估成本很高且周期较长，发现问题时往往业务系统已经造成了影响。本发明数据库性能自动分析和预警系统通过数据库性能数据定时采集工具周期性地采集数据库性能数据，通过数据库性能自动分析工具对采集到的性能数据进行实时自动分析，将分析结果与数据库性能基线对比及时发现性能隐患，并通过可配置的预警机制进行自动报警，从而及时进行人工干预，避免对业务系统的运行造成影响。对数据库性能数据的自动分析分为两阶段，第一阶段对单次性能数据进行分析，第二阶段对连续多次性能数据进行综合关联分析并预测未来性能状况。预警系统可提供电子邮件、手机短信、即时消息、日志、屏幕显示、语音、指示灯等多种报警方法。

Description

数据库性能自动分析和预警系统
技术领域
本发明的技术领域是计算机的数据库系统。 
背景技术
对于广大使用数据库进行数据存储和处理的应用系统来说，数据库的性能状况非常关键，如果数据库性能有问题将导致业务系统无法正常运行甚至中断。而数据库的性能状况又是动态变化的，随着数据量的增加、业务系统的扩充、设备、网络以及其他软硬件环境的变化而不断改变，所以需要不断监控数据库的性能状况，一旦发生故障要及时处理。虽然各种主流数据库系统都提供了数据库性能采集方法和工具，也有一些第三方的工具可以使用，但对于数据库性能的人工分析评估需要花费很大的工作量，成本很高且周期较长；另一存在的问题是即使发现了性能故障马上进行处理，已经或多或少对业务系统造成了影响甚至中断。本发明数据库性能自动分析和预警系统通过不间断地采集数据库性能数据并对数据进行自动分析可大幅度提高数据库性能分析的频率，弥补人工分析的不足，并通过可配置的预警机制在性能故障发生之前就提前捕捉到性能下降的迹象，及时进行人工干预，避免对业务系统的运行造成影响。 
发明内容
本发明数据库性能自动分析和预警系统包括以下几部分：数据库性能数据定时采集、数据库性能自动分析、数据库性能基线定义、数据库性能预警。 
数据库性能数据定时采集通过数据库性能数据采集工具进行，该工具可以是数据库系统自有的工具，比如Oracle的Statspack，SQL Server的Performance Data Collector，也可以是第三方工具或自己开发的工具，定时间隔可根据需要进行配置，如每小时一次、每半小时一次、每五分钟一次等。 
数据库性能自动分析利用数据库性能采集工具定时采集数据库的性能数据，对每次采集到的性能数据进行两阶段自动分析，第一阶段分析仅分析当次采集到的性能数据，第二阶段分析则分析包括当次的此前连续n次(n可配置)性能数据，通过分析一段时间内的数据库整体性能状况和性能变化趋势并与数据库性能基线相比较，定期自动生成高可靠的数据库性能分析报告。 
数据库性能基线定义由本系统管理员负责。系统管理员可根据业务状况的典型性和数据库系统性能的稳定性，指定或更改某一时间段采集到的数据库性能数据作为数据库性能基线依据，对这些数据采用前述两阶段分析方法进行分析，分析结果即定义为数据库性能基线。数据库性能基线是以后性能分析和预警的对照和依据。 
数据库性能预警则由系统管理员先预设性能报警指标、报警参数和报警方法，在每次生成进行自动分析时，检查预设的各项性能报警指标并与报警参数相比较，一旦有某项指标满足报警条件，则通过选定的报警方法进行报警。 
数据库性能自动分析的第一阶段分析主要方法是针对单次性能采集数据计算相关性能指标计算并保存计算好的指标数据供第二阶段分析和数据库性能预警使用。具体定义哪些性能指标及其计算方法依赖于所采用性能数据采集工具生成的数据内容和数据格式，由本系统定义和实现。 
数据库性能自动分析的第二阶段分析方法是对连续多次的第一阶段分析所保存的指标数据进行二次综合分析，具体分析方法根据各指标含义的不同有不同的方法，对同一指标也可采用多种计算方法，如计算平均值、最大值、最小值、方差、中位数、波动率、各种曲线拟合趋势分析等等，并可对多个指标数据进行关联分析。将第二阶段性能自动分析的结果同性能基线对比保存为数据库性能分析报告供人工查阅，同时也提供给数据库性能预警使用。由于可以通过曲线拟合进行性能指标趋势分析，可以定义某一性能指标一定时间后的预测值作为第二阶段性能分析结果的一部分，这样可以提前预测数据库的性能隐患，而不是等到已经发生数据库性能问题之后再进行处理。 
波动率是本发明中提出的新概念，其计算公式如下： 
上述公式中p为某一性能指标，pi表示从第i次采集数据中算出的该性能指标值，max(pi，pi+1)表示取pi和pi+1中的较大值，min(pi，pi+1)表示取pi和pi+1中的较小值。上述公式计算出连续n次采集数据中性能指标p每次波动幅度的平均值作为p的波动率。 
数据库性能预警的性能报警指标可以设置为上述数据库性能第一阶段分析指标，也可以设置为数据库性能第二阶段分析指标。通过报警指标的实际计算值和预设报警参数值进行比较确定是否触发报警，预设报警参数是一个区间值，可以设置为固定区间值，也可以设置为基于性能基线上下各一定数值的浮动区间值，或设置为基于性能基线上下各一定比例的浮动区间值，或者是以上三种设置方法的结合，即区间的下限值为以上三种方法的任一种，区间的上限值也是以上三种方法的任一种。当报警指标的实际计算值在该区间外时则触发报警。系统管理员可根据需要随时修改性能报警指标和报警参数值。 
数据库性能预警报警方法可通过电子邮件报警、手机短信报警、即时消息报警、日志报警、屏幕显示报警、语音报警、指示灯报警等多种方法联合进行。系统管理员可根据性能报警指标和报警参数的严重程度和紧急程度定义相应的报警方法组合。 
具体实施方式
本系统的具体实施方式如下： 
1.根据数据库类型选择一性能数据采集工具或自己开发性能数据采集工具。 
2.通过步骤1中的工具采集数据库性能数据。 
3.根据步骤2中的性能数据格式定义对单次数据进行初次分析的性能指标和对多次数据进行二次分析的性能指标。 
4.开发自动分析工具，该工具对步骤2中的性能数据分两阶段自动分析出步骤3中的各项性能指标。 
5.开发包含多种报警方法的数据库预警机制。 
6.根据步骤3中的性能指标在步骤5的预警机制中设置所需要的性能报警指标及其报警参数和报警方法。 
7.设定间隔定时运行步骤1中的工具采集数据库性能数据，每次数据采集完成后重复以下步骤8和步骤9. 
8.每次在步骤7数据采集完成后自动启动运行步骤4中的自动分析工具分以下两阶段进行数据分析： 
8.1.第一阶段分析单次数据生成性能指标并检查是否触发步骤6中设置的报警条件，如触发报警条件则按照步骤6中设置的报警方法报警。 
8.2.第二阶段对连续多次性能指标进行关联分析并同数据库性能基线相比较生成数据库性能分析报告，同时检查是否触发步骤6中设置的报警条件，如触发报警条件则按照步骤6中设置的报警方法报警。 
9.根据步骤8.2中的数据库性能分析报告，管理员结合该段时间内业务状况的典型性和数据库系统性能的稳定性可将其定义或修改为数据库性能基线。 
附图说明
图1系统的结构示意图 
图2系统工作流程图。 

Claims (7)

1.一种数据库性能自动分析方法包含
定时采集数据库性能数据并分两阶段进行分析：第一阶段分析单次性能数据，第二阶段分析连续多次性能数据；
对单次采集到的数据库性能数据的分析方法；
对连续多次数据库性能指标的综合关联分析方法；
将数据分析结果与数据库性能基线相比较的方法。
2.权利要求1中的对连续多次数据库性能指标的综合关联分析方法包含
计算同一性能指标的平均值、最大值、最小值、方差、中位数、波动率；
通过对同一性能指标数据进行曲线拟合预测该指标未来趋势；
对多个指标数据进行关联分析。
3.权利要求2中的性能指标波动率计算方法。
4.一种定义数据库性能基线的方法。
5.一种数据库性能自动预警方法包含
性能报警指标和报警参数的设置方法；
将自动分析得到的性能指标与数据库性能基线相比较发现数据库性能隐患的方法；
通过性能指标未来预测值发现数据库性能隐患的方法；
多种报警手段相结合的报警方法。
6.权利要求5中的报警参数设置方法包含
报警参数是一个区间值；
报警参数可设置为固定区间值，或基于性能基线上下各一定数值的浮动区间值，或基于性能基线上下各一定比例的浮动区间值，或以上三种方法的结合。
7.权利要求5中的报警手段包含以下手段的任意组合
电子邮件报警；
手机短信报警；
即时消息报警；
日志报警；
屏幕显示报警；
语音报警；
指示灯报警。
CN201310125628.XA 2013-04-12 2013-04-12 数据库性能自动分析和预警系统 Pending CN104102668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310125628.XA CN104102668A (zh) 2013-04-12 2013-04-12 数据库性能自动分析和预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310125628.XA CN104102668A (zh) 2013-04-12 2013-04-12 数据库性能自动分析和预警系统

Publications (1)

Publication Number Publication Date
CN104102668A true CN104102668A (zh) 2014-10-15

Family

ID=51670827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310125628.XA Pending CN104102668A (zh) 2013-04-12 2013-04-12 数据库性能自动分析和预警系统

Country Status (1)

Country Link
CN (1) CN104102668A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699807A (zh) * 2015-03-23 2015-06-10 上海新炬网络信息技术有限公司 一种oracle数据表空间的自动监控扩容方法
CN105589796A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 用于监测信息交互数据异常的方法
CN106909485A (zh) * 2015-12-23 2017-06-30 伊姆西公司 用于确定存储系统性能下降的原因的方法和设备
WO2018102977A1 (zh) * 2016-12-06 2018-06-14 深圳中兴力维技术有限公司 一种物联网设备的预警方法及系统
CN108984408A (zh) * 2018-07-13 2018-12-11 中国银行股份有限公司 一种应用系统中sql代码的检测方法和装置
CN110045695A (zh) * 2019-03-26 2019-07-23 石化盈科信息技术有限责任公司 一种基于方差分析的工艺参数在线预警方法
CN110888915A (zh) * 2019-11-13 2020-03-17 江苏科技大学 一种基于大数据平台的挖泥船疏浚作业分析方法
CN110998539A (zh) * 2017-06-16 2020-04-10 阿里巴巴集团控股有限公司 系统更新的性能影响分析
CN111026608A (zh) * 2019-11-28 2020-04-17 深圳供电局有限公司 一种Oracle数据库性能诊断方法及其系统、设备、介质
CN116010906A (zh) * 2022-11-09 2023-04-25 北京新数科技有限公司 一种基于rsa的数据库性能监控软件加密方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600219A (zh) * 2008-12-18 2009-12-09 中国移动通信集团浙江有限公司 一种业务性能监控预警的方法
US20100125489A1 (en) * 2008-11-19 2010-05-20 Shipra Surendra System and Method for Root Cause Analysis and Early Warning of Inventory Problems
CN101876932A (zh) * 2009-11-30 2010-11-03 中国移动通信集团浙江有限公司 内存数据库监控的方法、系统及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100125489A1 (en) * 2008-11-19 2010-05-20 Shipra Surendra System and Method for Root Cause Analysis and Early Warning of Inventory Problems
CN101600219A (zh) * 2008-12-18 2009-12-09 中国移动通信集团浙江有限公司 一种业务性能监控预警的方法
CN101876932A (zh) * 2009-11-30 2010-11-03 中国移动通信集团浙江有限公司 内存数据库监控的方法、系统及设备

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589796A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 用于监测信息交互数据异常的方法
CN104699807A (zh) * 2015-03-23 2015-06-10 上海新炬网络信息技术有限公司 一种oracle数据表空间的自动监控扩容方法
CN104699807B (zh) * 2015-03-23 2018-05-15 上海新炬网络信息技术股份有限公司 一种oracle数据表空间的自动监控扩容方法
CN106909485A (zh) * 2015-12-23 2017-06-30 伊姆西公司 用于确定存储系统性能下降的原因的方法和设备
US11150975B2 (en) 2015-12-23 2021-10-19 EMC IP Holding Company LLC Method and device for determining causes of performance degradation for storage systems
WO2018102977A1 (zh) * 2016-12-06 2018-06-14 深圳中兴力维技术有限公司 一种物联网设备的预警方法及系统
CN110998539A (zh) * 2017-06-16 2020-04-10 阿里巴巴集团控股有限公司 系统更新的性能影响分析
CN110998539B (zh) * 2017-06-16 2023-06-13 阿里巴巴集团控股有限公司 系统更新的性能影响分析
CN108984408A (zh) * 2018-07-13 2018-12-11 中国银行股份有限公司 一种应用系统中sql代码的检测方法和装置
CN108984408B (zh) * 2018-07-13 2021-11-30 中国银行股份有限公司 一种应用系统中sql代码的检测方法和装置
CN110045695A (zh) * 2019-03-26 2019-07-23 石化盈科信息技术有限责任公司 一种基于方差分析的工艺参数在线预警方法
CN110888915A (zh) * 2019-11-13 2020-03-17 江苏科技大学 一种基于大数据平台的挖泥船疏浚作业分析方法
CN110888915B (zh) * 2019-11-13 2024-02-09 江苏科技大学 一种基于大数据平台的挖泥船疏浚作业分析方法
CN111026608A (zh) * 2019-11-28 2020-04-17 深圳供电局有限公司 一种Oracle数据库性能诊断方法及其系统、设备、介质
CN116010906A (zh) * 2022-11-09 2023-04-25 北京新数科技有限公司 一种基于rsa的数据库性能监控软件加密方法
CN116010906B (zh) * 2022-11-09 2023-12-29 北京新数科技有限公司 一种基于rsa的数据库性能监控软件加密方法

Similar Documents

Publication Publication Date Title
CN104102668A (zh) 数据库性能自动分析和预警系统
CN110493348B (zh) 一种基于物联网的智能监控报警系统
CN105095056B (zh) 一种数据仓库数据监控的方法
CN108206747B (zh) 告警生成方法和系统
CN111190876A (zh) 日志管理系统及其运行方法
CN108197261A (zh) 一种智慧交通操作系统
US20100325132A1 (en) Querying compressed time-series signals
US20200241518A1 (en) Systems and methods for determining relationships between defects
CN101436274A (zh) 跨平台监控企业应用系统性能的方法
CN104880247A (zh) 一种用于旋转机械在线监测系统的组合报警方法
US10240549B2 (en) System and method for evaluating chip zap data
WO2021002780A1 (ru) Система мониторинга качества и процессов на базе машинного обучения
US20180246780A1 (en) System and method for automated and intelligent quantitative risk assessment of infrastructure systems
CN111581056B (zh) 基于人工智能的软件工程数据库维护与预警系统
CN105701244A (zh) 一种对巡检数据进行处理的方法及巡检服务器
US8543552B2 (en) Detecting statistical variation from unclassified process log
CN110889597A (zh) 业务时序指标异常检测方法及装置
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN103713976A (zh) 用于信号集中监测系统的信号设备故障根源搜索方法
CN101782763A (zh) 统计过程控制的监控方法
CN108255710B (zh) 一种脚本的异常检测方法及其终端
CN103034209A (zh) 一种在线测量数据准确性甄别方法
CN110633165B (zh) 故障处理方法、装置、系统服务器及计算机可读存储介质
CN115437899A (zh) 集群故障预测方法、装置、电子设备和介质
CN115358336A (zh) 用电异常检测方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141015