CN102567531A - 一种通用的轻量级数据库状态监控方法 - Google Patents
一种通用的轻量级数据库状态监控方法 Download PDFInfo
- Publication number
- CN102567531A CN102567531A CN201110456351XA CN201110456351A CN102567531A CN 102567531 A CN102567531 A CN 102567531A CN 201110456351X A CN201110456351X A CN 201110456351XA CN 201110456351 A CN201110456351 A CN 201110456351A CN 102567531 A CN102567531 A CN 102567531A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- server
- monitoring
- positioning method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种通用的轻量级数据库状态监控方法，该方法包括：1）通过监控服务器对对要监控的本地数据库服务器或其他具有访问权限的数据库服务器不同种类的数据库状态信息进行采集；2）将采集的数据存入临时文件并进行格式转换；3）对转换后的数据按照用户配置的时间间隔存储到监控数据库服务器，并生成RRDTOOL数据；4）读取RRDTOOL数据，并生成图片，同时给数据库维护人员发送通知信息。本发明能够支持多种不同的数据库平台，不同数据库平台的状态监控均可纳入本系统中进行管理。
Description
技术领域
本发明涉及数据库状态监控方法，特别是涉及一种通用的轻量级数据库状态监控方法。
背景技术
数据库状态监控是指监控指定的数据库指标，技术管理人员通过监控报表的反馈对数据库的状态进行分析，能有针对性地对数据库和其应用系统进行适当调整，提升服务效率。
目前对数据库状态监控常采用的实现方式为：预先确定需要监控的服务器地址和数据库类型，选择匹配的监控方案；分别配置监控项，如果有多台服务器，则需要配置多个监控项目；系统调用接口登录到配置好的服务器，收集数据库状态数据；将获取的数据库各项状态值保存至服务器；技术管理人员登录管理接口，查看收集到的指定服务器的状态信息，如果有多个服务器需要监控，则需要分别到不同的接口中查看。但上述所采用的数据库状态统计系统大多只是针对某一款数据库产品，统计信息的收集和展示只针对某一台数据库，而对于多系统多平台的支持较为有限，不利于大型企业维护人员统筹管理。同时，现有的实现方式还存在实时性较差，统计数据的收集时间不可控等问题，有可能出现由于统计时间过短或过长，致使统计结果严重偏离服务器当前实际现状，不能准确反映服务器的实际状态的现象。
发明内容
为避免以上现有技术的不足，本发明提供一种通用的轻量级数据库状态监控方法。以解决对多种数据库平台及多个数据库服务器配置状态的监控问题。
本发明的技术方案如下：
一种通用的轻量级数据库状态监控方法,该方法包括：
1）通过监控服务器对对要监控的本地数据库服务器或其他具有访问权限的数据库服务器不同种类的数据库状态信息进行采集；
2）将采集的数据存入临时文件并进行格式转换；
3）对转换后的数据按照用户设置的时间间隔存储到监控数据库服务器，并生成RRDTOOL数据；
4）读取RRDTOOL数据，并生成图片，同时给数据库维护人员发送通知信息。
进一步，所述的监控服务器上设置有采集接口，该采集接口根据待监控数据库不同的数据库类型进行分类采集。
进一步，所述对数据库服务器的状态信息包括服务器的IP端口值和或数据库的类型。
进一步，所述对数据库服务器的状态信息进行采集时按照设定的时间频率进行采集。
进一步，所述格式转换包括自动对采集的数据提取相应的采集时间、采集数据的IP地址或按照某个性能指标值对采集数据进行筛选，并将所述的采集时间、采集数据的IP地址或筛选的数据转变为item&item_value形式。
进一步，所述发送通知信息包括发送图片、邮件、报表信息。
本发明的优点为：
1.能够支持多种不同的数据库平台，不同数据库平台的状态监控均可纳入本系统中进行管理；
2.在配置环节减少了操作步骤，对于企业中广泛存在的多个数据库服务器的情况，只需要在配置文件中增加服务器地址和监控项目即可，而无须针对每个服务器进行重复性单独配置；
3.监控方法收集到的状态信息每日自动通过邮件发送至指定邮箱，避免了为浏览不同数据库和不同服务器，而登录不同平台进行重复操作的流程。
4.有别于常规监控工具中文字或表格的展示方式，本方法引入了图形化的报表方案，使企业主无须具备专业技术能力，通过浏览和分析图形化报表所体现出的趋势，即可大致了解数据库服务器基本状态信息。
附图说明
图1：本发明方法的流程图；
图2：本发明具体实施例示意图。
具体实施方式
如图1为本发明方法的流程图，本发明一种通用的轻量级数据库状态监控方法，该方法包括：1）通过监控服务器对对要监控的本地数据库服务器或其他具有访问权限的数据库服务器的状态信息进行采集； 2）将采集的数据存入临时文件并进行格式转换；3）对转换后的数据按照用户配置的时间间隔存储到监控数据库服务器，并生成RRDTOOL数据；4）读取RRDTOOL数据，并生成图片，同时给数据库维护人员发送通知信息。所述对数据库服务器的状态信息进行采集时，采集服务器的IP端口值和或数据库的类型。所述对数据库服务器的状态信息进行采集时按照设定的时间频率进行采集。所述格式转换包括对采集的数据提取相应的采集时间、采集数据的IP地址或按照某个性能指标值对采集数据进行筛选。所述发送通知信息包括发送图片、邮件、报表信息。
结合图2，对本发明通用的轻量级数据库状态监控方法做详细说明。
首先可以部署通过任意一台或多台监控服务器对待监控的数据库服务器的状态信息进行采集，数据库服务器的状态信息包括数据库的IP端口值和或数据库的类型。所述监控服务器上设置有采集接口，该采集接口根据待监控数据库不同的数据库类型进行分类采集。所述采集接口可以放在任何一台服务器上，通常是放在一个固定的服务器上。采集接口上设置有不同的采集模板，对不同的数据库产品区别对待，分别采集不同的数据库状态信息。采集接口在调用采集模板时，根据采集接口中定义的标识来识别数据库的类型，不同数据库类型使用不同的采集模板。
所述采集服务器在采集信息时，该采集的信息主要来自于数据库服务器自身提供的信息，例如，对于互联网行业常用的MySQL数据库，可以抓取show global status的返回数据来获取该数据库的状态信息，具体方法是采集时执行mysql命令，而后调用show global status语句，并将结果输出至临时文件；又比如企业常用到的ORACLE数据库，也可以直接抓取oracle数据库动态性能视图v$sysstat中的信息。
状态采集程序可以视实际情况，选择在各个被监控的数据库服务器上部署仅监控本地数据库服务的状态，也可以在固定的某个服务器部署，监控所有指定(并拥有访问权限)的数据库服务状态。各个服务器部署的方式比如简单，直接将采集脚本放置在目标服务器的指定位置，并修改连接信息即可；如果在固定节点部署，那么需要额外配置需要采集的服务器列表和连接信息，具体实际方法为，额外增加配置文件，保存所有需要监控服务器列表、端口和服务类型。
采集到的信息会被存入临时文件，信息采集脚本被设置为定时执行，采集频率根据实际需求，按照最有助于后期分析的时间间隔进行收集。
不同数据库平台，其所提示的数据库服务状态的形式均不一致，但是对采集的数据状态信息抽象化后我们可以将转变为item & item_value的形式，这种操作我们将其定义为数据的格式化，也即是用来对收集到的原始数据进行格式化。具体做法是，分析临时文件，按照分隔符拆分，取出具有代表意义的名称，和它对应的状态值，这样即可确保所有的指定均有一个item及其对象的item_value。
考虑到采集频率较高时，数据规模将会比较大，可在此处对采集到的数据进行二次过滤，去掉那些不被关注的item；同时，对于某些数据库没有直接提供的状态指标，比如像read_write_ratio, transaction_per_sec, buffer_hit_radio等等极重要的数据库性能指标，也可在此处通过定制的方式生成相应的item_value。
除了对数据进行过滤和补充外，在对采集数据进行格式化数据时，会自动调用数据格式化脚本，一般无须关注和修改，只有当需要新增监控的状态项或过滤规则时才需要修改该脚本。格式化时会将不同数据库类型的状态值，按照配置好的模板转换成通用的SQL语句，以INSERT语句的形式体现，处理后的结果保存在文件中。为达到最大粒度(指采集到数据的详尽程度)的定制化，每个被监控的数据库的每一个时间点统计到的每个状态值均会生成唯一的一条记录，例如前面收集到的MySQL性能数据："Innodb_data_written | 173778294272"，处理并格式化后形式为："insert into db_info_detail_log values ('Innodb_data_written','173778294272','2011-11-22 21:00:00',3306,'192.168.1.101')"。预处理完成后，临时文件即可被删除。
为便于后期管理和分析，创建专用数据库，并执行生成的SQL，将数据保存在该专用的分析数据库中。
由于数据库中收集到的统计数据通常都是该数据库服务长期运行的累计状态值，从形式上来看具有递增的特点，不利于分析，因此当完成插入数据到专用的分析数据库后，需要执行数据分析脚本，根据当前采集到的数据和历史数据，按照指定的时间间隔进行加减运算，生成一定时间段内的实际状态值。以MySQL数据库采集到的数据为例，将'2011-11-22 21:00:00'与'2011-11-22 20:30:00'两个时间点的数据进行对比，即得可出2011-11-22日20:30到21:00之间，这半个小时区间段内MySQL数据库的实际状态信息，生成的这部分信息也保存至专用的分析数据库中。
图形化展示层引入RRDTOOL开源工具，执行脚本读取前面最终生成的各项状态信息，通过RRDTOOL的命令行工具，保存至其专用的RRD文件中，考虑到粒度大小的支持，各数据库和各参数拥有独立的RRD文件。后台设置任务定时通过RRDTOOL生成各项状态的图片文件，并将其发送至指定邮箱。
本发明这种方法能对多种数据库平台及多个数据库服务器配置状态进行监控问题，提高了工作效率，方便了企业管理。
应当理解，以上借助优选实施例对本发明的技术方案进行的说明是示意性的而非限制性的。本领域的普通技术人员在上述实施例的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种通用的轻量级数据库状态监控方法,其特征在于，该方法包括：
1）通过监控服务器对对要监控的本地数据库服务器或其他具有访问权限的数据库服务器不同种类的数据库状态信息进行采集；
2）将采集的数据存入临时文件并进行格式转换；
3）对转换后的数据按照用户设置的时间间隔存储到监控数据库服务器，并生成RRDTOOL数据；
4）读取RRDTOOL数据，并生成图片，同时给数据库维护人员发送通知信息。
2.根据权利要求1所述的一种通用的轻量级数据库状态监控方法,其特征在于，所述的监控服务器上设置有采集接口，该采集接口根据待监控数据库不同的数据库类型进行分类采集。
3.根据权利要求1所述的一种通用的轻量级数据库状态监控方法,其特征在于，所述对数据库服务器的状态信息包括服务器的IP端口值和或数据库的类型。
4.根据权利要求1所述的一种通用的轻量级数据库状态监控方法,其特征在于，所述对数据库服务器的状态信息进行采集时按照设定的时间频率进行采集。
5.根据权利要求1所述的一种通用的轻量级数据库状态监控方法,其特征在于，所述格式转换包括自动对采集的数据提取相应的采集时间、采集数据的IP地址或按照某个性能指标值对采集数据进行筛选，并将所述的采集时间、采集数据的IP地址或筛选的数据转变为item&item_value形式。
6.根据权利要求1所述的一种通用的轻量级数据库状态监控方法,其特征在于，所述发送通知信息包括发送图片、邮件、报表信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110456351.XA CN102567531B (zh) | 2011-12-30 | 2011-12-30 | 一种通用的轻量级数据库状态监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110456351.XA CN102567531B (zh) | 2011-12-30 | 2011-12-30 | 一种通用的轻量级数据库状态监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102567531A true CN102567531A (zh) | 2012-07-11 |
| CN102567531B CN102567531B (zh) | 2014-07-30 |
Family
ID=46412930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110456351.XA Active CN102567531B (zh) | 2011-12-30 | 2011-12-30 | 一种通用的轻量级数据库状态监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102567531B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集系统及其方法 |
| CN104615660A (zh) * | 2015-01-05 | 2015-05-13 | 浪潮(北京)电子信息产业有限公司 | 一种监控数据库性能的方法和系统 |
| CN104951524A (zh) * | 2015-06-11 | 2015-09-30 | 上海新炬网络信息技术有限公司 | 一种用于数据库运维的移动平台及其使用方法 |
| CN105574195A (zh) * | 2015-12-25 | 2016-05-11 | 北京奇虎科技有限公司 | 判断数据库是否应下线回收的方法及装置 |
| CN108768791A (zh) * | 2018-07-04 | 2018-11-06 | 山东汇贸电子口岸有限公司 | 一种信息采集配置管理系统及方法 |
| CN109800136A (zh) * | 2018-12-06 | 2019-05-24 | 珠海西山居移动游戏科技有限公司 | 一种远程redis性能数据采样方法及其系统 |
| CN111352807A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 服务器资源实时监控方法及装置 |
| CN111459905A (zh) * | 2020-02-28 | 2020-07-28 | 上海维信荟智金融科技有限公司 | MySQL数据库监控脚本的实现方法及系统 |
| CN112527595A (zh) * | 2020-12-02 | 2021-03-19 | 平安医疗健康管理股份有限公司 | Greenplum集群数据库监控方法、装置和计算机设备 |
| CN115834696A (zh) * | 2022-10-20 | 2023-03-21 | 北京新数科技有限公司 | 一种数据库性能监控平台数据采集装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547120A (zh) * | 2003-12-10 | 2004-11-17 | 沈阳东软软件股份有限公司 | 网络监视管理系统 |
| CN101013442A (zh) * | 2007-02-07 | 2007-08-08 | 浙江大学 | 数据库性能的无代理统一监控方法 |
| CN101127776A (zh) * | 2007-09-29 | 2008-02-20 | 中国电信股份有限公司 | 多媒体信息采集、管理和服务的系统、方法及装置 |
| CN101446914A (zh) * | 2007-11-26 | 2009-06-03 | 阿里巴巴集团控股有限公司 | 一种数据库监控方法及装置 |
| CN101854254A (zh) * | 2010-05-10 | 2010-10-06 | 浪潮电子信息产业股份有限公司 | 一种监控服务器资源利用情况的方法 |
| CN102156729A (zh) * | 2011-03-29 | 2011-08-17 | 北京京东世纪贸易有限公司 | 监控多个数据库服务器的系统和方法 |
-
2011
- 2011-12-30 CN CN201110456351.XA patent/CN102567531B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547120A (zh) * | 2003-12-10 | 2004-11-17 | 沈阳东软软件股份有限公司 | 网络监视管理系统 |
| CN101013442A (zh) * | 2007-02-07 | 2007-08-08 | 浙江大学 | 数据库性能的无代理统一监控方法 |
| CN101127776A (zh) * | 2007-09-29 | 2008-02-20 | 中国电信股份有限公司 | 多媒体信息采集、管理和服务的系统、方法及装置 |
| CN101446914A (zh) * | 2007-11-26 | 2009-06-03 | 阿里巴巴集团控股有限公司 | 一种数据库监控方法及装置 |
| CN101854254A (zh) * | 2010-05-10 | 2010-10-06 | 浪潮电子信息产业股份有限公司 | 一种监控服务器资源利用情况的方法 |
| CN102156729A (zh) * | 2011-03-29 | 2011-08-17 | 北京京东世纪贸易有限公司 | 监控多个数据库服务器的系统和方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集系统及其方法 |
| CN104615660A (zh) * | 2015-01-05 | 2015-05-13 | 浪潮(北京)电子信息产业有限公司 | 一种监控数据库性能的方法和系统 |
| CN104951524A (zh) * | 2015-06-11 | 2015-09-30 | 上海新炬网络信息技术有限公司 | 一种用于数据库运维的移动平台及其使用方法 |
| CN104951524B (zh) * | 2015-06-11 | 2018-03-23 | 上海新炬网络信息技术股份有限公司 | 一种用于数据库运维的移动平台及其使用方法 |
| CN105574195A (zh) * | 2015-12-25 | 2016-05-11 | 北京奇虎科技有限公司 | 判断数据库是否应下线回收的方法及装置 |
| CN105574195B (zh) * | 2015-12-25 | 2019-07-23 | 北京奇虎科技有限公司 | 判断数据库是否应下线回收的方法及装置 |
| CN108768791B (zh) * | 2018-07-04 | 2021-08-10 | 上海浪潮云计算服务有限公司 | 一种信息采集配置管理系统及方法 |
| CN108768791A (zh) * | 2018-07-04 | 2018-11-06 | 山东汇贸电子口岸有限公司 | 一种信息采集配置管理系统及方法 |
| CN109800136A (zh) * | 2018-12-06 | 2019-05-24 | 珠海西山居移动游戏科技有限公司 | 一种远程redis性能数据采样方法及其系统 |
| CN111459905A (zh) * | 2020-02-28 | 2020-07-28 | 上海维信荟智金融科技有限公司 | MySQL数据库监控脚本的实现方法及系统 |
| CN111352807A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 服务器资源实时监控方法及装置 |
| CN112527595A (zh) * | 2020-12-02 | 2021-03-19 | 平安医疗健康管理股份有限公司 | Greenplum集群数据库监控方法、装置和计算机设备 |
| CN115834696A (zh) * | 2022-10-20 | 2023-03-21 | 北京新数科技有限公司 | 一种数据库性能监控平台数据采集装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102567531B (zh) | 2014-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102567531B (zh) | 一种通用的轻量级数据库状态监控方法 | |
| CN104407964B (zh) | 一种基于数据中心的集中监控系统及方法 | |
| CN110782370B (zh) | 一种电力调度数据网综合运维管理平台 | |
| CN109542733A (zh) | 一种高可靠的实时日志收集及可视化检索方法 | |
| CN110505102B (zh) | 电力信息通信融合监控与服务标准化管理平台系统及方法 | |
| CN103888287B (zh) | 信息系统一体化运维监控服务预警平台 | |
| CN110493348A (zh) | 一种基于物联网的智能监控报警系统 | |
| CN103138989B (zh) | 一种海量日志分析系统及方法 | |
| US20070150581A1 (en) | System and method for monitoring system performance levels across a network | |
| CN108667666A (zh) | 一种基于可视化技术的智能运维方法及其系统 | |
| CN106533792A (zh) | 一种监控和配置资源的方法及装置 | |
| CN111127250B (zh) | 一种电力数据监控事件分析系统及方法 | |
| CN113179173A (zh) | 一种用于高速公路系统的运维监控系统 | |
| CN109885453A (zh) | 基于流数据处理的大数据平台监控系统 | |
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN109858807B (zh) | 一种企业运营监控的方法及系统 | |
| CN116205396A (zh) | 一种基于数据中台的数据全景监控方法及系统 | |
| CN102571424A (zh) | 一种工程事件处理方法、装置和系统 | |
| CN108288997A (zh) | 一种传输网络光功率自动采集系统 | |
| CN103618635A (zh) | 信息化设备分层关联管控系统 | |
| US20020026433A1 (en) | Knowledge system and methods of business alerting and business analysis | |
| CN110321121A (zh) | 数家系统 | |
| CN115016902B (zh) | 工业流程数字化管理系统及方法 | |
| CN106559262A (zh) | 一种区域故障报警方法及系统 | |
| CN110619572A (zh) | 一种监控企业公开数据高容错性增长的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP03 | Change of name, title or address |
Address after: 100085 Haidian District on the road to information on the ground floor, building A7F, No. 28, Beijing Patentee after: BEIJING HUDONG BAIKE NETWORK TECHNOLOGY CO.,LTD. Address before: 100029, miracle Fortune Plaza, 1 Li an yuan, Anding, Beijing, Chaoyang District Patentee before: Hudong Online (Beijing) Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100085 Haidian District on the road to information on the ground floor, building A7F, No. 28, Beijing Patentee after: Beijing Interactive Encyclopedia Network Technology Co.,Ltd. Address before: 100085 Haidian District on the road to information on the ground floor, building A7F, No. 28, Beijing Patentee before: BEIJING HUDONG BAIKE NETWORK TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190924 Address after: 100041, room 2, building 3, building 30, Xing Xing street, Shijingshan District, Beijing, Patentee after: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. Address before: 100085 Haidian District on the road to information on the ground floor, building A7F, No. 28, Beijing Patentee before: Beijing Interactive Encyclopedia Network Technology Co.,Ltd. |