CN107977467A - 数据库监控装置 - Google Patents
数据库监控装置 Download PDFInfo
- Publication number
- CN107977467A CN107977467A CN201711396770.2A CN201711396770A CN107977467A CN 107977467 A CN107977467 A CN 107977467A CN 201711396770 A CN201711396770 A CN 201711396770A CN 107977467 A CN107977467 A CN 107977467A
- Authority
- CN
- China
- Prior art keywords
- management module
- data
- database
- management
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据库监控装置。该装置包括:性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块,将数据库的性能指标,资源占用情况,数据库日志分析,数据正确性等纳入监控,数据备份完整性校验,并统一进行管控。
Description
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据库监控装置。
背景技术
随着信息科技技术的不断发展,基于数据库的应用服务在各个行业中广泛应用,数据库作为应用服务系统的基础组成部分,其重要性不言而喻。对于使用者来说,一旦数据库崩溃、异常挂起、性能降低、数据丢失等情况的反生,会直接导致依赖于数据库的应用服务无法使用,最终不仅仅影响应用服务的使用效率,甚至会给使用者带来无法估量的损失和根本性的伤害。因此,如何在这个信息量激增、数据存储量暴增的信息时代中保持数据库的稳定正常地运行,成为了运维工作的重中之重。
数据库在使用过程中,存在诸多因素可能导致数据库异常,包括:表空间、文件系统、数据文件、查询进程、某一个SQL语句的性能太差等,它们其中一个出现问题,数据库都有可能崩溃、响应缓慢、数据丢失等。当数据库出现异常,彻查问题的根本原因将成为重复、繁琐的工作。在数据库管理过程中,光靠人工进行监控与管理,将存在以下问题:无法进行24小时的监控管理,从而产生监控空白期;无法同一时刻监控数据库的多项系统重要指标;无法及时发现问题,一般都是等数据库出现问题后才进行解决;无法对备份数据进行全面的正确性校验等。
发明内容
(一)要解决的技术问题
为了保证数据库能够持续稳定提供服务,本发明提供一种数据库监控装置,该装置包括:性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块,将数据库的性能指标,资源占用情况,数据库日志分析,数据正确性等纳入监控,数据备份完整性校验,并统一进行管控。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
一种数据库监控装置,所述装置,包括:性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块;
所述性能监控管理模块分别与所述认证接入管理模块、配置参数管理模块、数据存储管理模块进行通信,用于数据库的总体性能监控与管理,并且定期生成监控报告;
所述日志监控管理模块分别与所述配置参数管理模块、数据存储管理模块、消息通知管理模块进行通信,用于分析数据库日志和标识异常内容;
所述认证接入管理模块分别与所述性能监控管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块进行通信,用于对连接数据库的客户端IP地址和计算机名进行监控;
所述配置参数管理模块分别与性能监控管理模块、日志监控管理模块、认证接入管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块进行通信,用于管理所述性能监控管理模块、日志监控管理模块、认证接入管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块的参数;
所述数据存储管理模块分别与所述性能监控管理模块、日志监控管理模块、认证接入管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块进行通信,用于对所述性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据备份验证管理模块、消息通知管理模块产出的数据进行管理,将数据存储在数据容器中;
所述数据备份验证管理模块分别与所述认证接入管理模块、配置参数管理模块、数据存储管理模块进行通信,用于完成数据库的备份操作,以及对备份数据的正确性进行校验;
所述消息通知管理模块分别与所述日志监控管理模块、配置参数管理模块、数据存储管理模块进行通信,用于基于所述数据存储管理模块的管理结果,进行消息通知。
可选地,所述性能监控管理模块采集数据库数据,从所述配置参数管理模块中获取性能阈值,基于所述性能阈值和所述数据库数据监控所述数据库的总体性能指标,标识超过所述性能阈值的总体性能指标以及标识超过所述性能阈值的总体性能指标涉及的数据库数据;
所述性能监控管理模块的所有处理数据和处理操作均保存至所述数据存储管理模块中;
所述性能监控管理模块根据所述数据库的总体性能指标,定期生成监控报告;
所述监控报告包括如下一项或多项:预设时间段内执行次数最多的第一预设数量条SQL语句,占用资源最高的第二预设数量条SQL语句,表空间当前容量,数据量最大的第三预设数量个表。
可选地,所述总体性能指标包括如下的一个或多个:占用CPU,内存,IO读写,磁盘空间,数据库锁表,数据库连接数,当前服务器的剩余CPU,当前服务器的剩余内存,当前服务器的剩余磁盘空间、当前服务器的网络带宽占用情况。
可选地,所述日志监控管理模块从所述配置参数管理模块获取关键字,根据所述关键字分析数据库的日志,识别所述日志中的异常内容;
所述日志包括如下的一种或多种:告警日志、监听日志、系统日志;
所述日志监控管理模块的所有处理数据和处理操作均保存至所述数据存储管理模块中。
可选地,所述认证接入管理模块从所述配置参数管理模块获取黑名单IP地址和白名单IP地址,将连接所述数据库的客户端IP地址分别与所述黑名单IP地址和白名单IP地址进行对比,标识所述白名单IP地址外的IP地址,阻止所述黑名单IP地址内的客户端连接所述数据库;
所述认证接入管理模块从所述配置参数管理模块获取连接最大值,获取所述数据库的当前连接数,若所述当前连接数与所述连接最大值的差小于预设阈值,则阻断所述白名单IP地址外的客户端连接所述数据库;
所述认证接入管理模块的所有处理数据和处理操作均保存至所述数据存储管理模块中。
可选地,所述配置参数管理模块管理性能监控管理模块的参数为性能阈值,或者,所述配置参数管理模块管理性能监控管理模块的参数包括性能阈值以及如下的一种或多种:监控频率,自定义监控内容;
所述配置参数管理模块管理日志监控管理模块的参数为关键字,或者,所述配置参数管理模块管理日志监控管理模块的参数包括关键字以及如下的一种或多种:终端日志路径,日志异常内容匹配规则;
所述配置参数管理模块管理认证接入管理模块的参数为:黑名单IP地址、白名单IP地址;
所述配置参数管理模块管理数据存储管理模块的参数包括如下的一种或多种:数据存储明细与维度,数据保留时长,备份策略,数据存储方式;
所述配置参数管理模块管理数据备份验证管理模块的参数包括如下的一种或多种:备份时间,备份频率,数据正确性验证时间;
所述配置参数管理模块管理消息通知管理模块的通知参数包括如下的一种或多种:传送方式,内容格式,通知时间设定,触发条件。
可选地,所述数据备份验证管理模块,将备份的数据重新导入到备份库中,对比备份库与所述数据库是否一致;
所述数据备份验证管理模块的所有处理数据和处理操作均保存至所述数据存储管理模块中。
可选地,所述对比备份库与所述数据库是否一致,包括:
获取备份库中数据表的最大值标识ID;
将所述最大值ID作为校验节点,验证所述备份库在所述校验节点前的数据与所述数据库在的所述校验节点前的数据的数据表是否一致、存储过程是否一致、函数是否一致、触发器数量是否一致,名字是否一致,包括数据表的数据行数是否一致,数据的正确性,数据表占用空间大小误差值是否在预设范围内。
可选地,所述最大值ID为时间,或者,所述最大值ID为递增的序列号,或者,所述最大值ID为预设关键字段值。
可选地,所述消息通知管理模块从所述数据存储管理模块获取符合告警条件的数据,从所述配置参数管理模块获取通知参数,根据所述通知参数发送所述符合告警条件的数据的消息通知;
所述消息通知管理模块的所有处理数据和处理操作均保存至所述数据存储管理模块中。
(三)有益效果
本发明的有益效果是:通过性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块,将数据库的性能指标,资源占用情况,数据库日志分析,数据正确性等纳入监控,数据备份完整性校验,并统一进行管控。
附图说明
图1为本发明一个实施例提供的一种数据库监控装置部分结构图;
图2为本发明一个实施例提供的一种数据备份验证管理模块实现流程图;
图3为本发明一个实施例提供的一种数据库监控装置的实现流程图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
影响数据库系统健康稳定运行的因素很多,覆盖了应用接入安全性、SQL语句性能、操作系统性能、数据库本身性能、备份有效性与完整性等。本发明通过性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块,把涉及的这些因素纳入监控并分析处理,通过对数据库的性能指标,资源占用情况,数据库日志分析,数据正确性,数据备份完整性校验等的统一管控,及时发现数据库的异常征兆,给出预警信息并可进行自动匹配处理。
参见图1,本实施例所示的数据库监控装置包括:性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、配置参数管理模块4、数据存储管理模块5、数据备份验证管理模块6、消息通知管理模块7。
各个模块有序可控地组成一个整体,以保障数据库正常稳定运行为目标,完成相互独立且相互关联的任务。
1、性能监控管理模块1
性能监控管理模块1分别与认证接入管理模块3、配置参数管理模块4、数据存储管理模块5进行通信。
性能监控管理模块1主要完成数据库的总体性能监控与管理,根据配置参数管理中的参数,并且对于数据库运行期间的性能情况,定期生成监控报告,方便了解数据库的性能情况。
性能监控管理模块1采集数据库数据,从配置参数管理模块4中获取性能阈值,基于性能阈值和数据库数据监控数据库的总体性能指标,标识超过性能阈值的总体性能指标以及标识超过性能阈值的总体性能指标涉及的数据库数据,将所有数据库数据保存至数据存储管理模块5中,另外,性能监控管理模块1的所有处理数据和处理操作均保存至所述数据存储管理模块5中。
其中,总体性能指标包括如下的一个或多个:占用CPU,内存,IO读写,磁盘空间,数据库锁表,数据库连接数,当前服务器的剩余CPU,当前服务器的剩余内存,当前服务器的剩余磁盘空间、当前服务器的网络带宽占用情况等影响数据库运行的性能参数。
性能监控管理模块1根据数据库的总体性能指标,定期生成监控报告。
其中,监控报告包括如下一项或多项:预设时间段内执行次数最多的第一预设数量条SQL语句,占用资源最高的第二预设数量条SQL语句,表空间当前容量,数据量最大的第三预设数量个表等信息。
例如,报告内容可通过参数配置自定义:某时间段内执行次数最多的前10条SQL语句,占用资源最高的前5条SQL语句,表空间当前容量,数据量最大的前5个表等信息。
2、日志监控管理模块2
日志监控管理模块2分别与配置参数管理模块4、数据存储管理模块5、消息通知管理模块7进行通信。
日志监控管理模块2用于分析数据库日志和标识异常内容。
日志监控管理模块2从配置参数管理模块4获取关键字,根据关键字进行检索分析数据库的日志,识别日志中的异常内容,将异常内容保存至数据存储管理模块5中。
其中,日志包括如下的一种或多种:告警日志、监听日志、系统日志。
日志监控管理模块2的所有处理数据和处理操作均保存至数据存储管理模块5中。
3、认证接入管理模块3
认证接入管理模块3分别与性能监控管理模块1、配置参数管理模块4、数据存储管理模块5、数据备份验证管理模块6进行通信。
认证接入管理模块3用于对连接数据库的客户端IP地址和计算机名进行监控,依据配置参数管理模块4中的黑名单IP地址和白名单IP地址和计算机名来进行下一步的处置。
认证接入管理模块3从配置参数管理模块4获取黑名单IP地址和白名单IP地址,将连接数据库的客户端IP地址分别与黑名单IP地址和白名单IP地址进行对比,标识白名单IP地址外的IP地址,阻止黑名单IP地址内的客户端连接数据库。
认证接入管理模块3从配置参数管理模块4获取连接最大值,获取数据库的当前连接数,若当前连接数与连接最大值的差小于预设阈值,则阻断白名单IP地址外的客户端连接数据库。
例如,认认证接入管理模块3判断当前数据库连接数是否接近连接最大值,若接近连接最大值,则阻断白名单IP地址以外的客户端进行连接。
认证接入管理模块3的所有处理数据和处理操作均保存至数据存储管理模块5中。
4、配置参数管理模块4
配置参数管理模块4分别与性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、数据存储管理模块5、数据备份验证管理模块6、消息通知管理模块7进行通信。
配置参数管理模块4用于管理性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、数据存储管理模块5、数据备份验证管理模块6、消息通知管理模块7的参数。
配置参数管理模块4管理性能监控管理模块1的参数为性能阈值,或者,配置参数管理模块4管理性能监控管理模块1的参数包括性能阈值以及如下的一种或多种:监控频率,自定义监控内容。
配置参数管理模块4管理日志监控管理模块2的参数为关键字,或者,配置参数管理模块4管理日志监控管理模块2的参数包括关键字以及如下的一种或多种:终端日志路径,日志异常内容匹配规则(如关键字匹配)。
配置参数管理模块4管理认证接入管理模块3的参数为:黑名单IP地址、白名单IP地址。
配置参数管理模块4管理数据存储管理模块5的参数包括如下的一种或多种:数据存储明细与维度,数据保留时长,备份策略,数据存储方式(如数据库、文档)。
配置参数管理模块4管理数据备份验证管理模块6的参数包括如下的一种或多种:备份时间,备份频率,数据正确性验证时间。
配置参数管理模块4管理消息通知管理模块7的通知参数包括如下的一种或多种:传送方式,内容格式,通知时间设定,触发条件。
5、数据存储管理模块5
数据存储管理模块5分别与性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、数据存储管理模块5、数据备份验证管理模块6、消息通知管理模块7进行通信。
数据存储管理模块5用于对性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、配置参数管理模块4、数据备份验证管理模块6、消息通知管理模块7产出的数据进行管理,将数据存储在数据容器中。
例如,根据配置参数管理模块4中的数据存储明细与维度、数据保留时长、备份策略、存储方式等,存储整个过程的记录。
6、数据备份验证管理模块6
数据备份验证管理模块6分别与认证接入管理模块3、配置参数管理模块4、数据存储管理模块5进行通信。
数据备份验证管理模块6用于完成数据库的备份操作,以及对备份数据的正确性进行校验。
数据备份验证管理模块6,将备份的数据重新导入到备份库中,对比备份库与数据库是否一致。
例如,通过将备份的数据重新导入到备份库中(独立的数据库,数据库版本和编码等参数均与正式库一致,只用于数据验证),然后智能化地对比两个数据库的数据表、存储过程、函数、触发器等数量和名字是否一致。由于生产环境下的数据是不断变化,因此对比备份库与数据库是否一致的过程,采取以下策略:获取备份库中数据表的最大值ID(Identity,标识),将最大值ID作为校验节点,验证备份库在校验节点前的数据与数据库在的校验节点前的数据的数据表是否一致、存储过程是否一致、函数是否一致、触发器数量是否一致,名字是否一致,包括数据表的数据行数是否一致,数据的正确性,数据表占用空间大小误差值是否在预设范围内。
其中,最大值ID为时间,或者,最大值ID为递增的序列号,或者,最大值ID为预设关键字段值。
数据备份验证管理模块6的所有处理数据和处理操作均保存至数据存储管理模块5中。
如图2所示的数据备份验证管理模块6实现流程:
在备份结束后,立刻还原数据到备份库中,获取备份库中数据表的最大值ID,如时间、递增序列号、某关键字段值等(可通过参数配置获取某个数据表中的某个字段),获取到最大值ID后,以此作为校验节点,只验证校验节点前的数据正确性;验证的内容包括数据表的数据行数,数据表占用空间大小误差值是否在允许范围内(通过参数配置设定)等。最后,所有数据和操作记录传输到数据存储管理中进行保存。
7、消息通知管理模块7
消息通知管理模块7分别与日志监控管理模块2、配置参数管理模块4、数据存储管理模块5进行通信。
消息通知管理模块7用于基于数据存储管理模块5的管理结果,进行消息通知。
例如,完成数据存储管理中符合触发条件告警的消息通知的操作,触发动作并记录在数据存储管理模块5中。
消息通知管理模块7从数据存储管理模块5获取符合告警条件的数据,从配置参数管理模块4获取通知参数,根据通知参数发送符合告警条件的数据的消息通知。
消息通知管理模块7的所有处理数据和处理操作均保存至数据存储管理模块5中。
例如,消息通知管理模块7从数据存储管理模块5中获取自定义消息的格式,内容模板,时间,发送方式,触发条件等参数,确定超过阈值的数据,触发消息通知;定期发送性能监控管理中的性能监控报告等,该过程终所有数据与操作记录同步到数据存储管理中。
图1所示的数据库监控装置中,性能监控管理模块1、日志监控管理模块2、认证接入管理模块3、数据备份验证管理模块6属于动作模块,它们的监控动作是异步实时运行。配置参数管理模块4、数据存储管理模块5、消息通知管理模块7属于管理模块,它们的管理动作是同步实时的(依赖于动作模块的数据)。各模块之间的交互如图3所示,图3仅从流程的角度描述具体的步骤,并不代表动作模块严格按照顺序图执行。
1、配置参数管理模块4配置参数。
2、配置参数管理模块4将配置的参数保存至数据存储管理模块5。
3、性能监控管理模块1开始监测。
4、性能监控管理模块1从配置参数管理模块4获取参数。
5、性能监控管理模块1标识数据。
6、性能监控管理模块1生产监控报告。
7、性能监控管理模块1将数据和操作保存至数据存储管理模块5。
8、日志监控管理模块2从配置参数管理模块4获取参数日志路径、关键字等。
9、日志监控管理模块2进行日志监控。
10、日志监控管理模块2标识数据。
11、日志监控管理模块2将数据和操作保存至数据存储管理模块5。
12、消息通知管理模块7从配置参数管理模块4获取参数触发条件、模板内容等。
13、消息通知管理模块7从数据存储管理模块5获取消息内容。
14、消息通知管理模块7进行消息通知。
15、消息通知管理模块7将数据和操作保存至数据存储管理模块5。
16、数据存储管理模块5从配置参数管理模块4获取参数。
17、数据存储管理模块5保存各模块的数据及操作。
18、数据备份验证管理模块6从配置参数管理模块4获取参数(备份时间、验证时间、备份路径、备份库信息等)。
19、数据备份验证管理模块6进行数据备份验证。
20、数据备份验证管理模块6将数据和操作保存至数据存储管理模块5。
21、认证接入管理模块3从配置参数管理模块4获取参数(黑白名单)。
22、认证接入管理模块3进行认证接入监控。
23、认证接入管理模块3将数据和操作保存至数据存储管理模块5。
本发明提供的数据库监控装置,通过把所有影响数据库稳定因素都纳入实时监控的范围内,逐步分析及告警,从而提前预知数据库稳定运行的隐患,进而保障了数据库的稳定持续正常运作。
其优点有:
1、配置高度灵活化,包括全过程的数据采集并分析、评估与预警全部实现配置化,如数据库日志监控、数据库性能指标、数据库监控报告的内容、接入数据库的黑白名单IP、备份数据的校验频率,也包括各个预警指标的阈值等。
2、无需人工值守,采集、分析、消息通知、行为匹配处理等全过程实现自动化,节约人工成本。
3、高度复用性,适用于运行在主流操作系统的数据库,适配多个数据库版本,如Oracle,MySQL,DB2,Sybase,SQLServer等,兼容windows系统与liunx系统等。
4、通过配置可实现消息通知的明细程度(内容与格式)、消息传送方式(邮件与短信)、触发条件、发送频度等,例如:消息标题的模板制定,消息内容明细程度。
5、对备份数据正确性完整性的校验,根据校验策略对备份数据进行验证,确保备份数据的有效性。
本实施例提供的数据库监控装置,包括:性能监控管理模块、日志监控管理模块、认证接入管理模块、配置参数管理模块、数据存储管理模块、数据备份验证管理模块、消息通知管理模块,将数据库的性能指标,资源占用情况,数据库日志分析,数据正确性等纳入监控,数据备份完整性校验,并统一进行管控。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种数据库监控装置,其特征在于,所述装置,包括:性能监控管理模块(1)、日志监控管理模块(2)、认证接入管理模块(3)、配置参数管理模块(4)、数据存储管理模块(5)、数据备份验证管理模块(6)、消息通知管理模块(7);
所述性能监控管理模块(1)分别与所述认证接入管理模块(3)、配置参数管理模块(4)、数据存储管理模块(5)进行通信,用于数据库的总体性能监控与管理,并且定期生成监控报告;
所述日志监控管理模块(2)分别与所述配置参数管理模块(4)、数据存储管理模块(5)、消息通知管理模块(7)进行通信,用于分析数据库日志和标识异常内容;
所述认证接入管理模块(3)分别与所述性能监控管理模块(1)、配置参数管理模块(4)、数据存储管理模块(5)、数据备份验证管理模块(6)进行通信,用于对连接数据库的客户端IP地址和计算机名进行监控;
所述配置参数管理模块(4)分别与性能监控管理模块(1)、日志监控管理模块(2)、认证接入管理模块(3)、数据存储管理模块(5)、数据备份验证管理模块(6)、消息通知管理模块(7)进行通信,用于管理所述性能监控管理模块(1)、日志监控管理模块(2)、认证接入管理模块(3)、数据存储管理模块(5)、数据备份验证管理模块(6)、消息通知管理模块(7)的参数;
所述数据存储管理模块(5)分别与所述性能监控管理模块(1)、日志监控管理模块(2)、认证接入管理模块(3)、数据存储管理模块(5)、数据备份验证管理模块(6)、消息通知管理模块(7)进行通信,用于对所述性能监控管理模块(1)、日志监控管理模块(2)、认证接入管理模块(3)、配置参数管理模块(4)、数据备份验证管理模块(6)、消息通知管理模块(7)产出的数据进行管理,将数据存储在数据容器中;
所述数据备份验证管理模块(6)分别与所述认证接入管理模块(3)、配置参数管理模块(4)、数据存储管理模块(5)进行通信,用于完成数据库的备份操作,以及对备份数据的正确性进行校验;
所述消息通知管理模块(7)分别与所述日志监控管理模块(2)、配置参数管理模块(4)、数据存储管理模块(5)进行通信,用于基于所述数据存储管理模块(5)的管理结果,进行消息通知。
2.根据权利要求1所述的装置,其特征在于,所述性能监控管理模块(1)采集数据库数据,从所述配置参数管理模块(4)中获取性能阈值,基于所述性能阈值和所述数据库数据监控所述数据库的总体性能指标,标识超过所述性能阈值的总体性能指标以及标识超过所述性能阈值的总体性能指标涉及的数据库数据;
所述性能监控管理模块(1)的所有处理数据和处理操作均保存至所述数据存储管理模块(5)中;
所述性能监控管理模块(1)根据所述数据库的总体性能指标,定期生成监控报告;
所述监控报告包括如下一项或多项:预设时间段内执行次数最多的第一预设数量条SQL语句,占用资源最高的第二预设数量条SQL语句,表空间当前容量,数据量最大的第三预设数量个表。
3.根据权利要求2所述的装置,其特征在于,所述总体性能指标包括如下的一个或多个:占用CPU,内存,IO读写,磁盘空间,数据库锁表,数据库连接数,当前服务器的剩余CPU,当前服务器的剩余内存,当前服务器的剩余磁盘空间、当前服务器的网络带宽占用情况。
4.根据权利要求1所述的装置,其特征在于,所述日志监控管理模块(2)从所述配置参数管理模块(4)获取关键字,根据所述关键字分析数据库的日志,识别所述日志中的异常内容;
所述日志包括如下的一种或多种:告警日志、监听日志、系统日志;
所述日志监控管理模块(2)的所有处理数据和处理操作均保存至所述数据存储管理模块(5)中。
5.根据权利要求1所述的装置,其特征在于,所述认证接入管理模块(3)从所述配置参数管理模块(4)获取黑名单IP地址和白名单IP地址,将连接所述数据库的客户端IP地址分别与所述黑名单IP地址和白名单IP地址进行对比,标识所述白名单IP地址外的IP地址,阻止所述黑名单IP地址内的客户端连接所述数据库;
所述认证接入管理模块(3)从所述配置参数管理模块(4)获取连接最大值,获取所述数据库的当前连接数,若所述当前连接数与所述连接最大值的差小于预设阈值,则阻断所述白名单IP地址外的客户端连接所述数据库;
所述认证接入管理模块(3)的所有处理数据和处理操作均保存至所述数据存储管理模块(5)中。
6.根据权利要求1所述的装置,其特征在于,所述配置参数管理模块(4)管理性能监控管理模块(1)的参数为性能阈值,或者,所述配置参数管理模块(4)管理性能监控管理模块(1)的参数包括性能阈值以及如下的一种或多种:监控频率,自定义监控内容;
所述配置参数管理模块(4)管理日志监控管理模块(2)的参数为关键字,或者,所述配置参数管理模块(4)管理日志监控管理模块(2)的参数包括关键字以及如下的一种或多种:终端日志路径,日志异常内容匹配规则;
所述配置参数管理模块(4)管理认证接入管理模块(3)的参数为:黑名单IP地址、白名单IP地址;
所述配置参数管理模块(4)管理数据存储管理模块(5)的参数包括如下的一种或多种:数据存储明细与维度,数据保留时长,备份策略,数据存储方式;
所述配置参数管理模块(4)管理数据备份验证管理模块(6)的参数包括如下的一种或多种:备份时间,备份频率,数据正确性验证时间;
所述配置参数管理模块(4)管理消息通知管理模块(7)的通知参数包括如下的一种或多种:传送方式,内容格式,通知时间设定,触发条件。
7.根据权利要求1所述的装置,其特征在于,所述数据备份验证管理模块(6),将备份的数据重新导入到备份库中,对比备份库与所述数据库是否一致;
所述数据备份验证管理模块(6)的所有处理数据和处理操作均保存至所述数据存储管理模块(5)中。
8.根据权利要求7所述的装置,其特征在于,所述数据备份验证管理模块(6)具体包括:
获取备份库中数据表的最大值标识ID;
将所述最大值ID作为校验节点,验证所述备份库在所述校验节点前的数据与所述数据库在的所述校验节点前的数据的数据表是否一致、存储过程是否一致、函数是否一致、触发器数量是否一致,名字是否一致,包括数据表的数据行数是否一致,数据的正确性,数据表占用空间大小误差值是否在预设范围内。
9.根据权利要求8所述的装置,其特征在于,所述最大值ID为时间,或者,所述最大值ID为递增的序列号,或者,所述最大值ID为预设关键字段值。
10.根据权利要求1所述的装置,其特征在于,所述消息通知管理模块(7)从所述数据存储管理模块(5)获取符合告警条件的数据,从所述配置参数管理模块(4)获取通知参数,根据所述通知参数发送所述符合告警条件的数据的消息通知;
所述消息通知管理模块(7)的所有处理数据和处理操作均保存至所述数据存储管理模块(5)中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711396770.2A CN107977467A (zh) | 2017-12-21 | 2017-12-21 | 数据库监控装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711396770.2A CN107977467A (zh) | 2017-12-21 | 2017-12-21 | 数据库监控装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107977467A true CN107977467A (zh) | 2018-05-01 |
Family
ID=62007255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711396770.2A Pending CN107977467A (zh) | 2017-12-21 | 2017-12-21 | 数据库监控装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107977467A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241109A (zh) * | 2018-08-20 | 2019-01-18 | 联动优势电子商务有限公司 | 一种数据库操作方法及装置 |
CN109669835A (zh) * | 2018-09-18 | 2019-04-23 | 平安科技(深圳)有限公司 | MySQL数据库监控方法、装置、设备及可读存储介质 |
CN109684160A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 数据库巡检方法、装置、设备及计算机可读存储介质 |
CN110609763A (zh) * | 2018-06-15 | 2019-12-24 | 伊姆西Ip控股有限责任公司 | 管理和执行数据备份作业的方法、电子设备和计算机程序产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070112864A1 (en) * | 2005-11-04 | 2007-05-17 | Ron Ben-Natan | Methods and apparatus for tracking and reconciling database commands |
CN103902542A (zh) * | 2012-12-25 | 2014-07-02 | 百度在线网络技术(北京)有限公司 | 一种测试环境中数据库的运维方法及系统 |
CN106202444A (zh) * | 2016-07-14 | 2016-12-07 | 浪潮软件股份有限公司 | 一种数据库运维监控的实现方法 |
CN106708700A (zh) * | 2016-12-13 | 2017-05-24 | 广东金赋科技股份有限公司 | 一种应用于服务端的运维监控方法和装置 |
-
2017
- 2017-12-21 CN CN201711396770.2A patent/CN107977467A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070112864A1 (en) * | 2005-11-04 | 2007-05-17 | Ron Ben-Natan | Methods and apparatus for tracking and reconciling database commands |
CN103902542A (zh) * | 2012-12-25 | 2014-07-02 | 百度在线网络技术(北京)有限公司 | 一种测试环境中数据库的运维方法及系统 |
CN106202444A (zh) * | 2016-07-14 | 2016-12-07 | 浪潮软件股份有限公司 | 一种数据库运维监控的实现方法 |
CN106708700A (zh) * | 2016-12-13 | 2017-05-24 | 广东金赋科技股份有限公司 | 一种应用于服务端的运维监控方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110609763A (zh) * | 2018-06-15 | 2019-12-24 | 伊姆西Ip控股有限责任公司 | 管理和执行数据备份作业的方法、电子设备和计算机程序产品 |
CN109241109A (zh) * | 2018-08-20 | 2019-01-18 | 联动优势电子商务有限公司 | 一种数据库操作方法及装置 |
CN109684160A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 数据库巡检方法、装置、设备及计算机可读存储介质 |
CN109669835A (zh) * | 2018-09-18 | 2019-04-23 | 平安科技(深圳)有限公司 | MySQL数据库监控方法、装置、设备及可读存储介质 |
CN109669835B (zh) * | 2018-09-18 | 2022-05-20 | 平安科技(深圳)有限公司 | MySQL数据库监控方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977467A (zh) | 数据库监控装置 | |
CN110088744B (zh) | 一种数据库维护方法及其系统 | |
US20150067153A1 (en) | Remote monitoring of data facility in real-time using wireless sensor network | |
CN105243252B (zh) | 一种账户风险评估的方法及装置 | |
CN107832196A (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
CN106708700B (zh) | 一种应用于服务端的运维监控方法和装置 | |
CN108737182A (zh) | 系统异常的处理方法及系统 | |
CN109165170B (zh) | 一种自动化请求测试的方法及系统 | |
CN103412893A (zh) | 一种日志收集系统及其收集方法 | |
CN109450094A (zh) | 一种变电站继电保护巡检方法及系统 | |
CN110009347B (zh) | 一种区块链交易信息审计的方法及装置 | |
CN113112038B (zh) | 智能监测与诊断分析系统、装置、电子设备及存储介质 | |
CN103490978A (zh) | 终端、服务器和消息监视方法 | |
CN110209529A (zh) | 射频参数的保护方法及电子设备 | |
CN112713996B (zh) | 基于区块链的故障验证方法、服务器和终端 | |
CN107577769A (zh) | 一种计量专业数据的挖掘方法及系统 | |
CN113824592A (zh) | 量子网络管理系统 | |
CN107294981B (zh) | 一种认证的方法和设备 | |
CN113946941B (zh) | 一种配电站房物联采集模型的生成方法及装置 | |
CN112134764B (zh) | 测试环境连通性的确定方法及装置 | |
CN108173711A (zh) | 企业内部系统数据交换监控方法 | |
CN107678917A (zh) | 测试机自动化管理方法、装置、设备及存储介质 | |
CN114048098B (zh) | 异常服务实例的监控方法及其装置 | |
CN107220253A (zh) | 基于实时数据库的报警冗余方法和系统 | |
CN106452876A (zh) | 一种日志采集系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180501 |