CN108845915A - 一种数据库数据监控方法 - Google Patents

一种数据库数据监控方法 Download PDF

Info

Publication number
CN108845915A
CN108845915A CN201810707296.9A CN201810707296A CN108845915A CN 108845915 A CN108845915 A CN 108845915A CN 201810707296 A CN201810707296 A CN 201810707296A CN 108845915 A CN108845915 A CN 108845915A
Authority
CN
China
Prior art keywords
data
database
monitoring
ogg
monitoring method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810707296.9A
Other languages
English (en)
Inventor
郭传超
程林
杨培强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Business System Co Ltd
Original Assignee
Shandong Inspur Business System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Business System Co Ltd filed Critical Shandong Inspur Business System Co Ltd
Priority to CN201810707296.9A priority Critical patent/CN108845915A/zh
Publication of CN108845915A publication Critical patent/CN108845915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库数据监控方法，所述方法通过监控OGG运行状况，定时监控数据库表之间的数据是否同步，对比数据库表之间的数据的变化，监控数据库连接是否连接正常。本发明方法可及时获取、监控数据库数据的异常预警、以及OGG链路的连接异常预警，有助于运维人员及时的做出处理，提高了用户的使用体验，有效地避免了因为数据库数据问题带来的损失。

Description

一种数据库数据监控方法
技术领域
本发明涉及数据监控技术领域，具体涉及一种数据库数据监控方法。
背景技术
随着金税三期工程的推广和数据管理系统的建立，税务系统数据体量不断增大，而在大数据背景下，数据已经直接与经济效益挂钩，所以数据库的安全也变得尤为重要。数据库已经慢慢从单纯的数据管理储存功能向集数据处理、安全防护、数据储存、信息咨询等多功能于一体的方向发展。在数据库的安全防护上，要以预防为主，从多个方面加强数据库的安全系数，完善数据库安全管理体系。
在某些情况下，需对数据库中表中的数据进行比对，监控，如在不同时间段表中数据有无变化、表之间数据差异对比等情况。若每次需要查看相关信息都需要去做一系列的查询操作，不仅费力，最重要的是无法及时获取数据的异常情况，无法及时的做出补救措施。
如图1所示，是定时查询数据库中数据是否正常的流程图。
发明内容
本发明要解决的技术问题是：
本发明针对以上问题，提供一种数据库数据监控方法，通过监控OGG运行状况，当OGG（Oracle Golden Gate）连接异常时，即Oracle数据库出现连接错误，若及时发现解决问题，不但可以有效地避免经济损失，更会提高用户的产品使用体验，提高用户的主观能动性，而不是等用户使用系统时发现问题，再去弥补错误。
本发明所采用的技术方案为：
一种数据库数据监控方法，所述方法通过监控OGG运行状况，定时监控数据库表之间的数据是否同步，对比数据库表之间的数据的变化，监控数据库连接是否连接正常。
oGG是Oracle Golden Gate的简称缩写。Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。
所述数据库表的监控包括2种情况：
第一种为不同时间段同一张数据表格时间对比；
第二种情况为不同表（一般为有对比关系的表格）之间的数据对比。
所述方法通过配置SQL监控数据库数据。SQL是用于访问和处理数据库的标准的计算机语言。
所述方法根据监控数据的异常情况，通过发送预警短信，及时通知维护人员。
所述方法通过编写shell脚本，将需要监控的数据库信息写入shell脚本，通过Linux系统按周期定时执行shell脚本，通过运行OGG命令监控OGG状态，输出运行状态，筛查异常问题形成错误日志文件并输出。
所述方法通过Linux系统提取输出的错误日志文件并对OGG连接异常情况进行分析。
所述方法支持的数据库包括：Oracle、Hive、GP。其中GP是数据库Greenplum的简称缩写。
所述方法根据选择的数据库表，通过执行相对应数据库类型的SQL语句，如：SELECT COUNT(TITLE) FROM FARM_DOC，得到SQL值，并对照允许差值，选择是否预警。
本发明的有益效果为：
本发明方法可及时获取、监控数据库数据的异常预警、以及OGG链路的连接异常预警，有助于运维人员及时的做出处理，提高了用户的使用体验，有效地避免了因为数据库数据问题带来的损失。
附图说明
图1为定时查询数据库中数据是否正常的流程图；
图2为本发明OGG连接监控的流程图。
具体实施方式
下面根据结合说明书附图，根据具体实施方式对本发明进一步说明：
如图2所示，本实施例一种数据库数据监控方法，所述方法通过监控OGG运行状况，定时监控数据库表之间的数据是否同步，对比数据库表之间的数据的变化，监控数据库连接是否连接正常。
oGG是Oracle Golden Gate的简称缩写。Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。
所述数据库表的监控包括2种情况：
第一种为不同时间段同一张数据表格时间对比；
第二种情况为不同表（一般为有对比关系的表格）之间的数据对比。
所述方法通过配置SQL监控数据库数据。SQL是用于访问和处理数据库的标准的计算机语言。
所述方法根据监控数据的异常情况，通过发送预警短信，及时通知维护人员。
所述方法通过编写shell脚本，将需要监控的数据库信息写入shell脚本，通过Linux系统按周期定时执行shell脚本，通过运行OGG命令监控OGG状态，输出运行状态，筛查异常问题形成错误日志文件并输出。
所述方法通过Linux系统提取输出的错误日志文件并对OGG连接异常情况进行分析。
所述方法支持的数据库包括：Oracle、Hive、GP。其中GP是数据库Greenplum的简称缩写。
所述方法根据选择的数据库表，通过执行相对应数据库类型的SQL语句，如：SELECT COUNT(TITLE) FROM FARM_DOC，得到SQL值，并对照允许差值，选择是否预警。
实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种数据库数据监控方法，其特征在于，所述方法通过监控OGG运行状况，定时监控数据库表之间的数据是否同步，对比数据库表之间的数据的变化，监控数据库连接是否连接正常。
2.根据权利要求1所述的一种数据库数据监控方法，其特征在于，所述数据库表的监控包括2种情况：
第一种为不同时间段同一张数据表格时间对比；
第二种情况为不同表之间的数据对比。
3.根据权利要求2所述的一种数据库数据监控方法，其特征在于，所述方法通过配置SQL监控数据库数据。
4.根据权利要求3所述的一种数据库数据监控方法，其特征在于，所述方法根据监控数据的异常情况，发送预警短信。
5.根据权利要求4所述的一种数据库数据监控方法，其特征在于，所述方法通过编写shell脚本，将需要监控的数据库信息写入shell脚本，通过Linux系统按周期定时执行shell脚本，通过运行OGG命令监控OGG状态，输出运行状态，筛查异常问题形成错误日志文件并输出。
6.根据权利要求5所述的一种数据库数据监控方法，其特征在于，所述方法通过Linux系统提取输出的错误日志文件并对OGG连接异常情况进行分析。
7.根据权利要求6所述的一种数据库数据监控方法，其特征在于，所述方法支持的数据库包括：Oracle、Hive、GP。
8.根据权利要求7所述的一种数据库数据监控方法，其特征在于，所述方法根据选择的数据库表，通过执行相对应数据库类型的SQL语句，得到SQL值，并对照允许差值，选择是否预警。
CN201810707296.9A 2018-07-02 2018-07-02 一种数据库数据监控方法 Pending CN108845915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810707296.9A CN108845915A (zh) 2018-07-02 2018-07-02 一种数据库数据监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810707296.9A CN108845915A (zh) 2018-07-02 2018-07-02 一种数据库数据监控方法

Publications (1)

Publication Number Publication Date
CN108845915A true CN108845915A (zh) 2018-11-20

Family

ID=64200011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810707296.9A Pending CN108845915A (zh) 2018-07-02 2018-07-02 一种数据库数据监控方法

Country Status (1)

Country Link
CN (1) CN108845915A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885448A (zh) * 2018-12-29 2019-06-14 中兴智能交通股份有限公司 一种数据库数据增量实时监控方法
CN110287182A (zh) * 2019-05-05 2019-09-27 浙江吉利控股集团有限公司 一种大数据的数据对比方法、装置、设备及终端
CN111930817A (zh) * 2020-07-28 2020-11-13 银盛支付服务股份有限公司 一种基于大数据的分布式非结构化数据库关联查询方法
CN112486714A (zh) * 2019-09-12 2021-03-12 曙光信息产业(北京)有限公司 数据库异常捕获处理方法、装置和计算机设备
CN112764996A (zh) * 2021-01-27 2021-05-07 上海英方软件股份有限公司 一种数据库容灾环境下对目标库的会话监控的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243195A (zh) * 2013-06-19 2014-12-24 国家电网公司 异地灾备处理方法及装置
CN105867978A (zh) * 2016-04-11 2016-08-17 平安科技（深圳）有限公司 Ogg版本部署方法和系统
CN107562883A (zh) * 2017-09-04 2018-01-09 马上消费金融股份有限公司 一种数据同步的方法及系统
US20180096001A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for importing data into a data repository
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN108153784A (zh) * 2016-12-06 2018-06-12 北京京东尚科信息技术有限公司 同步数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243195A (zh) * 2013-06-19 2014-12-24 国家电网公司 异地灾备处理方法及装置
CN105867978A (zh) * 2016-04-11 2016-08-17 平安科技（深圳）有限公司 Ogg版本部署方法和系统
US20180096001A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for importing data into a data repository
CN108153784A (zh) * 2016-12-06 2018-06-12 北京京东尚科信息技术有限公司 同步数据处理方法和装置
CN107562883A (zh) * 2017-09-04 2018-01-09 马上消费金融股份有限公司 一种数据同步的方法及系统
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
百度文库: "Oracle GoldenGate测试文档", 《HTTPS://WENKU.BAIDU.COM/VIEW/173D928E9EC3D5BBFD0A7485.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885448A (zh) * 2018-12-29 2019-06-14 中兴智能交通股份有限公司 一种数据库数据增量实时监控方法
CN110287182A (zh) * 2019-05-05 2019-09-27 浙江吉利控股集团有限公司 一种大数据的数据对比方法、装置、设备及终端
CN112486714A (zh) * 2019-09-12 2021-03-12 曙光信息产业(北京)有限公司 数据库异常捕获处理方法、装置和计算机设备
CN111930817A (zh) * 2020-07-28 2020-11-13 银盛支付服务股份有限公司 一种基于大数据的分布式非结构化数据库关联查询方法
CN112764996A (zh) * 2021-01-27 2021-05-07 上海英方软件股份有限公司 一种数据库容灾环境下对目标库的会话监控的方法及装置

Similar Documents

Publication Publication Date Title
CN108845915A (zh) 一种数据库数据监控方法
US11314723B1 (en) Anomaly detection
US9860229B2 (en) Integrated data extraction and retrieval system
CN105095056B (zh) 一种数据仓库数据监控的方法
CN101477543B (zh) 用于自动化etl应用的系统和方法
US9720994B2 (en) Replicated database structural change management
CN111190876A (zh) 日志管理系统及其运行方法
US8756301B2 (en) Systems and methods for organic knowledge base runbook automation
US20190073257A1 (en) Method and system of automatic event and error correlation from log data
US10635557B2 (en) System and method for automated detection of anomalies in the values of configuration item parameters
US20110314138A1 (en) Method and apparatus for cause analysis configuration change
US10635507B2 (en) Event monitoring apparatus and event monitoring method
US9971779B2 (en) Automated data intake system
JP6633642B2 (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
US10466686B2 (en) System and method for automatic configuration of a data collection system and schedule for control system monitoring
CN109783315A (zh) 一种数据库平台自动化巡检方法及系统
KR20090112016A (ko) 운영수준 관리시스템 및 관리방법
Kuang et al. Knowledge-aware Alert Aggregation in Large-scale Cloud Systems: a Hybrid Approach
US20240265208A1 (en) Method for analyzing data including a large number of individual messages, computer program product, and computer system
US12038820B2 (en) Apparatuses, methods, and computer program products for industrial automation control system configuration error processing
CN1860476B (zh) 用于自动化计算机支持的系统和方法
TWI690810B (zh) 資料庫管理系統及資料庫管理方法
CN109656776B (zh) 计算机系统异常监控的完备性巡检方法及其设备
CN116483672A (zh) Oracle数据库性能指标采集方法及装置
Czora et al. Mining Industrial Logs for System Level Insights

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120