CN110784352A - 一种基于Oracle Goldengate的数据同步监控告警方法及装置 - Google Patents

一种基于Oracle Goldengate的数据同步监控告警方法及装置 Download PDF

Info

Publication number
CN110784352A
CN110784352A CN201911041721.6A CN201911041721A CN110784352A CN 110784352 A CN110784352 A CN 110784352A CN 201911041721 A CN201911041721 A CN 201911041721A CN 110784352 A CN110784352 A CN 110784352A
Authority
CN
China
Prior art keywords
information
running
error reporting
monitoring
golden gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911041721.6A
Other languages
English (en)
Other versions
CN110784352B (zh
Inventor
严莉
刘荫
韩圣亚
殷齐林
徐浩
张悦
郭爽爽
黄振
刘子雁
倪金超
张凯
朱韶松
汤琳琳
李宁
郑海杰
杨冠群
崔博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911041721.6A priority Critical patent/CN110784352B/zh
Publication of CN110784352A publication Critical patent/CN110784352A/zh
Application granted granted Critical
Publication of CN110784352B publication Critical patent/CN110784352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0686—Additional information in the notification, e.g. enhancement of specific meta-data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于Oracle Goldengate的数据同步监控告警方法，包括以下步骤：获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；获取日志监控接口采集的日志数据，识别异常报错信息；将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。还公开了一种告警装置，实现对Goldengate进程的实时监控，保证数据同步的稳定；实现Goldengate在运行中的稳定性和数据传输可靠性；实现Goldengate在运行中对Oracle数据库的各种DML操作明细化。最终增强用户体验，提升业务系统运维效率。

Description

一种基于Oracle Goldengate的数据同步监控告警方法及 装置
技术领域
本发明涉及数据监控技术领域，尤其是一种基于Oracle Goldengate的数据同步监控告警方法及装置。
背景技术
目前公司全业务数据中心、运监、营销等业务的核心数据库数据实时传输及国网容灾数据同步传输进程多且数据量大，一旦出现问题不仅影响考核指标，还可能造成重要业务数据丢失，存在极高的安全风险。
Oracle Goldengate是一款实时访问、基于日志变化捕捉数据，并且在异构平台之间进行数据传输的产品。利用这个技术，Goldengate能够实现低延迟、高性能、低影响迚行连续的数据集成。目前公司全业务数据中心、运监、营销等业务的核心数据库数据实时传输及国网容灾数据传输都采用Oracle Goldengate技术，但是，随着业务系统规模的不断扩大，系统业务模块的增多，及业务系统间相互调用情况的不断涌现，都将会对当前国网业务系统的数据传输提出极大的挑战。通过人工巡检方式已不能满足监控要求，信息系统运维人员迫切需要一种数据同步实时监控技术态，保障数据传输的完整性和及时性。
发明内容
本发明的目的是提供一种基于Oracle Goldengate的数据同步监控告警方法及装置，实现对Goldengate进程的实时监控，实现对同步数据的实时性和准确性监控，保障Goldengate稳定运行。
为实现上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种基于Oracle Goldengate的数据同步监控告警方法，包括以下步骤：
获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
获取日志监控接口采集的日志数据，识别异常报错信息；
将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
结合第一方面，在第一方面第一种可能的实现方式中，所述获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息，具体包括：
通过GGSCI命令实现系统进程监控，监控的运行状态包括STARTIN、RUNNING、STOPPED和ABENDED；
获取进程运行参数，包括checkpoint信息、延时、进程处理的记录数；
获取使用的trail文件、参数文件、报告文件、警告日志的位置；
按照业务要求实时展示系统进程运行状态，针对运行参数设置阈值，生成预警信息。
结合第一方面，在第一方面第二种可能的实现方式中，所述获取日志监控接口采集的日志数据，识别异常报错信息，具体包括：
在业务系统生产环境的数据库服务器设置日志监控接口；
日志监控接口采集与业务系统相关的日志数据；
分析获取的日志数据信息，生成异常报错信息。
结合第一方面，在第一方面第三种可能的实现方式中，所述将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位，具体包括：
应用改进的KMP算法将将预警信息、异常报错信息与问题定位匹配库进行匹配；
从问题定位匹配库中取出将预警信息、异常报错信息对应的告警信息，推送告警消息至管理人员。
结合第一方面，在第一方面第四种可能的实现方式中，所述改进的KMP算法在求解next函数时，同时满足W[1,next(j)-1]＝W[j-(next(j)-1)，j-1]和W[next(j)]<>W[j]。
本发明第二方面提供了一种基于Oracle Goldengate的数据同步监控告警装置，包括：
进程监控模块，获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
报错告警模块，获取日志监控接口采集的日志数据，识别异常报错信息；
数据对比模块，将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
本发明第二方面的所述基于Oracle Goldengate的数据同步监控告警装置能够实现第一方面的方法，并取得相同的效果。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出的基于Oracle Goldengate的数据同步监控告警技术，能够准确识别日志中各类预警及告警信息，一旦发现问题可以及时通过短信等告警手段通知运维人员，这将大幅提升效率，保证问题能够及时定位、解决，进一步增强业务系统用户满意度。
在运维人员人数有限，能力有限的情况下，本方案的提出，会进一步提升运维人员工作效率，帮助他们尽早地发现问题，解决问题，提升运维人员绩效考核水平。
通过实时监控Oracle Goldengate的运行情况及数据传输情况，一旦出现问题能够通过短信等告警手段第一时间通知运维人员，缩短故障恢复时间，可以保证用户正常地访问业务系统，缓解了数据传输异常与其他业务问题的交叉，在业务保障层面，为国网信息化水平的提升做出贡献。
附图说明
图1是本发明方法实施例一流程图；
图2是本发明方法实施例二流程图；
图3是本发明方法实施例三流程图；
图4是本发明方法实施例四流程图；
图5是本发明装置实施例示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示，一种基于Oracle Goldengate的数据同步监控告警方法，包括以下步骤：
S1、获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
S2、获取日志监控接口采集的日志数据，识别异常报错信息；
S3、将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
如图2所示，作为本申请的一个实施例，步骤S1中，获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息，具体包括：
S11、通过GGSCI命令实现系统进程监控，监控的运行状态包括STARTIN(正在启动过程中)、RUNNING(进程正常运行)、STOPPED(进程被正常关闭)和ABENDED(进程非正常关闭)；
S12、获取进程运行参数，包括checkpoint信息、延时、进程处理的记录数；
S13、获取使用的trail文件、参数文件、报告文件、警告日志的位置；
S14、按照业务要求实时展示系统进程运行状态，针对运行参数设置阈值，生成预警信息。
如图3所示，作为本申请的一个实施例，步骤S2中，获取日志监控接口采集的日志数据，识别异常报错信息，具体包括：
S21、在业务系统生产环境的数据库服务器设置日志监控接口；
S22、日志监控接口采集与业务系统相关的日志数据；
S23、分析获取的日志数据信息，生成异常报错信息。
如图4所示，作为本申请的一个实施例，步骤S3中，将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位，具体包括：
S31、应用改进的KMP算法将将预警信息、异常报错信息与问题定位匹配库进行匹配；
S32、从问题定位匹配库中取出将预警信息、异常报错信息对应的告警信息，推送告警消息至管理人员。
构建报警信息与问题定位匹配库，根据运维人员多年的运维积累，将报错信息及问题定位梳理成对应关系库，内置到平台中。
将预警信息及截取的异常报错日志信息与平台内置问题匹配库进行匹配，完成问题定位。平台应用改进的KMP算法，求next函数时不但要求W[1,next(j)-1]＝W[j-(next(j)-1)，j-1]，而且要求W[next(j)]<>W[j]，在模式串字符重复高的情况下比KMP算法更加有效。
从数据库中取出预警及异常报错日志对应的告警信息，以图形化方式及短信形式展示并通知相关管理人员。
如图5所示，一种基于Oracle Goldengate的数据同步监控告警装置，包括：
进程监控模块11，获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
报错告警模块12，获取日志监控接口采集的日志数据，识别异常报错信息；
数据对比模块13，将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种基于Oracle Goldengate的数据同步监控告警方法，其特征是，包括以下步骤：
获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
获取日志监控接口采集的日志数据，识别异常报错信息；
将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
2.如权利要求1所述的基于Oracle Goldengate的数据同步监控告警方法，其特征是，所述获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息，具体包括：
通过GGSCI命令实现系统进程监控，监控的运行状态包括STARTIN、RUNNING、STOPPED和ABENDED；
获取进程运行参数，包括checkpoint信息、延时、进程处理的记录数；
获取使用的trail文件、参数文件、报告文件、警告日志的位置；
按照业务要求实时展示系统进程运行状态，针对运行参数设置阈值，生成预警信息。
3.如权利要求1所述的基于Oracle Goldengate的数据同步监控告警方法，其特征是，所述获取日志监控接口采集的日志数据，识别异常报错信息，具体包括：
在业务系统生产环境的数据库服务器设置日志监控接口；
日志监控接口采集与业务系统相关的日志数据；
分析获取的日志数据信息，生成异常报错信息。
4.如权利要求1所述的基于Oracle Goldengate的数据同步监控告警方法，其特征是，所述将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位，具体包括：
应用改进的KMP算法将将预警信息、异常报错信息与问题定位匹配库进行匹配；
从问题定位匹配库中取出将预警信息、异常报错信息对应的告警信息，推送告警消息至管理人员。
5.如权利要求4所述的基于Oracle Goldengate的数据同步监控告警方法，其特征是，所述改进的KMP算法在求解next函数时，同时满足W[1,next(j)-1]＝W[j-(next(j)-1)，j-1]和W[next(j)]<>W[j]。
6.一种基于Oracle Goldengate的数据同步监控告警装置，其特征是，包括：
进程监控模块，获取系统进程运行状态、运行参数，构建运行状态、运行参数与报警阈值的对应关系，生成预警信息；
报错告警模块，获取日志监控接口采集的日志数据，识别异常报错信息；
数据对比模块，将预警信息、异常报错信息与问题定位匹配库进行匹配，完成问题定位。
CN201911041721.6A 2019-10-30 2019-10-30 一种基于Oracle Goldengate的数据同步监控告警方法及装置 Active CN110784352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911041721.6A CN110784352B (zh) 2019-10-30 2019-10-30 一种基于Oracle Goldengate的数据同步监控告警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911041721.6A CN110784352B (zh) 2019-10-30 2019-10-30 一种基于Oracle Goldengate的数据同步监控告警方法及装置

Publications (2)

Publication Number Publication Date
CN110784352A true CN110784352A (zh) 2020-02-11
CN110784352B CN110784352B (zh) 2022-04-01

Family

ID=69387610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911041721.6A Active CN110784352B (zh) 2019-10-30 2019-10-30 一种基于Oracle Goldengate的数据同步监控告警方法及装置

Country Status (1)

Country Link
CN (1) CN110784352B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463883A (zh) * 2020-11-20 2021-03-09 广东电网有限责任公司广州供电局 基于大数据同步平台的可靠性监控方法、装置、设备
CN113760628A (zh) * 2020-06-05 2021-12-07 北京沃东天骏信息技术有限公司 用于监控数据处理的方法和装置
CN116991947A (zh) * 2023-09-22 2023-11-03 湖南三湘银行股份有限公司 一种自动化数据同步方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213802A1 (en) * 2010-02-26 2011-09-01 Ebay Inc. Parallel data stream processing system
US20130254878A1 (en) * 2012-03-21 2013-09-26 Owl Computing Technologies, Inc. Method and apparatus for data transfer reconciliation
CN104461830A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 监控进程的方法和装置
CN107609188A (zh) * 2017-10-09 2018-01-19 上海新炬网络信息技术股份有限公司 基于GoldenGate的数据同步校验方法
CN109597676A (zh) * 2018-10-25 2019-04-09 平安科技（深圳）有限公司 基于jvm的监控预警方法、装置及存储介质
CN109656934A (zh) * 2018-11-19 2019-04-19 武汉达梦数据库有限公司 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN110188018A (zh) * 2019-05-29 2019-08-30 广州伟宏智能科技有限公司 一种数据同步复制软件运维监控系统
CN110389933A (zh) * 2019-07-01 2019-10-29 京信通信系统（中国）有限公司 一种进程间的日志管理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213802A1 (en) * 2010-02-26 2011-09-01 Ebay Inc. Parallel data stream processing system
US20130254878A1 (en) * 2012-03-21 2013-09-26 Owl Computing Technologies, Inc. Method and apparatus for data transfer reconciliation
CN104461830A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 监控进程的方法和装置
CN107609188A (zh) * 2017-10-09 2018-01-19 上海新炬网络信息技术股份有限公司 基于GoldenGate的数据同步校验方法
CN109597676A (zh) * 2018-10-25 2019-04-09 平安科技（深圳）有限公司 基于jvm的监控预警方法、装置及存储介质
CN109656934A (zh) * 2018-11-19 2019-04-19 武汉达梦数据库有限公司 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN110188018A (zh) * 2019-05-29 2019-08-30 广州伟宏智能科技有限公司 一种数据同步复制软件运维监控系统
CN110389933A (zh) * 2019-07-01 2019-10-29 京信通信系统（中国）有限公司 一种进程间的日志管理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡婷，杨卫帅: "一种改进的字符串模式匹配算法", 《智能处理与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760628A (zh) * 2020-06-05 2021-12-07 北京沃东天骏信息技术有限公司 用于监控数据处理的方法和装置
CN112463883A (zh) * 2020-11-20 2021-03-09 广东电网有限责任公司广州供电局 基于大数据同步平台的可靠性监控方法、装置、设备
CN116991947A (zh) * 2023-09-22 2023-11-03 湖南三湘银行股份有限公司 一种自动化数据同步方法及系统
CN116991947B (zh) * 2023-09-22 2024-01-05 湖南三湘银行股份有限公司 一种自动化数据同步方法及系统

Also Published As

Publication number Publication date
CN110784352B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN111176879A (zh) 设备的故障修复方法及装置
CN110784352B (zh) 一种基于Oracle Goldengate的数据同步监控告警方法及装置
US11062212B2 (en) Outage prevention in an electric power distribution grid using smart meter messaging
CN109614283B (zh) 分布式数据库集群的监控系统
CN104363106A (zh) 一种基于大数据技术的电力信息通信故障预警分析方法
CN109034423B (zh) 一种故障预警判定的方法、装置、设备及存储介质
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN115809183A (zh) 基于知识图谱的信创终端故障发现及处置的方法
CN113282635A (zh) 一种微服务系统故障根因定位方法及装置
CN110929896A (zh) 一种系统设备的安全分析方法及装置
CN112395180A (zh) 一种业务日志全链路跟踪的实现方法
CN113298486A (zh) 一种基于大数据的政务监察督查方法及系统
CN105187239A (zh) 基于数据挖掘的通信告警分析系统及其处理方法
CN106487597A (zh) 一种基于Zookeeper的服务监控系统和方法
CN108039971A (zh) 一种告警方法及装置
CN105589800A (zh) 预测复杂系统故障的应用系统
CN114172921A (zh) 一种调度录音系统的日志审计方法及装置
CN113836160A (zh) 一种基于主从同步的数据流状态监控告警系统
CN116345689A (zh) 二次设备监控方法、装置、计算机设备和存储介质
CN115840656A (zh) 一种基于故障自愈的应用程序自动化运维方法和系统
CN114356722A (zh) 用于服务器集群的监控告警方法、系统、设备及存储介质
CN113254313A (zh) 一种监控指标异常检测方法、装置、电子设备及存储介质
CN116582410B (zh) 一种基于itsm系统的智能运维服务方法及装置
CN212063624U (zh) 一种基于数据计算模型的电站告警系统
CN111093221B (zh) 基于集中式网络的无线网络监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant