CN115221009A - 一种信创数据库的监控告警集成系统及其实现方法 - Google Patents
一种信创数据库的监控告警集成系统及其实现方法 Download PDFInfo
- Publication number
- CN115221009A CN115221009A CN202211136379.XA CN202211136379A CN115221009A CN 115221009 A CN115221009 A CN 115221009A CN 202211136379 A CN202211136379 A CN 202211136379A CN 115221009 A CN115221009 A CN 115221009A
- Authority
- CN
- China
- Prior art keywords
- alarm
- event
- information
- module
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000007634 remodeling Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 5
- 238000012958 reprocessing Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种信创数据库的监控告警集成系统及其实现方法，其中，监控告警集成系统包括：事件获取模块，用于通过主动抓取和/或被动推送的方式获取不同信创数据库的事件信息；解析模块，用于根据映射规则对所述事件信息的关键字段进行解析；告警生成模块，用于将解析结果与告警生成规则进行匹配，生成固定格式的告警信息，并确定告警对象；告警推送平台，用于将所述告警信息和告警对象推送至告警集中平台。本发明能够将不同信创数据库的各自告警快速集成到企业现有的监控系统中。
Description
技术领域
本发明涉及数据库监控告警技术领域，特别是涉及一种信创数据库的监控告警集成系统及其实现方法。
背景技术
在信创国产化浪潮之下，国产软硬件得到快速发展和应用，国产数据库作为IT基础设施的重要一环，处于政策和市场红利期，市场出现了一批优秀的国产数据库，如达梦、Oceanbase、高斯、Polardb、Tbase等，得到广泛应用。针对生产中越来越多的架构各异的国产数据库，如何快速接入现有监控系统，灵活配置，实现监控集中纳管，告警及时准确送达告警联系人，成为监控系统面临的问题与挑战。
发明内容
本发明所要解决的技术问题是提供一种信创数据库的监控告警集成系统及其实现方法，能够将不同信创数据库的各自告警快速集成到企业现有的监控系统中。
本发明解决其技术问题所采用的技术方案是：提供一种信创数据库的监控告警集成系统，包括：事件获取模块，用于通过主动抓取和/或被动推送的方式获取不同信创数据库的事件信息；解析模块，用于根据映射规则对所述事件信息的关键字段进行解析；告警生成模块，用于将解析结果与告警生成规则进行匹配，生成固定格式的告警信息，并确定告警对象；告警推送平台，用于将所述告警信息和告警对象推送至告警集中平台。
所述事件获取模块包括：事件抓取单元，用于采用时间周期轮询持续抓取所述不同信创数据库的事件信息；事件接收单元，用于被动接收所述不同信创数据库推送的事件信息。
所述的信创数据库的监控告警集成系统还包括告警重塑模块，用于根据用户定义配置的规则对所述告警信息的内容、级别进行再处理，实现告警屏蔽或告警升降级。
所述的信创数据库的监控告警集成系统还包括配置中心模块，用于登记、存储和修改所述映射规则和告警生成规则。
所述的信创数据库的监控告警集成系统还包括登记模块，用于在部署信创数据库时，将所述信创数据库自动注册至监控端，还用于提供自助登记页面，供手动登记所述信创数据库的信息。
本发明解决其技术问题所采用的技术方案是：还提供一种上述信创数据库的监控告警集成系统的实现方法，包括以下步骤：
针对不同信创数据库，评估选择适用的接入方式，确认不同信创数据库的事件字段和字段说明，并根据所述事件字段和字段说明构建各信创数据库的事件获取模块；
梳理所述事件字段内容的解析规则，形成映射规则，基于所述映射规则构建解析模块；
建立告警对象定义，包括告警对象归属应用系统和管理员信息；
梳理事件筛选规则，通过筛选的事件，确定事件的源字段至告警信息的字段的对应关系，建立告警生成规则，并基于所述告警生成规则构建告警生成模块；
建立告警推送模块，由所述告警推送模块将告警信息和告警对象推送至告警集中平台。
所述事件获取模块包括：事件抓取单元，用于采用时间周期轮询持续抓取所述不同信创数据库的事件信息；事件接收单元，用于采用被动接收所述不同信创数据库推送的事件信息。
所述告警对象通过以下任一渠道获取：
一、根据http-api获取所述告警对象后，补充默认保底信息，并提供界面供用户查看登陆修改；
二、依据规则和检索条件，从企业配置管理库CMDB读取；
三、用户自助登记。
所述的信创数据库的监控告警集成系统的实现方法还包括：基于用户定义配置的规则，对告警信息进行调整改写，并基于所述用户定义配置的规则构建告警重塑模块。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明能够同时支持主动抓取/被动推送两种方式的信创告警获取，实现方式灵活。本发明通过建立服务侧与用户侧两层规则，使告警处理紧急度更贴近实际情况，通过服务侧规则，将信创库的事件消息转换为告警，用户根据实际告警内容，进行用户侧规则定义。同时规则定义在配置中心，提升调整灵活性。
附图说明
图1是本发明实施方式的结构方框图；
图2是本发明实施方式的处理逻辑流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种信创数据库的监控告警集成系统，如图1所示，包括：事件获取模块，用于通过主动抓取和/或被动推送的方式获取不同信创数据库的事件信息；解析模块，用于根据映射规则对所述事件信息的关键字段进行解析；告警生成模块，用于将解析结果与告警生成规则进行匹配，生成固定格式的告警信息，并确定告警对象；告警推送平台，用于将所述告警信息和告警对象推送至告警集中平台。
其中，事件获取模块包括：事件抓取单元，用于采用时间周期轮询持续抓取所述不同信创数据库的事件信息，其可以通过Http Api抓取信创库事件信息，并进行遗漏校验；事件接收单元，用于被动接收所述不同信创数据库推送的事件信息，其可以通过Http Api、Redis、Email等作为接收网关。本实施方式针对信创数据库种类繁杂，自身告警功能各异，不完备，各类信创数据库的不同告警对接方式，建立支持push\get的两种告警获取手段，有效提升支持信创数据库类型的范围，实现方式灵活。
本实施方式的信创数据库的监控告警集成系统还包括告警重塑模块，其用于根据用户定义配置的规则对所述告警信息的内容、级别进行再处理，实现告警屏蔽或告警升降级，如在重点保障的时间段进行告警升级。由此可见，本实施方式针对告警定义不灵活、依赖固有的匹配规则生成告警，存在告警紧急度偏离实际的情况，通过设置告警重塑再处理（升降级、屏蔽等）的方式，由处置人员灵活的定义加工规则，使告警紧急度更贴近实际情况。
本实施方式的信创数据库的监控告警集成系统还包括配置中心模块，用于登记、存储和修改所述映射规则和告警生成规则。通过建立配置中心，所有规则、对象灵活存储配置，程序自动读取，通过告警对象定义，告警关联人，使告警通知更准确。
本实施方式的监控告警集成系统还包括登记模块，用于在部署信创数据库时，将所述信创数据库自动注册至监控端，还用于提供自助登记页面，供手动登记所述信创数据库的信息。由此可见，本实施方式中信创数据库可以监控服务注册，支持用户手动网页登记调整，同时提供注册脚本，在集群搭建时，部署在信创服务器端，实现方式灵活。
本实施方式的监控告警集成系统可以应用于大型保险公司数据中心实际生产环境中，针对具备自身监控告警功能的信创数据库系统，通过灵活配置，将其告警快速集成到企业现有监控系统中，并在用户侧实现告警重塑，由用户进行灵活调整，告警紧急度等信息更贴近业务实际。
本实施方式的各模块功能可基于Django框架开发实现，如图2所示，主要通过以下具体步骤实现：
步骤S01：针对不同类型的信创数据库，评估选择适用的接入方式，确认事件字段和字段说明，并基于此，构建各信创数据库的事件获取模块。本实施方式适用的信创数据库如下：
Polardb：Http-API、Post、请求头（Request-Header）、主体数据（Request-Body）、响应头（Response-Header）、响应数据（Response-Body）
达梦：Http-API、Get、url-param、请求头（Request-Header）、响应头（Response-Header）、响应数据（Response-Body）
高斯：Http-API、Get、url-param、请求头（Request-Header）、主体数据（Request-Body）、响应头（Response-Header）、响应数据（Response-Body）
Tbase：Email
OceanBase：Event推送（至Redis）
本实施方式的事件获取模块包括事件抓取单元和事件接收单元。其中：
事件抓取单元采用时间周期轮询持续抓取，轮询周期和检索步长独立设置。支持回追历史告警，以过去某个时间点开始检索；增加回归时长解决因信创数据库告警发生时间和其生成时间存在偏差而导致告警遗漏的情况。
每个轮询周期满足以下逻辑：
本次是否中止：上周期结束时间-回归时长+检索步长>当前时间
继续请求检索：告警发生时间>=上周期结束时间-回归时长
告警发生时间< 上周期结束时间-回归时长+检索步长
更新实例最终采集时间：实例最终采集时间=上周期结束时间-回归时长+检索步长
事件接收单元，被动接收所述不同信创数据库推送的事件信息。信创数据库登记信息，用户登记推送告警类型的信创数据库，在登记成功后，返回推送地址信息和token等给事件接收单元。
步骤S02：梳理事件字段内容解析规则，形成字段解析表，基于字段解析表，构建解析模块，解析模块可以使用其dst_value生成告警内容。本实施方式建立标准规则（信创数据库事件消息映射成告警信息），将异常消息解析成告警，通过标准规则生成告警基本标准信息。
步骤S03：建立告警对象定义，包括告警对象归属应用系统、管理员信息等等。提供如下三种渠道获取：一、根据http-api获取对象后（如Polardb获取集群名称等信息），补充默认保底信息，并提供界面供用户查看登陆修改，其中，保底信息即为兜底配置，其作用是在其他策略都不匹配时采用该兜底配置；二、依据规则和检索条件，从企业配置管理库CMDB读取，三、用户自助登记，作为辅助补充手段。
当信创数据库出现无匹配对象时，将执行系统的默认保底信息，发送给集群管理员，以便问题得到跟进处理。
步骤S04：梳理事件筛选规则，如哪些需要拒绝，通过的需要配置走哪条告警生成规则。通过筛选的事件，确定事件的源字段至告警信息的字段的对应关系，建立告警生成规则，并存储于配置中心。基于告警生成规则构建告警生成模块。告警生成模块在匹配源字段后可以按该规则生成告警的基本内容。
步骤S05：告警重塑，实现基于用户侧定义的规则，对告警进行调整改写（如告警级别、屏蔽）。用户自己根据看到的告警内容，设置调整规则，比较直观，所见即所得。基于此，构建告警重塑模块。通过告警重塑模块可以将在2022-01-01 9:00到2022-01-10 13:00期间，对发生于每周一/周三 9:00-10:30的CPU告警，升级成Disaster严重告警。
步骤S06：告警推送至告警集中平台。通过脚本http接口，将告警推送到ECC告警集中平台。
不难发现，本发明能够同时支持主动抓取/被动推送两种方式的信创告警获取，实现方式灵活。本发明通过建立服务侧与用户侧两层规则，使告警处理紧急度更贴近实际情况，通过服务侧规则，将信创库的事件消息转换为告警，用户根据实际告警内容，进行用户侧规则定义。同时规则定义在配置中心，提升调整灵活性。
Claims (9)
1.一种信创数据库的监控告警集成系统，其特征在于，包括：事件获取模块，用于通过主动抓取和/或被动推送的方式获取不同信创数据库的事件信息；解析模块，用于根据映射规则对所述事件信息的关键字段进行解析；告警生成模块，用于将解析结果与告警生成规则进行匹配，生成固定格式的告警信息，并确定告警对象；告警推送平台，用于将所述告警信息和告警对象推送至告警集中平台。
2.根据权利要求1所述的信创数据库的监控告警集成系统，其特征在于，所述事件获取模块包括：事件抓取单元，用于采用时间周期轮询持续抓取所述不同信创数据库的事件信息；事件接收单元，用于被动接收所述不同信创数据库推送的事件信息。
3.根据权利要求1所述的信创数据库的监控告警集成系统，其特征在于，还包括告警重塑模块，用于根据用户定义配置的规则对所述告警信息的内容、级别进行再处理，实现告警屏蔽或告警升降级。
4.根据权利要求1所述的信创数据库的监控告警集成系统，其特征在于，还包括配置中心模块，用于登记、存储和修改所述映射规则和告警生成规则。
5.根据权利要求1所述的信创数据库的监控告警集成系统，其特征在于，还包括登记模块，用于在部署信创数据库时，将所述信创数据库自动注册至监控端，还用于提供自助登记页面，供手动登记所述信创数据库的信息。
6.一种如权利要求1-5中任一所述的信创数据库的监控告警集成系统的实现方法，其特征在于，包括以下步骤：
针对不同信创数据库，评估选择适用的接入方式，确认不同信创数据库的事件字段和字段说明，并根据所述事件字段和字段说明构建各信创数据库的事件获取模块；
梳理所述事件字段内容的解析规则，形成映射规则，基于所述映射规则构建解析模块；
建立告警对象定义，包括告警对象归属应用系统和管理员信息；
梳理事件筛选规则，通过筛选的事件，确定事件的源字段至告警信息的字段的对应关系，建立告警生成规则，并基于所述告警生成规则构建告警生成模块；
建立告警推送模块，由所述告警推送模块将告警信息和告警对象推送至告警集中平台。
7.根据权利要求6所述的实现方法，其特征在于，所述事件获取模块包括：事件抓取单元，用于采用时间周期轮询持续抓取所述不同信创数据库的事件信息；事件接收单元，用于采用被动接收所述不同信创数据库推送的事件信息。
8.根据权利要求6所述的实现方法，其特征在于，所述告警对象通过以下任一渠道获取：
一、根据http-api获取所述告警对象后，补充默认保底信息，并提供界面供用户查看登陆修改；
二、依据规则和检索条件，从企业配置管理库CMDB读取；
三、用户自助登记。
9.根据权利要求6所述的实现方法，其特征在于，还包括：基于用户定义配置的规则，对告警信息进行调整改写，并基于所述用户定义配置的规则构建告警重塑模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211136379.XA CN115221009A (zh) | 2022-09-19 | 2022-09-19 | 一种信创数据库的监控告警集成系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211136379.XA CN115221009A (zh) | 2022-09-19 | 2022-09-19 | 一种信创数据库的监控告警集成系统及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115221009A true CN115221009A (zh) | 2022-10-21 |
Family
ID=83617487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211136379.XA Pending CN115221009A (zh) | 2022-09-19 | 2022-09-19 | 一种信创数据库的监控告警集成系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115221009A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101013442A (zh) * | 2007-02-07 | 2007-08-08 | 浙江大学 | 数据库性能的无代理统一监控方法 |
| CN104636483A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 一种数据监控方法 |
| CN109086182A (zh) * | 2018-06-27 | 2018-12-25 | 平安科技（深圳）有限公司 | 数据库自动告警的方法及终端设备 |
| CN110221936A (zh) * | 2019-06-12 | 2019-09-10 | 深圳前海微众银行股份有限公司 | 数据库告警处理方法、装置、设备及计算机可读存储介质 |
| CN110413485A (zh) * | 2019-08-02 | 2019-11-05 | 上海数讯信息技术有限公司 | 一种基于Zabbix开源平台的一站式网络监控管理系统与方法 |
| CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
| CN113505044A (zh) * | 2021-09-09 | 2021-10-15 | 格创东智(深圳)科技有限公司 | 数据库告警方法、装置、设备和存储介质 |
| CN115114264A (zh) * | 2022-06-27 | 2022-09-27 | 江苏苏宁银行股份有限公司 | 基于运维流程平台的应用系统数据库性能管控方法和系统 |
-
2022
- 2022-09-19 CN CN202211136379.XA patent/CN115221009A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101013442A (zh) * | 2007-02-07 | 2007-08-08 | 浙江大学 | 数据库性能的无代理统一监控方法 |
| CN104636483A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 一种数据监控方法 |
| CN109086182A (zh) * | 2018-06-27 | 2018-12-25 | 平安科技（深圳）有限公司 | 数据库自动告警的方法及终端设备 |
| CN110221936A (zh) * | 2019-06-12 | 2019-09-10 | 深圳前海微众银行股份有限公司 | 数据库告警处理方法、装置、设备及计算机可读存储介质 |
| CN110413485A (zh) * | 2019-08-02 | 2019-11-05 | 上海数讯信息技术有限公司 | 一种基于Zabbix开源平台的一站式网络监控管理系统与方法 |
| CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
| CN113505044A (zh) * | 2021-09-09 | 2021-10-15 | 格创东智(深圳)科技有限公司 | 数据库告警方法、装置、设备和存储介质 |
| CN115114264A (zh) * | 2022-06-27 | 2022-09-27 | 江苏苏宁银行股份有限公司 | 基于运维流程平台的应用系统数据库性能管控方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379275B2 (en) | System and method for tagging and tracking events of an application | |
| US11586972B2 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
| US11582242B2 (en) | System, computer program product and method for risk evaluation of API login and use | |
| CN108900353B (zh) | 故障告警方法及终端设备 | |
| US20180268491A1 (en) | Cognitive regulatory compliance automation of blockchain transactions | |
| CN109086182B (zh) | 数据库自动告警的方法及终端设备 | |
| US8825568B2 (en) | Health care incident prediction | |
| US10554701B1 (en) | Real-time call tracing in a service-oriented system | |
| US11897527B2 (en) | Automated positive train control event data extraction and analysis engine and method therefor | |
| US11462322B1 (en) | Methods of determining a state of a dependent user | |
| CN115221009A (zh) | 一种信创数据库的监控告警集成系统及其实现方法 | |
| CN114513334B (zh) | 风险管理方法和风险管理装置 | |
| CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
| KR20190072207A (ko) | Ｃｄｉｓｃ 기반 통합 임상 시험 장치 | |
| CN110825592A (zh) | 生成报警内容的方法和计算设备 | |
| CN111831534A (zh) | 一种对数据报表进行准确性验证的方法和装置 | |
| US11888595B2 (en) | Alert resolution based on identifying information technology components and recommended actions including user selected actions | |
| CN113206772B (zh) | 应答报文正确性判别方法、装置、设备、介质及产品 | |
| CN117421198B (zh) | 一种基于安全的可视化资产管理系统和方法 | |
| CN114706737B (zh) | 崩溃告警方法、装置、系统、设备及可读存储介质 | |
| CN115202750A (zh) | 基于微服务的接口服务调用方法、装置、管理平台及介质 | |
| CN117951149A (zh) | 数据结构变更通知方法、装置、设备及存储介质 | |
| CN114297406A (zh) | 一种审计方法、装置及电子设备 | |
| CN118035217A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN117610078A (zh) | 数据流转预警的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221021 |
|
| RJ01 | Rejection of invention patent application after publication |