CN109885448A - 一种数据库数据增量实时监控方法 - Google Patents
一种数据库数据增量实时监控方法 Download PDFInfo
- Publication number
- CN109885448A CN109885448A CN201811635847.1A CN201811635847A CN109885448A CN 109885448 A CN109885448 A CN 109885448A CN 201811635847 A CN201811635847 A CN 201811635847A CN 109885448 A CN109885448 A CN 109885448A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- database
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000009434 installation Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库数据增量实时监控方法，涉及数据库数据增量监控技术领域，其监控方法为以下步骤：A1、创建：A2、设建：A3、安装：A4、注册：A5、被动监控：A6、回调处理：A7、判断整理。本发明通过对数据库增量进行实时监控，并独立于数据库，解决了数据库数据增量监控系统与数据库本身的依赖，减少对数据库及数据本身的影响，增强各自的稳定性，而且软件的升级与数据库数据监控方法的升级互不影响，同时采用非阻塞式监控方式，运行中对服务器资源的占用基本可以忽略不计，并充分利用linux系统可支持的技术，组合成注册被动监控方式，避免传统轮循，性能无忧，监控数据应用相对灵活广泛。
Description
技术领域
本发明涉及数据库数据增量监控技术领域，具体是一种数据库数据增量实时监控方法。
背景技术
在实际软件产品使用过程中，对数据变化的各种状态，需要有相应实时的信息获知，以满足根据数据状态执行相应的默认、隐匿、或可视的处理操作(actions)，其中包括对数据的安全作出的响应、对数据到达的知悉、对可展示数据(通知用户、或者使用了解)等。
中国专利公开了一种数据库数据监控方法(授权公告号CN108845915A)，该专利技术能够及时获取、监控数据库数据的异常预警、以及OGG链路的连接异常预警，有助于运维人员及时的做出处理，提高了用户的使用体验，有效地避免了因为数据库数据问题带来的损失；根据上述专利结合现有现有处理技术进行分析，现有技术的缺陷和不足主要有：对于数据库本身过于依赖；与软件产品功能耦合度过高；需求变动引起升级维护不方便；过多的占用产品服务器资源；另一些相关工具只用于展示，不能与产品交互，因此，本领域技术人员提供了一种数据库数据增量实时监控方法，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种数据库数据增量实时监控方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种数据库数据增量实时监控方法，其监控方法为以下步骤：
A1、创建：在数据库系统创建一个系统监控实例；
A2、设建：根据A1创建的系统监控实例，再设建一个监控系统文件描述符；
A3、安装：在系统监控实例创建完成后，在数据库的数据传送路径上安装路径监视器；
A4、注册：A3安装完成后，进行注册监控系统，并监控至A1中的系统监控实例，同时针对数据库数据增量变化设定回调处理；
A5、被动监控：通过A1中的系统监控实例可以被动对路径监视器进行监控，避免出现轮循；
A6、回调处理：通过监控系统实时读取数据库数据增量变化信息，并进行回调处理，同时根据变化信息设定信息处理单元；
A7、判断整理：在A6处理过程中，若变化信息有用，通过信息处理单元对变化信息进行处理，若无用，在通过回调处理时自动滤除。
作为本发明进一步的方案：所述A3中的监控系统包括数据采集单元、数据分析单元和集中控制单元，所述数据采集单元用于对数据库信息和数据增量进行采集，所述数据分析单元用于整理分析采集的信息数据；所述集中控制单元则用于实现对数据库数据增量的管理和处理。
作为本发明再进一步的方案：所述数据采集单元采集的数据包括数据库的参数配置、运行时的性能数据和数据库数据的实时增量。
作为本发明再进一步的方案：所述数据库的参数配置信息包括：数据库名称、版本、表空间大小、缓冲池大小、缓存大小、最大连接数，所述运行时的性能数据包括：运行状态、运行时长、最新备份时间、表空间使用率、缓冲池使用率、缓冲池命中率，所述数据库数据的实时增量包括：数据的内存大小、数据的数量、数据的名称和运行时间。
作为本发明再进一步的方案：所述监控系统为非阻塞式监控系统，并且是一个在运行中对服务器资源的占用基本可以忽略不计的监控系统。
作为本发明再进一步的方案：所述A6中的信息处理单元是在监控系统实时读取数据库数据增量变化信息时，针对变化信息中有用变化的处理。
与现有技术相比，本发明的有益效果是：本发明设计了一种数据库数据增量实时监控方法，在实际使用时，通过对数据库增量进行实时监控，并独立于数据库，解决了数据库数据增量监控系统与数据库本身的依赖，减少对数据库及数据本身的影响，增强各自的稳定性，而且软件的升级与数据库数据监控方法的升级无影响，它们存在于不同的系统中，升级独立，互不影响，同时本发明的监控方法，采用非阻塞式监控方式，运行中对服务器资源的占用基本可以忽略不计，并充分利用linux系统可支持的技术，组合成注册被动监控方式，避免传统轮循，性能无忧，监控数据应用相对灵活广泛，而且本发明的监控方法，获取的数据信息，可直接用于展示，又可提供给其他系统使用，具有更为通用灵活的监控信息处理。
附图说明
图1为一种数据库数据增量实时监控方法的逻辑框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种数据库数据增量实时监控方法，其监控方法为以下步骤：
A1、创建：在数据库系统创建一个系统监控实例；
A2、设建：根据A1创建的系统监控实例，再设建一个监控系统文件描述符；
A3、安装：在系统监控实例创建完成后，在数据库的数据传送路径上安装路径监视器；
A4、注册：A3安装完成后，进行注册监控系统，并监控至A1中的系统监控实例，同时针对数据库数据增量变化设定回调处理；
A5、被动监控：通过A1中的系统监控实例可以被动对路径监视器进行监控，避免出现轮循；
A6、回调处理：通过监控系统实时读取数据库数据增量变化信息，并进行回调处理，同时根据变化信息设定信息处理单元；
A7、判断整理：在A6处理过程中，若变化信息有用，通过信息处理单元对变化信息进行处理，若无用，在通过回调处理时自动滤除。
进一步的，A3中的监控系统包括数据采集单元、数据分析单元和集中控制单元，数据采集单元用于对数据库信息和数据增量进行采集，数据分析单元用于整理分析采集的信息数据；集中控制单元则用于实现对数据库数据增量的管理和处理。
进一步的，数据采集单元采集的数据包括数据库的参数配置、运行时的性能数据和数据库数据的实时增量。
进一步的，数据库的参数配置信息包括：数据库名称、版本、表空间大小、缓冲池大小、缓存大小、最大连接数，运行时的性能数据包括：运行状态、运行时长、最新备份时间、表空间使用率、缓冲池使用率、缓冲池命中率，数据库数据的实时增量包括：数据的内存大小、数据的数量、数据的名称和运行时间。
进一步的，监控系统为非阻塞式监控系统，并且是一个在运行中对服务器资源的占用基本可以忽略不计的监控系统。
再进一步的，A6中的信息处理单元是在监控系统实时读取数据库数据增量变化信息时，针对变化信息中有用变化的处理。
综上所述，本发明解决了数据库数据增量监控系统与数据库本身的依赖，且本发明的监控系统是一个完全独立于数据库本身的监控系统，无需连接访问数据库，减少对数据库及数据本身的影响，增强各自的稳定性，而且本发明的监控方法，采用非阻塞式监控方式，运行中对服务器资源的占用基本可以忽略不计，同时本发明的监控方法，获取的数据信息，可直接用于展示，又可提供给其他系统使用，具有更为通用灵活的监控信息处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种数据库数据增量实时监控方法，其特征在于，其监控方法为以下步骤：
A1、创建：在数据库系统创建一个系统监控实例；
A2、设建：根据A1创建的系统监控实例，再设建一个监控系统文件描述符；
A3、安装：在系统监控实例创建完成后，在数据库的数据传送路径上安装路径监视器；
A4、注册：A3安装完成后，进行注册监控系统，并监控至A1中的系统监控实例，同时针对数据库数据增量变化设定回调处理；
A5、被动监控：通过A1中的系统监控实例可以被动对路径监视器进行监控，避免出现轮循；
A6、回调处理：通过监控系统实时读取数据库数据增量变化信息，并进行回调处理，同时根据变化信息设定信息处理单元；
A7、判断整理：在A6处理过程中，若变化信息有用，通过信息处理单元对变化信息进行处理，若无用，在通过回调处理时自动滤除。
2.根据权利要求1所述的一种数据库数据增量实时监控方法，其特征在于，所述A3中的监控系统包括数据采集单元、数据分析单元和集中控制单元，所述数据采集单元用于对数据库信息和数据增量进行采集，所述数据分析单元用于整理分析采集的信息数据；所述集中控制单元则用于实现对数据库数据增量的管理和处理。
3.根据权利要求2所述的一种数据库数据增量实时监控方法，其特征在于，所述数据采集单元采集的数据包括数据库的参数配置、运行时的性能数据和数据库数据的实时增量。
4.根据权利要求3所述的一种数据库数据增量实时监控方法，其特征在于，所述数据库的参数配置信息包括：数据库名称、版本、表空间大小、缓冲池大小、缓存大小、最大连接数，所述运行时的性能数据包括：运行状态、运行时长、最新备份时间、表空间使用率、缓冲池使用率、缓冲池命中率，所述数据库数据的实时增量包括：数据的内存大小、数据的数量、数据的名称和运行时间。
5.根据权利要求1所述的一种数据库数据增量实时监控方法，其特征在于，所述监控系统为非阻塞式监控系统，并且是一个在运行中对服务器资源的占用基本可以忽略不计的监控系统。
6.根据权利要求1所述的一种数据库数据增量实时监控方法，其特征在于，所述A6中的信息处理单元是在监控系统实时读取数据库数据增量变化信息时，针对变化信息中有用变化的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635847.1A CN109885448A (zh) | 2018-12-29 | 2018-12-29 | 一种数据库数据增量实时监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635847.1A CN109885448A (zh) | 2018-12-29 | 2018-12-29 | 一种数据库数据增量实时监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109885448A true CN109885448A (zh) | 2019-06-14 |
Family
ID=66925462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811635847.1A Pending CN109885448A (zh) | 2018-12-29 | 2018-12-29 | 一种数据库数据增量实时监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885448A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975502A (zh) * | 2016-04-25 | 2016-09-28 | 南京优测信息科技有限公司 | 一种基于cdc方式实现增量抽取数据的方法 |
| CN106201823A (zh) * | 2016-06-30 | 2016-12-07 | 国云科技股份有限公司 | 一种实时监控mysql数据库的系统及其监控方法 |
| CN106202444A (zh) * | 2016-07-14 | 2016-12-07 | 浪潮软件股份有限公司 | 一种数据库运维监控的实现方法 |
| US9977716B1 (en) * | 2015-06-29 | 2018-05-22 | Veritas Technologies Llc | Incremental backup system |
| CN108845915A (zh) * | 2018-07-02 | 2018-11-20 | 山东浪潮商用系统有限公司 | 一种数据库数据监控方法 |
-
2018
- 2018-12-29 CN CN201811635847.1A patent/CN109885448A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9977716B1 (en) * | 2015-06-29 | 2018-05-22 | Veritas Technologies Llc | Incremental backup system |
| CN105975502A (zh) * | 2016-04-25 | 2016-09-28 | 南京优测信息科技有限公司 | 一种基于cdc方式实现增量抽取数据的方法 |
| CN106201823A (zh) * | 2016-06-30 | 2016-12-07 | 国云科技股份有限公司 | 一种实时监控mysql数据库的系统及其监控方法 |
| CN106202444A (zh) * | 2016-07-14 | 2016-12-07 | 浪潮软件股份有限公司 | 一种数据库运维监控的实现方法 |
| CN108845915A (zh) * | 2018-07-02 | 2018-11-20 | 山东浪潮商用系统有限公司 | 一种数据库数据监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105357038B (zh) | 监控虚拟机集群的方法和系统 | |
| DE69433616T2 (de) | Zentralisiertes system und verfahren zur verwaltung rechnergestützter tests | |
| CN104756082B (zh) | 用于数据库应用的智能错误恢复 | |
| CN102156729A (zh) | 监控多个数据库服务器的系统和方法 | |
| DE112010005311T5 (de) | Wartungssteuervorrichtung, Wartungsverfahren und Wartungssystem | |
| EP2849142B1 (de) | Smartphone gestützte Wartung eines Selbstbedienungsterminals | |
| DE10227595A1 (de) | System und Verfahren zur automatischen Parametersammlung und Problemlösungserzeugung für Computerspeichervorrichtungen | |
| WO2005122000A3 (en) | Agent-less systems, methods and computer program products for managing a plurality of remotely located data storage systems | |
| CN102447743A (zh) | 云企业服务的系统和方法 | |
| US9372479B1 (en) | System and method for a database layer for managing a set of energy consuming devices | |
| CN110618918A (zh) | Pch下硬盘状态灯的控制方法、控制装置及控制设备 | |
| CN106027351B (zh) | 一种嵌入式Web服务器现场总线故障诊断通信模块 | |
| CN107682404B (zh) | 一种多协议环境试验设备远程管控系统及其控制方法 | |
| CN102081808A (zh) | 现场设备巡检方法及系统 | |
| CN103729947A (zh) | 一种具有自检功能的pos系统及其自检方法 | |
| CN104951855B (zh) | 用于促进对资源的管理的装置和方法 | |
| CN106843965A (zh) | 一种自动安装系统测试工具的系统及安装方法 | |
| CN109299789A (zh) | 设备点检方法及装置 | |
| CN103778024A (zh) | 服务器系统及其讯息处理方法 | |
| CN109885448A (zh) | 一种数据库数据增量实时监控方法 | |
| CN112671848A (zh) | 对消防设备进行数据采集的方法、装置及消防管理系统 | |
| CN109270887A (zh) | 一种除氢炉温度数据远程采集及温度曲线打印系统及方法 | |
| CN110151147A (zh) | 以健康及安全监测数据为入口的商业服务平台 | |
| CN204129480U (zh) | 智能环保数采仪 | |
| CN105843728A (zh) | 一种利用wmi插件实现云计算环境下远程控制服务器的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |
|
| RJ01 | Rejection of invention patent application after publication |