CN112347175A - 一种跨数据库远程度量自愈方法及系统 - Google Patents

一种跨数据库远程度量自愈方法及系统 Download PDF

Info

Publication number
CN112347175A
CN112347175A CN202011253756.9A CN202011253756A CN112347175A CN 112347175 A CN112347175 A CN 112347175A CN 202011253756 A CN202011253756 A CN 202011253756A CN 112347175 A CN112347175 A CN 112347175A
Authority
CN
China
Prior art keywords
database
information
self
operations
lock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011253756.9A
Other languages
English (en)
Inventor
薛晓刚
仲跻炜
张志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouye Yunshang Co ltd
Original Assignee
Ouye Yunshang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouye Yunshang Co ltd filed Critical Ouye Yunshang Co ltd
Priority to CN202011253756.9A priority Critical patent/CN112347175A/zh
Publication of CN112347175A publication Critical patent/CN112347175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2336—Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343—Locking methods, e.g. distributed locking or locking implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种跨数据库远程度量自愈方法及系统，该方法具体为：通过JDBC远程采集并记录数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，所述的数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个；根据基础运行态信息判断数据库是否存在宕机风险，通过JDBC对存在宕机风险的数据库进行远程干预，使该数据库自愈，并记录干预的历史记录信息，通过交互界面显示数据库的基础运行态信息以及干预的历史记录信息。与现有技术相比，本发明具有集成度和自动化程度高、安全性好等优点。

Description

一种跨数据库远程度量自愈方法及系统
技术领域
本发明涉及一种数据库维护技术，尤其是涉及一种跨数据库远程度量自愈方法及系统。
背景技术
如今的信息化系统越来越离不开数据库，比如网上购物、银行转账、浏览新闻和社交通讯，均是是对不同种类的数据库进行新增、修改和查询来实现的，而数据库类型又多种多样，迄今为止全世界已存在的数据库大约有360种，有关系型数据库处理结构化数据，也有非关系型数据库处理半结构化或者非结构化数据。在信息化系统中数据库的稳定直接影响到业务系统的正常与否。
但目前的数据库监控主要是在数据库发生故障时登录操作系统进行恢复，故障等待时间长，导致业务中断时间长，同时登录操作系统进行操作时增加了系统被入侵的风险，此外，数据库的种类和数量较多时，针对各个数据库单独设置监控系统，部署的人工成本和维护成本高，同时效率低下。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种跨数据库远程度量自愈方法及系统，集成度和自动化程度高，安全性好。
本发明的目的可以通过以下技术方案来实现：
一种跨数据库远程度量自愈方法，具体为：
通过JDBC远程采集并记录数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，所述的数据库的种类包括Oracle、MySQL、PostgreSQL、Redis和Mongodb中的一种或多种，每个种类的数据库的数量为一个或多个；
根据基础运行态信息采用定时轮询的方式判断数据库是否发生宕机，通过JDBC对发生宕机的数据库进行远程干预，使发生宕机的数据库自愈，并记录干预的历史记录信息，所述的历史记录信息包括干预结果，干预结果包括干预成功和干预失败。
进一步地，所述的数据库事务信息包括事务的ID号和运行时间，所述的会话信息包括会话数量，所述的锁信息包括锁的类型、造成锁的范围、锁的持续时长；
进一步地，所述的干预包括：
对数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，所述的高IO操作为IO传输速率高于设定速率的操作，所述的高CPU操作为CPU占有率高于设定占有率的操作；
所述的会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话；或
终止运行时间超过第二设定时长的事务。
进一步地，通过交互界面显示数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息。
一种跨数据库远程度量自愈系统，包括：
状态监测模块，用于远程采集数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，所述的数据库的种类包括Oracle、MySQL、PostgreSQL、Redis和Mongodb中的一种或多种，每个种类的数据库的数量为一个或多个；
宕机度量模块，用于根据基础运行态信息判断数据库是否发生宕机；
宕机自愈模块，用于对发生宕机的数据库进行远程干预，使发生宕机的数据库自愈；
数据记录模块，用于记录数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息。
进一步地，所述的数据库事务信息包括事务的ID号和运行时间，所述的会话信息包括会话数量，所述的锁信息包括锁的类型和锁的持续时长；
进一步地，所述的宕机自愈模块的干预包括：
对数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，所述的高IO操作为IO传输速率高于设定速率的操作，所述的高CPU操作为CPU占有率高于设定占有率的操作；
所述的会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话；或
终止运行时间超过第二设定时长的事务。
与现有技术相比，本发明具有以如下有益效果：
本发明可通过JDBC自动对多个数据库进行远程监控和干预，数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个，不需要登录数据库所属的操作系统，多个数据库进行集中管控，最大限度减少对系统的侵入，大大降低了安全隐患，同时不需要等到数据库发生宕机后才进行故障修复，减少故障停机处理时间，降低了故障等待时间，节约人力成本，保障业务稳定运行，提高工作效率，同时可通过查看记录干预的历史记录信息直观地获取数据库的维护情况。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种跨数据库远程度量自愈方法，如图1，具体为：
通过JDBC远程采集并记录数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个，数据库事务信息包括事务的ID号和运行时间，会话信息包括会话数量，锁信息包括锁的类型、造成锁的范围、造成锁的范围和锁的持续时长；
根据基础运行态信息采用定时轮询的方式判断数据库是否存在宕机风险，通过JDBC对存在宕机风险的数据库进行远程干预，控防止灾难蔓延，使该数据库自愈，并记录干预的历史记录信息，历史记录信息包括干预结果，干预结果包括干预成功和干预失败；
通过交互界面显示数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息。
对数据库的干预包括：
对同一种类型且数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，直接阻止该SQL运行，高IO操作为IO传输速率高于设定速率的操作，高CPU操作为CPU占有率高于设定占有率的操作；
第二设定数量根据机器内存、磁盘IOPS以及业务场景确定，例如数据库在业务高峰时，由于人为操作不当，对大表执行了全表读写，导致表级锁定，所有请求发生等待，会话连接数增加，当会话连接数超过5个时，进一步查询事务锁的数量及活动
会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话，例如数据库在业务高峰时由于人为操作不当，对大表执行全表读写，导致表级锁定，所有请求发生等待，会话数增加，当会话数超过5个时对运行时间超过2分钟的会话进行杀会话，去除阻塞，预防锁定蔓延和审计，防止故障发生；或
终止运行时间超过第二设定时长的事务，事务运行时间通过捕获事务开始时间计算。
数据库包括Oracle、MySQL、PostgreSQL、Redis和Mongodb中的一种或多种，每一种类型的数据库的数量为1个或多个。
实施例2
与实施例1对应的一种跨数据库远程度量自愈系统，包括状态监测模块、宕机度量模块、宕机自愈模块、数据记录模块和图形交互模块；
状态监测模块用于远程采集数据库的基础运行态信息，所述的数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个，该信息包括数据库事务信息、会话信息和锁信息；
宕机度量模块用于根据基础运行态信息判断数据库是否存在宕机风险；
宕机自愈模块用于对存在宕机风险的数据库进行远程干预，使该数据库自愈；
数据记录模块用于记录数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息；
图形交互模块用于显示数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息。
数据库事务信息包括事务的ID号和运行时间，会话信息包括会话数量，锁信息包括锁的类型和锁的持续时长；
宕机自愈模块的干预包括：
对同一种类型且数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，直接阻止该SQL运行，高IO操作为IO传输速率高于设定速率的操作，高CPU操作为CPU占有率高于设定占有率的操作；
第二设定数量根据机器内存、磁盘IOPS以及业务场景确定，例如数据库在业务高峰时，由于人为操作不当，对大表执行了全表读写，导致表级锁定，所有请求发生等待，会话连接数增加，当会话连接数超过5个时，进一步查询事务锁的数量及活动；
会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话；或
终止运行时间超过第二设定时长的事务，事务运行时间通过捕获事务开始时间计算。
实施例1和实施例2提出了一种跨数据库远程度量自愈方法及系统，可通过JDBC自动对多个数据库进行远程监控和干预，不需要登录数据库所属的操作系统，减少安全隐患，最大限度减少对系统的侵入，同时降低了故障等待时间，节约人力成本，提高工作效率。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种跨数据库远程度量自愈方法，其特征在于，具体为：
通过JDBC远程采集并记录数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，所述的数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个；
根据基础运行态信息判断数据库是否存在宕机风险，通过JDBC对存在宕机风险的数据库进行远程干预，使该数据库自愈，并记录干预的历史记录信息，通过交互界面显示数据库的基础运行态信息以及干预的历史记录信息。
2.根据权利要求1所述的一种跨数据库远程度量自愈方法，其特征在于，所述的数据库事务信息包括事务的ID号和运行时间，所述的会话信息包括会话数量，所述的锁信息包括锁的类型、造成锁的范围、锁的持续时长。
3.根据权利要求2所述的一种跨数据库远程度量自愈方法，其特征在于，所述的干预包括：
对数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，所述的高IO操作为IO传输速率高于设定速率的操作，所述的高CPU操作为CPU占有率高于设定占有率的操作；
所述的会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话；或
终止运行时间超过第二设定时长的事务。
4.根据权利要求1所述的一种跨数据库远程度量自愈方法，其特征在于，采用定时轮询的方式判断数据库是否存在宕机风险。
5.根据权利要求1所述的一种跨数据库远程度量自愈方法，其特征在于，所述的数据库包括Oracle、MySQL、PostgreSQL、Redis和Mongodb中的一种或多种。
6.一种跨数据库远程度量自愈系统，其特征在于，包括：
状态监测模块，用于远程采集数据库的基础运行态信息，该信息包括数据库事务信息、会话信息和锁信息，所述的数据库的种类数量为一种或多种，每个种类的数据库的数量为一个或多个；
宕机度量模块，用于根据基础运行态信息判断数据库是否存在宕机风险；
宕机自愈模块，用于对存在宕机风险的数据库进行远程干预，使该数据库自愈；
数据记录模块，用于记录数据库的基础运行态信息以及宕机自愈模块进行干预的历史记录信息。
7.根据权利要求6所述的一种跨数据库远程度量自愈系统，其特征在于，所述的，所述的数据库事务信息包括事务的ID号和运行时间，所述的会话信息包括会话数量，所述的锁信息包括锁的类型、锁的持续时长。
8.根据权利要求7所述的一种跨数据库远程度量自愈系统，其特征在于，所述的宕机自愈模块的干预包括：
对数量超过第一设定数量的锁进行杀锁；
对数量超过第二设定数量的高IO操作和高CPU操作进行杀会话，所述的高IO操作为IO传输速率高于设定速率的操作，所述的高CPU操作为CPU占有率高于设定占有率的操作；
所述的会话数超过第三设定数量时，对运行时长超过第一设定时长的会话进行杀会话；或
终止运行时间超过第二设定时长的事务。
9.根据权利要求6所述的一种跨数据库远程度量自愈系统，其特征在于，所述的宕机度量模块采用定时轮询的方式判断数据库是否发生宕机。
10.根据权利要求6所述的一种跨数据库远程度量自愈系统，其特征在于，所述的数据库包括Oracle、MySQL、PostgreSQL、Redis和Mongodb中的一种或多种。
CN202011253756.9A 2020-11-11 2020-11-11 一种跨数据库远程度量自愈方法及系统 Pending CN112347175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011253756.9A CN112347175A (zh) 2020-11-11 2020-11-11 一种跨数据库远程度量自愈方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011253756.9A CN112347175A (zh) 2020-11-11 2020-11-11 一种跨数据库远程度量自愈方法及系统

Publications (1)

Publication Number Publication Date
CN112347175A true CN112347175A (zh) 2021-02-09

Family

ID=74363355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011253756.9A Pending CN112347175A (zh) 2020-11-11 2020-11-11 一种跨数据库远程度量自愈方法及系统

Country Status (1)

Country Link
CN (1) CN112347175A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843061A (zh) * 2016-04-12 2016-08-10 上海交通大学 基于Web的智能家居远程监测系统
CN107766502A (zh) * 2017-10-20 2018-03-06 上海新炬网络信息技术股份有限公司 一种Oracle RAC数据库容灾切换演练方法
CN107807872A (zh) * 2017-10-18 2018-03-16 广西电网有限责任公司电力科学研究院 一种输变电系统运行状态监测方法
CN109634777A (zh) * 2018-11-02 2019-04-16 国网辽宁省电力有限公司信息通信分公司 一种营销业务系统运维应急处置及快速恢复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843061A (zh) * 2016-04-12 2016-08-10 上海交通大学 基于Web的智能家居远程监测系统
CN107807872A (zh) * 2017-10-18 2018-03-16 广西电网有限责任公司电力科学研究院 一种输变电系统运行状态监测方法
CN107766502A (zh) * 2017-10-20 2018-03-06 上海新炬网络信息技术股份有限公司 一种Oracle RAC数据库容灾切换演练方法
CN109634777A (zh) * 2018-11-02 2019-04-16 国网辽宁省电力有限公司信息通信分公司 一种营销业务系统运维应急处置及快速恢复方法

Similar Documents

Publication Publication Date Title
CN108512689B (zh) 微服务业务监控方法及服务器
CN101145969B (zh) 一种减少网元上报告警数量的方法及系统
CN111176879A (zh) 设备的故障修复方法及装置
CN112115026B (zh) 服务器集群监控方法、装置、电子设备及可读存储介质
US11322013B2 (en) Monitoring method of MES, monitoring device, and readable storage medium
CN108075930B (zh) 一种基于分布式架构的容灾备份系统
CN107911387A (zh) 用电信息采集系统账号异常登陆和异常操作的监控方法
CN111983979A (zh) 智能工厂管理系统及方法
CN102855319A (zh) Oracle数据库操作监控系统
CN113298486A (zh) 一种基于大数据的政务监察督查方法及系统
CN111125056A (zh) 一种信息系统数据库自动化运维系统及其运维方法
CN115293484A (zh) 一种基于点方法的抢修轨迹相似度分析方法及系统
CN110784352A (zh) 一种基于Oracle Goldengate的数据同步监控告警方法及装置
CN108509322A (zh) 避免过度回访的方法、电子装置及计算机可读存储介质
CN112347175A (zh) 一种跨数据库远程度量自愈方法及系统
CN108833451B (zh) 基于国产安全管控平台的多级管控系统及管控方法
CN116010190A (zh) 一种esb服务监控管理系统及方法
CN115840656A (zh) 一种基于故障自愈的应用程序自动化运维方法和系统
CN114244685A (zh) 一种云服务中心访问异常处置系统
CN111767299A (zh) 数据库操作方法、装置、系统、存储介质及电子设备
CN111061702A (zh) 一种基于大数据的存储服务方法
CN103281330A (zh) 一种基于反馈环的自适应访问控制方法
CN105117829A (zh) 集约化宽带二次预处理智能生产管理系统
CN113240398A (zh) 一种基于大数据的电网数据资产管理系统
CN114745256B (zh) 一种服务器报警溯源方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209