CN111125056A - 一种信息系统数据库自动化运维系统及其运维方法 - Google Patents

一种信息系统数据库自动化运维系统及其运维方法 Download PDF

Info

Publication number
CN111125056A
CN111125056A CN201911233774.8A CN201911233774A CN111125056A CN 111125056 A CN111125056 A CN 111125056A CN 201911233774 A CN201911233774 A CN 201911233774A CN 111125056 A CN111125056 A CN 111125056A
Authority
CN
China
Prior art keywords
database
unit
maintenance
inspection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911233774.8A
Other languages
English (en)
Inventor
姚振
李明
方圆
管建超
孙强
张永梅
郭洋
马永
郭骏
程周育
窦国贤
宋晓波
罗飞
梁静
崔文华
方梅
储世华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Anhui Jiyuan Software Co Ltd, Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911233774.8A priority Critical patent/CN111125056A/zh
Publication of CN111125056A publication Critical patent/CN111125056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种信息系统数据库自动化运维系统,该系统包括自动巡检单元,性能监测单元,告警管理单元,故障诊断单元,行为分析单元,多库批量执行单元,基线管理单元;该系统的架构使用的是基于多层架构设计,分为展示层、应用服务层和数据层;所述的展示层通过IE浏览器以B/S方式进行界面展现;所述的数据层使用Oracle数据库保存各类数据。其运维效率高,增加了信息系统运行的可靠性。

Description

一种信息系统数据库自动化运维系统及其运维方法
技术领域
本发明属于信息技术运维领域,具体涉及一种信息系统数据库自动化运维系统及其运维方法。
背景技术
随着信息化程度提升,信息系统成为企业内部流程及业务进行的加速器,但给信息系统的运维也带来挑战,如数据库参数配置问题、消耗资源大的语句和其他应用代码引起的性能或可用性问题;配置更改、存储结构更改(如表、索引等数据对象结构变化)、非授权的数据更改等要素变更引起数据库某一功能失效或性能下降,据统计影响信息系统全局的应用类问题大部分体都现在数据库层面。特别是对数据库各类指标的巡检、告警规则确定、状态监测、问题定位等都需要专业知识和技术经验的积累,技术门槛高,运维效率差,降低了信息系统运行的可靠性。
具体体现在:
1、现有运维模式是数据库运维人员通过审计平台登录数据库服务器进行巡检,经计算,正常情况下,巡检一套数据库包括RAC节点平均需要8分钟。以巡检的46套数据库为例,巡检一次需耗时6个小时。数据组现有4个数据库管理员,巡检一次需耗时1.5个小时。
2、各业务系统IT架构不同,其对应的数据库关键指标不尽相同,指标阀值因库而异。现有运维模式是数据库运维人员在人工巡检过程中根据经验进行分析判断,导致运维人员固定巡检其熟悉的业务数据库,一方面只能在巡检时发现问题,不利于主动处理隐患,另一方面不利于人员变动和知识传递。
3、现有运维模式下,数据库配置发生变更,运维人员无法回溯历史,缺乏历史数据比对记录。
4、各分部运维数据库较多,在实际运维中,运维人员构成复杂,数据安全性和数据安全风险较大,出现问题无法跟踪取证,找不到操作者,无法做到精益化运维管理。
5、存储容量管理一直是数据库管理的重点,现在的容量调整大部分依靠系统开发厂商临时调整,没有规划。
6、数据库中对象众多,实际运维需要对系统影响比较大的对象重点关注并记录数据,一旦重点关注的对象发生突变能够及时掌握。
发明内容
本发明目的是提供一种信息系统数据库自动化运维系统及其运维方法,解决背景技术中的问题,运维效率高,增加了信息系统运行的可靠性。
为了实现以上目的,本发明采用的技术方案为:
其一、一种信息系统数据库自动化运维系统,该系统包括自动巡检单元,性能监测单元,告警管理单元,故障诊断单元,行为分析单元,多库批量执行单元,基线管理单元;
所述的自动巡检单元自动巡检,巡检指标可配置,巡检报表可定义;进行巡检报告比对分析;进行Oracle告警日志巡检;所述的性能监测单元监控的数据库以表格形式展现,钻取查询主机巡检情况、数据库详情、工作负载关联的活动会话和等待事件以及相关sql详情;所述的故障诊断单元通过日志按照错误信息等级分析,对多指标组合和关联分析,告警智能推送,以声音和弹框形式实时预警;所述的行为分析单元对数据库的DDL操作、登入登出和连接类型进行审计,查看数据的导出和导入情况,并生成相应审计报告,记录操作痕迹;所述的多库批量执行单元将一个脚本在多个数据库上执行;所述的基线管理单元将运维技术参数设置为基线;
该系统的架构使用的是基于多层架构设计,分为展示层、应用服务层和数据层;所述的展示层通过IE浏览器以B/S方式进行界面展现;所述的数据层使用Oracle数据库保存各类数据。
进一步的,所述的系统的架构采用J2EE框架结构,且该结构是基于Web Service的SOA框架。
其二、一种信息系统数据库自动化运维方法,包括如下步骤:
1)、根据不同数据库设定阀值,且阀值可以定义事件等级,系统根据阀值准实时触发告警;
2)、通过AWR报告功能,查看AWR报告;通过基线管理功能,数据库运维人员根据选择的关键指标和日期建立基线;
3)、多库执行及行为审计;
4)、利用大数据分析手段为容量规划提供支撑,制定容量规划策略;
5)、对表和索引的访问频率记录,为后续制定历史数据归档策略提供依据;对未使用的索引及时清理;对执行次数多于设定值的或对系统性能影响的sql语句重点关注,监测执行计划,并建立sql基线,发生变更及时预警。
本发明的技术效果在于:通过本发明运维系统及其运维方法运维效率高,增加了信息系统运行的可靠性。
附图说明
图1为本发明的架构示意图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照附图,本发明目的是提供一种信息系统数据库自动运维系统可对信息系统数据库进行深入分析,该运维系统包括自动巡检单元,性能监测单元,告警管理单元,故障诊断单元,行为分析单元,多库批量执行单元,基线管理单元并能够根据不同的需求灵活配置功能模块,可靠性高,实用性强。
信息系统数据库自动运维系统使用的架构是基于多层架构设计,可分为展示层、应用服务层和数据层。展示层通过IE浏览器以B/S方式进行界面展现。数据层使用Oracle数据库保存各类数据。具有如下特点:
本发明系统的架构采用J2EE框架结构,可实现群集和负载均衡;支持从PC服务器到小型机系统的多种服务器;可提供严密的安全解决方案,满足系统高强度的安全管理要求;基于Web Service的SOA框架,适应了多系统灵活集成的需要。
通过本发明可对信息系统数据库按照设置的巡检频率由自动巡检单元自动巡检,实现巡检指标可配置,巡检报表可定义;进行巡检报告比对分析;进行Oracle告警日志巡检;性能监测单元监控的数据库以表格形式展现,可以钻取查询主机巡检情况、数据库详情(状态+46个指标对比分析)、工作负载关联的活动会话和等待事件以及相关sql(一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统同时也是数据库脚本文件的扩展名)详情;故障诊断单元通过日志按照错误信息等级分析等,对多指标组合和关联分析,告警智能推送,以声音和弹框等多种形式实时预警,做到预警不留死角;行为分析单元对数据库的DDL(数据定义语言,是数据库管理系统的一部分,用于定义数据库的所有特性和属性)操作、登入登出和连接类型进行审计,可以查看数据的导出和导入情况,并能生成相应审计报告,记录了操作痕迹,便于日后跟踪取证。多库批量执行单元将一个脚本在多个数据库上执行,节省了人力和时间;基线管理单元将运维技术参数设置为基线,方便与目前数据库运行情况进行比对。
下面来说明本发明方法方案及效果:
布置本发明系统的方法:
1)、统一阀值,固化运维经验
在系统中对根据不同数据库设定阀值,且阀值可以定义事件等级,系统能够根据阀值准实时触发告警,运维从服务型到价值型转变。
2)、基线管理及AWR报告察看
通过AWR报告功能,随时随地查看AWR报告;通过基线管理功能,数据库运维人员根据选择的关键指标和日期建立基线,便于日后性能的比对分析。
3)、数据库操作审计及异常阻断
可多库执行:通过此功能可以批量执行,大大提高运维效率;行为审计:及时发现并锁定异动操作。
4)、存储容量管理
利用大数据分析手段为容量规划提供支撑,科学合理的制定容量规划策略。
5)、重点对象监测
对表和索引的访问频率的记录便于为后续制定历史数据归档策略提供依据;对未使用的索引及时清理,改善性能;对执行次数较多或对系统性能影响较大的sql语句重点关注,监测执行计划,并建立sql基线,发生变更及时预警。
数据库巡检:
1个运维人员10分钟之内就可以完成所有数据库的巡检(包括深度巡检),且可以24小时全天候随时巡检。
通过本发明运维系统及其运维方法运维效率高,增加了信息系统运行的可靠性。
以上实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。同时,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种信息系统数据库自动化运维系统,其特征在于,该系统包括自动巡检单元,性能监测单元,告警管理单元,故障诊断单元,行为分析单元,多库批量执行单元,基线管理单元;
所述的自动巡检单元自动巡检,巡检指标可配置,巡检报表可定义;进行巡检报告比对分析;进行Oracle告警日志巡检;所述的性能监测单元监控的数据库以表格形式展现,钻取查询主机巡检情况、数据库详情、工作负载关联的活动会话和等待事件以及相关sql详情;所述的故障诊断单元通过日志按照错误信息等级分析,对多指标组合和关联分析,告警智能推送,以声音和弹框形式实时预警;所述的行为分析单元对数据库的DDL操作、登入登出和连接类型进行审计,查看数据的导出和导入情况,并生成相应审计报告,记录操作痕迹;所述的多库批量执行单元将一个脚本在多个数据库上执行;所述的基线管理单元将运维技术参数设置为基线;
该系统的架构使用的是基于多层架构设计,分为展示层、应用服务层和数据层;所述的展示层通过IE浏览器以B/S方式进行界面展现;所述的数据层使用Oracle数据库保存各类数据。
2.根据权利要求1所述的一种信息系统数据库自动化运维系统,其特征在于:所述的系统的架构采用J2EE框架结构,且该结构是基于Web Service的SOA框架。
3.一种信息系统数据库自动化运维方法,其特征在于,包括如下步骤:
1)、根据不同数据库设定阀值,且阀值可以定义事件等级,系统根据阀值准实时触发告警;
2)、通过AWR报告功能,查看AWR报告;通过基线管理功能,数据库运维人员根据选择的关键指标和日期建立基线;
3)、多库执行及行为审计;
4)、利用大数据分析手段为容量规划提供支撑,制定容量规划策略;
5)、对表和索引的访问频率记录,为后续制定历史数据归档策略提供依据;对未使用的索引及时清理;对执行次数多于设定值的或对系统性能影响的sql语句重点关注,监测执行计划,并建立sql基线,发生变更及时预警。
CN201911233774.8A 2019-12-05 2019-12-05 一种信息系统数据库自动化运维系统及其运维方法 Pending CN111125056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911233774.8A CN111125056A (zh) 2019-12-05 2019-12-05 一种信息系统数据库自动化运维系统及其运维方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911233774.8A CN111125056A (zh) 2019-12-05 2019-12-05 一种信息系统数据库自动化运维系统及其运维方法

Publications (1)

Publication Number Publication Date
CN111125056A true CN111125056A (zh) 2020-05-08

Family

ID=70497603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911233774.8A Pending CN111125056A (zh) 2019-12-05 2019-12-05 一种信息系统数据库自动化运维系统及其运维方法

Country Status (1)

Country Link
CN (1) CN111125056A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347081A (zh) * 2020-11-11 2021-02-09 北京新数科技有限公司 一种数据库基线生成方法、系统、设备及可读存储介质
CN112347198A (zh) * 2020-10-30 2021-02-09 广西电网有限责任公司南宁供电局 一种数据快速处理比对系统及方法
CN112732664A (zh) * 2020-12-31 2021-04-30 五八有限公司 证据提取方法、装置、电子设备及存储介质
CN113487277A (zh) * 2021-06-29 2021-10-08 国网安徽省电力有限公司 基于机器人流程自动化的数字员工管理系统
CN113641567A (zh) * 2021-10-13 2021-11-12 北京易真学思教育科技有限公司 一种数据库巡检方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636450A (zh) * 2015-01-26 2015-05-20 上海新炬网络信息技术有限公司 一种数据库表空间监控方法
US20170046243A1 (en) * 2015-08-12 2017-02-16 Avekshaa Technologies Private Ltd System and method for monitoring and measuring application performance using application index
CN107680194A (zh) * 2017-09-22 2018-02-09 国网天津市电力公司 一种电力企业信息系统自动化巡检系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636450A (zh) * 2015-01-26 2015-05-20 上海新炬网络信息技术有限公司 一种数据库表空间监控方法
US20170046243A1 (en) * 2015-08-12 2017-02-16 Avekshaa Technologies Private Ltd System and method for monitoring and measuring application performance using application index
CN107680194A (zh) * 2017-09-22 2018-02-09 国网天津市电力公司 一种电力企业信息系统自动化巡检系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘洪波 等: "信息系统自动化巡检平台研究与应用", 《电力信息与通信技术》 *
赵佩 等: "用电信息采集系统的数据库服务器运行指标监测与性能分析", 《河北电力技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347198A (zh) * 2020-10-30 2021-02-09 广西电网有限责任公司南宁供电局 一种数据快速处理比对系统及方法
CN112347081A (zh) * 2020-11-11 2021-02-09 北京新数科技有限公司 一种数据库基线生成方法、系统、设备及可读存储介质
CN112347081B (zh) * 2020-11-11 2024-01-05 北京新数科技有限公司 一种数据库基线生成方法、系统、设备及可读存储介质
CN112732664A (zh) * 2020-12-31 2021-04-30 五八有限公司 证据提取方法、装置、电子设备及存储介质
CN112732664B (zh) * 2020-12-31 2024-04-05 五八有限公司 证据提取方法、装置、电子设备及存储介质
CN113487277A (zh) * 2021-06-29 2021-10-08 国网安徽省电力有限公司 基于机器人流程自动化的数字员工管理系统
CN113487277B (zh) * 2021-06-29 2024-02-20 国网安徽省电力有限公司 基于机器人流程自动化的数字员工管理系统
CN113641567A (zh) * 2021-10-13 2021-11-12 北京易真学思教育科技有限公司 一种数据库巡检方法、装置、电子设备及存储介质
CN113641567B (zh) * 2021-10-13 2022-03-25 北京易真学思教育科技有限公司 一种数据库巡检方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111125056A (zh) 一种信息系统数据库自动化运维系统及其运维方法
CN110493348B (zh) 一种基于物联网的智能监控报警系统
CN101436274A (zh) 跨平台监控企业应用系统性能的方法
US11322013B2 (en) Monitoring method of MES, monitoring device, and readable storage medium
CN110414774A (zh) 一种运维监控系统及方法
CN101582811A (zh) 一种建立网络监控和运维管理一体化的方法
KR20150009798A (ko) 개인 정보 상시 감시 시스템 및 그 상시 감시 방법
WO2023071761A1 (zh) 一种异常定位方法及装置
US20150039555A1 (en) Heuristically modifying dbms environments using performance analytics
CN114936725A (zh) 一种大电网风险评估与差异化运维系统
US20010034732A1 (en) Architecture and method for deploying remote database administration
CN112416872A (zh) 一种基于大数据的云平台日志管理系统
CN117290180A (zh) 基于时序数据分析设备运行状态的监测方法、设备及介质
CN117235169A (zh) 一种智慧运维数据存储平台
CN110515799B (zh) 基于python语言的MySQL监控系统及实现方法
US7562094B1 (en) Object-level database performance management
CN116010190A (zh) 一种esb服务监控管理系统及方法
CN115840656A (zh) 一种基于故障自愈的应用程序自动化运维方法和系统
CN112491584B (zh) 服务运行安全状况判定方法、装置、电子介质及存储介质
CN114500178B (zh) 一种自运维的智慧物联网关
CN115982213A (zh) Bi数据分析方法、系统及存储介质
CN114531338A (zh) 一种基于调用链数据的监控告警和溯源方法及系统
CN111522793B (zh) 一种Oracle数据库执行计划异常的检测方法
CN117573680B (zh) 一种基于大数据的定位数据传输管理系统及方法
Mekterović et al. Improving the ETL process and maintenance of higher education information system data warehouse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508

RJ01 Rejection of invention patent application after publication